聾啞學(xué)校語文輔助教學(xué)系統(tǒng)研究

依沙·吾阿提別克，阿里甫·庫爾班，郝子煜，周 雷，呂情深

新疆大學(xué) 軟件學(xué)院，烏魯木齊830046

1 引言

聾啞人通過手語[1-2]表達思想、獲取知識、與其他人交流，因此手語成為聾啞人學(xué)習(xí)、生活中必不可少的工具。學(xué)習(xí)語文課時，聾人和老師都遇到前所未有的困難,聾人學(xué)習(xí)困難，老師教學(xué)更困難[3-4]。老師用手語將課文表達出來，會耗費大量體力、精力。盧葦在文獻[5]中闡述多媒體技術(shù)在手語教學(xué)中應(yīng)用的優(yōu)勢，提出包含視頻、音頻、動畫、圖像的多媒體技術(shù)擁有包含超強的綜合能力的論點，進一步指出傳統(tǒng)手語與多媒體教學(xué)的最佳結(jié)合點，從而提高教學(xué)效率和質(zhì)量。這啟發(fā)人們開發(fā)一套手語輔助教學(xué)系統(tǒng)來初步解決手語教學(xué)過程中老師和學(xué)習(xí)共同面對的問題。

2 系統(tǒng)架構(gòu)與實現(xiàn)流程

2.1 系統(tǒng)框架

面向語文學(xué)習(xí)的手語教學(xué)系統(tǒng)主要是處理文本數(shù)據(jù)，將文本數(shù)據(jù)轉(zhuǎn)化成可以發(fā)送給動畫模塊的手語序列編碼，編碼順序可以根據(jù)文法手語的語法進行調(diào)整，從而達到最終翻譯出來的手語滿足文法手語的句子特性。圖1為手語教學(xué)系統(tǒng)架構(gòu)，整個系統(tǒng)框架分為手語文本分析處理模塊和手語動畫合成播放模塊。兩個模塊之間采用Socket技術(shù)連接，將處理好的文本編碼結(jié)果通過Socket 機制發(fā)送給動畫合成播放模塊。手語文本分析處理模塊包含課文讀取、課文文本分詞、手語編輯調(diào)整語序、手語轉(zhuǎn)碼等功能。課文內(nèi)容翻譯成手語，體現(xiàn)在文本分詞、手語編輯等功能的恰當(dāng)應(yīng)用上。老師課堂上講語文，使用手語編輯功能將課文內(nèi)容翻譯成文法手語或者自然手語，最終使文本轉(zhuǎn)化成動畫序列并播放出來，提高講課效率。

圖1 手語教學(xué)系統(tǒng)架構(gòu)

2.2 實現(xiàn)流程

聾校語文教學(xué)系統(tǒng)以課文內(nèi)容為中心，圍繞文本數(shù)據(jù)進行，根據(jù)標(biāo)點符號實現(xiàn)初步分句，對每個句子分別做手語翻譯及編輯，實現(xiàn)流程圖如圖2所示。對每個句子進行分詞，形成初步的分詞序列，找出直接可以用手語詞表示的詞語，存入待發(fā)送給動畫模塊的列表；不能直接用手語詞表示的詞語，如果是分詞錯誤，可以使用系統(tǒng)的編輯功能進行重新人工手動分詞；找不到對應(yīng)的手語詞表示，原因如果不是分詞錯誤，可以使用手語近義詞表示，若找不到手語近義詞，則按照漢語拼音用對應(yīng)的手語表示，并存入待發(fā)送列表。最終將待發(fā)送列表里面的手語序列轉(zhuǎn)化成對應(yīng)的手語動畫編號，通過模塊之間的Socket連接發(fā)送給動畫模塊。最終，文本處理結(jié)果經(jīng)過動畫模塊轉(zhuǎn)化成可視化的手語動畫序列，從而達到課文文本內(nèi)容轉(zhuǎn)化成手語動畫的目的。系統(tǒng)總體流程如圖2所示。

圖2 系統(tǒng)流程圖

3 關(guān)鍵技術(shù)

3.1 分詞實現(xiàn)

結(jié)巴分詞（JieBa）[6]具有快速、簡單、運行速度快、占有的內(nèi)存小、分詞效率高等特點，被廣泛應(yīng)用于各種中文自然語言處理任務(wù)中。

結(jié)巴分詞原理如圖3所示，基于前綴詞典對文本進行詞圖掃描，得到句子中所有可能的成詞情況構(gòu)成的有向無環(huán)圖（Directed Acylic Graph，DAG）；采用動態(tài)規(guī)劃算法查找最大概率路徑，即最大切分情況；對于未在詞典里出現(xiàn)的詞語用具有漢語構(gòu)詞能力的HMM（Hidden Markov Model）方法處理[7]。

圖3 結(jié)巴分詞原理

本文使用結(jié)巴分詞對文本進行分詞，但是由于手語詞匯數(shù)量少（5 000 多個），無法準(zhǔn)確地表達自然中文中的所有的詞語。同時結(jié)巴分詞對前綴詞典的依賴性較大，對手語詞典進行基于外部知識庫的擴充，從而提高分詞的準(zhǔn)確率和效果。因此，為了滿足根據(jù)手語詞語對課文句子進行分詞的要求，對結(jié)巴分詞進行改進。改進方面主要是擴充前綴詞典[8]。在外部知識庫的文本擴展中，一般有基于同義詞詞林或知網(wǎng)等的特征擴展方法[9]。采用同義詞詞林進行擴展手語詞典，擴充方法如下：選擇哈工大《同義詞詞林》的同義詞項，找出包含手語詞的項，把它們?nèi)考尤氲叫碌脑~典中，作為結(jié)巴分詞算法的前綴詞典。例如選擇《同義詞詞林》中的某一項。

例子Aa01A01=人士人物人士人氏人選。編號表示同義詞所在的分類，等號表示在某一個上下文語義下，后面的每個詞語是等價的，即同義詞。手語詞典中存在“人”這個詞語，因此當(dāng)文本中遇到“士”“人物”“人士”“人氏”等就可以進行單獨分詞，翻譯過程中用手語詞“人”的動畫來替換它們。

擴充手語詞典之前，手語詞語只有5 000多個，當(dāng)所有能表示手語的近義詞加到新的詞典以后，得到的代表手語語義的詞語有148 656個。不論是手語分詞的準(zhǔn)確率還是翻譯的質(zhì)量，擴充后的詞典表現(xiàn)更好。

3.2 文法手語編輯

手語分詞完成之后，進行手語編輯、轉(zhuǎn)碼等操作。由于手語構(gòu)詞構(gòu)形、語法和正常的漢語句子有很大的區(qū)別，這要求系統(tǒng)有編輯手語的功能。老師備課的時候可以對手語句子進行語序調(diào)整，使其滿足手語語法。手語編輯區(qū)域主要有上移、下移、添加、刪除詞語等功能。實現(xiàn)原理是將分詞好的詞語序列放在一個鏈表中，上下移動手語詞語，調(diào)整語序；對不滿足手語詞語構(gòu)詞構(gòu)形、分詞錯誤等詞語進行刪除，向句子中添加其準(zhǔn)確的手語詞語，如果手語詞語不存在，則可以用近義詞表示。最終按“結(jié)束”按鈕生成對應(yīng)的文法手語序列。

手語轉(zhuǎn)碼是指將文法手語序列轉(zhuǎn)化成能夠發(fā)送給動畫模塊的編碼序列。其關(guān)鍵是制作一個手語文本詞典，即手語轉(zhuǎn)碼表，如表1 所示。每個手語對應(yīng)一個編碼（ID），每個編碼對應(yīng)相應(yīng)的手語動畫。通過匹配手語詞語能夠查到其對應(yīng)的編碼，再通過這個編碼播放對應(yīng)的手語動畫。文法手語序列是手語詞語序列，為了播放該序列對應(yīng)的手語動畫，只要將編碼發(fā)送給動畫模塊，調(diào)動對應(yīng)的動畫播放即可。

表1 手語轉(zhuǎn)碼表

3.3 手語動畫合成

使用Maya對人體進行建模。首先創(chuàng)建虛擬人的骨骼，需要完整的手部骨骼模型。之后給骨骼系統(tǒng)添加蒙皮，如頭發(fā)、臉部、上衣和褲子等。為了實現(xiàn)動畫合成播放，使用關(guān)鍵幀原理[10]制作手語動畫；使用Unity3D動畫引擎開發(fā)手語動畫模塊，將Maya 做出來的虛擬人模型導(dǎo)入Unity中，根據(jù)關(guān)鍵幀動畫原理實現(xiàn)單個動畫播放，使用線性插值算法實現(xiàn)動畫之間的過渡融合。圖4 為虛擬人骨骼，圖5為虛擬人的關(guān)鍵幀。

圖4 帶骨骼的虛擬人和手部骨骼

圖5 表示“烏魯木齊”的動畫的關(guān)節(jié)幀

關(guān)鍵幀動畫[11-12]通過設(shè)置物體的關(guān)鍵幀位置與屬性，中間幀的生成均可由計算機來完成。因此在多種計算機動畫技術(shù)中，關(guān)鍵幀動畫以其便捷、智能的特點成為計算機動畫中最基本、運用最廣泛的方法[13]。本研究中采用關(guān)鍵幀技術(shù)完成手語動畫的制作。給定兩個關(guān)鍵幀，通過線性差值算法（Linear Interpolation，LERP）[14]求得其骨骼中間姿勢。可表示如下：

其中，β 為混合百分或混合因子，表示兩個動畫之間融合的時間比例。當(dāng)β 處于0～1 之間，得最終兩個骨骼中間姿勢。當(dāng)β 為0 時，最終得到的是關(guān)鍵幀。當(dāng)β 為1 時，最終得到的是關(guān)鍵幀

3.4 手語動畫融合過渡

為了達到手語動畫之間觀賞性連貫、自然的效果，需要使用插值算法來處理動畫序列。在Unity3D 游戲引擎中定義一個PlayAnimation（）的協(xié)程[15]函數(shù)用于在Unity主線程中播放動畫。其核心代碼如下：

IEnumerator PlayAnimation（）{

int Count =NLPresult.ToArray（）.Length;

for（int i=0;i

float time =

this.GetCurrentAnimatorClipInfo（0）[0].clip.length;

this.CrossFade（NLPresult[i].ToString（），time*0.2f）;

yield return newWaitForSeconds（time）;

}

}

圖6 編輯系統(tǒng)界面

首先定義一個整型變量Count 存放要播放的手語動畫數(shù)量。對該常量其中的每一個動畫，得到單個動畫合成播放時間time。調(diào)用Unity 游戲引擎系統(tǒng)提供的CrossFade（）[16]函數(shù)依次播放動畫，兩個動畫之間采用線性插值函數(shù)[14]來進行動畫過渡融合，動畫連接時間為第一個動畫的播放時間的0.2倍，即β=0.2。最后，讓協(xié)程等待時間time，并渲染播放手語動畫，目的是不影響主線程渲染整個引擎。

3.5 手語動畫庫建立

為了得到一個完整的手語動畫庫，顏慶聰?shù)热薣17]采用數(shù)據(jù)手套來采集手語運動軌跡信息。由于數(shù)據(jù)手套存在價格昂貴、操作復(fù)雜等缺點，此方法不能用于輔助教學(xué)系統(tǒng)中。因此根據(jù)問題的需要，采用先進的動畫制作軟件Maya 來進行動畫制作。首先使用Maya 創(chuàng)建完整的人體骨骼，其中包含完整的手部的骨骼。之后，在此骨骼系統(tǒng)基礎(chǔ)上添加蒙皮，如臉部、頭發(fā)、皮膚、衣服等，形成完整的不帶動畫的fbx文件。最后，給fbx文件添加動畫曲線，根據(jù)手語動畫，主觀推測關(guān)鍵幀在手語動畫過程中的位置，并且給動畫曲線挨個添加關(guān)鍵幀。

由于fbx 文件里包含了完整的骨骼和蒙皮信息，使用fbx 會導(dǎo)致動畫庫過于龐大，不便于使用。因此需要把動畫從fbx 文件里分離出來。將fbx 導(dǎo)入Unity 游戲引擎中，Unity 引擎能夠識別出是否含有動畫。如果有動畫就能夠使用Unity引擎的動畫分離功能批量分離出單獨的動畫文件，即動畫庫中的最小元素anim 文件。anim 文件只包含骨骼運動的信息，相比于帶蒙皮信息的fbx文件，anim文件具有占用空間小、操作性強、易用性等特點。同時anim 動畫能夠很好地導(dǎo)入Unity3D 引擎中，以便用于動畫合成、動畫播放及動畫過渡融合等操作。

4 實驗結(jié)果與分析

開發(fā)環(huán)境為：Visual Studio 2017版本，Unity 2018.1.2f1（64-bit）。使用微軟提供的基于C#語言的用戶界面框架WPF（Windows Presentation Foundation）開發(fā)課文處理模塊，選擇C#語言實現(xiàn)課文分句、分詞、手語編輯、新詞添加、近義詞表示等功能；使用服務(wù)器/客戶端模式（B/C）實現(xiàn)課文處理模塊和動畫模塊之間的通信交互，目的是為了將待發(fā)送列表里的手語編號序列發(fā)送給動畫模塊。

系統(tǒng)編輯界面由課文分句、虛擬人、手語編輯、文法手語顯示等功能模塊組成，如圖6所示。課文分句功能負責(zé)將輸入進來的文本進行分句，以便以句子為單位進行手語翻譯教學(xué)。虛擬人由Unity3D游戲引擎開發(fā)，嵌入到桌面應(yīng)用中，負責(zé)手語動畫的播放顯示。由于面向聾啞學(xué)生的語文教學(xué)對手語翻譯準(zhǔn)確率要求很高，手語編輯提供對課文句子編輯的功能，使翻譯準(zhǔn)確率得到全面提升。

以聾啞學(xué)校第十冊第一篇課文的第一句話為例進行實驗，并給出對應(yīng)系統(tǒng)使用分析。例如：“清晨，天氣格外晴朗，溫暖的陽光灑滿山村”，首先對這句話采用改進的結(jié)巴分詞算法進行分詞，得到圖7中的結(jié)果。

圖7 文法手語的例子

該句子中，分詞后得到9 個詞語，其中只有3 個（藍色背景）詞語能夠直接被手語表示，顯然這無法滿足教學(xué)要求，無法做到文本翻譯成手語。因此需要通過編輯功能，使用近義詞或者重新分詞等人工干預(yù)操作，將例子中的每個詞語直接用手語表示。

圖8 左圖中，詞語“清晨”“格外”“晴朗”“陽光”“灑滿”“山村”都不能直接用手語表示。可以采用編輯功能將它們用近義詞等表示成手語詞語，如圖8右圖。此方法能夠準(zhǔn)確傳遞文本中的句子信息，又能讓聾啞學(xué)生學(xué)習(xí)更多的詞語意思。

圖8 編輯功能（左）及編輯后的句子（右）

對比顏慶聰?shù)热嗽O(shè)計的成型系統(tǒng)[17]，本系統(tǒng)有設(shè)計簡單、手語數(shù)據(jù)采集簡便、跨平臺性、手語翻譯結(jié)果準(zhǔn)確等優(yōu)點。首先，本文使用Maya 等專業(yè)建模軟件制作動畫，基于關(guān)鍵幀算法合成手語動畫，反觀顏慶聰?shù)热耸褂肎love數(shù)據(jù)手套采集手部運動軌跡的數(shù)據(jù)，此方法具有不好精確控制手部運動軌跡、做出的手語動畫不準(zhǔn)確等缺點。其次，本文使用Unity3D動畫引擎來渲染手語動畫，Unity3D 引擎具有跨平臺性，可以在蘋果、安卓、Linux 等系統(tǒng)中運行，相對于顏慶聰?shù)热说南到y(tǒng)更具有廣泛使用的優(yōu)點。最后，此系統(tǒng)包含手語編輯等功能，對于文本具有詞語級別的精細控制，翻譯結(jié)果更準(zhǔn)確。

5 結(jié)論

手語教學(xué)作為一種特殊教學(xué)方式，需要多方面合作。開發(fā)一種手語教學(xué)系統(tǒng)能夠減輕老師備課、上課的壓力，也給聾啞學(xué)生提供一個自主學(xué)習(xí)的工具，開拓他們的視野，同時為聽人提供一種學(xué)習(xí)手語途徑，起到促進聽人和聾啞人交流的作用。但這在手語教學(xué)推廣過程中遠遠是不夠的。手語教學(xué)需要多方合作，如家長、老師等都要參與到聾啞學(xué)生的學(xué)習(xí)、教育、生活中。