大數據下的“多語種唇語識別系統”構建

劉婭迪　王小敏　王一迪

摘 要：社會上有這樣一個特殊的群體，有人稱之為“聾啞部落”，這就意味著他們完全被孤立在健全人控制的社會以外，他們的手語很少有人懂，他們的心理與健全人心理相比存在差異。本項目為特殊學校的聾啞人群提供專門的唇語產品，掌握唇語使用技能，以便他們和正常人一樣進行交流。本項目還提供即時文字輸出系統、多語種系統等高端消費，為“耳障”人員提供幫助。項目在技術上具有前瞻性、可行性，從經濟上，由于國家對特殊教育持積極的鼓勵政策，獲得政府多方面的支持，可操作性強。

關鍵詞：大數據 唇語識別 耳障

中圖分類號：TP301文獻標識碼：A文章編號：1003-9082（2019）08-0-01

一、引言及背景

第四屆世界互聯網大會讓人工智能再一次掀起了新的浪潮。近來人工智能的發展，從一開始的使用鍵盤碼字，到后來的智能觸摸屏的發明、再到語音輸入等人機交互的發展，這些發展促使人機交互的模式向更加多元化的方向更新。如今，出現了一種新興的人機交互技術——唇語識別。唇語識別是指通過觀察口形變化，識別和部分識別出說話者內容，達到理解說話者的意圖。

近幾十年來，計算機技術得到飛速發展，但是人機交換界面依然很老套，人們仍然要在鍵盤上敲敲打打，依賴鼠標的幫助，通過最普通的界面進行計算機操作。這種連續敲打鍵盤不僅容易造成手腕肌腱損傷，還把使用者一直束縛在鍵盤上。或許自動語音識別系統能讓我們稍稍感到輕松一些——這種系統在辦公室內的多媒體系統，從而實現無聲通話。

該技術還可以被廣泛應用于語音識別、身份識別、人機智能接口，以此來實現無聲對話、特殊教育教學、老年人、殘障人輔助以及其它場合的應用，例如公安、刑偵輔助偵破等等。通過唇語識別，可以讓無法開口說話的殘障人士自由表達、讓聽力障礙者和不少老年人更清晰地聽懂他人;通過口型支付密碼，可以進行移動支付;而在軍事情報領域，唇語識別則讓遠距離獲取情報成為可能。

二、特征提取與模式的概化引用

可視語音信息的特征提取方法可分為兩大類：基于像素的方法和基于模型的方法.。

所謂基于像素的方法，就是直接利用包含嘴的灰度級圖像或直接利用經過若干預處理后得到的特征向量（feature vector）的一類方法.這類方法的優點是所有的數據都起作用;其缺點是分類器的學習過程中對一般的二維或三維的平移、旋轉、放縮，或光照變化或說話人的變化都很敏感;另一個缺點是，其特征向量是高維度的和高冗余度的。

所謂基于模型的方法，就是對可見的發音部位——主要是唇的輪廓建立一個模型，而外形的描述用一個小的參數集合。這類方法的優點是重要特征被表示成低維量且通常不因平移、旋轉、放縮或光照而改變.缺點是獨特的模型有可能沒能包括所有相關的語音信息。

三、多語種管理系統

如今的唇語識別系統還不完善，比如研究領域僅僅局限于母語以及最普遍的英文。但是，對于那些擅長說方言的人而言，僅僅這兩種語言是無法滿足其需要的。所以，可以創建一套完整的“多語言管理系統”。

（1）語種設定及查詢功能是基于不知道對方使用何種語言或管理系統沒有該種語言的情況下，計算機根據前期對話，自動搜尋，尋找最接近系統的對話模式（子系統），從而在該子系統下實現對接。

（2）語種預設功能，是熟知對方使用何種語言，進行提前預設的管理系統。省去前期搜尋過程，使對話直接切入正題，實現實時轉換，省時，得到完整的對話

（3）圖像集管理系統與文字關聯系統

圖像、語音、文字管理系統分若干個子系統，每個子系統對應一地的方言，唇形圖像與方言語音、文字建立輸入相應關系。根據交流對象選取管理子系統，比如上海話子系統：口形輸入系統—口形查找、比對—文字輸出。

（4）唇形圖像存儲系統，一組詞匯對應的多個口形取參數的平均值，并設定上下閾值。每個子系統有添加圖像、模擬、記憶和修復功能。

添加圖像功能是增加新的圖像/唇形、語音。

模擬功能是對不準確的輸出，進行多次模擬，直至輸出正確為止。各自地方語種構成漢字圖形/語音系統，比如普通話，上海話、北京話、重慶話等。

記憶功能是對修改和添加的圖像或語音進行記憶。

修復功能是對原有的圖像/唇形進行修復，糾正不正確或不準確的圖形和語音。

（5）英語作為外語語種而單獨存在另一個語種中。

（6）借助其它語音軟件文字進行校正。

四、文字輸出系統及應用

選擇基于圖形管理系統下的子系統、輸出、應用。比如對方是普通話，那么管理系統既是普通話子系統，對應的唇語就是普通話子系統。

五、結論

唇讀研究的困難在于口型和語音是一個一對多的對應關系，單從口型來映射語音是不確定的.如果沒有其它相關知識，要識別絕對是不可能的.而這些相關知識，需要很多.比如，特定語言學、音韻學的規律，相關領域的專業知識背景，這些知識庫的建立和支持并不是一件容易的事.另一方面，唇讀研究不可回避的計算機視覺問題，如光照變化、深度信息的缺乏，給唇的描述和識別帶來巨大的障礙.隨著計算機視覺、知識表達、知識推理技術的不斷發展，我們有理由相信：視覺語言一定會被人們完全掌握和運用。

參考文獻

[1]王淵，岳振軍，賈永興.唇語識別中的話題相關語言模型研究.解放軍理工大學.

[2]褚道立，唇語判讀.《南外學報》，1985年第2期.

[3]余健儀，基于唇動特征的唇語識別技術.廣東工業大學.

[4]王曉鐘，潘保昌，鄭勝林.基于內唇特征提取的唇語識別.廣東工業大學.