前路漫漫 未來可期
——走出手語識別的“誤區”

文／姚登峰 郭曉斌

手語，對廣大民眾不陌生，時而看見生活周圍的聾人飛快地打手勢交流，聾人之間交流的語言就是手語。但更多的人知其然，不知其所以然。

200萬年前人類祖先最早依靠一些簡單的手勢彼此溝通，在漫長的進化過程中，人類慢慢學會說話，取代了初始的手勢。以致于在即將邁入人工智能的時代，很多人似乎忘記了人類先祖曾用的手勢和現代社會依然存在手語族。

手語分為自然手語和手勢漢語。自然手語是指聾人使用的“原生態”語言。聾人由于聽力喪失，為了便于交流，便產生了一種用手勢、身體、肢體動作、面部情感等相互補充的空間語言，從語言學的角度來說稱之為自然手語。而手勢漢語也稱文法手語，符合漢語語法和語序的手勢序列，但不是聾人平時使用的手語。

由此產生的“手語識別”是一個多學科交叉的研究課題，既要懂語言學，還要懂得計算機科學、認知神經科學、心理學等等。那么何謂“手語識別”呢？即通過機器能識別，準確地翻譯出自然手語這門空間語言所表達的完整意思。

我國手語識別成果喜人

如果要研究手語識別，首先要了解手語，認識手語，了解聾人的需求。隨著社會的文明進步，信息產業的飛速發展，越來越多的科研人員和愛心人士開始關注并研究手語識別。近幾年國家自然科學基金委先后批準十幾個手語識別項目立項，涉及單位包括中科院計算所、哈爾濱工業大學、北京工業大學、大連理工大學等，這些項目都取得了不同程度的進展和可喜的成果。還有些民間機構，包括一些企業、興趣愛好者，也紛紛開始關注手語識別，希冀借助現代科技解決手語與文字、手語與語音之間的翻譯，實現聾人與健聽人之間的無障礙溝通。最具代表性的有中科院計算所的手語識別系統，北京工大的2008奧運手語播報系統等。

中科院所研發的手語識別系統歷時八年，攻克了五大難關，主要包括數據采集和處理、手語大詞匯量識別、非特定人手語識別、手語多模態表達以及手語運動數據重定向，在10多位聾校老師和眾多聾校學生的幫助下，手語識別與合成課題組已建立了中國最大的手語詞匯庫，共有5500個詞，并采用手語詞根建模的識別方式來解決大詞匯量的識別問題。該項目始終以聾人需求為出發點和落腳點，研究人員作為“手語識別”的先行者，對手語的信息化技術做了很多有益的探索，為改善我國的無障礙環境做出了貢獻。

最近北航兩位女生研發的手語翻譯器炒得很火，這款產品在前不久百度與聯合國開發計劃署共同主辦的“極·致未來”責任創新挑戰賽上，獲得了一等獎和最佳人氣獎，被譽為最有“包容性”的項目。為保護失語者的尊嚴，她們本著人文的精神，想利用科技去幫助更多的聾人實現無障礙溝通。正是這樣源源不斷愿意為聾人做貢獻的愛心，才讓“手語”這門特殊的語言越來越多的出現在大眾的視野，讓人們關注到身邊還有龐大的聾人群體，從而關注手語識別、手語機器翻譯等科學技術。

手語識別發展“誤解”多多

這么多重大的發明接踵而來。那么，手語翻譯重大難題已解決了嗎？不，并沒有。我們在贊賞這些科研機構、學者對“手語識別”孜孜不倦探索研究的同時，要對一些夸大其詞的輿論有正確的鑒別認識，因為過度的“贊美”會阻滯手語信息化事業發展；而某些概念、邏輯不準確、不專業、不嚴謹的導向，會誤導手語學術領域對我國“手語識別”研究的認同度——表面上是夸大成果，實則是降低整體研究專業水平，損害研究部門形象。作為一名從事多年手語計算的計算語言學工作者，我想就目前一些“手語識別”常見的認知誤區分享給大家。

第一、現在有報道稱“可以實現手語信息與自然語言的實時雙向翻譯”。這句話表達的意思，把手語視作一種信息的地位跟自然語言實現轉化。自然語言中包含著多種模態，當然也包括手語。手語本身就是一門獨立的自然語言，在語言學研究領域已經達成共識。它跟漢語、英語、日語、俄語等自然語言一樣，具有同等地位。所有關于手語的研究，必須建立在此基礎上。因此，這句話是不準確的。

第二、有關手語識別的報道聲稱，只需要1000個手勢就可以做出手語翻譯系統。如果按照計算語言學專業術語嚴謹定義，1000個手勢就可以做出的手語翻譯系統，充其量只能算一個小容量的“手勢漢語翻譯小字典”。

有聲音說“可以讓所有沒有任何手語基礎的人能夠通過自然語言與“聾啞”人士無障礙交流。”其愿望良好，但存在諸多謬誤。首先概念模糊，有邏輯錯誤。對自然手語識別的研究僅僅還在起步階段，還有很多尚未解決的科研難題。其次，報道的成果只是手勢漢語的單詞翻譯。沒有手語基礎的人如何能夠通過自然語言與“聾啞”人士無障礙交流呢？就連新聞聯播里的手語翻譯那么標準，能看懂的聾人不多，因為播報的是手勢漢語翻譯。

手機識別科普迫在眉睫

據2010年末人口調查報告統計，我國有有聾人2075萬，每年新增2萬聽損兒童，比人口最多的少數民族——壯族還多440萬人，占全國總人口的16.79‰，是我國人口最多的“少數民族”。隨著康復技術的不斷發展，國家對聽障兒童給予諸多政策扶助和關愛，不少聽障兒童得到了較好干預，他們聽語康復回歸到主流社會，第一母語不再是自然手語。

除去這些康復了的聽障兒童，還有大批聾人群，他們中間能夠上大學的畢竟是少數。只有接受過教育的聾人才能理解手勢漢語。而更多的聾人群接受教育程度偏低，尤其是貧困地區仍然有很多聾人沒有接受過教育（筆者對此沒有做深入的調查研究，只是根據官方的報道和生活周圍的人群估算），有的聾人認不到幾個字，甚至無法寫出一句完整的漢語句子，根本不懂手勢漢語表達的意思，當然無法理解漢語語法和以漢語語法為基礎的手勢漢語。絕大多數聾人使用的是自然手語，也只能看懂自然手語。

就了解，目前“手語識別”的研究水平只能翻譯對應的手語單詞，并不具備翻譯整段句子的功能，它們充其量可以作為一本“手語單詞識別字典”。如果非要說它是具備了一定手語成句翻譯功能的“手語識別系統”，那也只是“手勢漢語翻譯系統”。此系統適用者并不是以自然手語為第一語言的廣大聾人群，而是專門供健聽手語愛好者、聾人群中接受過一定教育的少部分聾人使用。

手語作為一門獨立的自然語言，擁有自己獨特的語法。最常見的例子就是在手語中的否定后置。例如，我們用漢語說：“禁止喧嘩”，翻譯成自然手語就成了“喧嘩““禁止”，這兩個詞的前后位置有變化，否定被放到了最后，因為手語是以視覺效果為基礎的空間語言，否定后置會使句意表達更有力。就像我們把一段漢語句子放到谷歌翻譯成英文句子，可以保證翻譯后的英文句子100%還原漢語句子的句意、且沒有語法錯誤嗎？同樣的道理，如果不能搞清楚手語中的語法關系，翻譯整體句意也很可能會是不倫不類，最多只能實現單詞、短語的選擇性翻譯，這就是筆者所說目前相關手語識別的研究，只能定義“手語字典”。手語識別，即整句翻譯功能還有無數個艱難險阻的科研難題需要攻克。

手勢漢語與傳統語言計算有些類似，而手語計算與傳統語言計算有本質差異。傳統語言的計算理論是建立在單信道基礎上的，而手語計算是基于多信道的。傳統語言計算的根本任務是“消歧”，而手語計算是以空間計算為主，核心任務是將單信道表征和多信道表征相互轉換。因為手語的手部形狀、手部位置、手掌方向、頭部動作、眼睛凝視方向、面部表情、肩部動作和軀干姿勢等這些信道都包含語言學意義上必不可少的信息。這些信道信息互為依存，相互聯系，缺一不可。手語識別需要將空間建模、空間隱喻、空間語義等概念貫穿在手語計算的詞法、句法、語義和語用等各個階段。

那么對于手語研究我們應該抱怎樣的態度呢？也許美國學者Huenerfauth Matt的成長故事可以給我們啟發。他是國際上知名的手語計算專家，賓夕法尼亞大學計算機系計算語言學專業博士畢業，賓夕法尼亞大學NLP（自然語言處理的縮寫）研究組是全美最好的團隊之一。受到過良好的科學訓練。他就讀大學時就已經掌握了美國手語，并考取了手語翻譯員證書。他從2006年博士畢業到現在，幾十年如一日一直做手語計算的研究，沒有換過方向。他的成果豐碩，從2002年到現在共發表了75篇論文。從matt故事可以看到，要成為這方面的專家，需要坐冷板凳的，耐得住寂寞。

從中科院研發手語識別系統的艱難歷程可以看到，要想研究出一個實用的手語識別或翻譯系統，并不是簡簡單單錄入手語詞匯，即便獲得幾個獎項也只能算在漫長的科研路上取得了一個個里程碑的成果。如果要研究出聾人需要的實用的手語翻譯系統，就必須腳踏實地，扎扎實實做科學研究。首先要學習手語語言學，熟悉聾人的語言——自然手語。還要了解這個領域的科研動態，借鑒別人的成功經驗去改進、提高、創新和發展。如果在不了解手語、不了解聾人實際需求的情況下做勞而無功的研究，其“成果”對聾人來說必然是沒有實際效用的，不僅浪費自己的寶貴時間，將“熱熱鬧鬧”地讓聾人大失所望。

寫到最后，也許會人問：按照此文觀點，手語識別，即手語的無障礙翻譯豈不是遙遙無期嗎？怎么樣才能做出像谷歌、有道翻譯系統一樣的手語翻譯系統呢？筆者的答案是：當有一天手語詞典作為一本工具書達到了《牛津字典》這樣的程度，當手語語法有了大家公認的成文成果，當手勢漢語與自然手語各成體系、成熟并被世人所熟知接受，當越來越多的聾人接受到高等教育，當我們的科技飛速發展到支持這一切研究成果成型，這個時候，才有機會出現真正的、像谷歌、有道一樣的翻譯軟件。路漫漫其修遠兮，期待有更多的科研工作者持之以恒上下求索，相信這一天一定會到來！