校園閨蜜攜手創奇跡：看見聲音，聽見手語

湯秀云

失語者真的可以正常說話嗎？現如今，隨著科技的進步，很多不可能悄然變成了可能。北京航空航天大學研究生王娜娜和清華大學研究生黃爽就是把這個不可能變為可能的人，她們是怎么做到的呢？

為了失語好友，決心幫助失語者群體

王娜娜和黃爽分別出生于1994年、1995年。兩年前，她們同為北京航空航天大學的本科生，也是同寢室的閨蜜。在一次朋友聚會上，王娜娜結識了聾人朋友張權。因為王娜娜不懂手語，他們溝通起來十分困難，即使和張權面對面，她也不得不用微信打字和張權交流。當許多人在一起聊得熱火朝天時，張權默默地坐在角落里，周圍的熱鬧好像與他無關。而他眼里流露出的那種茫然無助的眼神，讓王娜娜看到后不由得一陣陣心痛。她為張權感到抱歉，擔心朋友們的忽略，會加重他的自卑。

回到宿舍，王娜娜把張權的事告訴了黃爽。她倆開始關注失語者群體，并思考著為他們做點什么。

為了讓朋友們能感同身受，學會換位思考，多給“失語者”一些關愛，少一些歧視，幾天后的一個周末，王娜娜和黃爽舉辦了“假如給我一天成為你——一日失語者體驗”活動。

在超市里，因為結賬時需要了解價格，體驗失語者的王娜娜只能通過手機和店員溝通，時間稍長排在后面的人開始不耐煩地催促。而黃爽在與小朋友溝通時，差點被認為是拐賣兒童的壞人。在跟隨的記錄人員與家長說明后，她才順利地幫小朋友將風箏放飛到藍天。

通過這次活動，王娜娜體會到，生活中，失語者面臨著極大的溝通困難。他們很難說明自己的意圖和想法，很難表達自己的困境。在網上，她們了解到，如何幫助失語者，是世界上很多研究機構的課題，但成果大多還停留在實驗階段。

她們想，假如有種機器能夠辨識手語，并將其同步翻譯成正常人能聽到或看到的語言，那么一般人就能輕易地理解聾啞人要表達的意思，幫他們脫離困境。

于是，她倆著手研究手語翻譯的可行性。查論文、做實驗、寫代碼，用以前得到的“馮如杯”獎金5萬元作為啟動資金行動起來。

她們知道，產品的設計一定不能突出失語者與別人不同，要讓失語者戴著它看上去一如正常人。因為在眾人眼中自己異于常人，是失語者心里的隱痛。

提供有用的產品固然重要，最重要的是要保護失語者的尊嚴！

發明翻譯臂環，讓手語“發聲”

一天課余時間，王娜娜聽一位老師抱怨，說她孩子在學彈鋼琴，僅憑每周一次的課程，很難糾正手型習慣上的錯誤，上課效率低下。鋼琴老師向家長推薦了一款鋼琴臂環，能識別鋼琴演奏中手指、手臂的細微動作，孩子戴上后不多久，效果還不錯。王娜娜很納悶，這樣精確的識別究竟是如何做到的？老師解釋說，這要歸功于一項名為肌肉電識別的技術。神經在傳遞信號驅動肌肉動作時會釋放電流，通過對人體表面肌電信號的采集，就可以做到對細微的動作變化的識別。配合手環上的陀螺儀和手機、平板的麥克風，即可精確地收集到所需數據。將數據通過算法處理后，系統可以將鋼琴演奏量化，輸出為可被教師、學生、家長利用的可視化數據。

聽完這些話，王娜娜立馬就想到了手語。手語是用手來表達語言，通過手的形狀、位置、運動來傳遞信息。不同的手指動作，定會觸動不同區域的小臂肌肉，發出不一樣的肌肉電信號。

王娜娜和黃爽打算也應用這項技術：將每個手語詞匯的肌肉電信號錄入系統，讓人工智能深度學習，再次遇見時，識別和轉化成語音。另外，在運動手環、智能手表普及的今天，佩戴臂環也不會讓失語者顯得突兀。

確定研發方向后，關鍵是不斷地輸入數據、調試數據以保證手語翻譯的準確性。為了檢驗模型的可靠性，最初只有兩個人錄入手語的數據，整天戴著臂環在那兒抬手放手做動作。一個多月時間，王娜娜和黃爽對著手語教材，完成30個手勢的錄入，每人至少重復比劃了一萬五千多次。證實方案可行后，她們將更多志同道合的朋友拉入團隊。她們后來聯系了天津理工大學聾人工學院，合作進行數據采集和智能臂環開發，還與北京市朝陽區殘聯達成合作意向，為產品提供咨詢、指導。朋友張權也成了團隊的顧問。

為了這款取名為“手音”的APP能帶給用戶最佳體驗，加班熬夜成了他們的家常便飯。團隊放棄了“史上最長寒假”，回家過了幾天春節，便匆匆趕往學校，繼續開發研制。他們沒有辦公室，開會都是打游擊戰，咖啡廳、餐廳、教室都曾被征用過，做研發都是在自己的實驗室里。團隊里還有其他很多技術人員，大家一起熬夜寫代碼的時候，兩個女生也會偶爾化身為“程序員鼓勵師”，一起為團隊加油打氣。

如今，“手音”已經涵蓋了200個手語動作，為了保證精確度，每一個動作錄制了一千人次。在有了自己的手勢數據庫之后，團隊還搭建了一個7層BP神經網絡對數據速度進行訓練。在識別手勢后，會利用藍牙將數據無線傳輸到電腦上，電腦根據傳來的連續數據分析出是否符合某個手語動作，再通過揚聲器將對應的詞語或短句讀出來。

整個流程看起來似乎并不復雜，但它能夠像助聽器一樣成為失語者日常生活的一部分，極大地方便了他們的日常交流。

手語翻譯器在聯合國創業大賽上奪冠

為檢驗這款APP的效果如何，王娜娜拿著測試樣機到一家超市給用戶體驗。正巧，她遇到了一位聾啞母親，當時正焦急地向路人比劃著什么，但是沒一個人看得懂。王娜娜給這位母親戴上臂環后，這位母親打著手勢，“我的孩子走丟了”的文字快速地反應在APP“手音”的界面上，并轉化為語音說出“我的孩子走丟了”。當他們幫助她找到孩子后，她又做了點贊的手勢，語音說出了“謝謝！”

這次體驗的成功給了王娜娜團隊很大信心。“當你真正去幫助他們，他們就知道你是為他們好，就會非常配合。”王娜娜說。在許多聽障人士的幫助下，他們在使用APP過程中不斷迭代更新，完善軟件，同時得到越來越多的肌電數據，然后通過大數據進行分析，最后越來越精確。

2017年4月底，“極·致未來”責任創新挑戰賽于北京舉行，現場邀請了包括聯合國開發計劃署國別主任文靄潔、谷歌首席科學家在內的11位評委嘉賓。臂環研究團隊的顧問張權上臺，他手臂上的黑色臂環，看上去像跑步時用的護腕。當張權用含混的發音介紹他自己時，人們還在疑惑怎么都聽不清楚他在說什么，接著才突然意識到，他是一個失語者。

然后，他用手指向前方，做出點贊的手勢，“你好”的文字快速地反應在APP界面上，并轉化為語音清晰地說出了“你好”，臺下已經掌聲雷動。王娜娜介紹，他們針對失語者設計了這種臂環，可以將手語翻譯成語音，目的是解決聽障人士的溝通問題，也就是幫助失語者“說話”。

聯合國開發計劃署駐華代表羅世禮先生十分認同中國青年人解決社會問題的想法和態度。據專家鑒定，該項研發成果具有廣泛的應用前景，而且，隨著人工智能的成熟，實現失語者像普通人一樣流利對話，許多技術難題都將迎刃而解。屆時，手語識別臂環將成為失語者的福音。

最后，王娜娜團隊的“看見聲音，聽見手語”項目，從兩千多份參賽方案中脫穎而出，獲得了決賽第一名“最佳人氣獎”，被譽為最有包容性的項目。

關于未來，王娜娜和黃爽有很多設想，“手音”可以實現面對面小聊和長時間對話的功能，未來還可以推出手語教學、手語字母和智能臂環，解決手語教師缺乏等各種問題。此外，這種人工智能技術成熟后還可以應用在其他方面，例如可以教學鋼琴的孩子更加準確地彈琴。

責編/昕莉endprint