基于嵌入式手語翻譯手套的研究

徐大杰+康書寧+李松林

摘要：本系統設計一款翻譯手語的低功耗便攜式手套，它能有效地解決正常人與聾啞人的交流障礙問題。系統使用Cortex-A53為主處理器，以Linux為平臺，通過數據端采集手部數據，利用改進的算法解析出正確手勢，最后經語音合成模塊進行語音播放。該智能手套具有低功耗、智能翻譯和便攜式等顯著優點。

關鍵詞：微處理器；語音合成；彎曲度傳感器；智能翻譯

中圖分類號：TH878 文獻標識碼：A 文章編號：1007-9416（2017）06-0063-02

手語是一種獨特的視覺語言，是聾啞人表達情感、同外界溝通的重要工具。隨著社會的進步，聾啞人這一弱勢群體逐漸受到了社會的關注。第六次全國人口普查公布的數據顯示，全國各類殘疾人總數為8502萬人，其中聽力殘疾2054萬人，言語殘疾130萬人，分別在殘疾人總數的24.16%和1.53%。聾啞人只能通過手語進行相互交流，他們與正常人的交流存在極大的障礙。本系統設計了一款低功耗便攜式的智能手語翻譯手套。通過對硬件的改善，具有低功耗、便攜、數據量小等特點。相比于其他手勢捕獲技術，能精確的記錄手勢的空間數據，不存在手勢死區。

1 總體結構與工作原理

系統以低功耗、便捷、準確翻譯為設計原則。數據端以STM32為微處理器，采用彎曲傳感器、接觸式傳感器、陀螺儀等傳感器分別進行手指彎曲程度、指尖是否接觸、手勢在空間中的姿態等數據的采集。將采集到的手勢數據經WIFI傳到識別端。識別端使用Cortex-A53處理器，使用改進的算法，與SD卡中的模板手勢庫匹配，最終完成手勢動作捕捉并翻譯成文字。翻譯的文字送入語音模塊進行語音合成。系統框圖如圖1。

2 系統設計

2.1 手指彎曲傳感及手指接觸式傳感器

為獲取手指的準確的姿態數據，本設計采用Flex4.5彎曲傳感器，通過彎曲傳感器自身物理特性，將彎曲度體現為阻值的變化。電路中進一步將阻值變化轉化為電壓的變化，最后將電壓送入ADC進行量化，從而建立手指彎曲度與AD值之間的映射關系。

如圖2，輸入同向端的電壓為：，ADC采集的AD值為：，其中Vi為A/D輸入通道的電壓值，Rx為彎曲傳感器的電阻值，N為A/D轉換器的分辨率。如圖2所示。

2.2 手勢姿態獲取模塊

為獲取手部在空間的姿態，如加速度、歐拉角、速度，系統采用MPU9250。相比MPU6050，其動態特性、處理速度和數據精度等方面都有很大的提升。在通信協議上，支持400Khz IIC和1Mhz SPI。在實時性要求更高的場合，可以使用可編程中斷，直接讀取傳感器和中斷寄存器，最大可支持20Mhz SPI。同時它也是一款超低功耗的傳感器，供電電壓可使用2.4V-3.6V，在正常工作下，地磁計的工作電流僅為280uA；加速度計電流為8.4uA；陀螺儀的電流為3.2mA，在休眠模式下電流為8uA。

2.3 語音合成模塊

為解決聾啞人與正常人的交流問題，系統中使用語音合成模塊，將翻譯的文本信息轉換成語音，設計中選取XFC5152語音合成模塊。

該語音合成模塊，支持任意中文文本、英文文本的合成，支持中英文混讀。在通信方式上，支持UART、IIC、SPI三種通訊方式。具體工作框圖如圖3。

3 調試結果

本實驗選取3個受試者，分別對198個常用孤立手語詞、英文字母和阿拉伯數字的手勢采集5遍，選擇任意2位，每位中的4組數據作為手勢訓練樣本集，利用Baum-Welch算法進行多次訓練，為每個手勢訓練獨立的HMM模型參數，得到穩定的測試模板，方便用戶直接使用。以其中一次實驗數據分析，數據采集周期為30ms，通過WIFI發送至電腦。

識別端配置UART參數，包括波特率、數據位、停止位等和WIFI的IP和端口等參數。開始接收手語手套的數據，并利用DTW和HMM算法與模板手勢庫進行匹配，并識別出最優手勢并顯示。圖4為實際手勢識別過程。

4 結語

本系統設計并實現了一款便攜低功耗智能翻譯手套，手語數據經改進過的算法處理并識別，最終翻譯成文本信息并進行語音播報。通過對硬件的改善，使得功耗得到降低，單只手套的工作電流約為15.3mA。該系統對常見手勢的識別率高，識別速度快，并且結構簡單、便于攜帶、功耗低，可廣泛運用于聾啞人與正常人的交流中，具有很好的前景和應用市場。

參考文獻

[1]趙燕潮.中國殘聯發布我國最新殘疾人口數據[J].殘疾人研究，2012，（04）：11.

[2]白瑞霞，王俊珍.高校手語翻譯專業實踐教學探索[J].南京特教學院學報，2012，（04）：8-14.

[3]GB/T 24435-2009，中國手語基本手勢[S].2009.endprint