智能手語翻譯

宋紀元+冷峻+段向南+李浩亮

摘 要：針對中國乃至全世界范圍內聾啞人與正常人之間交流困難的問題，設計了智能雙向仿生手語翻譯系統。本系統可實現手指彎曲度檢測、手的空間運動軌跡檢測、手勢狀態與手語庫匹配、發音及文本信息顯示等功能，能夠及時準確地處理各種手語手勢信息進行手語轉語音和語音轉手語的雙向翻譯，且翻譯速度快，實時性好，識別率高，適應能力強。

關鍵詞：手語；雙向翻譯；智能系統

1 作品簡介

智能雙向仿生手語翻譯系統是基于STM32微處理器進行智能化控制的手語手勢實時翻譯設備。它將彎曲傳感器等器件與全自主開發的32自由度仿生機械手臂相結合，通過特定的算法，實現及時準確地處理各種手語手勢語音信息，實現手語轉語音和語音轉手語的雙向翻譯，翻譯速度快，實時性好，識別率高，適應能力強。

2 原理結構

2.1 模塊組成

作品的主要模塊如圖1所示。

（1）STM32微處理器

該處理器用于采集彎曲傳感器和MPU-6050運動傳感器的實驗數據，通過算法處理數據判斷手勢信息，然后與手語庫匹配翻譯手語。

（2）彎曲傳感器

彎曲傳感器彎曲時其阻值會發生改變，可以反應手勢信息，該彎曲參數可以通過串口傳遞至上位機，方便觀察和調試。

（3）MPU-6050運動傳感器

當手做出動作時，模塊中的三軸陀螺儀、三軸加速器傳感器能夠獲取相關數據，判斷出手的空間運動狀態。

（4）OLED顯示屏

顯示識別出的手語手勢的文本信息，同時具有實時時鐘顯示及定時功能。

（5）語音合成模塊

播放識別出的手語手勢信息。

（6）藍牙模塊

方便下載和調試程序，與手機通訊，通過將手勢轉換為文字并傳送到手機上，實現與手機通信以及手勢編輯文字的功能。

2.2 主要功能

作品的結構框圖如圖2所示。

本作品的主要功能如下：

（1）手指彎曲度檢測功能。位于五個手指背面的五個彎曲傳感器能夠及時快速地感知手指的彎曲程度，微處理器能及時獲取彎曲傳感器的彎曲參數，并通過相應的算法處理所獲取的參數，進而對手勢信息做出更合理的判斷。

（2）手的空間運動軌跡檢測功能。MPU-6050模塊位于手套背面，當手發生翻轉等動作時，其中的三軸陀螺儀和三軸加速度傳感器能及時感應到相應的數據，微處理器及時處理數據，與彎曲參數相配合，能夠更全面、準確地判斷手的運動狀態。

（3）手勢狀態與手語庫匹配功能。微處理器內部存儲有手語的狀態信息，即手語庫。微處理器通過算法對檢測到的手語手勢數據信息進行及時處理，然后與手語庫進行匹配，從而得到準確的手語內容。

（4）發音及文本信息顯示功能。微處理器將手語內容翻譯成文本信息，通過顯示屏顯示出相應的文本信息，同時語音系統發出語音，達到翻譯手語手勢的目的。

2.3 工作流程

作品的工作流程如圖3所示。

3 創新性

本產品將便攜式手套和32自由度仿生機械手臂相結合，實現了手語轉語音和語音轉手語的雙向交流，使得正常人和聾啞人之間的交流變得更加便捷。

本作品與其他的手語翻譯設備相比，主要具有如下優勢：

（1）本作品能夠準確地刻畫手勢的空間運動軌跡和手指彎曲度等信息，獲取手勢信息方便可靠；仿生機械手臂能準確地識別語音并翻譯成相應的手語。

（2）該設備的數據輸入量小、速度快，實時性好。

（3）該手語識別系統的識別率比較高，識別的詞匯量大。

（4）人性化的外觀設計，將其設計為手套樣式，方便攜帶與使用。

（5）該作品的適應能力強，用戶可根據個人使用情況調整網絡的連接權值，使手勢識別程序能夠適應不同用戶。

（6）采用便攜式設備，使用簡單方便，能夠為用戶隨時隨地提供服務。

（7）通過藍牙模塊與手機、電腦進行通信，進一步拓展功能。

（8）設有語音模塊和OLED顯示屏，更人性化地提供準確的手語翻譯信息，同時，顯示屏具有實時時鐘顯示及定時功能。

（9）與通過視頻采集進行手勢識別的設備相比，該作品不受光照、背景、溫度等外界環境條件的限制。

（10）可實現語音和手語之間的雙向翻譯，使得正常人和聾啞人之間的交流變得更加便捷。

4 市場前景

據中國殘聯提供的數據顯示，目前國內聽力殘疾人達2054萬，語言殘疾人達130萬，占中國人口總數的1.67%。他們中的許多人都使用手語進行交流，而真正能理解手語的普通人卻很少。這種情況使得他們無法與正常人及時地進行交流溝通，給聾啞人的生活帶來了極大的困擾。

便攜式智能手語翻譯系統可及時準確地處理各種手語手勢信息，翻譯速度快，實時性好，系統識別率高，適應能力強。

聾啞人屬于弱勢群體，需要我們給予更多的關懷。我們的關懷不僅僅局限于內心的同情，贈送物質和金錢，還可以用科技手段來幫助他們走出困境。

現今全世界大約有6 500～7 000萬聾啞人，中國境內有近2 057萬聾啞人，其中7歲以下的聾啞兒童高達80萬。如此龐大的一個群體，他們本應該給社會創造更大的價值，卻因為生理上的殘疾，在生活、工作中受到極大的限制，甚至受到部分正常人的歧視。大多數聾啞人的生活可以說是不順利的，而最大的原因便是溝通不便。我們應該通過科技的力量最大限度地給他們提供便利的溝通方式，從而改善聾啞人的工作和生活，逐漸提升他們的社會價值。

目前市場上還沒有出現普及性的手語實時翻譯設備，該便攜式智能手語實時翻譯設備打破了聾啞人與正常人傳統的手語文字溝通方式，節約了聾啞人家庭請專業人士護理的費用，改善了聾啞人的生活，并且填補了這一市場空白。endprint