淺談手勢轉換語音APP設計

殷獻寧

摘要：本文綜述了國內外聾啞人語音交互技術發展的現狀，針對現有的聾啞人輔助發音系統普遍存在實現成本高、使用不方便的特點，并考慮到手機在大眾生活中的普遍性，提出設計一款基于圖像識別的手勢轉換語音APP。

關鍵詞：聾啞人;人機交互;圖像識別;信息轉換;視覺設計

據最新資料顯示，我國目前約有2057萬聾啞人，占總人口的1.67%。語言交流是聾啞人與外界交流的最大障礙，而手語是消除這種障礙的直接橋梁。手語作為聾啞人與正常人群之間較為有效地傳統交流手段，長期以來受 到許多聾啞人和相關人士的青睞。然而，手語存在難理解、難記憶、難掌握、 難學習的特點，因此，搭建一個正常人與聾啞人交流的平臺就顯得很必要了。

一、國內外研究現狀與APP設想

目前，國內外在解決聾啞人與正常人溝通障礙問題的研究中比較多的是基于手語交互技術實現的。中科院計算機研究所研發了一套手語識別與合成系統。該系統由一副具有手勢感應識別功能的手套和一臺計算機組成。使用者的手勢可以通過手套里的傳感器和位置跟蹤器進行識別，并把識別的信號經過計算機處理轉換成相應的語音輸出。由此可見人機交互技術在實現聾啞人無障礙交流中起著很重要的作用，但上述兩種發明也存在著明顯的弊端：使用不方便，無法大面積普及。我們想設計一種簡便的，可以大面積普及的，結合當下手機在人們生活中的不可或缺性，我們想到了APP設計。我和我的小組成員們經過多次討論，并深度分析了APP設計的可行性。我們認為APP的主要功能在于通過圖像識別將手勢轉換成語音以及將語音轉換成文字顯示出來，由此涉及到的系統有成像系統（拍攝系統）、圖像識別系統、搜索系統、存儲系統、轉換系統和語音系統，其中識別系統又分為手勢識別和語音識別。

二、APP視覺語言

一個APP的成功，視覺設計功不可沒。上面說過了，我們APP的兩大功能，這兩大功能一定要放在最顯眼，最容易被受眾找到的地方。在威廉斯的《寫給大家看的設計書》一書中凝練了設計的四個基本原則：親密、對齊、重復、對比。以我們熟悉的“支付寶”為例，其首頁排版設計就運用了這四大原則。上半部分的十二宮格運用的是親密和對齊以及重復的設計原則，和中間位置又形成了對比。上半部分的十二宮格的重復很大的增強了視覺效果，但又不會讓人感覺不舒服。在界面的中部位置的兩大版塊尤為吸人眼球，我認為我們的APP的兩大功能中的識別手勢轉換語音功能應該放在這里，并適當的加大圖標。當用戶打開APP的時候，一眼就能看到這個功能。還可以像“十二宮格”那樣，在界面的上半部分排列一些諸如學習功能、觀看功能等等。總之，界面的設計一定要讓用戶看著舒服，并且用著方便。

三、APP設計的可行性分析

再說一下APP的功能，基于圖像識別的手勢轉換語音功能，說的通俗一點就是通過APP拍攝聾啞人做出的手勢，然后轉換成語音說給你聽;基于語音識別轉換文字功能，就是APP會識別你說的語音，然后轉換成文字給聾啞人看。在點開手勢轉換語音系統入口時，APP會自動啟動手機的“照相機”，然后開始拍攝聾啞人做出的手勢，并實時轉換為語音通過手機聲音系統播放出來。其中最難的在于手勢識別環節，即“利用應用識別的相關技術自動辨識聾啞人做出的手勢并將其轉存為數字信息”，然后將數字信息處理為語音信息。數字圖像處理與識別技術是一直是學者們熱衷的研究方向，從而使得圖像識別技術取得了迅速的發展。目前國內外在圖像識別領域普遍使用的是卷積神經網絡，對于各種場景下的圖像識別有非常好的效果。采用此圖像識別系統作為手勢圖像處理的“中轉站”是非常可行的。

如果說圖像識別系統是APP的核心，那么存儲系統則是基礎，語音系統是它的外聯，而搜索系統則是連接圖像識別系統和存儲系統的樞紐，轉換系統又是連接搜索系統和語音系統的樞紐。拍攝系統將圖像傳達給圖像識別系統，接下來就是搜索系統和存儲系統的運行了。要說計算速度最快、存儲容量最大的當屬“云”技術。現如今，“云”技術在手機上的應用也是蓬勃發展，大部分手機都會帶有“云”存儲。我們將會盡可能的，錄制更多的聾啞人在日常生活中所用到的手勢，形成一個文件包，在用戶下載APP的時候，和APP一起被下載到用戶的手機中，設置它的默認存儲路徑為“云”存儲。當圖像識別系統做出反應后會連接搜索系統，搜索系統會在存儲空間進行搜索配對相對應的手勢。在這里，我們必須要保證搜索系統的搜索速度和準確性。全文搜索引擎是目前廣泛應用的主流搜索引擎，國外代表搜索是Google，國內有最大中文搜索百度。它們從互聯網提取各個網站的信息，建立起數據庫，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結果。根據搜索結果來源的不同，全文搜索引擎可分為兩類，我們要采用的這類是擁有自己的檢索程序，俗稱“蜘蛛”程序或“機器人”程序，能自建數據庫，搜索結果直接從自身的數據庫中調用。我們將采用此搜索方法，從“云盤”里直接檢索數據，然后再將數據信息發給轉換系統。轉換系統就比較簡單了，就像微信里把語音轉換為文字一樣，這里是將搜索到的數據信息轉換為語音信息，利用手機自帶的系統就可以實現。轉換為語音信息以后發送給語音系統，然后再播放給用戶聽，就實現了手勢轉換語音。基于語音識別轉換文字功能就更簡單了，通過識別用戶的語音，轉換成數據信息，從存儲數據庫檢索到對應的文字信息 ，然后在APP上顯示出來，就實現了語音轉換文字。

四、結語

在整個APP設計過程中，人機交互一直貫穿始終。我們希望，我們的人機交互技術為保障的基于圖像識別手勢轉換語音APP能夠真正的幫助到聾啞人，讓他們能更好的融入這個社會！

參考文獻：

[1]陳文全.便攜式聾啞人語音表達系統的設計[D]中國計量學院，2014：17-20.

[2]威廉斯（美）蘇金國、劉亮譯.寫給大家看的設計書[M]，北京：人民郵電出版社，2009：12-35.

[3]蔣樹強，閔巍慶，王樹微.面向智能交互的圖像識別技術綜述與展望[J]，計算機研究與發展，2016（01）：113-122.

基金項目：

本文為國家級大學生創新創業訓練項目：“基于圖像識別的手勢轉換語音APP設計”（編號201911688014）的研究成果。