基于移動增強現實技術的手語學習系統設計與實現

程鴻芳，唐賢傳

(蕪湖職業技術學院，安徽蕪湖 241000)

據統計，我國現有聾啞人2057萬，按每個聾啞人有直系親屬四人計算,使用手語的人口應該在一億人左右。此外，特殊教育工作者、服務行業、政府職能部門以及手語愛好者也是一個很大的使用手語的群體。而目前手語學習主要依托于聾啞學校，學生在課堂上接受教育，但是由于受傳統特殊教育手段的限制，學生在接受方面存在著諸多障礙。在“老少邊窮”地區，上網困難的聾啞人無法學習手語。針對這一現象，本文開發一款基于移動增強現實技術的手語學習系統，幫助聾啞人學習手語，使他們更好地融入社會，與健全人進行無障礙交流。

1 增強現實技術概述

增強現實技術(Augmented Reality，AR)，是一個非常有發展潛力的新技術，它能夠實現虛擬信息和真實世界的無縫融合，呈現給用戶一個視覺感官效果真實的新環境。隨著移動終端的迅速發展，多種傳感器的廣泛應用，為實現移動增強現實技術提供了強有力的保障。

2 基于移動增強現實技術手語學習系統的設計

2.1 系統整體設計

整個手語學習輔助系統包含移動APP、AR學習手冊、云端服務器。

2.1.1 移動“守望”聾啞人手語學習無障礙輔助APP

“守望”APP如圖1所示，目前只包含AR識字、AR手語教學、語音識別三個模塊。

2.1.2 AR學習手冊

該手冊包含聾啞人日常用語，包含常識主題、出行需求、人際交往、社會往來。收錄手語詞匯上千個，具有瀏覽、查詢等功能，圖文并茂，可以添加修改詞庫，是學習手語的好工具，如圖2所示。

圖1 移動“守望”聾啞人手語學習無障礙輔助APP

圖2 手語AR學習手冊

2.1.3 云端服務器

“守望”APP由于包含了大量的3D手語動畫以及可識別圖片，占用存儲較大。針對此我們將推出兩款產品：第一款APP將把資源存儲到云端，本地存儲占用低，在云端進行圖片識別后，服務器會把對應的3D手語動畫推送到客戶端；第二款APP將包含所有資源，針對的用戶是“老少邊窮”地區上網困難的聾啞人，所有的圖片識別都是在本地，可以更好地縮短發達地區與欠發達地區的差距，幫助更多的聾啞人了解科技技術，融入社會。

2.2 手勢模型設計

2.2.1 模型階段

在最初的模型階段，通過人物手部的骨骼來判斷手部的大小以及人物手部的關節位置，只有對關節位置有一個正確的把握，才能對手部的動作有正確的調整基礎。同時，在建模初期需將手部全部平展開來，達到五指張開、平伸直的狀態，以便后面步驟的操作，如圖3所示。

2.2.2 貼圖及渲染階段

在建立好模型以后需要對模型加上手部的紋理以及手部的顏色。首先將模型UV展開，單獨將UV渲染出來，存為TIF格式。再將渲染好的UV圖放進Substance printer軟件中進行人物手部的紋理及貼圖繪制。在繪制好貼圖和紋理后，將其貼入3DMAX中的手部模型上，然后在自帶的燈光中渲染即可，如圖4所示。

圖4 貼圖及渲染階段設計

2.2.3 動畫調整階段

在調整動作之前，需要經過繁瑣又復雜的權重階段。權重意味著骨骼所帶動的皮膚變化位置及多少。在完成骨骼的權重調整之后，開始做動畫部分。先將手部五根手指的基礎動作做成控制盤，這里需要利用動畫反映控制器和IK解算器。完成反應器制作以后，再對照手語文本進行逐幀的動畫制作，如圖5所示。

圖5 動畫調整階段

2.3 手勢動作的識別

通過Unity 3d調用DefaultTrackableEventHandler類，對識別圖進行識別，識別出不同的圖片、出現的不同模型以及匹配相應的動作。

2.4 移動端實現

在Unity3d中導入Vuforia的SDK，制作AR，最后導出成Android APP。

第一步：環境搭建。把Unity3d的項目以Gradle方式導出；將導出的項目中lib文件夾下的jar包拷貝到Android工程的libs目錄下；然后把Unity3d導出項目下的assets和jniLibs文件夾拷貝到Android工程的main目錄下。此時開發環境搭建完畢，如圖6所示。

圖6 第一步設計界面圖

第二步：繼承UnityActivity的類(此類為Unity3d中的classes.jar包下的類，并繼承activity類)，使其場景顯示在activity組件中。此后就是在Android中的開發了。(Unity3d中場景的腳本與Android中通信交互方式是通過UnityPlayer.UnitySendMessage()API函數通信的)，如圖7所示。

圖7 第二步設計界面圖

2.5 移動增強現實技術手語學習系統

手語學習教學平臺(圖8)的手勢模型，提供了大量的手勢動作(圖9、圖10)。該平臺具備查看歷史記錄、中英文輸入識別、語音識別、AR識別等功能。

圖8 手語學習教學平臺

圖9 字母C手語展示

圖10 字母A手語展示

3 結語

增強現實作為近年來快速發展的一種新技術，為手語學習提供了新的教學方法，同時解決了傳統教學中的弊端。采用3DMAX、Unity3d、Vuforia、Andriod等技術，開發一款基于移動增強現實技術手語學習系統。該系統利用3DMAX實現手的模型，內貼皮膚，制作手的骨骼，通過控制骨骼節點制作骨骼動畫，運用Unity3d腳本實現模型的控制與動畫的播放，在Unity3d中導入Vuforia的SDK，制作AR，最后導出為Android APP。系統界面簡單，操作方便，實時性高，給聾啞人以身臨其境的感覺，幫助他們更好地融入到健全人的社會生活中。同時，本系統還可以幫助與殘疾人接觸的民政、社工、康復等工作者，提高他們學習手語的效果。

[參考文獻]

[1]張林鍹,辛獻杰,崔冰,等.面向汽車產品設計的虛擬現實服務平臺研究[J].系統仿真學報,2014(10):2407-2411.

[2]周靈,張舒予,朱金付,等.增強現實教科書的設計研究與開發實踐[J].現代教育技術,2014(9):107-113.

[3]徐劍坤.增強現實技術在采礦工程實驗教學中的應用[J].實驗室研究與探索,2013(2):136-139.

[4]沈克.基于增強現實的大學計算機基礎課程教學研究[J].電腦知識與技術,2010(15):4079-4080.

[5]申玉斌,蔡勇.基于增強現實技術中虛擬物體投影的應用研究[J].微計算機應用,2008(5):73-77.

[6]劉遹菡.基于增強現實技術的手機應用研究[J].湘潭大學學報:哲學社會科學版,2015(3):127-130.

[7]孟昭睿.基于快速響應碼的移動增強現實系統的研究[J].韶關學院學報,2015(2):19-24.