基于深度卷積神經網絡手語翻譯系統的教學改革探索

李棟 李大華 高強 于曉

摘要：為提高我國聾人高等教育水平，提出了一種基于ALEXNET神經網絡手語翻譯系統的教學模式。該教學模式根據神經網絡設計一種手語自動識別系統，通過跟蹤手部運動軌跡，將動態手語信息轉化為特征信息，從而完成手語信息向語言文字信息的轉化，實現教師和學生之間的信息交流。該系統能夠幫助教師了解聾人學生課堂知識掌握情況，提升課堂教學效率，增強了聾人學生的課堂參與度，能夠促進我國特殊教育的發展。

關鍵詞：聾人高等教育;人工神經網絡;手語識別;課堂交流

中圖分類號：G642.0 ? 文獻標志碼：A

特殊教育事業一直是我國教育事業發展需要攻克的難關，其中高等教育更是一個重點[1]。本文基于深度卷積神經網絡提出一套針對聾人工高等教育改革方面的手語翻譯系統[2]，將卷積神經網絡應用于聽障大學生手語語法分析[3-6]。

1 聽障大學生在高等教育教學中存在的問題

普通教師在教學過程中，教師會根據在傳授知識時學生的反應與學生對課堂知識的吸收程度對課程進行教學上的調整。30%左右的聾人與正常人的溝通存在著很大的障礙，這就導致聾人學生在課堂上的疑惑并不能及時的得到解決，問題積累過多，會導致學生不愿意與教師進行溝通，從而形成惡性循環。

2 基于深度卷積神經網絡的手語識別模型

目前，國內許多研究人員針對手語翻譯問題已經提出了一些想法，天津理工大學的袁甜甜等人提出一種基于深度學習（Deep Learning）[7]的中國手語翻譯系統，該系統利用CNN提取視頻特征進行預訓練，利用兩層LSTM用于脫機機器翻譯。……