基于深度學習的手勢識別與外部操作系統

摘? 要：為正確識別使用者意圖要做出的手勢，文章設計并制作一種前臂多通道表面肌電信號采集臂環，再使用信號分割算法和神經網絡模型建立深度學習神經網絡，再用樹莓派使用訓練好的模型處理肌肉電信號，使得系統的運算速度進一步提升。最終實現通過識別用戶肌電數據，判斷用戶手勢動作，控制各種外部可操作的系統，例如機械手、虛擬手等，具有一定的社會價值與經濟價值。

關鍵詞：表面肌電;神經網絡;肢體康復

中圖分類號：TP391.41? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）05-0155-03

Gesture Recognition and External Operating System Based on Deep Learning

GAN Han

（School of Software & Internet of Engineering，Jiangxi University of Finance and Economics，Nanchang? 330013，China）

Abstract：In order to correctly recognize the gesture that the user wants to make，this paper designs and makes a forearm multi-channel surface EMG signal collection arm ring，then uses the signal segmentation algorithm and neural network model to establish the deep learning neural network，and uses the trained model to process the EMG signal by raspberry school，which makes the systems operation speed further improved. Finally，it can recognize the EMG data of users，judge the gestures of users，and control all kinds of external operable systems，such as manipulator， virtual hand，etc.，which have certain social and economic value.

Keywords：surface electromyography;neural network;limb rehabilitation

0? 引? 言

本文是基于本校“多傳感器融合對肌肉電進行手勢識別”項目，對肌肉電處理與手勢識別進行的研究成果。當前手勢識別相關領域的解決方案主要有基于圖像識別、基于傳感器和基于表面肌電三個方向，在某些應用場景中以上前兩種解決方案可以發揮其作用，但也受到許多限制，例如易受外界環境因素影響、使用過程的不便利性、存在識別盲區以及可識別手勢的數量較少等。基于表面肌電的手勢識別解決方案的實現與人體的緊密聯結程度最高，可識別到手指關節等運動的微小細節，識別手勢的精度最高，因此該種手勢識別解決方案相關課題一直是該領域研究的熱點。

1? 系統的總體思路

系統總體可分為前臂多通道表面肌電信號采集臂環、神經網絡算法和相應控制實現三個部分，按照功能實現，本系統可劃分為五大部分，分別為信號源、信號收集、信號處理、神經網絡算法和控制實現，系統實現框圖如圖1所示。

2? 信號源的選取

經團隊測試，前臂的表面肌電信號隨手勢變化而具有不同的波動，因此系統將受試者的前臂肌肉當作信號源。用多個差分電極以臂環的形式固定在前臂上采集不同手勢動作的表面肌電信號，臂環實物佩戴圖如圖2所示。

3? 表面肌電信號采集

使用差分電極電路實現對表面肌電信號離線訓練階段的數據采集[1]，如圖3所示，左右兩端電極為差分輸入電極，中間電極為公共地。

表面肌電信號的幅值小且能量微弱，幅值只有μV～mV的數量級[2]，因此為有效采集表面肌電信號，避免外界的工頻干擾及體外的電場、磁場感應在人體內形成的測量噪聲干擾和影響表面肌電的檢測，大多數研究團隊均會采取植入式針狀電極或者表面陣列式電極采集。為克服以上問題，本系統技術上使用多通道差分電極采集，解決了表面肌電信號低信噪比問題。

4? 信號處理

將采集到的表面肌電信號進行信號處理，信號處理框圖如圖4所示。

獲取的表面肌電信號經前后兩級放大，通過切比雪夫I型帶通濾波器濾波后，再通過A/D數模轉換器，從模擬信號得到離散的數字信號，并通過信號分割算法進行信號分割，獲得有效表面肌電信號樣本。

5? 神經網絡算法

通過信號分割算法進行信號分割獲得有效表面肌電信號樣本，以此訓練卷積神經網絡模型分類，該分類器包括兩種神經網絡：首先使用卷積神經網絡（CNN）識別當前時刻前臂神經活動狀態。卷積神經網絡具有高效的特征提取能力，在表面肌電信號快速識別方面，卷積神經網絡有較好的分類性能，已經廣泛應用于模式識別領域。之后將上述識別的完整手勢動作前臂神經活動狀態序列使用循環神經網絡（RNN）進行手勢的分類[3]。使模型在離線訓練階段對手勢動作識別的分類具有高準確度。在在線識別階段，神經網絡模型能夠對實時傳送的表面肌電信號進行模式識別，分類出準確的類別，并將實時識別結果轉換成相應的控制參數，實現對控制對象的控制。系統算法模塊如圖5所示。

6? 控制實現

控制器根據神經網絡模型識別的結果，將分類結果轉換成相應的控制參數，控制相應對象，驅動虛擬手做出與識別結果相對應的手勢，效果如圖6所示。

7? 實驗測試

為了檢驗系統的可靠性以及實用性，實驗人員對肌肉電采集等系統進行多次測試實驗，記錄實驗結果，實驗者進行上肢的手勢運動，將會產生對應的不同表面肌肉電信號，臂環設備能夠采集這些數據并通過藍牙傳輸至PC端做進一步處理，從而將數據傳輸給機械手以及虛擬手等外部設備。

系統適用范圍如下：

（1）可以幫助殘疾患者解決因肢體殘疾導致的生活中的不便;

（2）可以用于康復醫學和臨床醫學研究，幫助肢體康復;

（3）可以幫助聾啞人與正常人進行雙向交流;

（4）滿足如今虛擬現實技術中對虛擬對象的操作。

8? 系統優勢

（1）識別精度高、識別數量大。據調查，國內一款名為DTing產品的平均識別率為90%，而本作品的識別精確度可以達到99.34%，該精度可以確保能夠識別到每一根手指的運動。百度AI手勢識別可以識別24個手勢，而本作品可以識別的手勢種類由于識別的高精度遠遠超過百度AI手勢識別，目前可以識別100余種手勢，未來手勢識別種類數將不斷增加。

（2）識別無盲區。國外研究人員開發的一款名為“E-chat”聾啞人社交手套的作品，應用于聾啞人的手勢識別過程中，存在較大的識別盲區，某些動作由于傳感器的限制無法識別。而本作品不存在識別盲區的問題。本作品緊密跟隨信號源的變化，表面肌電信號超前于動作發生大約300 ms，理論上只要是手部能夠做出的動作，均能夠識別出來。

（3）應用領域廣。目前市面上手勢識別的解決方案均指向單一問題場景，在面對多任務需求場景中常顯得應接不暇。本作品可用于康復醫學領域、手語翻譯交互以及體感交互體驗等多個領域。可以滿足因肢體殘疾而帶來生活不便的殘疾患者的需求;可以滿足聾啞人群體與肢殘人之間的雙向交流需求;可以滿足如今虛擬現實技術中對虛擬對象的操作等。

9? 市場分析和經濟效益

根據我國第二次全國殘疾人抽樣調查數據顯示，我國各類殘疾人總數已經達到了8 296萬人，這其中肢體殘疾人數為2 412萬人，占殘疾人總數的29.07%，比重較大，而肢體殘疾者中有226萬是肢體截肢者。隨著現代科學技術的迅速發展，社會對殘疾人事業的關注程度也越來越高，數據顯示，在所有殘疾人當中，處在可就業階段的青壯年殘疾人所占比率遠遠不止四分之一。肢體的殘疾給這些人的生活帶來了很多的不便，嚴重影響了他們的正常生活。

基于深度學習的多傳感器融合手勢識別與控制系統能夠有效地解決此類社會熱問題。本文設計的控制裝置不僅可以提高廣大截肢者的生活品質，增加就業機會，也將會大大地降低國家、企業及家庭為他們所付出的服務成本，因此具有巨大的社會前景，能夠被社會公眾接受，具有市場前瞻性，從而產生相應的經濟價值。

10? 結? 論

本文提出一種基于深度學習的多傳感融合手勢識別與控制系統，將肌肉電識別技術應用于手勢識別中，運用自主設計的前臂多通道表面肌電信號采集臂環，使用快速有效的信號分割算法對多通道表面肌電信號進行采集分割并完成數據集的制備，并以此訓練神經網絡模型。實時的表面肌電信號通過已訓練的神經網絡模型進行分類，并將分類結果轉化為控制信號，實現相應的控制。本系統可以應用于肢體康復、手語翻譯交互、體感互動娛樂等多個領域，具有一定的研究價值、經濟價值和社會價值[4]。

參考文獻：

[1] 何友，王國宏，陸大金，等.多傳感器信息融合及應用 [M].北京：電子工業出版社，2001.

[2] 李建華，王健.表面肌電圖診斷技術臨床應用 [M].杭州：浙江大學出版社，2015.

[3] 孫志軍，薛磊，許陽明，等.深度學習研究綜述 [J].計算機應用研究，2012，29（8）：2806-2810.

[4] 楊彬.基于多通道肌電信號的手指康復動作研究 [D].杭州：浙江工業大學，2017.

作者簡介：甘晗（1999-），男，漢族，江西萍鄉人，本科在讀，主要研究方向：深度學習及嵌入式控制。