基于多流卷積神經網絡的動態手勢識別

王增崢，洪昕

大連理工大學 生物醫學工程學院，遼寧 大連 116000

引言

手勢是人類最早使用且極具表現力的交流方式之一。手勢識別技術不僅在自然用戶界面發展中有著十分重要的地位，在康復醫療[1-3]、假手控制[4]以及臨床醫療[5-6]等領域都有著有廣泛的應用。目前，手勢識別依靠的技術方法多種多樣，從最早的通過傳感器獲得關節彎曲角度來實現識別的數據手套[7]，到當下主流的計算機視覺識別方法[8-11]，此外還有依靠超聲波的多普勒效應和飛行時間進行手勢的方法[12]，利用電磁波進行識別等。基于表面肌電信號的手勢識別的方法以其受外界情況干擾小、信號超前于肌肉力、移動性好以及成本低廉等特點，在眾多手勢識別的方法中具有其獨特的優勢。

由于表面肌電信號具有較強的時序性，因此常用活動段分割的方式來截取表面肌電信號，并通過活動段內提取出的多種不同特征來表征原始表面肌電信號[13]。提取的特征通常選用時域特征（如積分肌電值、均方根值、過零點數和斜率變化數等）、頻域特征（如平均功率頻率和中位頻率等）以及通過時頻域分析（如Wingner-Ville變換及小波變換等）得到的特征。而后，將特征向量輸入手勢識別模型中進而得到識別結果。常用的手勢識別方法有基于模板匹配的動態時間歸整算法、基于神經網絡的算法、基于統計學理論的支持向量機算法以及隱馬爾科夫模型等等。而基于卷積神經網絡的手勢識別方法，區別于以上所有的方法，它不再依靠人工設計的方法來提取特征，可以直接利用原始的肌電信號，這不僅規避了復雜且計算量很大的信號預處理部分，也解決了特征選擇具有的局限性的問題。但在實際的動態手勢識別中，僅依靠表面肌電信號進行識別不能很好地表征手勢在運動中的特征。因此，我們引入了能表征運動特征的加速度流以及陀螺儀流，并給出了適應情況的肌電流、加速度流以及陀螺儀流的三分支結構。

1 多流卷積神經網絡

1.1 卷積神經網絡

卷積神經網絡作為圖像識別領域內應用最為廣泛的方法，在深度識別領域有著十分重要的地位。受哺乳動物視覺分級進行信息處理的方式啟發，卷積神經網絡同樣具有多層結構，主要包含輸入層、卷積層、池化層、全連接層以及輸出層，其中卷積層與池化層是卷積神經網絡用來獲取特征和合并特征的特有結構。在一個卷積神經網絡中，通常有多個卷積層與池化層逐級提取各個層次的特征，對它們的設計也通常決定了網絡性能的優劣。

1.2 多流卷積神經網絡

因要表征動態手勢的不同要素，有多種不同的數據有待通過卷積神經網絡進行識別，但不同數據之間是具有顯著差異的。如果直接將各種數據合并在一起作為輸入，那么在特征提取的過程中，各種數據間的變化將被突出，而每種數據的特征將被弱化。因此，我們嘗試將多種數據分別進行特征提取。在我們動態手勢識別的情境中，肌電信號、加速度信號以及陀螺儀信號都有較強的時序性，將多路信號并排構成二維信號，此時信號兩個維度的含義是有差別的，一個是時間特征，另一個是空間特征。因此，二維卷積神經網絡中二維的卷積核和特征圖并不適合，我們選擇更適合處理自然語言的一維卷積來提取特征。

實際實現時，我們將三路輸入分別用卷基層提取特征，而后將三路輸出進行融合，得到最終的類別結果。三路支流分別是肌電（Electromyogrphy，EMG）流、加速度（Acceleration，ACC）流和陀螺儀（Gyroscope，GYR）流，三路支流數據先分別多次經過卷積層提取特征以及池化層壓縮特征；之后再將輸出進行融合，并通過全連接層、dropout層以及softmax層，最終得到整個神經網絡最終的類別判斷的結果。優化的多流卷積神經網絡的具體結構如圖1所示。

圖1 多流卷積神經網絡結構圖

數據輸入后，首先經過卷積層進行特征提取。卷積層作為卷積神經網絡的核心，通過用多個卷積核分別對輸入信號進行卷積的方式獲取輸出。通常卷積核的大小遠小于輸入信號大小，僅與信號的局部感受野進行卷積，并通過窗口滑動的方式覆蓋整個信號。具體計算時，如公式(1)所示：

在卷積層之后，我們采用池化層對輸入的特征圖進行特征選擇以及信息過濾。與卷積層類似，池化層取一個局部區域進行特征提取，通常采用對這一區域取最大值（最大值池化）或是平均值（均值池化）的方式，且不受反向傳播的作用。具體計算時，如公式(2)所示：

在卷積層與池化層之后，將三路輸出平攤成一維向量合并后輸入全連接層，對特征進行加權求和。并加入dropout層通過隨機令一些神經元失效，以降低參數之間耦合的方式來規避過擬合。最終，采用softmax層實現多分類，將全連接層的輸出映射到（0,1）區間，并以概率的方式給出最終的結果。

2 實驗結果與分析

2.1 數據采集

數據采集設備采用的是加拿大Thalmic Labs實驗室推出的創新型臂環——MYO臂環[14]，擁有八個通道的表面肌電信號傳感器，每個通道等間距排列，具體如圖2所示。

圖2 MYO臂環輪廓

除了肌電信號傳感器以外，MYO臂環還配有加速度傳感器和陀螺儀傳感器，并能將這三類信號通過低功率的藍牙傳出。MYO臂環不僅可以實現信號的無線傳輸，而且佩戴方便、有松緊扣，不同身體條件的使用者都可以舒適地佩戴MYO臂環。在手勢識別這個項目中，使用者大概率會處在的長時間佩戴手語識別設備的狀態，這樣MYO臂環良好的移動性、不受環境影響、價格低廉和可調節的前臂圍范圍能適用于絕大多數人的特點具有一定優勢。

選用的五個動態手語孤立詞分別是，大家、高興、進步、吃和加油，參考《中國手語》[15]，具體如圖3所示。

圖3 選取的動態手語孤立詞

每個手勢采集了500組，每個表面肌電信號片段大小為100×16，加速度信號片段和陀螺儀信號片段大小為100×6。

2.2 實驗結果分析

實驗使用TensorFlow框架來搭建卷積神經網絡實現對動態手勢數據的訓練識別，采用python語言編程，并利用可視化工具tensorboard獲取訓練數據。

在實驗中，我們設置了兩種卷積神經網絡結構。第一種為1.2中給出的多流卷積神經網絡，每個數據流設置相同，具體如下：第一個卷積層的參數為outputcurves=48，kernelsize=3；第一個池化層采用最大池化scale=3；第二個卷積層參數為 outputcurves=128，kernelsize=3；第三個卷積層參數為outputcurves=152，kernelsize=3；第二個池化層采用最大池化scale=2。第二種采用常規卷積神經網絡，其結構參數設置與第一種一致，不過將三種輸入信號合并，即輸入100×28的信號片段。兩種網絡結構我們設置相同的迭代次數numepochs=700。實驗得到的結果如圖4、圖5所示。

圖4 多流卷積神經網絡結果

圖5 常規卷積神經網絡結果

觀察圖4可以發現，多流卷積神經網絡訓練集與測試集的準確率在200次訓練之前迅速上升，在測試集準確率達到98%之后趨于穩定；而交叉熵損失與之對應同樣在200次訓練之前迅速降低，而后趨于平穩。我們可以認為多流卷積神經網絡對動態手勢有較好的識別效果。

觀察圖5可以發現，卷積神經網絡訓練集與測試集的準確率在200次訓練之前有所上升，之后訓練集的準確率維持在80%以上，但測試集準確率卻開始降低；而交叉熵損失與之對應訓練集與測試集同樣在200次訓練之前迅速降低，之后訓練集逐漸趨于穩定，而測試集卻集迅速上升，呈現出典型的過擬合現象，識別效果不理想。

分析其原因是多種不同的數據有通過卷積神經網絡進行識別時，由于數據之間是具有顯著差異，直接將各種數據合并在一起輸入，那么在特征提取的過程中，各種數據間的差異作為特征將被突出，而每種數據的特征被弱化。此時，常規的卷積神經網絡出現的過擬合情況與輸入數據有強噪聲而產生的過擬合情況類似。與之對應，我們可以認為多流卷積神經網絡可以有效識別多種不同的數據的輸入，而規避因此出現的過擬合情況。

3 結論

本文針于動態手勢識別給出了一種基于多流卷積神經網絡的識別方法，主要有兩個創新：其一，選用的卷積神經網絡可以直接利用原始的肌電信號，不依靠人工設計的方法來提取特征，這不僅規避了復雜且計算量很大的信號預處理部分，更是解決了特征選擇具有局限性的問題；其二，針對肌電信號進行識別不能很好地表征手勢運動特征的問題，我們引入加速度流以及陀螺儀流，并給出了適應情況的肌電流、加速度流以及陀螺儀流的三分支結構。實驗表明，給出的多流卷積神經網絡擁有較高的數據流類別判別的準確率，以及有效的動態手勢識別效果。我們認為這種多流網絡結構，對于有多種不同的待識別數據，并且不同數據間存在明顯差異的情況有一定借鑒意義。