基于表面肌電信號的手勢識別方法

崔冰艷, 鄧嘉, 張祥

(華北理工大學機械工程學院, 唐山 063210)

腦卒中通稱中風,是一種腦部缺血或出血性損傷導致的疾病。80%～90%的腦卒中患者會存在不同程度的手部運動功能障礙癥,腦卒中患者腕部功能障礙主要表現為腕部僵硬,腕自由度的缺失[1]。根據臨床調研發現,患者的主動康復訓練更有助于康復[2],因此基于上肢康復訓練系統的自主康復訓練研究具有廣闊前景。

康復訓練是通過恢復激活肌肉的機能來達到康復目的,表面肌電信號(surface electromyography,sEMG)的成功運用在很大程度上取決于特征提取和選擇。到目前為止的研究中,沒有確定哪些類型的特征可以充分表達sEMG數學特性。目前,sEMG特征提取方法主要包括時域、頻域、時頻域和非線性動力學分析[3-4]。sEMG的分類方法主要有支持向量機(support vector machine,SVM )、反向傳播神經網絡(back propagation neural net-work,BPNN)、隨機森林(random fores,RF),K最近鄰算法(K-nearest neighbor,KNN)、線性判別分析(linear discriminant analysis,LDA)和深度學習 (deep learning,DL)[5]。

實現上肢運動動作的識別是機電控制的關鍵。張龍嬌等[6]提出一種融合卷積神經網絡(convolutional neural network, CNN)和長短時記憶網絡(long short term memory, LSTM),將手勢控制臂環采集到的8通道sEMG數據進行分類,實驗的結果表明手勢識別準確率為91.6%。劉光達等[7]提出改進的果蠅優化算法基礎上把遺傳算法的交叉變異和果蠅優化算法混合,并與神經網絡結合對肌肉疲勞進行識別,準確率為94.3%,優于其他方法。來全寶等[8]以提高手勢識別的準確率,提出一種人工魚群算法優化的極限學習機(artificial fish swarm algorithm-extreme learning machine, AFSA-ELM)分類模型,實驗結果表明,結合最優特征組合與最優滑動窗口設計的AFSA-ELM分類模型對多種手勢的平均識別準確率高達97.4%,比BPNN分類模型和未優化的ELM分類模型分別高3.5%和1.6%。吳田等[9]提出基于sEMG和混合算法優化支持向量機(particle swarm optimization-genetic algorithm-support vector machines,PSO-GA-SVM) 的舒適度評估方法,引入基于希爾伯特黃變換(Hilbert-Huang transform,HHT) 的平均瞬時功率(averaged instantaneous frequency,AIF) 作為特征參數,構建了基于混合算法優化支持向量機的評估模型,模型的準確率為 93.5%,可有效量化評估絕緣桿類工器具的舒適度。Qureshi等[10]針對手勢識別,提出了CNN和預訓練轉移學習(transfer learning,TL)模型之間的比較,該模型實現了更高的精度和更低的計算成本。結果表明,CNN可以顯著提高模式識別sEMG控制方案的有效性。Qin等[11]提出了一種基于通道卷積神經網絡模型(channel wise-convolutional neural network, CW-CNN)的sEMG信號虛擬手控實時控制系統,并在兩天內對8名健康實驗人員進行了三次實驗。實驗結果表明,該系統在3自由度運動回歸中具有較高的精度,系統穩定,計算延遲低。Xing等[12]使用具有卷集成層的五個并行架構的 CNN 模型對 Ninapro DB2 數據庫進行分類和測試。實驗結果表明,CNN方法的分類準確率為83.23%,高于SVM和RF方法。Hu等[13]提出了一種基于注意力的混合CNN和RNN(CNN-RNN)架構,NinaProDB1、NinaProDB2、BioPatRec子數據庫、CapgMyo子數據庫和csl-hdemg數據庫的識別準確率分別為87.0%、82.2%、94.1%、99.7%和94.5%,比現有技術性能分別提高了9.2%、3.5%、1.2%、0.2%和5.2%。Vijayvargiya等[14]提出了一種混合小波與集合經驗模態分解預處理技術的方法,稱為WD-EEMD(wavelet decomposition-ensemble empirical mode decomposition),用于下肢活動進行分類。Pradhan等[15]在sEMG信號研究中,提出三個特征提取方法,時域特征、時頻域特征和自回歸特征,并在通道數1～8不等的情況下研究它們的組合。其中,對于識別系統,四通道配置的平均誤差對于時域特征為3%,對于時頻域特征為12.4%,對于自回歸特征為36.3%。

綜上所述,很明顯,深度學習方法可以在sEMG手勢識別中實現更好的分類性能,使用CNN對sEMG信號進行分類的準確性普遍高于傳統分類方法。許多研究表明,時域和時頻域特征提取對sEMG信號分類具有識別性,并且多特征融合的sEMG信號更具識別度。在國內外研究中上肢運動識別的研究中準確率還有待提高。因此,為了提高上肢手勢動作的識別準確率,基于sEMG信號對上肢手勢動作識別進行了研究。首先進行sEMG信號的預處理,包括了信號去噪和數據分割。其次進行sEMG信號的特征提取,將時域和時頻域特征相融合,采用積分肌電值、均方根值和小波包變換系數構造為特征空間IEME和RMSME。最后使用SVM、AFSA-SVM 和CNN對特征空間進行了分類結果對比。

1 sEMG信號采集與處理

1.1 實驗設計

在表面肌電信號采集實驗過程中使用的設備為Delysis TrignoTM無線肌電儀,如圖1所示,它具有16路無線傳感器,可同時采集16塊肌肉的肌電信號和3軸加速度。

根據局部解剖學原理,手臂的屈伸運動主要由上臂肌肉區控制,握拳和伸肌主要由前臂肌肉群控制[16]。根據本文實驗的動作,選擇指淺屈肌與指伸肌作為表面肌電信號的來源,如圖2所示。

圖1 Delysis TrignoTMFig.1 Delysis TrignoTM

圖2 指淺屈肌與指伸肌位置示意圖Fig.2 Location of flexor digitorum superficialis and extensor digi-torum

實驗共采集了10位年齡為25+2歲的受試者,其中包括了8位男性和2位女性。在整個實驗過程中,受試者被要求以足夠穩定的方式進行,以消除姿勢差異引起的干擾。受試者使用右手進行見表1的手勢動作完成sEMG信號采集。為了排除肌肉疲勞對表面肌電信號的影響,受試者在任何兩個動作之間休息2～5 s。實驗期間,受試者以2～5 s的運動周期完成了至少6次同一上肢運動,一共完成三組實驗。

1.2 sEMG去噪

sEMG是幅值僅為μV級的微電信號,它具有非線性與非平穩特點。sEMG分布在500 Hz以下的頻帶范圍內,其中主要頻率集中在10～300 Hz,核心能量集中在20～150 Hz[17]。基于sEMG信號的特點,可知它極易受到噪聲的干擾,因此在使用sEMG信號之前必須濾除其中的噪聲?？紤]巴特沃斯濾波器比切比雪夫濾波器具有更平滑的濾波特性,所以選用巴特沃斯濾波器去噪。使用巴特沃斯濾波器對sEMG信號進行截止頻率為10 Hz的高通濾波去除低頻噪聲,截止頻率為300 Hz的低通濾波去除高頻噪聲。使用巴特沃斯濾波器從一階到五階對原始的sEMG信號進行去噪,通過信噪比(signal-noise ratio, SNR)大小進行選擇,結果見表2。

SNR值越大,說明去噪效果越好,所以由表2可知,在三階時對sEMG信號的去噪效果最好,因此本文選擇三階巴特沃斯濾波器進行信號去噪,對1號受試者的1號動作去噪處理如圖3所示。

表1 八種手勢運動Table 1 8 gesture movements

表2 不同階數的信噪比值Table 2 Signal to noise ratio of different orders

圖3 三階巴特沃斯濾波器去噪Fig.3 Third order Butterworth filter denoising

1.3 時間滑動窗口數據分割

(1)分段樣本數:分段樣本數是指使用時間滑動窗口后生成的數據段數,表達式為

(1)

式(1)中:L表示數據量。

按照正常完成一個動作流程時間一般為2～6 s,采用2 000 Hz的采樣頻率,所以單個動作數據量。因此計算可得N=12～1 495。實驗的采樣頻率為2 000 Hz,采樣周期為0.5 ms,當Wd=8,該段數據的處理時間為4 ms,且數據量較大,使特征提取和分類器處理的時間加大,并對計算機性能的要求很高,還會限制算法的復雜性,數據量過少會導致分類模型過擬合。因此選擇Wd為16、32和64。 對數據量的影響較小,但過大的W,會使信號的細節特征被吞沒,所以選擇W為32、64和128。因此W與Wd不同組合的數據量大小如表3所示。

表3 W與Wd不同組合分段樣本數Table 3 Number of segmented samples in different combinations of W and Wd

(2)

則滑動能量均值計算公式為

(3)

圖4 滑動能量均值Fig.4 Mean sliding energy

1.4 特征提取

目前,表面肌電信號特征計算方法主要包括時域、頻域、時頻域和非線性動力學分析。為增強數據特征的可靠性,選用時域信號中的積分肌電值(integrated electromyography, iEMG)和均方根值(root mean square, RMS),時頻域信號中的小波包變換(wavelet packet transform, WPT)作為特征提取。

1.4.1 積分肌電值

積分肌電值表示肌纖維的電荷活動程度[21],所有整流曲線下面積,能夠體現肌電值的波動和能量熵。積分肌電值計算公式為

(4)

式(4)中:Z為信號數;Δt為信號點之間的時間差;xi為信號值。

以手掌伸展的肌電信號為例,其積分肌電值處理結果如圖5所示。

iEMG1_1表示1號動作手掌伸展的1號肌電傳感器肌電積分值, iEMG1_2表示1號動作手掌伸展的2號肌電傳感器肌電積分值圖5 積分肌電值Fig.5 Integrated electromyography

1.4.2 均方根值

均方根值與肌電信號的能量直接聯系[22],它表示表面肌電信號在單位時間內的變化,可以反映肌肉的活躍程度。均方根值計算公式為

(5)

式(5)中:M表示信號總數;xi為信號值。

采用與肌電積分值相同的動作與肌肉采集位置進行均方根值信號處理,結果如圖6所示。

RMS1_1表示1號動作手掌伸展的1號肌電傳感器均方根值; RMS1_2表示1號動作手掌伸展的2號肌電傳感器均方根值圖6 均方根值Fig.6 Root mean square

1.4.3 小波包變換

小波分析和小波包變換適合對非平穩信號的瞬態和時變特性分析,具有多尺度分析能力和良好的時頻局部化特性[23]。

小波包變換滿足雙尺度方程,即

(6)

小波包變換包括小波包分解和小波包重構。

(1)小波包分解:對肌電信號進行j層小波包分解,得到2j個不同信號的子頻帶,并按低頻到高頻的順序重新排列,采用正交小波包變換對信號x(t)進行分解,則l層k點的小波包分解系數,其公式為

(7)

(8)

式中:l為小波分解層數;r=0,1,2,…,2l-1為相應層數下節點的個數;k=1,2,3,…,2l為第j層的第k個節點。

(2)小波包重構:對小波包分解系數進行單支重構公式為

(9)

則總重構信號計算公式為

(10)

采用小波包變換中小波包系數最大值(max wavelet packet coefficient,MWPC)和小波包系數能量(energy wavelet packet coefficient,EWPC)作為特征提取。

小波包系數最大值計算公式為

MWPCi=lg(max|Si|)

(11)

式(11)中:Si表示對應頻段的小波包系數。

小波包系數能量計算公式為

EWPCi=lg(ewpci)

(12)

式(12)中:Si表示對應頻段的小波包系數;Mi表示不同頻段。

將小波包系數最大值和小波包系數能量值進行融合,構建特征向量ME公式為

ME=[MWPCi,EWPCi]

(13)

式(13)中:i為對應的最后一層小波包分解個數。

以1號受試者的8種手勢,每種6組數據為例,其處理結果如圖7所示。

由圖7可知,各動作的小波包系數具有明顯區分度。

圖7 特征向量MEFig.7 Feature vector ME

1.5 sEMG特征空間構造

將特征提取的多種信號聯合構造為特征空間,更有利于表現信號的信息,增強動作間信號的區分性[24-25]。適量增加傳感器通道數可增強數據的差異性,提高識別率。因此,分別構造積分肌電值和均方根值與小波包變換系數的特征空間。特征空間構造表達式為

IEME=[iEMG1ME1iEMG2ME2]

(14)

RMSME=[RMS1ME1RMS2ME2]

(15)

式中:iEMG1、ME1和RMS1為采集設備通道1的數值;iEMG2、ME2和RMS2為采集設備通道2的數值。

2 sEMG信號手勢識別算法

2.1 人工魚群算法

人工魚群算法原理是模擬魚的覓食、聚群和追尾行為,通過魚群中每個個體的局部尋優,循序漸進從而得到全局最優值[26],該算法流程圖如圖8所示。

2.2 卷積神經網絡

CNN主要包含輸入層、卷積層、池化層、全連接層和輸出層5個模塊,其工作結構如圖9所示。為了提高信息的深度和識別的準確率,通常多次使用卷積層、池化層和全連接層。

圖8 人工魚群算法流程圖Fig.8 Flow chart of artificial fish swarm algorithm

圖9 CNN工作流程圖Fig.9 CNN workflow diagram

在CNN中,輸入層輸入通過處理后的sEMG信號,將sEMG信號構建為圖像信息,卷積層再進行局部特征提取后,池化層再進行下采樣操作,通過特征選擇和信息過濾將最有用的特征信息保存,全連接層對提取的特征進行非線性組合后得到輸出,輸出層為分類結果。

2.3 支持向量機

SVM的多分類是在二分類的基礎上發展來,通過核函數和松弛變量將樣本映射到高維空間,超平面間將空間劃分為多個區域進行分類[27]。

本研究選擇高斯核作為核函數,其公式為

(16)

式(16)中:σ核函數參數影響著樣本映射到高維空間后的分布。

3 實驗環境與結果分析

3.1 實驗環境

實驗的硬件環境:CPU為Intel i5-11260H頻率2.6 GHz;GPU為NVIDIA GeForce GTX3050 Ti顯存6GB。實驗的軟件環境:EMG works Analysis;MatlabR2020b;PyCharm2021;tesorflow2.0.0;keras2.3.1。

3.2 實驗評估

采用交叉驗證方法來證明所識別分類模型的實際識別率,隨機選取70%的樣本作為訓練集,30%的樣本作為測試集,將每一受試者的10次識別模型結果的平均值作為評估結果。

本文除了實驗采集的數據,還采用了非侵入自適應假肢肌電2號數據集(non-invasive adaptive pros-thetics database 2,Nina Pro DB2),該數據集為可用于科學研究的公開數據集。Nina Pro DB2使用了與本文實驗相同的肌電采集設備Delysis TrignoTM,采樣頻率皆為2 000 Hz。本文中選取了其中對應的動作運動類型和sEMG信號采集位置進行實驗對比。

3.3 實驗結果分析

利用AFSA對SVM徑向基核函數(radial basis function, RBF)參數(c,σ)尋優,設人工魚的數量m=100,最大迭代數Genmax=10次,最多試探次數try_number=10,感知距離gen=1;擁擠度因子delta=0.618; 移動步長step=0.1;當尋優次數達到所設的最大迭代數時,尋優終止并輸出最優的(c,σ),其尋優迭代過程如圖10所示。

對NinaPro DB2數據集中10位受試者的8種手勢識別準確率如圖11所示。

對實驗采集10位受試者的8種手勢平均識別準確率如圖12所示。

由圖11和圖12可知,AF-IEME在整體的識別中具有明顯優勢,但在Nina Pro DB2數據集中手勢4與手勢6的識別率較低,在實驗數據中手勢5與手勢8的識別率較低。

使用一維卷積神經網絡(1D-CNN)和二維卷積神經網絡(2D-CNN)對實驗采集的10位受試者進行手勢識別, CNN模型參數Batch_Size=16,epoch=50,其迭代過程如圖13所示。

圖10 AFSA-SVM迭代過程Fig.10 AFSA-SVM iterative process

使用精確率(precision)、召回率(recall)、F-measure值(F1)和平均訓練時間對1D-CNN和2D-CNN測試集進行性能評價,其結果見表4。

由表4可知,1D-CNN相對于2D-CNN在精確率、召回率和F1上分別提升了3.9%、4.7%和4.29%。因此,1D-CNN作為識別模型具有優越性。

不同識別方法對實驗采集的10位受試者的平均準確率(accuracy)如圖14所示。

由圖14可知,1D-CNN在實驗采集的數據中具有良好的性能,準確率高達到了98.61%,相對于SVM和AFSA-SVM識別準確率提高了6.77%和10.61%,并且1D-CNN正負誤差率較小,更加穩定。

圖13 CNN迭代過程Fig.13 CNN iterative process

表4 1D-CNN與2D-CNN評價結果Table 4 1D-CNN and 2D-CNN evaluation results

圖14 手勢識別平均準確率Fig.14 Average accuracy of gesture recognition

不同識別方法對實驗采集的10位受試者平均訓練時間見表5。

由表5可知,1D-CNN平均訓練用時最少,相對于SVM和AFSA-SVM訓練速度提高68.32 s和221.53 s,用時最高的AFSA-SVM雖然提高了準確度,但是其尋優耗時較長。因此,1D-CNN在三種識別方法中不論是分類準確度和訓練時間均具有明顯優越性。

表5 平均訓練時間Table 5 Average training time

4 結論

本文提出了結合時域與時頻域特征的sEMG信號特征空間構造方法,提出了基于sEMG信號的SVM分類器、AFSA優化的SVM分類器和深度學習CNN分類模型,對上肢手勢動作進行了識別分類對比。首先對實驗采集的sEMG信號進行了去噪以及時間滑動窗口預處理,然后進行了積分肌電、均方根值和小波包變換特征提取,在特征提取基礎上構造了特征空間IEME和RMSME。實驗結果表明,不論在實驗采集的數據中和Nina Pro DB2公開數據集中,特征空間IEME的識別準確率總體高于特征空間RMSME的識別準確率。在IEME中運用1D-CNN模型具有最高識別準確率98.61%,相對于SVM和AFSA-SVM識別準確率提高了6.77%和10.61%,并且1D-CNN模型平均訓練時間相對于SVM和AFSA-SVM減少了68.32 s和221.53 s。因此,將1D-CNN運用在特征空間IEME的手勢識別中具有一定優越性。深度學習模型在基于表面肌電的動作識別分類上相對傳統分類方法具有一定優勢,并且多特征的信號融合使動作更具區分度。在未來的工作中致力于將該模型運用在動態檢測中,為上肢康復機器人控制提供新的交互方式。