多模式人手動作分類識別方法

都明宇 王志恒 荀 一 鮑官軍 高 峰 楊慶華 張立彬

浙江工業大學機械工程學院，杭州，310014

0 引言

中風引發的肢體偏癱給病人及其家庭造成沉重的經濟負擔和精神壓力。臨床實踐表明，運動功能的經常性訓練，尤其是配合人體動作意圖的主動訓練對受損神經系統的功能恢復具有非常積極的作用[1-4]，其中，手部動作對大腦皮層和肢體感覺的神經刺激作用最大[5]。表面肌電(surface electromyography，sEMG)信號是肌肉收縮過程中，大量運動單位動作電位(motor unit action potential，MUAP)經肌肉、皮下組織和皮膚的傳導疊加，最終反映在皮膚表面的綜合電效應[6]，蘊含了豐富的生理神經信息，是非常理想的自主控制信息源。因此解碼sEMG信號，實現對手部動作意圖的識別，是基于sEMG信號控制的康復器或仿生義肢推廣應用的前提。

基于sEMG信號的手部功能康復研究的焦點是準確判斷sEMG信號與手部動作模式的對應關系。目前的手部動作識別研究中，較常用的方法是先對采集于前臂的sEMG信號進行特征提取并組成特征向量；再利用這些標記了動作類別屬性的特征向量，訓練基于不同算法的模式分類器；最終將離線訓練和測試環節中分類性能突出、泛化能力強的分類器方案固化，并應用到在線動作模式分類任務。盡管基于sEMG信號的手部動作模式識別研究已取得了顯著的成果，但目前能夠被穩定識別的手部動作數量和種類仍然有限，大多數研究報道的識別種類都少于10種，且隨著動作模式的增多，整體識別成功率下降明顯[7]。因此深入開展面向多類手部動作模式的識別研究，有利于拓展精細動作識別能力，極具現實意義和應用價值。

1 多通道sEMG信號采集系統設計

1.1 信號采集

sEMG傳感器電極的配置位置和數量對手部動作模式識別的影響十分顯著[8]。信號量充足且信噪比高的sEMG信號是順利完成手部動作多模式識別的前提。為了保證在提取足夠信號的同時摒棄低效采樣通道，本文對5位受試實驗人員的前臂進行了三維掃描建模，通過3D打印技術制作了用于安裝sEMG采樣電極的陣列板臂套，如圖1所示。該臂套能夠有效提高多輪次采樣環境下的電極重復定位精度。如圖2所示，通過計算采樣數據的信噪比并排序，本文確定了對識別率貢獻度最高的5個信號采集點。信號采集使用的sEMG采集儀內置低通濾波器，具有10位的A/D轉換精度，采樣頻率500 Hz，通過USB接口與工作站通信，可以同時采集12路sEMG信號并實時顯示在工作站軟件界面。采樣電極為常規的3極式差分輸入，可以最大程度地減小采樣環節引入的共模干擾，保證采樣信號的真實完整。

圖1 sEMG采樣系統Fig.1 The sEMG sampling system

圖2 采樣電極布置方案Fig.2 Sampling electrode layout plan

1.2 采樣過程中的動作規范

為了保證手部動作的規范一致，5位受試實驗人員都經過一定時間的練習。每種動作都以“放松-動作-放松”的形式循環進行，動作和放松時間都是1～2 s，每組測試持續1 min，組間休息時間不小于3 min。圖3所示為“握拳”時5個通道的原始sEMG信號。

圖3 原始表面肌電信號Fig.3 Original sEMG signal

2 sEMG信號特征參數提取

分析表面肌電信號的方法主要有時域分析法、頻域分析法、參數模型法、時頻分析法、非線性動力學分析法等[7-9]?；趯崟r性要求，本文提取具有代表性的時域特征、自回歸模型系數特征和小波包分解系數特征進行實驗比對分析。在提取特征之前，采用滑動窗口法對原始sEMG信號的數據流進行分割預處理，滑動窗寬為64個采樣點，增量為32采樣點。

2.1 基于時域統計量的特征提取

時域特征提取簡單快捷，在sEMG信號處理中被廣泛應用。由于方差V、絕對均值M和均方根R可以分別表征信號的偏離程度、平均強度和平均功率，物理意義明確，所以本文將上述3個時域統計量作為時域特征用于后續分類器訓練。由于每個采樣通道都將分段提取出V、M和R，所以5通道的所有時域特征參數可構成15維寬度的特征向量：

V=(V1，V2，…，V5，M1，M2，…，M5，
R1，R2，…，R5)

(1)

2.2 基于AR參數模型的特征提取

參數模型法是分析sEMG信號的一種重要方法，其中典型的是自回歸(autoregressive，AR)模型法，該方法將sEMG信號看作是由白噪聲激勵某一確定系統產生的。當激勵白噪聲的功率和系統參數已知，就可以通過研究模型參數和性質以及白噪聲輸入輸出關系來描述原始sEMG信號，即用參數模型的若干系數來描述sEMG信號的特性。AR模型表達式為

(2)

式中，x(n)為sEMG信號的第n個采樣信號；u(n)為白噪聲殘差；ai為AR模型的第i個系數；P為AR模型階數。

為保證肌電控制應用的時效性，本文選擇具有較高分辨率和計算效率的Burg算法[10]來計算4階AR模型的系數。由于每個采樣通道都將分段提取出4個AR模型的參數，所以5通道的AR模型參數可以構成20維的特征向量：

V1=(a11，a12，a13，a14，a21，a22，…，a51，a52，a53，a54)

(3)

2.3 基于小波包分解系數的特征提取

sEMG信號本質上是一種非平穩生物電信號。原始表面肌電信號f(t)經小波包分解后被投影到小波包基上，獲得一系列系數，利用這些系數可以進行特征提取。本文將Shannon熵作為代價函數來評估小波包分解基，即定義序列x={xj}的熵為

(4)

Pj=|xj|2/‖x‖2

Pj=0時，定義PjlgPj=0。

使用代價函數M(x) 評估的常用小波包基，選擇db3函數進行2層小波包分解，將提取的4個分量系數作為特征參數。5個通道的所有系數構成了20維的特征向量：

V2=(w11，w12，w13，w14，w21，w22，…，w51，w52，w53，w54)

(5)

2層小波包分解樹如圖4所示。

圖4 2層小波包分解樹Fig.4 Two layer wavelet packet decomposition tree

3 訓練樣本制作

3.1 活動段檢測

訓練樣本的動作類型劃分直接影響分類器訓練效果，準確界定sEMG信號的活動段是類型劃分的關鍵。圖3可以看出，由于各通道sEMG信號波形具有動作同步性，因此筆者設計了3階切比雪夫數字濾波器來提取5通道混合信號的包絡線。包絡線的表達式為

(6)

式中，x(·)為原始信號；ak、bk為濾波器參數。

圖5所示為經過延時修正的原始信號包絡曲線，可以看出該方法提取的包絡線可以很好地貼合原始信號的輪廓。

圖5 表面肌電信號包絡線Fig.5 sEMG signal envelope

3.2 動作標簽添加

通過合理設置閾值可將包絡曲線轉換成二值狀態信號。如圖6a所示，傳統的單一閾值法對狀態轉化的劃分效果并不理想。信號在狀態轉換過渡區域存在較大波動，極易發生反復穿越閾值邊界的現象，從而觸發狀態信號的錯誤翻轉。為此，采用雙閾值滯回比較算法獲取狀態轉換信號：

(7)

αH>αL

在程序算法里對y(t)的變化趨勢進行跟蹤，僅當數據上升過程穿越上限αH或下降過程穿越下限αL才會觸發狀態信號翻轉。

如圖6b所示，通過實驗方法合理設置閾值αH、αL之后，狀態信號錯誤翻轉的現象得到了明顯的改善。

圖6 動作狀態轉換信號Fig.6 Action status conversion signal

4 分類實驗和結果分析

4.1 手部動作類型

手部動作類型如表1、圖7所示，為所研究的19種手部動作和1種放松動作，設計了20位二進制編碼形式的動作類型標簽。每種動作對應1個二進制位，“1”代表有動作，“0” 代表無動作。例如：“握拳”動作的類型標簽為“0000 0000 0000 0010 0000”，即從左向右第15位為1，其余位為0，動作代號為15。利用狀態轉換信號S(t)，程序在可以自動提取特征向量的同時為其添加動作類型標簽，從而完成所有參與分類器訓練及測試的20萬條樣本數據的制作工作。

表1 手部動作模式列表

圖7 手部動作模式Fig.7 Hand action mode

4.2 分類器的設計與訓練

BP神經網絡能夠滿足手部精細動作辨識分類的要求[11]，為分步考察BP神經網絡分類器的性能，本文將待識別動作分成3類進行訓練。第一類為單指識別(單指動作+放松動作)，第二類為多指識別(多指動作+放松動作)，第三類為全部動作識別(手指動作+腕動作+放松動作)。前文提取的sEMG特征有時域特征(TD)、模型系數特征(AR)和小波包分解特征(WPT)。分類器的輸入和輸出一共有9種組合，故最終構建了9個BP神經網絡分類器。分類器為3層結構，輸入節點配置為15個(TD特征)、20個(AR或WPT特征)。輸出節點為6個(單指識別)、13個(多指識別)、20個(全部動作識別)。實驗對9種組合下的6～35個隱含層節點的情況分別進行了訓練。限于篇幅，僅以表2所示的“小波包分解特征(WPT)、單指識別、26個隱含節點”的BP神經網絡分類器的訓練結果為例進行說明。BP神經網絡分類器訓練結果以混淆矩陣的形式出現，矩陣的每一行代表分類器對某一動作實際分類的正確與錯誤的樣本分布，每一列代表原始標簽樣本被正確或錯誤分類的分布情況。

表2 26個隱含節點的BP神經網絡分類器訓練結果(WPT特征、單指動作)

實驗開始前，按每種動作取10 000條樣本組成分類器訓練與驗證的總體樣本，訓練與驗證的樣本嚴格分離，比例為6∶4。

隱含節點和特征類型對分類器平均識別率的影響如圖8所示?；赪PT特征的BP分類器(綜合識別效果最佳)對3種手部動作模式的最佳識別率分別為98.5%、92.4%、90.9%。實驗結果顯示，隨著手部動作的增多，分類器識別率呈下降趨勢，但基于小波分解系數的分類器仍可以達到比較高的平均識別率；隱含節點數對分類器識別率影響都比較大，基于小波包分解系數的分類器平均識別率波動相對較小。

另外，隱含節點數量的變化趨勢與分類器識別率變化趨勢之間沒有明顯聯系，TD特征下的平均識別率最佳的分類器隱含層節點數為30，AR特征下的平均識別率最佳的分類器隱含層節點數為31，WPT特征下的平均識別率最佳的分類器隱含層節點數為27。

圖8 隱含節點和特征類型對分類器平均識別率的影響Fig.8 Influence of hidden layer node and feature type on the average recognition rate of classifier

不同特征條件下的平均識別率最佳的分類器各單項動作識別率如圖9所示。3種特征的單項動作識別率走勢基本相同，說明sEMG信號采集方案提供的原始信息對單項動作的識別貢獻程度一致。針對20種動作的復雜情況，基于AR模型參數的分類器適應性較差，平均識別率僅有51%，說明AR模型系數特征不適合應用在多模式手部動作的分類場景?；赪PT特征和TD特征的分類器訓練結果良好，基于WPT特征分類器的各單項動作識別率略高于基于TD特征的分類器，二者的識別率均在80%以上。若不考慮識別率最低的4個動作，剩余16個動作的平均識別率超過90%，優于文獻[6]所列的多種分類器識別成功率。

圖9 3種特征的單項動作識別率對比Fig.9 Comparison of single action recognition rate of 3 different feature

4.3 時效性分析

本文采用的sEMG采集儀轉換延時小于2 ms，滑動窗延時小于128 ms。時域特征的提取算法簡潔快速，單條特征向量提取耗時小于20 ms。AR系數特征向量提取耗時也較短，生成單條特征向量需32 ms。小波包分解系數特征提取較為耗時，生成單條特征向量耗時為56 ms。BP神經網絡分類器的分類速度很高，從特征向量輸入到識別結果輸出耗時小于1 ms。所以，從sEMG采集到模式識別輸出的總延時小于基于TD特征的150 ms和基于WPT特征的190 ms。因此本文提出的方法可以滿足主動康復訓練和普通人機交互控制領域的實時性要求。實驗所使用的計算機配置如下：CPU為Intel Core i7-5500U，主頻2.4 GHz，RAM為8 G，操作系統為Windows7。

5 結論

(1)根據前臂肌肉分布特點和功能區劃，通過實驗采樣和統計對比最終確定了5通道采樣電極的布局方式，在簡化通道數的同時保證了高質量sEMG的拾取。

(2)提出一種多通道sEMG信號活動段檢測的快捷方法，降低了劃分錯誤率，并能夠依據狀態轉換信號完成特征向量動作屬性標簽的自動添加。

(3)設計并完成了基于BP神經網絡的多模式手部動作分類器，它對6種、13種和20種手部動作的最佳平均識別率分別為98.5%、92.4%、90.9%，模式分類輸出延時小于190 ms。