基于表面肌電圖的人體運動意圖識別研究進展

曹夢琳，陳宇豪，王玨，劉天

1.生物醫學信息工程教育部重點實驗室，西安交通大學生命科學與技術學院健康與康復科學研究所，陜西西安市 710049；2.國家醫療保健器具工程技術研究中心，廣東廣州市 510500；3.神經功能信息學與康復工程民政部重點實驗室，陜西西安市710049

可穿戴外骨骼機器人得到廣泛研究，但幫助肢體運動障礙者進行運動功能重建的電刺激設備存在功能單一、人機交互性不強的缺點，而現代人機交互技術正由機器人被動接受指令向機器人主動識別人的行為意圖方向改變。現代化的可穿戴外骨骼機器人通過收集和分析相關信息，獲取人的運動意圖，制定有效控制策略。準確實時識別人體運動意圖是實現完美人機交互和佩戴舒適的關鍵[1]。

目前，外骨骼機器人通?；诹徒嵌葌鞲衅鳙@得的數據、腦電圖(electroencephalography,EEG)信號或表面肌電圖(surface electromyography,sEMG)信號識別運動意圖。從力和角度傳感器獲得的數據實時性較差，而EEG 和sEMG 在動作產生前就會生成。EEG 信號微弱，受噪聲和偽跡影響較大。骨骼肌運動產生的肌電信號反映特定肌群的活動，使用sEMG進行運動意圖識別可以縮短信息延遲[2?3]。由于包含豐富的信息、成熟的采集技術和無創性，基于sEMG的人體運動意圖識別將成為主流[4?5]。

基于sEMG 的運動意圖識別方法可分為3 類：基于肌肉骨骼模型的運動意圖識別、基于傳統機器學習的運動意圖識別，以及基于深度學習的運動意圖識別。肌肉骨骼模型以肌肉的生物力學建立sEMG和關節力矩、角速度或角加速度之間的函數，這種方法的優勢是可以解釋運動產生的過程[3,6]；傳統機器學習模型將sEMG特征作為輸入；深度學習模型通常將經過預處理的sEMG 信號或sEMG 特征作為輸入。在傳統機器學習模型和深度學習模型中，離散運動分類或連續運動估計通過建立輸入與人類運動意圖之間的映射實現。常用于運動意圖識別的傳統機器學習模型包括支持向量機(support vector machine,SVM)、線性判別分析(linear discriminant analysis,LDA)、反向傳播神經網絡(back propagation neural network,BPNN)、多層感知器(multilayer perceptron,MLP)等。機器學習模型具有計算復雜度低、運算時間短、實時性強的特點。近來，深度學習研究被越來越多地用于人體運動意圖識別。深度學習極大改善了模型的非線性、解決復雜問題的能力和識別的準確性[7]，可作為一種端對端的運動意圖識別方法，減少手工特征篩選，節省特征計算時間，常用的方法為卷積神經網絡(convolutional neural network,CNN) 和遞歸神經網絡(recurrent neural network,RNN)。

本文檢索PubMed、Web of Science、中國知網、萬方數據、維普數據庫建庫至2020 年12 月文獻，篩選基于表面肌電圖的人體運動意圖識別實驗研究，提取相關數據，進行描述性分析。

1 肌肉骨骼模型

sEMG 是非平穩、微弱的信號，振幅集中在0.01～10 mV，頻率集中在20～500 Hz，特別是50～150 Hz。由于sEMG 在產生相應的運動前約30～150 ms產生，是運動意圖識別的理想選擇[8?9]。

sEMG 驅動的肌肉骨骼模型可以分為三個子模型，即激活模型、收縮模型和肌肉骨骼幾何模型[6]。原始sEMG在經過高通濾波、全波整流、低通濾波和歸一化等預處理后，作為模型的輸入[3]。

對于激活模型，肌肉激活ai(t)和處理后sEMGui(t)之間的關系可以表示為以下等式[10?11]：

其中i表示肌肉，t代表時刻；-3 ＜Ai＜0，是肌肉i的非線性形狀因子。

收縮模型總是使用Hill肌肉模型(圖1)[12]。

圖1 Hill肌肉模型

Karavas 等[10]采用肌肉骨骼模型估計膝關節扭矩、軌跡和剛度趨勢，估計值與實際值之間的歸一化均方根誤差(root mean squared error,RMSE)約0.12。Lloyd等[11]利用改進的Hill 型肌肉模型估計肌肉力量和膝蓋力矩，平均相關系數(correlative coefficient,CC)為0.91，均方誤差(mean squared error,MSE)為12 N·m。陳江城等[14]根據肌絲滑行理論，使用改進的肌肉模型估計膝關節動態關節力矩，預測最大絕對誤差平均值為(11.0±1.32)N·m，平均殘差為(4.43±0.698)N·m，平均線性CC為(0.927±0.042)。

Hill 肌肉模型通過振幅信息描述肌肉激活程度，沒有考慮微觀特性，無法有效反映活體肌肉生理參數對肌肉收縮的影響。改進的肌肉骨骼模型更加貼合實際肌肉收縮過程，但sEMG 信號驅動的肌肉骨骼模型中存在多個未知參數，需要通過初步實驗進行參數識別。

2 傳統機器學習

基于傳統機器學習的運動意圖識別可以分為兩種：離散運動分類和連續運動回歸。前者需要建立sEMG 信號與上下肢離散運動之間的映射關系。常見的下肢運動分類包括行走/跑步/站立/上樓梯/下樓梯、伸膝/屈膝、支撐前期/支撐中期/支撐后期/擺動前期/擺動后期等。后者需要構建sEMG 信號和上下肢連續運動之間的映射。常見的連續運動回歸包括角度、角速度、角加速度、力和髖部、膝蓋、踝部、肩部、肘部和腕部關節的力矩。后者對穿戴機器人的平滑控制更有價值，將是未來研究的重點[8]。

2.1 sEMG的特征提取與特征選擇

特征提取和特征選擇是基于傳統機器學習的運動意圖識別中重要的步驟。常用特征可以分為時域特征、頻域特征和時頻域特征。常用的時域特征有平均絕對值(mean absolute value,MAV)、均方根(root mean square,RMS)、方差(variance,VAR)、標準差(standard deviation,SD)、過零點數(zero crossings,ZC)、波形長度(wave length,WL)、斜率信號變化(slope signal change,SSC)、積分肌電值(integral electromyogram,iEMG)和平均絕對值差(difference of mean absolute val?ue,DMAV)。時域特征的計算雖然簡單，但不足以描述信號的信息。頻域特征通常使用峰值頻率(peak fre?quency,PF)、中值頻率(median frequency,MF)和平均功率頻率(mean power frequency,MPF)。時頻域特征通常使用傅立葉變換特征和小波變換特征。時頻域特征雖然可以獲得信號的綜合信息，但提取過程復雜且耗時。

多通道sEMG 信號用于特征提取時，常存在冗余特征，需要使用合適的方法進行特征選擇，以最少的肌肉組合、有效且耗時少的肌肉特征組合，實現運動意圖的識別；既減少佩戴的傳感器，又可以提高運動意圖識別的實時性。常用的特征選擇和降維方法有主成分分析、獨立成分分析等，費舍爾分數[15]、輪廓似然最大化[15]、Davies Bouldin 指數(Davies Bouldin In?dex,DBI)[16]等也可以用來評估肌肉特征的重要性。也有研究使用一些變體方法進行特征選擇，如獨立成分分析?熵約束最小化[17]、核主成分分析[18]等。

2.2 離散運動分類

構建分類模型是基于傳統機器學習的離散運動分類中的關鍵步驟。SVM的分類模型通過構造具有最大間隔的最優分類超平面來分離兩類樣本，具有解決非線性二元分類問題的能力[19]。而為了解決多分類問題，通常需要進行多次SVM 二分類。鄭瀟[20]使用遺傳算法(genetic algorithm,GA)優化的SVM，將支撐前期、中期、后期，擺動前期、后期5個步態階段分類，使用MAV 和VAR 作為特征；SVM 平均識別率最高的是支撐前期，達97.1%；最低的是支撐后期，超過95%。Wei 等[21]使用SVM 進行站立中期、站立末期、擺動前期、擺動中期、擺動末期5種步態階段的識別，分別提取SD 和ZC，MAV 和ZC，MF 和ZC，MPF 和ZC，RMS 和ZC，WL 和ZC，iEMG 和ZC 共7 組特征進行測試，MAV 和ZC 的識別性能優于其他特征集，平均分類精度為89.40%。

LDA、K 均值聚類(k?means clustering algorithm,K?Means)、樸素貝葉斯(na?ve bayes,NB)、極限學習機(extreme learning machine,ELM)等也經常用于離散運動分類。Barberi 等[22]從sEMG 信號中提取MF，使用LDA 進行標準步行、上坡、下坡、上樓梯、下樓梯5種運動意圖識別，訓練集的準確率為100%，計算時間為100 ms。鄭瀟等[20]使用改進K?Means 將支撐前期、中期、后期，擺動前期、后期5個步態階段分類，該算法基于樣本分布密度和散度，對初始聚類中心的選擇進行優化，排除孤立噪聲點的干擾，使用Katz算法提取的非線性分形維數作為特征，分類準確率為92.1%。Xie 等[23]使用ELM 進行伸膝、屈膝分類，計算有效PF 的多尺度熵作為分類特征，發現EEG 和EMG雙模態特征融合可以提高分類準確率。

也有研究使用XGBoost 和LightGBM 框架進行離散運動分類。Peng 等[16]提取SSC、WL、Willison 幅值(Wamp)、對數方差(Logvar)和DB7 小波分解系數絕對均值(DB7?MAV)作為特征向量，分別使用基于LDA的簡單多數投票融合(SV?LDA)、基于LDA 的加權多數投票融合(WT?LDA)、XGBoost、LightGBM 4 種分類方法，對站立前態、站立中間態、站立末端態、前擺、中擺、終擺6 個步態階段進行分類，結果顯示，LightGBM 算法在步態相識別方面優于傳統的融合決策算法，平均準確率94.3%，運算時間85 ms。

基于人工神經網絡(artificial neural network,ANN)的分類模型通過調整“突觸權重”的自由參數學習復雜的非線性模式。典型的淺層ANN 結構由輸入層、隱藏層和輸出層組成，每層包含權重矩陣、偏置向量和輸出向量。輸入層的神經元數量由特征數量給出，輸出層的神經元數量由需要分類的運動數量給出。Astudillo 等[24]設計一種基于Levenberg?Marquardt 方法訓練的ANN 進行運動意圖模式識別，分類準確率94.88%，計算時間(12.6±10) ms。Morbidoni 等[25]使用MLP 分類站立、擺動階段，使用的特征為EMG 信號的包絡，結果發現結構為(512,256,128)的MLP 分類效果最好，訓練集準確率94.9%，測試集準確率93.4%。Karantarat 等[26]使用BPNN 識別步行、坐、站立3 種運動意圖，使用的神經網絡有25 個輸入層、10 個隱藏層和3 個輸出層，分別測試不同的時域、頻域特征組合，結果表明，所有時域特征的組合識別率最高，達99.39%。

一般來說，離散運動分類的運動描述相對簡單，沒有統一的分類標準。此外，離散運動分類預定義了用于分類的運動類型，當出現未定義的運動類型時，將發生無法分類的情況。相關研究的主要特征總結于表1。

表1 基于傳統機器學習的離散運動分類研究特征

2.3 連續運動回歸

離散運動分類只能識別少量離散的身體運動，不能用于可穿戴機器人的平滑控制。估計運動信息的連續運動回歸成為新的研究熱點。與肌肉骨骼模型類似，sEMG 信號與關節角度、角速度、角加速度或關節力矩之間的映射也可以通過傳統機器學習來建立。常用的基于傳統機器學習的連續運動回歸方法為淺層ANN。

對于關節運動學回歸，通常建立sEMG 與關節角度之間的映射，將估計的角度輸入可穿戴機器人的控制系統，實現精確角度軌跡跟蹤。Luh 等[27]使用BPNN 估計肘關節角度，第一層由16 個sEMG 信號特征節點組成，隱藏層由240 個節點構成，第三層有1個角度輸出節點，仿真結果表明，該方法能夠較好估計彎頭角度，具有較高精度。Zhang 等[28]采用BPNN建立sEMG 信號和腳踝、膝蓋、臀部關節角度之間的映射，該網絡輸入層為60 個神經元，隱含層為20 個神經元，輸出層為3 個神經元，結果不同腿部運動的平均誤差＜9°。Xie等[29]采用黃金分割算法優化的回歸神經網絡(GS?GRNN)實現對髖、膝、踝關節角度的同時預測，神經網絡的輸入為sEMG 的RMS、髖關節角度、腳底壓力值，與BPNN 的預測結果相比，GRNN處理時間更少，預測精度更高。

對于關節動力學回歸，一般建立sEMG 信號與關節力或力矩之間的映射關系。相對于關節運動學回歸，動力學回歸的研究相對較少。Masayuki 等[4]利用基于sEMG 信號的ANN 預測握力，提出的網絡由1 個輸入層、4 個隱藏層和1 個輸出層組成；將4 個sEMG的RMS 作為輸入，以估計的握力作為輸出，每個隱藏層分別使用64、32、16 和8 個神經元；結果表明，預測值與觀測值之間平均CC 為0.84。Chandrapal等[30]通過ANN，建立5 個sEMG 信號與膝關節扭矩之間的映射，在MLP 隱藏層有3個神經元，在全連接網絡有3 個神經元，結果表明，該方法的平均最低估計誤差為10.46%。

由于sEMG 信號濾波方法的原因，常出現預測值曲線接近測量值，但存在高頻抖動的現象。為消除高頻抖動，可以優化sEMG 信號濾波方法或優化輸出結果，以提高預測精度。Shi 等[31]利用遺傳算法優化BPNN，構造sEMG 與膝關節角度的關系，并對輸出結果進行高頻濾波以優化輸出結果，結果表明預測值的RMSE降低24%。

基于sEMG 信號的關節運動學和動力學回歸可用于可穿戴機器人的平滑控制，但與離散運動分類相比，連續運動回歸的研究較少。與深度ANN 相比，淺層ANN是基于sEMG信號連續運動回歸最常用的方法?；趥鹘y機器學習的連續運動回歸仍需要進行特征選擇，否則可能出現過擬合現象，降低模型預測精度。目前針對連續運動回歸的自動特征選擇常被研究人員忽視。相關研究的主要特征總結于表2。

表2 基于傳統機器學習的連續運動回歸研究特征

3 深度學習

基于傳統機器學習方法的運動意圖識別需要進行大量的特征選擇和提取，選取特征的重要性決定了識別結果的準確性。深度學習方法一般不需要手工選取EMG 信號特征，通過深度學習網絡可以學習輸入信號的多層次特征，從而進行分類或回歸。深度學習提高了模型的非線性和識別的準確性，近年來在人體運動分類中得到廣泛應用。基于深度學習的運動意圖識別也可分為兩種：離散運動分類和連續運動回歸。常用的方法為CNN、RNN。典型的CNN 由輸入層、卷積層、池化層、全連接層和輸出層組成。常用的RNN為長短 期記憶網絡(long short?term memory,LSTM)。時間卷積網絡(temporal convolution network,TCN)的出現也為基于sEMG的運動意圖識別帶來新的機遇。

3.1 離散運動分類

基于深度學習的離散運動分類需要建立sEMG 信號與上下肢離散運動之間的映射關系。

Park 等[32]采用基于CNN 的深度特征學習模型對6種手部運動進行分類，提出的模型由1 個輸入層、4個卷積層、4 個池化層和2 個全連接層組成，該方法的分類準確率達90%。C?té?Allard 等[33]采用基于Con?vNet的遷移學習策略進行手勢識別，結果顯示，基于連續小波變換(continuous wavelet transform,CWT)的ConvNet，17 名參與者的7 個手勢識別準確率為98.31%；基于原始EMG 的ConvNet，10 名參與者的18 個手勢識別準確率為68.98%。Wei 等[34]提出了一種基于CNN 的多視圖深度學習框架用于手勢識別，通過窮舉，找到3種EMG特征作為網絡輸入，結果表明與單視圖深度學習框架和最先進的學習方法相比，提出的網絡能獲得更高的姿態識別精度。Bu等[35]利用五層遞歸對數線性化高斯混合網絡對6 種手部運動進行分類，包括屈伸、內旋、內旋、外旋、抓取和張開，平均識別正確率為88.4%。

CNN 可以提取sEMG 的空間特征，而sEMG 信號本質上是時間序列。LSTM 是為解決一般RNN 存在的長期依賴問題而設計的，可用來提取sEMG 信號的時間尺度特征。Song 等[36]從日常生活中7 種常見運動中提取sEMG 信號時域和頻域特征，構建訓練集，建立基于多層感知器和LSTM 的下肢運動模式識別方法，結果表明，采用多層感知器的最佳識別準確率為95.53%，采用LSTM 的最佳識別準確率為96.57%。Cheng 等[37]采用CNN?LSTM 混合模型識別4 個踝關節運動：背屈、跖屈、足內翻和足外翻，混合模型由2層CNN 和3 層LSTM 組成，識別準確率(97.55±1.93)%，高于單一使用CNN和LSTM模型。

TCN 既有時域上的建模能力，又有低參數量下CNN 的特征提取能力。與CNN?LSTM 相比，TCN 具有更簡單的網絡結構和更少的參數。Betthauser等[38]采用TCN識別3個手部運動，網絡輸入為sEMG的MAV特征，TCN 識別準確性與LSTM 相當，但識別穩定性更高。

相關研究的主要特征總結于表3。

表3 基于深度學習的離散運動分類研究特征

3.2 連續運動回歸

sEMG 信號與關節角度、關節力或關節力矩之間的映射也可以通過深度學習來建立。

對于CNN，Bao 等[39]提出一種將sEMG 映射到三自由度腕部關節角度的CNN，在時域和頻域上分別構造了兩種類型sEMG 特征圖作為輸入，與6 種傳統機器學習方法進行比較，表明CNN 表現最佳，頻譜圖比時域圖效果更好。Rane 等[40]使用CNN 估計骨骼肌力，預測精度良好，計算時間71 ms；而自由體逆動力學與靜態優化時間為16 min。Ameri 等[41]采用CNN連續預測2 個腕部關節的自由度，預測誤差＜10%，小于SVM 的預測誤差，且CNN 的處理時間為6 ms，SVM為13 ms。Yang等[42]使用CNN連續預測腕關節自由度，與SVM 模型相比，CNN 模型泛化能力更強，預測速度更快，在多個體訓練的基礎上，可以直接對新個體進行足夠控制，而不需要進一步訓練。

Dao[43]采用基于權重轉移學習策略的LSTM 預測骨骼肌力，內部和外部驗證的RMSE 分別＜5%和10%，CC 范圍0.95～0.99，所有數據和預測值間波形完美相似。Ma 等[44]利用sEMG 的RMS 及其時間提前特征作為輸入，采用LSTM 估計連續膝關節角度，與實際角 度間平 均RMSE 為(3.4726±0.6162)°，高 于BPNN。Ma 等[45]提出一種基于短時連接自動編碼器的LSTM 網絡(SCA?LSTM)預測上肢關節角度，sEMG 信號包絡作為輸入，結果顯示實際值間的CC 為(0.957±0.013)。

CNN可以多層次學習輸入信號的特征，生成特征圖。RNN 擅長處理序列數據，如語音和文本[46]，因為它可以利用序列的歷史信息。EMG 作為時間序列數據，需要存儲歷史信息彌補使用時間窗的不足。Xia等[46]用循環卷積神經網絡(recurrent convolutional neu?ral network,RCNN)估計上肢運動軌跡，該RCNN架構由1 個輸入層、3 個卷積層、2 個池化層、2 個長短時記憶層和1 個輸出層組成，平均CC 為0.903。Xu 等[47]比較CNN、LSTM 和CNN?LSTM 對上肢力的估計效果，結果表明，三種模型均適用于力的估計，LSTM和CNN?LSTM 性能較好，平均RMSE 維持在(9.07±1.29)%和(8.67±1.14)%的低水平，CNN 的平均RMSE為(12.13±1.98)%。Gautam等[48]提出一種基于遷移學習的長期遞歸卷積網絡(long?term recurrent convolution network,LRCN)預測膝關節角度，輸入為sEMG 信號CNN 提取特征，LSTM 進行序列學習，健康人和膝關節病患者關節角預測MAE分別為8.1%和9.2%。

與傳統機器學習相比，基于深度學習的運動意圖預測研究相對較少，而主要集中在上肢。與上肢相比，下肢主動運動意圖的識別對安全性和實時性要求更高。未來有望通過深度學習方法進一步提高識別精度，并且在下肢運動意圖預測上得到廣泛的應用。CNN 與LSTM 結合使用有望實現端到端的連續運動預測，無需進行特征計算，可以節省時間，提高預測效率。TCN 也有望被用于基于sEMG 的連續運動回歸，降低模型復雜度和參數量，進一步提高預測效率。

相關研究的主要特征總結于表4。

表4 基于深度學習的連續運動回歸研究特征

4 小結

很難找到一種基于sEMG 信號的識別方法能夠完全、徹底地估計所有人體運動意圖。由于缺乏日常的可重復性和訓練過程冗長，基于sEMG 信號的運動意圖識別方法仍處于實驗室階段，很少市場化；大多研究識別的是正常人的運動意圖，僅適用于特定用戶和運動模式；特征提取的計算過程耗費時間，缺乏實時性。

由于有運動障礙的患者與健康人的肌電特征可能有所不同，我們需要進一步研究患者運動意圖的識別，提高識別方法的魯棒性和實用性非常重要。在未來下肢運動意圖識別研究中，需要將實時性作為一個重要評價指標。從運動捕捉系統中提取部分數據特征改善算法分類或回歸性能，在康復機器人中只集成少量關鍵傳感器，可減少佩戴的傳感器數，節省特征計算時間，提高運動意圖識別的實時性。基于深度學習的方法對提高識別準確率和實現端到端的運動意圖識別有重要作用，會成為未來發展的趨勢。開發更加精確和實時的人體運動意圖識別方法仍然是未來的挑戰。

利益沖突聲明：所有作者聲明不存在利益沖突。