采用遷移學習的表面肌電信號手勢識別方法

胡學政, 陶慶, 趙暮超, 劉景軒, 馬金旭

(新疆大學機械工程學院, 烏魯木齊 830017)

人機交互是人與計算機或智能體之間交流對話、互換信息、協(xié)作配合的橋梁,涉及對人與計算機或智能體之間接口的科學含義和實踐的深入研究[1-2]。近年來,基于生物電信號的人機交互模式已經(jīng)成為領(lǐng)域研究的熱點內(nèi)容[3-4]。相比于腦電信號空間分辨率低、采集煩瑣等特點,表面肌電信號(surface electromyography,sEMG)的獲取渠道簡單且成熟,能夠提供豐富的信息。此外,它的采集方式可以是無創(chuàng)采集,因此受到越來越多學者的青睞[5-6]。

基于sEMG進行意圖識別已有許多成功案例,在上肢、下肢等領(lǐng)域都已得到廣泛應(yīng)用[7]。Wen等[8]采用最大互信息(MMI)對超參數(shù)(包括特征、窗口長度和狀態(tài)數(shù))進行優(yōu)化來構(gòu)建手部動作的隱馬爾可夫模型(HMM),通過40個手部動作進行驗證,獲得了97%的準確率。Liu等[9]提出了一種新的對數(shù)-梅爾-頻譜(log-MFS)特征,該特征可以減少力變化對肌電圖模式識別(EMG-PR)方法分類性能的影響,增強基于EMG-PR的系統(tǒng)在實際應(yīng)用中對抗力變化的魯棒性, 對于未經(jīng)訓練的高、低力水平,平均分類準確率分別提高了約27%和11%。林恒等[10]提出了差分共空間模式(differential common spatial patterns,DCSP)特征,該特征在采用不同的分類器進行動作分類時具有較高的魯棒性,不依賴分類器的選擇。趙詩琪等[11]提出了一種FS(Fisher score)降維方法,通過FS與SVM結(jié)合進行手勢識別,既提高了準確率又縮短了訓練時間。采用傳統(tǒng)機器學習方法進行手勢識別所需數(shù)據(jù)量少,訓練時間短,但是特征提取過程復(fù)雜煩瑣,而且所提取的特征對于分類器來說可能并不是一個良好特征。

隨著深度學習的崛起,越來越多學者開始采用深度學習進行手勢識別研究[12]。Rahimian等[13]提出了一種基于混合識別模型(hybrid recognition model, HRM)和時間卷積網(wǎng)絡(luò)模型(temporal convolutional network model, TCNM)的深度學習網(wǎng)絡(luò)結(jié)構(gòu),以NinaPro DB2公用數(shù)據(jù)集進行測試,分別獲得了98%和92%的準確率。Fang等[14]提出了一種與假手交互的手勢和力的同時識別方法,變化力可以實現(xiàn)更精細的控制并緩解肌肉疲勞,截肢者手勢的平均識別準確率為78%,力的平均識別準確率為76%。Cté-Allard等[15]采用遷移學習來處理多用戶的聚合數(shù)據(jù),同時利用深度學習從大型數(shù)據(jù)集中學習判別特征來進行手勢識別。Lai等[16]提出了一個對比自監(jiān)督學習框架(ConSSL)以實現(xiàn)目標域的域適應(yīng),實驗結(jié)果表明雖然標記樣本的數(shù)量相對較少(≤50%),但該框架仍然達到>90%的識別精度。相比傳統(tǒng)機器學習,深度學習識別準確率高,但所需數(shù)據(jù)量龐大,訓練時間較長。

采用表面肌電信號進行手勢識別在客觀情況下可以取得良好的效果,但面臨電極貼片位移、受試者動作變化等情況,會使得用戶間數(shù)據(jù)差異變大,識別準確率會有所下降。為解決上述問題,提出一種基于遷移學習的手勢分類模型。通過流形嵌入分布對齊(manifold embedded distribution alignment,MEDA)方法[17]執(zhí)行流形特征學習,解決遷移學習域適應(yīng)中存在的特征退化問題,同時執(zhí)行動態(tài)分布對齊以定量調(diào)整邊緣分布和條件分布,減小不同受試者之間的數(shù)據(jù)差異。通過實驗驗證MEDA方法在復(fù)雜情況下的手勢分類中具有良好的準確性與魯棒性,解決了復(fù)雜情況下手勢識別的準確率,為擬人化智能假手提供了理論依據(jù)。

1 實驗設(shè)計與信號采集

1.1 實驗設(shè)計

本次實驗采用4種日常生活中常用的手勢進行手勢分類,分別是五指伸展、握拳、ok伸展以及大拇指伸展,如圖1所示。信號采集范式采用E-Prime軟件與計時器相結(jié)合的方法,如圖2所示。

圖1 4種生活中常用手勢Fig.1 Four common gestures in life

圖2 信號采集實驗范式Fig.2 Signal acquisitionexperimental paradigm

實驗開始前,先在采集區(qū)域用濃度為70%的酒精進行擦拭,以防止在采集過程中出現(xiàn)電極貼脫落的情況。受試者注視“+”3 s后實驗開始,當屏幕上出現(xiàn)手勢照片時進行為時1 s的手勢動作,出現(xiàn)黑色背景時休息1 s,計時器以每1 s響應(yīng)一次的頻率加以輔助,每種動作以放松-動作-放松的形式采集20次。采集完一類手勢動作后休息5 min再進行下一類手勢動作的采集,以防止受試者肌肉疲勞。

1.2 表面肌電信號采集

選取葡萄牙PLUX公司生產(chǎn)的biosignalsplux Hybrid-8生物信號采集系統(tǒng)進行sEMG采集,采樣頻率為1 000 Hz。實驗采用一次性表面電極貼片進行右臂四通道sEMG的采集,在實驗開始前要用酒精擦拭受試者電極貼片處的肌肉。電極貼片位置如圖3所示,4個采集點距離肘關(guān)節(jié)40～50 mm,各采集點圍繞前臂等距分布,同一采集通道的兩電極間隔20 mm,將接地電極放置于受試者的第7節(jié)頸椎。

1～4為采集點

來自新疆大學的11名健康受試者參加實驗,受試者均無關(guān)節(jié)或上肢肌肉疾病史,共計男生9名,女生2名,均為右利手,平均年齡(23±1.5)歲(用均值±標準差表示)。11受試者都是自愿參加,且在進行實驗前都已經(jīng)簽署了實驗知情書。

1.3 數(shù)據(jù)預(yù)處理

sEMG的主要頻率集中在20～300 Hz,在其采集過程中容易受到基線漂移以及50 Hz的工頻干擾。首先采用四階巴特沃斯帶通濾波器消除基線漂移,濾波器的頻率設(shè)置在20～300 Hz,在此基礎(chǔ)上選取50 Hz陷波器消除工頻干擾。由于sEMG的采集過程中存在休息區(qū)間,因此需要對采集到的數(shù)據(jù)進行活動段提取,圖4展示了sEMG的活動段提取。采用滑動時間窗口進行活動段提取,時間窗口長度設(shè)為128,滑動窗口長度設(shè)為64。采取4個通道平均能量和最大值的0.06h倍作為閾值(h為經(jīng)驗取值),起止點采用多次閾值判斷,即連續(xù)超過5次閾值判定活動段起止,在活動段前后采用數(shù)據(jù)補充防止丟失有效信息。

圖4 sEMG活動段提取Fig.4 sEMG activity segment extraction

1.4 特征提取

良好的特征對于分類有著不可或缺的作用,能對不同的手勢進行區(qū)分。采用具有重疊部分的滑動時間窗的方法進行特征提取,從采集到的4個通道的肌電信號中提取時域特征和頻域特征并進行歸一化處理。

提取絕對平均值、均方根值、方差、波形長度4個時域特征[18]。相關(guān)的計算公式如表1所示。

表1 時域特征計算公式Table 1 Calculation formula of time domain characteristics

選取平均功率頻率、中值頻率兩個頻域特征[19]。相關(guān)計算公式如表2所示。

表2 頻域特征計算公式Table 2 Calculation formula of frequency domain characteristics

2 方法原理

MEDA方法首先執(zhí)行流形學習與動態(tài)分布對齊,然后通過SRM原理進行總結(jié)來獲得一個域不變分類器f,首先定義g(·)為流形特征的學習函數(shù),然后給出域不變分類器f的定義為

(1)

2.1 流形特征學習

格拉斯曼流形[20]用于解決由線性子空間組成的數(shù)據(jù),選取測地線流核(geodesic flow kernel,GFK)[21]作為格拉斯曼的核函數(shù)。MEDA從格拉斯曼流形G中學習g(·),在執(zhí)行流形特征學習時,使用d維子空間對數(shù)據(jù)進行建模,將源領(lǐng)域特征矩陣和目標領(lǐng)域特征矩陣嵌入稱為G的集合中,G代表所有的d維子空間。每個d維子空間在G中對應(yīng)一個點,通過測地線流Φ(t):0≤t≤1來繪制兩個d維子空間之間的路徑,其次t為兩個域之間的距離。把源領(lǐng)域特征矩陣的子空間表示為Φ(0),目標領(lǐng)域特征矩陣的子空間表示為Φ(1),找到一條Φ(0)～Φ(1)的測地線流,相當于將原始特征轉(zhuǎn)換為無限維特征空間,最終消除源領(lǐng)域和目標領(lǐng)域的數(shù)據(jù)差異。

2.2 動態(tài)對齊分布

(2)

使用最大均值差異(maximum mean discrepancy,MMD)來計算域之間的分布差異,采用投影MMD[22]來計算與分類器f相關(guān)的MMD,此時兩域間的動態(tài)分布對齊定義為

(3)

式(3)中:E[·]為嵌入數(shù)據(jù)的平均值;zs為源域數(shù)據(jù);zt為目標域數(shù)據(jù)。

目標領(lǐng)域中沒有標簽,條件分布Qt=Qt(yt|zt)無法直接計算得到,采用類條件分布Qt=Qt(zt|yt)來近似Qt。使用在Ds上訓練的基本分類器的預(yù)測結(jié)果應(yīng)用于Dt,以獲得Dt的軟標簽。由于軟標簽的可信度較低,因此通過迭代來進行優(yōu)化,首次迭代時采用原始分類器,后續(xù)迭代過程中MEDA會根據(jù)上一次的迭代結(jié)果對Dt的標簽進行優(yōu)化。

將μ視為一個參數(shù),其最終取值采用交叉驗證來獲取。由于目標領(lǐng)域沒有標簽,所以通過利用域的全局和局部結(jié)構(gòu)來計算μ。采用A距離作為基本測量,A距離被定義為建立線性分類器來區(qū)分兩個域的誤差。將ε(h)為線性分類器h區(qū)分源領(lǐng)域和目標領(lǐng)域和的誤差。A距離可定義為

dA(Ds,Dt)=2[1-2ε(h)]

(4)

(5)

2.3 域不變分類器

經(jīng)過流形特征學習和動態(tài)分布對齊以后,通過總結(jié)SRM原理總結(jié)以上兩個步驟來學f,給定最終域不變分類器f的數(shù)學定義為

(6)

式(6)中:β為系數(shù)向量;K為核函數(shù);‖·‖F(xiàn)為弗羅貝尼烏斯范數(shù);A為對角域指示矩陣;Y為源領(lǐng)域和目標領(lǐng)域的標簽矩陣;tr(·)為跟蹤操作;M為MMD矩陣;L為拉普拉斯矩陣。

2.4 MEDA方法分類模型

首先采集不同場景下受試者的sEMG,經(jīng)過預(yù)處理和特征提取獲得源領(lǐng)域和目標領(lǐng)域特征矩陣,將其輸入MEDA模型中,最后獲得分類結(jié)果,采用MEDA方法進行手勢分類的流程圖如圖5所示。在MEDA遷移學習模型中,首先執(zhí)行流形學習,減小源領(lǐng)域特征矩陣與目標領(lǐng)域特征矩陣的數(shù)據(jù)差異,消除特征退化。然后動態(tài)調(diào)整分布差異,若數(shù)據(jù)集之間存在很大差異,兩域間的邊緣分布差異更為明顯,若數(shù)據(jù)集是相似的,則每個類別條件分布中的差異更為顯著。

圖5 采用MEDA方法進行手勢分類流程圖Fig.5 Hand gesture classification flow chart using MEDA method

3 實驗結(jié)果及分析

3.1 性能度量

為了能夠客觀,全面的評價分類器的性能,采取F1分數(shù)對分類器性能進行衡量,其定義為

(7)

式(7)中:P為分類精確率;R為分類召回率;F1為F1分數(shù),取值范圍為0～1,F1取值越接近1說明分類器的性能越好。

3.2 實驗結(jié)果

圖6為采用MEDA方法進行手勢動作四分類的混淆矩陣,可以看出,所提出的遷移學習模型可以對手勢精準的進行分類。混淆矩陣圖中右側(cè)四行分別代表四類手勢動作的召回率,其物理含義為在該類動作的真實次數(shù)中,模型預(yù)測正確的比重。下方四列分別代表著四類手勢動作的精確率,其物理含義為模型預(yù)測為該類動作次數(shù)中,預(yù)測正確的比重。采用MEDA方法進行手勢動作四分類,每種手勢動作的召回率與精確率都可以達到90%,其中五指伸展動作的召回率最高,達到96.8%,ok伸展動作的精確率最高,達到96.3%。

圖6 MEDA方法四分類混淆矩陣Fig.6 MEDA method four classification confusion matrix

得到MEDA方法對四類手勢的召回率與精確率后,采用決策樹(decision tree,DT)、支持向量機(support vector machine,SVM)、k臨近(k-nearest neighbor,KNN),3種傳統(tǒng)機器學習分類器與未執(zhí)行流形特征學習與動態(tài)分布對齊的JDA遷移學習方法與本研究提出的MEDA遷移學習模型進行對比,5種分類器的精確率、召回率、F1分數(shù)如圖7所示。可以看出,采用MEDA方法取得的精確率、召回率、F1分數(shù)都要高于其他分類器,5種分類器的F1分數(shù)(均值±標準差)分別為0.805±0.014、0.72±0.034、0.846±0.027、0.408±0.089、0.934±0.016。與3種傳統(tǒng)機器學習方法相比,MEDA方法的F1分數(shù)均有提升,與未執(zhí)行流形特征學習與動態(tài)分布對齊的聯(lián)合分布適配(joint distribution adaptation,JDA)方法相比,MEDA方法的F1分數(shù)提高了0.526,這證明了流形特征學習與動態(tài)分布對齊的重要性。

圖7 5種分類器分類性能對比Fig.7 Comparison of classification performance of five classifiers

進行域適應(yīng)學習后不同特征維度的手勢識別F1分數(shù)如圖8所示,可以看出,相比于JDA方法,MEDA方法的分類性能要更加優(yōu)秀,隨著維度的增長,MEDA方法的分類性能逐步提高,在維度為12時,MEDA方法的F1分數(shù)達到最高。JDA方法與MEDA方法旨在解決遷移學習中的域適應(yīng)問題,即通過尋找共性知識減小源領(lǐng)域與目標領(lǐng)域之間的數(shù)據(jù)差異。

圖8 不同維度下的分類性能變化Fig.8 Classification performance changes in different dimensions

JDA方法在尋找兩域間的共性知識時,通過TCA方法將兩域間的數(shù)據(jù)投影到高維再生核希爾伯特空間進行特征學習,TCA方法只能減小兩域數(shù)據(jù)間的邊緣分布差異,而對數(shù)據(jù)間的條件分布差異沒有影響,所以F1分數(shù)可能上升也可能下降;此外,對F1分數(shù)起良性作用的特征值數(shù)值在經(jīng)過TCA方法后可能會發(fā)生變化,此時TCA方法對F1分數(shù)提升將會帶來負面效果,也就是沒有解決特征退化問題。JDA方法總是把邊緣分布與條件分布視為同等重要,即不考慮源領(lǐng)域和目標領(lǐng)域間的數(shù)據(jù)差異,總是將μ的取值設(shè)為0.5,因此JDA方法的F1分數(shù)較低。

MEDA方法獲得二者共性知識時,通過GFK方法將數(shù)據(jù)嵌入格拉斯曼流形空間內(nèi)進行學習,構(gòu)建源領(lǐng)域和目標領(lǐng)域間的測地線流,將原始特征轉(zhuǎn)換到無限維特征空間,解決了特征退化問題。通過動態(tài)分布對齊來解決兩域間的邊緣分布與條件分布比重,根據(jù)分布的差異來進行來動態(tài)衡量二者之間的重要性。當兩域的數(shù)據(jù)差異較大時,著重考慮邊緣分布差異,當數(shù)據(jù)差異較小時,則著重考慮 條件分布差異。在MEDA方法中,執(zhí)行流形特征學習后維度越高所學習到的共性知識越多,模型分類性能越好。MEDA方法相比于JDA方法隨維度變化的F1分數(shù)提升效率如表3所示。

表3 MEDA方法F1分數(shù)提升效率Table 3 MEDA method F1 score improvement efficiency

4 結(jié)論

研究手部離散動作分類,為了提高電極貼片位移、受試者動作變化等復(fù)雜情況下的手勢分類識別準確率,提出一種基于遷移學習的分類模型。通過MEDA方法將數(shù)據(jù)嵌入到格拉斯曼流形空間內(nèi)執(zhí)行流形特征學習,解決特征退化問題;提出自適應(yīng)因子來應(yīng)對不同情況下的分布差異,動態(tài)調(diào)整數(shù)據(jù)不同分布差異下邊緣分布和條件分布的相對重要性。對多名受試者開展實驗,實驗結(jié)果表明用于手勢分類的MEDA方法表現(xiàn)優(yōu)異,相比DT、SVM、KNN 3種傳統(tǒng)機器學習方法,F1分數(shù)分別提高了0.13、0.21、0.09。相比未執(zhí)行流形學習和動態(tài)調(diào)整分布對齊的JDA方法,F1分數(shù)提高了0.52,有效地提高了在復(fù)雜情況下手勢分類的準確率。