基于腦肌電信號的機械臂控制方法與實現

(1.北京航天測控技術有限公司,北京 100041；2.北京郵電大學 自動化學院,北京 100876)

0 引言

智能人機交互是以人體生物電信號檢測為基礎、以人工智能、深度學習為特色，實現機器主動理解人的行為意圖的高端人機交互技術，代表了人機交互的最新熱點與潮流[1]。近年來基于腦電(Electroencephalogram，EEG)或肌電(Electromyography，EMG)的人機交互技術[2-3]在生物醫學[4]、康復輪椅[5-6]、航空航天[7]、步態識別[8-9]、人體外骨骼[10-11]等領域取得了很大的應用成果。

然而，目前有關腦-機接口(Brain-Computer Interface，BCI)或肌-機接口(Electromyography-Computer Interface，MCI)的智能人機交互系統，絕大部分是采取單一模式的生物電信號實現對外部設備的控制。這種單一模式具有信息傳輸率低、信息源單一、外部設備輸出控制指令少的缺點。相對于單模式腦-機接口系統，多模式混合腦-機接口(Hybrid Brain-Computer Interface)能夠有效地利用多源信息的融合互補，彌補現有腦-機接口在控制識別準確率上較低的不足。對腦-機接口的發展具有一定的指導意義。

目前許多學者在多源信息混合腦-機接口方面進行了深入的研究，并取得了卓越的成績。Li[12]針對截肢者殘留肌肉過少、肌電信號源不足的問題，提出腦肌電融合的多功能假肢控制方法，實現上肢運動的高精度識別。李翔等[13]等提出一種基于運動想象和運動起始時刻，將不同范式進行結合的混合型 BCI 系統，并驗證了可提高BCI系統性能的有效性。Brunner[14]等采用混合兩種不同類型的腦信號ERD和SSVEPs提高大腦活動模式的分類準確度。謝平[15]等通過腦電與肌電特征層融合，實現單側手腕屈、伸動作模式的分類識別分類的準確度提升。Leeb[16]等探索肌肉疲勞下的控制混合BCI機制，驗證了肌肉和大腦活動的多模式融合方法具有更好和更穩定的性能。Wang[17]等提出一種融合腦電-眼電的混合 BCI 系統來實現對輪椅的聯合控制。吳松[18]提出了一種結合MI 和眼動 EEG 的兩種模態的異步BCI系統。Duan[19]等實現了一種結合了μ節律、SSVEP、以及 MI 3個腦電信號的多模態在線 BCI 系統，控制機器人來抓取物體。Ma[20]等提出了一種基于MI和mVEP結合的多模態光標控制系統，實現了BCI系統的控制效率的整體性提升。

綜上所述，多源信息混合是通過采用兩種或兩種以上不同“EEG特征層”的混合增強，實現BCI系統的輸出準確性的提高。但這種多模式融合要求被試者在更高的注意力下，同時完成多種任務，長時間會造成被試者過度疲勞，影響系統控制穩定性，且設備控制指令輸出類別十分有限。

為實現BCI系統穩定性上的提升并且能夠具備多種控制指令的系統模型，本研究基于混合腦-機接口的思想，進行“腦-肌”電同步采集，采用“并行”模式對不同信號進行特征提取、分類識別，最終實現六自由度機械臂的多指令實時控制。首先，對肌電信號進行特征提取，構建特征向量，采用典型相關性分析方法(canonical correlation，CCA)實現肌電信號模式的分類、識別；然后基于小波分解、低頻重構，進行左右手運動想象執行下的EEG事件相關去同步化(event-related desynchronization，ERD)/同步化(event-related synchronization，ERS)特征提取，并采用支持向量機(support vector machine，SVM)分類方法，實現腦電特征的二分類識別；最后，利用腦肌電特征的協同互補性實現對六自由度機械臂的多指令實時控制。

1 信號采集與預處理方法

1.1 數據采集

被試者無任何病史的健康受試者，并簽署了知情同意書。實驗環境安靜無絕對噪聲，受試者端坐在舒適的座椅上，與屏幕水平距離為 70-80 cm。要求被試者根據電腦屏幕的提示，進行相應的單側手臂及左右手運動想象動作。

肌電信號采集：肌電電極依據人體手臂肌肉群分布，采用環式貼法，進行相應的單側手腕伸(wrist flexion)、手腕屈(wrist extension)、握拳(hand close)、手張開(hand open)、手指動作(fine pinch)、休息(no movement)6個動作的肌電信號采集，見圖1。肌電電極采用10個通道，電極分布見圖2。訓練采用單試次，持續時間2 s。腦電信號采集：腦電帽電極放置按照國際標準10-20系統。共采集C3、C4 、FZ、A1四通道腦電信號，選取A1左側乳突部位為參考電極，FZ 額頭中央接地。腦電左右手運動想象，采集實驗分成10個試次(trials)，單試次持續2 s，左右各1 s，如圖3所示。

數據記錄采用 Neuroscan 腦電采集系統，同步采集腦電和肌電信號。采樣頻率設定為 500 Hz，并進行50 Hz 工頻陷波處理。為了保證數據采集質量，實驗之前使用酒精棉清潔受試者的肌肉皮膚表面，使用導電膏減小皮膚、頭皮與電極之間的阻抗。具體實驗過程包括5個步驟。腦肌電時序圖如圖4所示。

步驟 1:t= 0～2 s 時，屏幕中央出現一個十字光標、START狀態，提示受試者實驗即將開始，需集中注意力，等待動作提示指令出現。

步驟 2:t= 2～14 s 時，屏幕上出現單側手腕伸、手腕屈、握拳、手張開、手指動作、休息6個動作的肌電信號運動的圖片提示，受試者根據提示進行手臂動作，6個動作任務按順序執行，每個動作在2 s時間內完成。

步驟 3：t= 14～16 s時，屏幕出現十字光標，提示受試者腦電實驗即將開始，需集中注意力，等待動作提示指令出現。

步驟 4：t= 16～18 s時，屏幕出現左右指示箭頭，被試者依據箭頭方向提示，做相應的左右手運動想象動作，兩種動作任務出現的順序執行。運動想象執行10次實驗。

步驟 5：當執行腦電次數結束，顯示器處于END狀態，提示受試者實驗結束。

圖2 肌電電腦極布置

圖3 腦電信號采集通道

圖4 腦肌電采集實驗時序圖

1.2 信號預處理

1.2.1 EMG數據預處理

肌電信號的有效頻率成分分布在0～500 Hz，其中主要能量集中在10～200 Hz范圍內，采用自適應濾波器去除工頻50 Hz干擾，然后進行10～200 Hz 的帶通濾波，并進行去均值、去線性趨勢光滑處理有效地去除了肌電信號中各種噪聲干擾。EMG手臂動作肌電信號預處理之后的結果，如圖5所示。

圖5 手臂動作肌電信號

1.2.2 EEG數據預處理

由于腦電信號的特征主要體現在低頻段，因此對原始腦電信號進行0～30 Hz 帶通濾波，同時去均值光滑處理。依據腦電實驗范式對C3、C4腦電數據進行每隔1 000 ms數據長度進行切分，共5組，腦電預處理之后的結果，如圖6所示。

圖6 C3、C4腦電信號

2 特征提取方法

2.1 EMG 特征提取

為了得到不同手臂肌肉動作特征，在特征提取之前對信號先進行“加窗”截取處理，然后依次對每個時間窗長度為k的肌電信號xn(n=1,2,3,…,k)進行特征提取。本研究選取肌電信號常用的功率譜、短時過零率、短時能量、符號變化次數、波形長度5個特征作為肌電特征。其計算公式如下：

通過對肌電信號先進行自相關函數處理再進行維納-辛欽功率密度計算：

(1)

維納-辛欽(Wiener-Khintchine)功率譜密度計算公式：

(2)

短時過零率：為單個時間窗內肌電信號通過零點的次數，該時域特征可以反映肌電信號的頻域信息，被廣泛應用在聲音、肌電信號特征提取。

(3)

短時能量：短時能量為單個時間窗內肌電信號能量的大小。

(4)

符合變化次數：符號變化次數為單個時間窗內肌電信號符號的變化次數。

(5)

波形長度：波形長度為單個時間窗內肌電信號波形長度隨時間的積分，通常用來衡量信號的復雜度。

(6)

2.2 EEG 特征提取

研究表明，當進行左右手運動運動想象時，大腦兩側半球產生某些頻段的增強減弱，這一電生理現象被稱為EEG事件相關去同步化(event-related desynchronization，ERD)/同步化(event-related synchronization，ERS)。

當人們想象左手運動時，ERD現象會出現在大腦右半球，使其功率譜減弱，ERS現象會出現在大腦左半球，使其功率譜出現增強；與此相反，當想象右手運動時，ERD現象會出現在大腦左半球，而ERS現象會出現在大腦右半球。對應于大腦主觀想象肢體動作思維和作業提示所誘發被動思維的ERD/ERS在具體表現特征頻段和運動皮層區域均有所不同。因此本文選取ERD/ERS作為判斷想象左右手運動的判別依據。

本研究采用多尺度小波分解、低頻重構，提取左右手腦電信號C3和C4低頻段平均功率之差的ERD/ERS信息，作為區分腦電左右手運動想象的腦電特征。對實驗采集數據進行10次切分成5組左手，5組右手。就是C3和C4左手、右手5次，左右手平均功率譜，如圖7、8所示。

圖7 C3、C4左手平均功率

圖8 C3、C4右手平均功率

小波分解與重構是通過不同帶通濾波器將含有綜合信息的一組原始序列分解成多組不同特征的時間序列，一組信號反應原時間序列的內在變化趨勢的逼近信號；其余組的序列反映隨機擾動帶來的影響的細節信號。小波分解原理如圖9所示。對腦電信號的平均功率進行小波分解，并通過小波系數重構構建第五層低頻段為[0 15.6250]Hz的信息。

圖9 小波分解原理圖

小波系數重構C3、C4平均功率譜之差的第五層重構信息，提取低頻信號的功率尺度特征。如圖10、11所示。

左手想象的特征，C3通道減去C4通道的功率譜。第五層小波重構的5組左手運動想象特征。

圖10 左手運動想象特征

右手想象的特征，C3通道減去C4通道的功率譜。第五層小波重構的5組左手運動想象特征。

圖11 右手運動想象特征

對比被試者進行左右手運動想象時，五組特征具有一定的差異性，可將此特征集作為左右手腦電特征的識別分類。

3 腦肌電信號的機械臂控制

為了驗證腦-肌電協同控制的實際應用效果，以六自由度機械臂為控制對象，實現對機械臂的七指令(6個機械臂控制指令和一個腦肌切換指令)實時控制。為實現機械臂“腦”“肌”控制指令切換，設定手指執行動作為連續兩次，以提高腦-肌控制指令識別的準確率。對肌電信號進行中值濾波、光滑處理。可以看出，手指動作在20uV以上具有兩個波峰與其他手臂動作相比具有顯著性差異，如圖12所示，當“腦”“肌”控制指令切換和手臂休息時，機械臂靜止不動。

圖12 手臂肌電信號

3.1 控制方法

被試者根據屏幕中實驗范式的提示進行相應的手勢動作和左右手運動想象，產生的原始肌電、腦電信號通過預處理后進行特征提取；獲得的肌電特征采用典型相關性分析法CCA進行多元統計算法分類識別，CCA常用來分析兩個數據集之間潛在的相關性[21]。獲得的EEG腦電信號特征，采用支持向量機SVM進行分類識別，SVM因其具有較高的魯棒性和準確率[22]，通常被作為二分類分類器。最后，根據訓練的分類模型進行基于腦-肌信號的機械臂的單側手臂和左右手運動想象動作各 100次數據記錄。控制策略如圖13所示。機械臂控制器根據腦-肌輸出信號，輸出相應的控制指令信號，驅動機械臂運動。同時，依據被試者動作與機械臂控制指令吻合度相對比，結合期望值評估分類表現。

圖13 機械臂控制策略

3.2 結果分析

首先，告知每位被試者實驗范式流程，待所有電極安置完畢后，被試被要求坐在屏幕前，右手自然地放置在桌上，如圖14所示。被試需要完成 1次單側手臂6個動作和10 次左右手想象動作，作為訓練數據集，然后被試者隨機動作控制機械臂運動。

實驗征集20名被試者，每名被試者進行10次實驗操作，100次數據統計，如圖15所示。機械臂動作指令平均準確率，如表1。綜合實驗結果表明：機械臂控制指令平均準確率達到95%以上。

4 結論

本文提出了一種基于腦肌電信號的單側手臂和左右手運動想象的控制系統。并將其成功應用于實現六自由度機械臂多指令實時控制中。實驗結果表明：被試者在執行不同操作任務時，無明顯疲勞現象，實現了BCI控制系統的穩定識別，并且機械臂控制指令平均準確率可達到95%以上。不僅豐富了人機交互-混合腦-機接口的多樣性，為面向機械臂等領域控制的腦-機接口技術，提供了實踐基礎和理論依據。

圖14 機械臂控制應用

圖15 識別準確率

表1 機械臂控制指令準確率