融合腦電-肌電信號的人機協作裝配意圖識別方法

董元發 蔣 磊 彭 巍 周 彬 方子帆

1.三峽大學智能制造創新技術中心，宜昌，443002 2.三峽大學機械與動力學院，宜昌，443002

0 引言

裝配是產品生產過程中的重要環節之一，在現代工業制造中，裝配工作量平均占整個產品制造工作量的45%，費用占制造總費用的20%～30%[1]。靈活、高效的裝配過程能極大保證產品的生產效率。以水輪機、飛機等復雜產品裝配為例，由于其精度要求高、工序復雜、品種多、柔性大、批量小，裝配過程與方法有別于一般的機械產品，仍然主要由技藝嫻熟的操作人員完成，因此不可避免地存在操作人員在狹小空間、重載、噪聲、振動、異味等惡劣環境下工作帶來的工效學問題。采用完全自動化的裝備與生產線固然可以提高裝配作業效率，然而經濟性差且技術難度很大，因此具備高度靈活性和自動化水平的人機協作裝配模式逐步成為該領域關注的熱點和焦點。

隨著機器人技術的快速發展，協作機器人被引入裝配系統與人一起協作完成裝配任務。在這種人機協作(human robot collaboration，HRC)裝配模式下，協作機器人負責強度大、具有重復性、準確度要求高的工作部分，工人負責靈活性強、需要創造力、變化性大的工作部分[2]，兩者結合起來既能發揮工人的認知能力，減輕其體力負擔，又能發揮協作機器人連續工作能力強、不會疲勞的特點。與全自動裝配或純人工裝配相比，HRC裝配模式能實現人與機器的優勢互補，提高整體裝配效率[3]。HRC裝配過程首先需要解決的是人機協作裝配意圖的識別問題[4]。

根據人的意圖信息采集方式的不同，意圖識別系統一般可分為非穿戴式和穿戴式。非穿戴式系統一般使用在特定場景，如接觸力識別系統[5]、視覺識別系統[6]；穿戴式系統通過收集并解析人體生理電信號來獲取意圖信息，如基于腦電信號和基于肌電信號意圖識別系統。協作意圖的起源來自大腦的認知和決策活動，同時工人在執行裝配動作時不可避免地伴隨著大量肢體動作，上述活動都會造成人體生理電信號的變化，這些生理電信號中蘊含著大量的人體運動意圖信息，能直觀地表達人的意圖，且能與視覺、力覺等其他意圖來源組成多模式意圖識別模式。因此，基于生理電信號的人機協作意圖識別逐漸成為人機協作領域的研究熱點[3]。PRAKAKSITA等[7-9]通過分析腦電信號并將其轉化成命令去控制機器人。WANG等[10]將腦電信號轉換成時頻圖像，再由卷積神經網絡分類觸發功能塊網絡進行組裝動作的命令。LIU等[11]從可佩戴腦電設備獲取腦電信號并將其處理后轉為控制命令來遠程控制機器人。DING等[12]基于表面肌電信號和狀態空間模型對人體手臂關節連續運動角度進行了預測。CALABR等[13]通過表面肌電信號獲取人體下肢運動意圖并用于控制外骨骼機器人。以上基于單一生理信號的意圖識別方法雖然取得了較好的效果，但仍然存在一定的局限性，如腦電信號的微弱性和信噪比低等特點使得其多模式動作識別準確率有待提高；此外，隨著肌肉疲勞程度的上升，基于肌電信號的意圖識別準確率逐步降低[14]。鑒于此，文獻[15-17]通過多信號融合驗證了多模式融合方法具有更好的穩定性，文獻[18]證實了在進行肌肉運動時腦電信號和肌電信號之間存在相關性。

綜上所述，本文針對人機協作裝配場景下基于單源生理電信號識別協作意圖準確率不高、穩定性不好的問題，同時獲取工人在進行裝配動作時腦電(EEG)信號和肌電(EMG)信號，并分別基于支持向量機(support vector machines，SVM)識別單源協作意圖，然后采用D-S證據理論對多源協作意圖進行融合，提出一種融合EEG-EMG信號的人機協作裝配意圖識別方法。

1 人機協作裝配意圖識別問題框架

1.1 人機協作裝配場景描述

通常情況下人機協作裝配工位包含裝配區、零件區、工具區以及協作機器人，圖1所示為一種可能的布局，待裝配零件放置在零件區，裝配所需要的工具放置在工具區，工人在裝配區進行裝配作業，協作機器人的運動范圍涵蓋以上三個區域，并與工人在裝配區有一定的共享區域，可協助工人固定待裝配件、遞送零件或工具等。

圖1 人機協作裝配工位示意圖Fig.1 Schematic diagram of HRC assembly station

一項裝配任務往往包含多個裝配工序，而每個裝配工序又由工人的一系列元動作有機組合完成，如擰、握、推、拉、抬等。不同元動作對應的生理電信號往往也不同，因此可以借助信號特征提取與模式識別的方法分析工人的裝配意圖，并結合裝配工藝知識和其他感知手段(如機器視覺、力反饋等)獲得的上下文信息(如工件位置與空間拓撲關系、機器人狀態、人體姿態等)推理出目前所處的裝配階段及下一步裝配工序，從而引導協作機器人配合工人完成裝配作業。

1.2 人機協作裝配意圖識別系統構成

如圖2所示，人機協作裝配意圖識別系統一般由4個模塊組成。模塊1由可內置在工人安全帽的腦電儀及便攜式肌電儀收集工人在進行裝配動作時的生理電信號，并通過儀器內置藍牙或無線協議將信號傳輸至模塊3；模塊2為用戶界面，允許工人啟停生理儀器，觀察協作機器人狀態；模塊3接收到信號后進行特征提取并基于多源生理電信號識別人機協作裝配意圖，結合意圖識別結果和其他裝配信息通過推理決策生成協作機器人運動控制指令并發送至模塊4，以控制機器人并執行裝配任務。

圖2 人機協作裝配意圖識別系統框架圖Fig.2 Frame diagram of HRC assembly intention recognition system

2 人機協作裝配意圖識別關鍵技術

2.1 EEG信號特征提取

人機協作裝配場景下的腦電信號通常包含較多的噪聲干擾，如外部環境及腦電設備的噪聲，眼電、肌電偽跡等，在進行特征提取前應進行預處理。已有研究表明[19-20]，采用事件相關去同步化(event related desynchronization，ERD)和事件相關同步化(event related synchronization，ERS)分析方法得到的腦電運動想象特征主要集中在8～30 Hz，主要為Alpha頻段(8～13 Hz)、Beta頻段(13～30 Hz)，因此對腦電信號采用5～45 Hz的帶通濾波，以消除基線漂移產生的噪聲干擾。此外，通過獨立分量分析(independent component analysis，ICA)去除腦電信號中的眼電、肌電等偽跡。

采用共空間模式(common spatial pattern，CSP)算法對ERS/ERD的腦電信號進行二分類特征提取時非常有效[19]，它的運行原理是將腦電信號進行空間投影并找到一組空間濾波器，使得其中一類信號在這組空間濾波器的作用下方差達到最大，而另一類信號方差達到最小，從而達到分類的目的，二分類CSP運算過程詳見文獻[21]，此處不再贅述。針對n分類任務，可采用“一對一”的CSP策略[22-23]，將其轉化為n(n-1)/2個二分類任務，對n類信號分別兩兩做CSP算法運算，得到n(n-1)/2個投影矩陣后將它們組合起來形成1個共空間濾波器，使用此共空間濾波器濾波后的數據即可作為區分n類信號的特征矩陣，其中行代表Trial(試次)，列代表特征。

2.2 EMG信號特征提取

工人進行裝配動作時產生的肌電信號的有效頻率成分一般分布在0～500 Hz。對肌電信號特征提取前先進行如下預處理：采用巴特沃斯6階濾波器進行10～450 Hz的帶通濾波，采用50 Hz的陷波濾波器消除工頻干擾，并進行去中值平滑處理。

首先對采集到的肌電信號作“加窗”處理。設一個時間窗長度為T，分別對每個T時間長度里的肌電信號xi(i=1，2，…)進行特征提取。本文選取平均絕對值、均方根值、波形長度等3個變量表征肌電信號特征。

平均絕對值(MAV)計算公式為

(1)

均方根值(RMS)計算公式為

(2)

波形長度(WL)計算公式為

(3)

在每一個時間窗里分別提取MAV、RMS、WL三個特征變量組成特征向量

vi=(eMAV，i，eRMS，i，LW，i)

(4)

則N個時間窗的特征向量組成特征向量組

V=(v1，v2，v3，…，vN)T

(5)

2.3 多源協作意圖識別與融合

人機協作裝配過程中，每一類生理電信號均可用于識別工人的裝配意圖，只是存在識別精度和穩定性的差異，故需要對多源協作裝配意圖識別結果進行融合以提高識別精度。如圖3所示，首先采用2.1節和2.2節的方法分別對人機協作裝配時采集到的EEG和EMG信號進行預處理和特征提取，然后基于SVM分別構建EEG和EMG信號的特征分類器并用于單源協作意圖識別。SVM理論相對比較成熟，此處不再贅述。特別要說明的是，對于n分類任務可采用“一對一”的SVM策略[24]，在任意兩類樣本間各構建n(n-1)/2個SVM分類器，用構建的分類器對測試數據進行測試，在得到的測試結果中采用投票的形式，票最多者為最終結果。由于人機協作裝配場景下采集到的EEG和EMG信號易受到汗水、大幅度動作或工人精神不集中等影響，而且采用訓練好的SVM分類器識別單源協作意圖本身也存在較大不確定性，本文借助D-S證據理論處理各單源協作意圖識別結果中的不確定性。

圖3 多源協作意圖融合流程圖Fig.3 Flow chart of multi-source collaboration intention fusion

D-S理論是在概率論的基礎上，將單個事件的不確定性問題轉化為以多個事件為一個集合的集合不確定性問題。設Ω為人機協作裝配意圖所有可能取值的有限集合，且Ω中的每個元素都相互獨立，則由Ω的所有子集構成的冪集記為2Ω。當Ω中的元素個數為N時，則其冪集2Ω的元素個數為2N，且其中的每一個元素A都對應一個關于協作意圖識別結果的命題，稱該命題為“協作意圖識別結果在A中”。例如，A={擰}表示“協作意圖識別結果為擰”；若A={擰，推}，則表示“協作意圖識別結果為擰或者推”。

設函數m：2Ω→[0，1]，且滿足：

(6)

則稱m為2Ω上的概率分配函數，可通過SVM的預測函數得到；m(A)為協作意圖識別結果A的基本概率數，表示對通過SVM分類器判定協作意圖識別結果為A的信任程度。對于同一個識別結果，由于其證據的來源不同，可能會出現不同的概率分配函數，因此需要對它們進行組合。

設m1、m2分別為通過EEG和EMG兩種生理電信號識別得到的協作意圖概率分配函數，則其正交和m=m1⊕m2滿足：

(7)

(8)

如果K≠0，則正交和m也是一個協作意圖概率分配函數；如果K=0，則不存在正交和m，稱m1和m2矛盾。

對于組合EEG信號和EMG信號識別結果后形成的新概率分配函數m，需要將其轉換為協作意圖識別結果A的類概率函數f(A)，取具有最大類概率的A為最終協作意圖識別結果。對于任意A，其類概率f(A)按如下方法計算：

(9)

(10)

Pl(A)=1-Bel(┐A)

(11)

┐A=Ω-A

(12)

式中，|A|、|Ω|分別為A和Ω中包含元素的個數；信任函數Bel(A)表示對協作意圖識別結果為A的信任程度，其值為A的所有子集的基本概率之和；似然函數Pl(A)表示對協作意圖識別結果為A非假的信任度。

3 實驗及結果分析

3.1 實驗環境

減速器廣泛應用在各類機械設備的傳動系統中，其裝配工藝目前仍然以手動或半自動為主。通過動素分析，抓(握)、推(入)、擰(緊)是減速器裝配過程中最常見的三類元動作，本文以某減速器軸承蓋和窺視孔蓋的裝配過程為例驗證所提理論方法的可行性。實驗環境如圖4所示，由被試者、UR5協作機器人、待裝配零部件、腦電儀、肌電儀、數據處理服務器等構成，被試者與一臺UR5協作機器人在同一空間內共同完成指定裝配任務。其中腦電信號采用Emotiv無線便攜式腦電儀采集，采樣頻率為128 Hz，電極按照國際10-20標準電極安放法安放，其安放位置如圖5a所示，其中“CMS”和“DRL”為參考電極。肌電信號采用Cometa無線表面肌電測試儀采集，其采樣頻率為2 kHz，肌電電極采用環式貼法，共采集4個通道的肌電數據，電極布置如圖5b所示。

圖4 實驗場景圖Fig.4 Experimental scene

(a)腦電電極放置位置 (b)肌電電極放置位置圖5 電極放置位置Fig.5 Electrode placement position

3.2 數據采集

本次實驗共招募被試者8名，其中男性5名，女性3名，年齡23～26歲，在實驗前每名被試者都知曉實驗內容并簽署了知情同意書。如圖6所示，8位被試者按照圖中的順序依次做出抓、推、擰的裝配動作，每個元動作在2 s內完成，完成后休息2 s切換至下一元動作，整套動作重復50次。被試者執行上述動作的同時同步采集被試者的EEG和EMG信號并加上動作標簽，形成用于后續分析的數據集。

圖6 實驗數據采集流程圖Fig.6 Experimental data collection flowchart

3.3 結果分析

3.3.1單源協作意圖識別結果分析

在3.2節的實驗中共采集400組數據，隨機選取其中70%作為訓練集，30%作測試集，將數據分別進行預處理和特征提取后，基于SVM進行單源協作意圖識別。基于EEG信號的協作意圖識別準確率如表1所示，被試者S1～S8在三種協作裝配意圖中最高識別準確率分別可達到79.43%、80.53%、81.12%，平均準確率分別為76.95%、76.37%、76.92%。雖然協作意圖識別準確率略有波動，但波動幅度不大，在平均識別準確率的上下波動率分別為2.96%±0.48%、3.40%±0.76%、3.38%±0.82%，說明CSP+SVM的腦電處理方法泛化性較好，適合用于人機協作裝配意圖的識別。

表1 基于EEG信號的協作裝配意圖識別準確率Tab.1 Accuracy of collaborative assembly intention recognition based on EEG signals %

基于肌電信號的協作意圖識別準確率如表2所示，基于肌電信號的整體意圖識別準確率要高于基于腦電信號的準確率，三種協作裝配意圖中最高識別準確率分別可達到95.61%、94.12%、95.95%，平均準確率分別為93.56%、92.66%、92.93%。為了探究不同肌電特征組合對于識別準確率的影響，本文對不同肌電特征組合進行了驗證。不同肌電特征組合的識別準確率如表3所示，MAV+RMS+WL特征組合的識別準確率最高，說明本文肌電特征指標的選取是有效的。

表2 基于EMG信號的協作裝配意圖識別準確率Tab.2 Accuracy of collaborative assembly intention recognition based on EMG signals %

表3 不同肌電特征組合下的協作裝配意圖識別準確率Tab.3 Accuracy of collaborative assembly intention recognition under different EMG feature combinations %

3.3.2多源協作意圖融合結果分析

基于D-S理論的多源協作意圖融合識別結果與單源協作意圖識別結果準確率對比如表4所示，采用多源協作意圖識別與融合方法的平均準確率較基于單一EEG信號的協作意圖識別平均準確率有較大提高(19.38%)，說明EMG信號的融入能有效提高基于EEG信號的意圖識別準確率；較基于EMG信號的協作意圖識別平均準確率提高3.07%，識別準確率的上下波動從2.54%±0.08%降至1.21%±0.23%，說明EEG信號的融入能提高基于EMG信號的協作意圖識別的穩定性。為對上述結果進行交叉驗證，隨機選取400組數據的70%作為訓練集，30%作為測試集，協作意圖識別準確率如圖7所示，可以看出多源協作意圖融合方法的識別準確率要顯著優于單源協作意圖識別方法。

表4 單源與多源融合識別準確率對比Tab.4 Comparison of recognition accuracy between single source and multi-source fusion %

3.4 實驗效果

基于EEG-EMG多源融合的方法開發了人機協作裝配意圖識別原型系統，該系統實時采集被試者的EEG和EMG信號并進行1 s的“加窗+滑窗”，采用3.3.2節訓練得到的預測模型識別被試者的裝配意圖，從而支持后續結合其他場景識別信息和裝配工藝知識庫自動推理得到協作機器人的控制指令，完成人機協作裝配。圖8所示為某被試者在完成減速器裝配過程中的實時識別結果，可以看到基于EEG-EMG多源融合的方法在實際人機協作裝配過程中具有較好的可行性和識別準確率。

圖8 原型系統實驗效果Fig.8 Experimental effect of prototype system

4 討論和結論

在人機協作裝配場景下，利用生理電信號進行協作意圖識別有如下優點：①可與其他意圖識別方式(語音、手勢、觸覺)形成多模式意圖識別；②生理電信號采集設備輕便，可集成在工作服上，操作員可自由移動而不受設備的限制。但由于生理信號自身的特點，在人機協作裝配場景下想要保持較好的識別準確率與穩定性是一項具有挑戰性的工作。

基于單一EEG信號的協作裝配意圖識別準確率較低(76%)，因為不同被試者在進行運動想象時大腦產生的ERD/ERS現象存在差異性，且裝配過程中大量的手部裝配動作會對工人的注意力分配產生影響。為探究注意力集中程度對協作裝配意圖識別準確率的影響，將同一被試者的EEG信號前半段和后半段分別用于協作裝配意圖識別，由于剛開始實驗時被試者注意力集中程度較高，前半段數據的協作意圖識別準確率明顯優于后半段數據；加入EMG信號后，協作意圖識別的準確率顯著提高(96%)。

基于單一EMG信號的協作裝配意圖識別準確率較好(93%)。根據謝平[14]等的研究，隨著肌肉疲勞程度的增加，意圖識別準確率將明顯下降，在肌電信號將近缺失時將降至70%以下。將同一被試者的肌電信號截段后進行協作意圖識別，其識別準確率按先后順序呈現下降的趨勢，符合謝平[14]等的研究結果。另外，由于人的動作具有不確定性，即使是同一個實驗動作，被試者在執行時也存在差異，因此在裝配過程中依靠單一EMG信號進行協作意圖識別可能存在肌電信號類似卻不是目標動作而發生誤判的現象。本文結合EEG信號與EMG信號，首先分別進行單源協作意圖識別，再在決策層進行多源協作意圖融合得到最終協作裝配意圖識別結果，有效地提高了人機協作裝配意圖識別的準確率和穩定性。