基于表情輔助的假手腦控方法

陸竹風 張小棟 李 睿 郭 晉

1.西安交通大學機器人與智能系統研究所，西安，710049

2.陜西省智能機器人重點實驗室，西安，710049

0 引言

據統計，2010年末我國殘疾人總人數約8 502萬人，其中肢體殘疾約2 412萬人，約占中國總人口數的1.80%。當今醫療水平尚不能使肢體再生，因此，為截肢者安裝假手成為恢復其手部功能的唯一途徑。現有市售假肢存在諸多缺陷，如：裝飾性假肢功能性差；牽引式假肢操作不便；聲控假肢應用場合受限；傳統肌電假手在殘肢缺乏肌肉控制能力或肌肉疲勞的情況下不能良好工作。腦電信號相較傳統信號具有直接反映人腦活動及便于實時提取分析的優勢，可以由大腦提供一種脫離人體神經肌肉系統的控制方式，建立人與假手之間信息交流的新型通道，即利用腦-機接口實現向外界發送指令，實現假手的精確控制［1］。

常見的假手腦控范式有P300、穩態視覺誘發（steady state visual evoked potential，SSVEP）和運動想象（motor imagery，MI）三種。P300范式與SSVEP范式同屬于視覺刺激范疇，實驗中需添加額外視覺刺激源，存在易造成受試者視覺疲勞、無法在假手動作時完成視覺反饋的問題［2］；MI范式屬于自發型腦電信號，其識別類別有限，且需要較多前期訓練才可以適應其使用過程。考慮到目前常見的腦-機接口范式對系統識別能力、環境干擾及受試者情緒存在較高要求，且腦電檢測系統需要附帶大量復雜的外部設備，不利于生活應用［2?3］等實際情況，本文提出了一種基于表情輔助腦電信號的假手控制方法。

表情輔助下的腦電信號是一種不需要外加刺激器的誘發信號，目前鮮有將其應用于假手控制中的研究報道。表情動作對受試者的要求較低，且具有跨人種、跨文化的統一性，因此具有非常廣泛的應用價值。在表情輔助下的腦電信號采集過程中，受試者完成不同的表情（如提眉、皺眉、撇嘴等），即可采集相應表情下的腦電信號。與傳統假手腦控范式相比，基于表情輔助的假手腦控方法具有無需前期訓練、無需外加刺激源、不易造成使用者疲勞、操作簡便和利于設備實現便攜化可穿戴設計的優勢。

本文對假手便攜可穿戴腦控系統進行研究，根據神經生理學方面的相關研究成果，確定表情輔助腦電信號的產生區域和頻率分布特性，并采集相應大腦區域的腦電信號，利用小波分析和人工神經網絡算法對信號特征信息集中的頻率段進行分類識別，并設計相應控制算法以提高操作正確率，最終通過表情輔助假手便攜化可穿戴腦控系統的在線實驗，驗證將表情輔助下的腦電信號應用于假手控制的可行性和有效性。

1 表情輔助假手腦控方法的提出

1.1 表情輔助腦電信號的可分類性分析

腦電信號依據高低頻及其不同功能可分為δ、θ、α、β和γ 5個頻段，其中δ頻段多出現于人深度睡眠中，γ頻段屬于高頻部分，其意義尚未十分明確。在θ、α和β頻段中，θ與α頻段是一種具有高度暗示性的信號，當人做出不同表情時，通常暗示大腦處于某種精神狀態，例如提眉時瞳孔放大，更多視覺信息進入眼部供大腦快速處理分析，皺眉時人的視覺往往會將焦點聚集到某處，使人的注意力集中，嘴角上揚則預示人表現出輕松的狀態［3］。

利用雙區域耦合下的多動態基本神經元集群模型，可仿真驗證表情驅動下腦電信號的可分類特征。神經元集群模型依據“腦內功能相似的同一區域的集總參數相同”這一“平均區域近似”原理，通過神經元群間的耦合作用，可模擬表情輔助下的大尺度仿真腦電信號。表情輔助的真實信號與仿真信號對比圖見圖 1［4］。

圖1 表情輔助的真實腦電信號與仿真腦電信號對比圖［4］Fig.1 Comparison between collected EEG signals and simulated EEG signals under expression assisted paradigm

通過對比表情輔助的真實腦電信號和仿真信號可發現，提眉動作的腦電信號多集中于低頻10 Hz以內，中高頻分量較少；右撇嘴動作的腦電信號自低頻到高頻分量的能量依次遞減，信號多由低頻部分組成并包含部分中高頻信號雜波。上述結果說明提眉和右撇嘴動作腦電信號能量多分布于低頻θ、α頻段，其余頻段處信息較少。由此驗證表情輔助下的腦電信號具有集中于θ與α頻段的特性，在特征提取操作中利用小波分解提取該兩頻段的信息，就能用作很好的分類特征。

1.2 基于表情輔助的假手腦控模型構建

表情表達是一種人類與生俱來的能力，運用表情所實現的腦機接口技術具有用戶操作便捷、無需事先訓練、利于便攜化等眾多優點。表情的加工和完成由腦內一個分布式神經網絡所控制，經由前額葉皮質和邊緣系統相互協調合作，通過大腦生理電信號產生、腦神經系統生理信號傳遞、運動神經元產生、面部神經生理信號傳遞及面部肌肉運動共同協作完成。1937年，Papez將情緒的產生和人的生理活動聯系在一起，認為邊緣葉中存在參與情感表達的特殊回路，稱為Pa?pez環路［5］。1949年，MacLean基于Papez的研究，認為邊緣系統為大腦中參與情感表達與表情控制的區域，其重要組成部分包括海馬回、杏仁和、扣帶回和丘腦前部等，通過Papez環路相互連接并與下丘腦進行反應，經由腦橋產生具體運動神經元，控制面部肌肉，參與表情表達［6］。表情動作產生的生理學機理如圖2a所示。通過采集大腦對應區域在表情動作控制過程中所產生的腦電信號，可對應識別受試者所呈現的表情動作，并用于外設假手控制。

表情輔助假手腦控機理模型如圖2b所示。根據EEG采集設備國際10-20導聯系統電極布置規則，結合本研究所采用的16導聯便攜化Emotiv?EPOC腦電帽電極分布圖，確定分布于大腦左側邊緣系統及前額葉皮質的F7、FC5導聯及右側的F8、FC6導聯為有效腦電信號采集通道。通過檢測F7、F8、FC5、FC6四導聯信號，經由信號提取、放大濾波、特征提取、模式識別、控制命令輸出、電機運動環節，控制假手完成相應動作。在所有可完成的面部表情中，選擇較為容易的提眉動作對應假手的手指張開，皺眉對應手指閉合，左撇嘴對應手腕內旋，右撇嘴對應手腕外旋動作。

圖2 基于表情輔助的假手腦控模型Fig.2 Brain control model for prosthetic hand based on expression aided

2 假手便攜可穿戴腦控系統的構建

基于表情輔助的假手便攜可穿戴腦控系統構建應該包括它的硬件選型設計與系統組建，以及表情輔助腦電信號分類識別算法和假手控制算法的設計研究與軟件模塊開發等。

2.1 系統硬件構建

基于表情輔助的假手便攜可穿戴腦控系統的穿戴圖見圖3。系統通過便攜化Emotiv腦電帽采集用戶因自發表情運動產生的腦電信號，經由藍牙無線實時傳輸至微型平板電腦進行基于表情輔助腦電信號的特征提取和模式識別分析處理。所得模式分類信號經驅動控制模塊轉化為相應的假手控制信號，輸出相應的動作指令，通過柔順化控制算法，控制假手連續地完成相應動作。

圖3 假手便攜可穿戴腦控系統的穿戴圖Fig.3 Demonstration of portable wearable brain control prosthetic hand

假手便攜可穿戴腦控系統的各模塊具體構成如圖4所示，可由以下4個模塊組成。

圖4 假手便攜可穿戴腦控系統的組成Fig.4 Composition of portable wearable brain control prosthetic hand

（1）腦電信號采集模塊。Emotiv?EPOC腦電帽通過經生理鹽水浸潤的16導聯電極采集用戶因自發表情產生的腦電信號，經由藍牙無線實時傳輸至微型平板電腦。設備改善了傳統腦電采集設備笨重、不易使用的缺點，適應便攜可穿戴要求。

（2）腦電信號分析處理模塊。信號處理識別過程在微型平板電腦上完成。通過基于小波分解的特征提取和基于神經網絡的模式識別算法，生成實時腦電信號的分類結果，作為控制類別，并通過藍牙模塊將之實時輸入假手驅動控制模塊。

（3）驅動控制模塊。所得模式分類信號經驅動控制模塊轉化為相應的假手控制信號，通過一系列閾值判斷、柔順化控制等方法，輸出相應的動作指令，控制假手連續地完成相應動作。

（4）假手。該假手具有手指張開/閉合、手腕內旋/外旋4個功能，可基本滿足基本日常生活需求。設計中，在兼顧功能的同時進行了輕量化設計，并將電池嵌入臂筒之中，兼顧美觀性。

以上系統在兼顧以往假手腦控功能的同時，實現了整體的便攜可穿戴化設計，保證使用者長時間佩戴的舒適性。4種表情信號將作為不同的信號源用于控制假手的4種手勢動作。基于易表達、易識別的考慮，選取提眉、皺眉、左撇嘴、右撇嘴作為4種假肢控制的表情動作。

2.2 表情輔助腦電信號分類識別算法

自發表情輔助腦電信號屬于非平穩、非線性的時變信號，小波作為多尺度、多分辨率的分析方法可用于提取腦電信號各頻段信號的特征［7］。表情輔助腦電信號分類識別算法流程如圖5所示。

圖5 表情輔助腦電信號分類識別算法Fig.5 Signal processing method of expression aided EEG

經過便攜化Emotiv?EPOC采集所得腦電信號的采樣頻率為128 Hz，信噪比低，故需要先進行預處理操作以濾去雜波信號。根據香農采樣定理，該表情輔助腦電信號有效頻率為0～64 Hz，選用具有正交性的DB?6小波基將各通道預處理后的表情輔助腦電信號進行4層小波分解，使其獨立地分解至0～4 Hz，4～8 Hz，8～16 Hz，16～32 Hz，32～64 Hz頻段上，對應腦電信號的δ、θ、α、β和γ 5個波段。基于雙區域耦合下的多動態基本神經元集群模型進行仿真驗證，表明表情輔助下的信號具有較集中于θ與α波段的特征，故提取小波分解后四通道（F7、FC5、FC6、F8）腦電信號中θ與α波段的小波系數模均值，組成1×8特征向量：

式中，θF7,θFC5,θFC6,θF8分別為F7、FC5、FC6和F8四通道腦電信號中的θ波小波系數模均值；αF7,αFC5,αFC6,αF8分別為四通道腦電信號中的α波小波系數模均值。

建立3層誤差前向傳遞神經網絡（BP神經網絡）對特征向量進行分類，輸出結果以格雷碼區分四類信號。該網絡輸入層有8個神經元，隱層有12個神經元，輸出層有2個神經元，結構如圖6所示。一般而言，3層神經網絡可實現任意維數間的映射。利用樣本數據對神經網絡進行訓練，修正參數與誤差，最終用于個體表情輔助腦電信號的分類識別。

圖6 BP神經網絡拓撲結構Fig.6 Topology of BP neural network

2.3 表情輔助假手腦控算法

表情輔助假手腦控算法流程如圖7所示，該驅動控制模塊共分為三大部分：系統初始化、綜合決策算法和操作執行。其中，綜合決策算法為提高操作正確率，避免因個體差異性及人為誤操作帶來的錯誤動作，在算法中采用多決策方法混合的模式，根據操作者自身訓練數據設置閾值，并結合多傳感器數據反饋進行決策判斷。

圖7 表情輔助腦控假手控制方法Fig.7 Control method for expression aided brain control prosthetic hand

系統初始化為控制驅動模塊啟動后第一步，進行各項參數初始化設置、手部位置復位設置，使手部操作處于各向動作安全狀態，保證系統的可操作性。

綜合決策算法分為閾值判斷和傳感信息融合判斷兩部分。為避免因受試者錯誤操作、不熟練操作或單次錯誤識別結果而導致手部錯誤操作，在讀取分類算法的識別結果后執行閾值判斷，在達到或超過該閾值時視為受試者確實執行該指令。該閾值設置為受試者在連續10次動作分類結果中，某類別動作被執行了X次，則視為受試者意圖執行該操作，具體閾值數值因人而異。該閾值判別方法雖損失了一定手部操作的響應速度，但大大提高了手部動作執行的正確率。閾值判斷通過后，讀取電機位置信息及位于食指與大拇指指腹的壓力應變片反饋數據，判斷是否執行該操作，若判斷結果為陽性，則控制電機進行操作。

操作執行過程中不斷接受壓力應變片反饋數據及電機位置數據，若出現壓力已達到抓握適宜壓力、電機已達到位置極限、或受試者不再發出操作指令這三種情況之一，則視為操作執行結束。

2.4 多自由度假手設計

系統所用假手為課題組定制生產的帶有腕關節的二自由度假手。該假手具有手張開/閉合、手腕內旋/外旋兩個自由度，在大拇指指腹及食指指腹安裝有壓力應變片以檢測抓握時的指尖壓力，可完成日常生活中人手的基本功能。該假手技術性能指標如表1所示。

表1 假手技術性能指標Tab.1 Technical performance index of prosthetic hand

3 實驗研究

為驗證上述基于表情輔助的假手腦控方法的有效性，本文搭建了一套表情輔助的假手便攜可穿戴腦控系統，進行表情輔助腦電控制假手在線實驗，要求受試者利用4種表情輔助控制假手完成一個日常生活的完整動作。

共有4名受試者參與此次實驗，包括3名男性受試者及1名女性受試者，年齡為23～29歲。4名受試者在該實驗前均無利用表情輔助腦電控制外設的經驗，且不參加該系統調試。每名受試者在4種表情輔助腦電控制實驗開始前，每次均給予20次離線訓練機會。

實驗過程中，受試者通過提眉、皺眉、左撇嘴和右撇嘴四種表情輔助的腦電，依次控制假手手指張開、手指閉合、手腕內旋及手腕外旋。實驗場景如圖8所示。受試者所佩戴的Emotiv?EPOC腦電帽采樣頻率為128 Hz，信號預處理選用5～50 Hz巴特沃斯帶通濾波器。

圖8 實驗場景圖Fig.8 Experimental scene diagram

每一位受試者每個表情要求完成10組實驗，每組實驗包括10次動作，即每一受試者每一表情對應100組數據。在每次動作中，提示音響起即實驗開始，2 s準備時間后，受試者保持某一表情4 s。在不同表情切換之間可以休息幾十秒，以減少因受試者的疲勞和乏味引起的腦電信號失真。根據實際情況，一般間隔幾天再進行下次EEG采集實驗。

實驗數據中每一表情的前30組數據作為訓練樣本用以訓練分類器及確定閾值X，后70組數據作為測試樣本。表2所示為4名受試者的在線識別與控制正確率。

表2 4名受試者在線識別正確率Tab.2 Online recognition accuracy of 4 subjects %

表2的實驗結果數據顯示，多次實驗的統計結果中最高在線識別與控制正確率為受試者S1的92.8%，最低為受試者S4的78.6%，總平均識別與控制正確率為（86.41±3.92）%。在4名受試者中，男性受試者平均識別正確率為87.8%，女性受試者整體識別正確率為82.1%。在4種表情輔助中，皺眉的識別正確率相對最高，即對應控制的手指閉合操作效果最好，達到（88.9±4.47）%；提眉的識別正確率相對最低，即對應控制的手指張開操作效果較差，為（85.3±5.13）%；總體平均識別與控制正確率均高于85%。實驗結果表明：基于表情輔助的假手腦控方法是有效的，依據該方法所開發的假手便攜化可穿戴腦控系統是可行的，能夠幫助殘疾人完成假手的表情輔助腦控操作，從而為智能假手的擬人化控制開辟了新的研究方向。

4 結論

（1）表情表達是一種人類與生俱來的能力，運用表情輔助所實現的假手腦控方法不僅行之有效，而且具有用戶操作便捷、無需事先訓練、利于便攜化等眾多優點。

（2）由于系統各組件均采用微小化設備，且組件間信號傳輸均使用無線藍牙通信，故這種系統構建方式能夠很好地實現假手腦控系統的便攜可穿戴設計。

（3）由于采用了基于表情輔助的假手腦控方法，使所開發的假手便攜化可穿戴腦控系統不但可以對不同表情下的腦電信號進行高識別率分類，而且能夠成功應用于假手的控制，幫助殘疾人完成日常生活所必須的手操作，如手指張開、手指閉合、手腕內旋及手腕外旋等。

（4）目前腦電信號采集系統對硬件的精確度要求較高，在腦電信號采集過程中產生的少量偽差，一般在數據預處理階段要進行識別并剔除，這在一定程度上會影響識別的效果。另外，腦電信號的個體差異較大，因此，有必要研究適應具體受試者的自適應特征選擇算法，從而提高不同表情輔助下腦電信號模式識別的針對性和泛化性。

［1］ 張小棟，李睿，李耀楠.腦控技術的研究與展望［J］.振動、測試與診斷，2014，34（2）：205?211.ZHANG Xiaodong，LI Rui，LI Yaonan.Research and Forecast on Brain?computer Interface［J］.Journal of Vibration，Measurement&Diagnosis，2014，34（2）:205?211.

［2］ 蘆瑩，基于BCI的假肢控制方法研究［D］．秦皇島：燕山大學，2011．LU Ying.The Controlling Method Research of Pros?thesis Based on BCI［D］.Qinhuangdao：Yanshan Uni?versity,2011.

［3］ 張小棟，郭晉，李睿，等．表情驅動下腦電信號的建模仿真及分類識別研究［J］．西安交通大學學報，2016，50（6）:1?8.ZHANG Xiaodong，GUO Jin，LI Rui，et al.Study on Modeling Simulation and Pattern Recognition of EEG Driven by Expression［J］.Journal of Xi’an Ji?aotong University，2016，50（6）:1?8.

［4］ LOPES F H，HOEKS A，SMITS H，et al．Model of Brain Rhythmic Activity［J］．Kybernetik，1974，15：27?37.

［5］ DALGLEISH T．The Emotional Brain［J］．Nature Reviews Neuroscience，2004，5（7）：583?589．

［6］ JOSEPH L P，WAYNE C D． Neurocircuitry of Mood Disorders［J］． Neuropsychopharmacology Reviews，2010，35:192–216.

［7］ 王登，苗奪謙，王睿智．一種新的基于小波包分解的EEG特征抽取與識別方法研究［J］．電子學報,2013,41（1）：193?198．WANG Deng，MIAO Duoqian，WANG Ruizhi.A New Method of EEG Classification with Feature Extraction Based on Wavelet Packet Decomposition［J］.Acta Electronica Sinica，2013，41（1）：193?198.*