基于運動想象腦機接口的手功能康復系統設計①

張桃，楊幫華，段凱文，唐健真，韓旭

基于運動想象腦機接口的手功能康復系統設計①

張桃，楊幫華，段凱文，唐健真，韓旭

針對腦卒中患者的手功能康復，本文介紹一種基于運動想象腦機接口的康復系統。該系統包含3個子系統。離線訓練子系統依次呈現黑屏、左/右手動作視頻、左/右箭頭，分別提示患者休息、準備并指導運動想象、進行運動想象任務，最終將采集的腦電信號(EEG)建立識別模型；在線更新訓練子系統依次呈現黑屏、箭頭提示，依據建立的模型分析患者EEG信號，控制手部動作視頻呈現，同時反饋給患者產生更易識別的EEG信號，建立更有效的識別模型；虛擬現實在線訓練子系統在3Dmax中制作訓練場景模型、3D人物模型及其手部動畫，導入Unity3D中設計控制方式，患者通過手部運動想象，依據有效模型分析其EEG信號，實時控制3D人物手部運動。該系統具有多層次、沉浸感強等特點，為手功能康復提供新方法，同時為家庭化訓練奠定基礎。

腦機接口；運動想象；腦卒中；手功能；康復；虛擬現實

[本文著錄格式] 張桃，楊幫華，段凱文，等.基于運動想象腦機接口的手功能康復系統設計[J].中國康復理論與實踐,2017, 23(1):4-9.

CITED AS:Zhang T,Yang BH,Duan KW,et al.Development of hand function rehabilitation system based on motor imagery brain-computer interface[J].Zhongguo Kangfu Lilun Yu Shijian,2017,23(1):4-9.

腦卒中是由于腦部供血受阻而引起腦功能損失的一種疾病，可導致運動、感覺、語言等功能障礙，以運動功能障礙最為常見[1]。據世界衛生組織報道，約有80%的腦卒中患者存在不同程度的肢體功能障礙，其中超過60%的患者進入慢性期后仍然存在手功能障礙而不能獨立生活[2]，給家庭和社會造成沉重的負擔。

目前，手功能康復仍是康復中的重點和難點。一方面，手部位于大腦皮層的投射區域相對較大，人類手功能約占全身功能的54%[3]。另一方面，手及手指的精細操作和協調配合極具復雜性，使得其恢復較身體其他部分更為困難[4]。傳統的手功能康復方法，如冷療法、電刺激療法、依靠治療師的運動治療和作業治療及中醫康復手段等[5-10]，不僅耗費較多的人力，康復過程單調乏味，缺少患者主動參與的刺激與反饋，而且更缺乏支配肢體的大腦運動神經系統直接參與，康復效果有待提高。

運動想象(motor imagery,MI)能夠激活大腦自身細胞的可塑潛力[11]，重建受損大腦的皮質，修復外部肢體和大腦之間的功能控制連接[12]。基于運動想象的腦機接口(brain-computer interface,BCI)是一種通過運動想象產生的腦電信號(electroephalography,EEG)實現人腦與外部設備之間直接進行通信和控制的接口。與傳統康復訓練相比，基于MI-BCI的腦卒中康復訓練不僅能夠促進中樞神經的重塑[13]，還具有以下優點：①安全性高，不需要患者的實際運動，也適合殘留微弱運動功能或完全癱瘓患者；②能夠對康復訓練進行監控、測量，只需少量醫護人員參與，節約人力；③提供有效的反饋，使患者主動參與康復訓練。

目前，MI-BCI應用于腦卒中后康復逐漸成為國際研究熱點。另外，動作觀察能夠促進運動記憶的形成，從而有助于運動學習[14-15]。虛擬現實(visual reality)技術具有交互、沉浸和想象三大特征[16]，可以為患者提供與現實環境相似的虛擬環境以及多感官反饋信息，提高訓練積極性與趣味性。因此，MI-BCI技術結合動作觀察法、虛擬現實技術為腦卒中后手功能康復帶來新希望。

Unity3D能夠實現虛擬現實技術，它自帶豐富的開發資源，有利于快速開發出高品質的多媒體應用程序[17]。本文利用Unity3D開發基于MI-BCI的手功能康復系統。該系統包含離線訓練、在線更新訓練和虛擬現實在線訓練三個子系統。因此，該康復系統能夠提供多層次訓練，結合MI-BCI技術、動作觀察法及虛擬現實技術，實現腦卒中患者手功能的主動康復訓練，促進運動學習和中樞神經的重塑。

1 基于MI-BCI的手功能康復系統構成

圖1展示了基于MI-BCI的手功能康復系統總體結構，由患者、基于MATLAB技術的信號采集-處理系統、基于虛擬現實技術的手功能康復系統組成。信號采集-處理系統工作過程為采集患者的EEG信號后進行預處理、特征提取和特征識別。

1.1 離線訓練子系統

該子系統依次呈現黑屏、左/右手動作視頻和左/右箭頭，分別提示患者休息、運動想象準備和左/右手運動想象。當患者開始左/右手運動想象時，該子系統通過TCP/IP通信協議發送“采集信號”命令給信號采集-處理系統，使其采集患者運動想象期間的EEG信號。離線訓練結束后，信號采集-處理系統對采集的EEG信號進行預處理、特征提取、特征識別建立識別模型，提供給在線更新訓練子系統。

1.2 在線更新訓練子系統

該子系統依次呈現黑屏、左/右箭頭，患者根據呈現的左/右箭頭進行左/右手運動想象，同時該子系統通過TCP/IP協議發送“信號采集處理”命令給信號采集-處理系統，采集患者運動想象期間的EEG信號并進行預處理、特征提取、依據建立的識別模型特征識別，識別患者EEG信號的類別；當箭頭消失時，信號采集-處理系統將識別結果通過TCP/IP協議發送給該子系統，控制左/右手動作視頻的呈現，作為視覺反饋，促使患者產生更易識別的EEG信號。待訓練結束后，信號采集-處理系統將采集的EEG信號進行預處理、特征提取、特征識別，建立更有效的識別模型。為了更好地實時控制虛擬現實在線訓練子系統，患者還可進行多次在線更新訓練建立多個識別模型，從中選擇最好的識別模型。

1.3 虛擬現實在線訓練子系統

當患者進行左/右手運動想象，同時信號采集-處理系統采集患者的EEG信號并進行預處理、特征提取、根據有效模型特征識別，識別患者EEG信號的類別，通過TCP/IP協議實時發送給該子系統，控制3D人物左/右手運動，也可作為視覺反饋提供給患者。

圖1 基于MI-BCI的手功能康復系統總體結構框圖

2 手功能康復系統設計

結合Unity3D技術的手功能康復系統的設計包括離線訓練、在線更新訓練及虛擬現實在線訓練子系統的設計。另外，TCP/IP通信和計時功能的設計參考文獻[18]。

2.1 離線訓練子系統設計

該子系統較傳統離線訓練系統添加了手部動作視頻[19]，指導患者如何進行左/右手運動想象。

該子系統的一次離線訓練過程如下。首先是2 s的黑屏呈現，提示患者休息，2 s結束時黑色圖片消失；接著是2 s隨機的左手或右手的動作視頻呈現，讓患者觀察手部動作并提示其做好準備，2 s結束時視頻消失；最后呈現4 s的與視頻中手左右方向一致的箭頭(左箭頭代表進行左手運動想象，右箭頭代表右手運動想象)，患者根據箭頭提示進行相應的運動想象任務。同時，信號采集-處理系統采集患者運動想象期間的EEG信號。當本次訓練完成后，繼續循環以上過程直至達到設置的訓練時間，訓練結束。圖2分別展示手功能康復離線訓練過程和傳統離線訓練過程。

2.2 在線更新訓練子系統設計

根據動作觀察是運動學習的重要手段之一的理論[20]，該子系統提供7種左/右手動作視頻供患者訓練選擇。動作視頻參考臨床手功能康復訓練動作[21]，包括左右手比OK、手指內收外展、握拳、比數字、拇指對四指、腕掌屈和前臂旋前旋后。

圖2 手功能康復離線訓練與傳統離線訓練過程對比

在線更新訓練的一次過程如下。首先是2 s的黑屏，提示患者休息，2 s結束時黑屏消失；接著是4 s的隨機左/右箭頭呈現，提示患者進行相應的運動想象任務。同時，在這4 s內，信號采集-處理系統對患者EEG信號進行采集處理。在4 s結束時，箭頭消失，該子系統收到來自信號采集-處理系統的處理結果；接著是4 s結果呈現，該子系統若收到代表左手想象運動的控制命令，則會呈現4 s左手動作視頻；若收到代表右手想象運動的控制命令，則會呈現4 s的右手動作視頻。繼續循環以上過程直至達到設置的訓練時間，訓練結束。圖3為在線更新訓練過程。

圖3 在線更新訓練過程實驗范例

2.3 虛擬現實在線訓練子系統設計

3Dmax是目前應用最廣泛的三維建模、動畫、渲染的工具之一，主要應用于游戲開發、角色動畫等領域，能夠與Unity3D配合流暢[22]。Unity3D結合3Dmax技術設計的虛擬現實在線訓練子系統包括以下幾個步驟?；颊吣軌蛲ㄟ^左右手運動想象實時控制3D人物左右手運動，并根據實時有效的視覺反饋及時調整自身的運動想象方式。

2.3.1 虛擬現實場景和3D人物模型建立

該子系統設計了廚房的訓練場景，需要建立的場景模型有櫥柜、桌子、椅子、廚具、杯子、碟子模型，這些模型都采用3Dmax中的網格建模方法進行建立。

采用更優秀的Poly建模方法分別建立3D人物的頭部、身體、手臂、腿、手和腳模型[23]；接著使用Attach命令將建立的人體各部分模型進行合并，并且在其連接處使用TargetWeld命令進行焊接，這樣3D人物網格模型制作完成。

將虛擬現實場景和3D人物模型在3Dmax中展開貼圖坐標，根據貼圖坐標在PhotoShop中繪制貼圖；然后在3Dmax中對這些模型設置合理的材質，將繪制的貼圖賦予材質，最終渲染出較逼真的廚房虛擬現實場景和3D人物。

2.3.2 3D人物手部動畫制作

制作人物手部動畫時，首先要為3D人物模型創建骨骼。3Dmax中的Biped組件是一個基本的人類角色裝置，能夠用來建立人物骨骼。利用Biped組件根據3D人物模型的大小來建立合適的人物骨骼，包括頭部、頸椎、手臂、脊椎、腿、手及腳。特別地，每根手指設為3節使得3D人物的手部能夠進行精細運動。

參考2.2中的7種左右手動作，制作左右手動作動畫，制作過程如下。首先為3D人物骨骼制作左手關鍵幀動畫，然后對左手關鍵幀動畫進行復制并粘貼到對側就可得到3D人物右手關鍵幀動畫[24]。按照以上方法制作出7種長度30～80幀不等的左右手帕爾制動畫。

為了使3D人物模型隨骨骼一起運動，利用Physique組件使骨骼成為模型中的骨架。最后在3Dmax中導出虛擬現實場景模型、3D人物模型及其動畫為FBX格式，導入到Unity3D中。

2.3.3 虛擬現實場景布置

對導入Unity3D中的虛擬現實場景模型和3D人物模型利用變換組件進行合理的布置，增加虛擬現實場景的真實感。同時，在該虛擬現實場景中設置3臺相機，分別對3D人物的正面、側面、背面進行拍攝，這樣患者可以按照各自的喜好選擇3D人物正面、側面、背面進行訓練。

2.3.4 動畫控制方式設計

首先在Unity3D中將7種長度30～80幀不等的左右手動作動畫分成5幀每段，使得患者能夠實時控制人物手部運動；接著將分段后的動畫添加到3D人物模型的動畫組件中，使3D人物模型與動畫相關聯；最后調用Animation.Play方法播放動畫。圖4為虛擬現實在線訓練界面，其中，左上為“開始/暫?！钡瓤刂瓢粹o；左中為3D人物正面、側面、背面訓練選擇按鈕；左下為7種訓練動作選擇按鈕。

圖4 虛擬現實在線訓練界面

3 實驗及結果

本文選取5位健康狀況良好、平均年齡24歲的志愿者作為被試，進行離線訓練、在線更新訓練和虛擬現實在線訓練實驗，初步檢驗該手功能康復系統的可行性。所有實驗都采集了與運動想象相關的15個導聯的EEG信號，包括F3、F1、Fz、F2、F4、C5、C3、C1、Cz、C2、C4、C6、P1、Pz、P2，具體的電極分布如圖5。

圖5 15個運動想象相關導聯的電極分布圖

3.1 離線訓練實驗

設置訓練時間為400 s，五位被試者分別進行同2.1的離線訓練。實驗中采集到每位被試者左手與右手運動想象的EEG信號各25組，當計時器時間顯示為零時，訓練結束。信號采集-處理系統利用文獻[25]中的預處理、特征提取、特征識別方法分別對5位被試者的EEG信號分別進行處理(在線更新訓練實驗和虛擬現實在線訓練實驗也采用相同的處理)，得出平均反映正確的比例為72%，建立5位被試者各自的識別模型，提供給實驗(2)。

3.2 在線更新訓練實驗

設置訓練時間為200 s，選擇手指內收外展動作視頻，5位被試者分別進行同2.2的在線更新訓練。當計時器時間顯示為零時，訓練結束。訓練結束后，信號采集-處理系統分別對采集到的五位被試者的EEG信號進行處理，得出平均反映正確的比例為78%，建立各自的識別模型，提供給虛擬現實在線訓練實驗。

3.3 虛擬現實在線訓練實驗

選擇3D人物側面握拳動作訓練場景，設置訓練時間為150 s。在實驗過程中，信號采集處理系統每次處理被試者EEG信號的滑動時間窗口寬度為2 s，并以1 s的步長向前滑動，EEG信號的處理時間為0.2 s，所以實時控制的反應時間為1.2 s，使得被試者能以適當的速度對3D人物進行控制。圖6為EEG信號處理的滑動時間窗口與滑動步長示意圖。當被試者進行右手握拳運動想象時，其EEG信號類別被信號采集-處理系統識別為右，實時發送給虛擬現實在線訓練子系統，控制3D人物進行右手握拳運動。圖7為被試者控制3D人物側面右手握拳場景。當計時器時間顯示為零時，訓練結束。

圖6 EEG信號處理的滑動時間窗口與滑動步長示意圖

圖7 3D人物側面右手握拳場景

在實驗過程中，離線訓練子系統呈現的動作視頻，指導被試者如何進行左右手運動想象，最終5位被試者平均反映正確的比例為72%；在線更新訓練子系統提供動作視頻反饋，使被試者及時調節運動想象方式，5位被試者平均反映正確的比例為78%，較離線訓練提高6%，因此在線更新訓練子系統能夠提供更有效的識別模型；虛擬現實在線訓練子系統建立的較逼真的訓練環境和提供有效的視覺反饋，提高被試者的積極性；TCP/IP通信功能和計時功能正常。實驗表明，該康復系統具有可行性。

4 結論

本文利用Unity3D開發的系統是一個具有多層次訓練方式的較完整規范的手功能康復系統。該系統能夠根據患者的病情選擇不同的手功能康復訓練動作、設置訓練時間、根據患者的喜好選擇3D人物訓練角度，實現個性化訓練。添加的手部動作視頻有利于運動記憶的形成從而促進運動學習。結合虛擬現實技術能夠提高患者訓練的積極性。提供有效的視覺反饋，讓患者不斷調整自身的狀態產生更易識別的EEG信號，促進人類大腦對計算機的適應性。結合MI-BCI技術，不僅節省人力物力、更具安全性，還能使患者主動參與康復訓練并促進其中樞神經的重塑，有望提升手功能康復效果。該系統還具有操作簡單、界面友好等特點，為手功能康復訓練的家庭化奠定基礎。

[1]賈杰.腦卒中后手功能康復現狀[J].老年醫學與保健,2015, 21(3):129-131.

[2]Plantin J,Laurencikas E,Lindberg P,et al.Biomarkers for prediction of hand function after stroke:The ProHand study protocol[J].J Neurologic Sci,2013,333(Suppl 1):555-556.

[3]逄錦熙,倪克鋒.腦卒中后手功能障礙的康復治療進展[J].中國現代醫生,2015,53(13):143-146.

[4]周冰,劉佳,郭玉玲.針刺療法與運動想象聯合治療腦卒中致上肢功能障礙臨床觀察[J].中西醫結合心腦血管病雜志, 2012,10(5):555-556.

[5]吳群英,張萍.冷療技術在腦卒中偏癱患者上肢及手功能訓練中的效果觀察[J].當代護士旬刊,2011(5):20-21.

[6]王國寶,鮑勇,丁旭,等.功能性電刺激對腦卒中肢體運動功能康復的作用及進展[J].中國康復,2012,27(5):372-375.

[7]張文,陸廷仁,王美芬,等.作業治療在腦卒中偏癱患者康復中的療效[J].上海第二醫科大學學報,2004,24(6):472-473.

[8]夏雋暉,夏文廣,鄭嬋娟,等.作業治療對腦卒中后肩手綜合征的療效觀察[J].中國康復,2013,28(6):454-455.

[9]彭憲星,亓云玲,劉芹.運動療法對腦卒中患者肌張力的影響作用[J].中國實用醫刊,2016,43(5):20-21.

[10]蘇志源.中醫治療腦卒中[J].中國中醫藥咨詢,2012,4(1): 243.

[11]Mattia D,Pichiorri F,Molinari M,et al.Brain computer interface for hand motor function restoration and rehabilitation[M]//Allison B.Towards Practical Brain-Computer Interfaces.Berlin:Springer Berlin Heidelberg,2012:131-153.

[12]Zhang H,Liang J,Liu Y,et al.An Iterative Method for Classifying Stroke Subjects'Motor Imagery EEG Data in the BCI-FES Rehabilitation Training System[C].Foundations and Practical Applications of Cognitive Systems and Information Processing,2014:363-373.

[13]劉小燮,畢勝,高小榕,等.基于運動想象的腦機交互康復訓練新技術對大腦可塑性的影響[J].中國康復醫學雜志,2015,28 (2):97-102.

[14]崔堯,叢芳,劉霖.鏡像神經元系統的基本理論及其在運動功能康復中的意義[J].中國康復理論與實踐,2012,18(3): 239-243.

[15]Stefan K.Formation of a motor memory by action observation[J].J Neurosci,2005,25(41):9339-9346.

[16]翟藝,徐秀林.基于虛擬現實技術的上肢康復系統的發展現狀[J].中國康復理論與實踐,2014,20(10):908-910.

[17]朱惠娟.基于Unity3D的虛擬漫游系統[J].計算機系統應用,2012,21(10):36-39.

[18]Yang B,Zhang T,Duan K.Development of a BCI Simulated Application System Based on Unity3D[C].2015 International Conference on Virtual Reality and Visualization(ICVRV). IEEE Computer Society,2015:277-280.

[19]Ron-Angevin R,Díaz-Estrella A.Brain-computer interface: Changes in performance using virtual reality techniques[J]. Neurosci Lett,2009,449(2):123-127.

[20]Tchernichovski O,Wallman J.Neurons of imitation[J].Nature,2008,451(17):249-250.

[21]張凱.沉浸式三維虛擬漫游技術研究[J].長春理工大學學報(自然科學版),2016,39(1):104-106.

[22]劉雁,王建軍.淺談3Dmax在人頭建模中的方法與技巧[J].電子世界,2014(15):106.

[23]向玉玲.3DMax中角色動畫技術[J].計算機光盤軟件與應用,2011(17):139.

[24]唐朝正,丁政,李春燕,等.運動想象結合任務導向訓練對慢性期腦卒中患者上肢功能影響的隨機對照研究[J].中華物理醫學與康復雜志,2014,36(11):495-499.

[25]Yang B,He L.Removal of ocular artifacts from EEG signals using ICA-RLS in BCI[C].IEEE Workshop on Electronics, Computer andApplications,2014:544-547.

Development of Hand Function Rehabilitation System Based on Motor Imagery Brain-computer Interface

ZHANG Tao,YANG Bang-hua,DUAN Kai-wen,TANG Jian-zhen,HAN Xu
Department of Automation,College of Mechatronics Engineering and Automation,Shanghai University,Shanghai 200072,China

YANG Bang-hua.E-mail:yangbanghua@shu.edu.cn

This paper introduced a hand function rehabilitation system based on motor imagery(MI)brain-computer interface for hand function rehabilitation of stroke patients.The rehabilitation system contains three subsystems.Offline training subsystem displays the blank screen,a left or right hand movement video and arrow in turn,which respectively reminders patients to rest and make preparations for MI and instruct them how to do MI,and be doing MI.Finally,the patients'electroephalography(EEG)signals are acquired and processed to generate a recognition model.Model update online training subsystem presents the black screen and a left or right arrow,the meanings of which are the same as those in offline training subsystem.Then the acquired EEG signals are analyzed according to the established recognition model.Next,the analysis result is derived to control the hand movement video to be played.The video can also act as a visual feedback, which makes patients'EEG signals easier to be recognized.The updated and more effective recognition model is built at last.Virtual reality (VR)online training subsystem constructs 3D grid models of VR scene,a 3D man model and its hand animations in the 3Dmax.Then,all of them are imported into Unity3D.The control methods of the animations are also designed in Unity3D.In the end,the patients'EEG signals are analyzed according to the updated recognition model,thus controlling the hand movements of the 3D man in real time.The developed system has many characteristics,such as multilevel training and more immersion,which hopefully promotes the plasticity of central nervous system.The designed system provides new treatments for post-stroke hand function rehabilitation and further lays the foundation for family-mode rehabilitation.

brain-computer interface;motor imagery;stroke;hand function;rehabilitation;virtual reality

10.3969/j.issn.1006-9771.2017.01.002

R496

A

1006-9771(2017)01-0004-06

2016-04-27

2016-06-03)

國家自然科學基金青年基金項目(No.31100709)。

上海大學機電工程與自動化學院自動化系，上海市200072。作者簡介：張桃(1992-)，女，漢族，江蘇江陰市人，碩士研究生，主要研究方向：腦機接口與腦卒中后手功能康復。通訊作者：楊幫華，女，博士，研究員。E-mail:yangbanghua@shu.edu.cn。