一種腦肢融合的神經康復訓練在線評價與調整方法

舒智林 李思宜 2 于寧波 朱志中 巫嘉陵 韓建達

“腦卒中”又稱 “中風”,是腦部血管破裂或因血管阻塞導致血液不能流入大腦而引起腦組織損傷的疾病,發病率高、復發率高、死亡率高、致殘率高.我國腦卒中患者數量眾多,而且近年來隨著人口老齡化在快速增加.2011 年 《中國腦卒中康復治療指南》 估計我國每年新發腦卒中200 萬例[1],2017 年北京天壇醫院的流行病學調查估計我國每年新發病例達240 萬,是致殘的首要疾病之一[2].由于康復資源受限、后期康復不力等原因,我國的腦卒中致殘比例遠高于發達國家,60%～70%的患者會產生運動功能障礙,帶來沉重的家庭、社會和經濟負擔[1?2].基于神經系統可塑性,康復訓練可以幫助病人部分甚至全部恢復曾經喪失的功能,這已經被循證醫學和神經科學研究所證實[3?5].機器人技術進入康復領域,通過末端牽引式、外骨骼式等本體系統,示教式和 “按需輔助”等康復方法,為患者提供高強度、可重復、可量化的康復訓練,已經成為神經康復的重要力量[4,6?7].

在腦卒中患者康復訓練中,保持患者積極主動參與、提供適配其運動能力的訓練難度,對于取得良好的康復效果至關重要.但是,病人的神經康復過程具有動態性的特點,即使在同一階段其運動控制能力也會出現波動.而且,康復訓練過程一般較長,患者容易懈怠甚至出現惰性效應,這已經成為抑制臨床康復效果的瓶頸因素[8?10].特別是康復機器人依照 “按需輔助”適應性算法為患者提供幫助的情況,雖然可以幫助患者完成更多的重復性訓練,但患者的主動參與程度卻可能會降低,因為 “按需輔助”適應性算法無法準確區分患者究竟是運動能力較弱還是主動參與程度降低[11?13].因此,如何檢測并量化患者的狀態和表現、確定其實際的輔助康復需求,進而實現對訓練任務的在線調整,就成為當前神經康復的一個關鍵問題[13?14].

在當前的研究中已經有國內外學者針對這一問題進行了探索.瑞士蘇黎世聯邦理工學院Metzger 等設計了基于任務完成情況對訓練任務難度進行調整的方案,可以使患者的訓練表現維持在一定區間[15].美國南加州大學Choi 等在6 種抓取任務的基礎上,根據受試者完成前一個任務的表現來調整當前任務難度,并針對5 位中輕度腦卒中患者開展了可行性實驗[16].清華大學和荷蘭代爾夫特大學Li等設計了一個對運動控制、感知、認知和情緒等方面主動參與水平進行監測的系統[17].中科院自動化研究所Wang 等通過面部表情和肌肉疲勞度來檢測心理和生理狀態并對訓練任務進行調整[18].南京郵電大學Xu 等基于面部肌電、心電、皮膚電傳導和呼吸等情緒生理響應,設計分類器,對受試者執行任務時的情緒進行識別,并根據其焦慮程度對任務難度進行調節[19].但是,在目前研究中的康復訓練任務尚沒有將受試者的腦激活情況與肢體運動情況進行綜合考慮,沒有建立系統的在線調整策略.

上肢遠端腕手的靈巧操作需要神經系統的精細運動控制能力和感知運動協調能力,這是康復訓練的重點和難點[15].在執行運動控制任務時,視覺和觸覺等信息通過神經通路傳遞到大腦.中樞神經系統將信息進行綜合、處理并發送運動控制命令,從而以最小的誤差、最優的努力,高質量完成任務.腦電(Electroencephalography,EEG)檢測以時間分辨率高和采集設備便攜易用等優點,已經被廣泛應用于神經系統活動的分析,可以通過EEG 信號來分析人在任務執行過程中的大腦活動,獲得其神經參與程度[20?22].另一方面,歸一化急動度和任務評分的指標能夠客觀評價患者在康復訓練中的肢體運動控制能力和任務完成情況.

在本文工作中,我們設計上肢靈巧操作任務.從神經參與程度、運動控制能力和任務完成情況三個方面對受試者的狀態和表現進行在線量化評價,進而基于評價結果,在任務級和任務內兩個層次對任務操作難度、輔助或干擾力場以及視覺輔助等參數進行在線調整,從而為提升神經康復訓練效果提供了一種腦肢融合的解決方案.

1 系統與任務設計

1.1 系統總體設計

本文所設計系統的整體示意圖如圖1 所示.在實驗過程中,力觸覺設備Omega.7 提供的力觸覺反饋信息和計算機提供的視覺反饋信息通過人體感知系統傳遞到受試者的腦部中樞神經,處理分析后得出運動控制命令,然后發送給上肢進行操作.通過與Omega.7 抓手的力與位置交互,受試者可以進行靈巧操作.運動控制的數據通過Omega.7 傳遞給計算機,控制虛擬環境中目標物體的運動.同時,在整個任務中使用Biosemi ActiveTwo 采集受試者的腦電信號,并將數據傳遞給計算機實時處理與分析.由此,可以實現受試者的手功能訓練,并同時測量任務執行過程中受試者的腦電信號以及手部的運動信息.

圖1 系統整體設計示意圖Fig.1 Illustration of the overall system design

力觸覺設備Omega.7 有包含抓取在內的7個自由度,其中包含抓取和平移的4個自由度能夠提供力反饋[23].Biosemi ActiveTwo 為荷蘭Biosemi公司生產的腦電測量設備,其包含32個通道,采樣頻率為256 Hz.

大腦皮層的空間位置和相應的主要功能如表1所示.本文工作中,主要關注認知和自主運動控制功能,因此主要關注額葉的EEG 信號,采用AF3、AF4、F3、F4、F7、F8、FC5 和FC6 這8個通道的EEG 信號.

表1 大腦皮層位置分區及功能表格[24]Table 1 The regions and functions of the cerebral cortex[24]

1.2 康復訓練任務設計

基于日常生活中常見的擠番茄醬動作,設計了包含輔助視窗的操作任務虛擬場景,如圖2 所示.這一任務和場景,與生活中的很多動作有共性,可以方便的應用和推廣.

圖2 操作任務虛擬場景和輔助視窗Fig.2 The manipulation task scenario with visual assistance

輔助視窗可以放大虛擬場景中的局部場景,使受試者可以更清晰地觀察番茄醬瓶的位置和狀態.在任務中,受試者需要操縱Omega.7 抓手以控制虛擬場景中的手部模型和番茄醬瓶.當番茄醬瓶口從起始位置沿著設定的虛擬軌跡移動至終點位置時,即算完成一次任務.虛擬軌跡由一定數量的白色小球組成,若番茄醬瓶瓶口與球中心點的偏差在指定范圍內,則認為在該小球處番茄醬順利滴下,小球顏色由白變紅.反之,小球變為黑色,表示此處任務沒有成功.

1.3 任務難度設置

任務難度從以下三個方面進行設置.

1)輔助力/干擾力場.在受試者執行操作任務的過程中,系統可以通過Omega.7 具備的力反饋功能給受試者施加輔助或干擾力.輔助力由兩部分組成:

其中,Fa1表示沿軌跡切線向前的力,Fa2表示垂直于切線、指向球心的力.兩者的大小通過式(2)表示:

其中,k1和k2為給定常數,d1和d2分別表示番茄醬瓶口位置與軌跡上目標位置(球心)在切線方向上和沿切線垂直方向上的距離.

本文中干擾力場的設計是路徑控制的一種形式.路徑控制策略根據受試者的運動情況給予受試者相應的輔助或干擾力,而力場就是這一策略的一種具體形式[25].本文中的干擾力場為球形力場.當番茄醬瓶經過軌跡上的球形力場區域時,受到指向力場球心的干擾力,其大小定義為:

其中,Fd表示干擾力,Fmax表示施加干擾力的最大值,R表示干擾力場的半徑,d表示番茄瓶口與干擾力場球心的實際距離.

按照有無輔助力和干擾力將難度由易到難分為3個等級,如表2 所示.

表2 輔助/干擾力等級設置Table 2 Assistance/disturbance force level settings

2)視覺輔助.基于視覺提供誤差反饋是一種常見的調節任務難度的手段[26?27].在本文中,按照是否在輔助視窗處提供番茄醬瓶口附近的局部放大場景,將難度由易到難分為2個等級,如表3 所示.

表3 視覺輔助等級設置Table 3 Visual assistance level settings

3)虛擬軌跡.為了保證虛擬軌跡的平滑度,采用二重埃米爾特插值的方式構建虛擬軌跡.軌跡的長度均相等,按照虛擬軌跡的復雜程度進行難度分級,復雜程度通過虛擬軌跡在切線上的角度變化來體現.其中等級1、2、3 用于訓練任務,等級X用于實驗前后對受試者的測評,如表4 所示.

表4 虛擬軌跡等級設置Table 4 Virtual track level setting

輔助/干擾力場被設計集成在虛擬場景中.力場一直都存在、分布在任務空間中.通過對力場參數的在線調節,可以使力場表現為輔助力、干擾力或零力.這可以通過調用CHAI3D 軟件庫,協調虛擬場景和Omega.7 力反饋設備,在任務中具體實現[23].Omega.7 設備的力反饋性能保證了人機交互的流暢性.

2 腦肢融合的在線評價方法

2.1 神經參與程度指標

人的腦波主要分為4 種,研究表明其與人的狀態強烈相關,如表5 所示[28?29].

表5 腦波頻段對應的人體狀態[28?29]Table 5 Brainwave bands and corresponding human states[28?29]

任務中的神經參與程度可以用式(4)估計:

其中,Eα、Eβ和Eθ分別代表對應頻段的能量;E表示用于估計參與程度的指標,這一指標被廣泛應用于不同任務中對受試者神經參與程度的估計[30?32].

本文中利用測得的腦電信號,經過處理計算后可以得到參與程度指標,如圖3 所示.首先對腦電信號進行預處理.使用1～80 Hz 帶通濾波器濾除環境噪聲,使用陷波濾波器去除工頻噪聲.然后用快速傅里葉變換(Fast Fourier transform,FFT),將經過預處理得到的時域EEG 信號轉化到頻域.快速傅里葉變換的時間窗為2 秒,時間步長為0.5 秒.進而將頻段中各點的能量相加得到頻段能量,計算方法如式(5):

圖3 參與度指標計算流程Fig.3 The calculation process of the engagement index

其中,Ep為p頻段的頻段能量,F(ω) 為時域腦電信號f(t) 的快速傅里葉變換,pl和ph分別為該頻段的最低頻率和最高頻率.計算各頻段能量后,通過式(4)計算得到參與程度.由于不同受試者參與度水平不同,對各受試者將E進行歸一化處理.公式如式(6):

其中,Enormalized表示歸一化后的參與度指標,Emax和Emin分別表示E的最大值和最小值.

腦電信號容易受到眼電、肌電等偽跡的干擾.常見的去偽跡方法難以滿足本研究中在線測評的實時性要求,而且已經有研究在未特別針對眼電和肌電偽跡進行處理的情況下實現了對神經參與程度的有效測評[30,33].因此,本文工作中沒有特別進行去偽跡處理,而是明確告知受試者在任務過程中不要眨眼.根據觀察,每次任務的時間為20～60 秒,受試者在完成任務的過程中注意力比較集中、眨眼次數很少,可以認為眼電干擾影響很小.而且,采用1～80 Hz 的帶通濾波也能減小肌電等偽跡的干擾.

2.2 運動控制能力和任務完成表現指標

對于受試者的運動控制能力評價,采用歸一化急動度指標.對于任務完成表現,采用任務評分.

1)歸一化急動度(Jnormalized)由式(7)定義[34?36]:

其中,j、t與l分別表示急動度、運動時長與運動路徑長度.Jnormalized越小,表征上肢遠端運動軌跡的平滑度越高,存在較少的速度突變.

2)任務分數(Tscore)由式(8)定義:

其中,Nsuccess為一次訓練任務中番茄醬瓶準確穿過的小球數,Dability表示實驗前能力測評任務的完成時間,Dtrial表示每一次訓練任務的完成時間.Dability/Dtrial表示歸一化處理,可以防止由于受試者不同所帶來的偏差.每次訓練任務均會產生一個任務分數.

3 訓練任務的多層次在線調整策略

3.1 任務調整總體框架

為保持受試者的狀態和表現在合適范圍內,本文基于神經參與程度、運動控制能力和任務完成情況三方面評價,設計訓練任務的在線調整策略.總體流程如圖4 所示,其中ER、NR和SR分別為神經參與程度、運動控制能力和任務完成情況的閾值.

圖4 康復訓練在線評價與調整流程圖Fig.4 The flowchart for online assessment and adjustment of the rehabilitation training

在確定在線或實時調整的參數時,既要考慮這些參數是否能夠被實時調整,還要考慮需要讓受試者對任務有明確的預期和判斷.因此,軌跡等級、位置精度要求在同一個任務內是確定的,可在當前任務結束之后、下一個任務開始之前對其進行調整.輔助/干擾力、視覺輔助可以進行瞬時調整,因此劃分到任務內調整.

在實驗前測評任務階段,根據受試者的表現確定初始的位置精度要求(Aoffset).進入訓練任務階段,根據受試者狀態和表現對任務參數進行在線調整,調整策略由任務級調整策略和任務內調整策略兩部分組成.其中,任務級調整策略通過對受試者任務完成情況的評價,調整虛擬軌跡等級(Lcurve)和對位置精度的要求;任務內調整策略通過對受試者神經參與程度和運動控制能力的評價,調整輔助/干擾力等級(Lforce)和視覺輔助等級(Lvision).

3.2 任務級調整策略

具體的任務級調整策略流程如圖5 所示,對于第一個訓練任務,所有任務等級均設置為1.當受試者完成一個訓練任務后,若其任務分數Tscore在設置范圍內,則不調整任務參數.若Tscore不在設置范圍內,查看當前Lcurve是否存在可調整空間.若存在,則按照期望規則進行調整.

圖5 任務級調整策略Fig.5 Inter-task adjustment strategy

1) 當分數大于SRmax且Lcurve等級不為3 時,提高Lcurve一個等級;

2) 當分數小于SRmin且Lcurve等級不為1 時,降低Lcurve一個等級.

若Lcurve不存在調整空間,則判斷前一次任務的虛擬軌跡等級(Lcurve(last))和此次任務的Lcurve是否相等.若兩者不相等,則不調整Aoffset.若兩者相等,則按照如下規則對Aoffset進行調整:

1)Lcurve為1 時,則Aoffset=Aoffset+delt;

2)Lcurve為3 時,則Aoffset=Aoffset?delt.其中,delt取值由開環任務確定.

3.3 任務內調整策略

任務內的調整策略流程如圖6 所示.將每個任務分成若干個5 秒的任務階段,以任務階段為單位對輔助/干擾力等級和視覺輔助等級進行動態調整,即以本階段受試者的神經參與程度和運動控制能力調整下一階段的任務參數.其中,神經參與程度指標的分辨率為0.5 秒,階段的取值為多個小段的平均值,而運動控制能力指標會在階段結束后進行計算.任務等級通過開環任務確定,具體分級如圖6 所示.

圖6 任務內調整策略和任務等級設置Fig.6 Intra-task adjustment strategy and task level setting

若神經參與程度和運動控制能力均在設置范圍內,則不調整任務分級.當出現兩個指標中存在一個指標不在期望范圍的情況時,若Enormalized大于期望范圍或者Jnormalized小于期望范圍,則向上調整一個等級;反之則向下調整一個等級.當兩者均不在設置范圍內時,若兩者在同側,則不調整任務等級;當兩者在不同側時,若Enormalized大于期望范圍且Jnormalized小于期望范圍,則向上調整兩個等級,反之則向下調整兩個等級.

4 實驗結果與分析

4.1 實驗對象和流程

本文實驗有兩類.第一類為參數確定的 “開環”實驗,操作任務的參數確定、任務序列以偽隨機方式生成.第二類為基于在線測評和參數自適應動態調整的 “閉環”實驗,操作任務的參數根據在線測評結果進行動態調整.

16 名健康受試者參與實驗,均為右利手,且均無已知神經和物理損傷.在參與實驗前均簽訂知情同意書.其中8 人參加開環實驗,8 人參加閉環實驗.兩組實驗的參與人員完全沒有重合,并且受試者在實驗前只會被告知實驗的操作流程和注意事項,不會被告知實驗目的,以避免主觀因素的影響.而且,明確告知受試者在任務過程中不要眨眼.

實驗流程包括前后兩次實驗測評和20 次操作任務,如圖7 所示.受試者首先進行實驗前測評.這類任務對位置偏差不作要求,其參數為:輔助/干擾力等級為2,視覺輔助等級為1,虛擬軌跡等級為X.在5 秒后開始進行訓練任務,訓練任務中對于位置偏差的要求根據實驗前測評結果來確定,每個訓練任務間的間隔也為5 秒.最后在受試者充分休息后,進行實驗后測評,其任務參數設置與實驗前測評相同.

圖7 實驗流程.開環實驗中,操作任務參數確定、任務序列以偽隨機方式生成;閉環實驗中,操作任務的設置根據在線測評結果動態調整Fig.7 The experimental procedures.The task configuration was fixed and the task sequence was pseudo-randomly produced in open-loop experiments,while adapted online based on assessment results in closed-loop experiments

4.2 參數確定的 “開環”實驗和結果

由于任務完成情況受到任務參數的影響,因此可以采用多元回歸分析擬合兩者間的線性關系[37].進行線性擬合的原因主要是為了確定視覺輔助等級和輔助/干擾力等級對于任務分數的影響大小,進而確定任務內調整策略中任務等級的設置.根據不同任務等級下的開環實驗結果,可以擬合受試者任務完成情況與任務參數間的關系:

將開環任務參數和對應的完成情況代入,利用最小二乘法進行求解,可得到如下表達式:

系數m1、m2和m3的符號表明,任務軌跡、視覺輔助和輔助/干擾力的難度越高,任務得分越低.三個系數的大小說明,視覺輔助等級對于任務分數的影響最大,輔助/干擾力等級次之.因此在任務內等級設置中,將視覺輔助等級作為難度更高的等級.

根據開環任務中的任務分數情況,設定分數段S 為Tscore<40,分數段M 為 4 0≤Tscore<100,分數段L 為Tscore≥100.三個分數段下受試者神經參與程度和運動控制能力指標如圖8 所示.可以看出,任務表現分數Tscore越高的情況下,受試者神經參與程度Enormalized越高,歸一化急動度Jnormalized越小,亦即運動越平滑、運動控制能力越好.將神經參與程度和歸一化急動度指標在S 分數段和L 分數段的均值,作為閉環調整策略中的神經參與程度和運動控制能力的期望閾值ER和NR,上下閾值之間的區間即為期望區間.對于神經參與程度,其期望區間為 ?0.0069 至0.0367.當受試者的神經參與程度值低于下限時,說明受試者的主動性下降;當值高于上限時,則說明受試者的主動性提高.而對于歸一化急動度,其期望區間為 ?2 054 至5 409.當歸一化急動度值低于下限時,說明受試者運動質量提高;當值高于上限時,說明受試者運動質量下降.而任務分數閾值SR的區間為分數段M 的區間,即上下閾值分別為100 和40.

圖8 參數確定的 “開環”實驗結果((a) 神經參與程度;(b) 歸一化急動度)Fig.8 Results of the open-loop experiment with fixed task configuration ((a) neural engagement;(b) normalized jerk)

4.3 基于在線測評和參數自適應動態調整的 “閉環”實驗和結果

首先從虛擬軌跡等級的角度說明訓練任務的完成情況.圖9 為閉環實驗中一位受試者的虛擬軌跡等級的變化情況.當受試者完成一次訓練任務后,下一次任務的虛擬軌跡等級由該次任務分數按照任務級調整策略確定.圖10 為受試者一次訓練任務內的任務參數變化情況.根據神經參與程度和歸一化急動度指標,每5 秒一次按照任務內調整策略對接下來時間段的任務參數進行調整.

圖9 閉環實驗訓練任務中虛擬軌跡等級變化Fig.9 Changes of virtual track levels in training trials of closed-loop experiments

圖10 單次訓練任務的完成情況Fig.10 Completion of a single trial

對比分析開環和閉環實驗中的神經參與程度,結果如圖11(a).對歸一化后的神經參與程度指標進行減基線處理,將受試者在訓練任務中的神經參與程度減去實驗前測定任務中的神經參與程度,獲得指標的相對變化.采用t 檢驗進行統計學分析,閉環實驗中受試者的神經參與程度相較于開環實驗顯著增高(p<0.05).

對比分析開環和閉環實驗中的歸一化急動度,以反映受試者的運動控制能力.圖11(b)為開環和閉環實驗中前后測評任務中的歸一化急動度對比.可以看出,開環實驗前、后的測評任務中,運動控制能力并沒有顯著區別(p=0.742).而在閉環實驗前、后的測評任務中,歸一化急動度在訓練后顯著下降(p<0.05),表明閉環實驗有效提高了運動控制能力.

開環和閉環的任務完成情況指標對比分析如圖11(c)所示,任務分數沒有表現出顯著區別(p=0.363).這表明,本文的在線調整策略能有效地使任務難度適配患者的能力,使任務難度一直保持適當的挑戰性,因此使得開閉環的任務分數差異并不明顯.

圖11 開環和閉環實驗指標對比((a)神經參與程度;(b)歸一化急動度;(c)任務分數)Fig.11 Comparison of indexes in the open-loop and closed-loop experiments ((a) neural engagement;(b) normalized jerk;(c) task scores)

4.4 結果分析與討論

康復訓練需要使任務難度適配患者運動能力、讓患者主動參與.本文工作基于 “按需輔助”原則,對受試者在執行訓練任務時的狀態和表現從神經參與程度、運動控制能力、任務完成情況三個層面進行在線評價,進而對訓練任務的操作難度、輔助或干擾力場以及視覺輔助三個方面進行任務內和任務間的自適應調整.結果表明,本文的在線評價和任務調整方法使得任務難度適配受試者的運動能力,受試者更加積極主動參與,并取得了更好的任務效果.

開環實驗的主要目的在于確定任務完成評分與各任務參數之間的關系以及閉環實驗中閾值等實驗參數.從式(10)可以看出,視覺輔助等級對于任務分數有顯著影響,因此在圖6 的等級設計中將視覺輔助等級作為一個可調整參數.從神經參與程度、運動控制能力和任務完成情況指標的交叉分析中可以看出,受試者的參與程度越高,運動控制能力越強,任務分數也越高.

對于任務難度的調整,可以在任務級進行,在受試者完成一次任務后調整后續任務的難度;也可以在任務內進行,在受試者完成任務過程中對任務難度進行調整.本文結合這兩種調整方式,從兩個層次對任務難度進行調整.從開閉環的實驗結果對比中可以看出,在存在調整策略的情況下,受試者的神經參與程度相較于隨機任務難度的情況出現了顯著上升.這說明,調整策略通過自適應地調節任務難度,在保證任務具有挑戰性的基礎上,有效調動了受試者的主動性,使得受試者更加專注于康復訓練.通過實驗前后測評任務的對比可以看出,開環實驗中的歸一化急動度前后并未發生顯著變化,而這一指標在閉環實驗中出現了顯著的下降,表明受試者的運動控制能力得到了提高,從而進一步證明了在線調整策略的有效性.

本文中的康復訓練系統將受試者的狀態和表現作為調整的一部分,與 “人在環中”的思想一致[38].閉環實驗結果也表明了本文設計的在線調整方式的有效性.

5 結論與展望

本文針對患者在長期康復訓練過程中易懈怠、運動能力會發生動態變化等挑戰,基于腦卒中致殘機理和 “按需輔助”康復原理,系統地提出了一種腦肢融合的神經康復訓練在線評價與調整方法.從腦、肢體以及訓練任務三個層面對患者的狀態和能力進行量化評價,進而對康復訓練進行任務內和任務間的動態調整.通過設計的手功能訓練任務,開展開環和閉環實驗,結果充分證明了本文方法的可行性和有效性.

在未來工作中,我們將進一步考慮更多能夠充分衡量運動質量的指標,如速度與曲率的比值[39],探討和融入運動中樞等神經康復相關腦電通道信號以充分考慮大腦的功能和狀態[40],深入探究神經參與度等腦功能指標閾值的個性化設定方式,構建面向患者的神經康復在線閉環調整策略,并開展臨床試驗.