基于數據驅動的閉環腦機接口設計

, ,

(1.華東理工大學信息科學與工程學院,上海 200237; 2.西安交通大學電氣與控制工程學院,西安 710049)

基于數據驅動的閉環腦機接口設計

孫京誥1,戚川1,潘紅光2

(1.華東理工大學信息科學與工程學院,上海200237;2.西安交通大學電氣與控制工程學院,西安710049)

基于神經元峰電位的植入式腦機接口開展相關研究,通過搭建大腦皮層仿真模型,并在控制理論分析的基礎上進行自發單關節運動任務。使用自適應維納濾波器完成神經元放電活動的線性解碼器設計。通過分析發現在視覺反饋信息缺失時,解碼器性能嚴重下降。針對此問題,使用基于數據驅動算法的緊格式無模型控制算法產生刺激信號來刺激仿真大腦皮層感覺區神經元,使其跟蹤存在感官反饋時感覺區神經元的放電活動。由于感覺區神經元放電信息的恢復,解碼器在感覺反饋信息缺失時的性能也得到了恢復。最后,通過仿真驗證了基于數據驅動算法的人工感官反饋有效性,并與整定的PID控制算法對比,結果驗證了本文設計的閉環系統的有效性。

大腦皮層仿真模型; 無模型控制; 解碼器; 數據驅動

腦機交互系統主要包括皮層神經元活動測量和外界交互設備,目的是為殘障人士恢復受損的運動機能[1]。閉環腦機接口主要包括皮層神經元活動信息的測量、對任務運動意圖進行提取的解碼器、反饋給大腦的感覺信息編碼器、完成運動任務的肢體。因此,大腦皮層、肢體、編碼器和解碼器共同組成了閉環腦機接口系統[2]。

近年來,基于腦機接口的運動意圖信息提取及人造假肢系統已經被廣泛研究[3-5]。在這些研究中,訓練健康的受試者執行特定的運動任務,例如伸手或者抓取物體的任務[6]。在進行單關節伸展任務中,記錄大腦皮層的放電數據,然后,根據記錄的數據完成解碼器的設計[7]。解碼器從連續記錄的皮層神經元放電活動中提取運動信息,它的性能好壞可以通過將解碼器輸出的信息應用到假肢系統的效果來觀察。假肢的運動誤差是受試者使用視覺反饋信息來修正的,如果缺少受試者的視覺反饋,則不能完成指定運動任務。

最近,在腦機接口設計上結合主動觸覺探索[8]和皮層刺激[9],實現了將控制信息反饋給受試者,形成閉合回路。這些嘗試中,在大腦皮層上的指定區域進行微刺激,把運動任務的相關信息反饋給大腦是一種有效的途徑。雖然這項技術在閉環腦機接口的設計上是有效的,但是,設計反饋大腦皮層的激勵電流的一些實驗或者是錯誤的方法可能會改變大腦的自然功能,甚至會造成大腦不可恢復的損傷。使用基于數據驅動的控制方法來設計反饋激勵電流可以增強閉環腦機接口設計的準確性,另外,由于不依賴于系統模型,該方法在設計輸入激勵電流的閉環腦機接口系統時提供了靈活性。

大多數情況下,控制方法都是圍繞被控對象的具體模型來研究,但是有時由于被控對象的復雜性導致不容易甚至不能建模。而數據驅動算法對具有非線性、強耦合、時變等特性的被控系統具有良好的控制效果[10]。

本文研究的內容為運動型植入式腦機接口,埋植的電極所記錄的信號為神經元峰電位(spike)。將數據驅動算法引入到閉環腦機接口的算法設計中,并通過與其他控制算法比較控制效果證明其可靠性。首先,通過對受試者進行多次重復單關節伸展任務,并使用結果數據集進行解碼器設計;然后,實驗在視覺反饋缺失時解碼器性能好壞,隨后使用基于數據驅動的緊格式無模型控制方法來補償受試者視覺反饋的缺失性能;最后,從實驗結果上說明了在缺少受試者視覺反饋的情況下數據驅動算法可以恢復腦機接口的閉環性能。

1 系統模型

1.1皮層電路模型描述

為了進行自發單關節運動的仿真實驗,Bullock等[11]提出了生理皮層電路模型,如圖1 所示。

圖1 生理皮層電路模型Fig.1 Physiological cortical circuit model

圖1區域5中的DV計算目標位置矢量(TPV)和感知肢體位置矢量(PPV)之間的差。此區域神經元的平均放電活動可以表述如下:

ri(t)=max{Ti-xi(t)+Br,0}

(1)

其中,0≤ri(t)≤1,下標i和j表示主動肌神經元和對抗肌神經元的平均放電活動;Ti為目標位置矢量(TPV)中主動肌的目標位置;xi(t)是區域5中感知位置矢量神經元(PPV)的平均放電活動,此神經元可以實時地計算主動肌的當前位置;Br表示DV神經元的初始放電大小。

連續地計算差矢量信息之后,通過區域4中期望速度向量神經元(DVV)進行縮放,DVV神經元的描述如下:

ui(t)=max{g(t)(ri(t)-rj(t))+Bu,0}

(2)

式中:ui(t)是區域4中DVV神經元的平均放電活動;Bu表示DVV神經元的初始放電大小;g(t)表示內部GO信號,由大腦的決策中心產生,在單關節運動期間具有反曲函數增長趨勢,它的模型表述如下:

(3)

式中:l={1,2};ε是常數,代表結合速率;C是常數,表示GO神經元的飽和度。輸出位置向量神經元(OPV)的平均放電活動表述如下:

uj(t),0})-yi(t)(ηxj(t)+max{uj(t)-ui(t),0})

(4)

其中,η為比例因子。靜態γ神經元和動態γ神經元的平均放電如下:

(5)

式中,ρ為縮放因子。初始肌梭傳入和第二肌梭傳入的平均放電活動可以表示為

(6)

式中:pi(t)表示主動肌的位置;θ表示靜態核袋和鏈纖維的靈敏度;φ表示動態核袋的敏感度;肌梭傳入的飽和度由函數S(ω)=ω/(1+100ω2)給出。區域5中PPV神經元的平均放電活動xi(t)可以表示為

(7)

式中:τ為主軸反饋的延時時間;Θ為常數增益。區域4中的慣性力矢量神經元(IFV)的平均放電活動qi(t)可以表示為

(8)

式中,Λ是一個常數閾值。區域4中靜態力矢量神經元(SFV)的平均放電活動fi(t)可以表示為

(9)

式中:h為常數增益,它控制著外部負載補償的力度和速度;Ψ是用來抑制縮放的參數。在區域4中輸出力和位置矢量神經元(OFPV)的平均放電活動ai(t)可以表示為

ai(t)=yi(t)+qi(t)+fi(t)

(10)

運動神經元α的平均放電活動αi(t)可以表示為

(11)

式中,δ是伸展反射增益。

1.2肢體動態描述

肢體的動態為肢體和肌肉的數學模型,此模型同樣由Bullock等[11]提出,目的是為了實現外界設備與大腦皮層神經的交互,表示大腦運動區對肢體的控制作用的好壞。肢體動態可以描述為

(12)

式中:pi(t)是主動肌的位置,其運動過程為從起始位置到終止位置;pj(t)為對抗肌的位置,其滿足pi(t)+pj(t)=1;I是肢體的轉動慣量;V表示關節的黏度;Ei表示作用在肢體系統上的外部力;M(ci(t)-pi(t))=max{ci(t)-pi(t),0}表示主動肌所受到的力;ci(t)表示為肌肉收縮活動動態,可以表示如下:

(13)

通過運動神經元(式11)來驅動肌肉模型(式13),肌肉模型驅動肢體模型(式12),進行自發的肢體運動。通過對肢體運動的狀態來判斷任務的完成情況,這也是后續進行觀察任務完成實驗時所需要的組成部分。

2 與任務相關數據集的獲取及解碼器設計

2.1Simulink仿真及數據獲取

為了驗證所述機理模型的準確性,并將產生的數據集應用于解碼器的設計,本文使用Matlab軟件,并在Simulink中建立了圖2所示模型,將設計的控制器應用于此模型來驗證控制器的可靠性。

圖2為式(1)～式(13)的Matlab仿真模型,其中ci為式(13)模塊的輸出結果值,pi和dpi為式(12)模塊的輸出,同時也是式(6)的輸入。

2.2數據集的獲取

對上述模型在Matlab中進行迭代仿真,通過完成單關節伸展任務來獲得綜合數據集。在t=0時設置主動肌的目標位置,在t=50 ms時打開皮層網絡中的GO信號,在前50 ms內系統處于啟動狀態。系統的初始條件設置如下:yj(0)=0.5,yi(0)=0.5,xi(0)=0.5,xj(0)=0.5,pi(0)=0.5,pj(0)=0.5,ui(0)=Bu,uj(0)=Bu,rj(0)=Br,ri(0)=Br。其余的初始狀態設置為0。其他的仿真參數引用文獻[11]中的參數:I=200,V=10,ν=0.15,Br=0.01,Bu=0.01,Θ=0.5,φ=1,η=0.7,ρ=0.04,λi=150,Λ=0.001,δ=0.1,C=25,ε=0.05,Ψ=4,h=0.01,Ti=0.7,τ=0。

圖2 Simulink仿真模型Fig.2 simulation model of Simulink

在人機交互實驗中,如果受試者在給定的時間內成功完成指定的運動任務,那么這次任務就可以被認為是成功的。在具體的一次任務中,g0是常數。對于單獨的任務,可設置g0=0.75。

實驗中,完成任務的時間可以是變化的。對于一次任務,輸入的GO信號控制著關節運動的速度,也就是能夠控制完成任務的時間,因此,在每次任務中內部GO信號有一定的波動。為了說明GO信號在任務與任務之間的波動性,定義g0為變量,其服從期望為0.75、方差為0.002 5的高斯隨機分布。進行1 500次同樣的伸展運動任務,而且,在每次任務中設置仿真執行時間為1 s,其中包括主動肌達到目標位置后的保持時間。為了產生綜合數據集,每10 ms測量一次區域4中的DVV、OPV、OFPV模塊的主動神經元和對應的對抗神經元的平均放電活動,同時,測量肢體的主動肌和對抗肌的總力差,如式(14)。

ΔM(k)=M(ci(t),pi(t))-M(cj(t),pj(t))

(14)

式中k=1,2,…,表示離散采樣時間點,對于每次給定的任務,數據在采樣點進行記錄。通過這種方式,可以在1 500次實驗中得到150 000個采樣點數據。使用此數據集進行基于自適應維納濾波的線性解碼器的開發。

2.3解碼器的設計

神經生理學和人機交互實驗研究表明,與運動任務相關的編碼信息和大腦皮層區域4神經元放電的尖峰序列有關。對于一個給定的運動任務,為了獲得和運動相關的皮層放電信息,設計一個解碼器,用來從連續放電尖峰序列中提取信息。很多的線性和非線性解碼器已經被應用于神經元峰電位的研究中,比如基于維納濾波器(WF)、最速卡爾曼濾波(VKF)、人工神經網絡(ANN)和遞歸神經網絡(RNN)[12-13]算法的解碼器。本文使用線性濾波即維納濾波方法,從區域4中的DVV、OPV、OFPV神經元放電活動中提取主動肌和對應的對抗肌的總力差ΔM(k)。

ΔM(k)和平均放電活動之間的關系如下:

(15)

式中:L是延時單元的個數;N表示入口參數個數,本文中N=6;zm(k-l)代表第m個入口參數延時l個采樣點的平均放電活動;wml是所對應的權重;w是一個(L×N)×1的權重向量。

本文中,z1=yi,z2=yj,z3=ui,z4=uj,z5=ai,z6=aj。假設延時單元的數目L=10,因此,w是一個60×1的向量。

采用記錄的綜合數據集中的149 500個采樣點數據來訓練權重向量w,設計的解碼器使用如下的歸一化最小方差算法:

(16)

式中:η∈(0,2);β是一個小正常數;‖·‖表示歐幾里德范數;e(k)是記錄的ΔM(k)與通過式(14)估計值的差。其中式(16)中的參數設置為η=0.01,β=1。訓練后,保存最終的權值,然后,使用剩下的500個采樣值驗證解碼器的性能,結果如圖3所示。其中,虛線表示實際的ΔM(k),實線表示估計的ΔM(k)。

圖3 解碼器性能測試Fig.3 Decoder performance test

2.4開環解碼性能

首先研究在不使用解碼器的系統中存在或缺少感官反饋時系統的性能。在這兩種情形下,仿真等式(1)～式(13),并設定g0=0.75。如果存在感官反饋,其系統初始狀態和參數設置與2.1節中的參數設置相同。如果不存在感官反饋,則令θ=0和ρ=0,其余參數相同。

研究使用解碼器的系統性能時分兩種情況,使用閉環(存在自然本體反饋信息)和開環(缺失自然本體反饋信息)的皮層神經元數據。為此,用設計的解碼器(式14)來更換α運動神經元活動(式11)和收縮活動(式13);然后,仿真式(1)～式(10)、式(12)和式(14)。對于開環皮層神經元數據,令θ=0和ρ=0。圖4示出了解碼器和實際系統在存在感官反饋和不存在感官反饋情形下主動肌的位置軌跡。

在實際系統中,存在視覺反饋和不存在視覺反饋兩種情況下,主動肌到達期望位置是可以實現的,其結果和現有的神經生理學實驗一致[14]。這里的神經生理學實驗是指一只被訓練的沒有視覺反饋的猴子,在存在和缺失本體感受器的情況下達到期望的目標位置實驗[15]。

從圖4可以清楚地看到,使用閉環系統數據來訓練解碼器,然后應用到開環系統中,解碼器的性能大幅下降。在仿真中我們也觀察到,在缺失自然本體反饋信息的情況下,OPV、DVV、OFPV神經元的放電活動有顯著的變化。在視覺反饋信息缺失的情況下,肢體不能實時、準確地到達指定位置,與存在視覺反饋時的肢體位置存在較大偏差,導致反饋到初級感覺區的編碼信息存在偏差。由于設計的解碼器的權重不能適應大偏差,導致在缺失視覺反饋信息時解碼器的性能大幅下降,不能完成指定任務。為了獲得解碼器在缺失自然本體反饋信息的情況下的閉環性能,本文設計了根據皮層神經元的輸入電流刺激和期望的理想刺激來實現控制策略的人工反饋。

圖4 存在和缺失視覺反饋時解碼器的主動肌位置對比Fig.4 Comparison of decoder data in the presence and absence of visual feedback

3 激勵電流設計

3.1概述

為了恢復解碼器的閉環性能,通過設計人工反饋來刺激區域5中PPV神經元的主動部分,使PPV神經元的主動部分的平均放電活動匹配它的自然放電活動。該放電速率軌跡跟蹤問題可以等價于人機交互實驗中通過刺激皮層中的初級軀體感覺區來恢復自然本體感覺信息。

3.2數據驅動算法

對于開環情況下的性能缺失,使用基于數據驅動算法的無模型控制策略來恢復開環腦機接口性能。考慮如下控制輸入準則函數:

(17)

其中λ是一個正的權重系數。此準則函數中,由于λ[u(k)-u(k-1)]2項的引入,使得控制輸入量的變化受到限制。根據文獻[16]提出的對于單輸入單輸出非線性系統的3個假設,基于緊格式動態線性化方法的時變線性化模型為

y(k+1)=y(k)+φ(k)[u(k)-u(k-1)]

(18)

其中:y(k)、u(k)分別表示系統的輸出與輸入;φ(k)為偽偏導數。將式(18)代入準則函數式(17)中,對u(k)求導,并令其等于零,結果如下:

(19)

(20)

偽偏導數的估計準則函數為

J(φ(k))=[y(k+1)-y(k)-φ(k)Δu(k)]2+

μ[φ(k)-φ(k-1))2

(21)

其中:y(k)表示系統的實際輸出;μ為正的權重系數。由式(18)和式(21),根據最優條件可得偽偏導數的估計算法:

(22)

其中:η1為估計器的步長;μ為權重因子。式(21)中μ的作用有2個:

(1) 它限制了Δu(k)的變化,從而限制了非線性系統由動態線性系統線性替代的范圍,因此可以間接地限制偽偏導數值的變化。

(2) 它可以避免式(20)中分母可能為零的奇異情況。文獻[17]中加入收縮約束,使跟蹤誤差逐漸衰減。從控制律算法中可以看出,此類控制律與受控系統的數學模型結構、系統階數無關,僅利用系統I/O數據進行設計。

這里,u(k)是設計的人工感官輸入。在時刻k測量的系統輸出y(k)就是區域5中PPV神經元的平均放電活動。y*(k+1)代表區域5中PPV神經元的期望平均放電活動。為了解決控制問題,首先計算期望平均放電活動,為此,計算式(1)～式(5)、式(6)、式(7)、式(10)、式(12)、式(14)。應該注意的是使用了自然感官反饋到區域5中的PPV神經元來計算期望的軌跡曲線。缺少了自然本體到區域4中的IFV和SFV神經元,即在等式(10)中qi(k)=fi(k)=0。在要解的問題中計算xi(k),為此,使用了系統模型式(1)～式(4)、式(10)、式(12)、式(14)及PPV神經元的放電活動動態:

xi(t)max{Θyi(t)+u(k),0}

(23)

這里u(k)在tms到(t+10) ms采樣點期間是常量。

3.3仿真驗證及結果分析

利用上述基于數據驅動算法的緊格式無模型控制器,設計了人工反饋來刺激PPV神經元,使用PPV神經元的放電速率來模仿期望的PPV神經元放電速率。其中對比實驗為PID算法,其參數整定為通過調試選取最優的控制器參數。

如圖5和圖6所示,控制器在跟蹤期望位置軌跡上執行得很好,而且,通過設計的人工感官反饋來刺激區域5中PPV神經元,恢復了主動肌位置軌跡,因此,在缺少自然本體反饋時通過數據驅動算法產生人工感官反饋來恢復解碼器的閉環性能是有效的。恢復了在這種條件下的解碼器的閉環性能,而且在一定程度上恢復了皮層神經元的自然放電活動。

圖5 PPV神經元放電控制效果Fig.5 PPV neuron discharge control effect

圖6 肢體動態控制效果對比Fig.6 Contrast of dynamic control effect of limbs

4 結 論

本文首先通過對皮層神經元模型進行仿真獲取存在視覺反饋時運動感覺區的放電活動數據集;其次,通過使用存在視覺反饋時的神經元放電數據集進行解碼器的設計,得到了維納濾波器最優權值。然而,在使用此最優權值解碼器進行實驗時,發現其性能顯著下降,于是根據模型的輸入輸出數據設計的人工激勵電流反饋可以解決上述問題。即通過使用基于數據驅動算法的緊格式無模型控制算法來產生人工激勵電流反饋恢復自發單關節伸展運動中的閉環性能。這是首次將數據驅動算法系統性地應用于恢復基于皮層神經元模型的閉環性能。

通過對數據驅動算法和PID控制算法在恢復閉環性能的效果進行對比,可以看出前者的效果好于后者,另外,國內外已經驗證了在跟蹤大腦皮層感覺神經元的自然放電活動時通過使用一個外在的刺激能接近運動任務時的自然性能[18]。這為系統模型未知時,僅根據對象的輸入、輸出數據來恢復閉環性能提供了新的思路。

[1] NICOLELIS M A L,LEBEDEV M A.Principles of neural ensemble physiology underlying the operation of brain-machine interfaces[J].Nature Reviews Neuroscience,2009,10(7):530-540.

[2] PAN H,DING B,ZHONG W,etal.Designing closed-loop brain-machine interfaces with network of spiking neurons using MPC strategy[C]//American Control Conference IEEE.USA:IEEE, 2015:2543-2548.

[3] CUNNINGHAM J P,NUYUJUKIAN P,GILJA V,etal.A closed-loop human simulator for investigating the role of feedback control in brain-machine interfaces[J].Journal of Neurophysiology,2011,105(4):1932-1949.

[4] KOBER S E,WOOD G,KURZMANN J,etal.Near-infrared spectroscopy based neuron feedback training increases specific motor imagery related cortical activation compared to sham feedback[J].Biological Psychology,2014,95(1):21-30.

[5] BIRBAUMER N,COHEN L G.Brain-computer interfaces:Communication and restoration of movement in paralysis[J].Journal of Physiology,2007,579(3):621-636.

[7] KOYAMA S,CHASE S M,WHITFORD A S,etal.Comparison of brain-computer interface decoding algorithms in open-loop and closed-loop control[J].Journal of Computational Neuroscience,2010,29(1):73-87.

[8] ODOHERTY J E,LEBEDEV M A,IFFT P J,etal.Active tactile exploration using a brain-machine-brain interface[J].Nature,2011,479(7372):228-31.

[9] DOUGLAS J W,BRIAN M L,JAMES A H,etal.Limb-state information encoded by peripheral and central somatosensory neurons:Implications for an afferent interface[J].IEEE Transactions on Neural Systems & Rehabilitation Engineering A Publication of the IEEE Engineering in Medicine & Biology Society,2011,19(5):501-513.

[10] 侯忠生,許建新.數據驅動控制理論及方法的回顧和展望[J].自動化學報,2009,35(6):650-667.

[11] BULLOCK D,CISEK P,GROSSBERG S.Cortical networks for control of voluntary arm movements under variable force conditions[J].Cerebral Cortex,1998,8(1):48-62.

[12] KIM S P,SANCHEZ J C,RAO Y N,etal.A comparison of optimal MIMO linear and nonlinear models for brain-machine interfaces[J].Journal of Neural Engineering,2006,3(2):145-61.

[13] SUSSILLO D,NUYUJUKIAN P,JOLINE M F,etal.A recurrent neural network for closed-loop intracortical brain-machine interface decoders[J].Journal of Neural Engineering,2012,9(2):026027.

[14] LI S,ZHUANG C,HAO M,etal.Coordinated alpha and gamma control of muscles and spindles in movement and posture[J].Frontiers in Computational Neuroscience,2015,9:122.

[15] ALEXANDER G E,CRUTCHER M D.Preparation for movement:Neural representations of intended direction in three motor areas of the monkey[J].Journal of Neurophysiology,1990, 64(1):133-150.

[16] JIN S T,HOU Z S,CHI R H,etal.Data-driven model-free adaptive iterative learning control for a class of discrete-time nonlinear systems[J].Control Theory & Applications,2012,29:1001-1009.

[17] LENG Yancun,LI Hongxin,WANG Pu,etal.Model-free adaptive control with contractive constraints for nonlinear systems[C]//International Conference on Intelligent Human-Machine Systems & Cybernetics.USA:IEEE,2014:288-291.

[18] KUMAR G,SCHIEBER M H,THAKOR N V,etal.Designing closed-loop brain-machine interfaces using optimal receding horizon control[C]//American Control Conference.USA:IEEE,2013:5029-5034.

DesignofClosedLoopBrainComputerInterfaceBasedonDataDriven

SUNJing-gao1,QIChuan1,PANHong-guang2

(1.SchoolofInformationScienceandEngineering,EastChinaUniversityofScienceandTechnology,Shanghai200237,China;2.SchoolofElectricalandControlEngineering,Xi’anJiaotongUniversity,Xi’an710049,China)

In this paper,we consider the simulation model of cortical neural network and the analysis of the single joint movement tasks based on the control theory.The linear decoder design of neuron discharge activity is designed using adaptive Wiener filter.The performance of the decoder is severely reduced when the visual feedback information is missing.Hence,this paper further utilizes a data driven tightly formatted model-free control algorithm to generate stimulus signals such that the neurons in the sensory area of the cerebral cortex can be stimulated to track the neuronal firing activity in sensory areas.Due to the recovery of neuron discharge information in the sensory area,the performance of the decoder in the absence of sensory feedback information can be also restored.Finally,the simulation results illustrate the effectiveness of the artificial sensory feedback based on data driven algorithm,which also verify the performance of the closed loop system in this work,compared with PID algorithm.

cerebral cortex simulation model; modeling free control; decoder; data driven

TP273

A

1006-3080(2017)05-0655-07

10.14135/j.cnki.1006-3080.2017.05.009

2016-11-15

國家自然科學基金青年基金(61603295)

孫京誥(1971-),男,山東人,副研究員,研究方向為過程控制、先進控制算法及應用。E-mail:sunjinggao@126.com

戚 川,E-mail:13816389335@163.com