基于視覺刺激的運動想象實時系統設計

趙 麗，王宣方

（天津職業技術師范大學天津市信息傳感與智能控制重點實驗室，天津 300222）

基于視覺刺激的運動想象實時系統設計

趙 麗，王宣方

（天津職業技術師范大學天津市信息傳感與智能控制重點實驗室，天津 300222）

以Matlab軟件為平臺，搭建了一種基于視覺刺激的實時腦機接口系統，選用共空間模式和支持向量機做實時信號處理，對5名被試各進行3次實驗。實驗結果表明：實時系統的最高正確率為90%，平均正確率為83%；采用的特征提取和模式識別算法具有較高的實時識別正確率和識別速度，設計的系統具有較高的可行性。

視覺刺激；運動想象；實時系統

隨著人們對大腦研究的不斷深入，針對大腦的思維起源、認知能力、功能定位等方面，研究人員均進行不同程度的研究，并開始廣泛關注基于視覺和運動等事件相關電位的研究[1]。腦機接口（brain-computer interface，BCI）是直接通過計算機或其他外設實現人腦與外界交流和控制的通道[2]。在殘障患者的康復訓練中，事件相關電位的腦-機接口技術已被廣泛應用[3]，成為當前研究的熱點問題。研究如何有效訓練、如何能更有效地激活大腦功能區，對運動想象腦機接口的應用具有重要意義。

運動觀察（movement observation，MO）被定義為對運動行為的觀察與感知[4]。相對于運動想象，它還需要觀察者對自身運動技能進行換位感知[5]。而運動想象（motor imagery，MI）則是不依賴真實的肌肉活動的運動行為在心理上的復現[6]。功能成像的研究結果表明，自身運動、想象運動和觀察運動之間存在著功能性關聯，想象運動和觀察運動均能激活參與自身運動相應的腦區[7]。二者的有機協調對于運動想象腦機接口技術的研究具有重要意義。本文在Matlab平臺上搭建了一種基于視覺刺激的實時腦機接口系統，選用共空間模式和支持向量機做實時信號處理，5名被試各進行3次實驗驗證。實驗結果表明：實時系統的最高正確率為90%，平均正確率為83%。本文采用的特征提取和模式識別算法具有較高的實時識別正確率和識別速度，設計的基于視覺刺激的運動想象實時系統具有較高的可行性。

1 系統基本構成設計

本文建立的基于視覺刺激的運動想象實時系統由刺激采集系統和計算機軟件系統2部分組成，其結構如圖1所示。

圖1 系統總體框架

采集系統是整個實時在線BCI的基礎。實驗均在隔音效果良好的房間內進行，實驗設備為Neuroscan公司生產的64導腦電采集系統。通過研究發現，C3通道的信號與FC5、FC3、C5、CP3和CP5相關性較強，C4通道的信號與FC8、FC6、C6及CP4和CP6相關性較強。因此，選用其中41導聯用于信號處理，導聯電極帽電極分布圖如圖2所示。參考電極設在Cz與Cpz之間，選取全頭平均作為參考，采樣率設置為1 000 Hz，帶通濾波器的濾波通帶為0.5～200 Hz；同時采用陷波器濾除50 Hz工頻干擾。該系統使用的是Neuroscan公司研制的新型電生理放大器SynAmps2，數據通過USB 2.0接口傳送到Scan計算機，Scan軟件為Neuroscan系統的核心軟件，兩者結合可采集到最高質量的數據。采集時，被試根據界面上的提示完成想象相應運動的任務。

圖2 導聯電極帽電極分布圖

計算機軟件系統是整個實時系統的主體，主要負責與用戶交互的提示界面部分、實驗流程控制部分、實時特征提取與模式識別部分以及反饋顯示部分。

軟件操作界面負責所有的人機交互操作，設置2個部分：訓練部分和有反饋實時工作部分。

2 特征提取

本文選用在以運動想像為基礎的腦機接口系統中使用比較廣泛的共同空間模式（CSP）方法進行特征提取。這是一種基于多通道的空間濾波方法。基于2個協方差矩陣的同時對角化設計最優空間濾波器，從而分辨左手想象運動和右手想象運動的腦電特征。

將每次任務的腦電數據存儲為一個N×T維的矩陣X。其中，N為腦電信號測量時的通道數，T為每個通道的采樣點數，則腦電數據的歸一化協方差矩陣可以表示為：

分別使用Cl和Cr代表想象左和想象右2種情況下的空間協方差矩陣，tr（*）表示矩陣的跡。對合成的空間協方差矩陣進行分解，得到特征值對角矩陣為Σ，對應的特征向量矩陣為U0。

按照降序排列特征值，則對應的特征向量也會重新排列。通過主成分分析，求出白化矩陣為：

因此，協方差矩陣Cl與Cr可以變換為：

進行主成分分解，得到λl+λr=I，取其中最大的m個特征值對應的特征向量組成投影矩陣：

取λl和λr中最大的m個特征值對應的特征向量組成投影矩陣B=（Bl′Br′），投影矩陣W=BTP，則單次任務實驗的腦電數據X可以變換為Z=WX。將投影后的信號ZP做如下變化可得到所需的特征值為：

3 模式識別

本文模式識別部分采用基于統計學習理論的機器學習方法：支持向量機（support vector machines，SVM）。SVM通過非線性映射將輸入向量映射到一個高維的特征空間，最終使腦電數據被一個超平面分割，獲得可以使分類間隔最大的最優分類面。SVM在解決小樣本、非線性及高維問題時具有較好的分類能力和較高的計算效率。

在構造最優分類面的問題上可通過解決一個凸二次規劃問題來實現，即在約束條件式（7）下使函數式（8）取得最小值。

式中：x為輸入向量；y為x對應的所屬類別；ω為分類面的權系數向量；b為分類閾值；C為懲罰因子；ζi是松弛因子。

對于線性不可分的情況，可以引入松弛變量和懲罰因子，在一定程度上近似為線性可分；也可以使用核函數將低維映射為高維空間。本文采用訓練階段的數據做訓練樣本，通過CSP算法得到的空間濾波器，得到最優的特征組合，作為SVM分類器的模型參數。使用Matlab中libsvm工具箱的svmtrain對訓練樣本進行訓練，獲得SVM模型，再根據訓練獲得的模型通過svmpredict對數據集合進行預測。

4 實驗驗證

本實驗采集了5名被試的腦電信號，包含1名男生和4名女生。被試均為健康的本校學生，年齡在20～25歲之間，每個被試各進行3次實驗驗證。

實驗時，被試安靜地正坐于距屏幕約1 m的靠椅上，保持放松，想象時盡量避免眼動，休息時可以眨眼。實驗中要保持實驗環境的相對安靜，排除外界因素的干擾。刺激計算機與采集計算機通過網線鏈接，2臺計算機分別設置端口號和IP地址。實驗人員向被試講述實驗流程（分為訓練部分和有反饋實時工作部分）及注意事項。訓練部分任務模式示意圖如圖3所示。

圖3 訓練部分任務模式示意圖

0～2 s屏幕出現紅色“Prepare”提示實驗開始；2～8 s屏幕交替出現左手或右手的手部抓握運動視頻，被試觀看視頻想象自己手部的相應運動；8～10 s屏幕出現綠色“Please take a break”提示被試休息，幫助被試將想象狀態恢復到最佳水平。有反饋實時工作部分任務模式示意圖如圖4所示。0～2 s屏幕出現紅色“Prepare”提示實驗開始；2～8 s屏幕出現2個籃筐和1個籃球，隨機在左右籃筐上方出現相應手部抓握運動視頻，被試觀看視頻想象自己手部的相應運動，完成投籃任務；8～10 s屏幕出現任務結果并判斷是否正確，同時被試休息。

圖4 有反饋實時工作部分任務模式示意圖

每名被試進行3次實驗，每次實驗訓練部分進行20組，有反饋實時工作部分進行20組，分別記錄3次實驗中有反饋實時工作部分的正確次數，并計算最高正確率和平均正確率。實驗結果如表1所示。

表1 實時系統實驗結果匯總

由表1可以看出，基于視覺刺激的運動想象實時系統的最高正確率為90%，平均正確率為83%，所有被試都能順利完成實驗。但對于不同的被試，實驗結果存在個體差異性。每次實驗后，同被試進行實驗總結和經驗交流，再次實驗的效果普遍好于上一次。因此，基于視覺刺激的運動想象實時系統對基于運動想象的康復訓練的發展具有一定的現實意義。本文研究結果中的分類正確率處于較為理想的水平，證明所采用的特征提取和模式識別算法具有較高的實時識別正確率和識別速度，設計的基于視覺刺激的運動想象實時系統具有較高的可行性。每名被試第3次實驗左右手正確率對比如圖5所示。

圖5 每名被試第3次實驗左右手正確率對比

從圖5可以看出，除被試S4以外，其他被試想象右手的正確率均高于想象左手的正確率，被試S1想象右手動作的正確率高達100%；想象左手的平均正確率為77%，想象右手的平均正確率為89%。由此可見，左手想象運動的成功率和產生有效信號的能力均比右手略差一些，這可能與被試均為右利手有關。

5 結束語

本文對基于視覺刺激運動想象的實時腦機接口系統進行設計與實現。在Matlab平臺設計了結合抓握視頻刺激的運動想象實驗范式，針對多導聯分析的共空間模式特征提取方法選取采集腦電信號時的41導聯電極，并通過TCP/IP實現了數據的實時傳輸傳輸；設計了訓練部分和有反饋實時工作部分；用訓練模式中的訓練結果實現對特征組合和SVM分類器模型參數的設置，最終實現運動想象意識任務的在線識別。實驗結果表明，實時系統的最高正確率為90%，平均正確率為83%。本文采用的特征提取和模式識別算法具有較高的實時識別正確率和識別速度，設計的基于視覺刺激的運動想象實時系統具有較高的可行性。

［1］ 貢平.運動想象腦電信號特征提取研究［D］.重慶：重慶大學，2014.

［2］ 高上凱.淺談腦-機接口的發展現狀與挑戰［J］．中國生物醫學工程學報，2007，26（6）：801-803.

［3］ MASON S G，BASHASHATI A，FATOURECHI M，et al．A comprehensive survey of brain interface technology designs［J］．Annals of Biomedical Engineering，2007（2）：137-169.

［4］ BERENDS H I，WOLKORTE R，IJZERMAN M J，et al.Differentialcorticalactivationduringobservationandobservationand-imagination［J］.Experimental Brain Research，2013，229（26）：337-345.

［5］ PULYERMULLER F，FADIGA L.Active perception：Sensorimotor circuits as a cortical basis for language［J］.Nature Reviews Neuroscience，2010，11（6）：351-360.

［6］ NEUPER C，SCHERER R，WRIESSNEGGER S，et al.Motor imagery and action observation：Modulation of sensorimotor brain rhythms during mental control of a brain-computer interface［J］.Clinical Neurophysiolog Official Journal of the International Federation of Clinical Neurophysiology，2009，120（36）：239-247.

［7］ TOSHIYUKI K，MIDORI S，YOSHIKATSU H，et al.Effect of instructive visual stimulus on neurofeedback training for motor imagery-based stroke rehabilitation［J］.European Journal of Physcial and Rehabilitation Medicine，2012（2）：313-318.

［8］ 奕偉波.基于復合肢體想象動作的腦電特征識別技術研究［D］.天津：天津大學，2012.

［9］ 劉蓉，李春月，王永軒，等.基于序貫似然比檢驗的運動想象腦電信號分類方法研究［J］.大連理工大學學報，2013，53（6）：898-902.

［10］WU W，CHEN Z，GAO X R，et al.Probabilistic common spatial patterns for multichannel EEG analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intellgence，2015，37（3）：639-653.

［11］MCCANE L M，HECKMAN S M，MCFARLAND D J，et al. P300-based brain-computer interface（BCI）event-related potentials（ERPs）：People with amyotrophic lateral aclerosis（ALS）vsage-matched controls［J］.Clinical Neurophysiology，2015，126（11）：2124-2131.

Online system based on visual stimulation for motor imagery

ZHAO Li，WANG Xuan-fang
（Tianjin Key Laboratory of Information Sensing and Intelligent Control，Tianjin University of Technology and Education，Tianjin 300222，China）

An online system for brain computer interface based on visual stimulation is built on the Matlab platform.The online signal processing is done by using common space model and support vector machine.The test results show that the highest accurate rate of real time system is 90%，the average correct rate of the real-time system is 83%and the system designed in this paper and the feature extraction and pattern recognition algorithm has a high recognition rate and recognition speed.It can meet the requirements of online system and classification of brain computer interface.

visual stimulation；motor imagery；online system

TP274.2

A

2095－0926（2016）04－0001－04

2016-11-07

國家自然科學基金資助項目（61178081）；天津市應用基礎與前沿計劃重點項目（C14JCZDJC36300）.

趙 麗（1962—），女，教授，工學博士，碩士生導師，研究方向為生物醫學信號處理、智能信息檢測等.