基于神經網絡的運動想象分類研究

何 爽，黃 鑫，林思睿，徐瀾菲，王瑩瑩，鄒任玲，李 丹，胡秀枋

(上海理工大學健康科學與工程學院，上海 200093)

heshuangedu@163.com;hx2946474935@163.com;1023617140@qq.com;1046758980@qq.com;3294576338@qq.com;zourenling@163.com;lidan0734454454@163.com;huxiufang1965@163.com

1 引言(Introduction)

腦機接口(Brain Computer Interfaces,BCI)技術能實現腦神經與外部設備的信息交互，通過采集大腦的腦電信號進行特征提取和解碼，幫助肢體運動障礙患者與外界進行通信并控制外部設備以達到動作康復訓練與替代的目的。腦機接口一般分為五個階段：數據采集、信號處理、特征提取、解碼和反饋。運動想象(Motor Imagery，MI)是指人通過一定的圖片提示對動作進行想象但沒有產生實際的動作，人的大腦的特定區域被激活，并通過解碼判斷受試者意圖。基于腦機接口的運動想象早已與康復相結合：張桃等人使用支持向量機分類，將運動想象與Unity3D相結合設計了一款手功能康復系統，針對腦卒中患者手部功能的康復；徐寶國等人設計了一款基于運動想象的上肢康復機器人，針對腦中風偏癱患者的康復訓練，使用了基于馬氏距離的線性判別分類器；任士鑫等人設計了基于運動想象的人體下肢與視覺反饋的閉環腦機接口，運用支持向量機算法提高腦卒中等神經患者在康復過程中的主動性。隨著神經網絡在計算機視覺、圖像處理等領域的廣泛應用和產生良好的效果，神經網絡受到廣泛關注。在神經網絡中，通過0—1的概率給出分類準確率。神經網絡可以將特征提取與分類相結合，自動提取特征，適應性強，適用于非線性分析。在運動想象分類任務中，使用不同的神經網絡有不同的優勢和表現。

2 經典的運動想象分類算法(Classic classification algorithm of motor imagery)

經典的運動想象分類算法相對更加成熟，主要包括線性判別分析(Linear Discriminant Analysis,LDA)、支持向量機(Support Vector Machines,SVM)和貝葉斯分類器(Bayes Classifier)等算法，但這些算法往往需要復雜的特征工程，甚至需要大量的人工對特征進行標注，借助使用者的專業知識進行模型輸入的選擇，自動化程度不高。

2.1 線性判別分析

線性判別分析是運動想象中最常用的分類器之一，是一種經典的線性學習方法，在運動想象任務中被研究者廣泛應用。FAZLI等人利用線性判別分析作為分類器驗證了沒有經過訓練的用戶造成的性能損失非常有限。鄧欣等人利用線性判別分類器進行分類，最終分類正確率可達90.71%。另外，HIGASHI和TANAKA利用線性判別分析進行分類，達到的分類準確率為89.06%。但線性判別分析依賴于特征提取的優良程度，更適合應用于線性信號。

2.2 支持向量機

支持向量機是一種有監督的學習模型，可用于線性、非線性分類問題。劉沖等人利用支持向量機算法對二分類任務進行分類，最大的分類準確率達到了82.86%。雖然支持向量機的準確率較高，但是支持向量機分類器是一種典型的二分類分類器，主要針對二分類，在多分類的運動想象任務中的表現并不是特別好，訓練速度相對較慢，對參數以及核函數的選擇也很敏感。

2.3 貝葉斯分類器

貝葉斯分類器是利用貝葉斯公式對各種結果輸出概率值并取最大值作為該樣本的類別。劉華生等人利用貝葉斯分類器結合短時傅里葉變換和平行因子模型對運動想象信號進行分類，最大的分類精度達到了90%。但貝葉斯分類器無法處理特征組合后所產生的變化結果，對輸入數據的形式比較敏感。

3 深度學習網絡模型(Deep learning network model)

深度學習是一種特定的機器學習方法，由神經網絡實現對數據特征的學習，提高分類準確率。深度學習模擬人腦對樣本進行學習，具有良好的學習能力和特征提取能力。與經典的分類算法相比，深度學習不僅能自動學習數據的特征并進行分類，實現端對端的學習，減少人工提取特征造成的特征混亂以及信息的丟失，也可以與特征提取方法進行結合，得到更好的分類效果。

3.1 卷積神經網絡

LECUN等人在日本科學家福島邦彥的基礎上將反向傳播應用到類似于Neocoginitro網絡上，實現了第一個卷積神經網絡(Convolutional Neural Networks,CNN)，至此CNN開始廣泛應用于各個領域。CNN一般由三種不同類型的層組成：卷積層、池化層和全連接層。卷積層是通過卷積核對輸入進行局部感知，進而提取特征信息；池化層也稱為下采樣，其作用是降維，壓縮數據的維度，減少過擬合；全連接層起到分類器的作用，得到最終的輸出。以KRIZHEVSKY等人在2012 年ImageNet競賽中提出的AlexNet為例，此網絡模型為八層網絡，其中五層卷積層和三層全連接層，并提出局部歸一化、以ReLU作為激活函數和Dropout及最大池化的應用。其中，ReLU作為激活函數解決了Sigmoid的梯度彌散問題，應用Dropout有效避免了模型的過擬合問題，局部歸一化提升了模型的泛化能力，最大池化避免了平均池化的模糊化效果。其他與普通CNN模型一致，通過卷積層不斷提取更為復雜的特征，并通過全連接層和最終分類器或回歸方程得到最后的輸出結果。在AlexNet之后，又相繼提出了VGGNet、GoogleNet、ResNet和SENet等CNN模型。簡單的CNN模型圖如圖1所示。

圖1 CNN模型Fig.1 CNN model

SHAJIL等人在論文中使用CNN模型和疊加頻譜圖以及數據增強的數據處理方法，分類的平均準確率都比同一數據集的支持向量機、線性判別分析和AlexNet高。SHALU等人提出一種基于深度卷積神經網絡的識別方法，用于右手和右腳的分類，分別使用短時傅里葉變換和連續小波變換轉換為時頻圖并送入網絡分類。結果表明，連續小波變換方法比短時傅里葉變換方法取得了更好的結果，該方法獲得了99.35%的準確率。MIAO等人提出一種新的空間-頻率-時間(SFT)模型，將EEG的能量分布轉為3D特征表示并設計新的3D-CNN模型分類，在BCI競賽III數據集IVA上，該方法對五個被試的平均準確率達到86.6%，比目前最先進的濾波帶公共空間模式(FBCSP)方法提高了4.1%；在BCI競賽III數據集IIIa上，得到91.85%的平均準確率，該方法的性能比最新的詞典對學習(DPL)方法高出4.44%。ZHAO等人在論文中提出一種新的分類框架，包括腦電信號的三維表示和3D-CNN與分類策略，該框架達到了最先進的Kappa值水平，在不同被試上表現出良好的性能與魯棒性。CHEN等人提出基于人臉識別的三元組挖掘方法的TSCNN，從時間特征對運動想象進行分類，并采用了分階段訓練的方法，得到了較好的結果。從以上文獻中可知，CNN在運動想象分類任務中的表現相比之前的方法更好，能更好地解決特征提取的問題和通過不斷地學習自動調整參數。

CNN多應用于多分類和數據量較大的樣本，并將特征提取和分類相結合，具有權值共享等特性。但CNN也有劣勢，如數據量較小時影響精度和易過擬合。

3.2 生成對抗網絡

GOODFELLOW等人在2014 年提出生成對抗網絡(Generative Adversarial Network,GAN)后，對它的研究便如火如荼。GAN是受博弈論中二人零和博弈的啟發，即兩人之間的利益之和，一方所得即為一方所失，整個結構由生成器G和判別器D組成。目前GAN已經被證明對半監督學習以及監督學習等是有效的。生成器是通過學習輸入樣本的特征生成具有相同特征的偽樣本數據，其作用是使生成的偽樣本能夠被判別器判斷為輸入樣本；判別器是通過對這兩部分樣本特征的學習分辨輸入樣本和偽樣本并輸出結果。當判別器無法判斷數據的真實性時，即認為此時GAN網絡已經完全學習了輸入樣本的特征。GAN簡單的模型如圖2所示。

圖2 GAN模型Fig.2 GAN model

STEPHE等人利用傳統CNN和GAN建立分類方法，并在特征提取技術中利用經驗模式分解和混合固有模式函數處理非平穩問題，最終準確率為95.29%，高于CNN的89.38%，而且該方法在BCI競賽Ⅲ的數據集IVA上的平均正確率為62%。也有其他學者提出新的網絡模型應用于其他領域,如ZHU等人提出的CycleGAN和ZHAO等人提出的WGAN。GAN是在博弈論的基礎上構建的，理論上模型的收斂性和是否存在平衡點是很難判斷的，網絡容易陷入崩潰。生成模式和判別模式在網絡訓練時的平衡與同步性會影響GAN的穩定性和生成樣本與真實之間的差異。目前GAN已廣泛應用于醫療、網絡安全等其他領域。

3.3 膠囊網絡

SABOUR等人在2011 年的論文中首次引入膠囊網絡，并在2017 年的論文中介紹了在MINIST數據集下達到最優性能的膠囊網絡框架，其簡單的網絡模型如圖3所示。膠囊網絡是由膠囊組成的，而膠囊是一組神經元，每個神經元的結果都代表同一個輸入的不同屬性。這些屬性包括不同的實例化參數，如位置、方向等。初始膠囊層將卷積層從輸入中提取的特征轉換為向量并通過動態路由規則與全連接層相連。目前HINTON和他的團隊已經提出了多種膠囊網絡，如矩陣膠囊網絡。

圖3 膠囊網絡結構Fig.3 Capsule network structure

HA等人將膠囊網絡應用于運動想象圖像的二分類任務中，利用短時傅里葉變換將腦電信號轉換為時頻圖像并提供給膠囊網絡，所提出的算法優于先行的CNN和傳統的分類器，證明了膠囊網絡用于運動想象分類的可行性，分類準確率基本優于現有分類器。膠囊網絡現在還在不斷發展中，目前對小樣本效果明顯，但對大規模和內容更復雜的數據集并沒有取得非常好的效果。探索應用于大規模數據集的網絡結構和減少訓練時間也是目前膠囊網絡的發展趨勢之一。

4 結論(Conclusion)

傳統的機器學習算法應用于運動想象領域比較成熟，很多研究都對傳統的方法進行改進，如將粒子群算法與支持向量機相結合搜尋更加合適的參數。但是傳統的分類算法在自動化處理、算法耗時等方面提升有限。伴隨著計算機硬件的更新換代和神經網絡模型的不斷完善與更新，神經網絡在MI-EEG(運動想象-腦電)信號的分類識別中取得了一些成果，與之前相比提高了分類器的性能。針對運動想象數據量小，使用數據增強策略(如GAN等)也是發展趨勢之一。更多的研究是通過對神經網絡模型的不斷完善，進一步開發新的網絡模型以適應不同數據樣本的分類；可以將多種網絡模型進行組合或將單一網絡模型中的多種特征進行組合，以多種特征結合的方式來提高分類的準確性。神經網絡也可與多種研究方法相結合，例如將在計算機視覺領域得到廣泛驗證的特征提取和分類方法相結合，增加注意力機制等模塊，進一步提高分類的準確性。

目前MI-EEG也存在一些問題：(1)神經網絡在提升準確率的同時相對耗時更多，如何在維持準確率的同時提高分類效率，實現在線解碼的問題；(2)如何降低個體間的差異性，使算法更加具有普遍性，應用于不同個體；(3)目前分類算法大多是簡單肢體運動，如何改進算法使其適用于更復雜的日常肢體運動，滿足更多的康復需求；(4)離線訓練時，如何解決數據量小和信號非平穩的問題。運動想象可應用于醫療康復領域，實現中風病人或運動能力不足患者的假肢控制和康復訓練以及未來日常生活中的輔助功能，因此運動想象解碼研究依然面臨較多的挑戰。