基于希爾伯特變換聯合卷積神經網絡的腦電信號識別方法

甘華生，陳明生

(1.惠州城市職業學院,廣東 惠州 516000; 2.廣西科技大學 鹿山學院,廣西 柳州 545000)

0 引言

腦-機接口(BCI, brain-computer-interface)技術是一種不依賴于腦外周神經或肌肉系統，利用計算機等外部輔助設備直接采集大腦皮層實時電信號從而實現外界與大腦神經系統建立交流和控制通路的一種新技術，為科研人員研究人腦系統提供了新的手段，在運動康復，輔助控制，影音娛樂等領域具有廣泛的應用前景[1-3]。

腦電信號(EEG, electro encephalogram signals)產生機理復雜，是一種典型的非平穩和非線性的微弱信號，如何準確、快速實現對不同意識活動對應腦電信號的區分是當前研究的熱點和難點，其中的關鍵環節是特征提取[4]。目前常用的特征提取方法主要可以分為時域特征提取、頻域特征提取和變換域特征提取3大類，其中時域特征提取方法以自回歸模型和自適應自回歸模型等為代表，該類方法直接對腦電信號的時域回波進行建模，并提取參數特征作為特征向量，具有運算量小，實時性高的優勢，但是由于腦電信號微弱性特征明顯(只有μV量級)，時域信號容易受噪聲污染導致特征的可分性降低，因此該類方法在低信噪比條件下的識別性能較差[5-7]；頻域特征提取方法根據不同意識活動腦電信號在頻域的分布范圍不同從而提取特征，以功率譜特征和頻帶能量特征為代表，該類方法獲取頻域信息的代價是丟失了時域信息，信息提取維度單一并且更適合于分析線性、平穩信號，在面對非線性、非平穩腦電信號時性能出現明顯下降[8-10]；變換域特征提取采用小波變換，時頻變換等方法將腦電信號轉換至小波域或時-頻域等變換域，在變換域提取特征，相對于時域特征和頻域特征，變換域特征可以同時獲取多個域的特征信息，特征提取維度更廣，相對于單一維度特征通常能夠獲得更高的分類性能，但是不同變換域特征的分類性能差異較大，而如何找到最優的變換域及對應特征目前還沒有較好的方法[11-14]。

上述方法雖然能從不同維度提取差異信息實現腦電信號的分類識別，但均采用人為提取特征的方式，識別性能的優劣更多的是依靠研究人員的經驗，存在主觀性強，工作量大等問題。本文在上述研究的基礎上，將希爾伯特變換(HT, Hilbert transform)與卷積神經網絡(CNN, convolution neural network)理論引入運動腦電信號分類識別領域，首先利用HT將一維腦電信號轉換為幅-相域二維圖像表征，擴充特征提取維度，然后采用CNN對圖像進行層次化的理解和分析，并自動提取特征完成分類識別。基于Graz數據的試驗結果表明，所提方法在低、中、高3種信噪比條件下分別可以獲得73.5%，87.6%和91.7%的正確識別結果，并且只需0.07 ms即可完成對單個樣本的有效識別，具有較高的應用前景。

1 腦電信號的二維圖像表征

由于直接采集到的腦電信號為實信號，只包含幅度信息，要將其轉換至幅-相二維圖像域，需要對其進行變換并提取其中的相位信息。HT是信號處理和通信等領域中廣泛應用的一種信號分析方法，通過對原始信號進行90°相位變換并且不改變頻譜分量幅度的方式構造關于原始信號的解析信號[15]。

(1)

其中:*表示卷積算子，H(·)為希爾伯特變換算子，根據傅里葉變換的卷積性質，根據式(1)可以進一步得到HT的頻域表示為：

(2)

(3)

(4)

將信號幅度分量和相位分量單獨提取出來，構建大小為2×N的向量，并進一步將其轉換為高度為2，寬度為N的幅-相二維圖像表征。圖1(a)和(b)分別給出了想象左手運動和想象右手運動腦電信號的一維時域波形圖，對其進行HT變換轉換為二維幅-相灰度圖的結果如圖1(c)和(d)所示。通過將一維信號轉換為二維圖像一方面能夠將原始數據中包含的所有信息還原，最大化的利用原始信號的信息，避免了信息丟失，另一方面這種建模方式得到的二維圖像非常適合于卷積神經網絡處理，有利于后續構建高速處理框架，提升算法實時性。

圖1 一維腦電信號的幅-相二維圖像表征

2 基于深度學習的識別方法

2.1 基本原理

所提基于深度學習的腦電信號識別方法的目的是實現對想象左手運動和想象右手運動腦電信號的分類與識別，將原始時域腦電信號表征為幅-相二維圖像作為卷積神經網絡(CNN)[16-19]的輸入，利用CNN的自學習能力層次化的對輸入圖像進行分析和解譯，自動提取特征并實現分類輸出。該方法首先需要完成卷積神經網絡的結構設計，然后利用訓練數據對神經網絡進行訓練，實現網絡的自學習，最后通過大量測試實驗對神經網絡參數進行調優，從而得到最優的網絡模型。

經過反復測試實驗，確定最優的CNN架構如表1所示，其中CNN由3個卷積層和3個全連接層總共6層組成，3個卷積層和前2個全連接層使用ReLU作為激活函數，最后一個全連接層使用SoftMax分類器完成分類判決。實驗中使用Categorical Crossentropy作為模型的損失函數，使用Adam作為優化器函數，同時為了防止迭代過程中出現梯度彌散問題，試驗過程中在卷積層加入40%的DropOut處理。

表1 最優CNN結構

2.2 卷積神經網絡訓練與優化

構建完成CNN網絡模型后，需要利用訓練數據對模型參數進行訓練和調優。訓練過程采用批處理方式，每次隨機從訓練樣本集中抽取64個樣本(批大小)進行訓練，直到訓練樣本集全部被抽取后算是完成一輪訓練，之后將數據順序打亂再次進行下一輪迭代，每一輪迭代完成后都計算驗證損失值(value_error)，如果連續2次迭代得到的驗證損失值之差小于預設參數，則表明網絡訓練充分，終止迭代過程并輸出訓練結果。

本文實驗中CNN運行的軟件環境為Tensorflow l.8，cuda 9.0，keras 2.2，軟件運行的硬件平臺為Interl Xeon E5 2630 CPU和Navia Quadro K4200GPU。圖2給出了模型訓練過程中value_error的變化曲線，可以看出經過約40次迭代后，value_error的值達到穩定，幾乎不再發生變化，表明網絡模型訓練充分。

圖2 驗證損失值隨迭代次數變化曲線

3 實驗結果與分析

3.1 試驗數據

為了驗證所提方法的識別性能，采用BCI2003國際競賽公開的標準運動腦電信號數據集開展試驗。數據集獲取的被試對象為25歲女性志愿者，試驗過程中，被試志愿者被要求根據眼前的屏幕提示進行想象左手或者想象右手運動，與此同時利用搭載EEG放大器的計算機輔助設備對被試志愿者的腦電信號進行同步采集，采樣頻率設置為128 Hz，采用差分電極從國際標準的10～20導聯系統中的C3和C4兩個通道獲取。一次有效實驗的時間為9 s，具體流程如圖3所示，數據采集步驟包含3個階段：

圖3 1次試驗時間流程圖

1)0 s≤T<2 s，準備時間，被試志愿者前方顯示屏不開機，處于黑屏狀態，提示被試志愿者放松；

2)T=2 s，試驗開始提示，被試志愿者前方顯示屏出現十字光標，提示被試志愿者試驗馬上開始；

3)3 s≤T<9 s，試驗時間，當顯示屏上出現“向左”或“向右”箭頭時，被試志愿者被要求按照光標提示方向進行想象左手或者右手在運動。

由于每次試驗的有效數據為第3～9 s之間的數據，每組數據的采樣信號長度為768個采樣點。試驗數據集中總共包含280組試驗樣本，其中想象左手運動140組，想象右手運動140組。

3.2 識別準確率

試驗過程中，利用想象左手運動和想象右手運動腦電信號測試數據集對訓練好的CNN模型進行測試，圖4給出了不同信噪比條件下的所提方法的正確識別率，為了進行對比，圖4中同時給出了在相同條件下利用文獻[20]所提小波方法進行分類的結果，選取db4小波基，分解層數設置為6。圖4中每組數據的獲取是在訓練數據和測試數據處于相同信噪比水平下進行試驗獲得，例如信噪比為5 dB時的識別結果是采用信噪比為5 dB的訓練數據和信噪比為5 dB的測試數據開展試驗得到的結果。

圖4 不同信噪比條件下的識別性能

從圖4可以看出，兩種方法的識別性能隨著信噪比的提升都出現了上升趨勢。當信噪比在0 dB以下時，兩種方法的識別性能差別不大，所提方法的性能略優于小波方法，正確識別率相對于小波方法的提升在2%以內，當信噪比高于0 dB時，所提方法的正確識別率明顯優于小波方法，性能提升超過3%。

實際工程應用過程中，往往難以獲得與測試數據信噪比水平完全一致的訓練數據，通常訓練數據與測試數據的信噪比水平存在一定的差異，為了驗證所提方法在這種情況下的識別性能，將數據集根據信噪比水平劃分為低信噪比，中信噪比和高信噪比3種數據子集，其中低信噪比數據子集中的信噪比水平為-8～ -2 dB，中信噪比數據子集中的信噪比水平為0～ 6 dB，高信噪比數據子集中的信噪比水平為8～14 dB，試驗中隨機從數據子集中選取80%的數據作為訓練數據完成神經網絡模型訓練，剩余20%數據作為測試數據，驗證所提方法的識別性能，每個數據子集重復進行5次試驗，并將結果進行平均。表2給出了所提方法和小波方法的識別性能，可以看出所提方法在低，中，高3種信噪比條件下獲得的識別結果均優于小波方法，3種情況下的識別性能分別提升3.7%，5.2%和4.8%，究其原因在于所提方法利用幅-相二維圖像對原始一維數據進行表征，使數據中的幅度和相位信息得到了更直接的表達，充分利用了數據中的有效信息。

表2 不同信噪比條件下2種方法的正確識別率 %

3.3 識別處理時間

對于運動腦電信號識別問題，希望BCI技術能夠實時地完成腦電信號的解譯，因此算法的運算效率是正確識別率外的另一項重要指標。為了驗證所提方法對單個測試樣本的處理時間，將測試階段的批處理大小作為變量，使其在[1，2，4，8，16，32，64，128]之間取值，在不同批處理大小情況下對單個測試樣本的識別時間進行統計計算，圖5給出了對應的結果。

圖5 單個樣本識別時間與批處理大小的關系

從圖5可以看出，算法的運算效率與批處理大小密切相關，當批處理大小為1時，即每次輸入1個測試樣本進行分析識別，算法所需時間約為3.2 ms，隨著批處理大小的增加，算法對每個測試樣本進行分析識別的時間逐漸減小，最終穩定在0.07 ms左右，這與CNN的并行計算能力一致，因此在實際工程應用過程中，應該將多個測試樣本同時輸入模型進行分析識別以提升算法的實時性。

4 結束語

傳統基于人工特征提取的運動腦電信號分類識別方法存在主觀性強，信息利用率低的問題，并且特征提取和模式分類是相互獨立的2個過程，不能實現聯合優化，因此傳統方法普遍識別性能不高。提出一種基于HT聯合CNN的運動想象腦電信號識別方法，利用HT將腦電信號轉換至幅-相二維圖像域，然后利用CNN對其中包含的信息進行層次化的理解和解譯，自動完成特征提取和模式分類。相對于傳統方法，本文通過HT將信號提取維度從一維擴展至二維，增加了信號中的相位信息，同時CNN從大數據角度去自動化學習目標的抽象特征，通過多層神經網絡結構來進行目標高層特征提取，同時網絡學習過程實現了特征提取和模式分類的聯合優化。基于Graz數據的實驗結果表明，所提算法相對于小波方法可以獲得更優的識別性能，在低、中、高3種信噪比條件下正確識別率分別提升3.7%，5.2%和4.8%。同時為了提升所提算法的運算效率和實時性，建議在實際使用過程中盡量采用批處理方式，此時對單個測試樣本的分析識別時間約為0.07 ms。