基于同步性腦網絡的注意力識別研究

王勵燁，丁威威

(南京郵電大學 電子與光學工程學院 微電子學院，江蘇 南京 210023)

0 引 言

一直以來，人的注意力狀態的實時監測在教育領域以及交通安全領域都有廣泛的需求，早期的注意力檢測多采用面部識別等基于視頻圖像信息的方式，而隨著腦機接口技術的發展，基于腦電信號(Electroencephalogram，EEG)的注意力檢測方式已經成為了研究的熱點。腦電信號是一種典型的生物電信號，是大腦神經細胞生理活動在大腦皮層及頭皮的總體反映，與人的各種生理、心理活動相關。相比于表情等信息，腦電信號能更真實地反映人的大腦狀態。

傳統的基于腦電信號的注意力研究主要提取信號的時域和頻域信息進行分析。例如，陸榮等[1]利用小波包分解的方法，提取各個頻段的腦電信號，并計算這些頻段的近似熵作為特征輸入支持向量機(Support Vector Machine，SVM)分類器內進行分類，其準確率達到了72.5%。孔亮等[2]采用譜分析的方法，提取各節律能量的比值作為特征，同時結合特征的特點，設計多層誤差反向傳播(Error Back Propagation Training，BP)神經網絡作為分類器，注意力分類準確率在77%左右。然而越來越多的研究表明，大腦是一個復雜的網絡，隨著大腦狀態的改變，腦網絡的拓撲結構也隨之發生變化[3]，大腦的各種狀態是網絡各個區域共同作用的結果，單純從時頻域提取特征會忽略大腦狀態改變所產生的結構性信息。隨著復雜網絡理論的發展，基于EEG信號的腦網絡研究成為新的研究方向。

目前已有將EEG腦網絡應用于注意力相關的研究，如Chabot等[4]對130名兒童的腦電信號進行了相關性分析，發現相較于正常兒童，患有注意缺陷多動障礙綜合征(Attention Deficit Hyperactivity Disorder Syndrome，ADHD)的兒童在θ和α頻段其前額葉兩半球間，以及前額葉-顳葉兩側區域的半球間的相干性更高。可見人的注意力狀態可以從相干性腦網絡中得到反映，但需要在實驗中進一步進行驗證。 吳正平等[5]通過相空間重構將單通道腦電信號轉換成復雜網絡結構，進而提取專注和放松狀態下的網絡特征度量，實現對注意力水平的檢測，并設計了一種優化的復雜網絡算法(OCNM)對其進行分類，注意力二分類準確率達到80.67%。該算法考慮到了導聯信號之間的關聯性，并使用網絡分析的方法提取特征，分類準確率得到了顯著提升，但網絡分析的特征提取辦法較為復雜，算法無法實現實時性的注意力檢測。

針對以上研究現狀，該文設計了注意力狀態和非注意(注意力分散)狀態的實驗范式，并采集腦電信號，提出了一種基于同步性腦網絡和信息增益的注意力分類算法(Algorithm of Synchronous Brain Network and Information Gain for Attention Classification，SBN-IG)。該算法使用腦電信號計算PLV值并構建同步性腦網絡作為分類器的輸入特征，PLV由Lachaux等人在1999年提出，通過計算腦電信號的各個導聯之間的鎖相值，能很好地反映相應腦區之間在任務期間的同步性[6-7]。考慮到SVM使用向量的輸入形式，忽略了腦網絡結構信息，采用卷積神經網絡(Convolutional Neural Network，CNN)[8]作為分類器對網絡結構特征進行提取與分類。而為了上述算法能應用于實際，在將特征矩陣輸入分類器之前對其進行特征稀疏化，減少實際需要的導聯數，降低算法運行時間，滿足注意力實時監測的應用需求。

1 SBN-IG注意力分類算法

提出的SBN-IG算法架構如圖1所示。第一步：數據采集。根據需求設計實驗范式，并招募被試進行相關狀態的腦電信號采集。第二步：預處理。對采集的數據進行預處理，降低噪聲，提高信噪比。第三步：生成同步性腦網絡，經過預處理的腦電信號計算導聯之間的PLV，構建同步性腦網絡，PLV矩陣作為分類的特征，輸入卷積神經網絡進行分類(SBN)。第四步：特征稀疏化，雖然直接對腦網絡特征進行分類已經可以得到很好的結果，但仍存在算法效率較低的問題，因此引入特征稀疏化算法剔除冗余特征，再將稀疏化后的特征矩陣輸入分類器(SBN-IG)。

圖1 算法結構

2 數據采集

為了獲得穩定的注意力集中與分散狀態的腦電信號樣本，分別設計了對應的實驗范式，實驗流程如圖2所示。注意力狀態實驗：使用Aim Trainer測試范式[9]作為注意力集中的誘發范式。在范式中，被試需要完成一個點擊小游戲。系統會在1 920×1 080像素的顯示屏上隨機產生一個直徑為2.5 cm的目標圓點，被試需要在盡可能短的時間內移動鼠標點擊圓點，準確點擊后該點消失，并重復之前的過程。在被試完成10分鐘的點擊任務之后，游戲結束。非注意狀態實驗：屏幕將會播放當前被試在注意力狀態實驗中的屏幕錄像，被試需要一直注視屏幕同時盡量保持放松狀態，無需進行任何操作，實驗同樣持續10分鐘，在實驗開始后10 s左右開始采集腦電信號。實驗設計采用10分鐘這一較長的實驗時間主要是有以下兩個考慮，首先是經驗表明游戲因其特殊性更能激發并保持人的注意力集中狀態，在此期間被試不會產生疲憊等負面狀態，其次被試在較長時間的注意力高度集中狀態后更易進入注意力分散狀態，因此選擇讓被試在完成第一個誘發實驗后一段時間進行第二個誘發實驗。在對實驗器材的預測試中，較長的實驗時間不會對數據的采集造成影響，也并未產生導電膠固化等問題。

圖2 實驗流程

以上所有實驗均在被試同意且簽寫知情同意書的前提下完成，共招募被試32人，身體健康無精神病史及其他心理疾病(50%男性,50%女性)，年齡范圍為19～24歲(平均值=20.95,標準差=4.23)，每次實驗前會將被試平靜狀態的腦電信號作為參考，兩次實驗之間間隔十分鐘，每名被試分別完成兩種狀態下的實驗，共獲得兩種狀態標簽數據各32段，共64段標簽數據。

實驗使用NeuroScan公司的64導聯電極帽進行數據采集，電極分布如圖1(a)所示，符合國際10～20標準的導聯系統，采樣頻率為500 Hz，采樣阻抗低于5 kΩ，使用Curry7軟件進行參數設置并導出采集到的腦電信號。

3 數據預處理

為了降低信號的冗余度，提高后續分類的準確率，使用EEGLAB軟件對原始腦電數據進行預處理。依次進行帶通濾波、信號重參考[10-11]、獨立成分分析(Independent Component Analysis，ICA)[12-14]、時頻域截取的處理，下面分別進行介紹。

帶通濾波：由于清醒狀態下人的大腦活動產生的相關信號頻率可以分為θ波(4～8 Hz)、α波(8～12 Hz)、β波(12～30 Hz)和γ波(30～80 Hz)[15]，大腦注意力信息集中在θ、α、β頻段，且在腦電采集過程中由于人體生物電或者環境因素的影響，會產生較大的工頻干擾信號，主要集中于50 Hz左右[16]。因此，為了保留有效腦電信號，去除工頻干擾信號的影響，該文采用帶通濾波(1～40 Hz)方法對原始信號進行第一步處理。

信號重參考：參考電極的信號被認為是其他所有信號的基線信號，信號的重參考就是從其他信號中剔除參考電極的信號成分從而消除來自接地電極的噪聲。該文采用的參考電極位置為10～20電極標準中左右耳后乳突的位置，對應電極為M1與M2(如圖1(a))。因此第二步將M1與M2設定為參考電極進行信號的重參考。

獨立成分分析：ICA是盲源分離(Blind Signal Separation，BSS)的一種方法，將混合的信號分離成潛在的信息成分。腦電信號是一種大量噪聲和有效信號相混合的混合信號，針對這種信號，使用ICA可以很好地檢測、分離和消除EEG記錄中的各種偽跡。第三步對信號進行ICA，該文使用MATLAB的EEGLAB插件提取信號中的獨立成分，ICA算法種類選擇默認的runica算法。在提取出腦電信號中的各個獨立成分后，可以在EEGLAB上對所有成分的頭皮地形圖進行顯示(如圖1(b))，并對照眼電、心電等成分的地形圖特征對這些噪波進行手動經驗剔除，能極大地提高信號的信噪比。

4 生成同步性腦網絡

預處理去除了信號中的噪聲部分，為了針對性分析特定時段與頻段的信號，需要對信號進行時頻域截取。選擇進入注意力狀態后的3 s作為時間窗口進行截取，由于采樣頻率為500 Hz，因此每段樣本長度為1 500個點。32位被試分別完成兩種注意力狀態實驗。獲得數據樣本共64段。同時，該文分別對每個樣本段提取θ波、α波、β波三個頻段的信號，共有64×3=192個頻段樣本。

通過小波變換提取出信號的瞬時振幅和相位。某導聯在時頻坐標下的瞬時相位值記為Φ(t,f)，則一對導聯之間的PLV的計算如公式(1)：

(1)

其中，N為總采樣點數，文中每個樣本采樣點數為1 500；t為當前時間，f為頻率，x、y為一個導聯對，ΔΦn(t,f)為第n個采樣點當前導聯對的瞬時相位差：

ΔΦn(t,f)=Φx(t,f)-Φy(t,f)

(2)

另記時頻映射中頻率點數目為L，可以通過計算頻域映射的分辨率與當前頻段的頻帶寬度的乘積得到，對公式(1)針對頻域取平均得到該導聯對的平均PLV值為：

(3)

PLV取值在0到1之間，兩個導聯間PLV值越接近1則代表兩者的同步性越強， 越接近0則同步性越弱。將預處理后的信號按照公式(3)進行PLV值計算，每個樣本可以得到一個64×64的PLV矩陣，如圖3所示。從圖中可以看出，由于腦電信號信噪比較低的特點，無法直觀地從圖中發現兩者的區別，但可以使用卷積神經網絡提取其中的細節特征，獲得了SBN算法，該算法通過后續的仿真驗證，獲得了較高的準確率。但考慮到算法的實際運用需要更少的導聯以及更短的運算時間，又引入了算法實現對PLV矩陣的稀疏化，提取最重要的導聯連接作為分類器輸入特征。

圖3 平均PLV矩陣示意圖

5 特征稀疏

特征稀疏化算法的流程如圖4所示。輸入特征為PLV矩陣，先后經過二值化、信息增益計算、特征保留的步驟得到稀疏化的矩陣輸出并作為新的特征輸入分類器分類。與原始PLV矩陣相比，稀疏化后的矩陣因為只保留了重要特征，剔除了冗余特征，有利于提高特征提取效率與算法訓練的擬合效率。

圖4 特征稀疏算法流程

(4)

對于每個PLV特征，若其大于閾值則置1，小于則置0。

該文采用了一種基于信息增益的閾值確定方法，該方法會遍歷當前特征在所有樣本中的值，依次將其設為閾值并計算當前閾值下特征的信息增益，最終選擇其中產生最大信息增益的閾值為該特征的PLVT。

從信息論的角度，特征的稀疏化過程就是去冗余過程。目前常用的特征冗余度評價方法主要有信息增益[17-18]和卡方檢驗[19]。這兩種方法已經在文本識別領域得到了廣泛使用。考慮到本算法的特征數量多、分類類別少，且腦電信號信噪比低的特點，該文采用信息增益判斷PLV矩陣的冗余度。用公式(5)來衡量特征對系統的信息貢獻度：

IG(t)=∑P(Ci)logP(Ci)+

(5)

綜上，該文實現了一種基于信息增益的特征稀疏化算法，特征矩陣在輸入后首先進行二值化得到離散特征矩陣，然后計算矩陣每個特征元素的信息增益并以此對特征進行排序，最終保留信息增益最大的k個特征組成特征矩陣輸出。

6 注意力分類

使用稀疏化矩陣輸入卷積神經網絡進行分類，將數據樣本按照3∶2的比例隨機分配為訓練樣本和測試樣本進行交叉驗證。為保證準確性，將此過程重復多次，保證每次對樣本的分配都是隨機且不同的。

參考經典的LeNet-5[20]結構構建卷積神經網絡，構建了基于PLV腦網絡的卷積神經網絡，結構如圖5所示。

圖5 卷積神經網絡模型

神經網絡的前6層由卷積層和池化層間隔組成，卷積層可以提取輸入的不同特征，多個卷積層組成的網絡能提取較為復雜的特征，每個卷積層的輸出都經過線性整流(Rectified Linear Units，ReLU)函數的處理，用來增強網絡的非線性特性，在池化層輸入特征按照池化函數進行了一次降采樣，池化層可以降低數據的空間大小，從而降低參數的數量與計算量。模型的最后兩層分別為全連接層與高斯連接層，前者將輸入的矩陣展開為向量，后者為一個簡單的兩層BP神經網絡結構，通過對輸入特征向量的學習最終輸出為兩個結果，對應判斷結果為注意力集中或者注意力分散。

7 結果與討論

在未加入特征稀疏步驟前，對SBN算法的準確率進行了一個測試，提取θ、α、β頻段的PLV特征矩陣，每個頻段均進行了60次同條件分類準確率測試并繪制相應的統計圖，不同頻段數據的分類準確率盒須圖如圖6所示。由圖6可以看出，θ波頻段的特征分類準確率分布最為集中，且從平均分類準確率(θ頻段：90.90%，α頻段：85.71%，β頻段：87.76%)上，θ波頻段的特征亦得到了最高的平均分類準確率，因此，選擇該頻段作為算法的信息采集頻段。

圖6 分類準確率盒須圖

至此，利用θ頻段的同步性腦網絡特征實現了注意力的狀態分類，準確率高達90.9%。但這種方法在計算中的耗時仍是較大的，這主要是因為特征矩陣的維度較高，特征數量較多，如果將它們全部計算會極大降低計算的效率。為了解決這一問題，在算法中加入了特征稀疏化步驟，構建了SBN-IG算法。

為了驗證SBN-IG算法的效果，分別對θ頻段不同稀疏化強度的分類效果進行了測試，在進行多次預測試后，該文選擇從保留前10個特征開始，依次降低特征數量直至1個特征，每個特征數量情況進行60次同條件的準確率測試。θ頻段十種稀疏化強度的分類準確率的盒須圖如圖7所示。

圖7 特征數量與分類準確率盒須圖

可以看出在特征數從8個(平均分類準確率：86.88%)轉變為7個(平均分類準確率：81.16%)后，平均分類準確率明顯下降，分類準確率分布明顯分散，因此選擇保留8個特征作為特征選擇的結果，此時平均分類準確率為86.88%，在此稀疏化強度時，將需要的特征數量從4 096個(64×64)降低到8個，這大大提高了計算PLV矩陣的效率，為實現實時注意力檢測的目標提供了可能。

對SBN-IG算法保留的8個特征進行了統計，如表1所示。

表1 保留特征的統計結果

從表1可以看出，篩選出的特征在注意力集中狀態的平均值要低于注意力分散狀態，且從這8個特征對應的13個電極可以看出，電極多位于大腦頂葉與枕葉位置，這也與文獻[4]中得出的在θ頻段患有ADHD兒童兩半球間相干性更高的結論相吻合，進一步驗證了算法的有效性。

為了更直觀地展現算法的性能，選擇了文獻[1-2,5]中分類的算法進行比較，所有算法均使用文中設計實驗所采集的腦電信號，且均根據文獻描述完成了相應算法的構建與特征的提取，最終分類結果如表2所示。

比較所有算法的結果看出，在使用相同數據集的情況下，采用腦網絡特征的算法得到了較高的分類準確率，說明腦網絡特征能較好地反映大腦的注意力狀態。在所有算法中，SBN算法得到了最高的分類準確率，算法的可行性得到了驗證，同時，從算法效率上考慮，實際測試中在相同環境下分別對SBN與SBN-IG算法的分類平均用時進行了測算，測算方法為調用Python的time庫對算法運行的各個階段進行計時。結果表明，在扣除了算法訓練用時后，對一段3 s的腦電數據完成分類，SBN算法用時20.635 1 s，其中18.374 4 s用于數據預處理，SBN-IG算法用時1.730 5 s，其中0.264 9 s用于數據預處理。可以看出，相比于SBN算法，SBN-IG算法的效率得到了較大提升，具有更高的應用價值。

表2 各分類算法比較

8 結束語

該文提出了一種新的基于同步性腦網絡的注意力分類算法SBN。實驗結果表明，該算法針對注意力集中與分散兩種狀態有很好的分類效果。同時，為了解決該算法計算效率較低，無法實現實時注意力檢測的問題，設計并構建了一種新的基于同步性腦網絡和信息增益的注意力分類算法SBN-IG。該算法在SBN算法的基礎上加入了特征稀疏化步驟，在保證一定分類準確率的前提下，降低了算法需要計算的特征數目，從而提高了算法的運算效率。因此具有很高的應用價值。

在未來的工作中，會對兩個算法做進一步的優化，另外，考慮到同步性腦網絡特征重視結構性信息卻忽略了時域信息，可以引入一些能夠提取信號時域信息的算法如循環神經網絡等來擴展算法的結構，以進一步提高算法的分類效果。