舒爾特方格與LSTM的注意力分級建模

王 湃，吳 凡，汪 梅，秦學斌

西安科技大學 電器與控制工程學院，西安 710054

注意力是心理活動對一定對象的指向和集中，是伴隨著感知覺、記憶、思維、想象等心理過程的一種共同的心理特征[1]。駕駛過程中的注意力問題一直是駕駛員和飛行員面臨的首要問題，一旦他們的注意力分散，就會造成嚴重交通事故[2]。通過對駕駛員的不同注意力狀態進行監測并預警能夠有效地降低事故的發生率[3-4]。為此，基于腦電信號的注意力分級研究成為該領域內的研究熱點問題。

劉素杰[5]通過構建腦網絡，并結合樣本熵等腦電的非線性特征對注意力分級進行研究，該方法可以對兩級注意力水平和多級注意力水平進行區分，其準確率分別為84.54%和73.43%。龔琪[6]通過提取游戲者的頻域各節律特征，定性分析專注游戲狀態下的腦電頻域特征，并通過計算腦電信號中的節律波頻段與原始腦電信號的相關系數，實驗得出在游戲者的腦電信號中，α波的相關系數有所提升。吳歡等[7]設計相關實驗獲得腦電數據，分別對β波/θ波能量占比特征和樣本熵特征對注意力的分級進行對比，最終得出樣本熵對于多級注意力的區分度更好。但是這兩種方法采用的都是腦電中的特定波段作為信號特征，勢必會造成特征損失，這種方法對于注意力與非注意的區分效果較好，但是對于注意力多級分類效果不一定好。陳群等[8]采用深度森林的算法對注意和非注意兩種狀態下的腦電信號進行分析，得到較高的識別準確率。上述的方法未提取出時序特征，不能體現出時序腦電信號的關聯性，腦電信號的時序特征對于注意力分類能起到很大作用。以上的研究大大推進了基于EEG信號的注意力的研究，但是仍然存在一些亟待解決的難點問題：（1）腦電信號采集范式沒有統一的客觀評價標準，不同注意類型的腦電數據采集和標注困難；（2）采用節律數據，不能保證原始腦電信號的完整性，腦電信號時序特征被忽視；（3）現有的注意力研究大多區分的是注意和非注意兩種狀態，一部分研究提到的注意力多級分類大多只是區分兩種注意力狀態和靜息態共三類狀態，極其缺少高注意力、中注意力和低注意力這樣的注意力多級分類研究。

針對上述問題，本文提出一種基于舒爾特方格與LSTM的注意力分級模型：設計舒爾特范式實現對不同注意類型腦電數據的采集以及自動標注；采用原始腦電信號，保存腦電數據的完整性；搭建LSTM深度學習網絡提取注意力特征并將注意力分為高注意力、中等注意力以及低注意力。

1 基于舒爾特方格與LSTM的注意力分級模型結構設計

如圖1所示，基于舒爾特方格與LSTM的注意力分級模型主要包括腦電多級注意力數據庫構建、腦電數據預處理、腦電信號特征提取與分類等三部分，分別由舒爾特方格范式、小波包分解和LSTM注意力分級網絡實現。

圖1 基于舒爾特方格與LSTM的注意力分級模型Fig.1 Flow chart of attention classification model based on Schulte grid and LSTM

2 舒爾特方格范式設計

2.1 傳統范式介紹

現有的注意力范式如下：Ke等[9]采用了一種運動員做球類運動視頻作為注意任務刺激，被試坐在屏幕前，屏幕上播放運動視頻，要求被試集中精力注意視頻中運動員的肢體動作，并想象是自己在做運動，與之相對的非注意任務中，屏幕中仍然播放相同的視頻，被試仍然注視屏幕，但無需作運動想象而是思考一些與任務無關的事情。Ming等[10]采用了一種吃魚游戲作為注意任務刺激，被試坐在屏幕前，屏幕上播放游戲視頻，要求被試集中精力注意屏幕，并假想游戲是由自己控制，控制一條小魚不停地游動并吞食其他生物，與之相對的非注意任務中，屏幕中仍然顯示與注意任務一樣的游戲視頻，被試仍被要求注意屏幕，但不需要做出任何反應，不得思考游戲相關內容。燕楠等[11]則采用了讀論文和心算作為注意任務刺激，與之對應的非注意任務則要求被試放松，并且不可以注意某一特定的事物。上述研究中的范式能夠得到不同注意力水平的腦電數據，但是仍然存在一個技術難題：沒有可以量化的指標，數據評價不夠客觀。

2.2 基于視覺搜索和反應時技術的舒爾特方格范式設計

視覺搜索是認知心理學家長期以來用于研究在復雜視場中注意分配的經典范式，為檢驗各種注意理論提供了一個平臺，典型的視覺搜索任務要求被試記住搜索目標，并對視場中是否存在目標作出反應[12]。本注意力采集范式正是基于視覺搜索范式，按照數字大小搜索目標并作出點擊反應。

反應時技術范式是現代認知心理學實驗研究中最廣泛使用的手段之一[13]。反應時間（RT）是心理實驗中使用最早、應用最廣的反應變量之一[14]。20世紀80年代末到90年代初，內隱學習研究中出現了新的研究范式-序列學習范式，用以研究人們對序列規則的無意識活動[15]。序列反應時任務正是序列學習范式中的經典任務之一，它以反應時間作為反應指標，以序列規則下的操作成績和隨機序列下的操作成績之差來表示內隱學習的學習量[16]。本研究正是使用反應時間作為不同注意力水平的衡量標準，并用準確性作為實驗條件，使注意力數據更客觀。

本研究采用自制舒爾特方格游戲作為注意力數據采集范式。舒爾特方格是美國神經心理醫生舒爾特發明的，主要是訓練飛行員的注意力，它主要訓練內容包括視覺、聽覺、動覺注意力訓練和注意力的穩定性、廣度、轉移、分配等注意力要素特征的訓練[17]，并可訓練孩子的學習能力和細心性格。舒爾特方格已是普遍認為可用來訓練注意力的方式，用此作為范式將使離線實驗數據更為客觀。

圖2為舒爾特方格實驗范式設計，包括練習階段和實測階段。首先進行實驗訓練并接受實驗指導，然后進入實測階段，依次按下1、2直到25，如果其中有錯誤的地方，點錯的格子會閃紅提示報錯，提示被試。實驗完成后實驗員對數據進行保存。并記錄完成的時間以及準確率。

圖2 舒爾特方格范式Fig.2 Schulte grid paradigm

2.3 腦電數據采集平臺

本研究采用的腦電信號采集設備是Emotiv System公司開發的Emotiv傳感器，Emotiv傳感器以P3/P4為參考電極[18]，上面安裝著14個電極，可以采集到14個通道的腦電信號，并進行放大與濾波，然后通過無線USB技術傳回計算機。Emotiv傳感器的電極安放位置采用國際10-20導聯制。

Emotiv的傳感器頭采用濕電極，鹽水作為輔助材料，增強信號質量。腦電耳機通過無線USB以及EmotivPro軟件從遠程服務器獲得各種數據。圖3為腦電數據采集平臺，安卓端為舒爾特方格范式應用程序，數據采集為頭部的Emotiv Epoc+腦電耳機，筆記本負責記錄并保存數據。

圖3 腦電數據采集實驗平臺Fig.3 EEG data acquisition experimental platform

3 腦電數據預處理

腦波信號的主要頻率在0～30 Hz，處理過程中應該將高頻的擾動信號去除[6]，所以需要先對腦電注意力信號進行濾波處理[19]，一方面保證數據的有效頻率，另一方面去除高頻噪聲，提升數據準確性。

本研究采用小波包分解對腦電數據進行預處理。小波包分解是小波變換的推廣，小波包借助于小波分解濾波器在各個尺度上，對每個子帶均進行再次降半劃分，從而得到比二進離散小波變換更精細的信號分解[20]。小波包是采用非周期信號，通過縮放平移變換的基函數的系數，構成時頻尺度圖，以便分析突變信號的位置和頻率可以選擇性去除一部分系數，再反變換回時域信號，達到濾波的目的[21]。

采用db30小波濾波器對信號進行6層分解，使用shannon熵得到小波包樹[22]，最終重構得到0～30 Hz的有效數據，達到濾波去噪的目的。圖4和圖5為濾波前后的腦電數據對比，從圖中可以看出，很明顯濾掉了大量的噪聲，提升特征提取準確率。

圖4 濾波前腦電數據波形Fig.4 EEG data waveform before filtering

圖5 濾波后腦電數據波形Fig.5 EEG data waveform after filtering

4 基于LSTM的注意力分級模型

4.1 LSTM網絡原理

本研究通過設計LSTM網絡對注意力分級。LSTM是通過引入由輸入門、遺忘門和輸出門構成的門控單元系統而產生的一種RNN變體。

LSTM神經網絡記憶單元的基本結構如圖6所示，LSTM用內部記憶單元即細胞的狀態保存歷史信息，并利用不同的“門”動態地讓網絡學習適時以往歷史信息，依據新信息更新細胞狀態，以解決RNN中梯度消失與梯度爆炸的問題[23]。

圖6 LSTM神經網絡記憶單元Fig.6 LSTM neural network memory unit

遺忘門用來計算哪些信息需要忘記，通過sigmoid處理后為0到1的值，1表示全部保留，0表示全部忘記，于是有：

式中，括號表示兩個向量相連合并，w f是遺忘門的權重矩陣，σ為sigmoid函數，b f為遺忘門的偏置項[24]。設輸入層維度為dx，隱藏層維度為dh，上面的狀態維度為dc，則w f的維度為dc×(dh+dx)。

輸入門用來計算哪些信息保存到狀態單元中，分兩部分，第一部分為：

該部分可以看成當前輸入有多少是需要保存到單元狀態的。第二部分為：

該部分可以看成當前輸入產生的新信息來添加到單元狀態中。結合這兩部分來創建一個新記憶。

而當前時刻的單元狀態由遺忘門輸入和上一時刻狀態的積加上輸入門兩部分的積，即：

輸出門通過sigmoid函數計算輸出信息，再乘以當前單元狀態通過tanh函數的值，得到輸出[25]。

4.2 基于LSTM網絡的注意力分級模型

采用LSTM提取序列的前后依賴關系從而提高識別準確率。如圖7所示，本文LSTM網絡總共分為五層，主要包括序列輸入層、LSTM層、全連接層、SoftMax層以及分類輸出層。

圖7 LSTM深度神經網絡結構圖Fig.7 Structure chart of LSTM deep neural network

5 實驗與結果分析

5.1 實驗設計方案

本研究采用的實驗設計方案如下：（1）高注意力任務：受試者坐在屏幕前，戴上腦電采集裝置，并確保信號質量較好，視覺與屏幕保持平齊，雙手或單手操作舒爾特方格，開始游戲后要求受試者集中精力，在30 s內按照順序查找并點擊數字；（2）中等注意力任務：受試者坐在屏幕前，開始游戲后要求受試者集中精力，在40～50 s內按照順序查找并點擊數字；（3）低注意力任務：受試者坐在屏幕前，開始游戲后要求受試者集中精力，在1 min以上按照順序查找并點擊數字。在整個實驗過程中，保持實驗環境安靜，讓受試者坐在一個舒適的靠背椅上，全身肌肉處于一種放松狀態，不產生任何的肌肉緊張與運動，保證受試者不受外界干擾。

10位健康受試者，年齡在20～25歲之間，均在頭腦清醒的情況下接受測試，受試者都是有具備該范式采集的經驗，腦電電極按照國際標準10～20系統放置，實驗共采用14個導聯。所有數據采集完成后，首先去除采集數據過程中有錯誤次數的數據，然后對數據進行以下條件篩選：高注意力任務條件下需要完成時間在30 s以內的數據并且準確率在100%才能作為有效數據；中等注意力任務下需要完成時間在40～50 s以內的數據并且準確率在95%以上才作為有效數據；低注意力任務下需要完成時間在1 min以上并且準確率在90%以上才能作為有效數據。以上三種注意力標簽的時間范圍均為大量實驗獲得，可以更好地區分三種注意力水平。

總共得到接近35 min的實驗數據，考慮到實驗對比，分別得到1 s樣本數據2 100個，三種標簽樣本個數各占700個，其中每一個樣本為128×14的矩陣數據；2 s樣本數據1 050個，三種標簽樣本個數各占350個，其中每一個樣本為256×14的矩陣數據；3 s樣本數據690個，三種標簽樣本個數分別占230個，其中每一個樣本為384×14的矩陣數據。

5.2 注意力數據庫的分級準確性分析

對于專注程度的定義方式多為節律信號的組合比值，其中應用比較廣泛的定義方式有兩種：

其中Eα、Eθ、Eβ均為單位時間內的頻段能量值。E通過計算的α、β和θ波段的小波相對能量得到。其中F1越高表示注意力水平越低，F2越高表示注意力水平越高。

分別采用1 s、2 s和3 s作為單位時間，使用F1[26]和F2[27]作為專注度模型，進行不同注意力水平的節律能量對比結果如下：

（1）1 s作為單位時間，F1作為專注度模型，實驗結果如圖8。

圖8 1 s+F1的不同注意力節律能量比值Fig.8 1 s+F1 Rhythm energy ratio of different attention

如圖8所示，整體趨勢上低注意力數值大于中注意力大于高注意力，其代表注意力水平越高，對應的F1值越小，與F1對于注意力的表達一致。

在t（單位：s）等于1、2、8、9時很難區分中注意力和低注意力，主要是由于F1專注度模型只是包含β和θ波段的小波能量，不能夠完全表征原始腦電注意力狀態，所以判斷出現問題。

（2）1 s作為單位時間，F2作為專注度模型，實驗結果如圖9。

圖9 1 s+F2的不同注意力節律能量比值Fig.9 1 s+F2 Rhythm energy ratio of different attention

如圖9所示，整體趨勢上低注意力數值小于中注意力小于高注意力，其代表注意力水平越高，對應的F2值越大，與F2對于注意力的表達一致。

在t等于1、2、3時很難區分高注意力、中注意力和低注意力，主要是由于F2專注度模型只是包含α、β和θ波段的小波能量，不能夠完全表征原始腦電注意力狀態，所以判斷出現問題。

（3）2 s作為單位時間，F1作為專注度模型，實驗結果如圖10。

圖10 2 s+F1的不同注意力節律能量比值Fig.10 2 s+F1 Rhythm energy ratio of different attention

如圖10所示，整體趨勢上低注意力數值大于中注意力大于高注意力，其代表注意力水平越高，對應的F1值越小，與F1對于注意力的表達一致。

在t等于8、12、20時很難區分中注意力和低注意力，主要是由于F1專注度模型只是包含β和θ波段的小波能量，不能夠完全表征原始腦電注意力狀態，所以判斷出現問題。

（4）2 s作為單位時間，F2作為專注度模型，實驗結果如圖11。

圖11 2 s+F2的不同注意力節律能量比值Fig.11 2 s+F2 Rhythm energy ratio of different attention

如圖11所得，整體趨勢上低注意力數值小于中注意力小于高注意力，其代表注意力水平越高，對應的F2值越大，與F2對于注意力的表達一致。

在t等于4、16時很難區分高注意力、中注意力和低注意力，主要是由于由于F2專注度模型只是包含α、β和θ波段的小波能量，不能夠完全表征原始腦電注意力狀態，所以判斷出現問題。

（5）3 s作為單位時間，F1作為專注度模型，實驗結果如圖12。

圖12 3 s+F1的不同注意力節律能量比值Fig.12 3 s+F1 Rhythm energy ratio of different attention

如圖12所示，整體趨勢上低注意力數值大于中注意力大于高注意力，其代表注意力水平越高，對應的F1值越小，與F1對于注意力的表達一致。

在t等于9、12、27時很難區分中注意力和高注意力，主要是由于F1專注度模型只是包含β和θ波段的小波能量，不能夠完全表征原始腦電注意力狀態，所以判斷出現問題。

（6）3 s作為單位時間，F2作為專注度模型，實驗結果如圖13。

圖13 3 s+F2的不同注意力節律能量比值Fig.13 3 s+F2 Rhythm energy ratio of different attention

如圖13所得，整體趨勢上低注意力數值小于中注意力小于高注意力，其代表注意力水平越高，對應的F2值越大，與F2對于注意力的表達一致。

在t等于15、27、30時很難區分高注意力、中注意力和低注意力，主要是由于F2專注度模型只是包含α、β和θ波段的小波能量，不能夠完全表征原始腦電注意力狀態，所以判斷出現問題。

5.3 注意力分級準確率對比

本文采用十折交叉驗證法，1 s樣本的訓練數據為1 890個，測試數據為210個；2 s樣本的訓練數據為945個，測試數據為105個；3樣本的訓練數據為621個，測試數據為69個。然后將其余9份依次作為測試數據共可得到10次準確率，10次平均即得到最終的識別準確率。分別采用DWT、近似熵、共空間模式（CSP）以及基于相干系數的注意力腦網絡作為特征并結合支持向量機SVM作為分類算法以及CNN對數據進行分類處理，并與本注意力分級模型對比，并得到1 s、2 s和3 s樣本前提下的識別準確率。

實驗結果如表1所示。由表1可以看出：對比各種算法，LSTM方法識別準確率顯著高于各傳統機器學習算法，以1s樣本為例LSTM識別準確率高出各傳統機器學習算法至少13.32%，高出CNN9.05%，主要是由于在大樣本的前提下，深度學習算法相對傳統機器學習算法有極大的優勢，可提取泛化能力，即更本質的特征，LSTM除了具有普通深度學習網絡的優點外，還具有提取時間序列信號的前后依賴關系特征，而EEG信號在時序前后本身就具有極強的關聯性，另外，隨著樣本長度增加，其樣本數據量減少，這些也就是在腦電注意力研究方面，LSTM極大優于各經典特征提取算法的主要原因。在小樣本的前提下，傳統機器學習算法隨樣本量的減少，其準確率變化相對不大，而深度學習算法隨著樣本量的降低，準確率有明顯的降低。綜上所述，由于LSTM所具備的大樣本下的優勢以及時序特征的提取，因此，LSTM更有助于腦電注意力的分級研究。

表1 識別準確率對比表Table 1 Comparison table of recognition accuracy

6 結論

注意力分級模型在駕駛員注意力監測方面具有重大的意義，因此本文提出了基于舒爾特方格和LSTM的注意力分級模型，具體完成如下工作：

（1）采用舒爾特方格作為數據采集范式，量化檢驗指標，并采用原始腦電數據，保證數據完整性，實現對不同注意類型數據的采集以及自動標注。

（2）采用小波包實現腦電數據的濾波和去燥，并設計長短時記憶深度學習網絡，實現不同注意力水平的分級。

（3）實驗結果表明：本注意力分級模型可以很好區分高、中、低三種注意力水平；對比DWT、近似熵、CSP、基于相干系數的腦網絡特征提取算法以及CNN，五種基于腦電信號的注意力分級方法，本模型識別準確率高出DWT21.49個百分點；高出近似熵算法25.82個百分點；高出CSP算法20.53個百分點；高出基于相干系數的腦網絡算法13.32個百分點；高出CNN9.05個百分點。