基于腦電信號的青少年注意力檢測和訓練系統①

王冰冰,許澤舉,羅 通,潘家輝

（華南師范大學 軟件學院,佛山 528225）

1 引言

1.1 研究背景

注意力（attention）是指人的心理活動指向和集中于某種事物的能力[1],是人們在生活與實踐活動中必須具備的一種重要心理品質.而青少年的生理和心理發展均處于變化的階段,易受外界影響,從而出現注意力不集中,學習效率低等問題.

但是,目前青少年注意力檢測和訓練的系統功能單一,檢測準確率低,在對青少年的注意力訓練上也呈現出效率低的問題.熊朝坤[2]提出基于腦電信號的便攜式注意力檢測系統,選取δ、θ、α和β四種節律作為特征值,并采用BP神經網絡分類算法進行分類,而該系統對注意力的檢測結果不穩定,非注意狀態的檢測準確率高于注意狀態.Sun等[3]提出兩個基于腦電的神經反饋球游戲,利用腦電波的θ和β節律區分玩家的不同大腦狀態,訓練方式單一且對于腦電特征值只考慮了θ和β節律,可信度有待提高.因此,檢測和訓練青少年的注意力具有重要的理論研究價值和廣闊的應用前景.

1.2 研究現狀

（1）腦電注意力檢測的相關研究

傳統的注意力檢測方法重視腦電信號特征提取.2008年,Janelle等通過對腦電信號的頻譜特征進行分析來確定大腦的注意力水平[4].相較于通過觀察θ波和β波能量比值大小來確定注意力的傳統方法,近年來,在提取腦電信號特征的基礎上,基于深度學習的腦電注意力檢測方法能夠將注意力進行分類.2011年,Li等[5]用K最近鄰（K-Nearest Neighbor,KNN）算法將腦電注意力分成了3類,平均準確率僅有57.03%.2013年,路榮等[6]提出了使用小波變換對獲取的腦電信號進行分析,通過支持向量機（Support Vector Machine,SVM）進行二分類的方法,注意力分類準確率達72.5%,但分類少.目前,腦電注意力檢測的研究有如下難點:① 注意力檢測分類類別少; ② 注意力分類準確率不佳.

（2）腦電注意力訓練的相關研究

國內外訓練注意力的方法有很多,但每種方法都有其局限性,而閉環腦電生物反饋感知技術作為無刺激、無副作用、訓練結果能夠長期保持的訓練方法,得到了許多學者的認可.2002年,北京大學精神衛生研究所學者姜榮環等[7]先后對7-15歲的90例患兒進行治療.結果顯示,隨著腦電訓練次數的增加,兒童注意力在不斷提高.現如今,結合游戲和腦電信號的注意力訓練方法成為研究的趨勢和熱點.2014年,Montani等[8]開發了一款迷宮游戲,其在獨特的非臨床環境下能夠改善創傷性腦損傷（TBI）患者的注意力.2019年,Choon等[9]利用3D游戲對ADHD患者進行干預和治療,針對的主要是患者的持續型注意力.目前,在腦電注意力訓練的研究中,訓練方式單一,僅針對注意力其中一方面的特性進行訓練,從而導致效率低.

基于此背景,本文研發了一個基于腦電信號的青少年注意力檢測和訓練系統,提出基于隨機森林算法改進注意力檢測的準確率,根據注意力的持續性、選擇性和集中性分別設計3個面向青少年的嚴肅游戲訓練模式,提高注意力訓練的效率,同時提供了可視化的反饋界面.

1.3 研究價值

針對以上研究現狀,本文的工作是:① 研發一個基于腦電信號的青少年注意力檢測和訓練系統,并提供可視化的反饋界面.② 對于腦電注意力檢測,利用隨機森林算法改進注意力檢測的準確率.③ 對于腦電注意力訓練,本文首次根據注意力的持續型、選擇型和集中型,分別設計了3個面向青少年的嚴肅游戲訓練模式,并利用閉環腦電生物反饋感知技術,以提高訓練的效率.

2 系統結構綜述

本文提出了一個基于腦電信號的青少年注意力檢測和訓練系統,系統總體結構設計如圖1所示,主要由腦電信號處理模塊、注意力檢測模塊和注意力訓練模塊3個模塊組成.在腦電信號處理模塊,通過OpenBCI腦機接口對腦電信號進行采集,并利用小波變換對腦電信號進行分析與特征提取; 在注意力檢測模塊,基于隨機森林算法對注意力進行分類,主要分成5類:high attention、medium-high attention、medium attention、medium-low attention、low attention; 在注意力訓練模塊,根據注意力的持續性、選擇性和集中性分別設計了3款面向青少年的嚴肅游戲,并提出4個評估指標,結合自身對照法進行有效性分析,驗證該訓練方法的可行性.

圖1 系統總體結構設計圖

3 基于腦電信號的注意力檢測與訓練

3.1 基于腦電信號的注意力檢測

3.1.1 注意力檢測的基本流程

在注意力檢測模塊中,使用8通道的OpenBCI腦機接口進行腦電信號的采集,采樣率為256 Hz.對預處理后的腦電數據利用小波變換進行分析與特征提取,提取好特征值后利用隨機森林檢測注意力,如圖2所示.

圖2 腦電注意力檢測基本流程圖

3.1.2 利用小波變換提取腦電信號特征值

在腦電信號分析與特征提取階段,利用小波變換從腦電信號中獲取功率譜密度（Power Spectral Density,PSD）特征.小波分析是將時域和頻域結合起來的適用于多尺度的時頻分析,連續小波基定義如式（1）所示.

其中,ψs,a（t）表示基本小波的位移與尺度伸縮,可以用來分析不同時段的信號成分,s為平移因子,為尺度參數,是歸一化因子.對于信號f（t）,連續小波變換及其逆變換公式如式（2）和式（3）所示.

本文主要采用Daubechies小波變換系數[11]對腦電信號的特征進行提取.Daubechies小波具有良好的時間局部性,在給定的支撐寬度N=2A下具有最大的消失矩數,并且在2A-1個可能的解中,選擇其縮放濾波器具有外部相位的一個[12].其中,Daubechies 4小波兼具正交小波的緊支集和平滑性,在對非平穩的腦電信號進行分析中有較好的效果.圖3是利用Daubechies 4小波對原始信號進行6層分解的示意圖.

圖3中,S表示待分解的原始信號,A（n）（n=1,2,3,···）表示分解后得到的低頻信號,D（n）（n=1,2,3,···）則表示分解后得到的高頻信號.各分量所對應的子頻分別與δ、θ、α、β和γ相對應.每個子帶都有明確的物理含義,分解圖如圖4所示.

圖3 6層小波樹分解示意圖

圖4 小波分解提取的5種節律圖

3.1.3 使用隨機森林算法進行注意力檢測的數據處理過程

本文主要對4個通道（TP9,TP10,AF7,AF8）的腦電信號進行特征提取,提取的腦電信號節律[13]為δ（0 Hz

利用小波變換提取腦電信號特征值后,本文使用隨機森林算法（Random Forest,RF）[14]對注意力檢測的數據進行分類處理.隨機森林是多個決策樹分類器{h（x,φk）,k=1,2,···}的集合,且參數集{φk}是獨立同分布的隨機向量,每一棵決策樹對輸入的特征變量X單獨分類,并且按照分類的結果進行預測,然后組合多棵決策樹的預測結果,以投票的方式選擇得票最多的分類結果作為輸出.整個算法主要包括了兩個部分,決策樹的建立和投票過程[15].檢測流程如圖5所示.

圖5 基于隨機森林算法的注意力檢測流程圖

（1）決策樹的建立

隨機森林利用自助法（bootstrap）重抽樣技術[16]從原始的樣本中抽取出多個樣本,并生成多個決策樹分類模型.決策樹的建立步驟如下:① 采取有放回的抽樣方法從N個原始訓練集中隨機抽取一個bootstrap樣本進行分析,重復k次.② 將每個bootstrap樣本作為訓練集訓練一棵決策樹,并作為決策樹根節點處的樣本.在決策樹的每個節點處需要分裂時,隨機從X個特征變量中選取x（x?X）個特征變量進行計算,按照節點不純度最小的原則,從x個特征變量中選取最佳特征變量作為該節點的分支.③ 決策樹的建立過程中,每個節點均按照步驟 ② 的方式進行分裂,且不進行剪枝操作.

隨機森林在決策樹的建立過程中引入了兩個隨機因素:一是從 N 個原始訓練集中抽取的bootstrap樣本,二是選擇決策樹節點時隨機選取特征變量作為分支.因此,隨機森林正確率穩定,不容易過擬合.

（2）投票

通過不同的樣本構建不同的決策樹,增加分類模型之間的差異,提高分類模型的預測能力.經過k輪的訓練后得到分類模型的序列{h1（X）,h2（X）,···,hk（X）},將它們組合并采用簡單多數投票的方法得到最終的分類結果.分類決策如式（4）所示.

其中,H（x）表示組合后的分類模型,hi（x）是一個決策樹的分類模型,Y 表示目標變量,F（hi（x）=Y）為示性函數.

3.2 注意力訓練的原理和實現

3.2.1 注意力訓練的原理

本文運用了3種類型的注意力原理和閉環腦電生物反饋感知技術對注意力訓練功能進行實現.其中,閉環腦電生物反饋[17]是一項結合心理和軀干的腦電技術,主要利用操作性條件反射的原理,通過選擇性地增強或抑制特定腦電波活動的頻率、位置、幅度或持續時間,使用戶能夠在特定條件下保持大腦狀態,并通過訓練改善認知功能.

本文提出基于閉環腦電生物反饋感知技術的注意力訓練方式,如圖6所示,以游戲的形式增加用戶的興趣,讓用戶在輕松的氛圍中提高注意力,且無不良反應.同時,注意力不集中不僅和心理有關[18],也和持續型注意力、選擇型注意力[19]和集中型注意力有一定聯系.因此,本文分別針對注意力的持續性、選擇性和集中性設計了3個嚴肅游戲:“拔河”游戲,“小鳥歷險記”游戲和“貪吃的果凍”游戲,如圖7,圖8和圖9所示.

圖6 注意力訓練流程圖

圖7 “拔河”游戲（持續型注意力）界面展示圖

圖8 “小鳥歷險記”游戲（選擇型注意力）界面展示圖

圖9 “貪吃的果凍”游戲（集中型注意力）界面展示圖

3.2.2 注意力訓練游戲的實現

用戶通過自身的注意力控制游戲,具體的實現過程如下:通過腦機接口獲取用戶腦電信號,利用隨機森林算法進行注意力檢測,將檢測后的結果量化為用戶在游戲中的注意力水平:high值注意力量化為1,mediumhigh值為0.75,medium值為0.5,medium-low值為0.25,low值為0.在持續型游戲中,只有當用戶的注意力水平超過一個特定的閾值時,游戲中角色的力氣才會大于敵人的力氣; 進行選擇型游戲時,用戶的注意力水平的高低操控著游戲中小鳥角色的飛行方向（向上、向下或水平飛行）; 針對集中型游戲,本文對游戲中的角色賦予了特殊技能,當用戶的注意力集中并達到最大值時,游戲中的角色便可釋放技能.

為提高注意力的訓練效率,我們對游戲圖形界面做了如下優化:① 在界面的展示上,以青少年為定位設計游戲中的各種背景和角色,提高用戶興趣.② 在游戲過程中,游戲的控制參數以界面中的進度條的形式實時向用戶反饋,構成了游戲的核心:閉環腦電生物反饋感知.用戶通過注意力控制著游戲中的角色,同時,游戲也將用戶的注意力程度反饋給用戶,用戶通過進度條的長短得知自己的注意力程度后有意識地控制自己的注意力,進而達到提高注意力的效果.

4 實驗與結果分析

4.1 注意力檢測方法驗證實驗

4.1.1 離線實驗

本實驗選用Personal EEG Concentration Tasks數據集來驗證注意力檢測的有效性,隨機選取70%的樣本作為訓練集,30%的樣本作為測試集,并利用不同的算法對注意力進行五分類,結果如表1所示.

表1 不同算法進行注意力五分類的測試結果（%）

實驗結果表明,在5個算法中,隨機森林準確率達76.17%,損失率為23.83%,召回率為70.61%,精確率達83.00%,該結果說明了基于隨機森林算法的注意力檢測方法具有較高的準確率.

4.1.2 在線實驗

圖10概述了本文實驗的整體流程.以任務的方式誘發受試者的注意力,同時記錄其腦電信號.當完成任務后,要求受試者填寫情緒自評量表（Self-Assessment Manikins,SAM）量表的效價維度（valence）以此報告他們的注意力狀態,即high attention、medium-high attention、medium attention、medium-low attention、low attention.

圖10 在線實驗流程圖

在線實驗選取20名身體健康的受試者（50%男性,50%女性）,年齡范圍為8-20歲（平均值=15.95,標準差=4.63）.本實驗中的任務主要有3類:① 屏幕上出現計算題,受試者需要在規定時間3 min內計算出答案; ② 受試者在3 min內完成掃雷游戲; ③ 屏幕呈現一篇文章,受試者在3 min內閱讀完畢.實驗過程如下,首先向受試者介紹valence的含義,接著每個受試者進行任務,在每項任務前有10 s的準備時間,結束后屏幕中央會出現SAM量表,以收集他們的注意力指標（valence維度）,點擊“提交”后,休息 1 min.在試驗期間,受試者坐在舒適的椅子上,避免眨眼以及移動身體,根據指示完成整個實驗過程.

在進行測試之前,需要收集腦電信號數據來進行模型的訓練.3個任務為一組實驗,我們收集了每個受試者10組的實驗數據,并使用OpenBCI腦機接口以256 Hz的頻率收集腦電信號,每4 s作為一個時間單元,以50%的重疊率進行采樣.然后移除存在較多偽影的前4 s和后4 s的腦電信號.最后通過比較預測結果和真實標簽來統計準確率.

4.1.3 結果分析

圖11展示了20個受試者在測試過程中分別采用5種算法進行注意力檢測的準確率.表2展示了測試過程中各種算法的平均準確率.從表2可以看出,對于注意力檢測的在線實驗,隨機森林的準確率顯著優于其他方法（P<0.05）.

表2 在線實驗各種算法進行注意力五分類的平均準確率（%）

圖11 在線實驗不同對象進行注意力五分類的準確率

4.2 注意力訓練方法結果及分析

4.2.1 實驗步驟

本實驗選取10名身體健康的受試者（50%男性,50%女性）,年齡范圍為8-18歲（平均值=12.5,標準差=4.32）,采用自身對照法（self-controlled study）驗證訓練方法的有效性.自身對照是指將每名受試者在進行訓練前、后的測試結果進行自身比較[20],具有良好的可比性和較高的可信度.實驗期間,每位受試者安靜地坐在椅子上,避免過多的移動,對實驗的結果造成影響.

每位受試者進行3次實驗,在第一次實驗前和每次實驗后,每位受試者均需要完成一次5×5的舒爾特方格量表,并記錄下完成所需的時間和該時間段內的腦電信號.每個實驗由3個階段組成:準備階段、訓練階段和休息階段.準備階段持續3 s,在此期間受試者需要主動避免注意到屏幕中的游戲; 在訓練階段,先進行持續型注意力訓練,記錄受試者通關所需的時間,再進行選擇型注意力訓練,記錄受試者失敗時的分數,最后進行集中型注意力訓練,記錄受試者釋放技能的次數.休息階段是持續5 s的放松時間,在此期間,受試者可以將注意力從屏幕上轉移.

4.2.2 有效性分析

針對10名受試者,主要有以下評估指標:

（1）完成舒爾特方格量表的時間;

（2）持續型游戲獲勝需要的時間;

（3）選擇型游戲失敗時的得分;

（4）集中型游戲中釋放技能的次數.

10位受試者第一次實驗前和每次實驗后完成舒爾特方格量表所需的時間如圖12所示; 圖13（a）-圖13（c）分別展示的是10位受試者每次實驗持續型游戲獲勝需要的時間、選擇型游戲失敗時的得分、集中型游戲中釋放技能的次數.

從圖12和圖13中可以看出,受試者完成舒爾特方格量表的時間顯著降低,持續型游戲獲勝需要的時間不斷降低、選擇型游戲失敗時的得分有所增加、集中型游戲中釋放技能的次數明顯增加,4個指標均有顯著變化（P<0.05）.出現這樣的結果可能有兩個原因:（1）因不斷地訓練,受試者對游戲環境的熟悉程度逐漸增加;（2）閉環腦電生物反饋感知技術的有效性.為探究閉環腦電生物反饋感知技術對3次實驗的影響,我們另外設計了一個實驗.在相同受試者的基礎上,我們刪除了第3次實驗游戲中腦電生物反饋的相關元素,即游戲界面中的用于顯示受試者注意力水平的進度條和背景音效.其中,圖14展示了前3位受試者每次實驗的4個評估指標的結果.為便于比較,我們將指標2的值縮小了10倍.

圖12 完成舒爾特方格量表所需時間

圖13 10位受試者實驗結果展示

圖14 前3位受試者3次實驗4個評估指標結果圖

由于受試者對游戲愈加熟悉,即使沒有腦電生物反饋,注意力雖在一定程度上也有所提高,但在沒有腦電生物反饋的情況下,4個指標的變化率遠低于使用閉環腦電生物反饋感知技術的變化率.

4.2.3 注意力訓練方法比較與分析

注意力訓練的相關研究有很多.2020年,Yoshida等[21]采用包含300種刺激的假隨機呈現的3組聽覺Oddball范式,提出基于腦電信號的專注冥想（Focused Attention Meditation,FAM）方法進行注意力的訓練,通過對比腦電信號在Oddball任務、靜息狀態和FAM前后8周的結果,證明了FAM訓練的有效性.2019年,Shereena等[22]采用腦電神經反饋訓練方式設計訓練任務,通過增強β波抑制θ波,從而改善ADHD兒童的注意力,同時利用神經心理學測試、行為測試等評估方法對訓練效果進行評估,表明腦電神經反饋訓練方式能提高ADHD兒童的注意力,可作為其治療方案.

表3 受試者完成舒爾特方格的時間和注意力檢測結果對比表

綜上,本文在注意力訓練方面的貢獻如下:

（1）根據持續型、選擇型和集中型注意力,多角度、有針對性地設計嚴肅游戲.

（2）將注意力檢測結果進行量化,并作為控制參數操控對游戲進行操控,且具有一定準確性.

（3）提出基于閉環腦電生物反饋感知技術,利用注意力的3大特性設計的嚴肅游戲作為訓練注意力的方法.

（4）提出4個指標對受試者進行實驗,并驗證該方法的有效性.

5 總結

本文基于腦電信號研發了一個青少年注意力檢測和訓練系統,提出了基于隨機森林的注意力檢測方法和基于嚴肅游戲與閉環腦電生物反饋感知技術的注意力訓練方法.本文進行的實驗可驗證注意力檢測模型的準確性和訓練模型的有效性,一定程度上保證了系統的穩定性和有效性.

在現有研究的基礎上,對于嚴肅游戲訓練注意力的研究可以更加深入,如考慮受試者的耐受性狀態; 結合眼電、肌電等其它生理信息進行比較,使得分析的結果更加全面.近年來,閉環腦電生物反饋感知技術憑借其無創傷、副作用小的優勢正逐漸發展為提升注意力的一種有效的訓練工具,而基于嚴肅游戲的腦電注意力訓練方法可以一種潛在的ADHD患者的新療法.