基于生理信號的警覺度檢測研究綜述

張飛楊， 樊尚春,2,3*， 鄭德智,2,4

(1.北京航空航天大學 儀器科學與光電工程學院，北京 100191； 2.北京航空航天大學 大數據精準醫療高精尖創新中心，北京 100191； 3.工業和信息化部量子傳感技術重點實驗室，北京 100191；4.北京航空航天大學 前沿科學技術創新研究院，北京 100191)

警覺度描述的是人在一段時間內保持注意力集中或對刺激保持敏感的能力[1]，也被定義為意識到環境中潛在相關的、不可預測的變化的能力[2]，反映了大腦的警惕狀態。在太空飛行[3]、空中交通管制[4]、機動車人工駕駛[5]、機動車半自動駕駛[6]、長時間醫療手術[7]、軍事作戰[8]等任務中，操作員都需要在較長的工作過程中持續保持高度警覺。而警覺度的下降可能會導致任務失敗，甚至發生人員傷亡。檢測警覺度，可以在其下降到一定程度前進行預警或進一步的調控，以降低事故發生的概率。

警覺度的檢測方法可分為主觀和客觀兩類。主觀檢測方法是通過主觀自評或主觀他評判斷警覺度水平的高低。主觀自評是指在試驗中，被試者依據主觀感受填寫心理學量表，如卡羅林斯卡嗜睡測試量表[9]和斯坦福嗜睡測試量表[10]。量表結果可反映警覺度水平。主觀他評是由他人通過觀察被試者的表情、動作等外在表現[11]估計出被試者的警覺度水平。

客觀檢測方法主要有3種,分別為基于任務表現的方法、基于被試者行為的方法和基于生理信號的方法。基于任務表現的方法使用傳感器測量一些與被試者所執行任務相關的指標，如駕駛任務中的踏板壓力、方向盤轉角、速度、加速度、車輛在車道中的位置等，來評估被試者警覺度[12-13]。基于被試者行為的方法通過分析被試者的眼動、眨眼頻率、面部位置、頭部傾斜度[14-15]等來判斷警覺度的變化，一般使用攝像機[16]、紅外LED[17]等手段捕捉面部圖像，再提取被試者相關行為指標。基于生理信號的方法利用傳感器測量某個或某些生理信號，包括腦電(EEG)[18]、心電(ECG)[19]、眼電(EOG)[20]、脈搏波[21]、腦血紅蛋白濃度(CHC)信號[22]等，提取對警覺度變化敏感的信號特征，經分類或回歸得到警覺度的水平。

主觀檢測方法是由人的感受對警覺度進行評估，其優點是方法簡單，適合在實驗室中使用，可作為客觀檢測方法的對照；其缺點是準確性無法保證，不適合在現實任務中使用。

客觀檢測的3種方法中，基于生理信號的方法最直接地反映了人的警惕狀態，也能更早地識別出警覺度的降低，已經成為警覺度檢測研究的熱點。本文對基于生理信號的警覺度檢測方法進行了綜述。

1 基于腦電信號

在健康的人腦內存在著數以千億的神經元，而各個神經元依靠軸突來實現有效的連接，在面臨周邊因素刺激的情況下，大腦中的神經元會存在特殊的電信號，此類信號會構成頭皮位置的電位變化。此類信號可以較為精準地反饋大腦的具體狀態。因為腦電信號存在著相對較高的分辨率，因此被認為是有著最為理想預測性和警覺度的黃金指標。人類腦電信號按頻率又被劃為幾個頻段[23]。

delta節律(0.5～3 Hz)主要分布在成年人的額葉區域，其所占的能量也會隨著大腦從清醒狀態變為疲勞狀態而增加；theta節律(4～7 Hz)會在成年人困倦時出現，與反應的遲緩有關；alpha節律(8～13 Hz)在休息時出現在中央區，也會在放松或閉眼時出現，同時與控制減弱有關，也與不同腦區的抑制有關；beta節律(14～30 Hz)大部分出現在額葉，幅值較低，在積極思考、注意力集中、焦慮和警覺時出現[24]。

隨著警覺度的降低，以頻譜劃分成各種節律的活躍程度也會隨之改變。1993年，加州大學Makeig等[25]研究發現隨著警覺度的降低，alpha節律能量下降，theta節律能量會升高。2009年，悉尼科技大學Jap等[26]通過腦電實驗得出，隨著警覺度的下降，alpha波、beta波的平均幅值會明顯下降，(alpha+theta)/beta 則會顯著增加。

2010年，上海交通大學的Yu等[27]提出將腦電信號的稀疏表示應用于警覺檢測問題。他們首先利用連續小波變換提取腦電信號的節律特征，然后對小波變換系數進行稀疏表示。在模擬駕駛環境中收集了5名受試者的腦電記錄，并應用所提出的方法來檢測受試者的警覺性。實驗結果表明，提出的算法框架能夠成功地估計駕駛員的警惕性，平均準確率約為94.22%。同年，同濟大學Cao等[28]利用主成分分析(Principal Component Analysis,PCA)算法減小EEG數據尺寸并消除背景噪聲，利用Fisher算法篩選特征，之后使用支持向量機(Support Vector Machine,SVM)進行警覺度的分類，與未使用PCA算法的對照組相比，在alpha波段、beta波段、(alpha+theta)/beta和alpha/beta上得到了更高的精度。

2011年，上海海事大學的董書琴和謝宏[29]針對兩種不同程度的警覺度(清醒和睡眠)，采用公共空間模式算法對所采集到的腦電數據進行特征提取，用基于徑向基函數的SVM對提取的特征進行分類，通過網格搜索法獲得最優參數，與以頻帶能量作為特征的已有方法相比，得到了較高的準確率。

2013年，上海交通大學的Shi等[30]提出用一個新特征——腦電信號的微分熵，來表示警覺度水平。基于23名執行單調視覺任務受試者的腦電數據，發現與使用4個現有的表示警覺度的特征相比，平均估計準確率提高了5.9%。

2016年，西南交通大學的Zhang等[30]提出了一種基于可穿戴EEG和稀疏表示的駕駛員警覺檢測的車輛主動安全模型。該系統包括3個步驟：無線可穿戴式腦電采集、駕駛員警覺度檢測和車速控制策略。首次在提取腦電功率譜密度時引入稀疏表示分類和k-奇異值分解相結合的方法來估計駕駛員的警覺水平。仿真和實際測試結果驗證了車輛主動安全模型的可行性。

2017年，印度理工學院Samima等[32]利用EEG信號事件相關電位中的P300分量，提出了一種警覺估計系統。他們發現P300峰值及其潛伏期幅度的變化與警覺水平的變化有關，并提出了一個量化警覺度水平的公式。同年，韓國漢陽大學Kim等[33]使用了一種低認知負荷的實驗范式——d2注意測試，來尋找與警覺度相關的腦區，對31名年輕人進行的腦電圖實驗表明，左前額葉皮層在警覺調節中起著關鍵作用。

2018年，西南交通大學的Zhou等[34]提出了一種基于穩健主成分分析和無線可穿戴腦電采集技術的高速鐵路司機警覺度檢測方法。對10個不同駕駛員的駕駛腦電數據進行了測試，仿真和實驗結果表明，9 s內的分類精度可達99.40%。

2019年，哈爾濱工業大學的張美妍[35]從基于剝奪睡眠的低警覺度誘發實驗得到的EEG數據中，提取delta、theta、alpha、beta節律功率譜密度和能量比，以及短時傅里葉變換幅值和自回歸模型系數等特征，采用基于SVM的決策級融合的方法獲得的高、低兩種警覺度的分類準確率可達88.5%。

2020年，韓國高麗大學的Ko等[18]基于EEG信號的差分熵開發一種深度卷積神經網絡VIGNet，在公開數據集SEED-VIG上獲得的分類準確率為96%，高于使用SVM獲得的92%分類準確率。

基于腦電信號的警覺度檢測方法的發展大致可分為3個階段。如表1所示。

表1 基于腦電信號的警覺度檢測方法發展階段

基于腦電信號的警覺度檢測方法二分類準確率已經達到95%以上，但由于腦電信號易受環境電磁和用戶運動的干擾，制約了其實用化。未來，開發更適用于日常環境的腦電傳感器將是一個重要的發展方向。

2 基于心電信號

心臟每次跳動過程中，心電伴隨著起搏點、心房、心室相繼興奮而變化。心臟的收縮產生搏動，生成電信號，電信號可沿著特殊心肌細胞從體內傳導到體表，通過心電采集設備被檢測到。人的一個完整心電波形主要由P波、QRS波群和T波組成，部分人還會在T波后面出現一個U波[36]。如圖1所示。

圖1 心電波形示意圖

心電信號中，主要應對心率變異性(Heart Rate Variability，HRV)進行分析。心率變異性是指心率中R-R間期的變化，這種變化主要由自主神經系統(Autonomic Nervous System，ANS)控制。ANS分為兩個部分：交感神經系統和副交感神經系統。當被試者處在壓力、緊張和危急狀態時，交感神經系統活性增強，隨之而來會引起心率加快、血壓升高和呼吸急促；而在平靜放松的狀態下，副交感神經起主要支配地位，隨之而來反應是心率減慢、血壓下降、呼吸平緩。因此，心率變異性能夠反映任務中的多種心理狀態，例如壓力、心理負荷和警覺度變化[37]。

1969年，美國印地安那大學Porges和Raskin等[38]研究認為心率變異性會隨著警覺度的下降而下降。1977年，荷蘭感知研究所Riemersma等[39]以駕駛員為研究對象，研究其在夜晚長途駕駛過程中的心電信息變化，研究得出在整個過程中，被試者的心率下降，R-R間期標準差則上升，這一現象反映了交感神經的活性在整個過程中增強，進一步表明了疲勞程度的加深。

2010年，臺南成功大學的Chen等[40]通過心率變異性中時域、頻域和非線性的若干指標對警覺和非警覺狀態進行了區分，取得了98%的準確率。2011年，華東理工大學的Yu等[41]進行了午睡實驗，從心電信號中提取出了R波，對其進行了時域和頻域的分析，能夠很好地識別出睡眠到清醒兩個狀態的警覺度變化狀況。

2015年，威爾斯大學Sahayadhas等[19]利用心電圖和肌電信號，開發了一套能同時檢測睡意和注意力不集中等低警覺表現的系統。對采集到的生理信號進行預處理，去除噪聲和偽影。利用高階譜特征提取預處理信號特征。采用k近鄰法、線性判別分析和二次判別分析對特征進行分類，最高準確率可達96.75%。

由于影響心率的因素很多，如情緒、步速等，如何在實際使用中準確識別由警覺度變化引起的心率變化將是基于心電信號的警覺度檢測方法未來需要解決的重要問題。

3 基于腦血紅蛋白濃度信號

腦血紅蛋白濃度是指大腦皮層血管中的氧合血紅蛋白和還原血紅蛋白濃度，一般通過功能性近紅外光譜技術(Functional Near-Infrared Spectroscopy,fNIRS)[42]測量。使用腦血紅蛋白濃度信號檢測警覺度的研究較少，目前多是在研究警覺度與腦血紅蛋白濃度信號的關系。

2008年，德國維爾茨堡大學Herrmann等[43]首次研究并驗證了警覺度與額顳葉fNIRS信號的神經相關性。2009年，美國空軍研究實驗室Warm等[44]使用了經顱多普勒超聲和近紅外光譜檢測大腦血流速度和血氧濃度。結果表明，右側大腦半球的活動比左側大腦半球的活動更強，表明右側大腦半球系統控制了警覺表現。

2010年，坎特伯雷大學Helton等[45]利用fNIRS測量大腦氧合水平，進一步發現，在更簡單的警覺任務中，觀察到了與前人研究一致的偏側激活現象，但對于更困難的任務，則沒有發現這種偏側性差異。提出了一種猜想：單側大腦半球的警覺激活可能是使用相對簡單的任務的結果，而不是由警覺導致的。

2012年，同志社大學Hiroyasu等[46]研究比較了視覺刺激和聽覺刺激的心理運動警覺(Psychomotor Vigilance Task,PVT)任務和GO/NOGO任務中的大腦血氧變化，結果表明，視覺刺激任務的平均反應時間比聽覺刺激任務長。與聽覺刺激相比，在PVT任務中，視覺刺激的前額葉背外側皮質左側的血流量更多；在GO/NOGO任務中，視覺刺激相關的顳下回兩側和額葉下回右側的血流量更多[46]。

2018年，中國航天員科研訓練中心的曹勇等[22]通過10通道fNIRS技術采集了12名受試者前額部位的氧合血紅蛋白信號、脫氧血紅蛋白信號，并記錄下實驗中受試者的行為學數據。使用支持向量機模型對警覺度進行了高、中、低3種水平的分類，正確率為76.9%，并指出了警覺度變化最敏感的腦區位于右側前額。

相比于腦電和心電信號，基于腦血紅蛋白濃度信號的警覺度檢測方法研究還處于初級階段。改進預處理、特征選擇和分類算法以提高準確率是當前主要的研究方向。

4 基于其他生理信號

除了腦電、心電和近紅外血氧信號外，還有一些利用其他生理信號進行警覺度檢測的研究，如眼電信號、脈搏波信號等。

2014年，上海交通大學的馬嘉欣等[47]從EOG中提取了4種特征：慢眼移動(SEM)、掃視、眨眼和EOG能量。對22個受試者的EOG數據集的實驗結果表明，這4種特征的組合與警覺度的相關系數達到了0.75。

2017年，中國航天員科研訓練中心的曹勇等[21]招募10名受試者參加了持續95 min的警覺度“時鐘測試”，提取了受試者脈搏波信號的時頻域特征來對警覺度進行高、中、低3種水平的分類。10名受試者三分類正確率的平均值達到了88.7%。

2020年，上海交通大學的Zheng等[20]在模擬和真實駕駛環境中利用眼動追蹤眼鏡記錄PRECLOS指數作為警覺度的標注，提取由前額干電極采集的EOG信號的每個不重疊8 s時間窗內反映眨眼、掃視、凝視的36個統計特征，采用連續條件神經場的方法進行回歸，得到的最佳平均相關系數分別為71.18%(模擬駕駛環境)和66.20%(真實駕駛環境)。

相比于腦電，基于眼電信號的警覺度檢測方法目前準確率較低。與心電一樣，基于脈搏波信號的警覺度檢測方法也需要解決如何降低實際使用時的“誤判”問題。

5 基于多生理信號

多生理信號檢測系統較單生理信號的檢測能力更強，雖然信息量更多，但當其中某一來源的信息出現問題時，還有其他來源信息進行補充。使用多生理信號可以彌補各自信號的劣勢，強化了不同生理信號特征信息間的互補，從而提升了檢測結果的可信度、可靠性和對不同環境的適應性。同時，多生理信號是對目標多角度的測量，可以提高檢測性能，得到比任何單一生理信息都更高的分辨能力。而且由于生理信號采集的多元化，增加了測量空間維數，可以減小環境和人的客觀因素造成的影響，并提高檢測的準確度[23]。警覺度檢測中常用的多生理信號包括腦電、心電和眼電。

2011年，悉尼科技大學Khushaba等[48]收集了31名駕駛員不同警覺狀態下的腦電、心電和眼電信號，使用一種基于模糊信息的小波包變換進行特征提取，在所有受試者中獲得95%～97%的分類準確率。

2014年，天津大學的薛然婷[37]設計了以三位數加減法作為腦力負荷誘導警覺度變化和以PVT實驗結合心腦電設備測量該變化過程的實驗，提取了腦電和心率變異性的時域、頻域和非線性3個方面的指標，利用支持向量機進行分類，得到了88.28%的正確率，高于單獨使用腦電和單獨使用心率變異性分類的正確率。

2017年，上海交通大學的Zheng等[49]提出了一種結合EEG和額頭EOG并將警覺的時間依賴性引入模型訓練的多模態警覺估計方法，獲得了比單生理信號(EOG相關系數為0.78；EEG為0.7)更好的結果(0.85)。

2018年，西南交通大學的肖瓊[23]采集模擬駕駛實驗中的EEG和ECG信號，提取ECG信號的心率變異性和EEG信號小波分析后不同節律頻帶的平均幅值作為特征，利用T-S模糊神經網絡融合EEG和ECG識別警覺度，獲得了85.5%的分類準確率，優于單獨使用EEG信號82.4%的準確率和單獨使用ECG信號79.7%的準確率。

目前，基于多生理信號的警覺度檢測方法以融合EEG與其他電生理信號為主，且采集設備也較多，用戶使用體驗差。因此生理信號組合的優化和開發便攜式多生理信號采集系統是其未來的主要發展方向。

6 結論

① 在使用的生理信號中，腦電得到了最廣泛的關注和研究，被視為檢測警覺度的黃金標準，心電、眼電次之。fNIRS技術采集腦血紅蛋白濃度信號具有安全、低成本、便攜等優勢。相比于采集EEG等電信號的方法，fNIRS對電磁干擾更不敏感，更適合在真實環境中使用[42,50]。因此利用腦血紅蛋白濃度信號檢測警覺度前景廣闊，但相關研究近年才出現，需要進一步深入研究。

② 目前研究存在的普遍問題是分類數過少，絕大多數僅對清醒和困倦這兩種警覺水平進行判斷。但其實警覺度在困倦前就會下降，而操作人員需要持續保持警惕，因為危險狀況是隨時可能發生的。因此，僅僅二分類是無法滿足實際需要的。一種解決方案是開發連續或近似連續標注警覺度的方法，如文獻[20]中的PRECLOS指數。但不同標注方法需要進一步對比和優選。

③ 目前的研究有兩個方向的趨勢，一方面，趨向于通過尋找新的敏感特征、改進檢測算法、結合其他生理信號等來提高準確率；另一方面，趨向于將警覺度檢測實用化，開發穿戴式、無線化的警覺度檢測設備。