基于無線腦電信號分析的實時疲勞駕駛檢測與預警研究

王 恁，周子敬，趙云芃，郭 浩，陳俊杰

(太原理工大學 a.信息與計算機學院，b.軟件學院，c.藝術學院，山西 晉中 030600)

隨著汽車數量的不斷增多，越來越多的交通事故已成為人們日常生活中的一個值得重視的安全問題，并已經引起了社會各界和政府的強烈關注。近期有關疲勞駕駛的研究表明，駕駛員因疲勞駕駛狀態下引起交通事故的概率是清醒駕駛狀態下的4～6倍[1]。當駕駛員處于疲勞駕駛狀態時，個人專注于駕駛的能力下降，反應時間的增加，錯誤操作的增加，可能引發嚴重交通事故[2]。因此，如能夠及時有效地檢測出駕駛員的駕駛狀態并使用某種方式預警，對那些因疲勞駕駛危及生命的機動車駕駛員是一項刻不容緩的工作，對預防交通事故亦是一個理論價值與現實意義并存的研究課題。

目前，多數研究利用生理信號來評價疲勞駕駛狀態具有客觀準確、采集方便等優點，其中腦電信號作為檢測疲勞的“金標準”，被認為是最準確、客觀的分析方法之一[3]。各類精神狀態可以用不同頻率的腦電信號來區分，如表1所示，低頻波和高頻波對應的精神狀態差別比較大。

表1 腦電信號頻率范圍及精神狀態Table 1 EEG frequency range and mental state

JAP et al[4]找到了4種算法(θ+α)/β，α/β，(θ+α)/(α+β)，θ/β可用于檢測疲勞的發生。王海玉等[5]使用各腦電波均幅值和相應比值共8項合成指標集成為腦電特征參數，平均正確率達到89.47%.WANG et al[6]使用(θ+α)/β和θ/β兩個參數的功率譜密度評價疲勞程度。劉天嬌等[7]使用腦電功率譜的比值R=(θ+α)/β作為檢測疲勞駕駛的指標。裴玉龍等[8]驗證了采用(θ+α)/β作為疲勞駕駛表征指標的有效性。但目前基于腦電信號的疲勞駕駛檢測這一領域還存在很多缺陷與問題，比如無法實現腦電波的實時傳輸，疲勞狀態的實時檢測與預警。

本文為解決基于腦電信號的疲勞檢測過程中存在的實時性、預測性以及駕駛員個體疲勞多樣性的問題，將使用美國NeuroSky公司腦電傳感技術的TGAM腦電采集模塊，搭配藍牙傳輸模塊實現實時無線傳輸功能。綜合各個腦電信號對人精神狀態的影響，使用FP1電極專注度與放松度的比值，(α+θ)/β的功率譜密度并結合眨眼頻率3項特征作為檢測疲勞指數的參數，得出3種特征值的疲勞指數閾值，并使用D-S證據理論合成算法得出一個綜合疲勞指數m(θ).整體設計如圖1所示。

圖1 疲勞檢測整體設計Fig.1 Overall design of fatigue detection

1 實驗設計

1.1 實驗方案

30名來自太原理工大學的本科生及研究生(男22名，女8名)作為本次模擬實驗的被試，年齡在22～28歲之間，均為右利手，身體狀況良好，自愿參加實驗。被試在實驗前48 h內保證充足睡眠，禁止食用酒水、咖啡等以及對意識有影響的藥物，并填寫“實驗情況表”，了解本次實驗流程以及科學可行性。實驗時間確定在15：00-16：30間，在模擬駕駛器內進行，要求被試佩戴裝有TGAM模塊和藍牙模塊的腦電耳機，前方設置高清攝像頭記錄整個實驗過程，連續駕駛90 min，另有一名記錄人員負責記錄被試的面部特征變化，如打哈欠、點頭、長時間閉眼等。場景選擇為景觀單一的高速公路，長時間直線行駛搭配少量彎道，極易產生疲勞[9]。

1.2 實驗設備及數據采集

主要實驗設備有：美國NeuroSky公司TGAM腦電信號采集模塊，采樣頻率512 Hz，50～60 Hz的AC交流噪音濾波器，能夠對采集的信號進行相應的濾波、放大、A/D轉換并輸出。具有通過ThinkGear傳感技術，通過放置在前額的一個傳感器以及放置在耳部的參考電極觸點進行腦電波信號測量，并通過集成芯片對這些信號進行處理。“eSense”是NeuroSky用于以數字化指數方式對人的當前精神狀態進行度量的專利算法。可采集基于“eSense”專利下的專注度指數和放松度指數，眨眼次數，原始腦電信號raw(16位)以及δ波、θ波、αLow波、αHigh波、βLow波、βHigh波的功率譜。各個腦電信號的頻率范圍以及對應的精神狀態如表1所示。模塊配套開發工具包MindSet Development Tools，連接工具ThinkGear Connector，基于以上兩種工具使用JAVA語言開發出TGAM模塊通過藍牙模塊連接到數據的工具(LinkToMindWave，基于JAVA語言開發，能夠實時分析并存儲數據到數據庫中)。與傳統的腦電信號采集器相比，具有功耗低、操作方便、便于攜帶等優點。還有漳州惠智科技有限公司的汽車駕駛模擬器(智能學車型，產品型號：CLT-330).

2 專注度與放松度分析

首先，“eSense”專利算法綜合δ波、θ波、α波、β波4種腦電信號，通過加權算法處理得到專注度(Attention)和放松度(Meditation)兩個指標，均為整數數值。周金治等[10]為了提高小樣本腦電信號的分類性能和準確率，采用一種基于相關系數分析的特征選擇方法，實驗結果表明，相關系數分析方法能提高分類識別準確率，并在參數選擇上優于傳統分類方法。

專注度和放松度兩者在同一時間段內存在著相關性，所以引用相關系數分析方法，公式如下：

(1)

將實驗采集到的90 min的腦電數據去掉前后5 min的實驗適應和實驗結束時間，將剩余的80 min腦電數據分成480個片段，每個片段為10 s，記為t1～t480.

“eSense”專利算法處理過后的專注度和放松度數值都在0～100之間(0是一個特殊值，表示由于過度的噪聲而造成的)，默認情況下一秒鐘輸出一次有效數值，通過對模擬實驗中的數據分析，在經過簡單的預處理(如剔除波動較大的數值和連續采集為0的數值等)之后得到如圖2所示的變化曲線，專注度與放松度的區別還是比較明顯的。圖中，在t120～t150之間，專注度數值明顯高于放松度，說明在25 min左右，被試集中注意力駕駛，無疲勞駕駛情況；在t330～t390之間專注度數值明顯小于放松度，說明在55 min左右，被試注意力開始放松，出現疲勞駕駛狀態，觀察人員也發現被試出現多余的動作。那么根據專注度和放松度隨時間的不同變化情況，就可以利用兩參數的比值變化來評價疲勞程度。

圖2 某被試專注度與放松度變化曲線Fig.2 Curve of concentration relaxation of a subject

本文將專注度與放松度的比值記為aA/M，那么就可以使用比值的大小來評價被試的疲勞程度。如圖3所示，55 min左右之前，aA/M值波動雖然很大，但是該比值還是保持在一個相對平穩的區間內；之后，aA/M值下降到0.8以下，同時記錄人員也記錄到被試開始出現打哈欠、點頭等多余動作，即開始出現疲勞駕駛情況；aA/M值最低為0.56，被試已處于疲勞駕駛狀態，經常性出現多余動作來保持清醒。

圖3 專注度與放松度比值的變化曲線Fig.3 Ratio of attention and meditation change curve

3 功率譜密度分析

本文采用功率譜密度分析被試整個模擬駕駛實驗中的功率譜密度變化，并采用3種波的功率譜密度比值作為評價疲勞的指標。

由于采集到的腦電信號θ波(3.5～6.75 Hz)，αLow波(7.5～9.25 Hz),αHigh波(10～11.75 Hz),βLow波(13～16.75 Hz),βHigh波(18～29.75 Hz)是以小字節序格式輸出為8個3字節無符號整數的序列，經過TGAM模塊的預處理，可直接輸出到線性自回歸(AR)模型中，再計算出相應的功率譜密度，就可得到(α+θ)/β的變化曲線。

本文使用基于Burg法的AR模型估計法計算腦電信號的功率譜密度(PSD).該方法可由下式表示：

(2)

式中：θ(k)是模型系數，模型階數p選擇為10階，w(n)為方差的白噪聲序列，根據AR參數[11]的估計，可以計算序列x(n)的功率譜密度：

(3)

根據FP1電極θ波、αLow波、αHigh波、βLow波、βHigh波的具體數值，通過式(3)的計算過程處理得到某被試的功率譜密度曲線，如圖4所示，α波，β波和θ波3種波形的功率譜變化趨勢趨于一致，高頻波θ波的功率譜密度要高于另兩個低頻波的功率譜密度，其中各個時間段的α=(αLow+αHigh)/2，β=(βLow+βHigh)/2.根據3種波的功率譜密度不同的變化情況，進而可以計算出(θ+α)/β的功率譜密度比值cPSD隨時間的變化曲線，如圖5所示。由圖可以看出隨著時間的增加，cPSD的比值也不斷增加，從1.95左右增長到4.5左右。由此可以發現，在連續駕駛45 min左右，疲勞指數即cPSD開始迅速增加；在55～75 min左右，疲勞指數即cPSD達到最大值區間(3.32～4.64).這個疲勞時間段也符合前文通過專注度與放松度得出的aA/M指數判斷疲勞的時間段。因而，基于功率譜密度比值的疲勞指數cPSD也可以作為評價疲勞的一種指標。

圖4 某被試功率譜密度曲線Fig.4 Power spectrum density curve of a subject

圖5 (α+θ)/β的功率譜密度比值變化曲線Fig.5 (α+θ)/β power spectral density ratio change curve

4 眨眼頻率分析

眨眼頻率可以反映一個人的疲勞程度，是面部特征中最容易檢測到的特征之一，這種方法被普遍應用于基于人臉識別的疲勞檢測。“eSense”專利算法中有基于腦電信號的眨眼檢測算法，實時處理眨眼產生的干擾眼電，使腦電信號能夠連續穩定。被試的每次眨眼情況會在系統中記錄眨眼信號，并反應在數據庫當中，即：眨眼頻率指數為1，否則為0.眨眼次數的增加被認為是被試在疲勞狀態下為了保持清醒所出現的一種狀態。通過統計TGAM模塊采集到每分鐘的眨眼次數，圖6為眨眼頻率變化趨勢大致相同(在相同時點段內存在眨眼次數相同情況)的4名被試。綜合所有被試的眨眼次數計算出模擬駕駛實驗中的平均眨眼次數，結果如圖7所示。

圖6 不同被試眨眼頻率變化趨勢Fig.6 Blink frequency curve for different subjects

圖7 眨眼次數變化曲線Fig.7 Blink frequency curve

從眨眼頻率來看，隨著駕駛時間的增加，眨眼次數也相應增加，這和觀察人員所觀察到的情況保持一致。前50 min左右的眨眼次數總體變化呈相對平穩上升趨勢，這表示在疲勞駕駛出現前，眨眼頻率相對較低；在模擬駕駛實驗50 min以后，被試每分鐘眨眼次數超過22次左右，便認定為開始出現疲勞駕駛情況。從總體看來，眨眼頻率隨著疲勞駕駛程度的加深而增大。

綜合以上3個評價疲勞的指標，可以總結為：被試各種參數中，當aA/M指數≥1，cPSD指數≤3.86且bBlink指數≤0.28時，被試處于正常駕駛狀態；當aA/M指數處于0.8～1區間內，cPSD指數處于3.32～4.64區間內且bBlink指數處于0.28～0.42區間內時，被試開始出現疲勞駕駛跡象；當aA/M指數≤0.8，cPSD指數≥4.23且bBlink指數≥0.42時，被試已處于疲勞駕駛狀態，應及時采取措施，結果如表2所示。

表2 疲勞指數對應疲勞程度的被試狀態描述Table 2 Description of the state of subjects with fatigue index corresponding to fatigue degree

5 k-最近鄰算法

為了解決疲勞駕駛檢測的實時性和預測性問題，本文涉及到的疲勞狀態的檢測更多是針對單個被試的多次模擬駕駛實驗，總計獲得實驗數據242組，樣本空間不大。在數據處理過程中發現，雖然每個被試的疲勞指數變化趨勢基本相同，但數值各不相同。因此分類算法的選擇需要在保證準確率的同時會優先選擇需要時間、空間較小的算法。通過對比支持向量機(support vector machine,SVM)、人工神經網絡(artificial neural network,ANN )和k-最近鄰(k-nearest neighbor，KNN)3種算法發現，在相同設備條件下(CPU：i7-6700 2.60 GHz)，以及在保證準確率相當的情況下，對比實驗中KNN所花費的時間要少于其他兩種算法，結果如圖8所示。

圖8 分類算法對比Fig.8 Classification algorithm comparison

k-最近鄰(k-nearest neighbor，KNN)是一個理論上比較成熟的方法，它通過測量不同特征值之間的距離進行分類。其基本思路是：如果一個樣本在特征空間中的k個最近鄰的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別，所選擇的鄰居都是已經正確分類的對象[12]。該算法時間復雜度低，準確度高[13]。距離計算方法使用歐氏距離：

(4)

根據對樣本數據的處理，在k值的選取上參考了相關研究的結論。由于實時的疲勞檢測存在時間點選取的問題，每個片段為10 s，則需要選擇的時間點應該為10的倍數。此外，算法的結果很大程度取決于唯一參數k的選擇，k值一般不大于20，k值較小則算法近似誤差較小、復雜度較高，同時結果對近鄰點的依賴性較大，容易發生過擬合問題；k值較大則近似誤差較大，同時較遠點也會對結果產生影響，容易發生欠擬合問題。因此，在k值和窗口大小的選擇上，優先考慮了在整數窗口大小上保證準確率最高。綜合考慮后，選擇k值為5，7，9，11，13，窗口大小為10～80，結果如下圖9所示。

圖9 KNN算法準確率隨窗口大小變化曲線Fig.9 Curve of accuracy of KNN algorithms with the change of window size

最后綜合確定k值大小設定為5，窗口大小設置為60，構建訓練樣本，然后對實驗數據分類統計，結果如表3所示。

表3 KNN分類結果Table 3 KNN classification results

6 基于改進的D-S證據理論合成算法

D-S證據理論起源于20世紀60年代的哈佛大學數學家DEMPSTER A P，后由其學生 SHAFER G對算法做了進一步研究，加入了信任函數的概念，形成了一套基于“證據”和“組合”的數學方法來處理不確定性的推理問題[14]。在先驗概率未知的情況下，該方法使用簡單的證據合成準則，將多個信息進行合成，得出較好的綜合結果，但隨著信息的增加該算法的計算復雜度成指數增長[15]。因此，本文采用一種基于加權和矩陣運算的改進的D-S證據理論合成算法，與傳統的基于D-S證據理論的多傳感器數據融合方法相比，該方法不但能提高證據合成的可靠性和準確性，而且具有較小的計算量[14-15]。

基于加權和矩陣運算改進的D-S證據理論合成算法的具體算法如下[14-16]：

1) 定義集合R={A1,A2,…,An}，Z=2R為R的冪集，對于任意一個屬于的Z子集A，令它對應數m，m(A)∈[0,1]，且m滿足：

(5)

則稱m為2R上定義基本概率賦值函數BPA(basic probability assignment function)，稱為A的基本可信數，反映了支持命題A發生的程度。將m(A)>0的命題定義為證據的焦元或焦點元素。

2) 計算各證據的平均值：

(6)

然后，計算各證據到平均證據的距離：

(7)

最后，計算各證據的可信度：

(8)

Mn=c1m1+c2m2+…+cnmn.

(9)

3) 構建基于基本概率分配的置信度矩陣M(n×m)維矩陣：

(10)

其中：

mi1+…+nim=1(i=1,2,…,n) .

(11)

將矩陣M中的某一行i進行轉置，然后與矩陣的另一行j相乘，即:

(12)

展開得到一個新的m×m維矩陣：

(13)

從式(13)可以看出，根據公式的分子部分，主對角線的元素即為傳感器i與傳感器j對目標基本概率分布的乘積，而矩陣中的其他所有元素的和構成證據的不確定因子，即：

(14)

令zj=ajj，則可得對應焦元的融合指標，即：

(15)

綜合KNN分類后3種特征對不同階段疲勞判定的準確率，構造出D-S證據理論中的基本概率賦值函數，利用改進的D-S證據理論合成規則對3種特征進行合成。這里設θ為aA/M，cPSD，bBlink的集合，按照改進的D-S證據理論算法進行合成，得到綜合疲勞指數m(θ)，結果如表4所示。

表4 D-S合成結果Table 4 D-S synthesis results

結果顯示，通過改進D-S證據理論合成規則后，對不同疲勞程度的判斷準確率都略高于單個特征判斷疲勞的準確率。由此可見，通過該合成算法可以達到提高準確率的效果，本文所使用的不同疲勞程度的準確率對比單個特征最高判斷準確率分別提升約6%，6.3%，1.4%.

本文還對比了改進D-S與傳統D-S證據理論合成算法，結果如表5所示。通過驗證相同數據量的合成結果，改進D-S算法在判斷不同疲勞程度的準確率都有所提升(約提升5.6%，4.8%，7.3%)，并且運行速率也有小幅度提升。由此可知，在輸入數據量相同情況下，本文所使用的判斷駕駛員疲勞駕駛的檢測方法輸入多種信號特征融合后的結果要略優于單特征檢測和傳統D-S證據理論方法。

表5 傳統D-S與改進D-S比較結果Table 5 Comparison of traditional D-S and improved D-S

7 結論

通過設計模擬駕駛實驗，實時采集基于TGAM模塊“eSense”專利下的專注度(Attention)指數和放松度(Meditation)指數、眨眼次數以及原始腦電信號θ波、αLow波、αHigh波、βLow波、βHigh波并使用數據庫實時存儲原始數據和分析結果。

首先，使用被試專注度和放松度作為疲勞檢測的特征，隨著駕駛時間的增加，專注度逐漸下降，放松度逐漸上升，使用專注度和放松度的比值可以明顯看出疲勞程度的變化，得到疲勞指數aA/M的閾值為：0.8～1.其次，通過計算θ波、α波和β波的功率譜密度，并得到3種波功率譜密度以及疲勞指數(α+θ)/β的功率譜密度比值變化曲線，θ波、α波的功率譜密度隨著駕駛時間的增加而增加，而β波的功率譜密度則減小，得到疲勞指數cPSD的閾值為3.32～4.64. 然后，通過統計單位時間內的眨眼次數，得到眨眼次數變化曲線。隨著駕駛時間的增加，眨眼次數也相應增加，得到疲勞指數bBlink的閾值為0.28～0.42.接著，針對3個疲勞指數的3種疲勞程度，使用KNN算法進行分類。最后，通過改進的D-S證據理論合成算法得到綜合疲勞判斷指數的準確率，對不同疲勞程度的判斷都略高于單個疲勞指數的準確率。并與傳統D-S合成算法進行比較，準確率也略有提升。

本文工作是基于無線腦電信號分析的實時疲勞檢測與預警的初步探索，采用模擬駕駛實驗得到的實驗數據量不夠全面，數據模式也比較單一。實驗結果得到的疲勞指數閾值也僅僅針對本組被試起作用。今后，為了提高準確率，后續實驗研究會繼續增加實驗樣本，以年齡和性別等對被試分類，這樣可以使疲勞閾值更加精確，更能體現出疲勞檢測的個性化設置；并增加更多針對性測試以及真實駕駛測試，使得出的疲勞指數閾值更全面；同時，為了降低預警延時，也將進一步優化算法處理精度和速度，也將對疲勞指數閾值進一步優化；還會考慮綜合其他疲勞指數，如眼動信號和肌電信號等，采用基于多源信息融合的方法來優化疲勞檢測準確率；并對疲勞預測過程中的各類問題進行更深入的研究。