融合眼動和腦電特征的疲勞駕駛檢測研究

徐軍莉,王 平,穆振東

(江西科技學院 協同創新中心, 江西 南昌 330098)

0 引 言

疲勞駕駛是造成交通事故的主要因素之一。2017年5月交通網資料顯示,2016年度京滬高速淮安段共發生交通事故787起。其中因疲勞駕駛導致的交通事故414起,約占事故總量52.6%。因此實時檢測出駕駛員是否處于疲勞駕駛狀態,并在出現疲勞駕駛時給出有效的預警是有著十分重要的現實意義。

為了降低由于疲勞引發的交通事故, 相關學者通過各種方法進行疲勞駕駛檢測研究。根據研究手段的不同, 疲勞駕駛研究可以分為3個方向[1]：①基于車輛行為的駕駛檢測, 包括車道偏離、車輛行駛速度、方向盤壓力、轉向轉速等，例如劉軍等[2]提出基于轉向盤轉角的疲勞檢測方法, 這種方法可高效地判斷出受試者的疲勞狀態；②基于駕駛行為檢測, 包括眼動行為、面部行為和頭部位置行為等，例如趙雪鵬等[3]以眼部行為為特征，提出基于級聯卷積神經網絡結構的疲勞檢測算法；③基于人體生理信號的檢測, 主要包括脈搏跳動、眼電、肌電、心電和腦電等，例如HU Jianfeng[4]采用樣本熵(SE)、模糊熵(FE)、近似熵(AE)和譜熵(PE)4種熵測度對原始腦電信號進行分析，并用10種最先進的分類器進行比較，發現將通道CP4、特征FE和分類器隨機森林(RF)相結合，可以獲得最佳的單通道性能。3種研究方式各有優缺點。如利用車輛行為作為特征的優勢在于實時性強，對受試者無干擾，但車輛行為特征并不能真正反映受試者疲勞的狀態變化，因而疲勞識別準確率基本在80%左右；利用駕駛行為特征的疲勞檢測克服了車輛行為不能直接反映受試者疲勞狀態變化的缺點，疲勞檢測率達到90%左右，但它的缺點是受光照變化、面部表情、復雜背景等因素的影響較大；直接利用生理特征作為疲勞檢測依據識別準確率最高，能達到98%以上，但是由于生理信號過于敏感，個體差異性較大，因而穩定性較差。因此為了更好的利用多種不同信號特征的優勢，很多研究者在疲勞檢測中綜合了多種不同的信號特征。例如白中浩等[5]利用眼睛閉合百分比Perclos(percentage of eyelid closure),眼皮的平均閉合速度Aecs(average eye closure speed)，哈欠頻率(yawning frequency)，點頭頻率(nod frequehcy)4個疲勞特征，借助自適應神經模糊推理系統檢測駕駛員疲勞，檢測準確率達93.3%；王琳等[6]通過提取表征頸腰部肌電特性的特征參數，并對特征參數進行主成分分析，以此為自變量建立疲勞檢測模型，檢測模型檢測率在90%以上。這些不同特征融合的研究結果表明：不同信號特征融合可以提高疲勞識別效果。但很多研究者大多是將同類特征之間進行融合，其中以人體生理特征之間的融合最多。其中EEG被譽為疲勞檢測的“金標準”。雖然生理特征檢測率高，但一旦移植到真實環境下，檢測率會較不穩定。而眼動特征是疲勞引發的一種帶有生理因素的外在特征，特征信號穩定。為了獲得高的檢測準確率和檢測穩定性,筆者擬將腦電特征和眼動特征動態融合作為反映受試者疲勞狀態的特征，然后從檢測的穩定性和準確率兩方面來比較基于融合特征的疲勞檢測模型與基于腦電(眼動)特征的檢測模型的性能。

1 疲勞駕駛實驗

1.1 實驗采集過程

實驗在一間屏蔽室里進行。眼動數據采用Ergoneers公司的Dikablis頭戴式眼球追蹤儀采集。具體實驗平臺和設備如圖1。腦電信號是用Neuroscan 32導電極帽采集。

圖1 信號采集平臺和設備Fig. 1 Signal acquisition platform and equipment

受試者坐在屏蔽室中，為了實現腦電和眼動信號的同步采集，受試者同時戴著電極帽和眼球追蹤儀。兩個設備的另一端分別接到室外的兩臺電腦上。眼球追蹤儀的信號被傳輸到室外電腦中的D-lab軟件中。D-lab軟件根據采集的眼動數據計算出眼睛閉合百分比Perclos，注視時間(fixation duration)，掃視長度(saccade length)等眼動參數信息。其中D-lab軟件的采樣頻率為25 Hz。電極帽將采集的信號放大后傳輸到室外電腦的Scan軟件中。其中電極帽采樣頻率為1 000 Hz。

實驗中選取了20名在校有駕駛證的大學生(男生14名，女生6名)作為受試對象，年齡在19～21歲之間。實驗選取模擬駕駛的軟件，通過實物方向盤操控駕駛過程。本實驗目的是要采集受試者在駕駛過程中不同狀態下的眼動數據和腦電數據。為了保證正常駕駛，要求受試者實驗前一晚無熬夜行為。實驗時間為下午14:00。受試者試駕5 min后，實驗員開始采集受試者的眼動和腦電數據。20 min后, 受試者填寫卡羅林斯卡嗜睡量表(karolinska sleepiness scale, KSS), 對當前自身的警覺狀態做一個評分。量表等級及計分如表1。

表1 KSS表Table 1 Karolinska sleepiness scale

KSS表將警覺度狀態分為9個等級, 得分越高表示受試者警覺度狀態越差。當受試者的KSS≥7則認定受試者處于疲勞狀態, 否則為未疲勞。每隔15 min, 受試者就要求填寫KSS問卷調查。當通過問卷調查確認受試者進入疲勞狀態,則開始采集受試者當前狀態的眼動數據。記錄時間為20 min，20 min后實驗結束。將整個實驗數據前10 min的數據作為清醒狀態數據, 最后10 min為疲勞狀態數據。因此每個受試者的腦電樣本數據有1 200×1 000個樣本數據, 其中清醒狀態數據600×1 000個, 疲勞狀態數據600×1 000個。而眼動數據以1 min為周期計算眼動參數, 因此每個受試者的眼動數據樣本為20個, 其中清醒狀態數據10個, 疲勞狀態數據10個。

1.2 疲勞特征的選取

根據原始眼動數據計算眼動參數, 包括Perclos, 注視時間(fixation duration),注視次數眼睛閉合百分比(number of fixation),掃視長度(saccade length),掃視次數(number of saccade), 瞳孔面積(pupil area)以及眨眼時間均值(t_zy)等。通過對受試者清醒和疲勞狀態下各眼動參數進行t檢驗, 發現兩種狀態下的Perclos, saccade length, pupil area及t_zy的p值都小于0.01。圖2顯示了某個受試者清醒和疲勞兩個狀態下Perclos, saccade length, pupil area及t_zy對比圖及t檢驗的對應p值。

圖2 某個受試者在清醒與疲勞狀態的眼動參數的對比Fig. 2 Comparison of eye movement parameters of a subject in awake and fatigue state

從圖2可以看出, 清醒狀態下的sccade length, pupil area的值普遍大于疲勞狀態下的對應值, 而清醒狀態下的Perclos, t_zy的值普遍小于疲勞狀態下的對應值。清醒狀態下的4個眼動參數的值與疲勞狀態下的對應值存在明顯的差異性。因此, 筆者將選用Perclos, saccade length, pupil area及t_zy作為眼動的疲勞特征參數。

腦電信號經過預處理后, 選取其中30導的數據, 電極的分布圖如圖3。從圖3可以看到1～30導對應的電極。利用小波熵函數提取受試者腦電特征, 然后采用KNN算法, 建立疲勞檢測模型對腦電樣本數據進行檢測, 發現檢測率大于70%的電極大部分都集中在第20～30導之間。因此為了提高疲勞檢測率, 選取第20～30導的10個電極提取的腦電特征作為疲勞特征指標。從圖3中可以作為腦電特征指標的10個電極分別為CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz、O2。此外,筆者參考MU Zhendong等[7-8]在論文中提到的分別采用前額的Fp1、Fp2和T5、TP7、TP8、Fp1提取的腦電特征作為疲勞特征指標。據此建立3個基于不同腦電特征的疲勞檢測模型。

圖3 國際10-20系統腦電極分布Fig. 3 Brain electrode distribution of international 10-20 system

2 建立疲勞檢測模型

2.1 建立基于眼動特征的疲勞檢測模型

當樣本數據的特征數較少, 且有較多交叉數據的待分類樣本集, KNN方法更為適合。因此,筆者選用KNN算法作為分類算法，分別采用Perclos, saccade length, pupil area及t_zy作為眼動疲勞特征建立疲勞檢測模型。由于實驗樣本中有部分樣本數據存在一定缺失值,只選取14例受試者的眼動樣本數據, 共280個樣本。其中200個作為訓練樣本, 80個作為測試樣本。表2中顯示了各疲勞檢測模型對每個受試者的檢測率、檢測率均值和方差。

表2 采用不同眼動疲勞特征參數的檢測模型的檢測率Table 2 Detection rate of the detection model with different eyemovement fatigue characteristic parameters %

從表2的各檢測模型的檢測率均值和方差可以看出, 檢測率均值較大的模型眼動特征是Perclos和saccade length, 檢測率均值較小的是pupil area和t_zy。但模型檢測率相對穩定的是pupil area、t_zy和saccade length。

2.2 建立基于腦電小波熵的疲勞檢測模型

小波熵是一個衡量非線性信號多尺度動力學行為有序、無序程度的量化指標, 它可提供信號非線性動力學過程復雜程度的信息。近年來, 小波熵在腦電信號中的研究日益受到關注, 國內外學者用小波熵研究腦電信號、誘發電位、事件相關電位等的復雜程度, 揭示了大腦電活動的動力學機制。因此, 將利用小波熵函數提取受試者的腦電特征。為了和眼動數據匹配, 筆者選取了相同14例受試者的腦電數據。然后用小波熵函數從CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz、O2共10個電極提取腦電特征建立疲勞檢測模型。為了與前期研究者選取的電極比較檢測效果。筆者也分別用小波熵函數提取了前額的Fp1, Fp2兩個電極,T5,TP7,TP8,FP1 4個電極的腦電特征, 并建立了對應的兩個疲勞檢測模型。表3中顯示了各疲勞檢測模型的檢測率。

表3 3個基于不同電極數的疲勞檢測模型的檢測率Table 3 Detection rate of three fatigue detection models based ondifferent electrode numbers %

從表3的檢測率均值可以看出, 基于10導電極的疲勞檢測模型的平均檢測率為92.48%, 明顯高于2導電極和4導電極的平均檢測率。對比表2和表3中均值和方差, 我們也能發現:基于腦電特征的模型檢測率普遍比基于眼動特征的模型檢測率高很多, 但穩定性卻普遍不如基于眼動特征的模型。

2.3 建立基于混合疲勞特征的疲勞檢測模型

由于采用10導電極作為疲勞特征指標的檢測效果更好, 因此在融合腦電疲勞指標和眼動疲勞指標時, 筆者將10導電極分別融合眼動的Perclos, saccade length, pupil area及t_zy,形成4個具有不同融合特征的疲勞檢測模型, 分類方法仍然采用KNN算法。4個混合疲勞特征模型和基于10導電極的疲勞檢測模型的平均檢測率對比如圖4。

圖4 不同特征的疲勞檢測模型檢測率的均值方差對比Fig. 4 Comparison of mean variance of detection rate offatigue detection models with different characteristics

從圖4中可以看出, 采用saccade length+10導平均檢測率為92.32%, 遠高于其他3個混合特征的平均檢測率, 只略微比采用10導的疲勞檢測值92.47%小一些。但從各檢測模型的檢測率方差可以看出, saccade length+10導的穩定性是最好的。因此, 采用saccade length+10導的混合特征的疲勞檢測模型效果是最好的。不僅具有較高的檢測率, 檢測效果還具有較強的穩定性。

3 結 論

為了減少因疲勞駕駛而導致的交通事故, 很多研究者已經開始對疲勞駕駛進行研究。為了兼顧疲勞識別的穩定性和高的檢測率, 筆者融合了腦電特征和眼動特征建立疲勞檢測模型。結論如下：

1)利用小波熵函數提取受試者腦電特征, 基于2導電極、4導電極、10導電極的疲勞檢測模型的平均檢測率都要遠大于單純選取某一個眼動特征建立的疲勞檢測模型的平均檢測率。其中以10導電極提取的疲勞特征建立的疲勞檢測模型的平均檢測率最高。

2)以10導分別融合眼動的Perclos, saccade length, pupil area及t_zy形成的4個具有不同融合特征的疲勞檢測模型中, 采用saccade length+10導的混合疲勞特征的疲勞檢測模型效果是最好的。不僅具有較高的檢測率, 檢測效果還具有較強的穩定性。

當然,在saccade length+10的混合特征中由于采用的腦電電極過多會增加計算量影響檢測速度。因此,如何在保證高檢測率和較強穩定性的前提下減少混合特征中的腦電電極數是未來進一步研究的方向。