一種基于多傳感器融合的疲勞駕駛檢測方法

張長隆

?

一種基于多傳感器融合的疲勞駕駛檢測方法

張長隆1,2

（1.湖南大學 電氣與信息工程學院，湖南 長沙 410000；2.長沙智能駕駛研究院有限公司，湖南 長沙 410000）

為減少交通事故，提出一種基于多特征融合的疲勞檢測方法，以提高疲勞檢測精度。其檢測方法是：首先通過響應的傳感器采集駕駛員眼部、嘴部及車輛方向盤特征，再經過狀態判別單元綜合處理，最終判定駕駛員是否處于疲勞駕駛狀態。通過三個特征的融合，開啟疲勞駕駛檢測門限條件，并對三種特征分別取不同的權重，運用Fisher線性判別算法進行分類，最終對駕駛員是否在疲勞駕駛做出判定。最后通過實驗驗證了基于多特征融合的疲勞檢測方法較之單一要素檢測的準確率更高，并能夠實時監測，具有可行性與正確性。

疲勞駕駛；方向盤特征；眼部特征；嘴部特征；特征融合

1 引言

隨著社會經濟的發展，機動車輛與日俱增，疲勞駕駛一直是影響駕駛安全的重要因素之一。據調查，我國與疲勞相關的交通事故占事故總數的20%左右，占重特大交通事故的40%以上[1]。因此，為減少疲勞駕駛而引起的交通事故和保障人們的人身安全，研究有效的方法來實時檢測駕駛員的疲勞狀態是非常必要和具有重要意義的。

目前，國內外對駕駛員疲勞駕駛檢測的方法主要有：主觀檢測和客觀檢測。其中，主觀檢測方法主要有：駕駛員自我記錄表、皮爾遜疲勞量表、睡眠習慣自我記錄表、斯坦福睡眠尺度表[2]。

客觀檢查方法主要包括：

1）駕駛員生理參數，比如腦電圖、心電圖、肌電圖、脈搏等特征；此方法的優點是能夠準確的判斷出駕駛員是否處于疲勞狀態，尤其是腦電是測量睡眠的金標準，其缺點也顯而易見，這種方法需要一些電線或電極接觸駕駛員身體，不受駕駛員歡迎[3]。

2）駕駛員行為特征，包括PECRCLOS法、點頭時間檢測、視線方向檢測、點頭頻率等；3）車輛特征，包括方向盤轉動變化特征、手握方向盤力度特征、車道偏離特征、前方車距等。

主觀評價雖然容易實現，但是它僅僅是駕駛員的主觀判斷，駕駛員所處的環境不同、記憶力相異、身體狀況和個體差異，都會影響判斷。當今的研究熱點是將多重駕駛疲勞檢測方法有機融合，并綜合判斷。因為多源信息融合可以彌補單個檢測方案的局限性及不足，從多個方面全方位的判定駕駛員的疲勞程度[4][5]，使檢測系統具有更強烈的實用性和精確度。

本文結合實際道路條件，進行駕駛員疲勞駕駛測試，分析了駕駛員疲勞情況下的方向盤操作特征，從方向盤修正頻度、幅度、時間三個方面并融合眼部及嘴部的特征，建立了駕駛員疲勞狀態實時監測系統，并在駕駛模擬器上進行仿真驗證。

2 基于特征融合的疲勞算法

如圖1所示，為基于特征融合的疲勞駕駛檢測系統示意圖，其中包括三個單元，分別是：1）數據采集單元，包括視覺-面部特征傳感器及車輛狀態傳感器；2）狀態判別單元，包括眼部、嘴部及方向盤特征的數據融合；3）報警單元，本系統采用聲音預警提示。

圖1 基于特征融合的疲勞駕駛檢測系統示意圖

2.1 基于眼部及嘴部特征的疲勞駕駛檢測

基于駕駛員眼部及嘴部特征的疲勞檢測可以大致分為兩個部分：眨眼（或眼睛微閉，此時眨眼次數增多，且眨眼速度變慢）及打哈欠（嘴巴張大且相對較長時間保持這一狀態），分別對應為眼部特征、嘴部特征。本文從跟蹤定位眼部及嘴部入手，利用圖像處理技術通過對駕駛員眨眼及打哈欠的情況進行監測，發現疲勞狀態時進行報警提示。

如圖2所示，為基于眼部及嘴部特征的疲勞駕駛檢測流程示意圖。

圖2 基于眼部及嘴部特征的疲勞駕駛檢測流程示意圖

基于駕駛員眼部及嘴部特征的疲勞檢測具體流程為：

Step1：提取圖像幀，進行人臉檢測，并對人臉的眼部及嘴部進行粗定位；

Step2：眼部及嘴部精確定位，基于68點的landmark點的標號直接定位眼睛位置，計算眼睛的睜開度同時，利用OpenCV的人臉檢測算法及Harris角點檢測算法，獲取嘴部特征值K1。若k1大于閾值T1，則進行Step3，否則K2=K1/2，count=0回到step1，進行下一幀圖像的提取，重新進行駕駛員人臉檢測；

Step3：提取眼部外輪廓，通過左右眼的各六個特征點，進行長寬比計算，表征了駕駛員眼睛的睜開度，通過設定一個初始閾值來確定駕駛員的眼睛是睜開還是閉上。同時，提取嘴部內輪廓，取嘴巴的寬度值和高度值之比，做為特征值K2，若K2大于閾值T2，則Step4，否則count=0，返回Step1，檢測下一幀；

Step4：統計哈欠特征count=count+1，當count超過閾值且下一幀的哈欠特征消失，保存count到Yawn，Yawn(i)= count，count=0（count清0，回到Step1，否則直接跳轉到Step1；

Step5：基于眼部及嘴部的特征融合及決策，分析完1min內所有圖像，計算眨眼及打哈欠特征總數，并計算眨眼及打哈欠的頻率，當打哈欠的頻率大于10%時則認為是深度哈欠或者至少連續兩個淺哈欠，則發出疲勞預警。然后根據PERCLOS值作為可靠指標，分別將眼部特征和嘴部特征取不同的權重，其中，眼部特征的權重為0.8.嘴部特征的權重為0.5，首先計算單一指標的疲勞程度，然后將對應的權重與單一疲勞度相乘甲醛，綜合疲勞值為0-0.23為清醒狀態，0.23-0.69為輕度疲勞，0.69-2.3為重度疲勞。

2.2 基于方向盤特征的疲勞駕駛檢測

研究發現，隨著駕駛人疲勞程度的增加，對方向盤的控制精度降低。當駕駛員處于正常駕駛狀態時，方向盤轉角的幅度較小，轉向頻率較大[6]。而當駕駛員處于疲勞駕駛狀態時，對方向盤操作表現出低頻大幅修正特征以及長時間持續不動后大幅快速修正特征[7]?？梢娡ㄟ^檢測方向盤的轉動情況，可以判斷駕駛人的疲勞水平。當檢測到方向盤持續長時間的不動時，判定為疲勞駕駛，發出預警[8]。

方向盤特征采集的方法是：通過羅技模擬器模擬駕駛員相關動作，并選取車速為中速時的情況，進行駕駛過程中方向盤數據的采集。

疲勞判定條件如表1所示，為三種，分別為：1）10秒之內方向盤的修正頻度，即在10s內僅出現2-4次的修正頻度時，可以進行駕駛員疲勞提醒；2）方向盤轉角絕對值，即，在沒有轉向燈信號的情況下，認為車輛處于直行狀態，在直行的情況下，出現6度以上的修正角度，則可以進行駕駛員疲勞提醒；3）方向盤持續不動時間，即車輛在中速行駛的過程中，考慮到方向盤轉向裕度，如果出現4s中未對方向盤進行任何操作，則認為駕駛員處于疲勞狀態。

表1 基于方向盤三大特征的疲勞駕駛判定指標

2.3 基于眼部、嘴部及方向盤特征融合的疲勞駕駛檢測

以上我們描述了幾種常用的疲勞駕駛檢測方法，在得到以上數據的基礎上，我們首先將方向盤4S不動作為疲勞駕駛檢測系統開啟條件。之后將眼部、嘴部及方向盤特征信息進行加權統計，利用Fisher線性判別算法對駕駛員疲勞狀態進行綜合判定，利用有向無環圖模型進行數據分析，最終給出駕駛員的疲勞狀態的判定結果。如圖3所示，為基于特征融合的疲勞駕駛檢測流程圖。

圖3 基于特征融合的疲勞駕駛檢測流程圖

具體流程為：

Step1：根據方向盤轉角特征，判定方向盤在4s的時間內是否發生轉動；

Step2：若發生轉動，則進入基于眼部及嘴部特征的疲勞駕駛檢測和基于方向盤特征的疲勞駕駛檢測；若沒有發生轉動，則進入step1；

Step3：特征融合之數據融合，即利用Fisher線性判別算法對駕駛員疲勞狀態進行綜合判定。

其中Step3的Fisher線性分類器決策的出發點是：把所有的樣本都投影到一維空間，使得投影后兩類相隔盡可能遠，而對同一類的樣本又盡可能聚集。其判別算法如式（1）所示：

式中，1為駕駛員眼部及嘴部融合特征；

2為方向盤特征；

1、2、3為清醒、輕度疲勞、重度疲勞三種狀態下的判別函數；

a、b、c（i=1,2,3）為Fisher算法系數，通過參與訓練的樣本決定。

Step4：特征融合之數據分析決策，即在經過Step3的數據融合之后，對數據進行分析決策，得出最終的疲勞判定結果。

其中Step4的數據分析決策采用基于改進的支持向量機的學習方法，支持向量機(SVM)是一種基于結構風險最小化準則的學習方法，是借助最優化方法，解決機器學習問題的一種二分類工具，對小樣本、非線性以及高位識別問題更具有優勢。而本文經過數據融合處理后的特征為多個特征，即：基于眼部及嘴部、基于方向盤10秒內修正頻度以及基于方向盤轉角絕對值三個特征。在此采用將多個SVM進行組合的方法，即有向無環圖模型。該方法的優勢在于分類速度快，且沒有分類重疊和不可分類的情況。在對多個“一對一”二元子分類器進行組合的過程中，引入圖論中有向無環圖的思想，將多個二元分類器組合成多元分類器。對于一個m元的分類問題，有向無環圖共有(-1)/2個節點，對應(-1)/2個二元分類器，分布于m層結構中。如圖4所示，為有向無環圖結構示意圖。頂層只含有1個節點，成為根節點，第二層含有2個節點，以此類推，第i層有i個節點，最底層有m個葉節點，其中，第j蹭的第i個節點只想第j+1層的第i個和第i+1個節點。

對于給定的輸入樣本X，從根節點出發，計算每個節點的決策函數值，若為1，則從左邊進入下一個節點，若為-1，則從右邊進入下一節點，然后計算下一個節點的值，以此類推，在最后一層葉節點處的輸出就表示了X所屬的類別。

基于三通道信息的疲勞駕駛行為分析共有三個狀態，即清醒、疲勞、重度疲勞，因而需要構建3個SVM，每次判斷時，調用2個分類器即可，各SVM的優化參數通過訓練樣本給出。

圖4 有向無環圖結構示意圖

3 實驗數據

由于實驗條件的限制，并考慮到疲勞駕駛這一實驗的安全性，本文算法的方向盤數據采集基于羅技模擬駕駛實驗平臺。通過串口實時獲取駕駛行為數據，包括仿真時間、方向盤轉角、方向盤轉角速度、檔位信息、離合踏板位置、剎車踏板位置、加速踏板位置等變量。如圖5所示，為在100ms的采樣頻率下，模擬駕駛平臺的輸出數據。

圖5 模擬駕駛平臺的輸出數據

同時，為了在實驗過程中能盡快出現疲勞駕駛狀態，對參與實驗的部分駕駛人員進行睡眠限制，實驗前一天限制參與實驗的駕駛人員睡眠時間為1:00am-6:00am 共5h，實驗當天上午禁止駕駛人飲酒、茶和咖啡。駕駛模擬實驗選在駕駛人最易出現疲勞的時間段進行，開始時間為14:00pm，持續2h。選取了300個測試樣本，其中，清醒狀態的樣本為184個，疲勞樣本為116個。通過本文提出的融合算法進行樣本疲勞狀態識別，其中清醒狀態的正確檢測數量為172個，疲勞狀態的樣本正確檢測數量為100個，經統計清醒與疲勞狀態的正確識別率為90.6%。而基于單一面部特征的清醒狀態的正確檢測數量為164個，疲勞狀態的樣本正確檢測數量為91個，檢測準確率為85%，基于單一方向盤特征的清醒狀態的正確檢測數量為157個，疲勞狀態的樣本正確檢測數量為81個，檢測準確率為79.3%。如表2所示，為基于單一特征和基于多傳感器融合的疲勞駕駛檢測方法的判定結果。

表2 基于單一特征和基于多傳感器融合的疲勞駕駛檢測方法的判定結果

4 結束語

在研究了多種疲勞駕駛檢測方法的基礎上，提出了基于眼部、嘴部及方向盤特征融合的疲勞駕駛檢測系統。該方法利用OBD傳感器獲取車輛本身的信息，比如方向盤轉動信息、轉向燈信息、車輛加速度等，同時，利用CCD攝像頭獲取駕駛員眼部及嘴部特征，融合眼部、嘴部三方面的特征對駕駛員疲勞狀態進行檢測。最后，在保證安全的情況下，利用駕駛模擬器進行了仿真實驗，在不降低檢測速度的情況下，提高了檢測精度，漏檢誤檢少，受環境影響小，成本低等特點。

[1] 2006年全國道路交通事故情況, 道路交通管理,2007(2):22-23.

[2] Friedrichs F, Yang Bin. Drowsiness Monitoring by Steering and Lane Data Based Feathers under Real Driving Conditions. 18th European Signal Processing Conference, Aalborg, 2010:23-27.

[3] 王磊,吳曉娟,俞夢孫駕駛疲勞磕睡檢測方法的研究進展陰生物醫學工程學雜志,2007,24(1):245-248.

[4] Wierwille W W, Ellsworth L A, Wreggit S S, et al. Research on Vehicle-Based Driver Status/Performance Monitoring: Development, Validation, and Refinement of Algorithms for Detection of Driver Drowsiness. Report DOT-HS-808-247, NHTSA, US Department of Transportation, 1994.

[5] Wylie C D,Shultz T,Mitler M M,et al.Commercial motor vehicle driver fatigue and alertness study: Technical summary[R].

[6] 李偉,何其昌,范秀敏.基于汽車操縱信號的駕駛人疲勞狀態檢測. 上海交通大學學報,2010, 44(2): 292-295.

[7] 李嘯.轉向盤轉角特性在駕駛疲勞檢測中的應用研究[D].北京林業大學, 2009.

[8] 張希波.基于方向盤操作的駕駛人疲勞檢測方法研究[碩士學位論文].北京:清華大學,2009.

A Fatigue Driving Detection Method Based On Multi-Sensor Fusion

Zhang Changlong1,2

( 1.Hunan Univessity College of Electrical and Information Engineering, Hunan Changsha 410000; 2.Changsha Intelligent Driving Research Institute Co., Ltd, Hunan Changsha 410000 )

In order to reduce traffic accidents, a fatigue detection method based on multi-feature fusion is proposed to improve the fatigue driving detection accuracy.The detection method is: firstly, the driver's eye, mouth and steering wheel characteristics are collected by the corresponding sensors, and then comprehensive processing through state discrimination unit,and finally the driver is judged whether he is in the fatigue driving state or not by the comprehensive processing of the state discrimination unit.Through the fusion of the three features, firstly,the threshold condition of fatigue driving detection is opened, then the three features are classified by Fisher linear discriminant algorithm, finally, the driver is judged whether he is driving in fatigue or not.Experiments show that the fatigue detection method based on multi-feature fusion has higher accuracy than other single element detections, and can be real-time monitoring, which is feasible and correct.

Fatigue driving;Steering wheel features;Eye characteristics;Characteristics of the mouth;Charac -teristics of the fusion

A

1671-7988(2018)24-131-04

U467.4

A

1671-7988(2018)24-131-04

U467.4

張長隆，車聯網專家，國防科技大學通訊工程博士，湖南大學電氣與信息工程學院教師，長沙智能駕駛研究院有限公司網聯交通部總監。

10.16638/j.cnki.1671-7988.2018.24.048