疲勞駕駛檢測研究綜述

成亞玲 譚愛平

摘 要：疲勞駕駛是導致交通事故的重要原因，嚴重影響公眾的交通安全出行。全球各國高度重視，科研人員進行了大量研究。相關文獻從生理特征信息、車輛行為特征信息、視覺特征信息和多特征信息融合等四維度進行了梳理，并指出了不同檢測方法的優缺點。最后，基于不同場景的應用需求，指出了基于深度學習、神經網絡與多特征信息融合的疲勞檢測研究將是未來研究的重點和熱點。

關鍵詞：駕駛行為疲勞檢測檢測方法信息融合預測

中圖分類號：U491.254;TP391 ?文獻標識碼： A ?文章編號：

Review on Fatigue Driving Detection

CHENG Yaling ?TAN Aiping

（Hunan Industry Polytechnic， Changsha， Hunan Province， 410208 China）

Abstract： Fatigue driving is an important cause of traffic accidents， which seriously affects the public's traffic safety. Countries all over the world attach great importance to it， and researchers have carried out a lot of research about it. The relevant literature combs the four dimensions of physiological feature information， vehicle behavior feature information，visual feature information and multi feature information fusion， and the advantages and disadvantages of different detection methods are pointed out. Finally， based on the application requirements of different scenarios， it is pointed out that the research on fatigue detection based on deep learning， neural network and multi feature information fusion will be the focus and hotspot of future research.

Key Words： Driving behavior; Fatigue test; Detection method; Information fusion; Forecast

駕駛員疲勞駕駛會導致其注意力、意識、判斷能力、反應能力和執行能力減弱，進而使得對車輛的控制能力下降，導致對緊急情況處理不及時、操作出現失誤等情況發生。各國通過法律法規以防止駕駛員疲勞駕駛，降低交通事故頻率。研究駕駛員疲勞駕駛檢測，對降低交通事故頻率有著重要意義。目前，國內外業界與學者對疲勞駕駛檢測相關研究主要集中在生理信息特征、車輛行為特征、視覺特征以及多特征信息融合的疲勞檢測4個方面。下面將分別對這些研究進行闡述。

1基于駕駛員生理特征信息的疲勞駕駛檢測

該類檢測方法通過采集駕駛員的EEG（腦電信號）、ECG（心電信號）、EMG（肌電信號）、ESG（皮電信號）等生理特征信息進行檢測與分析，從而判定駕駛員的是否處于疲勞駕駛狀態。

（1）在腦電波方面，LI G和CHUNG W Y利用人機界面技術（BMI）系統，并結合了頭部動作對困倦進行判斷，通過EEG信號研究了駕駛員困倦現象，研究結果顯示整體準確率接近83%，實現了對困倦的早期檢測[1]。Saroj K.L.Lal與Ashley Craig基于腦電波中的δ波和θ波，研究δ、θ波其與疲勞駕駛密切相關性，研究結果表明駕駛員疲勞程度與δ波和θ波的活躍程度呈線性正相關[2]。LEE B G等通過在時域和頻域中分析腦電和呼吸信號，對精神疲勞進行分類并運用SVM對結果進行分類，精度高達98.6%[3]。如關偉等人通過提取、對比分析駕駛員警戒狀態下和疲勞狀態下的腦電信號EEG，可以有效判別疲勞駕駛[4]。GOLZ M等人提出了基于微睡眠和α觸發模式識別的方面來高精度識別的EEG分析方法，結果顯示前者在碰撞發生前表現頻率更高[5]。也有學者基于腦電建立了模擬試驗/實車試驗之間的關系研究，ZHANG H等同時進行了模擬/實車試驗，并對EEG是否存在與實際駕駛意圖的識別相悖進行分類，結果表明人機互聯界面可應用于實際駕駛[6]。

（2）心電波方面，基于HRV（Heart Rate Variability，心率變異性）對駕駛員疲勞狀態進行判別。如Denso 公司通過傳感器設備及時采集到駕駛員的心電信號平均值與動脈血壓來監測駕駛員的疲勞狀態[7]。郭孜政等人[8]將心率變異性的相關參數作為疲勞判別模型的輸入變量，同時基于BP神經網絡分類模型對駕駛疲勞進行分類，研究結果顯示其判別準確率為73.16%。王琳虹等[9]以駕駛員心率均值（Heart Rate，HR）為因變量，分析了駕駛時間、景觀色彩均值、駕駛疲勞之間的關系，并建立了相應的數學模型。

（3）肌電、皮電波方面，SAHAYADHAS A等[10]利用肌電信號中的標準差來檢測駕駛員嗜睡程度，分類結果顯示該方法有效率達89%。GRUJICIC M等[11]同樣采集了肌電信號來檢測疲勞。ARTANTO D等[12]利用ESP8266系統，采集眼瞼周邊的肌電信號，并結合眼瞼的閉合情況能有效檢測駕駛員的早期睡意。

（4）運用多個生理指標對駕駛疲勞進行評價方面，如BORGHINI G等人[13]運用EEG、HR和EBR綜合隊駕駛員的精神疲勞或困倦進行檢測，結果表明EEG在精神狀態上的變化表現敏感，尤其是EEG中的θ波和α波的功率譜在不同的行駛條件下有相應的變化。ZHANG C等人[14]記錄了EEG、ECG和EOG，通過提取小波熵等參數來評價疲勞狀態，應用人工神經網絡進行訓練及預測，將疲勞狀態分為4類，分類精度高達96.5%以上。

以上文獻從多個方面基于駕駛員生理特征信息展開了駕駛疲勞檢測方法研究。通過梳理發現該類疲勞檢測方法雖然在準確性、可靠性、精度等方面相對較高，但是需要將相關的傳感設備需要與駕駛員身體接觸，在一定程度上妨礙駕駛操作，同時設備價格昂貴，故導致該類方法在實際應用推廣受到了很大的限制。

2基于視覺特征的駕駛疲勞檢測

該類方法通過計算機視覺技術獲取駕駛員面部特征變化來判斷疲勞，主要包括駕駛員的頭部位置[15]、嘴部狀態[16]、眨眼頻率、眼睛閉合度、眼睛轉動速度、閉眼持續時間占空比[17，18]等參數，提取這些參數特征量，然后運用相應的算法來判別其疲勞程度。

（1）在眼睛特征與疲勞狀態的關系研究中，如潘曉東等人[19]選取瞼閉合時間、眨眼次數等生理特征參數，研究駕駛員在不同疲勞狀態下的變化規律，研究結果表明這兩類參數在疲勞狀態識別上的有效性。學者XUJL [20]提出了一種通過追蹤眼球運動行為檢測系統，WANG [21]提出基于雙目一致性的魯棒疲勞檢測系統，實現對疲勞的檢測。HE等人[22]通過嗜睡檢測系統，分析駕駛員眨眼頻率，從而判斷駕駛員是否疲勞。

（2）在嘴巴特征與疲勞狀態的關系研究中，如學者KNAPIK等人[23]提出了一種哈欠熱模型，利用熱成像技術可以不分晝夜檢測打哈欠情況，實現對駕駛員的疲勞檢測。ANITHA等人[24] 開發出一種新型哈欠檢測系統，通過提取嘴巴區域特征、哈欠特征，通過系統檢測判斷駕駛員否處于疲勞狀態。李智等人[25]利用紅外線光源采集駕駛員人臉圖像，提取人臉區域眼睛與嘴巴的特征信息，利用Adaboost算法檢測疲勞狀態，結果表明該方法正確率高，速度快，具有很好的泛化能力和較強的魯棒性。

（3）在面部表情、頭部運動與疲勞狀態的關系研究中，如郭慧利等人[26]利用Adaboost算法進行臉部檢測，精準定位眼和嘴區域，提取眼、嘴、頭等指標參數，運用D-S信息融合算法，能有效判別駕駛員是否處于疲勞狀態。Zhu等人[27]提取眼瞼運動，凝視運動，頭部運動和面部表情等參數，建立概率模型來對駕駛員疲勞狀態進行建模。YANG等人[28]提出了一種基于面部微表情的打哈欠檢測方法，該方法采用圖像直方圖快速消除冗余幀，并通過中值絕對偏差來檢測離群值提高算法的實時性與精準度。

基于視覺特征的駕駛疲勞檢測方法是一種非侵入式的檢測方式，具有對駕駛員干擾少、成本低、操作簡單等優點，是業界最受歡迎的主流方法。同時，這類視覺特征疲勞檢測方法，容易受光照、視覺采集設備、面部遮擋、振動、眼鏡等外在因素影響，其魯棒性不是很高，有待在人工智能和機器視覺技術等技術助力下進一步提高準確率及魯棒性。

3基于車輛行為的駕駛疲勞檢測

該類檢測方法主要是通過車輛的操控信息（腳剎使用、方向盤握力、方向盤旋轉角度、旋轉加速度）[29]和車輛行駛軌跡信息（車輛行駛速度、前車后車的車距、車道偏移量、輪胎軌跡）[30]進行監測，實時對駕駛員的疲勞狀態進行判別。

（1）在基于操控信號的疲勞駕駛檢測算法中，如Sayed等人[31]利用方向盤的轉向角度、轉向加速度等信息，基于人工神經網絡（ANN）的方法，對駕駛員嗜睡/困倦進行檢測。CHAIM等人[32]利用方向盤狀態來檢測駕駛員的睡意，選擇4個與駕駛員疲勞狀態顯著相關的參數，并建立數學模型，實現對駕駛員的睡意監控。張明明[33]利用提駕駛員方向盤握力特征，根據該特征實現對疲勞駕駛的檢測。于茲文[34]通過采集駕駛員不同狀態下的方向盤轉角、方向盤轉角速率、橫擺角、橫擺角速度等數據信息，研究結果發現方向盤轉角、方向盤轉角速率、橫擺角速度、橫向位置4類信息與疲勞駕駛狀態顯示強相關性。

（2）在基于車輛行駛軌跡信息的疲勞駕駛檢測算法中，如Forsman從車道偏移量特征參數和方向盤轉角特征參數等方面進行研究，結果表明這兩個特征參數在判定駕駛員疲勞狀態時差異性最顯著 [35]。Sandberg D 等人從駕駛行為時間序列測量的視角，通過方向盤轉角、車速、車輛橫擺角等參數指標對駕駛員疲勞狀態檢測[36]。萬蔚等人使用車輛的橫向位置、車速、方向盤的轉角等參數組成疲勞狀態信息特征，并基于BP神經網絡構建了一種疲勞駕駛判別算法[37]。

以上研究闡述了基于車輛行為的駕駛疲勞檢測方法。此類檢測方法非接觸式方法，因此對駕駛員侵擾性小、采集駕駛員操作行為數據和車輛狀態特征參數便捷、處理過程不復雜等優點。同時，此類方法受到道路環境（車道線）、交通狀況、車輛行駛速度、駕駛員操作熟練程度、駕駛習慣等因素影響，因此其準確性有待進一步提高。

4多特征信息融合的疲勞檢測

單一特征信息的疲勞檢測算法存在可靠性低、精度不高等缺陷，基于多特征信息融合算法則可以彌補其不足，也正逐漸成為業界研究熱點。此類算法業界、學者的主要研究集中在生理多特征信息融合、視覺多特征信息融合、車輛行為多特征信息融合、不同類多特征信息共同融合4個方面[38]。

（1）生理多特征信息融合與疲勞檢測的關系中，如白中浩等人提出了一種基于主動形狀模型的多個特征融合疲勞檢測算法，以提高對駕駛員疲勞程度檢測的準確性與魯棒性，研究表明，本方法對駕駛員疲勞檢測準確率達93.3%[39]。Du等人[40]提出了一種新穎的多模式融合遞歸神經網絡（MFRNN），用于對心率、睜眼程度和張嘴程度的判斷從而提高疲勞駕駛檢測的準確性。王斐等人將將腦電圖識別（主要是EEG 信號）與車輛操縱特性相結合來檢測駕駛員的疲勞狀態，以此來判別駕駛員是否疲勞駕駛[41]。

（2）視覺多特征信息融合與疲勞狀態檢測的關系中，如曹國震等人提出一種基于視覺多特征（頭部、眼部、嘴巴）融合判別方法，提高檢測系統的準確性[42]。李玲玲提出了一種改進的貝葉斯算法融合多視覺信息來估計駕駛員的疲勞程度[43]。周云鵬等人[44]提出了一種基于面部多種疲勞參數的駕駛員狀態檢測算法，該算法結合模糊系統推理系統判別駕駛員疲勞狀態。

（3）車輛行為多特征信息融合與疲勞狀態檢測的關系中，如沈永增[45] 等選取方向變化、方向盤動作狀態、PERCLOS 值、連續駕駛時間作為融合參數，并進行綜合判斷。黃皓[46]設計了基于車輛行為多特征參數的模糊聚類算法和神經網絡算法，以提高此類算法的識別效果。

（4）不同類多特征信息共同融與疲勞檢測的關系中，如視覺特征和生理特征的融合方面，王寧[47]提出一種基于多信息融合的疲勞狀態監測算法模型，該算法融合圖像和脈搏兩類信息，建立疲勞狀態識別決策器，以檢測并識別駕駛員的疲勞狀態;視覺特征和車輛行為特征信息融合方面，李娟[48]等將眼部特征參數、車輛行為（車輛越線指標）特征參數進行分類，利用支持向量機SVM算法建立數據融合的疲勞檢測模型，研究結果顯示該模型提高了疲勞檢測的準確性。汪宴賓[49]提取駕駛行為和眼睛特征參數，利用信息融合理論，建立駕駛疲勞識別模型，實驗驗證了該模型的具有較高的識別精度。基于深度學習的多特征信息融合方面，李小平等人[50]提出一種基于MTCNN-PFLD-LSTM深度學習模型的疲勞駕駛檢測算法，通過多任務卷積神經網絡MTCNN進行人臉區域檢測;利用PFLD模型檢測人臉眼部、嘴部和頭部的關鍵點及空間姿態角;計算出基于時間序列的人臉疲勞特征參數矩陣并輸入長短期記憶網絡LSTM進行疲勞駕駛檢測，研究結果顯示該方法明顯提高了疲勞檢測的準確度和效率。

基于多特征信息融合的疲勞駕駛檢測方法相比較其他3類檢測方法，該類方法具有較高的準確率及魯棒性，是目前業界研究熱點算法和最常用方法。同時由于該類算法融合了多個疲勞特征參數，增加了信息融合的計算量，也需要大量的訓練集，增加了此類算法實時性要求的難度。

5 結語

本文從生理特征信息、車輛行為特征信息、視覺特征信息和多特征信息融合等四類算法對疲勞駕駛檢測方法進行了綜述，并對各類算法的優缺點進行了總結。一方面，雖然當前疲勞駕駛檢測方法取得了較好的成果，但隨著人民對美好生活的向往，對檢測算法的魯棒性、精準度、實時性等方面有待進一步提高。另一方面，隨后深度學習技術在不同領域的廣泛應用，神經網絡、深度學習等技術與多特征信息融合的疲勞駕駛檢測研究將是未來研究的重點和熱點。

參考文獻

[1] LI G，CHUNG W Y.A context-aware EEG headset system for early detection of driver drowsiness [J].Sensors，2015，15（8）：20873-20893.

[2] Saroj K.L. Lal，Ashley Craig.A critical review of the psychophysiology of driver fatigue[J]. Biological Psychology，2001，55（3）：173-194.

[3] LEE B GLEE B L，CHUNG W Y.Mobile healthcare for automatic driving sleep-onset detection using wavelet-based EEG and respiration signals[J].Sensors，2014，14（10）：17915-17936.

[4] 關偉，楊柳，江世雄.腦電在交通駕駛行為中的應用研究綜述[J[.交通運輸系統工程與信息，2016，16（3）：35-44..

[5] GOLZ M，SOMMER D，KRAJEWSKI J.Driver Sleepiness Assessed by Electroencephalography-Different Methods Applied to One Single Data Set： Driving Assessment 2015： Proceedings of the 8th International Driving Symposium on Human Factors in Driver Assessment， Training， and Vehicle Design， lowa City， July 9-11，2015[C].Washington： The National Academies Press，2015.

[6] ZHANG H，CHAVARRIAGA R，KHALILIARDALI Z，et al.EEG-based decoding of error-related brain activity in a real-world driving task[J].Journal of neural engineering，2015，12（6）：066028.

[7] Chacon-Murguia M I，Prieto-Resendiz C.Detecting Driver Drowsiness： Asurvey of system designs and technology[J].Consumer Electronics Magazine，IEEE，2015，4（4）：107-119.

[8] 郭孜政，譚永剛，馬國忠，等.基于BP神經網絡的駕駛精神疲勞識別方法[J].哈爾濱工業大學學報，2014，46（8）：118-121.

[9] 王琳虹，李世武，周茹波，等.高速公路路側景觀色彩對駕駛員心率指標的影響[J].吉林大學學報：工學版， 2013（1）：74-80.

[10] SAHAYADHAS A，SUNDARAJ K，MURUGAPPAN M.Electromyogram signal based hypovigilance detection [J]. Biomedical Research，2014，25（3）：281-288.

[11] GRUJICIC M，PANDURANGAN B，XIE X，et al.Musculoskeletal computational analysis of ?the influence of car-seat design/adjustments on long-distance driving fatigue[J].International Journal of Industrial Ergonomics，2010，40（3）：345-355.

[12] ?ARTANTO D，SULISTYANTO M P，DERADJAD I D，et al.Drowsiness detection system based on eye-closure using a low-cost EMG and ESP8266[C]// 2017 2nd International conferences on Information Technology， Information Systems and Electrical Engineering （ICITISEE）.2017，578-584..

[13] Borghini G，Vecchiato G，Colosimo A，et al.Assessment of Mental Fatigue During Car Driving by Using High Resolution EEG Activity and Neurophysiologic Indices[C]// 34rth Annual International IEEE EMBC Conference.IEEE，2012，1089-1096.

[14] ZHANG C，WANG H，FU R.Automated detection of driver fatigue based on entropy and complexity measures [J]. IEEE Transactions on Intelligent Transportation Systems，2014，15（1）：168-177.

[15] Lee D，Oh S，Heo S.Drowsy driving based on the driver's head movement using infrared sensors[C].In：2nd Int Symposium on Universal Communication，Osaka，Japan，2008：231-236.

[16] 鄔敏杰，穆平安，張彩艷.基于眼睛和嘴巴狀態的駕駛員疲勞檢測算法[J].計算機應用與軟件，2013，30（3）：25-54.

[17] 孟勇.人眼狀態及疲勞檢測技術研究：西安電子科技大學碩士學位論文[D].西安：西安電子科技大學，2012.

[18] 吳從中，賀偉，湯潤森等.光照自適應的疲勞駕駛檢測系統[J].電子測量與儀器學報，2012，26（1）：60-66.

[19] 潘曉東，李君羨.基于眼部行為的駕駛疲勞監測方法[J].同濟大學學報：自然科學版，2011，39（2）：231-235.

[20] XUJL，MINJL，HUJ F.Real time eye tracking for the assessment of driver fatigue[J]. Healthcare Technology Letters，2018，5（2）：54-58.

[21] WANG Y，HUANG R，GUO L.Eye gaze pattern analysis for fatigue detection based on GP-BCNN with ESM[J].Pattern Recognition Letters，2019，123：61-74.

[22] HE J，WILLIAM C，YANG Y，et al.Detection of driver drowsiness using wearable devices：A feasibility study of the proximity sensor[J].Ap-plied Ergonomics，2017，65：473-480.

[23] KNAPIK M，CYGANEK B.Driver's fatigue reognition based on yawn detection in thermal images[J]. Neurocomputing，2019，338：274-292.

[24] ANITHA C，VENKATESHA MK，ADIGA BS.A two fold expert system for yawning detection[J].Procedia Computer Science，2016，92：63-71.

[25] 李智，謝劍斌，陳章永，等.基于Adaboost的紅外視頻圖像疲勞檢測算法[J].計算機工程與科學，2012，34（5）：107-111.

[26] 郭慧利，王恁，郭浩.基于面部多特征的疲勞駕駛預警系統的研究[J].通信學報，2018，39（S1）：22-29.

[27] Zhu Z，Ji Q， Lan P.Real-time nonintrusive monitoring and prediction of driver fatigue[J].IEEE Transactions on Vehicular Technology，2004，53（4）：1052-1068.

[28] YANG H，LIU L，MIN W，et al.Driver yawning detection based on subtle facial action recognition[J].IEEE Transactions on Multimedia，2020（99）：1.

[29] Baronti F，Lenzi F，Roncella R，et al.Distributed sensor for steering wheel rip force measurement in driver fatigue detection[C]// Design， Automation & Test in Europe Conference & Exhibition， 2009. DATE '09.IEEE，2009：894-897.

[30] Adachi T，Butsuen T，Kamiyama S.Application of real-time simulation to the lane-keeping system[C]// Proceedings of VNIS'94 -1994 Vehicle Navigation and Information Systems Conference.IEEE，1994：415-418.

[31] Sayed R， Eskandarian A.Unobtrusive drowsiness detection by neural network learning of driver steering[J].Proceedings of the Institution of Mechanical Engineers Part Journal of Automobile Engineering，2001，215（9）：969-975.

[32] CHAIM， LIS W， SUN W C， et al.Drowsiness monitoring based on steering wheel status[J].Transportation Research Part D： Transport and Environment，2019，66：95-103.

[33] 張明明.基于方向盤握力的疲勞駕駛檢測研究[D].鎮江：江蘇大學，2016.

[34] 于茲文.駕駛員疲勞狀態分析及其預警算法研究[D].長春：吉林大學，2018.

[35] Forsman P M， Vila B J， Short R A， et al.Efficient driver drowsiness detection at moderate levels of drowsiness[J]. Accident Analysis and Prevention，2013，50（1）：341-350.

[36] Sandberg D， Wahde M. Particle swarm optimization of feed forward neural networks for the detection of drowsy driving[C]// IEEE International Joint Conference on Neural Networks. IEEE，2008：788-793.

[37] 萬蔚，王振華，王保菊.基于駕駛行為的疲勞駕駛判別算法研究[J].道路交通與安全，2016，16（06）：21-24.

[38] 楊海燕，相運杰，胡蓉.疲勞駕駛檢測方法研究綜述[J].寶雞文理學院學報：自然科學版，2020，40（1）：23-28.

[39] 白中浩，劉瀏，焦英豪，等.基于ASM的多特征融合駕駛員疲勞檢測方法[J].電子測量與儀器學報，2016，30（12）：1877-1883.

[40]Du G， Li T， Li C， et al.Vision-Based Fatigue Driving Recognition Method Integrating Heart Rate and Facial Features[J].IEEE Transactions on Intelligent Transportation Systems，2020（99）：1-12.

[41] 王斐，王少楠，王惜慧，等.基于腦電圖識別結合操縱特征的駕駛疲勞檢測[J].儀器儀表學報，2014，35（2）：398-404.

[42] 曹國震，彭寒.基于多特征模糊融合的疲勞狀態判決[J].火力與指揮控制，2017，42（4）：96-100.

[43] 李玲玲.基于多視覺信息融合的駕駛員疲勞檢測方法研究與實現[D].北京：北京工業大學，2010.

[44] 周云鵬，朱青，王耀南，等.面部多特征融合的駕駛員疲勞檢測方法[J].電子測量與儀器學報，2014，28（10）：1140-1148.

[45] 沈永增，胡立芳，馮繼妙.多源信息融合在駕駛疲勞檢測中的應用[J].計算機應用與軟件，2012，29（2）：272-274+297.

[46] 黃皓.基于駕駛操作及車輛狀態的疲勞駕駛行為檢測研究[D].東南大學，2016.

[47] 王寧. 基于多信息融合的疲勞狀態識別研究[D]. 濟南： 山東大學，2016.

[48] 李娟， 王富， 王維鋒，等. 基于數據融合的疲勞駕駛檢測算法[J]. 武漢工程大學學報，2016，38（5）：505-510.

[49] 汪宴賓. 基于駕駛行為特征與眼動特征的疲勞駕駛辨識方法研究[D]. 成都： 西南交通大學，2015.

[50] 李小平，白超.基于深度學習的司機疲勞駕駛檢測方法研究[J].鐵道學報，2021，43（06）：78-87.