基于深度學習的危險駕駛狀態檢測預警系統設計

許 旻，馬晨東，羅紫琳

(蘇州市職業大學 計算機工程學院，江蘇 蘇州 215104)

0 引言

隨著社會生活水平的不斷提高以及汽車數量大幅增加，汽車、公交車、中小型客車作為代步工具被越來越廣泛應用于日常生活中，而伴隨著交通事故頻率也越來越高。交通事故調查統計結果表明，疲勞駕駛或分心駕駛是引發交通事故的主要因素。如果能對駕駛員的駕駛狀態進行檢測，并對其危險駕駛狀態進行事故預警，能有效改善道路的安全性。研究如何提高對駕駛員疲勞或分心特征檢測的準確率、快速判斷駕駛行為是否處于危險狀態，對于交通安全駕駛問題的改善有著重大意義，也是相關領域技術人員需要解決的技術問題。

1 國內外檢測危險駕駛方法

目前，國內外檢測危險駕駛的方法主要通過對目標特征進行實時檢測，通過處理與計算檢測數據判斷出駕駛人是否處于疲勞或分心駕駛狀態。根據檢測目標特征不同可以分為3種不同的方案：基于駕駛員生理特征、基于駕駛員行為及面部特征和基于車輛運動特征。

基于駕駛員生理特征的檢測方法，主要通過接觸式設備與駕駛員身體接觸，監測駕駛員的腦電信號、心電信號、肌電信號等生理特征參數，然后進行信號的特征提取與分析，最后將檢測到的數據與非危險狀態下的數據進行分析與對比，從而判斷出駕駛人是否處于疲勞駕駛狀態。徐禮勝[1]等提出基于短時心電信號疲勞駕駛檢測算法，即采集時長為30 s的短時心電信號序列數據，然后對數據進行預處理，去除掉極端樣本數據，利用該序列的時域/頻域特征與卷積神經網絡對ImageNet數據集訓練的特征進行結合，對這些特征分類，用分類結果對駕駛人進行危險駕駛檢測。該類于駕駛員生理特征的檢測方法準確性、可靠性、精度性相對較高，但是因為要與駕駛人相接觸，會給駕駛人帶來不便，可能會干擾到駕駛人的正常操作。

基于駕駛人的行為及面部特征的檢測方法主要是通過計算機視覺識別技術對獲取的駕駛人圖像進行處理，提取駕駛人的頭部位置、眼睛眨眼頻率以及嘴巴等特征，并對獲得的這些特征信息進行處理，最后判斷出駕駛人是否處于疲勞駕駛狀態。通過Violla-Jones算法[2]檢測面部表情和眼睛位置，再通過眼睛追蹤技術，采集駕駛人的眼睛眨眼的持續時間、眨眼的頻率等特征來完成檢測；這類基于駕駛人的行為及面部特征的檢測方法是利用攝像頭或紅外熱成像技術來獲取檢測數據，然后再提取出目標特征，進而進行危險判斷。這種檢測方法易受到光線、姿態的影響，檢測效率有待提高。

駕駛行為是影響汽車安全駕駛的主要因素，很大程度上也能體現駕駛員的精神狀態。當駕駛人處于危險駕駛狀態時，應激反應會有延遲，對車輛的控制能力降低，操作水平也會下降，因此危險駕駛狀態時所駕駛車輛的行為特征與正常駕駛時的行為特征相比是有差異的。Wang[3]等提出的疲勞駕駛檢測算法是對實車的方向盤操作特征進行提取、分析，提取實驗數據在時域以及頻域上的指標，最后對指標處理并設計SVM分類器，從而推導出疲勞駕駛檢測算法。這類基于車輛行為特征的危險駕駛檢測方法，通過非接觸式的檢測設備，對車輛的行為特征進行提取，所需成本低、性價比高，但檢測需與車輛型號、道路實際情況以及個人駕駛習慣等因素相關聯，因此準確率不夠高。

綜上所述，本文將針對人臉特征和駕駛狀態識別與檢測的相關算法模型，進行重新優化設計以及多技術配合，達到總體算法最優目的。

2 系統算法流程及功能模塊

系統基于車載攝像頭采集駕駛員臉部特征及人體行為，采用局部區域多特征和深度學習特征融合的算法進行分析，通過判斷出來的駕駛員的疲勞或分心駕駛狀態給予駕駛員相應的預警信息，并以語音提醒方式引導駕駛員停止危險行駛狀態。算法中通過攝像頭獲取視頻幀圖片，根據視頻流采集的數據，對人臉檢測和定位后，對人臉關鍵點檢測，再通過頭部3D姿態估計、眼睛和嘴巴部位摳圖，根據業務規則和狀態分類網絡設計來判定是否疲勞駕駛還是分心駕駛。算法流程如圖1所示。

圖1 危險駕駛檢測算法流程

根據以上算法，系統基本實現對人眼閉合、東張西望、低頭犯困、打哈欠4種駕駛狀態的檢測與識別功能。當發生疲勞和分心行為時，右邊參數會有相應脈沖，可通過參數的變化檢測到是否有疲勞和分心行為，當這些行為達到一定頻率時，將語音預警。同時本系統可以實現本地化離線部署，更能按照駕駛員生理特征，對檢測閾值提前做好參數調整，以更精準的方式檢測駕駛過程中是否發生危險駕駛行為。調參界面如圖2所示。

圖2 調參界面

3 關鍵技術研究

危險駕駛狀態檢測預警系統主要包括以下模塊：人臉檢測、人臉關鍵點檢測、人眼閉合狀態識別、東張西望狀態識別、低頭犯困狀態識別、駕駛行為判斷、語音預警。涉及人臉對齊校正、頭部姿態模擬、局部區域多特征和深度學習特征融合的人臉狀態檢測算法、增強學習決策器(分類和檢測模型)以及各種深度學習算法小型化的加速和壓縮算法等關鍵技術。

3.1 人臉檢測模塊

MTCNN算法是一種基于深度學習的完成人臉檢測和人臉對齊的多任務神經網絡模型，它是由一個3層網絡(P-Net、R-Net、O-Net)組成的卷積網絡結構[4]。在該模塊中，使用改進的MTCNN算法[5]對IMG進行人臉檢測：在預先訓練好的人臉檢測器中，輸入待識別無深度信息圖片IMG，若IMG中沒有檢測到人臉，則返回去輸入下一幅待識別的圖像；若從IMG中檢測到人臉，則標記出其人臉框定位點的橫縱坐標、人臉框的長寬，以及人臉關鍵特征點位置，將人臉框截取出來，最終得到人臉。通過改進MTCNN算法使得其脫離服務器端的卷積神經網絡架構，重新設計的基于C++相關庫和Armadillo矩陣加速庫，可以更加快速有效且小型化地實現人臉關鍵點檢測。另外，可以對閾值也進行了適當的提高，這將大幅度減少每一步中候選框的數量，減少大量計算量，同時不會引起過大的誤差。

3.2 人臉關鍵點檢測模塊

級聯回歸方法是通過回歸關鍵點位置處提取的特征逐步逼近真實關鍵點位置，可以很好地實現人臉對齊結果[6]。SDM(Supervised Descent Method[7])監督下降方法算法是基于關鍵點位置索引特征[8]，使用級聯線性回歸來輸出關鍵點位置，模型簡單高效且易于理解，是眾多級聯回歸方法中最有效的方法之一。

在該模塊中，調用預先訓練好的人臉關鍵點檢測模型對所述人臉區域進行檢測，得到人臉關鍵點數據，通過提取SIFT特征，使用SDM監督梯度下降的方法來求解非線性最小二乘問題，以提高人臉關鍵點檢測的對齊誤差校正。

3.3 人眼閉合狀態識別模塊

人眼閉合狀態，很多時候受限于攝像頭拍攝視頻圖片的質量，本模塊自定義了某種小型N層設計的深度學習網絡，使用經過多次測試和改進的損失函數在大量數據的訓練下識別效果明顯，不再受限于人臉關鍵點檢測的比例判定以及攝像頭拍攝視頻圖像的質量。

3.4 東張西望狀態識別模塊

本模塊基于人臉檢測、人臉關鍵點檢測和三維透視變換技術，經過處理得到人臉平面和頭部偏轉的角度等頭部姿態等信息，進而能夠實時判斷駕駛中東張西望等分心動作。

3.5 低頭犯困狀態識別模塊

本模塊在車載資源受限的環境下，對于低頭行為檢測這樣的分類和檢測深度學習網絡的訓練，設計和優化了一種針對近紅外圖像的特定模型，采用多分類深度學習訓練的網絡，構建局部區域多特征融合的目標檢測和分類模型，使得在較小的模型規模下，獲得更高的識別精度。構建的模型中主要使用深度學習模型的小型化技術，即壓縮技術和加速技術；壓縮的方法重點在于操作全連接層，加速的方法重點在于操作卷積層。模型壓縮的主要思想是減少參數，減少比特數，一般模型壓縮過程中也會加速模型，目標就是讓模型在存儲上變得更小、運算上速度更快。

3.6 駕駛行為判斷模塊

在該模塊中，根據頭部姿態估計模塊，將所述人臉區域圖像中的人臉進行對齊，基于頭部姿態估計算法和所述人臉關鍵點數據計算對齊后的人臉區域圖像中頭部姿態角；根據人臉狀態檢測模塊，調用預先構建的人臉狀態檢測模型對所述人臉區域圖像進行分析，得到人眼閉合狀態特征和嘴部動作特征，根據以上特征生成危險駕駛行為判決結果。使用局部區域多特征向量與深度學習特征融合的人臉狀態檢測方法，和基于Q-learning增強學習決策器對駕駛狀態進行分類和檢測，大大提高了識別的速度和準確率。

3.7 語音預警模塊

本模塊通過系統集成的語音模塊，利用先進的自然語言處理技術、語音建模，使用大量的語音數據庫訓練，生成智能語音模型，對監控對象進行識別、判斷，并在檢測到有疲勞或分心駕駛的條件下，把系統發出的指令生成報警聲提示駕駛員，實現車載設備和駕駛員之間的良好交互性。

4 結語

系統通過大量數據集(CEW 數據集、Yaw DD 數據集)訓練，對人眼閉合、東張西望、低頭犯困、打哈欠4種行為檢測并不斷調整閾值精度，對比現有的危險駕駛狀態檢測算法，識別精度高、檢測速度快。未來將通過大數據獲得更多的駕駛員行車狀態，不斷完善算法、強化算法，不斷加強它的精準度來保持行業領先水平，為行車安全添加保障，使其滿足更廣闊的需求。