基于深度學習的多維疲勞駕駛檢測系統

王旭彬 韓毅 郭曉波

摘 要：針對機動車駕駛員疲勞駕駛的檢測問題，本文設計了一種基于深度學習與計算機視覺的多特征融合疲勞駕駛檢測系統。該系統基于Jetson Nano便攜式開發板，使用目標檢測框架YOLOV3對駕駛員進行面部定位，而后進行人臉多特征點提取、多維度特征融合分析，評估駕駛員狀態。該系統創新性地引入時間特征維度，對面部特征以時間維度進行“預分析”和“趨勢化”的分析方法，極大地縮減了駕駛員個體差異對判別帶來的影響，達到了疲勞駕駛檢測的高置信、高精度。

關鍵詞：疲勞駕駛;深度學習;人臉特征點檢測

中圖分類號：TP391.41;U463.6 文獻標識碼：A 文章編號：1003-5168（2020）34-0017-04

Multidimensional Fatigue Driving Detection System Based on Deep Learning

WANG Xubin HAN Yi GUO Xiaobo

（Anyang Institute of Technology，Anyang Henan 455000）

Abstract： For fatigue driving detection， a multi-feature fusion fatigue driving detection method based on deep learning was proposed. The algorithm is based on the Jetson Nano portable development board， uses the target detection framework YOLOV3 to locate the driver， and then performs face landmarks extraction and multi-dimensional analysis to evaluate the driver's status. Innovatively proposes "pre-analysis" and "trend-analysis" methods， which greatly reduces the impact of individual driver differences on discrimination， and improves the confidence and precision of fatigue driving detection.

Keywords： fatigue driving;deep learning;face landmarks detection

疲勞駕駛是造成交通事故的重要原因之一。根據中國公安部交通管理局公布的數據顯示，2015年，我國由疲勞駕駛引起的交通事故占當年交通事故總數的8.41%，死亡人數占當年交通事故死亡人數的6.21%。頻繁發生的交通事故，嚴重危及人們的財產安全和生命安全。而對于駕駛員疲勞駕駛檢測，對相關檢測設備的準確性、實時性要求高，難以通過傳統的電子警察、遠程視頻人工監控等手段檢測預警。當前，缺乏一種硬性檢測手段來檢測駕駛員狀態以提醒其要停止駕駛。

準確地檢測出駕駛員的疲勞狀態對提高交通安全具有重要的意義。近年來，相關研究逐漸增多。徐慧等針對疲勞駕駛的監測問題提出了一種基于人臉檢測和人臉多特征點提取的疲勞程度評估算法。該算法對人臉眨眼、打哈欠、瞌睡點頭等疲勞行為進行識別，并根據疲勞行為發生的頻率進行綜合疲勞評估，從而在移動終端實現對疲勞駕駛行為的實時監測和語音提醒[1]。張明明提出利用方向盤握力信號來檢測疲勞駕駛，通過同步檢測腦電信號和握力信號，利用BP神經網絡方法建立基于握力信號的疲勞特征參數與基于腦電信號的疲勞程度值之間的聯系[2]。閆保中等通過眼部寬高比檢測人眼閉合程度，并提出將人眼視線方向應用于疲勞駕駛檢測算法中，判斷注意力是否分散，以便在駕駛員陷入深度疲勞之前對其進行預警[3]。

這些方案對個體差異未提出較好的解決方案，且其檢測并未對駕駛員的駕駛過程進行分析。雖然在限定條件下能達到一定的精度，但在實際復雜多變的行車環境下，其準確性和可靠性還存在問題，難以達到預期要求。針對這一問題，多特征信息融合方法將成為未來發展的方向。

目前，疲勞駕駛檢測系統遇到發展瓶頸：一是難以實現車載實時的檢測儀器及檢測設備的輕量化;二是檢測指標不夠客觀，即特征單一，且個體差異明顯。本文設計的系統基于Jetson Nano便攜式開發板，根據多維指標特征，采用“預分析”方法針對不同駕駛員設置合適的評估指標，進而采用“趨勢化”對駕駛員的駕駛過程進行分析。通過不同維度的分析對駕駛員狀態進行評估，并保留分析過程以便取證，將疲勞駕駛檢測推向新的高度。

1 系統設計

機動車駕駛員疲勞駕駛的檢測系統的主要目標是快速準確地識別疲勞狀態。系統采用模塊化設計，以增強其可擴展性，通過改進算法降低駕駛員個體面部差異對系統檢測結果的影響。

檢測系統的主要任務有三部分：一是通過攝像頭獲取駕駛員面部圖像，要準確定位駕駛員面部，同時通過濾波減少車輛行駛中的震動、攝像頭抖動等圖像噪聲對系統的影響;二是駕駛員面部特征點的提取，系統得到裁剪后的駕駛員面部圖像，可實時提取面部多特征點，并存儲特征信息;三是對駕駛員駕駛狀態的分析評估，要針對駕駛員面部差異進行自適應化處理，動態調整評估閾值，通過得到的特征點進行多維信息融合分析，并給出有效可靠的評估結果。

2 系統結構

本文設計的系統主要可分為三個模塊，即面部定位器、面部特征提取器及分析評估系統（如圖1所示）。系統通過攝像頭實時采集視頻數據，通過面部定位器裁剪駕駛員面部圖像，以作為面部特征提取器的輸入，最后分析評估系統將對特征點進行分析處理，得出駕駛員狀態，實現疲勞駕駛檢測。

2.1 面部定位器

本系統基于目標檢測框架YOLOv3，如圖2所示，以自采集車輛內場景的駕駛員面部數據作為訓練數據。YOLOv3并未采用池化的方法來縮小特征圖的尺寸，而是通過調整卷積核的步長來達到縮小尺寸的效果，其中多層特征圖對于多尺度物體及小物體檢測是有利的。本文根據實際情況對YOLOv3進行調優，調整激活函數與預選框數量，得到適用于駕駛員跟蹤定位的神經網絡模型，達到實時性與高準確率。

檢測應用結果如圖3所示。相比于傳統人臉檢測算法，經過不同場景下測試，YOLOv3的魯棒性強，受外界因素如光照的影響較小，且可以實時進行檢測，為后續操作提供便利。

2.2 面部特征提取器

本系統采用級聯回歸（Ensemble of Regression Trees，ERT），即基于梯度提高學習的回歸樹方法進行面部特征點檢測[4-5]。將面部定位器裁剪的面部圖像使用Dlib庫中的人臉68特征點檢測，如圖4所示。

算法應用結果如圖5所示，其檢測效果表現良好。

2.3 分析評估系統

2.3.1 疲勞駕駛“預分析”機制。為了降低駕駛員個體差異對系統檢測結果帶來的影響，提高檢測系統的穩定性，提出“預分析”方法，引入時間維度，在開始的一段時間內對駕駛員的面部特征點進行記錄分析，避免了單幀采集、分析、檢測圖像數據的不準確性。

算法主要分析目標為眼睛閉合時間占某一特定時間的百分率（PERLOCS）、眼部縱橫比（Eye Average Ratio，EAR）與嘴巴張開程度（Mouth Average Ratio，MAR）。其中，眼部縱橫比主要用來描述眼睛睜開程度。算法分別分析記錄該駕駛員的PERLOCS、EAR與MAR，將關鍵閾值PERLOCS_THRE設定為PERLOCS的120%～150%（疲勞時眼睛閉合時間會相應變長），記錄EAR與MAR變化曲線，設置判定駕駛員閉眼和打哈欠的關鍵閾值EAR_THRE和MAR_THRE，以判定閉眼和打哈欠。

不同駕駛員的眼部、嘴部大小不同，眨眼時間不同，這些差異往往會對算法判定帶來干擾。通過“預分析”動態設定閾值取代固定閾值，可有效減少個體化差異對算法帶來的影響，可有效避免如在駕駛員受陽光刺激瞇眼時判定閉眼、說話唱歌時判定打哈欠等誤判行為。

2.3.2 疲勞駕駛識別。在疲勞時，最直觀的體現在于面部特征，如不自主地打哈欠、閉眼，同時伴有點頭、前傾頭部等動作。

本文提出的算法以PERLOCS、EAR、MAR三個方面為主要目標，以頭部姿態估計為輔，并結合“趨勢化”分析進行疲勞駕駛狀態的綜合判別。

經過“預分析”過程后，算法將記錄PERLOCS_THRE、EAR_THRE以及MAR_THRE三個閾值。在檢測過程中，算法將實時采集PERLOCS、EAR以及MAR與閾值進行比較，同時進行頭部姿態估計并記錄。若PERLOCS超過閾值200%以上或EAR低于閾值超過0.5 s，算法將判別駕駛員為疲勞狀態;同時，算法會實時對駕駛員前15 s內PERLOCS、EAR、MAR以及頭部姿態調出進行分析，即PERLOCS是否有升高的趨勢，EAR是否有下降趨勢（隨機在區間內取值分多次比較），頭部姿態是否有多次標記為點頭或前傾，是否有MAR超過閾值（打哈欠）的記錄，綜合四個方面進行趨勢化的分析，判定駕駛員是否疲勞。

3 系統實現

本系統基于便攜式開發板Jetson Nano進行實現，如圖6所示。該平臺擁有四核ARM Cortex-A57 MPCore處理器，GPU采用NVDIA Maxwell架構，配有128個NVDIA CUDA核心，且整個模組僅有70 mm×45 mm。Jetson Nano提供472GFLOP，可用于快速運行現代AI算法，并行運行多個神經網絡，同時可處理多個高分辨率傳感器，具有體積小、部署便捷、超低功耗以及性能強大的優點，這使其成為計算密集型項目的理想的嵌入式平臺。

Jetson Nano配備了圖形加速的Ubuntu18.04操作系統，全新發布的JetPack 4.2 SDK為其提供了完整的桌面Linux環境支持，NVIDIA CUDA 工具包10.0，以及cuDNN 7.3和TensorRT等庫。該SDK還包括本機安裝的常用開源機器學習框架，如TensorFlow、PyTorch、Caffe、Keras和MXNet，以及計算機視覺和機器人開發的框架，如OpenCV和ROS。

將系統調整交換空間、分配GPU加速后移植至Jetson Nano平臺。Jetson Nano收到輸入視頻數據后，將首先采用面部定位器進行駕駛員面部定位，再調用面部特征提取器進行面部特征點提取，最后進行特征點分析，給出評估結果。

4 系統試驗驗證

本文采用兩種方式進行系統的可靠性及有效性驗證：一是將搭載檢測系統的Jetson Nano部署至車輛內，以實時檢測駕駛員的行為，如圖7所示;二是將在車輛停止時駕駛員模擬駕駛的視頻數據作為輸入數據，檢測分析駕駛員的疲勞狀態。對兩位駕駛員的駕駛情況進行實時檢測（見圖8），結果如表1所示;對3段行車視頻進行檢測，對比本系統與傳統計算機視覺方案的優劣，結果如表2所示。

對于兩種形式的檢測，得益于深度學習的強抗干擾性、外界光照變化以及車輛抖動的干擾因素并未影響系統的檢測。其中“預分析”以及“趨勢化”也有效避免了系統對駕駛員說話、唱歌、受到光照刺激瞇眼睛以及揉眼睛等正常行為的誤判，達到了有效、可靠及高準確率的檢測。

5 結語

本文采用深度學習YOLOv3目標檢測框架與人臉特征點檢測方法、英偉達Jetson Nano開發板為開發平臺，結合“預分析”與“趨勢化”思路，通過多特征融合算法對疲勞駕駛進行識別，能夠快速、精準地檢測出駕駛員是否疲勞。識別算法基于深度學習對駕駛員面部進行檢測，相比傳統算法效果更佳;使用級聯回歸進行人臉特征點高精度檢測;通過多特征融合進行檢測，與單一特征相比具有更高的可信度與準確率;“預分析”極大地縮小了個體差異帶來的影響，魯棒性好;“趨勢化”進一步提高了疲勞駕駛過程化的準確率。在實際測試中，該算法表現良好，判定準確，為疲勞駕駛檢測提供了新的思路。但是，本文提出的算法并未對駕駛習慣進行深入探究，今后需要進一步探索與研究。

參考文獻：

[1]徐慧，朱振洋，肖穎健，等.基于人臉多特征點的疲勞駕駛檢測與應用[C]//中國計算機用戶協會網絡應用分會2019年第二十三屆網絡新技術與應用年會論文集.2019.

[2]張明明.基于方向盤握力的疲勞駕駛檢測研究[D].鎮江：江蘇大學，2016：5.

[3]閆保中，王晨宇，王帥帥.基于人眼特征的疲勞駕駛檢測技術研究[J].應用科技，2020（1）：47-54.

[4]許愛東，黃文琦，明哲，等.基于級聯網絡和殘差特征的人臉特征點定位[J].浙江大學學報（工學版），2019（12）：2365-2371.

[5]張旭欣，王雪松.疲勞駕駛研究與預防最新進展[J].汽車與安全，2019（4）：82-87.