基于深度學習的疲勞檢測算法

陳之坤 遲萬達 高尚 劉曉欣 范迪

摘要：為了實現(xiàn)對駕駛員駕駛狀態(tài)的檢測預警，避免發(fā)生交通事故。提出了一種基于改進多任務級聯(lián)卷積神經(jīng)網(wǎng)絡（Multi-Task Convolutional Neural Networks，MTCNN）人臉檢測及多特征融合的疲勞檢測方法。算法利用改進的MTCNN進行人臉檢測和面部9個特征點定位；基于特征點確定出嘴巴、眼睛區(qū)域輸入多尺度深度可分離卷積神經(jīng)網(wǎng)絡（Multi-Scale Depth Separable Networks，MSDS-Net），以識別嘴巴和眼睛的狀態(tài)。算法融合眼睛閉合率（ECR）、嘴巴張合率（MCR）和頭部非正臉率（NFR）三個特征參數(shù)并進行疲勞狀態(tài)判定，在YawDD數(shù)據(jù)集和課題組自制數(shù)據(jù)集上查準率和查全率分別為96.22%，98.08%。

關鍵詞：多任務級聯(lián)卷積神經(jīng)網(wǎng)絡；人臉檢測；疲勞檢測；MSDS-Net；YawDD

中圖分類號：TP391.4文獻標志碼：A文章編號：1008-1739（2020）08-68-4

0引言

疲勞駕駛是引發(fā)交通事故的重要因素[1]，實時疲勞狀態(tài)檢測對減少交通事故非常重要。目前，疲勞檢測的方法主要有基于駕駛員生理參數(shù)的檢測方法[2]、基于駕駛行為及車輛狀態(tài)的檢測方法[3]和基于駕駛員視覺特征的檢測方法[4]3種。傳統(tǒng)的基于駕駛員視覺特征的檢測算法容易受光線、姿勢等因素的影響，以及單一指標判別造成檢測準確率、魯棒性低等問題。基于以上問題，提出了基于深度學習的疲勞檢測改進算法，使用卷積神經(jīng)網(wǎng)絡對駕駛員的眼睛、嘴巴、頭部進行多特征的提取與狀態(tài)的識別，實現(xiàn)多特征融合的疲勞狀態(tài)的判定。

1基于人臉檢測及多特征融合的疲勞檢測算法

基于深度學習的疲勞檢測算法分為人臉及特征點檢測定位模塊、特征狀態(tài)識別模塊和疲勞狀態(tài)判定模塊，如圖1所示。

1.1改進MTCNN人臉及特征點檢測定位模型

MTCNN是一種基于多任務級聯(lián)的卷積神經(jīng)網(wǎng)絡，網(wǎng)絡框架如圖2所示，主要包括P-Net，R-Net，O-Net。將原始圖像縮放得到圖像金字塔，通過P-Net檢測出大量候選框；通過R-Net對候選框的進一步調整；通過O-Net對預測框進行更精確的定位，最終輸出邊界框坐標和特征點信息。

對MTCNN模型進行改進，在原有5個特征點（左右眼睛、左右嘴角、鼻尖）的基礎上增加4個特征點（眉心、左右臉頰、下巴中心點）進行訓練，目的是為了更準確實現(xiàn)頭部姿態(tài)的判定。同時，在O-Net網(wǎng)絡結構中添加多尺度池化層增強網(wǎng)絡對多尺度特征圖的處理能力，提高網(wǎng)絡檢測精度。同時，修改O-Net網(wǎng)絡中的任務權重，使之側重訓練特征點，以得到更加準確的特征點定位，為后續(xù)特征的提取做好準備，MTCNN三層網(wǎng)絡結構以及O-Net網(wǎng)絡的改進部分如圖3所示。

1.2基于MSDS-Net的眼嘴狀態(tài)識別模塊

提出了基于MSDS-Net實現(xiàn)對眼睛和嘴巴狀態(tài)的識別，眼睛與嘴巴的識別方法相同。網(wǎng)絡僅使用3×3的深度可分離卷積，在max pooling前將多個3×3卷積堆疊在一起，組成卷積塊結構。

網(wǎng)絡使用了BatchNormalization對數(shù)據(jù)流進行優(yōu)化，同時設置Dropout為0.25的隨機失活系數(shù)，防止網(wǎng)絡過擬合[5]，優(yōu)化方法使用了適應性矩陣估計（Adaptive Moment Estimation， Adam）方法。

1.3頭部姿態(tài)識別模塊

2多特征融合的疲勞檢測算法

依據(jù)網(wǎng)絡識別出的眼睛、嘴巴和頭部姿態(tài)，本文借鑒PERCLOS準則，設定ECR，MCR，NFR三種特征指標，通過多特征指標融合策略進行駕駛員疲勞程度的判定，疲勞判定模塊流程圖如圖5所示。

2.1 PERCLOS

PERCLOS是在單位時間內眼睛閉合時間所占的百分比[6]，有P70，P80，EM三種標準。P80標準認為眼睛開度低于20%為閉合狀態(tài)，高于80%為睜開狀態(tài)。原理如圖6所示，計算公式如式（2）所示。

3實驗結果與分析

3.1人臉檢測及特征點定位模型訓練與結果分析

改進的MTCNN人臉檢測采用WIDER Face作為訓練數(shù)據(jù)，特征點訓練采用新增4個（眉心、下巴中心點和左右臉頰）標注信息的MTFL數(shù)據(jù)集。使用FDDB人臉數(shù)據(jù)集作為測試數(shù)據(jù)，F(xiàn)DDB人臉檢測數(shù)據(jù)集包含了5 171個人臉分布在2 845張圖片上。本文是在Ubuntu16.04環(huán)境下基于Python和Tensorflow1.8.0進行算法模型的訓練和性能的測試。為了驗證算法的改進效果，在FDDB數(shù)據(jù)集上與原MTCNN算法進行對比試驗。實驗結果如圖7所示，圖7（a）為連續(xù)ROC曲線，表示檢測框與真實框的相近程度；圖7（b）為離散ROC曲線，表示人臉是否被檢測到。從實驗結果可以看出，本文改進的MTCNN算法優(yōu)于原始算法。

基于后期頭部姿態(tài)的判定和眼睛、嘴巴特征提取的需要，本文在算法原始5個特征點的基礎上新增4個特征點進行訓練，新增特征點后的圖片示例以及相應特征提取示例如圖8所示。

3.2眼睛嘴巴狀態(tài)模型訓練與結果分析

實驗使用CEW閉眼數(shù)據(jù)集和自建嘴巴數(shù)據(jù)集進行模型的訓練和測試。CEW數(shù)據(jù)集包含睜眼狀態(tài)樣本2 462個，其中訓練樣本2 112個，測試樣本350個。閉眼狀態(tài)樣本2 384，其中訓練樣本2 034個，測試樣本350個。嘴巴數(shù)據(jù)集包含張嘴樣本1 921個，其中訓練樣本1 721個，測試樣本200個。閉嘴樣本998個，其中訓練樣本839個，測試樣本159個。嘴巴眼睛數(shù)據(jù)集樣本示例如圖9所示。

實驗中網(wǎng)絡設置batch_size為32，學習率為0.01，設置Dropout為0.25，網(wǎng)絡設置最大訓練Epoch為40，最終眼睛和嘴巴訓練曲線如圖10所示。在測試集上眼睛的準確率在40個epoch之后達到0.98，嘴巴的準確率在40個epoch之后達到0.99。

3.3疲勞檢測仿真實驗與結果分析

疲勞狀態(tài)仿真實驗使用YawDD數(shù)據(jù)集[7]以及課題組志愿者自己錄制模擬駕駛過程視頻作為仿真數(shù)據(jù)，2種數(shù)據(jù)中均含有干擾因素如眨眼、說話及笑等干擾狀態(tài)，不同實驗條件下（正常光線、暗光和強光）實驗效果如圖11所示。

由圖11中實驗結果可看出，本文所設計算法以及疲勞判定策略能準確檢測出駕駛員狀態(tài)。

為了進一步驗證算法的可行性，本文隨機選取YawDD視頻數(shù)據(jù)中5個female數(shù)據(jù)和5個male數(shù)據(jù)，以及2個課題組自制視頻數(shù)據(jù)，統(tǒng)計這12個視頻（總計841 s）中真實疲勞次數(shù)，以及算法識別疲勞次數(shù)。通過與傳統(tǒng)疲勞檢測方式對比實驗，查看算法查全率與查準率，實驗數(shù)據(jù)如表1所示。查準率為=（ - ）/（ - +），查全率為=（ - ）/，其中表示真實疲勞次數(shù)，表示漏檢的次數(shù)，表示誤檢的次數(shù)。從實驗結果可以看出，本文算法的查準率和查全率均優(yōu)于傳統(tǒng)算法，誤檢和漏檢情況主要是出現(xiàn)在暗光線下的，相對來說正常光照下查全率和查準率會更高。

4結束語

本文提出了一種基于改進MTCNN人臉檢測及多特征融合的疲勞檢測方法。首先通過改進的MTCNN網(wǎng)絡實現(xiàn)人臉定位和相應特征點定位，提取出識別駕駛員疲勞狀態(tài)所需的眼睛和嘴巴特征，同時根據(jù)特征點數(shù)據(jù)結合頭部姿態(tài)判定策略判別出駕駛員頭部姿態(tài)。然后，將提取的眼睛嘴巴特征輸入MSDS-Net進行狀態(tài)的識別，最后依據(jù)ECR，MCR，NFR三種特征指標融合的疲勞判定策略，實現(xiàn)駕駛員狀態(tài)判定。通過相關實驗表明針對不同的實驗環(huán)境本文算法有較高的魯棒性、查準率和查全率，達到檢測的要求。

參考文獻

[1]孔質彬，劉翔，秦文玉，等.道路交通事故的成因和地區(qū)分布特點研究[J].中國社會醫(yī)學雜志，2018，35（1）：31-33.

[2]王琳，化成城，姜鑫，等.基于頸腰部肌電及腦電信號的疲勞駕駛檢測[J].東北大學學報（自然科學版），2018，39（1）： 102-107.

[3] WU G，HE J，NIE P，et al.Drivers Posture Detection Based on Centroid Coordinates of Two-hand （arm） Region[C]//2018 IEEE 3rd International Conference on Communication and Information Systems （ICCIS），IEEE，2018：23-27.

[4] ZHANG Zhiwei，ZHANG Ruijun，HAO Jianguo，et al.Fatigue Driving Detection and Warning Based on Eye Features[C]// The Euro-China Conference on Intelligent Data Analysis and Applications. Springer， Cham，2018： 491-498.

[5]李兆旭，陳之坤，李永毅，等.基于LBP和級聯(lián)XGBoost的駕駛員打電話行為檢測算法[J].信息與電腦（理論版）， 2019，（3）： 72-76.

[6] WANG JJ，XU W，GONG YH. Real-time Driving Danger-Level Prediction[J]. Engineering Applications of Artificial Intelligence，2010，23（8）：1247-1254.

[7] ABTAHI S， OMIDYEGANEH M， SHIRMOHAMMADI S， et al. YawDD： a yawning Detection Dataset[C]//Proceedings of the 5th ACM Multimedia Systems Conference， ACM， 2014： 24-28.