一種疲勞駕駛檢測方法

李京徽， 郭昕剛

(長春工業大學 計算機科學與工程學院， 吉林 長春 130012)

0 引 言

隨著汽車數量的快速增長，交通事故越來越多，給出行帶來了巨大的安全隱患。為了最大限度地減少交通事故的發生，政府最近出臺了多種相關政策，并取得了顯著成效。現階段，交通事故依然威脅著人們的生命安全。例如，缺乏道路安全駕駛意識、酒后駕駛和疲勞駕駛是導致交通事故的主要因素，其中，疲勞駕駛占交通事故原因的14%，占交通事故的20%，在重大交通事故中約占43%，在大型卡車和公路交通事故中約占37%[1]。現在大多采用基于駕駛者面部特征的疲勞駕駛檢測方法，但以這種方法進行特征提取的時候存在誤差,導致提取效率不高，并且精度低和魯棒性差，而且在之后的疲勞判定中，評判參數單一。針對以上問題，文中提出一種以人臉多特征融合的檢測疲勞駕駛算法。

1 人臉檢測與定位

能準確、快速進行人臉檢測定位是疲勞駕駛檢測的首要任務，因為檢測結果關乎到算法的性能。而在不斷行駛中，駕駛員的人臉可能受光照、姿勢或者遮擋等因素的影響，圖像特征可能無法采集，從而降低了預定特征方法的魯棒性和可靠性。

1.1 基于YOLOv3-tiny的人臉檢測

YOLO(You Only Look Once)模型是一種基于深度學習的快速檢測模型[2]。而文中所使用的YOLOv3-tiny則是YOLOv3的簡化版。YOLOv3算法原理也很簡單，即引入殘差模型和FPN架構。而YOLOv3-tiny是在YOLOv3的基礎上去掉一些特征層，只保留了2個獨立預測分支，具體網絡結構如圖1所示。

圖1 YOLOv3-tiny網絡結構

從圖1顯示網絡結構可以看出：

1)總共有24網絡層，比yolo3的107層減少很多。

2)只有兩個yolo層，分別是yolo16和yolo23，其大小分別為13×13和26×26，此外，每個yolo層也對應有3個anchors，總共有6個anchors值。

3)yolo層前面是一個1×1的卷積層，該層的輸入和輸出部分保持width, height以及channels不變。在darknet里面，其卷積公式為

式中：padding=0。

因為考慮到疲勞駕駛人臉檢測需要較高精度，因此,在YOLOv3-tiny訓練階段可以選擇WIDER FACE(Face Dtection Data Set and Benchmark)[3]數據集，WIDER FACE[4]數據集包含32 203幅圖像和393 703張標記人臉，包括不同的比例、姿勢、遮擋、表情、化妝、照明。WIDER FACE 數據集如圖2所示。

圖2 WIDER FACE 數據集

1.2 駕駛員眼、嘴部特征提取

基于改進的YOLOv3-tiny網絡駕駛員面部區域，建立了基于dlib的人臉關鍵點檢測模型[5],如圖3所示。

圖3 dlib的人臉關鍵點檢測模型

提取駕駛員面部的細粒度特征。dlib庫含有68個人臉關鍵點，該庫采取級聯形狀回歸方法對人臉構成的關鍵點進行查詢。

在人臉關鍵點檢測中，dlib[6]采用并提供了一個基于數百萬張面孔的模型。該方法利用像素強度的稀疏子集預估人臉關鍵點的位置，是一種采用回歸樹的集成方法[7]，此方法具備檢測精度高、耗時少等長處，文中將運用于提到的人臉特征提取中。

在使用dlib工具箱提取68個特征點后，可以將這些特征點形成128維特征向量[8]在這個向量空間中，在一個面的歐氏距離比不在一個面的歐氏距離更近。因此，基于dlib工具包提取的128維特征向量可以作為身份驗證的驅動生物特征識別技術。

1.3 基于EFV的眼狀態參數

根據傳統方式PERCLOS[9]的疲勞檢測算法仍是現在傳統方式PERCLOS的疲勞檢測算法依據。這些方法大多采用P80[10]標準提取眼睛狀態參數。根據設計思路，首先需進行采集并預處理眼睛部位圖像，隨后對駕駛員的眼睛輪廓采用橢圓擬合方法。得出最終計算結果，駕駛員眼睛狀態參數就是橢圓的長軸與短軸之比。但可以預見，駕駛員眼睛圖像預處理可靠程度的好壞是判斷此方法的基礎。在實際場景中，由于光照條件的不斷變化和駕駛過程中駕駛員頭部姿勢的不斷變化，這種方法可能具有較低精度。

為此，文中在dlib人臉特征點定位的基礎上提出一種新的參數----眼特征向量(EFV)[11]，用于評價駕駛員的眼部狀態。根據dlib眼特征點定義EFV，駕駛員眼部狀態是反映駕駛員疲勞狀態的重要指標，采用橢圓擬合方法取得駕駛員眼部提取模塊輸出數據是文中采用的方案之一。眼睛的狀況(開或者閉)可以依靠橢圓的長軸和短軸之間的聯系來判定。另外，還使用PERCLOS對司機的疲勞狀況進行了評判。

(1)

式中：pi----眼特征點坐標，i= 1,2,…,6。

當駕駛員的眼睛處于不同的狀態時，眼特征點有顯著差異,如圖4所示。

(a) 開眼圖像的EFV (b) 閉眼圖像的EFV圖4 眼睛狀態

從圖4可以看出，當駕駛員眼部處于不同狀態時，與眼睛特征點一致的EFV也有顯著差異。所以，EFV可以作為表達駕駛員疲勞檢測算法中眼睛狀態的重要參數。

EFV差異(橙色表示關閉，藍色表示打開)如圖5所示。

圖5 EFV差異(橙色表示關閉，藍色表示打開)

1.4 基于MFV的口腔狀態參數

打哈欠頻率是與PERCLOS和眨眼頻率相似的數據，可用這種標準來判定疲勞狀態。根據張口的程度來判斷疲勞是不準確的。在司機正常駕駛的過程中，有時候說話交談也會開口，導致開口程度也在不斷地發生變化，這對于依靠開口程度進行疲勞狀態判定的影響是非常大的。通過對打哈欠過程分析發現：在說話時，開口的程度較小，時間較短；在打哈欠狀態下，開口的程度較大，時間較長。

為了區分打哈欠和說話，文中將駕駛員口部狀態分為三種類型：閉嘴、小口和大嘴。在之前文中提到的眼部特征點定位的基礎上，提出一種與眼部狀態參數相似的新參數----口特征向量(MFV)[12]，用于評價駕駛員的口腔狀態。根據dlib口特征點，可以定義MFV

(2)

式中：Mi----嘴特征點坐標,i=1,2,…,8。

當司機的嘴處于不同狀態時，其嘴部特征點也存在明顯差異,如圖6所示。

圖6 口腔狀態

MFV差異如圖7所示。

圖7 MFV差異

從圖7可以看出，當駕駛員的嘴巴處于不同狀態時，其MFV值也存在顯著差異，這與口型特征點是一致的。所以，MFV被用于評估司機是否疲勞的參數是可行的。

2 疲勞駕駛的判定

2.1 基于PERCLOS的疲勞判斷

描述駕駛員疲勞水平的狀態是一個動態變化的過程。目前，大多數研究人員已采用卡內基梅隆大學研究中心Wierwille[13]提出的閉眼百分比(PERCLOS)作為疲勞駕駛的有效指標。它是測量駕駛員單位時間內眼睛閉合所花費的時間，其數據表示為疲勞狀態下的一種物理量。美國聯邦政府的相關交通部門已經在實驗室中模擬證明了PERCLOS在體現駕駛員疲勞狀態上的有效性。PERCLOS定義為

(3)

式中：Ntotal----單位時間內閉合眼睛的圖像總數量;

Nclose----單位時間內閉合眼睛的圖像數量。

為了考慮獲得駕駛員特征的眼睛分類器，必須首先驗證駕駛員的身份信息，以獲得與駕駛員身份相對應的眼睛分類器，隨后對身份驗證分類信息進行基于PERCLOS的在線識別。當駕駛員在駕駛過程中，利用車載高清攝像頭獲取駕駛員的實時面部數據。接下來，使用改進的YOLOv3-tiny網絡檢測駕駛員的臉部。如果檢測到駕駛員的臉部，則將臉部區域用作輸入圖像，并使用dlib工具箱定位臉部特征點。為了降低錯誤檢測率，文中補充了駕駛員的頭部姿勢信息作為輔助判別參數。當改進的YOLOv3-tiny網絡無法檢測到面部或定位面部特征點時，確定駕駛員在駕駛過程中處于異常的頭部姿勢，并且將該幀圖像用作閉眼幀。完成面部特征點定位后，基于眼睛特征點的坐標計算EFV，然后通過身份驗證獲得駕駛員眼睛狀態分類器確定圖像中駕駛員的眼睛狀態。最終在設定時間內的幀數(文中設置1 000幀)中計算駕駛員的閉眼圖像數量，從而計算得出PERCLOS值。如果PERCLOS>ThPERCLOS(ThPERCLOS是駕駛員的疲勞狀態確定閾值(文中取0.4))，則確定駕駛員處于疲勞狀態，否則處于非疲勞狀態。

2.2 基于眨眼頻率的疲勞判斷

通常在駕駛過程中，駕駛員眨眼時間每次在100～400 ms，是一個相對較快的速度。然而，在疲勞狀態下，閃爍的持續時間更長，且大于1 s，并且閃爍頻率增加。不難發現，駕駛員的疲勞程度也可以通過觀察眨眼頻率來直觀地表現。文中規定系統以眨眼的方式依次檢測睜眼、閉眼，睜眼的狀態變化，因此眨眼頻率公式為

(4)

式中：T----時間，min;

NBlink----閃爍次數。

普通人醒著后每分鐘眨眼10～20次。當他們疲勞時，眨眼頻率將增加64%。根據相關研究，在完成身份驗證后，將基于眨眼頻率進行駕駛員疲勞狀態的在線識別。通過設置特定的幀數(文中設置1 000幀)計算駕駛員的眨眼圖像數，然后計算眨眼頻率。如果FBlink>ThBlink(ThBlink是駕駛員的疲勞狀態確定閾值(文中為20))，則確定駕駛員處于疲勞狀態，否則就處于非疲勞狀態。

2.3 基于打哈欠頻率的疲勞判斷

利用打哈欠頻率來判斷疲勞與利用PERCLOS的眨眼頻率類似，也是評估方法中的一個重要指標。打哈欠是一種深呼吸活動，通常在懶惰、疲倦和缺乏休息時發生,通過擴大肺部吸入更多氧氣。它刺激中樞神經系統以增強精神，這是疲勞下的條件反射，利用這種條件反射活動可以直觀評估疲勞水平。為了區分非打哈欠狀態，通過程序觀察開嘴的程度和時間來判斷非打哈欠狀態。文中設定，當系統檢測到“ Close-Small-Big-Small-Close”的狀態變化且打開時間超過2 s時，就是打哈欠。打哈欠頻率公式為

(5)

式中：T----時間，min;

NYawn----閃爍次數。

相關研究表明，人的哈欠頻率是由疲勞狀態的多少來決定增減，文中基于打哈欠頻率來研究駕駛員疲勞。為了獲得考慮駕駛員特征的口部分類器，必須首先驗證駕駛員的身份信息，以獲得與駕駛員身份相對應的口部分類器。然后，將在線識別駕駛員身份驗證后獲得的打哈欠頻率，從而確定駕駛員疲勞狀態。在駕駛過程中，利用車載高清攝像頭獲取駕駛員的實時面部圖像及相應數量。接下來，使用改進的YOLOv3-tiny網絡檢測駕駛員的臉部，并對其進行面部特征點定位。根據口部特征點的坐標計算MFV，以及駕駛員身份驗證獲得的口部狀態分類器，并利用相關數據確定圖像中駕駛員的口部狀態。最后，在特定數量的幀中計算驅動程序的打哈欠次數(文中設置1 000幀)，然后計算打哈欠頻率值。如果FYawn>ThYawn(ThYawn是駕駛員的疲勞狀態確定閾值(文中為3))，則確定駕駛員處于疲勞狀態，否則就處于非疲勞狀態。

文中算法表明，該系統在各種條件下都具有良好的精度和高速性能，并且可以準確地判斷駕駛員的疲勞狀態。與Adaboost+CNN[14]和MTCNN+LRCN算法[15]相比，文中算法提高了疲勞駕駛檢測算法的準確性。其可滿足疲勞駕駛檢測系統對實時性能的更高要求。比較結果見表1。

表1 疲勞狀態判斷的時間花費

3 結 語

提出基于神經網絡的疲勞駕駛檢測方法。利用YOLOv3-tiny卷積神經網絡對駕駛員人臉進行檢測，之后，利用dlib庫對人臉進行特征點的快速精確提取，這種方法即使在復雜環境下對人臉的特征提取也有良好的魯棒性。最后，制定相應的判定算法，完成了疲勞駕駛的檢測判定。但系統也存在一些問題，在面對現在因為疫情影響都戴口罩進行防護，口部被遮擋，無法在戴口罩的時候進行口部檢測，需要進一步提高系統的實用性和準確率等問題。