面部識別在檢測疲勞駕駛的應用研究

[摘要] 面部疲勞信息收集與報警能夠有效降低駕駛員疲勞駕駛導致交通事故的概率。疲勞狀況下，駕駛員的決策認知機能下降，比起平時駕駛習慣會出現在同一方向注視時間過長、眼動頻率降低、決策執行時間縮短的情況，按照PERCLOS準則，眨眼頻率、打哈欠程度在判斷駕駛員疲勞駕駛上發揮重要作用。本文提出在駕駛員非疲勞狀態下自學習基于駕駛員個人習慣的行車狀態面部狀態，對模型進行訓練得出閾值數據，更能科學地根據駕駛人的習慣和個人特殊的特征，人性化地優化面部識別在減少疲勞駕駛應用中的檢測模型。

[關鍵詞] 疲勞駕駛；人臉識別；交通事故

中圖分類號：U463.6 " 文獻標志碼：A " " 文章編號：1003—8639（2023）06

Research on the Application of Face Recognition in Detecting Fatigue Driving

You Haijuan，Wu Lingyun，Gui Kangzhe，Zhang Liang

SAIC GM Wuling Automoblie Co.，Ltd .，Guangxi Laboratory of New Energy Automobile，Guangxi Key Laboratory of Automobile Four New Features，Liuzhou Guangxi，545007，China

Abstract：The collection and alarm of facial fatigue information can effectively reduce the probability of traffic accidents caused by drivers' fatigue driving. Under the condition of fatigue，drivers' decision-making cognitive function decreases. Compared with their usual driving habits，they will spend too much time looking at the same direction，reduce their eye movement frequency，and shorten their decision-making execution time. According to PERCLOS guidelines，blink frequency The degree of yawning plays an important role in judging drivers' fatigue driving. This paper proposes to self-learning the driving state facial state based on the driver's personal habits under the non fatigue state of the driver，train the model to obtain threshold data，more scientifically according to the driver's habits and personal special characteristics，and humanize the facial recognition to optimize the detection model in the application of reducing fatigue driving.

Keyword：Fatigue driving； Face recognition； traffic accident

收稿日期：2022-11-23

作者簡介：尤海娟（1997—），女，助理工程師，研究方向為疲勞檢測方向。

據統計，交通事故總數中20%是因為疲勞駕駛造成的，而特大交通事故中疲勞駕駛占比更是高達40%[1]，精神萎靡導致駕駛員生理機能降低，反應距離加大，在凌晨0～6點和下午1～4點的時間區間，疲勞駕駛出現的比例在一天當中達到高峰值，此時需要多加警惕、小心駕駛。因此，疲勞駕駛狀態監測對于行車安全具有重要作用。

目前被提及較多的疲勞駕駛狀態檢測方法主要有兩類：一種基于醫療器械全面檢測人體特征[2]，包含但不限于腦電圖、眼電圖、心電圖，此方法勝在科學準確，但行車過程中，這類方法應用的場景無法兼顧，成本高且多裝備，幾乎不能普及；另一種是在行車過程中，利用機器視覺技術，對人臉面部特征進行識別，智能決策判斷駕駛人員是否疲勞駕駛。在這類方法的應用中，眨眼以及打哈欠的頻率都是疲勞檢測的重要依據[3]。基于Haar-like特征檢測人臉疲勞程度的概述是：判斷人是否疲勞是通過把人的眼睛縱橫比特征抽象為數據，根據人眼的張開程度為依據。因人在自然狀態下，光照等其他外源性因素均會對人眼張開程度造成影響，加上角度和姿勢的變化，機器判斷結果會與真實情況產生較大的偏差。深度卷積神經網絡可以自適應提取特征信息，免除了人工選取特征過程，通過二維多規則推理演算生成人面識別特征結果。此外，不排除駕駛員存在眼睛過小、上眼瞼肌無力跟嘴巴閉不上等個人特征偏離普遍特征的可能性，這些可能會導致機器誤判駕駛員疲勞駕駛，因此，在已有基礎上，本文提出基于深度學習根據駕駛員個性化訓練的疲勞駕駛狀態識別系統。

1 "基于深度學習的駕駛員疲勞駕駛狀態識別系統算法設計

紅外攝像頭采集到駕駛員的實時影像，選取非午夜0～6點和白天下午1～4點的駕駛人員圖像數據，結合支持向量機分類器以及方向梯度直方圖特征檢測人臉[4]，對人員面部位置定位，收集眼眶、眼球、嘴部等面部關鍵位置點數據，建立檢測眼睛開閉程度和狀態模型。可先使用YOLOv4-tiny目標檢測算法來提取眼部區域等特征數據，再訓練和建立非疲勞狀態下駕駛習慣對照模型。此外需要參考利用單位時間內眼睛閉合狀態所占百分比，以及打呵欠和頻率結合的結果，這些數據可使用PERCLOS準則求出，對照非疲勞狀態下駕駛員的駕駛面部習慣，就可以建立疲勞駕駛狀態監測與預報機制[5]。

2 "面部檢測和關鍵特征點數據提取

人臉檢測應用成熟，目前應用廣泛的人臉檢測算法有基于Haar面部特征提取和Adaboost迭代算法分類器，也有基于HOG特征提取和SVM分類器，還有級聯CNN面部檢測與MTCNN。本文模型選用HOG結合SVM分類算法，此模型優勢在于速度快、量級小，并選擇Dlin庫提供的基于級聯回歸樹模型定位五官，回歸演算出人體面部的68個關鍵點。

2.1 "基于HOG特征的面部特征檢測

HOG特征利用梯度和梯度方向信息面試人臉面部局部目標的形狀及邊緣，具有良好的幾何不變性和光學不變性，提取過程如下[6]。

采用Gamma壓縮法對采集到的 圖像顏色歸一化處理，其中 為圖像上存在的點。處理公式如下：

（1）

對每一個點都求取水平方向梯度值 ，垂直方向梯度值 ，梯度值 與梯度方向 。公式如下：

（2）

（3）

（4）

（5）

式中： ——點 的像素值。

將識別到的圖像劃分為 個像素的單元區域，并將圖像0～360°劃分N個方向區間。相鄰K個單元區域組成塊，合并塊內每個單元區域特征組成特征向量，需要對合并后的特征向量進行歸一化。搜索整個圖像，將所有特征合并形成HOG描述子[7]。

2.2 "定位面部關鍵點

確認人臉位置后，采用Dlib人臉檢測預訓練模型，提取人臉68個特征點，定位眼部矩形位置。

3 "非疲勞狀態下駕駛員面部表情對照模型

因Dlib進行疲勞檢測時受外源因素影響較大，本文采用YOLOv4-tiny目標檢測算法與Dlib聯合進行疲勞檢測，選取非凌晨0～6點和下午1～4點駕駛員普遍容易困乏的時間段來采集人臉的數據進行模型訓練，對眼部狀態數據采集分為睜眼和閉眼，按照時間進行排序，按分鐘劃分為單位時間，計算眨眼頻率平均值 和閉目時長平均值比例T情況。

（6）

（7）

疲勞狀態下人易觸發打哈欠機制，打哈欠的狀態與平時閉合唇部情況對比，上唇與下唇存在距離拉大的情況。在現實生活中，人上下唇距離拉大不僅僅存在于打哈欠的情況之下，為保證計算的準確性，需要計算嘴部長寬比和張嘴時間作為判斷人是否正在打哈欠的依據。計算嘴部長寬比的公式 見如下，嘴部標記點如圖1所示。

（8）

圖1嘴部標記點

在非疲勞狀態下，計算嘴部長寬比均值作為未來疲勞比較的閾值。

（9）

4 "結合PERCLOS判斷駕駛員疲勞駕駛狀態

PERCLOS是指單位時間內眼閉合時間所占的百分比例，是判斷駕駛員疲勞程度的一種比較可靠有效的方法[8]。PERCLOS指出，關于疲勞檢測的實驗中，當瞳孔面積超過80%被眼瞼遮住，認為眼睛處于閉合狀態，統計眼睛在單位時間內閉合時間所占的時間比例，其中0.2～0.3為疲勞駕駛跟非疲勞駕駛的分隔區間[10]，本文設定PERCLOS值為0.2。此外，本文設定加入非疲勞狀態下駕駛員行車時面部狀態習慣的參考模型，可以學習駕駛員個人的駕駛習慣和面部動作模式，更為人性化和智能化。判斷駕駛員疲勞駕駛，可依據以下判斷：① ；② 且tgt;=0.2；③ 。

在識別出駕駛員符合疲勞特征之后，對駕駛員進行報警，提示其注意靠邊停車休息，以便減少因疲勞駕駛產生的交通意外事故。

5 "結語

行車安全第一，疲勞行駛害人害己。駕駛員本人駕駛經驗、駕駛習慣、年齡、相貌、裝扮因人而異，都會對人臉面部識別疲勞駕駛的結果存在干擾。本文對人臉進行分析檢測標記出人臉關鍵點，結合PERCLOS對駕駛員疲勞程度進行科學分析，在使用具有普適性的方法之外，根據駕駛員本人的特殊情況科學地作出個性化校正，提出更加個性和智能的人臉識別疲勞駕駛方案，以防止因駕駛員本人面部或者駕駛習慣等特殊原因導致駕駛疲勞狀態的漏檢。在實際行車狀態下，有較強的實際應用價值。

參考文獻：

[1] 孫運濤. 駕駛員如何預防疲勞駕駛[J]. 南方農機，2008（4）：45.

[2] 李文學，謝凱. 基于深度學習的疲勞駕駛檢測方法研究[J]. 電子世界，2019（17）：51-52.

[3] 耿磊，袁菲，肖志濤，等. 基于面部行為分析的駕駛員疲勞檢測方法[J]. 計算機工程，2018，44（1）：274-279.

[4] 趙峰. 基于SVM和HOG的人臉檢測算法[J]. 信息技術與信息化，2013（6）：113-116.

[5] 戴詩琪，曾智勇. 基于深度學習的疲勞駕駛檢測算法[J]. 計算機系統應用，2018，27（7）：113-120.

[6] 管軍霖，智鑫. 基于YOLOv4卷積神經網絡的口罩佩戴檢測方法［J］． 現代信息科技，2020，4（11）：9-12.

[7] 張世博，李夢佳，李樂，等. 基于方向梯度直方圖的行人檢測與跟蹤[J]. 北京石油化工學院學報，2013，21（4）：37-40.

[8] 周鋒華，孟憲元，梅順良，等. 司機疲勞駕駛實時檢測系統設計[J]. 測控技術，2013，32（1）：37-40.

[9] 趙倩，郭彤，王成龍. 電力工作人員面部疲勞狀態識別系統研究[J]. 上海電力大學學報，2021，37（6）：567-572.

（編輯 "凌 "波）