基于面部識別的駕駛員疲勞危險駕駛檢測系統

黃志超 趙紅梅 陳奕迅 湯耀森

摘要：為了有效降低駕駛員疲勞駕駛、短時間未看道路等危險駕駛的概率，設計了以面部特征為研究對象的人臉識別的檢測系統。該系統通過對面部識別以及眼睛和嘴的定位跟蹤，提取面部疲勞信息，將跟蹤的圖像信息傳輸到 OpenCV視覺庫進行圖像處理，通過一系列的算法對駕駛員疲勞、危險駕駛行為進行判斷、疲勞值計算，最后通過安全警報模塊對駕駛員給予警報提示。經實驗測試，該系統滿足車載、實時性、準確性的要求，能夠快速的檢測駕駛員的危險駕駛狀態，具有一定的實用性。

關鍵詞：面部識別;疲勞駕駛;危險駕駛

中圖分類號：TP274???????????? 文獻標志碼：A??????? 文章編號：1009-9492（2021）12-0143-04

Driver Fatigue and Dangerous Driving Detection System Based on Facial Recognition

Huang Zhichao ，Zhao Hongmei ，Chen Yixun ，Tang Yaosen

（Huali College， Guangdong University of Technology， Guangzhou 511325， China）

Abstract： In order to effectively reduce the probability of dangerous driving such as driver fatigue driving and not looking at the road for a short time， a face recognition detection system based on facial features was designed. The system extracts facial fatigue information through face recognition and positioning and tracking of eyes and mouth， transmits the tracked image information to OpenCV visual library for image processing， judges the driver′s fatigue and dangerous driving behavior and calculates the fatigue value through a series of algorithms， and finally gives an alarm to the driver through the safety alarm module. The experimental test shows that the system meets the requirements of on-board， real-time and accuracy， can quickly detect the dangerous driving state of drivers， and has certain practicability.

Key words： facial recognition; fatigue driving; dangerous driving

0 引言

根據中國質量新聞網數據顯示，2020年中國汽車保有量已達2.81億輛，駕駛人員達到4.18億人。隨著我國汽車保有量的持續增加，駕駛員人群的日益龐大，交通事故頻發的風險隨之增高，而疲勞駕駛和看手機、短時間未看道路等危險駕駛行為是交通事故發生的主要原因。

面部識別技術從20世紀60年代的早期研究階段，到現在的深度學習的突破階段，發生了巨大的轉變，廣泛應用于各個領域。基于面部識別的疲勞駕駛檢測方法，因為實時性好，準確度高等特點，受到了廣泛的關注。本文將面部識別技術和駕駛員疲勞檢測融合起來，在汽車環境中，搭建以面部識別為核心的系統硬件平臺。通過對駕駛員面部的掃描，找到人臉的位置并跟蹤，提取眼睛和嘴巴的狀態信息，將跟蹤的圖像信息傳輸到 OpenCV視覺庫進行圖像處理，通過一系列的算法對駕駛員疲勞、危險駕駛行為進行判斷、疲勞值計算，并將檢測出來的疲勞值與已經設置好的疲勞閾值進行比較，最后通過安全警報模塊對駕駛員給予警報提示，減少或者終止駕駛員疲勞駕駛的行為，從而降低因疲勞、危險駕駛而引發的交通事故的發生率，保證駕駛員及同行車輛駕駛員的生命安全[1]。本文主要通過對面部識別算法的研究，采用了基于一種神經網絡的68面度特征點檢測算法，在此基礎上構建殘差樹對人臉關鍵點提取疲勞信息，給出了 OpenCV的面部識別的硬件構成以及對駕駛員疲勞、危險駕駛行為判斷、疲勞值計算、預警測試的軟件實現方法。經實驗測試，該系統滿足車載、實時性、準確性的要求，能夠快速地檢測駕駛員的危險駕駛狀態，具有一定的實用性。

1 系統總體方案

本系統將面部識別的疲勞駕駛危險駕駛檢測方法與識別算法用到以樹莓派4B微處理器為核心的硬件平臺上。樹莓派又稱卡片式電腦，世界上最小的臺式機，外形只有信用卡大小，卻具有電腦的視頻、音頻等所有基本功能。系統包括面部識別功能、語音播報功能、數據顯示功能三大模塊。系統使用的微處理器是搭載了博通 BCM2711的樹莓派4B ，選擇了4G 內存。面部識別由封裝于 Dlib計算機視覺開源庫中的面部識別算法來完成。由于普通攝像頭在夜晚無光的環境下拍攝受限，所以在本系統中選擇了樹莓派 NolR camera V2夜視攝像頭，其中搭載索尼 IMX219感光芯片，在夜晚無光、弱光拍攝以及識別模塊中起到強大的作用。

當車輛啟動時系統自動啟動，樹莓派4B開機并初始化各個模塊：紅外攝像頭開始采集實時圖像，語音播報模塊播報啟動語音。樹莓派4B 運行 Dlib 中的預訓練模型，將采集到的實時紅外圖像進行特征提取并記錄，配合 PERCLOS疲勞檢測算法檢測當前疲勞值，同時監測頭部動作是否存在危險駕駛行為。當疲勞值達到預設閾值或頭部未保持正向前方達一定時間時，會進行相應的語音播報提醒駕駛員。若駕駛員仍未停止疲勞駕駛或危險駕駛行為，會更換另一套警告語音，并縮短播報間隔，直至駕駛員停止行車或面部正視前方。系統框圖如圖1所示。

2 系統硬件設計

系統硬件部分有微處理器、識別模塊、語音播報模塊、顯示模塊組成。駕駛員進入車輛后通過電容屏啟動該系統，攝像頭隨之啟動并向樹莓派傳輸視頻信息。檢測駕駛員疲勞與危險駕駛判斷部分由樹莓派4B完成，樹莓派將判斷結果所需的語音播報信息傳給語音播報模塊進行播報，整個系統由電源模塊進行供電。

微處理器采用的是搭載博通 BCM2711（1.5 GHz 四核64位 ARM Cortex-A72）處理器的樹莓派4B ，擁有4GB 的內存;雙頻802.11ac無線網絡，全吞吐量千兆以太網端口，藍牙5.0和2個 USB 3.0、2個 USB 2.0端口。

識別模塊采用樹莓派 Nola camera V2夜視攝像頭，搭載索尼 IMX219感光芯片; 800萬像素;視頻支持1080p30/720p60/640x480p90，圖片分辨率為3280×2464。通過攝像頭接口與樹莓派連接。紅外保證黑夜時系統還起作用，實時采集人臉圖像供樹莓派處理。

語音播報模塊[2]采用樹莓派喇叭（揚聲器）用 XFS5152CE語音合成芯片，內置多種播報人聲，支持語速、語調、音量調節。使用杜邦線與樹莓派 GPIO 引腳相連，可使用3.3 V、5 V供電。當疲勞值達到預設閾值或頭部未保持正向前方達一定時間時，會進行相應的語音播報提醒駕駛員。

顯示模塊采用7寸jetson nano英偉達顯示屏，1 024×600px 分辨率。通過樹莓派上接口轉換線與樹莓派連接。能夠實時顯示人臉和 P80、MAR 指標。硬件原理如圖2所示。

3 面部識別算法研究

本文使用的是 Dlib庫中封裝好的68面度特征點檢測算法，是基于一種神經網絡的算法，該算法的基礎是梯度提升樹，在此基礎上再構建殘差樹對人臉關鍵點進行提取[3]。Dlib 和 OpenCV 用到跨平臺計算機視覺開源庫，內置了面部識別函數，非常適合用于借助攝像頭實時進行面部識別。使用 Dlib 來識別攝像頭拍攝圖片中的人臉，調用內置函數獲得人臉關鍵點后由 OpenCV進行圖像化處理，在人臉上畫出人臉的特征點并清楚地標明特征點的序號。

3.1 人臉檢測

本系統使用 Python中 Dlib庫中的正向人臉檢測器對人臉進行檢查，接著使用 Dlib庫官方訓練好的面部68特征點檢測模型對人臉面部特征點進行提取。68面度特征點檢測算法可以匹配出人臉上68個特征點（包括眼睛、眉毛、鼻子、嘴巴等）。利用 Pycharm開發，先檢測人臉的位置，讓后通過檢測的位置摳出人臉圖片，使用 Dlib 官方已經訓練好的神經網絡模型進行識別，利用 Dlib庫自帶的人臉預測器、特征提取器，然后計算128d特征來完成人臉識別，最后計算得出人臉的特征點，同時返回在輸出畫面上，并加以標注[3]。68特征點如圖3所示。? 3.2 面部疲勞值判別和計算

關于人臉面部的疲勞檢測[4]，最直觀的兩個部分別是眨眼和哈欠[5]。本系統分別利用這兩個個部分的對駕駛員進行疲勞、危險檢測。

（1） 對于眼部，本文使用的是公認的最有說服力的 PERCLOS方法[6]和眼睛縱橫比 EAR 。目前檢測疲勞的方法最有效的是 PERCLOS系統，從該算法得到 P80疲勞指標計算公式。P80是指眼瞼遮住瞳孔的面積的80%以上判別為眼睛閉合，以此作為時間統計指標。通過圖3中左右眼睛上的特征點的坐標可以計算出雙眼的縱橫比，可以計算出眨眼次數和疲勞值[7]。P1～P6分別對應左眼點36～點41，右邊和左邊同樣道理。

對于嘴部，本文使用的是 MAR 指標[8]。人在疲勞時往往會不自覺的打哈欠，通過對比研究，人在在正常說話時嘴部張開的連續幀時間是不超過3 s的，一旦連續幀超過3 s即被判為打哈欠。利用圖中嘴部的8個特征點，可以計算出嘴部疲勞 MAR 指標。M1～ M8分別對應左眼點60～點67。

4 系統軟件設計

樹莓派4B使用 Dlib中的疲勞駕駛預訓練模型，將采集到的實時紅外圖像進行特征提取并記錄，配合 PER? CLOS疲勞檢測計算當前疲勞值，若 P80≥40%，EAR ≤30%，MAR ≥75%則判定為疲勞駕駛[10-12]。同時監測頭部動作是否存在危險駕駛行為，若面部偏移幅度過大則判定為危險駕駛。樹莓派4B 向語音播報模塊發出響應信號信號進行對應語音播報并持續監測駕駛狀態和車輛行駛狀態。若駕駛員仍未停止疲勞駕駛或危險駕駛行為，系統會一直發出警報直至駕駛員面部正視前方。

軟件部分在樹莓派4B 上安裝 Pycharm ，創建項目，然后用 import導入 numpy 、cv2、Dlib等必要的包。numpy 部分負責疲勞數值計算，cv2部分負責畫圖、Dlib部分負責檢測人臉并得到68特征點。系統流程如圖4所示。

系統的關鍵就是對駕駛員的面部進行識別，然后計算并統計出疲勞值，通過顯示屏把數據顯示在屏幕上給駕駛員看，如果駕駛員被判定為疲勞駕駛或者危險駕駛系統就會立即進行語音提醒。想要成功獲得人臉面部的68個特征點，就必須先檢測到人臉的存在。調用 Dlib中的正向人臉檢測器 API ，如果沒有檢測到人臉就會在屏幕上顯示“No Face”，控制臺輸出“沒有檢測到人臉”，這里用手遮住臉、臉轉向左右兩邊的幅度太大、人臉不在攝像頭的攝像范圍里、人臉距離攝像頭太遠都算沒有檢測到人臉。面部識別流程如圖5所示。

面部識別模塊裝載了樹莓派 NolR camera V2夜視攝像頭，紅外攝像彌補了普通攝像頭在黑夜里拍攝效果不好的不足，使本系統在夜晚也能正常識別人臉提供了基礎。經過紅外攝像頭拍攝的圖片會實時的傳給樹莓派4B ，面部識別模塊會提取圖片中駕駛員的面部的疲勞數據，經過數據累計對比之后，如果超過已經設定好的閾值，語音播報模塊就會對駕駛員發出預警。語音播報流程如圖6所示。

5 系統實驗測試

5.1 測試結果

（1） 人臉檢測測試。想要成功獲得人臉面部的68個特征點，就必須先檢測到人臉的存在。調用 Dlib中的正向人臉檢測器 API ，如果沒有檢測到人臉就會在屏幕上顯示“No face detected”，控制臺輸出“沒有檢測到人臉”，這里用手遮住臉、臉轉向左右兩邊的幅度太大、人臉不在攝像頭的攝像范圍里、人臉距離攝像頭太遠都算沒有檢測到人臉。

（2） 特偵點顯示測試。在能檢測到人臉之后就是面部特征點的標記了。檢測到人臉之后調用68特征點檢測模型進行檢測，并由 OpenCV把得到的68個面部特征點標號序號后實時的顯示在屏幕上。屏幕的右上角會顯示 EAR、MAR、P80的值。

（3） 警報測試。檢測不到人臉時會被定義為危險駕駛并發出安全警告，疲勞值超過一定閾值則會被判定為疲勞駕駛也會觸發安全警報;當 P80≥40%或 EAR ≤30%或MAR ≥75%時，系統會發出安全警報。

5.2 結果分析

測試中實現面部識別功能可以在燈光較暗的情況下正常使用，人臉在一定范圍內可以穩定的、正常的使用;特偵點顯示功能完善，可以正常計算并顯示 EAR、 MAR、P80的值;警報功能正常，能在駕駛員疲勞時及時發出警報提醒駕駛員。

6 結束語

本文提出了一種基于面部識別的基于面部識別的駕駛員疲勞、危險駕駛檢測系統，采用免費的 Dlib、 OpenCV 跨平臺計算機視覺開源庫、搭載了博通 BCM2711的樹莓派4B、樹莓派 NolR camera V2夜視攝像頭等模塊，實現了面部識別、疲勞檢測、危險檢測、安全警報等功能。測試結果表明本系統具有良好的可行性，可以在車里面使用本系統對駕駛員進行疲勞檢測，可以準確的檢測出人臉，并計算出駕駛員的疲勞值，疲勞值超過設定好的閾值會發出警報。本文提出的設計方案可用于駕駛方面的疲勞、危險檢測，具有實用性。

參考文獻：

[1]涂鑫.基于卷積神經網絡的課堂人臉打卡算法[J].現代計算機， 2019（29）：39-43.

[2]金谷香，張宏偉.基于防疲勞駕駛下的智能語音播報系統[J].電子世界，2018（6）：157-158.

[3]李瑩.基于特征點分析的人臉疲勞狀態及身份識別[D].西安：西安電子科技大學，2015.

[4]王筱薇倩.面部識別技術及其在汽車行駛中的應用研究[D].安徽：安徽工程大學，2013.

[5]陳旭， 肖洪兵.基于面部綜合信息的疲勞駕駛判別研究[J].科學技術與工程，2014，14（11）：226-230.

[6]黃斌.基于人臉特征的駕駛員疲勞檢測算法與實現[D].南京：南京航空航天大學，2017.

[7]汪磊，孫瑞山.基于面部特征識別的管制員疲勞監測方法研究[J].中國安全科學學報，2012，22（7）：6671.

[8]龔淑娟.基于面部多指標的貨運司機疲勞駕駛檢測[J].物流技術，2020，39（9）：74-81.

[9]韓懷陽，王秀麗.機動車駕駛員疲勞駕駛檢測系統研究[J].內燃機與配件，2016（10）：6-7.

[10]趙琳.基于人臉識別的疲勞駕駛監控方法研究[D].長春：長春工業大學，2015.

[11]徐歡.基于紅外視頻的駕駛員疲勞檢測研究[D].北京：中國計量學院，2013.

[12]于興玲，王民，張立材.基于 PERCLOS的駕駛員眼睛狀態檢測方法[J].汽車電子，2007，23（5）：251-253.

作者簡介：

黃志超（2000-），男，廣東湛江人，大學本科，研究領域為計算機科學與技術。

趙紅梅（1979-），女，廣州增城人，碩士，高級講師，高級技師，研究領域為自動控制。

（編輯：刁少華）