基于機(jī)器視覺的疲勞駕駛檢測系統(tǒng)

謝豆 陳曉鳳 鄭嘉怡 劉文軍

摘 要：汽車保有量的持續(xù)增加為人們出行帶來了極大便利，同時(shí)因疲勞駕駛等不當(dāng)行為引發(fā)的交通事故亦頻繁發(fā)生，嚴(yán)重威脅著廣大群眾的生命財(cái)產(chǎn)安全。考慮到傳統(tǒng)的視頻監(jiān)控?zé)o法對(duì)此進(jìn)行實(shí)時(shí)監(jiān)測與預(yù)警，針對(duì)這一情況，利用機(jī)器視覺和邊緣計(jì)算模型來實(shí)現(xiàn)對(duì)駕駛員駕駛行為的監(jiān)測和預(yù)警。文中給出了完整的系統(tǒng)架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)方案，可顯著降低交通事故發(fā)生的概率，具有很好的應(yīng)用價(jià)值。

關(guān)鍵詞：機(jī)器視覺;邊緣計(jì)算;實(shí)時(shí)監(jiān)測;駕駛行為分析;疲勞駕駛檢測;實(shí)時(shí)顯示

中圖分類號(hào)：TP399文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2020）11-00-03

0 引 言

由《2019—2025年中國交通事故現(xiàn)場勘查救援設(shè)備行業(yè)市場專項(xiàng)調(diào)研及投資戰(zhàn)略研究報(bào)告》可知：每年發(fā)生的交通事故平均高達(dá)19萬起，其中每年因交通事故而死亡的人數(shù)達(dá)到6萬之多。事故的發(fā)生多因駕駛員疲勞駕駛等行為造成。據(jù)統(tǒng)計(jì)，截至2017年，我國六大省市民用汽車保有量超過1 000萬輛，機(jī)動(dòng)車駕駛?cè)藬?shù)量達(dá)3.85億人，汽車駕駛?cè)藬?shù)超3.42億人。汽車產(chǎn)業(yè)的發(fā)展不僅有助于經(jīng)濟(jì)增長，更為人們的出行帶來了極大便利，但頻發(fā)的交通事故也為我國交通治理帶來巨大挑戰(zhàn)。

行車記錄儀和道路攝像頭等傳統(tǒng)的監(jiān)測方式普遍存在智能效果不足等弊端，容易造成存儲(chǔ)和計(jì)算資源的巨大浪費(fèi)。通過機(jī)器視覺等新技術(shù)對(duì)駕駛員的疲勞駕駛等典型不當(dāng)行為進(jìn)行判定，從而規(guī)范駕駛員的駕駛行為，大大降低交通事故的發(fā)生概率。基于機(jī)器視覺的駕駛行為分析受到了相關(guān)行業(yè)企業(yè)的關(guān)注[1-5]，其中文獻(xiàn)[2]給出了該領(lǐng)域的最新研究進(jìn)展，文獻(xiàn)[3]和文獻(xiàn)[4]基于人臉識(shí)別和特征點(diǎn)給出了駕駛行為檢測解決方案。文獻(xiàn)[5]則采用人眼狀態(tài)信息的非接觸式方法給出疲勞駕駛識(shí)別方案。在產(chǎn)業(yè)界方面，諾思達(dá)公司提出使用機(jī)器視覺分析駕駛行為，其分析深入，模式多樣，但功能不夠豐富，設(shè)備費(fèi)用成本較高，且易受駕駛環(huán)境的影響。此外，文獻(xiàn)[6]基于邊緣計(jì)算模式給出了視覺推理方面的相關(guān)探索。

本文根據(jù)實(shí)際需要，使用車載終端獲取車內(nèi)攝像頭的視頻數(shù)據(jù)，運(yùn)用機(jī)器視覺技術(shù)對(duì)駕駛行為進(jìn)行監(jiān)測和預(yù)警，采用邊緣計(jì)算模型對(duì)獲取的數(shù)據(jù)進(jìn)行有效分析和利用。該模型將數(shù)據(jù)傳入就近設(shè)備進(jìn)行分析，提醒駕駛員并反饋，以有效解決傳統(tǒng)方案中存在的高延遲、傳輸代價(jià)高、寬帶需求高等問題。此舉不僅減少了駕駛員因駕駛行為不當(dāng)而引發(fā)的交通事故，更降低了交通管理難度，提高了運(yùn)行效率。

1 總體方案

1.1 系統(tǒng)架構(gòu)

基于機(jī)器視覺的駕駛行為監(jiān)測服務(wù)平臺(tái)分為邊緣端、云端兩大部分。駕駛行為分析平臺(tái)結(jié)構(gòu)如圖1所示。

1.1.1 邊緣端

邊緣端硬件平臺(tái)包含攝像頭、數(shù)據(jù)處理終端、GPS單元、通信模塊以及邊緣計(jì)算服務(wù)器等。為傳統(tǒng)車輛環(huán)境下的攝像頭增加處理單元并與邊緣計(jì)算服務(wù)器交互，可解決車輛內(nèi)部多路攝像頭視頻流采集、編碼及協(xié)同工作等問題。該層負(fù)責(zé)駕駛行為視頻數(shù)據(jù)的采集、存儲(chǔ)，并提供硬件設(shè)備支撐。視頻設(shè)備開啟后，對(duì)司機(jī)的駕駛行為數(shù)據(jù)進(jìn)行采集和預(yù)處理，并基于算法或預(yù)訓(xùn)練模型進(jìn)行邊緣端推理，必要時(shí)與邊緣服務(wù)器進(jìn)行計(jì)算交互。

1.1.2 云平臺(tái)

邊緣端進(jìn)行本地駕駛行為數(shù)據(jù)分析后，需要把分析結(jié)果、宏觀信息以及實(shí)時(shí)性要求低的其他分析任務(wù)上傳云端，借助處理性能更強(qiáng)的云服務(wù)器完成進(jìn)一步分析。云平臺(tái)通過對(duì)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源進(jìn)行池化整合，為應(yīng)用服務(wù)提供支撐。基于實(shí)際需要將計(jì)算結(jié)果推送至Web端展示，管理人員可以通過數(shù)據(jù)大屏、手機(jī)APP等方式查看，為運(yùn)營管理、決策提供數(shù)據(jù)支持。同時(shí)，也可以通過語音等方式對(duì)駕駛員本人的不當(dāng)駕駛行為進(jìn)行實(shí)時(shí)預(yù)警。

1.2 系統(tǒng)功能模塊

本平臺(tái)以疲勞駕駛實(shí)時(shí)檢測為主要目標(biāo)，具有駕駛行為數(shù)據(jù)采集、存儲(chǔ)、分析以及展示等功能，具體如圖2所示。

1.2.1 駕駛行為識(shí)別

基于視頻數(shù)據(jù)完成疲勞駕駛行為識(shí)別是本平臺(tái)的核心，實(shí)現(xiàn)思路如下：

（1）使用典型的視覺庫準(zhǔn)確識(shí)別出人臉，并精確定位需要判斷的區(qū)域;

（2）借助視覺處理庫對(duì)圖片進(jìn)行裁剪、縮放、灰度化、歸一化等預(yù)處理，提高識(shí)別準(zhǔn)確率;

（3）抽象計(jì)算公式，通過算法完成特定行為的識(shí)別，如對(duì)眨眼、打哈欠等行為的識(shí)別。

1.2.2 違規(guī)警報(bào)

系統(tǒng)完成不當(dāng)駕駛行為識(shí)別后，需要及時(shí)發(fā)出預(yù)警。基于邊緣分析設(shè)備的支持，系統(tǒng)對(duì)獲取的本地視頻進(jìn)行分析。使用已經(jīng)訓(xùn)練好的識(shí)別模型對(duì)司機(jī)的駕駛行為進(jìn)行實(shí)時(shí)分析，當(dāng)發(fā)現(xiàn)違規(guī)駕駛行為時(shí)，語言模塊會(huì)向司機(jī)發(fā)出語音警報(bào)，并將違規(guī)數(shù)據(jù)上傳至云平臺(tái)備份。系統(tǒng)的語音合成是基于HTTP請(qǐng)求的REST API接口，使用Python將設(shè)定好的文本轉(zhuǎn)換為特定格式的音頻文件，將合成的語音內(nèi)容嵌入邊緣設(shè)備腳本中用于及時(shí)對(duì)司機(jī)的違規(guī)駕駛行為進(jìn)行報(bào)警。語音提示的音色與音量可由用戶通過硬件設(shè)備調(diào)節(jié)。

1.2.3 實(shí)時(shí)監(jiān)控

除了本地的行為識(shí)別和實(shí)時(shí)預(yù)警功能，系統(tǒng)可以通過后臺(tái)程序獲取車內(nèi)視頻流的地址，將處理后的視頻推送到前臺(tái)調(diào)用，并在Web端顯示。監(jiān)管人員無須安裝應(yīng)用程序即可通過瀏覽器頁面查看車載終端實(shí)時(shí)上報(bào)的指標(biāo)數(shù)據(jù)，特別是運(yùn)營車隊(duì)，監(jiān)管部門能夠?qū)崟r(shí)了解駕駛員的駕駛情況。系統(tǒng)不僅支持實(shí)時(shí)車內(nèi)視頻顯示，還可對(duì)司機(jī)的歷史違規(guī)情況進(jìn)行查閱，實(shí)現(xiàn)了安全駕駛的準(zhǔn)確監(jiān)控。

2 系統(tǒng)設(shè)計(jì)

2.1 疲勞駕駛檢測

疲勞駕駛預(yù)測流程如圖3所示。系統(tǒng)讀取視頻后，從視頻中跳幀讀取圖片，檢測到人臉后提取眼睛和嘴巴區(qū)域，并對(duì)該區(qū)域進(jìn)行判斷，之后根據(jù)判斷情況給出相應(yīng)的提示。參照文獻(xiàn)[1]，本系統(tǒng)根據(jù)眼睛縱橫比（Eye Aspect Ratio，EAR）以及嘴巴縱橫比（Mouth Aspect Radio，MAR）來判斷駕駛員是否存在疲勞駕駛行為。為提高檢測效率，系統(tǒng)對(duì)讀取的視頻采用跳幀方式提取圖片，并用Dlib模型提取人臉坐標(biāo)的68個(gè)坐標(biāo)點(diǎn)。從坐標(biāo)軸中提取眼睛和嘴巴區(qū)域進(jìn)行開合度計(jì)算。

公式（1）給出了EAR的計(jì)算方法，其中（P1， P2， ...， P6）為采用Dlib模型提取的人臉坐標(biāo)點(diǎn)中眼睛的坐標(biāo)。文獻(xiàn)[1]經(jīng)實(shí)驗(yàn)得出，當(dāng)產(chǎn)生困意時(shí)，眼睛開合度減小，當(dāng)眼睛開合度小于設(shè)定的閾值（經(jīng)試驗(yàn)，本系統(tǒng)的最佳閾值為0.275）且小于閾值的次數(shù)大于8（經(jīng)試驗(yàn)，本系統(tǒng)的最佳閾值為8）時(shí)則認(rèn)為駕駛員疲勞駕駛，系統(tǒng)將進(jìn)行提示報(bào)警。同理，公式（2）中嘴巴縱橫比表示嘴巴的開合度，其計(jì)算方法也運(yùn)用了同樣的原理。通過提取相應(yīng)坐標(biāo)點(diǎn)并計(jì)算嘴巴開合度，將它與設(shè)定的閾值（經(jīng)試驗(yàn)，本系統(tǒng)的最佳閾值為0.65）進(jìn)行對(duì)比，如果大于閾值，且哈欠的次數(shù)大于設(shè)定值，打哈欠的時(shí)間小于等于限值（600 ms），則表示駕駛員存在睡意。

2.2 邊云協(xié)同

車載端通過網(wǎng)絡(luò)與車內(nèi)外環(huán)境連接。車載端主要負(fù)責(zé)采集駕駛行為視頻數(shù)據(jù)，并進(jìn)行預(yù)處理和本地推理，基于識(shí)別算法進(jìn)行違規(guī)駕駛行為識(shí)別和報(bào)警。由于設(shè)備端計(jì)算資源不足，難以保證復(fù)雜識(shí)別任務(wù)的執(zhí)行和分析效率，因此選擇在公交站點(diǎn)等局部區(qū)域設(shè)置邊緣服務(wù)器，完成更為復(fù)雜任務(wù)的分析。設(shè)備端與邊緣服務(wù)器通過局域網(wǎng)絡(luò)連接，該模式有助于解決遠(yuǎn)距離通信帶寬限制和隱私數(shù)據(jù)的保護(hù)等問題。邊云協(xié)同計(jì)算架構(gòu)如圖4所示。

云端主要負(fù)責(zé)視頻數(shù)據(jù)的宏觀分析、離線分析、復(fù)雜計(jì)算以及查詢顯示等任務(wù)。云端支持海量設(shè)備的實(shí)時(shí)顯示以及對(duì)歷史數(shù)據(jù)進(jìn)行備份等。邊云協(xié)同的做法發(fā)揮了邊緣側(cè)和云端各自的優(yōu)勢，不僅節(jié)約了傳輸成本，更大大提高了檢測效率，減少了數(shù)據(jù)與資源的浪費(fèi)。

3 系統(tǒng)實(shí)現(xiàn)

圖5右側(cè)區(qū)域展示的為駕駛員違規(guī)駕駛行為的歷史記錄。

駕駛行為識(shí)別模塊采用Python作為開發(fā)語言，運(yùn)用機(jī)器視覺對(duì)獲取的視頻數(shù)據(jù)進(jìn)行處理和分析，以此來判斷駕駛員駕駛行為是否規(guī)范，并給出相應(yīng)預(yù)警。云平臺(tái)端使用Java語言進(jìn)行開發(fā)，通過消息組件實(shí)現(xiàn)可靠和并發(fā)的數(shù)據(jù)接收。Web端采用Spring MVC框架實(shí)現(xiàn)業(yè)務(wù)分離，提供簡單明了的顯示界面。圖5所示為駕駛行為分析系統(tǒng)可視化展示界面。圖5左側(cè)區(qū)域顯示接入車輛的車牌號(hào);中間區(qū)域?yàn)楦鬈囕v所對(duì)應(yīng)的攝像頭實(shí)時(shí)監(jiān)測畫面，如攝像機(jī)01檢測到駕駛員處于正常行駛狀態(tài)，攝像機(jī)02檢測出駕駛員疲勞駕駛，攝像機(jī)03對(duì)駕駛員是否抽煙進(jìn)行判斷，攝像機(jī)04對(duì)畫面內(nèi)的人臉進(jìn)行檢測。

4 結(jié) 語

針對(duì)疲勞駕駛識(shí)別應(yīng)用的實(shí)際需求，本文給出了一種基于機(jī)器視覺和邊云協(xié)同架構(gòu)的平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)。首先，提供了系統(tǒng)的總體架構(gòu)和主要功能模塊構(gòu)成;然后，給出了系統(tǒng)設(shè)計(jì)的細(xì)節(jié)部分，其中包括疲勞駕駛行為識(shí)別算法、邊云協(xié)同架構(gòu)等;最后，給出了疲勞檢測與預(yù)警系統(tǒng)的實(shí)現(xiàn)結(jié)果，通過界面演示了識(shí)別情況。初步應(yīng)用表明，該系統(tǒng)適用于多種車輛場景，具有較高的準(zhǔn)確率和響應(yīng)效率，較好地滿足了實(shí)際需求。

參考文獻(xiàn)

[1] TEREZA S and CECH J. Real-Time Eye Blink Detection using Facial Landmarks [C]// In 21st Computer Vision Winter Workshop， February，2016.

[2] RAMZAN M，HIKMAT U K， SHAHID A，et al. A Survey on State-of-the-Art drowsiness detection techniques [J]. IEEE Access，2019（7）：61904-61919.

[3] CONSTANTIN L，F(xiàn)OSALAU C，ZET C，et al. Driver Monitoring Using Face Detection and Facial Landmarks [C]// 2018 International Conference and Exposition on Electrical And Power Engineering （EPE），October，2018.

[4]黃家才，曠文騰，毛寬誠.基于人臉關(guān)鍵點(diǎn)的疲勞駕駛檢測研究[J].南京工程學(xué)院學(xué)報(bào)（自然科學(xué)版），2017，15（4）：8-13.

[5]李建平，牛燕雄，楊露.基于人眼狀態(tài)信息的非接觸式疲勞駕駛監(jiān)測與預(yù)警系統(tǒng)[J].激光與光電子學(xué)研究進(jìn)展，2015，52（4）：83-88.

[6] LI E，ZHOU Z，CHEN X. Edge Intelligence：On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy [C]// ACM SIGCOMM Workshop on Mobile Edge Communications，Budapest，Hungary，August 21-23，2018.

[7]朱文杰.基于機(jī)器視覺的物體識(shí)別與抓取控制系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2019，9（3）：37-38.

[8]王坤.基于機(jī)器視覺的疲勞駕駛檢測系統(tǒng)研究[D].杭州：杭州電子科技大學(xué)，2016.

[9]劉洪榛.基于機(jī)器視覺的疲勞駕駛檢測算法研究[D].廣州：華南理工大學(xué)，2012.

[10]岳翼.基于圖像識(shí)別的模擬駕駛疲勞檢測系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[J].電子世界，2016，38（22）：69-70.