基于頭部多姿態(tài)融合識(shí)別的疲勞檢測(cè)與預(yù)警研究

馮宇航 葉輝 黃文禧 徐梓浩 林錦櫻

摘要： 疲勞預(yù)警在各領(lǐng)域都有重要意義，如工作學(xué)習(xí)狀態(tài)的預(yù)警、駕駛疲勞預(yù)警等。通過(guò)從用戶端攝像頭提取出人臉，選取眼部、嘴部等特征，計(jì)算人眼睛的開(kāi)合程度、嘴部開(kāi)合度、頭部偏移程度，并結(jié)合羅德里格斯旋轉(zhuǎn)公式的頭部姿態(tài)檢測(cè)算法，設(shè)計(jì)一個(gè)適用于多場(chǎng)景的疲勞檢測(cè)融合算法，并且同時(shí)介紹了疲勞檢測(cè)預(yù)警系統(tǒng)設(shè)計(jì)架構(gòu)和核心算法過(guò)程。實(shí)驗(yàn)結(jié)果表明，通過(guò)以上三種特征信息融合進(jìn)行疲勞檢測(cè)具有較高的準(zhǔn)確度，可適用于多種場(chǎng)景的疲勞檢測(cè)。

關(guān)鍵詞：人臉識(shí)別;特征提取;疲勞檢測(cè);頭部多姿態(tài);融合識(shí)別

中圖分類(lèi)號(hào)：TP302? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）13-0012-03

Abstract： Fatigue early warning is of great significance in various fields， such as the early warning of work and learning status， driving fatigue and so on. By extracting the face from the client camera， selecting the eye， mouth and other features， calculating the opening and closing degree of human eyes， opening and closing degree of mouth， head offset degree， and combining with the head posture detection algorithm of Rodriguez rotation formula， a fatigue detection system suitable for multi scene is designed. The system architecture and core algorithm process are introduced. The experimental results show that the fatigue detection based on the above three feature information fusion has high accuracy and can be applied to a variety of scenes.

Key words：Face recognition; Feature extraction; Fatigue detection; head multi poses; fusion recognition

1 引言

1.1 疲勞檢測(cè)方法研究現(xiàn)狀

目前業(yè)內(nèi)已經(jīng)有采用物聯(lián)網(wǎng)數(shù)字化技術(shù)實(shí)現(xiàn)駕駛員精神狀況的檢測(cè)系統(tǒng)，它基于車(chē)聯(lián)網(wǎng)應(yīng)用的，以適應(yīng)行駛安全檢測(cè)的新需求。這種數(shù)字化的系統(tǒng)的應(yīng)用融合姿態(tài)信息的多姿態(tài)人臉檢測(cè)方法，基于生物特征的頭部姿態(tài)估計(jì)方法，融合駕駛員自身多種生物特征的疲勞駕駛模型。大多數(shù)以嵌入式為主，普及率也比較低，目前研究疲勞駕駛預(yù)警系統(tǒng)的成果較以往增多了，但是還未見(jiàn)到一種方法被大家所公認(rèn)。其原因主要是：雖然每一種方法都在某一方面具有了一定的說(shuō)服力和可操作性，但是距離車(chē)載、實(shí)時(shí)、客觀的本質(zhì)要求還有其不可克服的弊端。同時(shí)，不僅是駕駛疲勞，在工作和學(xué)習(xí)中也需要有疲勞預(yù)警系統(tǒng)，但目前的預(yù)警系統(tǒng)多是以疲勞駕駛為主，對(duì)于在辦公桌前工作或是在書(shū)桌前學(xué)習(xí)都不太好能夠適應(yīng)需求。

1.2 背景分析

據(jù)不完全統(tǒng)計(jì)，50%的交通安全事故起源駕駛員意識(shí)不清醒從而釀成車(chē)禍。引起駕駛員主動(dòng)駕駛意外最多的原因包括疲勞駕駛、注意力不集中。同時(shí)很多上班族長(zhǎng)時(shí)間看電腦、手機(jī)對(duì)眼睛的影響是非常明顯的，會(huì)引發(fā)視疲勞。為了避免這種現(xiàn)象的發(fā)生，人們?cè)诠ぷ鲿r(shí)就應(yīng)該給自己留出休息的時(shí)間。但許多人在工作時(shí)往往會(huì)過(guò)度投入，在自己眼睛疲倦時(shí)也毫無(wú)察覺(jué)，而疲勞預(yù)警系統(tǒng)就能夠通過(guò)對(duì)員工的眼睛進(jìn)行實(shí)時(shí)的檢測(cè)以獲取當(dāng)前的精神狀態(tài)，當(dāng)精神狀態(tài)過(guò)于疲勞時(shí)會(huì)發(fā)出警告，告知員工應(yīng)該適當(dāng)休息，防止視疲勞的加深。

1.3 疲勞檢測(cè)預(yù)警目標(biāo)

對(duì)目前的種種現(xiàn)狀，無(wú)論是疲勞駕駛、學(xué)習(xí)或者工作，研究出一款疲勞預(yù)警系統(tǒng)顯得十分的重要，無(wú)論對(duì)于社會(huì)方面還是對(duì)于經(jīng)濟(jì)方面。它既要能夠正確的判斷使用者的疲勞狀況，又要能夠便于用戶的使用方便，因而設(shè)計(jì)一款基于移動(dòng)端和PC端的預(yù)警系統(tǒng)是比較合適的。駕駛者通過(guò)使用手機(jī)實(shí)時(shí)監(jiān)測(cè)當(dāng)前的疲勞情況，長(zhǎng)期坐在辦公室工作的用戶使用電腦檢測(cè)要更加方便一些，對(duì)于學(xué)習(xí)的學(xué)生而言，他們可以自行選擇使用手機(jī)或者是電腦進(jìn)行檢測(cè)。我們希望通過(guò)系統(tǒng)能夠減少道路上因疲勞而產(chǎn)生的交通事故，讓工作和學(xué)習(xí)的用戶能夠更好地調(diào)整自己的休息時(shí)間，從而提高效率。

2 研究方法

2.1 基于頭部多姿態(tài)融合識(shí)別的疲勞檢測(cè)方法

2.1.1 基于眼睛閉合程度

研究了基于卡內(nèi)基梅隆提出的度量疲勞的物理PERCLOS。PERCLOS方法通過(guò)眼睛閉合所占時(shí)間比例進(jìn)行疲勞的判斷，目前有三種判斷準(zhǔn)則：EM準(zhǔn)則：瞳孔被眼瞼覆蓋超50%，判定眼睛為閉合;P70準(zhǔn)則：瞳孔被眼瞼覆蓋超70%，判定眼睛為閉合;P80準(zhǔn)則：瞳孔被眼瞼覆蓋超80%，判定眼睛為閉合。計(jì)算原理如圖1。

2.1.2基于嘴巴開(kāi)合程度

基于MAR算法的哈欠檢測(cè)，此算法同樣利用了Dlib提取了嘴部的8個(gè)特征點(diǎn)，計(jì)算嘴部縱橫比，若縱橫比提升至MAR閾值之上，再迅速下降，則判斷為打哈欠。

2.1.3 基于頭部的偏移

基于羅德里格斯旋轉(zhuǎn)公式的頭部姿態(tài)檢測(cè)算法，并使用PERCLOS中的P70算法，以0度俯仰角（pitch）與0度滾轉(zhuǎn)角（roll）作為基準(zhǔn)，若偏移程度超過(guò)最大值的30%，則判斷處于疲勞狀態(tài)。

2.2 單一生物特征閾值的設(shè)定

眼部閾值的設(shè)定：計(jì)算眼瞼實(shí)時(shí)值與用戶錄入的初始值對(duì)比，利用PERCLOS中的P80定理，若計(jì)算得出的PERCLOS值>P80，則判斷用戶處于疲勞;同時(shí)檢測(cè)眼睛閉合時(shí)長(zhǎng)，若眼睛持續(xù)閉合超過(guò)3s，則判斷用戶處于疲勞狀態(tài)。

嘴部閾值的設(shè)定：人在打哈欠時(shí)，與說(shuō)話不同，嘴巴的張開(kāi)程度相對(duì)于正常說(shuō)話明顯更大，且持續(xù)的時(shí)間更長(zhǎng)，團(tuán)隊(duì)通過(guò)定義PMRCLOS參數(shù)作為打哈欠的判斷標(biāo)準(zhǔn)，若PMRCLOS值維持在60%以上并保持3s以上，則判斷用戶處于打哈欠的疲勞狀態(tài)。

頭部偏移閾值的設(shè)定：當(dāng)用戶處于疲勞狀態(tài)時(shí)，會(huì)產(chǎn)生打瞌睡現(xiàn)象，頭部則會(huì)發(fā)生一定程度的偏移，在使用程序時(shí)，要求用戶錄入一張坐姿端正的圖片，并以此作為基準(zhǔn)的初始值，在往后的檢測(cè)過(guò)程中，當(dāng)頭部的偏移程度超過(guò)初始值的30%，判斷用戶處于打瞌睡的疲勞狀態(tài)。

2.3 系統(tǒng)運(yùn)行與實(shí)驗(yàn)

系統(tǒng)通過(guò)攝像頭對(duì)用戶實(shí)時(shí)檢測(cè)，獲取用戶人臉并框定頭部位置，標(biāo)記人臉特征點(diǎn)，分別通過(guò)計(jì)算眼部閉合程度、嘴部張合程度以及頭部的偏移程度，結(jié)合三種計(jì)算值與設(shè)置的閾值比較，當(dāng)用戶出現(xiàn)一種以上條件超過(guò)預(yù)設(shè)閾值，則通過(guò)鈴聲等方式提醒用戶合理安排時(shí)間休息。融合多姿態(tài)后的疲勞檢測(cè)預(yù)警系統(tǒng)運(yùn)行流程如圖4所示。

通過(guò)設(shè)備相機(jī)采集用戶正面頭部的情況，每隔2s提取一幀圖像，再利用Dlib庫(kù)和頭部姿態(tài)檢測(cè)算法選取眼部、嘴部的特征點(diǎn)和框定頭部的位置并設(shè)為初始值，通過(guò)融合PERCLOS、MAR及頭部姿勢(shì)3個(gè)指標(biāo)計(jì)算，通過(guò)計(jì)算眼睛長(zhǎng)寬比確定用戶是否出現(xiàn)瞌睡，通過(guò)計(jì)算嘴部長(zhǎng)寬比確定用戶是否打哈欠，通過(guò)頭部偏移程度確定是否打瞌睡。當(dāng)系統(tǒng)檢測(cè)到用戶處于疲勞狀態(tài)時(shí)，即以P80>40%，MAR>60%，頭部偏移程度>30%為判定疲勞標(biāo)準(zhǔn)時(shí)，系統(tǒng)將通過(guò)主動(dòng)發(fā)出提示音等方式，提醒用戶適當(dāng)休息，合理安排時(shí)間。

4 結(jié)論

使用單一指標(biāo)檢測(cè)用戶處于疲勞狀態(tài)有一定的準(zhǔn)確性，以眼睛作為檢測(cè)指標(biāo)的準(zhǔn)確度與以嘴部為檢測(cè)指標(biāo)的效果更好，且在實(shí)驗(yàn)測(cè)試過(guò)程中團(tuán)隊(duì)發(fā)現(xiàn)以頭部姿態(tài)作為指標(biāo)的檢測(cè)方法的難度較高，系統(tǒng)在多幀靜態(tài)圖片的對(duì)比中較難做出正確判斷。與單一指標(biāo)作為檢測(cè)指標(biāo)相比，融合三種檢測(cè)指標(biāo)后得到的用戶疲勞檢測(cè)的準(zhǔn)確度更優(yōu)，誤差性較小。

以頭部面部多姿態(tài)作為疲勞檢測(cè)指標(biāo)的可行性，通過(guò)算法搭建檢測(cè)系統(tǒng)，仍存在以下不足需要進(jìn)一步開(kāi)展研究：本文基于頭部面部多姿態(tài)作為指標(biāo)，系統(tǒng)在采集用戶數(shù)據(jù)后判斷用戶是否處于疲勞，但改為對(duì)疲勞的等級(jí)進(jìn)行劃分，僅有疲勞和正常兩個(gè)標(biāo)準(zhǔn)，而疲勞不是一個(gè)瞬間的過(guò)程，以防用戶接近設(shè)定閾值時(shí)系統(tǒng)未能及時(shí)提醒。目前的算法是基于Dlib庫(kù)的應(yīng)用，通過(guò)Dlib基于C++編寫(xiě)的優(yōu)勢(shì)，讓其擁有良好的跨平臺(tái)特性，本文的研究對(duì)開(kāi)發(fā)完備功能的App的開(kāi)發(fā)提供了基礎(chǔ)。

參考文獻(xiàn)：

[1] 武昆亮.基于面部特征與頭部姿態(tài)的疲勞駕駛檢測(cè)[D].上海：東華大學(xué)，2020.

[2] 孫顯彬，唐洪偉，文妍.疲勞駕駛預(yù)警系統(tǒng)的研究現(xiàn)狀和發(fā)展趨勢(shì)[J].青島理工大學(xué)學(xué)報(bào)，2007，28（3）：91-94.

[3] 龔淑娟.基于面部多指標(biāo)的貨運(yùn)司機(jī)疲勞駕駛檢測(cè)[J].物流技術(shù)，2020，39（9）：74-81，95.

[4] 趙雪娟.基于ASM與信息融合的駕駛員疲勞檢測(cè)技術(shù)的研究[J].科學(xué)技術(shù)創(chuàng)新，2020（30）：120-121.

[5] 陳梅芬，陸蓉.在線學(xué)習(xí)疲勞狀態(tài)識(shí)別方法及應(yīng)用研究[J].深圳職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2020，19（5）：23-29.

[6] 敖邦乾，楊莎，令狐金卿，等.基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)疲勞駕駛檢測(cè)系統(tǒng)設(shè)計(jì)[J/OL].系統(tǒng)仿真學(xué)報(bào)：1-9[2021-03-08].https：//doi.org/10.16182/j.issn1004731x.joss.20-0703.

[7] 劉佰強(qiáng).基于人臉視頻智能分析的日間駕駛員不安全行為檢測(cè)分類(lèi)與預(yù)警系統(tǒng)[D].西安：西安理工大學(xué)，2020.

[8] 陸權(quán).關(guān)于公交車(chē)駕駛員安全駕駛視覺(jué)特性的分析[J].時(shí)代汽車(chē)，2021（4）：197-198.

【通聯(lián)編輯：唐一東】