多特征因素的疲勞駕駛檢測方法

田 垚，李建良，郭秋蕊，劉曉靜

(天津科技大學(xué)電子信息與自動(dòng)化學(xué)院，天津 300222)

近幾年來，隨著人民生活水平的不斷提升以及交通運(yùn)輸行業(yè)的持續(xù)發(fā)展，機(jī)動(dòng)車總量逐漸增加．與此同時(shí)，我國交通事故的發(fā)生率隨著機(jī)動(dòng)車數(shù)量的增加也不斷上升，交通事故已經(jīng)嚴(yán)重威脅到人們的生命財(cái)產(chǎn)安全[1]．導(dǎo)致交通事故發(fā)生的主要原因之一就是駕駛員的疲勞駕駛，因此需要高效精確的疲勞駕駛預(yù)警系統(tǒng)，以減少交通事故的發(fā)生．

疲勞駕駛的檢測方法大致可分為兩類：接觸式疲勞檢測、非接觸式疲勞檢測．接觸式疲勞檢測主要是通過駕駛員穿戴物理設(shè)備檢測駕駛員的心率、腦電波、呼吸頻率等生理狀態(tài)，判斷駕駛員是否處于疲勞狀態(tài)．這種方法非常有效并且準(zhǔn)確率高，但是駕駛員需要長時(shí)間穿戴檢測裝置，會(huì)影響駕駛員的正常駕駛[2-3]．非接觸式疲勞檢測則是利用非接觸式傳感器檢測出駕駛員的肌電信號(hào)和心電信號(hào)的特征參數(shù)判定駕駛員的疲勞狀態(tài)，但是由于駕駛員的情緒波動(dòng)和駕駛艙內(nèi)溫度的變化會(huì)導(dǎo)致特征參數(shù)不穩(wěn)定，影響檢測的準(zhǔn)確性．計(jì)算機(jī)視覺技術(shù)在人臉識(shí)別領(lǐng)域有廣泛的應(yīng)用，如人臉支付、人臉考勤等．而利用計(jì)算機(jī)視覺技術(shù)進(jìn)行人臉識(shí)別疲勞檢測可以避免外界因素的影響，在駕駛員長時(shí)間駕駛汽車過程中，駕駛員注意力不集中會(huì)眨眼，困倦會(huì)導(dǎo)致駕駛員打哈欠，長時(shí)間久坐導(dǎo)致頸部疲勞會(huì)出現(xiàn)瞌睡點(diǎn)頭的狀態(tài)．因此，可以通過眨眼、哈欠、點(diǎn)頭等疲勞特征綜合判斷駕駛員的疲勞狀態(tài)[4-5]．

1 疲勞檢測系統(tǒng)的流程與算法

疲勞檢測系統(tǒng)的人臉檢測采用分層梯度方向直方圖(pyramid histogram of oriented gradients，PHOG)算法，在梯度方向直方圖(histogram of oriented gradients，HOG)算法的基礎(chǔ)上進(jìn)行改進(jìn)，加入分層金字塔結(jié)構(gòu)，比局部二值模式(local binary pattern，LBP)、HOG算法更加穩(wěn)定，具有更強(qiáng)的抗干擾能力，能適應(yīng)強(qiáng)光、弱光等極端環(huán)境．系統(tǒng)主要采集面部眼、嘴以及頭部的疲勞特征，綜合判斷駕駛員是否為疲勞狀態(tài).

1.1 疲勞檢測系統(tǒng)的流程

本文采用PHOG算法結(jié)合OpenCV進(jìn)行人臉識(shí)別檢測．OpenCV是一個(gè)開源的計(jì)算機(jī)視覺庫[6]．使用OpenCV從攝像頭或本地視頻中提取視頻幀，降噪及灰度處理后進(jìn)行人臉檢測和人臉68個(gè)關(guān)鍵點(diǎn)定位．根據(jù)眼、嘴以及頭部等關(guān)鍵點(diǎn)坐標(biāo)設(shè)定疲勞閾值，判斷駕駛員面部及頭部的疲勞狀態(tài)[7-8]．綜合以上疲勞駕駛因素判斷駕駛員的疲勞狀態(tài)，疲勞檢測系統(tǒng)的流程圖如圖1所示．

圖1 疲勞檢測流程圖Fig. 1 Flow chart of fatigue detection

1.2 改進(jìn)的PHOG算法

PHOG算法是由HOG算法改進(jìn)而來，HOG算法廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，常常用來描述圖像局部紋理特征．HOG算法是通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖構(gòu)成特征．首先將輸入的圖像分成小的連通區(qū)域，然后采集區(qū)域內(nèi)各像素點(diǎn)的梯度方向直方圖，最后把這些直方圖組合，構(gòu)成了這一區(qū)域的特征描述器，輸入到分類器中進(jìn)行識(shí)別分類[9].HOG算法步驟如下：

(1)采用伽馬(gamma)校正法對輸入圖像進(jìn)行顏色空間的歸一化，有效減小陰影和光照強(qiáng)度的影響，抑制噪聲的影響，通過調(diào)整gamma值處理圖像.gamma壓縮公式為

(2)根據(jù)圖像中(x,y)處像素點(diǎn)的像素值H(x,y)計(jì)算圖像梯度．水平方向梯度和垂直方向梯度的計(jì)算公式分別為

像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為

(3)將圖像劃分成若干個(gè)小區(qū)域細(xì)胞單元(例如每個(gè)細(xì)胞單元的像素為6×6)，統(tǒng)計(jì)每個(gè)區(qū)域的梯度直方圖即可形成每個(gè)區(qū)域的描述器．

(4)將每幾個(gè)細(xì)胞單元組成一個(gè)大區(qū)域塊block，將block內(nèi)所有細(xì)胞單元的HOG特征串聯(lián)，得到該block的HOG特征描述器．

(5)將HOG與Pyramid相結(jié)合即PHOG，將輸入的一張圖片進(jìn)行不同尺度的分割，例如將圖片分割成3×3、6×6不同尺度．計(jì)算出每個(gè)尺度的HOG值，將這些HOG值相加得到一維向量，歸一化處理后，將一維向量特征描述器送入分類器中完成圖像識(shí)別分類等功能[10-11]．

人臉的68個(gè)關(guān)鍵點(diǎn)坐標(biāo)如圖2所示．

圖2 人臉的68個(gè)關(guān)鍵點(diǎn)坐標(biāo)Fig. 2 68 key point coordinates of human face

本文采用PHOG算法，其優(yōu)點(diǎn)是表達(dá)能力強(qiáng)，具有較強(qiáng)的穩(wěn)定性和抗干擾能力，而且在各種復(fù)雜情況下能準(zhǔn)確檢測出人臉，并檢測出人臉的68個(gè)關(guān)鍵點(diǎn)(圖3)．

圖3 檢測出人臉和68個(gè)關(guān)鍵點(diǎn)Fig. 3 Detected face and 68 key points

2 人眼檢測及疲勞判定

眼睛的行為特征是疲勞檢測的主要因素之一，當(dāng)駕駛員長時(shí)間駕駛時(shí)，由于疲勞導(dǎo)致注意力下降，就會(huì)產(chǎn)生眨眼生理行為．

眼睛疲勞判別原理：基于PHOG算法已經(jīng)檢測出了人臉，并且標(biāo)記出人臉68個(gè)關(guān)鍵點(diǎn)坐標(biāo)，提取出人的左右眼坐標(biāo)．眼睛坐標(biāo)示意圖如圖4所示．圖4中36～41數(shù)字代表左眼坐標(biāo)．通過眼睛坐標(biāo)設(shè)定眼睛長寬比的眨眼閾值EAR，眼睛睜開時(shí)閾值會(huì)隨著眼睛的抖動(dòng)而上下波動(dòng)變化不明顯，當(dāng)閾值急劇下降時(shí)，將認(rèn)為其是眨眼或閉眼行為．根據(jù)PERCLOS準(zhǔn)則，通過統(tǒng)計(jì)單位時(shí)間內(nèi)眨眼次數(shù)設(shè)定眼睛疲勞閾值[12-13]，為

圖4 眼睛坐標(biāo)示意圖Fig. 4 Schematic diagram eye coordinate

眼睛部位檢測示意圖如圖5所示，在獲得人臉68個(gè)關(guān)鍵點(diǎn)坐標(biāo)的前提下，圖像中也檢測出了人眼的特征點(diǎn)坐標(biāo)，為了更明顯表現(xiàn)出人眼部位，將人的左右眼坐標(biāo)用綠色曲線連接．

圖5 眼睛部位檢測示意圖Fig. 5 Schematic diagram of eye detection

3 人的嘴部檢測及疲勞判定

嘴部行為特征是疲勞檢測的第二個(gè)重要因素，駕駛員在疲勞的情況下會(huì)因?yàn)槿毖醍a(chǎn)生打哈欠的動(dòng)作．基于PHOG算法識(shí)別人臉并標(biāo)注出人臉的68個(gè)關(guān)鍵點(diǎn)，進(jìn)而獲取嘴部的坐標(biāo)索引．嘴部坐標(biāo)示意圖如圖6所示．圖6中嘴部內(nèi)輪廓坐標(biāo)點(diǎn)為60～67，嘴部外輪廓坐標(biāo)點(diǎn)為48～59．根據(jù)嘴部的開度設(shè)定閾值判定是否處于打哈欠狀態(tài)，人說話或哼歌時(shí)也處于張開狀態(tài)，閾值會(huì)在一定范圍內(nèi)上下波動(dòng)．當(dāng)打哈欠時(shí)嘴部閾值會(huì)持續(xù)下降，并會(huì)持續(xù)一定的時(shí)間．采取內(nèi)輪廓疲勞閾值K1與外輪廓疲勞閾值K2的均值MAR判別哈欠狀態(tài)，通過統(tǒng)計(jì)單位時(shí)間內(nèi)哈欠的次數(shù)設(shè)定嘴部疲勞閾值公式：

圖6 嘴部坐標(biāo)示意圖Fig. 6 Schematic diagram of mouth coordinate

嘴部檢測效果圖如圖7所示，為了更加方便地觀察嘴部效果，將嘴部的坐標(biāo)點(diǎn)用綠色曲線連接．

圖7 嘴部檢測效果圖Fig. 7 Effect picture of mouth detection

4 人的頭部檢測及疲勞判定

頭部行為特征是疲勞檢測的第三個(gè)重要因素，當(dāng)人處于疲勞狀態(tài)時(shí)，頸部肌肉會(huì)出現(xiàn)間歇性放松，產(chǎn)生瞌睡點(diǎn)頭的生理狀態(tài)．檢測人的頭部狀態(tài)需要將2D轉(zhuǎn)換到3D模型狀態(tài)，在3D模型狀態(tài)下能更加容易計(jì)算頭部的運(yùn)動(dòng)角度[14]．如圖8所示，人的頭部會(huì)出現(xiàn)Pitch、Roll、Yaw這3個(gè)運(yùn)動(dòng)方向．當(dāng)人處于疲勞狀態(tài)時(shí)會(huì)出現(xiàn)Pitch和Roll的兩個(gè)運(yùn)動(dòng)方向，不會(huì)出現(xiàn)Yaw的運(yùn)動(dòng)方向，根據(jù)頭部運(yùn)動(dòng)的歐拉角設(shè)定瞌睡閾值．

圖8 頭部經(jīng)常運(yùn)動(dòng)的角度Fig. 8 Angle of human head movement

人的頭部檢測效果圖如圖9所示，用紅色立方體框住人的頭部范圍，用x，y，z空間坐標(biāo)系定位頭部位置，獲得Roll和Pitch兩個(gè)方向的活動(dòng)角度．

圖9 人的頭部檢測效果圖Fig. 9 Effect picture of human head detection

5 樸素貝葉斯算法

通過眼、嘴、頭部這些單一因素不能準(zhǔn)確地判斷駕駛員的疲勞狀態(tài)，為了提高疲勞檢測的準(zhǔn)確率，綜合3種疲勞特征因素進(jìn)行疲勞檢測[15-16]．因?yàn)檎Ｑ?、哈欠和點(diǎn)頭都屬于獨(dú)立條件屬性，本文采用樸素貝葉斯算法進(jìn)行疲勞分類判別，樸素貝葉斯算法以貝葉斯理論為基礎(chǔ)[17-18]．給定的條件特征集為，x1為眨眼的樣本屬性，x2為哈欠的樣本屬性，3x為瞌睡點(diǎn)頭的樣本屬性．Y為類別集，c1代表正常駕駛狀態(tài)，c2代表疲勞駕駛狀態(tài)．由貝葉斯定理得

由于疲勞因素的條件相互獨(dú)立，所以

由式(12)和式(13)得

根據(jù)式(14)建立樸素貝葉斯分類器

由貝葉斯分類器可知，輸入疲勞駕駛的疲勞因素，得出概率最大的類別就是預(yù)測出的結(jié)果[19-20]．根據(jù)這個(gè)原理，通過多個(gè)疲勞因素判別駕駛員的疲勞狀態(tài)．

6 實(shí)驗(yàn)測試與分析

本次實(shí)驗(yàn)使用惠普筆記本自帶攝像頭完成視頻數(shù)據(jù)采集，使用Python 3.7編程語言和Tensorflow 2.4框架，在Pycharm編程環(huán)境下使用OpenCV進(jìn)行人臉檢測和面部關(guān)鍵點(diǎn)定位以及頭部三維空間的確定．為了證明算法的穩(wěn)定性，分別在理想狀態(tài)、戴眼鏡狀態(tài)、戴帽子狀態(tài)、強(qiáng)光狀態(tài)、弱光狀態(tài)下進(jìn)行多組實(shí)驗(yàn)測試．經(jīng)過多次實(shí)驗(yàn)得出眨眼、哈欠、瞌睡點(diǎn)頭不同疲勞特征的準(zhǔn)確率，見表1．

表1 不同環(huán)境下疲勞特征測試準(zhǔn)確率Tab. 1 Accuracy of fatigue characteristic test indifferent environments

在理想環(huán)境中且無穿戴狀態(tài)下眼、嘴、頭部疲勞因素測試平均準(zhǔn)確率均很高，分別為96.83%、96.80%、97.50%．在理想實(shí)驗(yàn)條件下，疲勞檢測系統(tǒng)具有良好的檢測效果．

在駕駛員戴眼鏡的狀態(tài)下，雖然眨眼的準(zhǔn)確率相較于理想狀態(tài)下的準(zhǔn)確率有所波動(dòng)，但是準(zhǔn)確率仍然處于95%以上．由此得出結(jié)論：駕駛員在戴眼鏡時(shí)，疲勞檢測系統(tǒng)仍然具有較高的穩(wěn)定性．

在駕駛員戴帽子的狀態(tài)下，雖然瞌睡測試的準(zhǔn)確率有所波動(dòng)，但是其準(zhǔn)確率仍處于95%以上．由此可以得出結(jié)論：駕駛員在戴帽子時(shí)，疲勞檢測系統(tǒng)仍然具有較高穩(wěn)定性和抗干擾能力．

當(dāng)駕駛汽車面向太陽或背對著太陽時(shí)，會(huì)出現(xiàn)強(qiáng)光或弱光的環(huán)境，疲勞檢測系統(tǒng)處于強(qiáng)光和弱光的環(huán)境下檢測到的眨眼、哈欠、瞌睡點(diǎn)頭的準(zhǔn)確率雖然有所波動(dòng)，但均在95%以上．由此可以得出結(jié)論：駕駛汽車處于強(qiáng)光或弱光的環(huán)境下，疲勞檢測系統(tǒng)仍然具有較高的穩(wěn)定性和抗干擾能力．

綜上所述，無論駕駛員在穿戴配飾還是在強(qiáng)光或弱光的情況下，疲勞因素測試實(shí)驗(yàn)的準(zhǔn)確率雖有波動(dòng)但都在95%以上，由此說明PHOG算法具有很好的穩(wěn)定性和抗干擾能力．

當(dāng)駕駛員在戴眼鏡狀態(tài)下，系統(tǒng)可以檢測出人臉，標(biāo)定出人臉的68個(gè)關(guān)鍵點(diǎn)，檢測出眨眼閾值EAR、眨眼次數(shù)Blinks和哈欠閾值MAR、哈欠次數(shù)Yawns及頭部的空間坐標(biāo)，并檢測出駕駛員的疲勞狀態(tài)，運(yùn)行效果如圖10(a)所示．

當(dāng)駕駛員在戴帽子狀態(tài)下，系統(tǒng)依然可以檢測出人臉，標(biāo)定出人臉的68個(gè)關(guān)鍵點(diǎn)，檢測出眨眼閾值EAR、眨眼次數(shù)Blinks和哈欠閾值EAR、哈欠次數(shù)Yawns及頭部的空間坐標(biāo)，并檢測出駕駛員的疲勞狀態(tài)，運(yùn)行效果如圖10(b)所示．

當(dāng)駕駛員處于強(qiáng)光環(huán)境下，系統(tǒng)具有較強(qiáng)的穩(wěn)定性和抗干擾能力，仍然可以檢測出駕駛員的各項(xiàng)疲勞特征參數(shù)并檢測出駕駛員的疲勞狀態(tài)，運(yùn)行效果如圖10(c)所示．

當(dāng)駕駛員處于弱光環(huán)境下，檢測系統(tǒng)并不受影響，可以準(zhǔn)確地檢測出眼、嘴及頭部的疲勞特征參數(shù)并檢測出駕駛員的疲勞狀態(tài)，運(yùn)行效果如圖10(d)所示．

圖10 不同環(huán)境下駕駛員疲勞狀態(tài)檢測結(jié)果Fig. 10 Test results of driver fatigue in different environments

本文又收集了多人人臉數(shù)據(jù)，對不同人臉進(jìn)行疲勞檢測，測試結(jié)果如圖11所示．

圖11 疲勞檢測結(jié)果Fig. 11 Fatigue test results

實(shí)驗(yàn)中采集了不同人臉進(jìn)行測試，系統(tǒng)依然能檢測出面部眼、嘴和頭部的空間位置，而且可以統(tǒng)計(jì)視頻中眨眼次數(shù)、哈欠次數(shù)、瞌睡點(diǎn)頭的次數(shù)，由此可以證明系統(tǒng)的有效性．

為了證明系統(tǒng)的持續(xù)穩(wěn)定性，在圖11(b)中增多測試者眨眼次數(shù)、哈欠次數(shù)、瞌睡點(diǎn)頭次數(shù)，系統(tǒng)依然可以實(shí)時(shí)檢測出疲勞狀態(tài)．在圖11(c)中減少嘴部疲勞特征哈欠的次數(shù)，可以看出在其中一種疲勞特征不足的情況下也依然可以檢測出人臉的疲勞狀態(tài)，由此可以證明系統(tǒng)的穩(wěn)定性．

綜上所述，經(jīng)過不同的人臉疲勞檢測結(jié)果可知，疲勞檢測系統(tǒng)可以準(zhǔn)確地檢測和識(shí)別出圖像中的人臉，并檢測出人臉的68個(gè)關(guān)鍵點(diǎn)和頭部的空間坐標(biāo)，最終檢測出疲勞狀態(tài)，表明算法具有較高的有效性和穩(wěn)定性．

7 結(jié) 語

本文采用PHOG算法，結(jié)合OpenCV進(jìn)行人臉檢測和關(guān)鍵點(diǎn)定位，標(biāo)注出人臉68個(gè)關(guān)鍵點(diǎn)，再通過關(guān)鍵點(diǎn)坐標(biāo)計(jì)算出嘴、眼、頭部的開合度閾值．根據(jù)PERCLOS準(zhǔn)則，結(jié)合單位時(shí)間內(nèi)眼、嘴以及頭部視頻幀的變化，確定駕駛員疲勞的閾值．通過實(shí)驗(yàn)數(shù)據(jù)表明，在上述復(fù)雜環(huán)境下對眨眼、哈欠、瞌睡點(diǎn)頭的識(shí)別準(zhǔn)確率均達(dá)到了95%以上．由此可以得出結(jié)論，PHOG算法在疲勞檢測方面效果良好，且檢測駕駛員人臉具有較強(qiáng)的穩(wěn)定性和抗干擾能力．