監(jiān)測(cè)面部特征與頭部姿勢(shì)可知道是否存在疲勞駕駛

彭德坤

隨著科技的發(fā)展，人們擁有的汽車越來(lái)越多，為出行提供了方便，但是根據(jù)大數(shù)據(jù)的調(diào)查顯示，交通事故也出現(xiàn)的越來(lái)越多，而其中疲勞駕駛已成為導(dǎo)致交通事故的重要因素之一，給生命財(cái)產(chǎn)安全造成了嚴(yán)重的損失。我國(guó)交通事故僅2021年就有數(shù)萬(wàn)人死亡或受傷，損失財(cái)產(chǎn)高達(dá)幾百億元，而其中因?yàn)槠隈{駛引發(fā)的交通事故達(dá)到1/4左右，給社會(huì)帶來(lái)了潛在的危害，也增加了交通部門(mén)的工作負(fù)擔(dān)。

疲勞是一種生理狀態(tài)，并且伴隨時(shí)間的增長(zhǎng)疲勞程度會(huì)不斷加劇，駕駛?cè)藛T隨著連續(xù)開(kāi)車時(shí)間的增長(zhǎng)，疲勞程度也會(huì)大大加深。疲勞是有一些生理征兆的，若能提前檢測(cè)到駕駛?cè)藛T的疲勞狀態(tài)，給駕駛?cè)藛T提出相應(yīng)的警告，可以有效減少因疲勞駕駛造成的交通事故。

解決方案

可以采集圖像或視頻，將采集的內(nèi)容解析后傳輸?shù)胶笈_(tái)，通過(guò)處理后將結(jié)果反饋給用戶。該系統(tǒng)首先通過(guò)車載攝像頭獲取圖像，進(jìn)行人臉檢測(cè)，檢測(cè)駕駛員是否在位，若駕駛員在位，即可檢測(cè)到人臉。為了保證每一次駕駛的適應(yīng)性，需要先引導(dǎo)司機(jī)進(jìn)行簡(jiǎn)單的樣本采集，以方便后續(xù)的采集圖像。比對(duì)采集圖像分為面部姿勢(shì)的采集和眼序列采集，及相關(guān)的頭部姿勢(shì)采集。

在汽車行駛途中該系統(tǒng)不斷進(jìn)行對(duì)比采集，從而得出相關(guān)的圖像并判斷是否達(dá)到閾值。系統(tǒng)首先進(jìn)行頭部姿態(tài)采集，采集得到的樣本如果若達(dá)到閾值，說(shuō)明駕駛員出現(xiàn)疲勞姿態(tài)，這是則立即反饋給用戶，如果沒(méi)有達(dá)到閾值將重復(fù)以上操作。

系統(tǒng)功能

面部識(shí)別

自從2006年，深度學(xué)習(xí)被Geoffrey E. Hinton教授提出以后，在各行各業(yè)，特別是互聯(lián)網(wǎng)行業(yè)，得到了廣泛的應(yīng)用，目前深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域中最熱門(mén)的研究領(lǐng)域，并且在人工智能領(lǐng)域也取得很大突破。因此可以采取深度學(xué)習(xí)的方法進(jìn)行人臉識(shí)別，深度學(xué)習(xí)就是不斷地用大量的標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行訓(xùn)練，以提高機(jī)器識(shí)別的準(zhǔn)度與精度。但是在駕駛室環(huán)境中進(jìn)行識(shí)別，需要排除的干擾因素很多，比如夜晚行車光照、駕駛員的姿態(tài)，以及是否有墨鏡或口罩的遮擋等，實(shí)時(shí)性會(huì)提高識(shí)別難度。而基于深度學(xué)習(xí)的模型通常內(nèi)部網(wǎng)絡(luò)參數(shù)眾多、運(yùn)行速度緩慢，同時(shí)不能移植到移動(dòng)設(shè)備上，從而使實(shí)際的檢測(cè)跟理想模型有較大偏差。

在傳統(tǒng)的人臉識(shí)別過(guò)程中，一般是先進(jìn)行面部檢測(cè)，再進(jìn)行人臉的矯正，最后根據(jù)訓(xùn)練的數(shù)據(jù)集提取面部特征進(jìn)行人臉識(shí)別。但是當(dāng)駕駛?cè)藛T佩戴墨鏡或口罩時(shí)，面部特征存在遮擋，會(huì)導(dǎo)致特征提取不準(zhǔn)確，此時(shí)可以結(jié)合黑夜增強(qiáng)算法、紅外線攝像頭、卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)圖像進(jìn)行修復(fù)，使特征提取變得更加準(zhǔn)確。最后再進(jìn)行特征檢測(cè)，將人臉檢測(cè)與人臉對(duì)齊整合到一起，通過(guò)設(shè)計(jì)精巧的三級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，達(dá)到檢測(cè)性能和實(shí)時(shí)性之間的平衡，使人臉識(shí)別達(dá)到最優(yōu)解。

通過(guò)對(duì)駕駛環(huán)境分析，確定使用基于深度學(xué)習(xí)的方式進(jìn)行駕駛?cè)藛T的面部特征檢測(cè)，可以成功識(shí)別人臉圖像，并精確定位。

面部特征檢測(cè)

面部特征檢測(cè)最重要的是檢測(cè)眼部與嘴部，疲勞駕駛時(shí)的面部特征主要通過(guò)眨眼與打哈欠表現(xiàn)出來(lái)。眼部檢測(cè)可采取灰度投影的方法，使用RGB通道將原圖轉(zhuǎn)換成灰度圖像，之后利用積分計(jì)算得到不同的色區(qū)積分投影，根據(jù)眼睛與皮膚顏色區(qū)別較大的特點(diǎn)，可以對(duì)眼睛狀態(tài)進(jìn)行準(zhǔn)確判斷。

在人臉面部的色區(qū)劃分中，嘴唇的顏色跟其他地方的顏色有明顯區(qū)別，從而可先利用Harr級(jí)聯(lián)訓(xùn)練，提取大量嘴唇局部樣本在色區(qū)數(shù)據(jù)集中多次迭代聚類，最后成功得到駕駛員嘴唇在顏色空間中的數(shù)據(jù)原模型。然后再根據(jù)唇色模型對(duì)原模型不斷進(jìn)行相似度計(jì)算，最后根據(jù)最大類間方差自適應(yīng)閾值二值化運(yùn)算，便可以得到精準(zhǔn)的嘴部邊界輪廓。

頭部姿勢(shì)估計(jì)

當(dāng)人們出現(xiàn)疲勞狀態(tài)時(shí)頭部往往會(huì)向前傾，這是因?yàn)榧∪馓幱谕耆潘傻臓顟B(tài)，導(dǎo)致肌肉對(duì)頭部的支撐也處于放松的狀態(tài)。在實(shí)際駕駛過(guò)程中，當(dāng)駕駛?cè)藛T出現(xiàn)疲勞狀態(tài)時(shí)，也是會(huì)導(dǎo)致頭部向下傾斜，當(dāng)頭部下垂過(guò)久，駕駛?cè)藛T還會(huì)將脖子進(jìn)行轉(zhuǎn)動(dòng)，使頸椎放松緩解。因此，可以依據(jù)駕駛?cè)藛T頭部的變化、狀態(tài)、頻率判斷其是否進(jìn)入疲勞狀態(tài)。

疲勞狀態(tài)檢測(cè)與判定

眨眼頻率

人處于駕駛狀態(tài)下眨眼速度相對(duì)較快，可達(dá)到<400 ms，但是當(dāng)駕駛?cè)藛T處于疲勞狀態(tài)時(shí)眨眼速度將會(huì)超過(guò)1 s，為了緩解疲勞，駕駛?cè)说恼Ｑ垲l率也會(huì)增加。所以，駕駛?cè)说恼Ｑ垲l率與眨眼的速度能直觀地反映出駕駛?cè)说钠诔潭取?/p>

在2017出現(xiàn)了眼睛縱橫比的概念，通過(guò)計(jì)算EAR數(shù)值，就可以對(duì)眼睛狀態(tài)進(jìn)行準(zhǔn)確判斷。運(yùn)用眼睛縱橫比概念，通過(guò)對(duì)眼睛數(shù)據(jù)結(jié)果不斷迭代比對(duì)，可得到駕駛?cè)藛T在某一瞬間的眼睛縱橫比。當(dāng)眼睛處于睜開(kāi)時(shí)EAR值會(huì)處于一個(gè)閾值范圍內(nèi)，當(dāng)眼睛閉合時(shí)EAR值會(huì)在極短時(shí)間快速降低到一個(gè)極小的值。通過(guò)對(duì)正常數(shù)據(jù)集的反復(fù)迭代得出EAR值閾值為0.2，當(dāng)計(jì)算結(jié)果小于閾值時(shí)就能夠判定駕駛?cè)藛T的眼睛處于閉合狀態(tài)，反之則為睜開(kāi)狀態(tài)。

需要注意的是，不同的人閾值可能不一樣，因此還需要前面的信息采集來(lái)確定相關(guān)的閾值，再判定眨眼頻率。

哈欠頻率

與眨眼頻率相似，也可以采用計(jì)算EAR值來(lái)檢測(cè)哈欠的頻率。哈欠頻率也是評(píng)價(jià)疲勞程度的重要指標(biāo)，當(dāng)駕駛?cè)藛T處于疲勞狀態(tài)下，打哈欠的頻率會(huì)提高幾十上百倍。這里需要對(duì)面部嘴型進(jìn)行數(shù)據(jù)集迭代訓(xùn)練計(jì)算閾值，然后得到哈欠頻率從而判斷駕駛?cè)耸欠裉幱谄隈{駛。

頭部姿態(tài)的疲勞判定

利用頭的轉(zhuǎn)動(dòng)幅度來(lái)進(jìn)一步確定駕駛?cè)藛T是否處于疲勞狀態(tài)，當(dāng)駕駛?cè)藛T的頸椎長(zhǎng)時(shí)間得不到放松和緩解，便會(huì)在一定時(shí)間后進(jìn)行頭部的轉(zhuǎn)動(dòng)，以便活動(dòng)頸椎。利用雙攝像頭拍攝頭部姿，包括俯仰角、偏航角和滾轉(zhuǎn)角等3個(gè)維度的轉(zhuǎn)動(dòng)角度。當(dāng)駕駛?cè)藛T出現(xiàn)疲勞狀態(tài)時(shí)，映射到數(shù)據(jù)源上表現(xiàn)為閾值的大小變化，通過(guò)對(duì)三維空間中3個(gè)坐標(biāo)角度變化的監(jiān)測(cè)就可以得到相對(duì)應(yīng)的閾值。

駕駛?cè)藛T在正常駕駛過(guò)程中需要不斷觀察左右后視鏡以及車輛周圍環(huán)境，這可能導(dǎo)致在水平方向上的閾值確定出現(xiàn)錯(cuò)誤結(jié)果，為了使結(jié)果精準(zhǔn)，需要添加時(shí)間參數(shù)進(jìn)入測(cè)量，提高系統(tǒng)檢測(cè)的準(zhǔn)確性。

實(shí)現(xiàn)目標(biāo)

以上設(shè)計(jì)實(shí)現(xiàn)了一個(gè)實(shí)時(shí)的疲勞駕駛檢測(cè)系統(tǒng)，該系統(tǒng)通過(guò)使用紅外雙攝像頭拍攝頭部與面部圖像，然后利用機(jī)器學(xué)習(xí)的方法對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行訓(xùn)練，得到原模型。

該系統(tǒng)能根據(jù)面部特征與頭部姿態(tài)實(shí)時(shí)檢測(cè)駕駛?cè)藛T是否存在疲勞駕駛，就算是駕駛?cè)藛T戴著口罩、墨鏡等遮擋物，也可以通過(guò)紅外攝像以及Harr與黑夜增強(qiáng)算法精準(zhǔn)地檢測(cè)出結(jié)果。

最后根據(jù)檢測(cè)結(jié)果綜合迭代判斷駕駛?cè)藛T是否存在疲勞駕駛行為，如果存在便發(fā)出警告。

本系統(tǒng)運(yùn)用基于深度學(xué)習(xí)的人臉檢測(cè)算法與卷積神經(jīng)網(wǎng)絡(luò)算法，結(jié)合黑夜增強(qiáng)算法與Harr算法，使用Python語(yǔ)言進(jìn)行系統(tǒng)開(kāi)發(fā)。同時(shí)使用了由谷歌人工智能團(tuán)隊(duì)開(kāi)發(fā)和維護(hù)的深度學(xué)習(xí)庫(kù)TensorFlow，以及其他機(jī)器學(xué)習(xí)庫(kù)，如Opencv等，大大提高了系統(tǒng)通用性、可移植性，能夠在Windows、Android、IOS等多種系統(tǒng)上運(yùn)行。

此系統(tǒng)的優(yōu)點(diǎn)是：

1.傳統(tǒng)疲勞駕駛的測(cè)試需要在用戶身上佩戴儀器，給用戶造成了不適，而通過(guò)深度學(xué)習(xí)的方法不會(huì)給用戶造成不適，同時(shí)提高了檢測(cè)的精確度。

2.避免了因佩戴眼鏡等遮擋，而不能檢測(cè)出正確結(jié)果。

3.通過(guò)綁定微信接口，當(dāng)司機(jī)發(fā)生疲勞駕駛時(shí)將會(huì)給乘客或聯(lián)系人發(fā)送提示，并且可以接入汽車的安全系統(tǒng)。

4.不是一次檢測(cè)就會(huì)判定司機(jī)是否存在疲勞駕駛，而是通過(guò)多組次的權(quán)重分析，才會(huì)將結(jié)果反饋，多次的權(quán)重檢測(cè)提高了準(zhǔn)確率。