基于多特征融合的疲勞駕駛狀態(tài)識別方法研究

胡峰松，程哲坤，徐青云，彭清舟，全夏杰

（湖南大學信息科學與工程學院，湖南長沙 410082）

隨著汽車數(shù)量的迅猛增長，汽車在給人們生活帶來快捷與便利的同時，頻繁的道路交通事故也帶來了慘重的經濟損失，人民的生命安全受到了巨大的威脅，疲勞駕駛已成為全球一個嚴重而亟待解決的交通安全問題［1］.研究表明，應用機器學習、模式識別等技術對疲勞駕駛狀態(tài)檢測識別及預警的方法效果較好［2-3］，能有效預防道路交通事故的發(fā)生，疲勞駕駛檢測技術已逐步從研究領域轉移到工業(yè)應用領域并不斷發(fā)展完善［4-5］.

疲勞駕駛識別研究領域目前還存在很多難點，在不同的場景下如戴太陽鏡、光照明暗等都會影響識別的準確率［4］.疲勞駕駛狀態(tài)信息包括眼部疲勞信息、嘴部疲勞信息和頭部疲勞信息，識別方法可分為單一特征疲勞信息識別和多特征疲勞信息識別，而單一特征疲勞信息識別的準確率有待提高［6］.本文主要根據(jù)多特征疲勞信息來進行疲勞駕駛狀態(tài)識別.首先，基于SVM的睜閉眼狀態(tài)識別算法判斷眼部疲勞狀態(tài)，然后通過嘴部高寬比和點頭頻率判斷嘴部和頭部疲勞狀態(tài)，最后融合多特征進行疲勞駕駛狀態(tài)識別.

1 眼部疲勞狀態(tài)判斷

1.1 人眼定位

使用由Kazemi 和Sullivan 提出的基于級聯(lián)回歸樹的人臉關鍵點定位算法進行人眼定位［7］.如圖1（a）中人臉特征點模型所示，根據(jù)圖中關鍵點序號可以知道每個特征點的位置，如左眼的序號為36～41，右眼的序號為42～47.根據(jù)眼部特征點的序號，提取的左、右眼部區(qū)域如圖1（b）所示的左、右長方形方框區(qū)域.其定位計算規(guī)則如下：

圖1 基于特征點的人眼定位示意圖Fig.1 Eye location schemes based on feature points

式中：We為人眼特征點36 到39 之間的水平距離，He為人眼特征點37到41之間和38到40之間垂直距離的平均值，而W和H為定位的眼部區(qū)域的寬和高.

1.2 基于SVM的睜閉眼狀態(tài)識別

為了能更為精準地識別人眼睜閉狀態(tài)，使用兩個特征：人眼縱橫比和人眼黑色像素累積差值作為支持向量機SVM 分類器的輸入，使用SVM 來識別圖像中人眼的狀態(tài).

1.2.1 計算人眼縱橫比

為了能準確快速識別眼睛的睜閉狀態(tài)，我們計算眼睛的高度和寬度之間的縱橫比（eye aspect ra?tio，EAR）.睜眼時的縱橫比在個體之間的差異基本上很小，并且對于圖像的均勻縮放和面部的旋轉是完全不變的［8］.圖2為左眼在睜開與閉合狀態(tài)下檢測到的6個關鍵點，眼睛縱橫比計算式為：

圖2 人眼6個關鍵點示意圖Fig.2 Schemes of the six key points of human eyes

為了精確地識別眼部狀態(tài)，取雙眼EAR 的平均值作為眼睛睜閉識別的特征：

計算視頻圖像連續(xù)200 幀左、右眼的縱橫比，得到的結果如圖3 所示.當發(fā)生眨眼時，EAR 值迅速減小接近于0，然后慢慢增加至接近于正常情況下睜眼時的EAR值.

圖3 EAR均值結果圖Fig.3 EAR average results

1.2.2 基于自適應閾值計算人眼黑色像素累積差值

定位人眼區(qū)域，然后選取局部自適應閾值算法對人眼圖像進行二值化，經過形態(tài)學開閉操作和中值濾波處理后，能較好地呈現(xiàn)眼睛輪廓及細節(jié)，表1為右眼不同情況下的二值圖像.

表1 不同情況下的人眼二值圖像Tab.1 Binary images of human eyes under different conditions

當人眼閉合時，盡管可能會受睫毛和眼瞼等暗區(qū)域的影響，但是最大暗部在瞳孔區(qū)域不會出現(xiàn).所以與睜眼相比，當眼睛閉合時，二值圖像中的黑色像素的數(shù)量會急劇減少.但是，由于黑色像素的數(shù)量會隨著人眼與攝像頭之間距離的改變而改變，當距離變大時，在圖像中眼睛區(qū)域縮小，因此黑色像素的數(shù)量減少.

為了減少人眼與攝像頭距離因素的影響，將人眼圖像歸一為同一尺寸，計算連續(xù)兩幀之間的黑色像素差.一般在兩個以上的連續(xù)幀中可以觀察到閉眼的動作，因此當連續(xù)兩幀的差值小于0 時，開始累計差值.人眼一次眨眼過程中，黑色像素數(shù)量變化如圖4（a)所示.根據(jù)圖4 可以看到：第54 幀由于差值大于0而沒有累積差值，導致其被錯誤地識別為睜眼狀態(tài).

圖4 黑色像素累積差值Fig.4 Cumulative difference of black pixels

根據(jù)文獻［9］提出的方法，使用自適應閾值的方法累積差值.規(guī)定“狀態(tài)0”和“狀態(tài)1”兩種狀態(tài)，當人眼區(qū)域二值化圖像的黑色像素的差值小于0 時，從“狀態(tài)0”變?yōu)椤盃顟B(tài)1”.在“狀態(tài)1”時，若差值小于閾值T(t)，累積差值并保持狀態(tài)不變；若差值大于或等于閾值T(t)，不累積差值且狀態(tài)變?yōu)椤盃顟B(tài)0”.請參考圖5.

圖5 自適應閾值黑色像素累積差值算法流程Fig.5 Black pixel adaptive threshold cumulative difference algorithm process

計算方法如下：

式中：N(t)是第t幀的黑色像素數(shù)量，ΔN(t)為第t幀與第t-1 幀之間的差值，D(t-1)為“狀態(tài)1”中在第t-1 幀的累積差值，α為0 到1 之間的恒定值，最優(yōu)α值通過檢測睜閉眼的準確性確定.由第t-1 幀的累積差值D(t-1)得到第t幀的自適應閾值T(t).使用自適應閾值可正確地將第54 幀識別為閉眼.圖6 為使用自適應閾值計算人眼二值圖像的黑色像素累積差值的結果圖，可以看出該方法能較好地識別閉眼狀態(tài).

圖6 自適應黑色像素累積差值Fig.6 Adaptive black pixel cumulative difference

1.2.3 睜閉眼狀態(tài)測試

從ZJU眨眼視頻數(shù)據(jù)集［10］的80個視頻中選取睜眼樣本2 000張，閉眼樣本700張；從NTHU 駕駛員疲勞檢測視頻數(shù)據(jù)集［11］中選取睜眼樣本2 000張，閉眼樣本1 300張；同時自采集睜眼樣本2 000張、閉眼樣本4 000 張，總共采集睜、閉眼圖像各6 000 張.對人眼縱橫比、黑色像素累積差值這兩類特征參數(shù)數(shù)據(jù)進行歸一化處理.在進行分類器訓練前，需要選擇合適的核函數(shù)，當特征與分類標簽之間的關系為非線性時，選擇RBF 核函數(shù)，故本文采用RBF 核函數(shù)進行模型訓練.

從樣本數(shù)據(jù)中選擇8 000組數(shù)據(jù)進行訓練，剩余的4 000組數(shù)據(jù)對睜閉眼狀態(tài)進行測試，其測試結果如表2所示.

表2 睜閉眼狀態(tài)檢測結果Tab.2 Test results of open state and shut-down state

從表2 可以看出，提出的方法對睜閉眼狀態(tài)識別的準確率較高.表3 為使用不同算法的識別結果對比.

表3 不同算法識別結果對比Tab.3 Identified results comparison of different algorithms

1.3 眼部疲勞信息提取

當人處于疲勞狀態(tài)時，會出現(xiàn)眨眼頻率增加、閉眼時間增長、打哈欠等現(xiàn)象，嚴重時甚至會出現(xiàn)打瞌睡的現(xiàn)象.研究發(fā)現(xiàn)，人在正常情況下每分鐘眨眼10次到25 次不等，眨眼一次眼睛閉合持續(xù)的時間約為0.2 s左右.根據(jù)這一現(xiàn)象，本文選取最能表現(xiàn)疲勞狀態(tài)的三個眼部指標作為眼部疲勞特征參數(shù)：基于PERCLOS 準則［13］的ECR（閉眼幀數(shù)所占比）、MECT（最長持續(xù)閉眼時間）和BF（眨眼頻率）.

1.4 眨眼檢測

由圖3 的EAR 值計算結果可知，一次眨眼過程中，EAR 值先減小直至接近于零，然后逐漸增大至正常睜眼狀態(tài)值.設E為EAR 閾值，K為判斷眨眼的幀數(shù)閾值.當EAR 小于閾值E時，眼睛開始閉合；當其值接近于正常睜眼狀態(tài)值即大于E時，眼睛完全睜開.我們統(tǒng)計該過程中EAR

為了尋找最優(yōu)閾值E和K，我們在ZJU 眨眼數(shù)據(jù)集上進行實驗.ZJU中80個視頻包含四種主題：未戴眼鏡的正面視頻、戴薄邊框眼鏡的正面視頻、戴黑框眼鏡的正面視頻及未戴眼鏡向上仰角的視頻，每個主題20 組視頻，每個視頻中眨眼次數(shù)1 到6 次不等，數(shù)據(jù)集中總共包含255 次眨眼.圖7 為不同EAR 閾值E值與連續(xù)視頻幀數(shù)閾值K值下眨眼檢測結果的精確率.根據(jù)圖7 的結果，我們在提取眼睛疲勞參數(shù)眨眼頻率時，選擇計算EAR 小于閾值E=0.24 時的連續(xù)幀數(shù).當EAR 大于該閾值時，若連續(xù)幀數(shù)也大于閾值K=3，則記一次眨眼.計算一個時間周期內眨眼的次數(shù)，即為眨眼頻率.

圖7 EAR閾值、幀數(shù)K值尋優(yōu)結果Fig.7 The optimization results under different EAR threshold and frame number K values

以60 s 為一個時間周期，對周期內人眼狀態(tài)進行統(tǒng)計分析，得到眼部疲勞特征統(tǒng)計值.以0 表示清醒狀態(tài)，1 表示疲勞狀態(tài)，記最長閉眼時間為MECT，閉眼幀數(shù)所占比為ECR，眨眼次數(shù)為BF.經實驗及參考相關文獻，得出三個眼部疲勞特征值之間的疲勞閾值如式（6）所示.

2 嘴部疲勞狀態(tài)判斷

嘴部檢測定位的方法很多.基于級聯(lián)回歸樹（Ensemble of Regression Tress，ERT）算法［10］的人臉關鍵點檢測中，嘴部的位置序號為48～67.因此，我們可以根據(jù)該序號來定位嘴部并識別其狀態(tài).

本文主要通過計算嘴部高寬比（MAR）來判斷嘴部狀態(tài).為了使MAR 值更為精準，如圖8 所示，標記的P1～P10用來計算MAR 的10個特征點，歐氏距離的計算公式可參照式（7）.

圖8 嘴部10個關鍵點示意圖Fig.8 Diagram of the mouth’s ten key points

我們知道，正常駕駛情況下，嘴部處于閉合狀態(tài)；當與他人說話時，嘴唇處于開合不斷變化狀態(tài)，且張開幅度不大；而當處于疲勞打哈欠狀態(tài)時，嘴巴張開幅度很大且持續(xù)時間較長［14］.為了判斷嘴部狀態(tài)如講話、打哈欠等，使用基于高寬比的方法在樣本上進行實驗，實驗結果如圖9 所示.由圖9 可知：當MAR ≤0.4 時，嘴巴是閉合的；當0.4 0.8 時，處于打哈欠狀態(tài).根據(jù)上述分析，可以使用MAR 作為特征來識別嘴部狀態(tài).

圖9 嘴部MAR檢測結果圖Fig.9 MAR test results in the mouth

當駕駛者處于困倦狀態(tài)時，會接連不斷地打哈欠，每次打哈欠嘴部持續(xù)張開時間約6 s，此時就需要停車休息，不宜繼續(xù)駕駛.根據(jù)該現(xiàn)象，我們可以檢測一個時間周期內司機打哈欠的次數(shù)，并據(jù)此來評估其是否疲勞.為了正確識別打哈欠狀態(tài)，我們在YawDD 數(shù)據(jù)集［15］上進行實驗，不斷改變MAR 的閾值和連續(xù)幀數(shù)值，尋找最優(yōu)高寬比MAR 的閾值M，并定義MAR 值高于閾值M的連續(xù)幀數(shù)為打哈欠的閾值K.找到最優(yōu)閾值M=0.7 和K=15 后，在數(shù)據(jù)集上檢測打哈欠，準確率約為95.6%.當嘴部高寬比MAR 連續(xù)15幀大于0.7時，我們則記一次打哈欠.圖10中的t1到t4的時間差即為一次哈欠時間，當嘴部張開程度超過閾值時，我們檢測是否打哈欠.以0 表示正常狀態(tài)，1表示疲勞狀態(tài)，嘴部疲勞狀態(tài)取值條件如式（8）所示：

圖10 嘴部狀態(tài)示意圖Fig.10 The mouth state diagram

式中：YF 表示打哈欠的次數(shù)，YT 為打一次哈欠持續(xù)的時間，閾值取N=3，t=4 s.

3 頭部疲勞狀態(tài)判斷

駕駛員駕駛過程中的點頭頻率的檢測是對頭部運動分析的關鍵，也是疲勞駕駛檢測的重要因素.當一個時間周期內點頭頻率超過某個閾值時，可以認為駕駛員處于疲勞狀態(tài).

依據(jù)定位到的眼部特征點位置信息，從實時性和準確性出發(fā)，本文提出了一種基于二維垂直方向的點頭頻率特征分析算法.取定位的雙眼的中心點連線的中點作為頭部位置檢測點，根據(jù)該檢測點在垂直方向上坐標y隨時間的變化情況，計算一個時間周期內的點頭頻率.圖11 為駕駛員打瞌睡時的y值與幀數(shù)之間的關系圖.

圖11 頭部運動分析圖Fig.11 Head motion analysis diagram

算法過程如下：當視頻幀數(shù)較多時，圖像可近似擬合為曲線，計算曲線極值點，極值點可將曲線分成許多單調的曲線.經實驗得出，統(tǒng)計一個時間周期內單調遞減段極小值點y值大于初始位置50 像素的極值點個數(shù)，即為點頭次數(shù)NF；若曲線沒有極小值點，則判斷曲線是否單調遞減，若為單調遞減，則點頭次數(shù)NF為1，否則為0.NF取值如式（9）所示：

若一個時間周期內點頭次數(shù)NF 大于某個閾值，則NF 疲勞特征參數(shù)值為1，否則為0.經實驗和相關文獻可知：取N=10時，疲勞狀態(tài)檢測準確率最高.

4 基于多特征加權和的疲勞狀態(tài)識別

4.1 疲勞狀態(tài)識別算法

依據(jù)單一的疲勞特征來評估疲勞狀態(tài)，其準確率要比將多個疲勞特征融合進行識別的方法低［16］.因此，根據(jù)上述眼部、嘴部及頭部的疲勞特征參數(shù)，本文提出了基于多特征加權和的疲勞等級識別算法，算法具體步驟如下.

將眼部、嘴部及頭部的五個疲勞特征指標各自取權重值，經實驗，其權重取值如表4所示.

表4 各疲勞特征參數(shù)的權重取值Tab.4 The weight of each fatigue characteristic parameter values

根據(jù)疲勞參數(shù)加權后值的不同，將狀態(tài)分為三個等級：清醒、疲勞、重度疲勞.特征參數(shù)加權和計算如式（10）所示：

5個特征參數(shù)值分別乘以其對應的權重值，求和后便得到特征參數(shù)加權疲勞值F.

綜合特征參數(shù)的權重值和疲勞等級，將特征參數(shù)加權值與疲勞等級相對應，根據(jù)對應關系便能判斷出駕駛員的駕駛狀態(tài).對應關系如表5所示.

表5 疲勞值與疲勞等級對應關系表Tab.6 The relationship between the values of fatigue and fatigue level

4.2 實驗結果分析

為了驗證研究方法的性能，本文的實驗在64 位操作系統(tǒng)的PC 上進行，采用python 編程語言，并結合Opencv 2.4.13 和Dlib18.17 函數(shù)庫進行分析.實驗測試數(shù)據(jù)來自NTHU 駕駛員疲勞檢測視頻數(shù)據(jù)集的部分數(shù)據(jù).該測試數(shù)據(jù)中有5 種不同場景：白天戴眼鏡、戴太陽鏡和不戴眼鏡，晚上戴眼鏡和不戴眼鏡.每個場景中選取5 組數(shù)據(jù)，每組數(shù)據(jù)包含清醒、疲勞和重度疲勞狀態(tài).

本文以60 s 為一個時間周期檢測駕駛員疲勞狀態(tài)，表6 為在不同場景下疲勞識別的結果，表7 為白天戴眼鏡情況下各特征參數(shù)的計算結果、疲勞值與對應的疲勞識別結果.

表6 不同環(huán)境下疲勞識別結果Tab.6 Fatigue identification results under different environment

表7 白天戴眼鏡疲勞識別結果Tab.7 Fatigue recognition results with glasses in the daytime

由表6 可以看出，本文提出的疲勞識別方法在白天的識別準確率比夜晚要好，在戴太陽鏡時識別的精度較低，但是就整體而言，識別效果較好.

5 結束語

本文提出了一種融合三類疲勞參數(shù)指標加權和的疲勞識別方法，建立了疲勞識別系統(tǒng)，根據(jù)相應的比重進行加權計算疲勞值來判斷駕駛者的疲勞程度.實驗表明：本文的疲勞識別算法準確率較高，且效果較好.本文研究的算法，雖然在一定程度上能進行疲勞識別，但在太陽光很強和夜晚時的識別率還不理想.今后的研究可針對不同光照環(huán)境進行不同的光照處理，將該識別方法擴展到適用于更多的駕駛環(huán)境.另外，因為該識別方法只根據(jù)駕駛員的面部特征進行疲勞識別，未能考慮車輛特征如車輛偏移、車速、轉達向盤轉向等特征參數(shù)的影響，如何融合這些特征參數(shù)進一步提高識別的準確率，是下一步的研究方向.