哈欠檢測研究綜述

鄭偉超，袁平，殷鋒

（四川大學計算機學院，成都610065）

0 引言

根據世界衛生組織2015年發布的道路交通安全報告[15]顯示，2013年全世界共有約125萬人死于交通事故，排在該年所有死亡原因中的第九位。另外，報告還顯示，該年僅中國死于交通事故的人數就超過25萬人。大量的交通事故，不僅給國家和社會的經濟與安全帶來了諸多的影響，更重要的是給遇難者的家庭帶來了金錢所無法衡量的傷害。而在眾多交通事故（尤其是告訴公路重大交通事故）的起因當中，疲勞駕駛無疑與超速、無證駕駛等一樣，已經成為當之無愧的罪魁禍首之一。近幾十年來，許多高校、機構以及商業公司都開始致力于研究如何對駕駛員的疲勞狀態進行監測，以實現對疲勞駕駛事故的防范。目前常用的疲勞駕駛檢測方案可分為三類：①人體生命體征的檢測。如心電檢測、腦電檢測、心跳檢測、呼吸檢測、表面肌電等；②人體行為模式檢測。如哈欠檢測、眨眼頻率檢測、駕駛習慣檢測等；③車輛行駛軌跡檢測。其中，第一類檢測方式通常是侵入式的，需要駕駛員佩戴或者連接某種測量設備，容易造成駕駛員反感和不適。第三類檢測方式需要在車上增加大量的傳感器及其他設備，系統部署復雜，成本較高。目前研究最廣泛的疲勞駕駛測量方式是基于駕駛時駕駛員的行為模式的檢測，通常是以人臉識別為基礎的面部行為特征的檢測，即通過識別人臉及面部器官，檢測駕駛員的眨眼頻率、打哈欠檢測，點頭檢測等。還有基于駕駛員的駕駛行為的檢測，如操作方向盤或換擋桿的力度，或者檢測駕駛員是否在形式過程中有轉身、彎腰等不安全行為。

1 概述

每年，全球因為交通事故而導致的死亡人數不斷增加，每年因為交通事故而給社會帶來的損失與危害都是巨大的。在造成交通事故的眾多原因中，駕駛員疲勞駕駛就是其中重要的一個。因此，不斷有組織與機構投入大量的金錢和精力研究如何檢測駕駛員的精神狀態，力圖通過檢測駕駛員是否已經處于疲勞狀態對其進行提醒進而預防交通事故的發生。研究者意識到，人在疲勞和感到困倦時，都會不自覺地打哈欠。因此，越來越多的研究針對打哈欠這一行為進行研究，以期找到一種高效的方式檢測該行為。

目前，已有的哈欠檢測研究都是基于計算機視覺和圖像處理的。基本的研究步驟可以籠統地概括為以下四步。第一，人臉識別。人臉識別是已有哈欠檢測的基礎；第二，嘴部定位。打哈欠時，嘴部相較于人的正常狀態會持續張大數秒，嘴部就是研究檢測的重點；第三，特征提取。通過從定位到的嘴部圖像提取有效的特征信息作為打哈欠行為判定的參考；第四，哈欠判斷。根據所提取的特征信息，制定科學合理的模式判定規則和閾值，最后通過匹配判定打哈欠這一行為。

2 現狀

目前的哈欠檢測都是基于計算機圖形學進行分析研究的，所以研究的第一步就是進行圖像影像的采集。大部分的研究都是利用簡單的光學攝像機最為圖像的采集工具。同時，為了克服外界光影變化以及夜間光線不足的弊端，有些研究者引入了近紅外光源作為補償，提高圖像的可靠性[5，7]。

采集圖像后，第一步要做的就是定位人臉，這個哈欠檢測中很關鍵的一步。目前有很多算法可以對圖像的人臉進行定位追蹤，Viola-Jones算法[16]就是常用的一種經典算法。該算法提出積分圖像的概念，極大地提高了Haar-like特征的提取速度。隨后，V-J算法利用AdaBoost分類器對前述的Haar-like特征進行分類選擇。最后，V-J算法改造AdaBoost算法，提出級聯分類器的概念，進一步提高了分類的效率。利用V-J算法，可以非常準確且高效地進行人臉檢測，因此被許多研究者使用[1，4，5，11，14]。除此之外，Lu Yufeng和 Wang Zengcai[2]通過檢測連續的兩幀圖像中的不同進行人臉的定位，而Xiao Fan等[3]則是利用Gravity-center Tem?plate匹配的方式定位人臉。M.Omidyeganeh等[8]直接根據人體膚色與環境色彩的不同，利用在YCbCr和HSV色彩空間中做形態學運算提取人臉。在檢測到人臉后，許多研究者[1，9]根據連續的幀之間的關聯性，引入Kalman濾波器，提高人臉識別的速度。

成功檢測到人臉后，進行哈欠檢測的關鍵步驟就是嘴部區域的定位以及嘴部特征的提取。Tiesheng Wang和PengfeiShi[1]利用多閾值二值化法，在密度空間中使用形態學閉運算去結合連續的二值化影像中的組件，以此判定人臉中的嘴部區域。隨后又通過在RGB色彩空間中運用Gaussian模型檢測唇部，以此增強嘴部檢測的魯棒性。之后，他們利用投影方式計算嘴部特征，即嘴部的上下唇外邊距與左右嘴角距，得出嘴部的縱橫比。Xiao Fan等[3]根據Gravity-center Template匹配定位人臉的同時可以得到面部器官的粗略位置。隨后，他們首先繪制瞳孔的連線，然后利用嘴角連線與瞳孔連線基本平行這一特征定位嘴角。他們分別計算嘴部區域的水平灰度投影和垂直灰度投影以檢測嘴部的垂直位置和水平位置。接著，他們提取嘴部的幾何特征（即左右嘴角距離）和嘴角的紋理特征（即二維Ga?bor小波）作為研究對象。王霞等[14]則是先利用先驗知識，將嘴部檢測區域縮小到人臉的下二分之一處，然后根據YCbCr色彩模型和Lab空間模型結合，精確定位嘴部。同時，考慮到不同人的唇部的厚度不同，他們選擇提取嘴部的內輪廓作為進一步研究的對象，并根據提取的嘴部內輪廓獲取嘴部縱橫比。Yong Du等[10]在定位嘴部以后，提取了嘴部高度、寬度、縱橫比、Angu?lar Second Moment和Entropy等共63個特征描述一張人臉的狀態。

獲取嘴部特征以后，就需要根據所提取的特征進行打哈欠行為的判定。Lu Yufeng等[2]簡單地定義了一個嘴部縱橫比的閾值，然后根據所提取照片中的嘴部縱橫比是否大于該閾值進行哈欠的判定。這一方法雖然簡單，但是容易造成誤判，因為大笑或者受到驚嚇等情況下，人也會不自主地長大嘴巴。但是，大笑和打哈欠有一個顯著的區別，即打哈欠通常會持續6-8s的時間，而大笑等通常只是一個較短期的行為。因此，大多數的研究者[1，6，11-13]會在此基礎上，增加時間這一維度，即增加連續幀數的閾值，通過計算縱橫比大于給定閾值的連續幀數是否同時大于給定的閾值判斷駕駛員是否在打哈欠。Xiao Fan等[3]和Mandalapu Sara?dadevi等[4]則分別使用LDA分類器和支持向量機（SVM）進行哈欠判定。

3 結語

由于駕駛員疲勞駕駛引發的交通事故數量常年居高不下，國內外越來越多的組織和機構開始研究如何對駕駛員的疲勞狀態進行檢測并以此為依據適時對駕駛員發出警告，以期避免或者盡可能減少此類交通事故的發生。

目前的疲勞駕駛檢測方案中，通過采集駕駛員的面部圖像，進而分析駕駛員的嘴部特征，識別駕駛員是否打哈欠的方式判定疲勞是主要的研究手段之一，并且該方式也取得了不錯的研究結果。但是，這種方式依舊存在較多的問題：

（1）使用照相機實時采集駕駛員的面部影像，首先需要對于車輛本身進行改造；其次，通過照相的方式，會給一些注重隱私的人群帶來心理上的負擔，影響這類人員在駕駛時的心態。

（2）基于圖像的方式容易受外部因素的影響。例如，外部環境多變的光源會影響基于色彩空間的膚色分析，進而影響人臉或者嘴部的識別；又如，有些駕駛員喜歡戴各種墨鏡開車，這在某種程度上影響了人臉的檢測，影響了人臉識別的難度；再如，有些人在打哈欠的時候往往會不自覺地用手遮擋嘴部，這以行為無疑會嚴重影響人臉和嘴部的檢測。

雖然目前市面上已經有利用文中所提出的類似方案實現的實際產品，但是，距離出現一個統一且高效安全的疲勞駕駛檢測的標準還任重道遠。

參考文獻：

[1]Wang T,ShiP.Yawning Detection for Determining Driver Drowsiness[C].IEEE International Workshop on VlsiDesign and Video Technology.IEEE,2005:373-376.

[2]Lu Y,Wang Z.Detecting Driver Yawning in Successive Images[C].The,International Conference on Bioinformatics and Biomedical Engineering.IEEE Xplore,2007:581-583.

[3]Fan X,Yin BC,Sun Y F.Yawning Detection for Monitoring Driver Fatigue[C].International Conference on Machine Learning and Cybernetics.IEEE,2007:664-668.

[4]Saradadevi M,Bajaj P.Driver Fatigue Detection Using Mouth and Yawning Analysis[J].International Journal of Computer Science&Network Security,2008(6):183-188.

[5]Azim T,JaffarM A,Mirza AM.Automatic Fatigue Detection of Drivers through Pupil Detection and Yawning Analysis[C].Fourth International Conference on Innovative Computing,Information and Control.IEEEComputer Society,2009:441-445.

[6]Li L,Chen Y,Li Z.Yawning Detection For Monitoring Driver Fatigue Based on Two Cameras[C].International IEEE Conference on Intelligent Transportation Systems.IEEE,2009:1-6.

[7]Liu W,Sun H,Shen W.Driver Fatigue Detection Through Pupil Detection and Yawing Analysis[C].International Conference on Bioinformatics and Biomedical Technology.IEEE,2010:404-407.

[8]Omidyeganeh M,Javadtalab A,ShirmohammadiS.Intelligent Driver Drowsiness Detection Through Fusion of Yawning and Eye Closure[C].IEEE International Conference on Virtual Environments Human-Computer Interfaces and Measurement Systems.IEEE,2011:18-23.

[9]AbtahiS,HaririB,ShirmohammadiS.Driver Drowsiness Monitoring Based on Yawning Detection[C].Instrumentation and Measurement Technology Conference.IEEE,2011:1-4.

[10]Du Y,Hu Q,Chen D,etal.Kernelized Fuzzy Rough Sets Based Yawn Detection for Driver Fatigue Monitoring[J].Fundamenta Informaticae,2011,111(1):65-79.

[11]Hemadri V B,Kulkarni U P.Detection of Drowsiness Using Fusion of Yawning and Eyelid Movements[M].Advances in Computing,Communication,and Control.Springer Berlin Heidelberg,2013:583-594.

[12]謝國波,陳云華,張靈,等.基于嘴巴特征點曲線擬合的哈欠檢測[J].計算機工程與科學,2014,36(4):731-736.

[13]張恒.基于近紅外圖像的疲勞駕駛檢測研究與系統實現[D].長安大學,2015.

[14]王霞,仝美嬌,王蒙軍.基于嘴部內輪廓特征的疲勞檢測[J].科學技術與工程,2016,16(26):240-244.

[15]Cossio M L T,Giesen L F,Araya G,etal.Global Status Report on Road Safety 2015[J].Injury Prevention Journal of the International Society for Child&Adolescent Injury Prevention,2015,15(4):286.

[16]Viola P,Jones M.Rapid Object Detection using a Boosted Cascade of Simple Features[C].Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE,2003:I-511-I-518 vol.1.