基于主動表觀模型及PERCLOS的疲勞檢測研究

唐春林，楊昌休，陳興劼

(重慶公共運輸職業學院 軌道車輛與機械系，重慶 402247)

基于主動表觀模型及PERCLOS的疲勞檢測研究

唐春林，楊昌休，陳興劼

(重慶公共運輸職業學院 軌道車輛與機械系，重慶 402247)

針對城市軌道交通電客車司機長時間駕駛產生的疲勞問題，目前主要是通過規章制度及警惕按鈕來解決，這樣既增加司機的勞動強度，也對司機疲勞駕駛檢測效果有限。文章針對電客車司機現場工作環境，提出了一種主動在線實時檢測方法，該方法通過視頻序列分析人臉信息，采用主動表觀模型完成對人眼的識別及定位，采用PERCLOS算法完成對司機疲勞檢測。實驗證明，該模型和算法能夠很好地完成對司機的疲勞檢測。

電客車司機；疲勞檢測；主動表觀模型；PERCLOS算法

隨著我國城鎮化的加速發展，城市軌道交通迎來了前所未有的發展機遇，據中國城市軌道交通協會統計[1]，截至2015年底，我國累計有26個城市建成投運軌道交通線路116條，運營長度3 612 km。目前，城市軌道交通車輛大部分還屬于有人駕駛，人控優先原則，但電客車司機長時間在單一環境中駕駛，必然會產生疲勞。目前，各個運營公司主要通過規章制度約束或者限制司機的某些行為來解決司機長時間疲勞駕駛的問題。

在我國城軌列車上裝備有司機警惕按鈕裝置[2]，即在列車運行過程中，司機必須按壓該按鈕。如果在規定的時間未完成該操作，系統發出報警；如果在規定的時間內仍未完成該操作，系統發出緊急制動信號，使列車緊急制動。該裝置雖然解決了列車在運行過程中司機睡覺以及出現意外事故導致列車無人駕駛的情況，但是該裝備不能從根本上杜絕司機疲勞駕駛。本文研究疲勞檢測的方法，通過視頻在線實時監測司機的面部特征，主動預警司機疲勞狀態，達到安全行車的目的。

疲勞檢測主要是通過傳感器采集某些特征，大致可分為3方面：（1）通過測量人體生理信號，如腦電波、心率、脈搏等[3]；（2）采集車速、加速度、踏板等車輛參數[4]；（3）通過攝像機采集司機視頻信息，通過計算機手段獲取視頻信息[5]。該方法操作簡單、成本低、非接觸、實時在線檢測，并且對司機的駕駛不會產生任何影響。

基于計算機視覺的檢測方法主要是利用司機的面部特征來檢測疲勞狀態，目前針對面部特征的檢測定位主要有兩種：主動形狀模型[6]（ASM，active shape model）和主動表觀模型[7]（AAM，active appearance model）。這兩種算法都是通過關鍵點的定位給出人臉器官的位置與形狀，定位精度較高，但它們的特征模型不同：ASM 通過局部模型構建特征點紋理，而AAM 則是用整個臉部特征構建紋理模型，具有優秀的特征點定位功能。

本文在分析電客車司機疲勞駕駛的基礎上，開展基于Opencv平臺完成疲勞檢測的研究，采用Adaboost方法完成對人臉區域的識別，通過AAM模型提取人眼特征，將提取的人眼特征參數通過單位時間雙眼閉合數比例（PERCLOS，Percentage of Eyelid Closure over the Pupil over Time）算法完成疲勞狀態檢測。

1 人眼區域檢測

在列車駕駛室里，人臉檢測是在單人非復雜狀況下的檢測，該環境光照基本不變，頭部位置基本固定、圖像不會發生旋轉縮放，反而對人臉區域檢測的實時性要求較高，本文選擇基于計算機視覺開放庫Opencv的Adaboost進行人臉檢測，Adaboost是一種基于簡單類Haar特征的級聯快速人臉檢測算法[8]。簡單類Haar特征被廣泛應用于目標檢測與識別中，這種方法計算簡單，并可以通過積分圖技術進行加速。Adaboost方法則可以通過若干弱分類器級聯，獲得一個分類能力更強的分類器。

完成人臉檢測后，根據人臉器官的幾何特征完成對人眼檢測和定位，人臉、人眼檢測結果如圖1所示。

圖1 人眼初定位結果

2 基于AAM的疲勞特征構建

在面部特征中，眼部、嘴部、表情、頭部動作等均與疲勞相關，而眼部特征信息在疲勞檢測相關度最大，故疲勞檢測第一步需要完成人眼特征的定位。由于AAM模型對人具有較好的定位能力，故Takahiro Ishikawa等[9]應用AAM在姿態識別方面。通過AAM模型建立了人眼凝視狀態，并完成了人眼凝視方向和頭部偏轉位置狀態的估計。

主動表觀模型（AAM）由Cootes[10]等人提出，它是在ASM模型基礎上發展起來的。AAM模型是將對象的形狀變化模型和紋理變化模型結合的表現模型，在實際運用中，AAM模型包括建模和匹配計算兩部分。

2.1 建立AAM模型

AAM模型是將對象的形狀和紋理的建模實現，模型的具體實現是通過對樣本的大量訓練提取人眼特征參數。在具體實現過程中，通過對樣本特征點的標注構成樣本的有向圖，通過模型訓練樣本的標注點完成對模型建立。紋理模型包括形狀亮度和色彩信息，在完成形狀模型的訓練完成后，通過統計亮度和色彩信息完成模型的訓練。為了加快算法收斂速度，需要對樣本的特征點進行歸一化處理，盡量消除特征差異。在實際應用中，AAM模型包括歸一化特征點、建立形狀模型、建立紋理和亮度模型等[12]。

2.1.1 特征點歸一化

在有N張人的睜眼、閉眼圖像構成的訓練集中，需要記錄下每一張圖片的若干個關鍵點或特征點的位置坐標信息。在本文中，每只眼睛區域分別標注4個特征點，如圖2所示。

圖2 眼部區域特征點標注

將訓練樣本的特征點有向圖坐標表示為向量形式：

2.1.2 形狀模板、紋理和亮度模板

樣本的特征點對齊后，需要對特征點按照形狀模板和紋理目標建模。在這個過程中，都需要運用主成分分析（PCA，principal component analysis）算法，該算法主要是對樣本向量降維，減少冗余數據，并提取特征參數。假設樣本向量為{x1，x2，…， xn}，經過建模計算后，其形狀模板x為：

紋理模型通過樣本的特征點形狀上有效紋理塊建立，模型通過訓練樣本紋理塊的亮度和色彩信息提取紋理信息，在具體實現過程中，紋理模型同樣采用PCA算法對信息提取。紋理模型訓練樣本處理結果用向量表示為{g1，g2，…，gn}，其模板為：

對式（2）和式（3）進行數學處理。首先對兩式參數進行處理：，Ws是一個將兩個參數結合起來的對角陣。

對于訓練集，每個樣本都得到兩個模板xi、gi，對于每組模板(xi、gi)，有如下關系式：

所有樣本集得到結合后的模板參數集：（b1，b2，…，bn），對于這個參數集進行PCA計算，得到b=bPc，Pc=(Pcs|Pcg)T，最終模板公式為：

2.2 AAM匹配算法

在完成AAM建模后，通過已建立的模型對測試樣本就行參數匹配，以能正確識別測試樣本圖像的特征點，這就是AAM模型的匹配算法[13～14]，描述如下：

（1）計算誤差：通過已建立好的模型參數，直接計算樣本圖像對應的特征點，記為gm，映射當前測試樣本圖像的紋理模型可得：

若當前模型的紋理模型gm=g+Qgc，那么計算的到紋理誤差為：

（2）估計當前誤差：將公式（10）進行一階泰勒展開：

其中，P為模型的參數向量：

（3）調整模型參數：根據RMS準則使|r(p+δp)|2最小，計算可得使誤差最小的δp為：

（4）更新模型參數：初始化k=1，更新參數p=p+kδp。

（5）繼續計算紋理誤差：若當前計算的誤差滿足測試圖像特征點的要求，則停止；否則返回（4），繼續更新模型參數，直到計算誤差小于要求值為止。

AAM的匹配過程是按照上述算法描述完成，直至標定最終的特征點。

2.3 AAM人眼模板

為了加快人眼模板的匹配速度，在基于Adaboost人臉檢測以后，通過人臉器官的幾何特征完成對人眼檢測和定位，在人眼區域完成人眼狀態的檢測。本文AAM人眼模板匹配按照上述過程實現。在模板訓練時需要對人眼樣本的特征點進行標注，模板匹配是在檢測時在訓練得到的模版中進行最佳模版選擇，并根據課題的要求完成眼睛的跟蹤，最后根據人眼模版匹配的特征點信息實現狀態檢測。

本文基于Opencv平臺下的開源人臉擬合庫VOSM（Vision Open Statistical Models）實現AAM模型，通過圖2所示的1、3、5、7特征點間的距離即可實時獲取眼睛開閉狀態信息。

3 基于PERCLOS算法的疲勞狀態

在基于計算機視覺的疲勞檢測研究上，對人眼狀態研究較多，而人眼的狀態可以有效地反映人的疲勞狀態變化，在眼部疲勞參數的研究中，本文采用PERCLOS算法。該算法是弗吉尼亞大學的研究者在上世紀90年代開始研究的，研究發現，疲勞狀態與眼部運動的關系較大，正常時人的眨眼是按一定頻率進行的，而人在疲勞時等非正常情況下眨眼頻率會變慢。根據人眼狀態和疲勞狀態的關系，研究者認為，PERCLOS是一種較好的測量疲勞的方法，PERCLOS所關注的數據信息可以較好地反應人的疲勞。

PERCLOS定義為單位時間內（一般取1 min或30 s）眼睛閉合一定比例（70%或80%）所占的時間，滿足式（15）時就認為發生了瞌睡。

PERCLOS計算公式如下：

PERCLOS值是指在單位時間內眼睛閉合程度超過80%的時間占總時間的百分比。經過實驗分析，本文認為眼瞼遮住瞳孔的面積超過80%就計為眼睛閉合，通過AAM模型檢測人眼開度值，統計在一定時間內眼睛閉合時所占的時間比例，即可獲得疲勞狀態。

4 實驗結果與分析

本文在分析電客車司機疲勞檢測的基礎上，采用vs2010+Opencv+VOSM開發平臺，按照電客車司機典型工作環境，通過監控攝像頭實時采集人臉視頻，選取了連續5 s視頻，共125幀數據，該段數據包括了人眼兩次眨眼過程。根據AAM模型實時獲取眼部的信息，通過PERCLOS算法計算其值。實驗結果如圖3所示。

圖3中，橫坐標表示視頻序列，縱坐標表示眼睛開度和歸一化之后的PERCLOS值。藍色曲線表示人眼開度值，值越大表示眼睛開度越大。綠色曲線表示PERCLOS值。根據圖3可見，隨著眼睛開度程度在80%以上時，PERCLOS值越小，隨著眼睛閉合，開度值逐漸減小，PERCLOS值越大，呈現反比關系。眼睛開度值在20%以下時，則認為眼睛閉合。根據單位時間內設置的PERCLOS閾值即可判斷疲勞狀態。

圖3 眼睛開度和PERCLOS值的關系

5 結束語

本文在分析電客車司機疲勞檢測方法的基礎上，采用視頻監控攝像頭獲取司機面部特征信息，在通過Adaboost人臉檢測人眼檢測完成以后，基于AAM和PERCLOS算法，選取了能夠直接反映疲勞程度的面部特征（眼睛）對電客車司機進行疲勞檢測，實驗結果證明，該模型和算法能夠很好地完成對司機的疲勞檢測。但是單一基于計算機視覺技術的疲勞檢測技術還不能推廣應用，如司機在佩戴墨鏡或者出現強烈眩光等情況就會出現人眼特征提取困難。因此，在使用計算機視覺技術的基礎上，融合多種手段檢測信息，如司機生理信號、車輛狀態信息，實現多信息融合檢測疲勞狀態，這也是接下來將要研究的重點。

[1]中國城市軌道交通協會.2015年我國城軌交通線路概況[DB/OL].http://www.camet.org.cn/hyxw/201601/ t20160122_442847.htm.2016.

[2]孫慶雨.城軌列車警惕按鈕功能原理分析[J].科研，2015（12）：161-163.

[3]白金蓬，黃 英，江宜舟，等.駕駛狀態實時監測系統設計[J].電子測量與儀器學報，2014，28（9）：965-973.

[4]石 堅，吳遠鵬，卓 斌，等.汽車駕駛員主動安全性因素的辨識與分析[J]．上海交通大學學報，2000，34（4）：441-444．

[5]BERGASA L M，NUEVO J，SOTELO M A，et al.Real-time system for monitoring driver vigilance [J].IEEE Transactions on Intelligent transportation Systems,2006,7(1) : 63-77．

[6]Cootes T F,Cooper D H,and Taylor CJ，et al.Active shape models-their training and application[J].Computer Vision and Image Understanding,1995,61(1):38-59.

[7]G.J.Edwards,A.Lanitis,C.J.Taylor,and Cootes T F.Statistical Models of Face Images-Improving Specifcity[J].Image Vision Computing,1998,16(3):203-211.

[8]Viola P,Jones M J.Robust real-time face detection [J].International Journal of Computer Vision,2004,57(2):137-154.

[9]Takahiro Ishikawa,Simon Baker,Iain Matthews,Takeo Kanade.Passive Driver Gaze Tracking with Active Appearance Models[C].Proc.11th World Congress on Intelligent Transportation Systems,2004:1019-2025.

[10]Cootes T F，Edwards G J and Taylor C J.Active appearance models [J].Proc European Conference on Computer Vision,1998(2):484-498.

[11]Kass M,Witkin A,and TerzopoulosD.Snake:active contour models[J].Int.Journal of Computer Vision,1987,1(4):321-331.

[12]李 爽.疲勞駕駛特征和參數提取研究[D].濟南：山東大學，2013.

[13]Cootes T F,Edwards G J and Taylor C J.Active appearance models[J].Proc.European Conference on Computer Vision,1998 (2):484-498.

[14]Cootes T F,Edwards G J and Taylor C J.Active appearance mo-dels[J].Pattern Analysis and Machine Intelligence,2001,23(6):681-685.

[15]施樹明,金立生,平榮本，等.基于機器視覺的駕駛員嘴部狀態檢測方法[J].吉林大學學報（工學版），2004（4）.

責任編輯 陳 蓉

Active appearance model and PERCLOS based fatigue detection

TANG Chunlin,YANG Changxiu,CHEN Xingjie
( School of Public Transportation,Chongqing Vocational College,Chongqing 402247,China)

At present,the fatigue problem of long time driving for the drivers of Urban Transit was solved by rules and alert button.These methods increase the labor intensity of the driver,the driver fatigue driving detection effect is limited.So this article put forward an active online real-time detection method based on the site work environment of drivers,the method was used to analyze the face information through a video sequence,identify and locate the human eye by using active appearance model,implement the detection of driver fatigue by PERCLOS Algorithm.Experimental results showed that the model and the Algorithm were able to implement the detection of driver fatigue.

driver of Urban Transit;fatigue detection;Active Appearance Model;PERCLOS Algorithm

U231∶F530.69∶TP39

A

1005-8451（2016）11-0005-05

2016-04-15

重慶市教委科學技術研究項目（KJ1405501）。

唐春林，教授；楊昌休，講師。