基于ASM局部定位和特征三角形的列車駕駛員頭部姿態估計

趙 磊， 王增才， 王曉錦， 張萬枝

(山東大學 機械工程學院，山東 濟南 250061)

列車與其他交通方式(如汽車和飛機)相比，安全性較高，但是一旦發生事故，帶來的人員傷亡和經濟損失是巨大的，而駕駛員注意力不集中占列車事故發生原因比例最高[1]，在列車長時間高速行駛的時候，單調的駕駛環境非常容易引發駕駛員的疲勞,因此為了保證駕駛員和旅客的人身安全，對駕駛員疲勞的識別是非常有必要的，而頭部姿態的變化對駕駛員面部疲勞特征參數的分析有很大的影響。因此，頭部姿態估計是一個非常重要的檢測對象。

目前的頭部姿態估計的方法主要分為兩類：基于2D面部特征的估計和基于3D面部特征估計。前一種估計方法主要是建立2D的面部特征與3D的頭部姿態參數的數學關系，利用2D面部特征的學習方法對頭部姿態進行估計。其中比較代表性的是Wu等[2]通過對面部的5個特征點進行多粒子濾波器跟蹤，通過已精確定位頭部5個特征點之間的相對幾何關系對頭部姿態進行分析；陳振學等[3]利用Adaboost算法對眼睛和嘴巴進行和定位，通過分析這3個點構成的特征三角對頭部姿態進行估計；朱淑亮等[4]借助人臉正面的圖像信息建立人臉特征三角形，詳細分析了3種頭部姿態；劉志勇和王玨[5]利用流形學習中的局部線性嵌入算法計算頭部姿態參數；路玉峰等[6]采用非線性核變換的算法分析頭部姿態參數，取得了較好的精度；張萬枝等[7]采用Adaboost算法對駕駛員的眼睛進行定位，然后在眼睛已定位的基礎上利用H分量確定嘴巴位置，建立面部三角形，根據三角形的位置變化對頭部姿態進行估計；劉袁緣等[8]提出了樹結構分層隨機森林在非約束環境下的多類頭部姿態估計，該方法采用一種樹結構分層隨機森林算法，分層估計多自由度下的頭部姿態，實驗結果表明所提算法在不同質量的圖像上都有很好的估計準確率和魯棒性。基于3D的頭部姿態估計主要是在多個視角下采集多幅圖像建立三維頭部模型，并以此分析頭部姿態。其中代表性的有：LI[9]利用多個攝像頭對面部進行檢測，對頭部進行三維重建，根據每個人頭部的3D姿態改變和紋理參數進行姿態估計；Rodham[10]采用激光掃描儀得到一個三維數據學習形變模型，根據該模型學習功能對頭部旋轉參數進行分析；Fanelli G等[11]將隨機森林法用于3D圖像的頭部姿態識別，取得了良好的效果；張偉[12]采用Candide模型實現了駕駛員頭部的個體三維重建，并通過三維模型配準完成了駕駛員初始姿態角的確定。

本文采用基于2D的面部特征三角形進行頭部姿態估計。之前的研究方法采用的是以眼睛和嘴巴作為面部特征三角形的頂點，但是在嘴巴狀態改變的情況下，嘴巴定位不準，導致頭部參數估計誤差較大，其定位效果如圖1所示；在對三角形建模之后，沒有提出在線初始化面部三角形的基準參數的方法，即頭部各個方向轉角都為0的面部三角形參數，導致該算法無法在線自動估計不同駕駛員的頭部姿態。

本文提出對嘴部變化相對穩定的鼻子和雙眼作為定位特征點構建三角形進行頭部姿態分析的頭部姿態估計方法。首先采用基于主動形狀模型(ASM)的局部定位算法對眼睛和鼻子進行定位；然后建立基于左眼、右眼和鼻子下部的定位點來構建面部特征三角形，采用自檢測方法對面部特征三角型進行初始化，構建正面三角形基準參數，對頭部姿態與關鍵點位置的關系進行建模，根據特征點的位置變化進行頭部姿態估計。最后對基于眼睛和鼻子作為特征點的面部特征三角形分析方法的性能進行實驗檢測。

1 基于ASM模型的面部特征局部定位

1.1 ASM模型算法

基于點分布模型的ASM算法通過一組特征點描述目標的形狀。ASM算法由全局形狀模型和局部紋理模型組成，在檢測過程中交替作用，使得模型定位形狀逐步收斂[13]，通過模型對人臉進行定位結果見圖2。

全局形狀模型訓練樣本是對大量人臉圖像進行手工標記，然后通過主成分分析(PCA)得到。本文選取58個特征點模擬人臉。

根據上文的設置，可用式(1)體現的向量來表示人臉的形狀。

x=(x1,y1,x2,y2,…,x58,y58)

( 1 )

( 2 )

訓練樣本的協方差矩陣W為

( 3 )

W的特征向量為

Wpk=λkpk

( 4 )

式中：λk是W的特征值;pk是λk特征值對應的特征向量。

根據PCA理論，特征值λk越大對應的特征向量pk的變化對整體模型越重要。選取前M個特征值對應的特征向量構成新的矩陣P，其中

P=[p1,p2,…,pM]λ1>λ2>…>λM

( 5 )

則人臉形狀均可以在新的主軸系下為

( 6 )

式中：b=(b1,b2,…,bM)T是權值向量。

局部紋理模型是在全局形狀模型中每個特征點的法線方向上采樣像素點進行統計分析得到見圖3。

設定訓練樣本中的一個特征點位Hj(j=1,2,…,58)的采樣向量(采樣的點數為k)為

Hj=xj1,yj1,xj2,yj2,…,xjk,yjkT

( 7 )

( 8 )

選用大于200個訓練樣本進行訓練，訓練完成后可用于對駕駛員面部區域進行的定位。

1.2 基于圖像增強的ASM模型局部定位算法

通過實際的實驗和前人的總結[12]在駕駛環境光照變化或者駕駛員頭部姿態和面部表情變化較大的情況下時，采用ASM進行面部特征的全局定位會產生較大的偏差，魯棒性差；因此需要從光照和頭部姿態兩個方面解決面部定位的精度問題。

針對駕駛室光線的變化，本文引進了基于Retinex理論的車載視覺系統圖像增強算法[14]。首先將圖像從RGB彩色空間轉換到YCbCr彩色空間，提取Y亮度分量低頻部分，采用多尺度Retinex(MSR)算法對Y分量低頻部分進行光照補償，然后經圖像濾波后，將Y分量與原來的Cb、Cr分量進行逆變換，生成新圖像，并對像素值平移和壓縮，將新圖像從YCbCr彩色空間轉換到RGB彩色空間，得最終圖像。其增強效果見圖4。

采用Adoboost算法[15]對人臉進行粗略定位，在獲得人臉概略位置的基礎上對人臉進行全局ASM配準，進一步對人臉特征的位置進行定位。前人研究發現[14]，在頭部姿態和表情改變的時候，面部輪廓運動范圍較大，所以當頭部姿態改變較大時，外輪廓的定位點定位不準，發生偏移現象，但眼睛周圍構成的局部面部區域相對于整個面部有很好的聚類性，且在駕駛員姿態變化時，這一區域的ASM模型相對穩定。從圖5可見，在不同的頭部姿態下，眼睛和鼻子區域相對于對其他特征(嘴巴和外輪廓)，定位的魯棒性較強，雖然在頭部姿態變化較大的情況下仍然有少量誤差，但與其他特征相比偏移量較小。因此在全局ASM模型定位的基礎上，通過計算模型上點的坐標提取了眼睛和鼻子所在位置的區域，在此區域內分別對眼睛和鼻子進行由粗略到精確的策略來進行局部二次定位。

首先根據ASM模型中眼部點的位置來提取眼睛區域，通過擴展的Haar特征，采用級聯的方式，重復采用Adaboost方法訓練眼睛分類器，在該區域中進行眼睛定位。眼睛的訓練樣本選擇以瞳孔為中心、眉毛為上界外接矩形為眼睛訓練樣本，樣本來自CMU等多個人臉庫。經過歸一化后圖像大小為25×25像素，共計4 862幀[7]。眼睛區域提取后進行二次定位的方法可進一步縮小函數的搜索區域，從而提高了眼睛提取精度，其提取區域和定位結果見圖6。

在實驗中Adaboost訓練鼻子的分類器定位的準確性不高，而通常情況下鼻子下方兩個鼻孔的灰度值與周圍的灰度值相差很大，因此可以根據該特點進行定位。首先根據ASM模型提取鼻子區域，提取結果見圖7(a)；然后對鼻孔區域采用積分投影法求其兩鼻孔區域的重心，再對兩個鼻孔的重心求平均值可定位鼻子下端，鼻子定位結果見圖7(b)。

最終定位結果見圖8。從圖8可見，基于圖像增強的ASM局部定位算法魯棒性較好；與以眼睛和嘴巴作為面部三角形的定位點相比，嘴巴大幅度張開和閉合的時候依然能夠保證定位的精度，不會在頭部姿勢不改變的前提下，隨著嘴巴大小改變而使鼻子定位點發生位移，造成對頭部姿態估計精度不高。

2 基于面部特征三角形的頭部姿態分析

2.1 特征三角形的建立

駕駛員頭部運動時的姿態分析主要是基于3個坐標軸的旋轉角度，如頭部的上下、左右旋轉以及偏頭等，駕駛員的視頻圖像中，面部的各個部位的位置隨著頭部姿勢的變化而改變[7]，其中眼睛和鼻子是面部在不同表情下相對位置最穩定的點，因此只要定位出兩只眼睛和鼻子底部的位置，就可以對頭部姿態準確估計。圖9中設圖像的垂直方向為z軸，水平方向為x軸，垂直圖像方向為y軸；O(x1，y1)、P(x2，y2)和Q(x3，y3)分別為左眼、右眼和鼻子的定位點，其中這3個點的坐標值是相對于圖像的坐標原點計算。而三角形每個點對邊的長度分別由o、p和q表示。

根據上圖和人臉的特征可以得出，當人臉正對圖像的時候，該面部三角形為等腰三角形；當頭部發生擺動、點頭和偏頭時面部的3個特征點在圖像中的相對位置發生變化，從而引起三角形的幾何形狀發生變化，因此通過分析面部特征三角形的變化可以推算出當前的頭部姿勢。

根據三角形3個特征點的位置坐標可以得出ΔOPQ的3個邊的邊長為

( 9 )

(10)

(11)

而根據三角形內角定理可得，3個頂點O、P、Q對應的三角形內角∠O、∠P、∠Q大小分別為

(12)

(13)

∠Q=180°-∠P-∠O

(14)

以q為底邊ΔOPQ的高h為

(15)

2.2 面部特征三角形初始化

與人臉特征點檢測技術的其他應用不同，該算法需要駕駛員頭部各個方向的旋轉角為0的面部三角形作為頭部姿態估計的基準，而且駕駛員面部特征不同也導致了其正面的特征三角形的參數也各不相同。因此，在分析駕駛員頭部姿態與面部三角形的關系之前，要對面部三角形做初始化處理，即找到駕駛員頭部3個方向旋轉角度為0時的面部特征三角形，以該三角形的參數作為基準，將其他頭部狀態的面部三角形與之比較，估計其姿態參數。

在行車過程中，可采用自檢測初始化方法對駕駛員正面特征三角形進行基準識別，即在駕駛員駕駛過程中前20 min對駕駛員的面部三角形進行檢測。當駕駛員轉頭角度為0時，面部三角形∠O=∠P，即為等腰三角形。當駕駛員頭部上下運動角度為0時，面部特征三角形中以q為底的三角形的高h是在自檢測期間的最大值。當駕駛員頭部左右擺動度數為0的時候，三角形的高h與圖像y軸的角度為0，具體計算方法在后說明。在初始化時間內的自檢測過程中，檢測每一幀圖像的面部三角形參數并存儲，對以上的條件按照一定的閾值進行分析，如果達到上述3個條件中的1個條件時，即可認為該條件符合的參數為正面三角形初始參數，當以上3個條件都滿足后，面部特征三角形的初始化完成。

2.3 頭部姿態與面部特征三角形建模分析

駕駛員頭部的轉動即繞著豎直方向(z軸)轉動，見圖10，面部三角形投影到視頻圖像上(x-z平面)可以發現其形狀已經發生變化，不再是等腰三角形。

從圖8可見，頭部偏轉方向所對應的特征點的角變大，當頭部向左運動時∠O>∠P，反之∠P>∠O；根據頭部旋轉原理頭部的轉動的角度為

(16)

式中:q′為轉頭時兩眼之間的距離。轉頭時三角形以邊q為底的高h不變。

駕駛員低頭與抬頭的時候是頭部繞著x軸轉動，見圖11。此時將面部三角形投影到x-z平面，可以看出三角形中兩個鼻子和左眼及右眼的邊長同時增大(減小)，同時對應的以邊q為底的高h發生變化。

根據點頭(抬頭)原理，點頭(抬頭)角度α為

(17)

偏頭時頭部繞y軸旋轉，見圖12，此時面部特征三角形的形狀和邊長不發生變化。但q不再平行于x軸，而是旋轉一定的角度。

設頭部擺動角度為γ，則擺動角度與面部三角形的偏轉角度相同，當y2>y3頭部左擺，擺動角為

(18)

當y2

(19)

3 實驗與討論

3.1 特征定位性能檢測

為了驗證本文面部特征定位方法的準確性，從IMM_FACE人臉數據庫中提取30位不同年齡、表情和頭部姿態的人臉圖像一共150張，其中分別采用文獻[7]算法和本文算法對面部特征點進行定位。實驗平臺為Windows7，處理器為Intel Core i3-3220，主頻為3.30 GHz，內存為4 GB，軟件為OpenCV 2.4.3，其定位結果見表1。實驗結果顯示：其中誤檢率表示在檢測中檢測出不相關特征情況所占的比例。本文算法與文獻[7]的定位方法相比，在人不同嘴部變化的條件下，檢測率和檢測精度都高于文獻[7]。

表1 面部特征檢測結果對比

3.2 頭部姿態估計性能檢測

頭部姿態估計的試驗方法見圖13。將角尺用綁帶固定在被測試者的頭部，并對其初始位置進行校正。分別利用固定的3個攝像機采集被測試者不同頭部姿態和不同嘴巴狀態的正面，側面和頭頂部的圖像，采用手工標定角尺位置和角度點來估計頭部的實際姿態。

計算正面圖像上部的角尺旋轉角度可以得到偏頭角度，見圖13(a)；計算側面頭部角尺旋轉角度可以得到點頭角度，見圖13(b)；計算頭頂部方向的角尺旋轉角度可以得到轉頭角度，見圖13(c)。本文頭部參數約定向上抬頭、向左轉和向右偏頭的角度值為正值，向下點頭、向右偏頭和向右偏頭的角度值均為負值。采集被測試者5種頭部姿態，不同下嘴巴狀態的圖像共10張，每種頭部姿態的圖像兩張；然后采用本文方法和文獻[7]方法對圖像中被實驗者的頭部姿態進行估計，圖14為實驗錄像中提取的不同嘴部狀態下的部分姿態的正面圖像，面部特征參數檢測結果如表2所示。其中圖14(a)、14(c)、14(d)、14(e)、14(g)和14(i)分別為嘴巴閉合時的正面，頭部姿態圖像，圖14(b)、14(d)、14(f)、14(h)和14(j)分別為嘴巴張開時頭部姿態圖像，其頭部姿態分別與圖14(a)、14(c)、14(e)、14(g)和14(i)相同。

表2 頭部姿態值 (°)

根據圖14和表2可見：本文方法在不同頭部姿態的檢測結果與圖中的頭部姿態實際測量值基本一致，在相同的頭部姿態條件下，本文方法在嘴巴不同狀態情況下的姿態估計的誤差基本在3°以內。文獻[7]方法和本文方法相比，在轉頭和偏頭角度估計的精度基本相同，但是文獻[7]的方法由于嘴巴形狀變化，嘴巴位置定位不穩定，導致定位精度不高，從而影響了點頭角度的檢測準確性，且同樣頭部姿態情況下，嘴巴狀態不同時，點頭角度差別較大；如圖14(e)和圖14(f)的點頭估計值結果可以看出，估計值與實際測量值誤差較大，且當嘴巴張開時h值增大，導致點頭角度值與實際值相比誤差明顯。通過上述比較，本文方法對頭部姿態角度的計算有明顯的優勢，能夠對不同嘴巴狀態下的駕駛員的頭部姿態進行估計。

4 結論

本文提出一種新的基于ASM局部定位和人臉特征三角形的駕駛員頭部姿態估計方法。該方法采用了基于Retinex理論圖像增強算法去除光照影響；利用ASM算法進行面部定位，根據定位參數提取眼睛和鼻子作為局部定位區域，接著分別對眼睛和鼻子進行定位，提取特征點并構建面部特征三角形；然后采用自檢測的方法建立面部三角形初始化參數，建立了頭部姿態和面部三角形的數學關系模型，根據三角形的位置變化進行頭部姿態估計；最后對實驗樣本進行頭部姿態分析。實驗表明，在一定的條件下，該方法定位性能較好，且由于眼睛和鼻子在人嘴巴狀態變化時的位置比較穩定，因此以鼻子和眼睛為特征點的面部三角形能實現不同嘴巴大小情況下的估計，可以滿足列車駕駛員在不同狀態下頭部姿態的監控。頭部姿態估計在實際應用中除了不同駕駛員特點和光照條件改變外，還有在駕駛過程中駕駛員頭部轉角過大導致無法檢測面部特征和手部遮擋等影響因素本文沒有考慮。這些因素也是將來主要的研究方向。

參考文獻：

[1] 李強. 基于PERCLOS的列車司機駕駛疲勞研究[D].北京:北京交通大學,2014.

[2] WU Junwen, TRIVEDI M M. A Two-state Head Pose Estimation Framework and Evaluation[J].Pattern Recognition,2008,41(3):1 138-1 158.

[3] 陳振學，常發亮，劉春生，等.基于Adaboost算法和人臉特征三角形的姿態參數估計[J].武漢大學學報·信息科學版，2011，36(10)：1 164-1 168.

CHEN Zhenxue, CHANG Faliang, LIU Chunsheng. Pose Parameters Estimate Based on Adaboost Algorithm and Facial Feature Triangle[J]. Geomatics and Information Science of Wuhan University,2011,36(10):1 164-1 168.

[4] 朱淑亮, 王增才, 王樹梁, 等. 頭部多角度的眼睛定位與狀態分析[J]. 重慶大學學報, 2010, 33(11): 20-26.

ZHU Shuliang, WANG Zengcai, WANG Shuliang, et al. Eye Localization and State Analysis of Head Multi-position in Color Image[J]. Journal of Chongqing University, 2010, 33(11): 20-26.

[5] 劉志勇, 王玨. 流行學習方法及其在頭部姿勢估計中的應用[J]. 貴州大學學報(自然科學版)，2010,27(4): 63-66.

LIU Zhiyong, WANG Jue. Manifold Learning and Its Application on Head Pose Estimation[J]. Journal of Guizhou University:Natural Sciences,2010,27(4): 63-66.

[6] 路玉峰, 王增才, 李學勇. 基于核主元分析的頭部姿勢估計[J]. 光電工程, 2008, 35(8): 63-66.

LU Yufeng, WANG Zengcai, LI Xueyong. Head Pose Estimation Based on Kernel Principal Component Analysis[J]. Opto-Electronic Engineering, 2008, 35(8): 63-66.

[7] 張萬枝, 王增才, 基于面部特征三角形的機車駕駛員頭部姿態參數估計[J].鐵道學報, 2013, 35(11): 39-44.

ZHANG Wanzhi, WANG Zengcai. Estimation of Pose Parameters of Vehicle Drivers Based on Facial Feature Triangle[J]. Journal of The China Railway Society, 2014, 35(11): 39-44.

[8] 劉袁緣, 陳靚影, 余侃，等. 基于數結構分層隨機森林在非約束環境下的頭部姿態估計[J]. 電子與信息學報, 2015, 37(3): 544-551.

LIU Yuanyuan,CHEN Liangying, YU kan, et al. Head Pose Estimation Based on Tree-structure Cascaded Random Forests in Unconstrained Environment[J]. Journal of Electronics & Information Technology,2015,37(3):544-551.

[9] LI Yongming, GONG Shaogang, HEATHER L. Recognizing Trajectories of Facial Identities Using Kernel Discriminate Analysis[J].Image and Vision Computing, 2008,21(13-14):1 077-1 086.

[10] ROMDHANI S, BLANZ V, VETTER T. Face Identification by Fitting 3D Morphable Model Using Linear Shape and Texture Function[C]// Proceedings of 2002 European Conference on Computer Vision (ECCV’02). London, UK:Spring-Verlag, 2002: 3-19.

[11] FANELLI G, GALL J, VAN G L. Real Time Head Pose Estimation with Random Regression Forests[C]// Proceedings of 24th IEEE Conference on Computer Vision and Pattern Recognition(CVPR).New York: IEEE, 2011: 617-624.

[12] 張偉. 基于機器視覺的駕駛人疲勞狀態識別關鍵問題研究[D].北京:清華大學，2011.

[13] COOTES T F, TWINING C J, BABALOLA K O, et al. Diffeomorphic Statistical Shape Models[J]. Image and Vision Computing, 2008, 26(3): 326-332.

[14] 張萬枝, 王增才, 李云霞,等. 駕駛員疲勞檢測中的彩色圖像增強算法[J]. 光電子·激光, 2012, 23(8):1 545-1 549.

ZHANG Wanzhi, WANG Zengcai, LI Yunxia, et al. An Algorithm of Color Image Enhancement for Driver Fatigue Detection[J]. Journal of Optoelectronics Laster, 2012, 23(8):1 545-1 549.

[15] VIOLA P, JONES M J. Rapid Object Detection Using a Boosted Cascade of Simple Features[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE,2001:511-518.