駕駛?cè)搜劬Χㄎ慌c跟蹤算法的研究*

張 偉，成 波，張 波

(清華大學(xué)，汽車安全與節(jié)能國家重點實驗室，北京 100084)

前言

國內(nèi)外研究表明，行車時駕駛?cè)说木X狀態(tài)與由此引起的跟車過近和車道偏離等危險駕駛行為是導(dǎo)致交通事故的重要原因［1－4］。利用機(jī)器視覺技術(shù)對駕駛?cè)苏Ｑ蹌幼鳌⒁暰€方位和注視點分布特征等的識別可實現(xiàn)警覺狀態(tài)的有效估計。由于該技術(shù)具有非侵入、準(zhǔn)確和實時的特點而成為世界先進(jìn)汽車安全技術(shù)領(lǐng)域研究的重點［5］。在實際行車過程中，為有效獲取駕駛環(huán)境信息，保證駕駛行為的安全性，駕駛?cè)艘话銜粩嘧儞Q面部姿態(tài)來完成視覺搜索任務(wù)。姿態(tài)變化造成人臉3D形狀在2D人臉圖像投影的形變，使姿態(tài)變化成為人眼定位中的一大難題［6］。

目前，人眼定位算法的研究途徑主要包括基于形狀的方法［7－9］、基于表觀的方法［10－11］和基于紅外照明的方法［12］3類。對基于紅外照明的方法來講，太陽的輻射特性相當(dāng)于6 000K的黑體，其在近紅外波段的輻射通量仍然很強(qiáng)，遠(yuǎn)大于近紅外光源的輻射通量，導(dǎo)致近紅外照明方式在白天室外環(huán)境中應(yīng)用時效果不佳。基于形狀和基于表觀的方法目前的研究主要集中在單幀圖像中的人眼定位上，而針對圖像序列中人眼跟蹤算法的研究很少。為此，本文中充分利用駕駛?cè)嗣娌恳曨l相鄰幀間的連續(xù)性和相關(guān)性，提出了一種將人眼檢測與人眼跟蹤相結(jié)合的人眼定位算法，在采用主動形狀模型(active shape model，ASM)算法對人臉配準(zhǔn)和器官區(qū)域分割的基礎(chǔ)上，設(shè)計了一種基于Meanshift校準(zhǔn)的Lucas-Kanade光流跟蹤算法，可有效消除跟蹤誤差的積累，實現(xiàn)眼睛的可靠定位。

1 系統(tǒng)結(jié)構(gòu)

實際行車過程中，安裝于車體的攝像機(jī)實時采集駕駛?cè)嗣娌繄D像并通過對駕駛?cè)搜劬顟B(tài)的分析實現(xiàn)駕駛?cè)司X狀態(tài)的在線估計，如圖1所示。

對實時采集到的視頻圖像，采用Adaboost人臉檢測算法檢測駕駛室場景中駕駛?cè)祟^部的位置［13］。一旦檢測到人臉，則以該位置作為ASM算法的初始搜索位置，對人臉進(jìn)行配準(zhǔn)并完成各器官區(qū)域的劃分［14］。而后，在眼睛區(qū)域范圍內(nèi)獲取Harris角點并采用光流跟蹤與Meanshift跟蹤相結(jié)合的算法對眼睛進(jìn)行跟蹤，見圖2。

在跟蹤過程中，由于光照變化、速度過大等原因會造成部分角點跟蹤失敗，當(dāng)眼睛區(qū)域內(nèi)被跟蹤的角點數(shù)量少于5個時，須再次應(yīng)用Adaboost和ASM算法檢測眼睛區(qū)域，并在該區(qū)域內(nèi)重新獲取Harris角點，算法流程如圖3所示。

2 基于ASM算法的眼睛定位

當(dāng)駕駛?cè)颂幱谡孀藨B(tài)時，采用Adaboost算法檢測人臉，在此基礎(chǔ)上應(yīng)用ASM算法精確配準(zhǔn)人臉區(qū)域和面部器官的位置分布。然而，實際行車過程中，駕駛?cè)艘话銜ㄟ^不斷變換面部姿態(tài)來獲取駕駛環(huán)境信息，從而對車輛進(jìn)行有效的操控。在駕駛?cè)俗藨B(tài)角變化不大時，Adaboost人臉檢測算法可為ASM算法提供較為精確的初始搜索位置。但Adaboost算法和ASM算法對人臉的偏轉(zhuǎn)角只有一定的容忍度，當(dāng)人臉姿態(tài)變化引起的臉部圖像紋理特征超出訓(xùn)練樣本所能表達(dá)的范圍時，算法就會失效。圖4給出了一組在不同姿態(tài)下的ASM算法的配準(zhǔn)結(jié)果。結(jié)果表明，在駕駛?cè)俗藨B(tài)角不太大時，ASM算法能較為準(zhǔn)確地進(jìn)行面部特征點的定位和器官區(qū)域的分割。當(dāng)面部姿態(tài)角過大時，ASM算法會失效。

為了能在人臉不出現(xiàn)自遮擋的情況下準(zhǔn)確捕獲到人眼的區(qū)域位置，依據(jù)正面姿態(tài)下ASM算法獲取眼睛位置，并采用跟蹤算法對眼睛區(qū)域進(jìn)行跟蹤。

3 基于Lucas-Kanade光流的眼睛跟蹤算法及其缺陷

當(dāng)光照條件變化不十分劇烈時，可假定人臉特征點的局部灰度值不變，因此，可通過求解光流約束方程完成跟蹤任務(wù)。光流約束方程的求解須構(gòu)造某光流誤差測度函數(shù)作為約束條件。比較經(jīng)典的研究成果包括Horn和Schunck提出的全局平滑性假設(shè)以及Lucas和Kanade提出的局部鄰域運(yùn)動恒定性假設(shè)［15］。

相對而言，Lucas-Kanade方法在跟蹤速度方面具有明顯的優(yōu)勢，因此，本文中利用Lucas-Kanade跟蹤算法作為眼睛區(qū)域跟蹤的基礎(chǔ)算法。該算法假定在一個小的鄰域上運(yùn)動矢量保持恒定，于是在該鄰域內(nèi)光流誤差可用加權(quán)最小二乘表示為

式中:W(x)為窗口權(quán)重函數(shù)。采用梯度下降法進(jìn)行圖像的匹配即可實現(xiàn)光流的解算。

從光流約束方程中可以得出:光流是利用像素灰度的時域變化和相關(guān)性來確定各自像素點的“運(yùn)動”。光流跟蹤要求被跟蹤點周圍有豐富的紋理，為此，本文中采用Harris角點探測器在眼睛區(qū)域自動選擇強(qiáng)度超過一定閾值的角點進(jìn)行跟蹤。圖5為一段長度為300幀的測試視頻中眼睛跟蹤結(jié)果，跟蹤失敗的點在下幀圖像中將不再畫出。在該視頻段的第11幀、第59幀、第115幀和第228幀中，由于眼睛的閉眼動作，使很多特征點跟蹤丟失。

從這個結(jié)果可得出以下結(jié)論:(1)在眼睛區(qū)域的跟蹤中，眼睛的大幅度動作，如睜/閉眼，會引起眼睛區(qū)域灰度的突變，對很多特征點來講，在下幀圖像中將無法找到滿足光流約束條件的對應(yīng)點，引起跟蹤失敗，對圖像中選定的Harris角點，眼部運(yùn)動的隨機(jī)性使每個角點都存在跟蹤失敗的可能性，因此，剩余角點的重心位置相對于眼睛的中心位置是不確定的，由這些點將無法精確獲取眼睛的輪廓范圍;(2)從光流跟蹤的原理來看，被跟蹤點的角點強(qiáng)度，即被跟蹤點相對于其局部鄰域內(nèi)其它點在灰度分布上的特殊性，是決定光流跟蹤可靠性的重要因素。若在鄰域內(nèi)存在與被跟蹤點灰度特征相似的點，當(dāng)眼睛或頭部出現(xiàn)快速移動時，特征點就有可能漂移到鄰域中這些相似點上去，從而導(dǎo)致光流場與運(yùn)動場不一致。比較圖6中第149幀和第153幀圖像可以看出，在一次閉眼動作中，一個被跟蹤角點從眼角附近漂移到了虹膜附近。值得注意的是，這種由局部鄰域的相似性引起的跟蹤點漂移，在跟蹤過程中是不可逆的，它將在跟蹤過程中持續(xù)下去并可能進(jìn)一步漂移，伴隨著跟蹤幀數(shù)的增加，跟蹤誤差不斷積累。

為了消除Lucas-Kanade光流跟蹤方法的累積誤差并比較準(zhǔn)確地檢測出眼睛的輪廓區(qū)域，本文中引入Meanshift算法，利用其具有向局部極值收斂的特性，對Lucas-Kanade光流跟蹤結(jié)果進(jìn)行校準(zhǔn)。

4 基于Meanshift算法的眼睛位置校準(zhǔn)

對于n維歐氏空間X中的有限集合Ω，在x∈Ω處的Meanshift矢量定義為式中:xi∈Ω;g是核函數(shù);h為帶寬矩陣系數(shù)。

x處的Meanshift矢量指向卷積曲面的負(fù)梯度方向。

以自商圖作為Meanshift算法的概率密度分布輸入。自商圖定義為

式中:R為自商圖;I為原始圖像;F為濾波核。

圖7為自商圖的定義。

由于自商圖本身是一種凸顯高頻特征的運(yùn)算，因此眼睛作為一個具有復(fù)雜結(jié)構(gòu)的器官在自商圖運(yùn)算后相對于平滑的面部區(qū)域在灰度分布上將主要集中在高灰度范圍，這一點從圖7(c)中可以很明顯地看出。由于Meanshift算法具有在搜索空間中收斂到局部極值的能力，因此可以用Meanshift算法來消除Lucas-Kanade光流跟蹤的累積誤差。

采用Meanshift算法校準(zhǔn)Lucas-Kanade光流跟蹤結(jié)果的步驟如下:

第一步:計算Lucas-Kanade光流跟蹤的角點重心O1(x，y)的坐標(biāo);

第二步:將矩形跟蹤框的中心設(shè)置到O1(x，y);

第三步:在自商圖上計算矩形框內(nèi)圖像灰度的重心 O2(x，y);

第四步:將矩形搜索框的中心移動到O2(x，y);

第五步:判斷矩形框移動距離d，若d＞dthreshold，返回第三步，否則輸出矩形框中心坐標(biāo)。

經(jīng)過這樣一個迭代過程，矩形框的中心最后收斂到自商圖的局部極值(眼睛)。圖8給出了一個跟蹤示意圖，圖中的箭頭指示了Meanshift算法在自商圖上逐步收斂到眼睛的過程。

5 算法驗證

為定量評價算法對眼睛的跟蹤精度，文中從實際城市道路上進(jìn)行的一組實驗中選取了一段駕駛?cè)俗藨B(tài)角變化較大的視頻作為實驗樣本，視頻長度為200幀(8s)。在每幀圖像中手動標(biāo)記左眼中心作為基準(zhǔn)位置。分別用本文算法和單純基于ASM的眼睛定位算法對該段視頻進(jìn)行檢測，如圖9所示。

由圖可見，兩種算法對眼睛垂直坐標(biāo)的定位精度相差不大，而對眼睛的水平坐標(biāo)，本文算法具有更高的精度。這是由于駕駛?cè)嗽谛熊囘^程中，頭部的運(yùn)動主要以左右擺動為主，俯仰運(yùn)動一般幅度較小的緣故。

6 討論

本文中在Lucas-Kanade光流跟蹤基礎(chǔ)上采用Meanshift算法，而不是單獨(dú)采用Meanshift算法跟蹤眼睛，其原因在于，在自商圖上，除了眼睛之外，鼻孔、眉毛、頭發(fā)和場景中的很多其他目標(biāo)在自商圖運(yùn)算后都會表現(xiàn)出高灰度分布特征，因此，Meanshift算法的有效性必須建立在Lucas-Kanade光流跟蹤獲得眼睛概略位置的基礎(chǔ)上，在該局部鄰域內(nèi)，Meanshift算法才能收斂到眼睛中心位置。若在ASM算法獲得眼睛范圍的基礎(chǔ)上直接采用Meanshift算法跟蹤，當(dāng)駕駛?cè)顺霈F(xiàn)快速的頭部動作時，Meanshift算法就很可能會跟蹤到錯誤的目標(biāo)上，而Meanshift算法自身又無法判斷跟蹤目標(biāo)的對錯，因此無法保證眼睛定位的精度。相對而言，Lucas-Kanade光流跟蹤算法的快速性、穩(wěn)定性、多特征點跟蹤能力和對跟蹤結(jié)果正確性有一定的判別能力使它非常適合在整個場景目標(biāo)和大運(yùn)動范圍內(nèi)從全局意義上對提取的角點特征進(jìn)行跟蹤，而在局部，則用Meanshift算法進(jìn)行細(xì)微調(diào)控。這種充分利用Lucas-Kanade光流全局跟蹤能力和Meanshift局部極值化能力的算法可在駕駛?cè)藢嶋H行車過程中準(zhǔn)確捕獲眼睛的位置。

隨著跟蹤時間的增長，部分Harris角點跟蹤失敗，為了保證跟蹤的持續(xù)性，當(dāng)Harris角點數(shù)量小于5個，且人臉經(jīng)過正面位置的時刻，再次用ASM算法定位眼睛區(qū)域并在該區(qū)域內(nèi)利用Harris角點探測器重新選取角點。

7 結(jié)論

以提高實際行車過程中眼睛定位精度為目標(biāo)，針對駕駛?cè)俗藨B(tài)的隨機(jī)變化對人眼定位的影響，提出了正面姿態(tài)采用ASM算法進(jìn)行人眼定位，并在此基礎(chǔ)上對人眼進(jìn)行跟蹤的方法。在跟蹤策略上，提出采用Lucas-Kanade光流進(jìn)行全局跟蹤，并采用基于自商圖的Meanshift算法進(jìn)行局部校準(zhǔn)的方案。結(jié)果表明，本文算法相對于單純ASM人眼配準(zhǔn)結(jié)果具有更強(qiáng)的穩(wěn)定性。

［1］ 李克強(qiáng)．汽車技術(shù)的發(fā)展動向及我國的對策［J］．汽車工程，2009，31(11):1005 －1016．

［2］ 龔進(jìn)峰，戎輝，張宏偉，等．道路環(huán)境感知與預(yù)警系統(tǒng)的研究［J］．汽車工程，2010，32(4):328 －332．

［3］ 成波，孟傳，張偉．基于機(jī)器視覺的駕駛員注意力狀態(tài)監(jiān)測技術(shù)研究［J］．汽車工程，2009，31(12):1137 －1140．

［4］ Yang JH，Mao Z H，Tijerina L，et al．Detection of Driver Fatigue Caused by Sleep Deprivation［J］．IEEE Transactions on Systems，Man，and Cybernetics，Part A:Systems and Humans，2009，39(4):694－705．

［5］ Culp J，Gindy M El，Haque A．Driver Alertness Monitoring Techniques:a Literature Review［J］．International Journal of Heavy Vehicle Systems，2008，15(2 －4):255 －271．

［6］ 梁路宏，艾海舟，徐光祐，等．基于模板匹配與支持向量機(jī)的人臉檢測［J］．計算機(jī)學(xué)報，2002，25(1):22 －29．

［7］ 成波，張廣淵，馮睿嘉，等．基于眼睛狀態(tài)識別的駕駛員疲勞實時監(jiān)測［J］．汽車工程，2008，30(11):1001 －1005．

［8］ Yuille A，Hallinan P，Cohen D．Feature Extraction from Faces U-sing Deformable Templates［J］．International Journal of Computer Vision，1992，8(2):99 －111．

［9］ Sirohey S，Rosenfeld A，Duric Z．A Method of Detecting and Tracking Irises and Eyelids in Video［J］．Pattern Recognition，2002，35(6):1389 －1401．

［10］ Hallinan PW．Recognizing Human Eyes［C］．SPIEProceedings，Vol．1570:Geometric Methods in Computer Vision ，San Diego，CA，USA，1991:212 －226．

［11］ Hillman P M，Hannah JM，Grant PM．Global Fitting of a Facial Model to Facial Features for Model-based Video Coding［C］．Proceedings of the3rd International Symposium on Image and Signal Processing and Analysis，Rome，Italy，2003:359 －364．

［12］ Gu H S，Ji Q，Zhu Z W．Active Facial Tracking for Fatigue Detection［C］．Proceedings of the Sixth IEEEWorkshop on Applications of Computer Vision(WACV'02)，Orlando，F(xiàn)lorida，2002:173－142．

［13］ Viola P，Jones M．Rapid Object Detection Using a Boosted Cascade of Simple Features［C］．Proceedings of the2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，CVPR2001，Kauai，HI，USA，2001，1:1 － 511 － 1 －518．

［14］ Cootes T F，Taylor CJ，Cooper D H，et al．Active Shape Models– Their Training and Application［J］．Computer Vision and Image Understanding，1995，61(1):38 －59．

［15］ 張廣軍．機(jī)器視覺［M］．北京:科學(xué)出版社，2005:212－218．