對在已知人臉區(qū)域中檢測人眼的方法進行綜述,將其分為常光源下的人眼檢測和特種光源的人眼檢測兩大類。較為全面地綜述了當(dāng)前國內(nèi)外相關(guān)眼睛檢測以及定位技術(shù),分析了各種方法的優(yōu)缺點,探討了當(dāng)前困擾人眼檢測技術(shù)的難點以及人眼檢測技術(shù)的發(fā)展趨勢。
關(guān)鍵詞:人眼檢測; 計算機視覺; 綜述
中圖分類號:TN911.73文獻標(biāo)志碼:A
文章編號:1001-3695(2008)04-0961-05
0引言
人臉檢測與識別的研究始于20世紀(jì)60年代中后期,主要包含人臉檢測與跟蹤、面部特征檢測與提取、人臉屬性分類及識別幾個功能[1]。目前已經(jīng)成為模式識別和計算機視覺領(lǐng)域中一項受到普遍重視且研究十分活躍的課題,已被廣泛應(yīng)用于公安刑偵、司法鑒定、訪問控制、金融支付、醫(yī)學(xué)應(yīng)用、視覺監(jiān)控、視頻會議等眾多領(lǐng)域。作為臉部特征的重要組成部分,眼睛的檢測對于人臉信息的處理具有重要的意義,不僅可以提高識別和檢測的速度,而且能夠降低識別算法的復(fù)雜度。在臉部器官定位方面,只要人眼被精確定位,眉毛、鼻子、嘴巴等其他特征就可以通過潛在的分布關(guān)系比較準(zhǔn)確地進行定位。眼睛的定位還可以使人臉較好地歸一化,預(yù)處理的效果也更加明顯[2]。另外,眼睛在感情以及輔助語言交流中也發(fā)揮著巨大的作用[3]。當(dāng)前,在圖像中檢測眼睛主要有兩種方式:首先在圖像中檢測人臉,然后再在人臉區(qū)域內(nèi)尋找眼睛;直接在圖像中檢測眼睛[4]。本文主要在第一種方式下對人眼檢測的方法進行綜述。
1常光源下的人眼檢測
常光源下的人眼檢測主要是指在通常的光源下,如自然光、普通人造光源等,對人臉中的人眼進行檢測。因為方便、廉價等因素,該方法成為人眼檢測研究中的主要探索領(lǐng)域,而且它也為特種光源下的人臉檢測提供了基本的檢測方法。
1.1基于模板匹配的方法
1.1.1灰度投影模板
灰度投影法是指對人臉灰度圖像進行水平和垂直方向的投影,分別統(tǒng)計出兩個方向上的灰度值和或灰度函數(shù)值和,找出特定的變化點;然后根據(jù)先驗知識將不同方向上的變化點位置相結(jié)合,即得到人眼的位置。也有人利用水平和豎直兩個方向上的梯度信息來代替原始灰度值,以減小光照條件的影響。當(dāng)前基于灰度投影算法來定位眼睛的方法已經(jīng)得到了較為廣泛的應(yīng)用,且算法得到了很大改進和完善。
最常用的投影函數(shù)是積分投影函數(shù)[5],可以通過對積分投影函數(shù)值的分析提取圖像中的特征。K.Sobottka等人[6]和Dieckmann等人[7]在早期的研究中提出直接采用水平和垂直方向投影來定位眼睛。其研究表明單純依據(jù)灰度投影來定位眼睛雖然定位速度快,但波峰波谷的分布對于不同人臉和姿態(tài)變化非常敏感[8];另外,投影圖中干擾噪聲太大、曲線不規(guī)則,很難在此基礎(chǔ)上直接找到特征點[9],只能大致地找到眼睛區(qū)域,不能實現(xiàn)精確定位,很難滿足研究需要。因此把灰度投影與其他算法結(jié)合起來進行眼睛檢測成為新的研究選擇。
文獻[4,5,10]采用了混合投影函數(shù)。文獻[5]在積分投影函數(shù)(integral projection function, IPF)和方差投影函數(shù)(va-riance projection function, VPF)的基礎(chǔ)上提出了一種混合投影函數(shù)(hybrid projection function, HPF)。該函數(shù)綜合考慮了圖像中在某個方向上的均值和方差,既能反映不同的圖像灰度,又能反映不同的灰度變化率。文獻[10]則提出了一種微分與積分投影相結(jié)合的眼睛定位方法,在傳統(tǒng)積分投影的基礎(chǔ)上,提出了一種微分投影算法與之相結(jié)合。考慮到人臉?biāo)椒较蛏匣叶茸兓^大,在灰度變化突變處進行微分,將產(chǎn)生高值,將其絕對值累加,則灰度變化越大的那一行,累積值越大。文獻[4]采用了類似的均值投影函數(shù)(mean projection function, MPF)和方差投影函數(shù)相結(jié)合的方法。采用混合投影函數(shù)的方法受噪聲的干擾較大,很難得到規(guī)整的曲線,并沒有從根本上解決傳統(tǒng)投影算法的弊端。Zhou等人[11]對應(yīng)用于人眼檢測的IPF、VPF以及HPF進行了總結(jié)并做了大量的實驗,發(fā)現(xiàn)三種函數(shù)都能夠?qū)崿F(xiàn)眼睛的檢測,但是相比較而言,HPF要優(yōu)于VPF,而VPF要優(yōu)于IPF。
文獻[12]提出了一種利用積分投影和Hough變換的快速定位人眼的方法。對圖像進行預(yù)處理后,首先在灰度圖中對原始圖像在水平和垂直方向上分別進行灰度積分投影,根據(jù)積分投影圖的凹凸大致確定雙眼的位置,即人眼粗定位;然后對圖像進行邊緣提取,并將邊緣圖像二值化,用Hough變換的圓檢測方法對二值化圖像進行圓檢測,從而確定雙眼的精確位置。類似的還有利用Hough變換在眼睛區(qū)域中實施半圓檢測的方法。文獻[13]也提出了一種類似的方法。首先用小灰度值聚類法初步定位虹膜中心,并用Canny算子進行邊緣提取;然后,基于Hough變換精確定位瞳孔中心。由于Hough變換對邊界的要求較高,眼球受到眼瞼以及眼睫毛等的干擾較大,眼睛較小的人臉很難在圖像中清晰地進行邊緣提取,另外Hough變換本身的算法也較復(fù)雜,因而這種方法很難得到廣泛的應(yīng)用。許慰玲等人[14]對上述方法進行了改進。首先,利用一種改進的小灰度值聚類算法進行虹膜中心的初步定位;然后進行基于虹膜正圓幾何特性的瞳孔中心定位,有效地克服了眼瞼與眼白交界處小灰度值像素的干擾以及采用Hough變換所造成的檢測不準(zhǔn)確等問題。此外,針對灰度圖像中邊緣檢測的不準(zhǔn)確性,文獻[15]提出了一種新的虹膜檢測算法。這種方法利用眼睛圖像飽和度信息和亮度信息作為閾值分割判據(jù)來分割出虹膜區(qū)域,再用Hough變換進行虹膜檢測。相比于灰度邊緣檢測,其檢測率大大提高,且能適應(yīng)一些人臉姿勢的變化和眼睛凝視方向的變化。但是此法在非均勻光照情況下檢測率不高。另外,文獻[16]所提及的山谷法以及文獻[17]所提及的谷算子也是利用了灰度投影的方法。
以上列舉了一些比較典型的基于投影的檢測眼睛的方法,對于背景較為簡單、臉部特征比較規(guī)整的圖像,能夠有效地檢測到眼睛。但是要準(zhǔn)確定位眼睛位置,還要采取一定的輔助方法來去除干擾,如眉毛、睫毛、眼鏡等。
1.1.2幾何特征模板
眼睛在人臉中具有較為明顯的個體特征以及分布特征。對于大多數(shù)人來說,眼睛的位置以及兩眼之間的距離相對于人臉而言是一個相關(guān)常數(shù)[17]。另外,雙眼的對稱性、眼睛與其他臉部特征的相對位置以及眼球的形狀等都可以作為依據(jù)用來實施人眼檢測。
A.L.Yuille等人[18]在早期的研究中提出了一種二維可變形模板法,用兩條拋物線和一個球形表示眼睛。該模板的初始位置對定位結(jié)果有很大影響,而且能量函數(shù)優(yōu)化過程收斂緩慢、耗時長,能量函數(shù)中各種權(quán)值通過經(jīng)驗設(shè)定,難以保證最優(yōu)[19]。后來X.Xie等人[20]又提出了改進的眼睛可變形模板。他們提出了一種新的邊緣檢測算法找到眼睛的四個邊緣點(左右眼角及瞳孔與上下眼眶的交點),依此為依據(jù)確定模板的初始參數(shù)。實驗表明,他們的模型在準(zhǔn)確率上有了較大提高,但仍然難以克服算法復(fù)雜、檢測速度慢的缺點;另外僅對正面或近似正面人臉圖像中的眼睛和嘴巴等外形比較規(guī)則的器官特征提取效果較好[21]。在此基礎(chǔ)上,文獻[21]提出了一種基于三維可變形模板的眼睛特征提取算法,利用人臉姿態(tài)估計策略來估測人臉的垂直旋轉(zhuǎn)方向,然后利用三維可變形模板匹配技術(shù)來提取眼睛的精確特征。圖1所示為文中建立的三維可變形模板平面視圖。
圖1分別為右眼的三維眼睛模板在正面、從左向右旋轉(zhuǎn)30°、從左向右旋轉(zhuǎn)45°時的平面投影視圖。三維可變形模板由十個(灰點)基本三維點組成。其中外部八個點組成了上下眼瞼,內(nèi)部兩個點決定眼球的左右邊界。其余的眼瞼三維點是由外部八個基本點線性插值得來的;而眼球上的三維點是通過內(nèi)部兩點構(gòu)成的空間圓得來的,具體的匹配方法可參照文獻[21]。此方法很好地照顧了非正面人臉圖像的眼睛檢測,且可運用于臉部其他器官的檢測。但由于眼睛的個體差異性,所建立的模板很難滿足不同人眼的需求。
對稱性分析是圖像處理和計算機視覺的重要內(nèi)容,其核心是檢測目標(biāo)的對稱軸。正面人臉圖像具有很強的軸對稱性,因此可以利用對稱性進行人臉人眼檢測。文獻[22]提出了利用主分量分析法進行對稱性檢測的新方法,將對稱軸方向求解轉(zhuǎn)換為協(xié)方差矩陣的特征值分解問題。實踐證明該方法對軸對稱的復(fù)雜圖像效果較理想。文獻[23]把這種對稱軸檢測方法引入到眼睛檢測中,給出了人臉對稱軸的確定方法,并基于此提出了一種人眼定位的快速算法。在檢測到人臉對稱軸的基礎(chǔ)上再利用山谷法確定眼睛候選點,但這種方法局限于人臉正面圖像,通用性不是很好。
考慮到眼部區(qū)域的特殊性,宋加濤等人[24]提出了一系列的約束機制來輔助進行眼睛的精確定位,所用的約束機制主要有:
a)位置約束。兩眼球不過于靠近圖像邊界。
b)幾何關(guān)系約束。兩眼球中心之間的水平距離約占人臉寬度的1/4到1/2,人臉在平面內(nèi)的旋轉(zhuǎn)不超過±30°。
c)尺寸約束。眼球的面積界于一定范圍之內(nèi),眼球的直徑不大于某一值,如人臉圖像寬度的1/15。
d)形狀約束。眼球的外接矩形盡可能接近正方形。
e)飽和度約束。眼球的面積與其外接矩形的面積之比大于某一閾值。
綜上所述,基于幾何特征來檢測眼睛的方法利用了大量的先驗知識,這通常會導(dǎo)致檢測方法的通用性不是很高。因而在當(dāng)前眼睛的檢測中,大多只是利用幾何特征來輔助其他方法實施檢測。
1.2基于統(tǒng)計的方法
基于統(tǒng)計的方法一般是通過對大量目標(biāo)樣本和非目標(biāo)樣本進行訓(xùn)練學(xué)習(xí)得到一組模型參數(shù),然后基于模型構(gòu)建分類器或者濾波器來檢測目標(biāo)[25]。在過去的一段時間中,基于統(tǒng)計的方法被廣泛應(yīng)用于人臉檢測與識別技術(shù)中,通過訓(xùn)練大量的人臉和非人臉樣本建立分類器,在輸入圖像中分類出人臉圖像。實踐表明這種方法具有較高的準(zhǔn)確度,近年來隨著人眼檢測研究的不斷發(fā)展,基于統(tǒng)計的方法也越來越多地得到了應(yīng)用。
神經(jīng)網(wǎng)絡(luò)在基于統(tǒng)計的研究方法中占有較大的比重,它也逐漸被應(yīng)用于眼睛檢測中。早期,Reinders等人[26]采用神經(jīng)網(wǎng)絡(luò)和眼睛的微特性來定位人臉部特征。該算法將搜索窗口的像素作為神經(jīng)網(wǎng)絡(luò)的輸入,如果該窗口包含眼睛圖像,則神經(jīng)網(wǎng)絡(luò)的輸出較大。文獻[27]提出了一種基于灰度信息和瞳孔濾波器的方法。首先在圖像中檢測人臉區(qū)域從而得到人眼檢測框;然后通過對投影直方圖的分析進行人眼粗檢測,找到人眼候選點后利用BP神經(jīng)網(wǎng)絡(luò)構(gòu)造的瞳孔濾波器進行精確的定位。文中指出人的眼睛大小各異,但是瞳孔的大小相差不是很大。文獻[27]通過Adaboost算法[28]進行人臉檢測。實驗統(tǒng)計,Adaboost檢測器輸出的圖像統(tǒng)一到80×80大小后,瞳孔基本上是5×5的大小,因此設(shè)定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為:輸入層為25個節(jié)點,輸入值與5×5輸入圖像的每個像素值一一對應(yīng);隱層取經(jīng)驗值9個節(jié)點;輸出層為1個節(jié)點;輸出值越接近1則表明與瞳孔越相近,反之越靠近0表明與瞳孔的差別越大。輸入層與隱層全連接,隱層與輸出層全連接。訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)作為瞳孔濾波器來精確定位眼睛。
文獻[29]提出了一種基于mean shift算法和粒子濾波器的人眼跟蹤算法。該算法中采用mean shift搜索后,粒子被集中在測量模型中,只考慮權(quán)值較大的粒子,用少量樣本就可以維持樣本的多樣性,節(jié)省了大量的計算時間。粒子濾波器來源于perfect Monte Carlo(PMC)仿真,一般用于復(fù)雜環(huán)境下的目標(biāo)跟蹤等。通過mean shift迭代運算,在當(dāng)前幀中搜索與目標(biāo)模板亮度分布最相近的潛在目標(biāo);在得到樣本觀測值后,將mean shift分析用于每一個粒子。在通過mean shift迭代之后,所有的粒子被集中到觀測向量的局部區(qū)域內(nèi),粒子在集中的過程中會獲得大的權(quán)值,這樣就很好地克服了退化現(xiàn)象。該算法中不需要大量的樣本來維持樣本多樣性,因為采用mean shift分析之后,樣本會自動集中于其鄰近的局部最大值區(qū)域。
支持向量機(support vector machines,SVM)在過去的眼睛檢測研究中也占有重要的地位。SVM是由Vanpik領(lǐng)導(dǎo)的ATTBell實驗室研究小組在1963年提出的一種分類技術(shù)。它是一種基于統(tǒng)計學(xué)習(xí)理論的模式識別方法,主要應(yīng)用于模式識別領(lǐng)域。其核心思想是:對于輸入空間中非線性可分的情形,選擇一個適當(dāng)?shù)姆蔷€性映射,將輸入空間中的樣本點映射到一個高維的特征空間,使對應(yīng)的樣本點在該特征空間中是線性可分的。從一定程度來講,它要優(yōu)于神經(jīng)網(wǎng)絡(luò)[30]。早期的研究中,Huang等人[31]利用SVM的方法得到了人臉姿態(tài)和人眼位置。文獻[31~33]均將SVM方法運用到了臉部特征的檢測。文獻[32]提出了一個二級的SVM系統(tǒng),先用線性核心的SVM篩選出候選點,再用多項式核心的SVM作最終判定,實踐證明他們的系統(tǒng)對眼睛、嘴巴等臉部特征的定位成功率達到96%以上。文獻[33]使用方形掃描窗口,將眉毛與眼睛作為一個整體定位對象,減少了眉毛對定位的干擾。文獻[34]首先利用眼睛的結(jié)構(gòu)在圖像中尋找候選眼睛對,然后再利用支持向量機來定位眼睛對,最后利用方差濾波器在候選區(qū)域中檢測眼睛。唐旭晟等人[8]采用基于改進的Adaboost算法的級聯(lián)式人臉和人眼分類器檢測人臉和眼睛的候選位置,再用SVM分類器驗證并確定人眼的最佳位置。由于人臉檢測器采用包含灰度信息的類Harr小波作為分類特征,對像素變化較為敏感,常把眉毛、深色眼睛框等區(qū)域誤判為眼睛。因此根據(jù)人臉幾何特征模型,文中提出了13個用于區(qū)分人眼對的幾何分類特征,訓(xùn)練SVM分類器作進一步的驗證;兩種不同類型分類器的級聯(lián)輸出才作為最后的眼睛輸出。實踐證明,該算法檢測精度較高,對于正面圖像或者旋轉(zhuǎn)較少的人臉圖像有著較高的檢測率。
目前困擾SVM方法的主要問題是當(dāng)計算復(fù)雜度高、訓(xùn)練樣本個數(shù)較大時,會得到大量的支持向量,使分類器的計算量過大。
基于統(tǒng)計的方法實施目標(biāo)檢測,在檢測的精確度上無疑有著很大的提高,但是它需要采集大量的樣本來訓(xùn)練分類器,過程比較復(fù)雜。這是制約此類方法的最大問題。
1.3基于知識的方法
基于知識的方法也被稱之為基于規(guī)則的方法。其指導(dǎo)思想是確定圖像的應(yīng)用環(huán)境,總結(jié)特定條件下可用于人眼檢測的知識(如輪廓信息、色彩信息、位置信息)等,把它們歸納成指導(dǎo)人眼檢測的規(guī)則。
文獻[35]先用直方圖閾值法將圖像二值化,根據(jù)其中黑色區(qū)域的面積、形狀和相對位置等幾何特征確定瞳孔位置;最后通過邊緣跟蹤依次找到上眼眶、眼角和下眼眶。文獻[36,37]提出了一種類似的方法,它們將圖像二值化后,計算出黑色區(qū)域的有效面積、質(zhì)心、外接矩形、圓性質(zhì)等幾何特征,依據(jù)經(jīng)驗標(biāo)準(zhǔn)篩去一部分黑色區(qū)域,并將余下的區(qū)域作配對篩選,從而得到雙眼位置。此算法簡單易行,但容易受到光照和噪聲的影響。Kumar等人[38]在實施人眼檢測的過程中首先利用了大量有關(guān)于膚色和眼睛區(qū)域亮度的先驗知識,設(shè)定了多個閾值來分離皮膚及眼睛區(qū)域;然后再利用均值投影函數(shù)和方差投影函數(shù)來實施最后的定位。由于采用了大量的先驗知識,使得該方法的通用性受到了限制,尤其對于臉部膚色較深的個體,準(zhǔn)確率不高。
此類方法與前述基于幾何模板的方法有很大區(qū)別,雖然都利用到一些人眼的幾何性質(zhì),但前者利用表現(xiàn)出來的幾何性質(zhì)建立了通用性更好的模板來實施匹配,而基于知識的方法則是直接利用這些幾何性質(zhì)實施檢測,通用性要差一些。目前,由于先驗知識有很大的局限性,單獨用來進行人眼檢測的研究已經(jīng)不多,更多的是用來作為約束條件輔助檢測[39]。
2特種光源下的人眼檢測
特種光源下的人眼檢測方法是指依靠較為特殊的光源照射人臉,然后利用目標(biāo)所呈現(xiàn)出的圖像信息進行檢測。該方法對外部設(shè)備依賴較多,使用有所不便。
當(dāng)前,需要對眼睛狀態(tài)進行實時跟蹤檢測的應(yīng)用越來越多。例如駕駛員疲勞檢測中,較有潛力和可行的一種方法就是通過安裝在車內(nèi)的一個攝像頭來監(jiān)視駕駛員的臉部,用計算機確定駕駛員臉部位置和其他臉部特征,通過追蹤多幅正面臉部特征圖像和多幅側(cè)面臉部特征圖像來估算駕駛員是否駕駛疲勞。另外也可以用紅外線彩色攝像頭并使用濾波器濾除圖像中的噪聲和非臉部圖像,加快系統(tǒng)處理圖像的速度,采用灰度模式匹配方法追蹤輸入圖像序列來搜尋并確定眼睛區(qū)域,然后用同樣的模式匹配方法來確定眼睛是處于睜開還是閉合狀態(tài)[40]。
研究表明:采用近紅外光源來照射眼部時,因為瞳孔對紅外線的反射性低,而虹膜對紅外線的反射性較高,這樣會造成影像中瞳孔與虹膜的亮度差異變大,而虹膜與眼白之間的亮度差異變小,此特性可用于檢測瞳孔位置。文獻[41~44]就提出通過燈光激勵從采集到的視頻數(shù)據(jù)流中探測瞳孔的變化,從而檢測到眼睛。在光源照射下,瞳孔表現(xiàn)出來的與臉部其他區(qū)域的強烈反差能提高眼睛檢測的準(zhǔn)確度。實踐證明這是一種簡單有效的方法,其缺陷是受到光源亮度和瞳孔大小的限制。Zhu等人[46]和Ji等人[47]也用到了類似方法,提出了一種工作在可變和實時照明條件下的實時眼睛檢測和追蹤的方法。他們選用強度為32 mW、波長為880(±40)nm的紅外LED光源,如圖2所示。通過調(diào)整光源獲取一幅暗的和一幅亮的圖片;然后利用光學(xué)通頻帶濾波器(optical band-pass filter)來降低噪聲干擾。與其他同類研究相比,硬件設(shè)備的主要改進在于選用了更為強烈的光源以及更窄的波段,另外通頻帶濾波器的使用也提高了圖片質(zhì)量。他們設(shè)計了同步電路來控制內(nèi)層和外層光源(圖2),當(dāng)視頻序列中偶數(shù)區(qū)域(幀)被掃描時,內(nèi)層光源亮,外層光源關(guān)閉;相反,當(dāng)奇數(shù)區(qū)域被掃描時,外層光源亮,內(nèi)層光源關(guān)閉。獲取兩者的差異圖片并閾值化為二值圖像;然后利用臉部特征分析去除鼻孔等干擾信息;最后利用支持向量機最終定位眼球位置。文獻[48]也采用了類似方法進行眼睛檢測。為了得到更穩(wěn)定的光線,利用紅外濾波器來濾除可見光,并通過形態(tài)學(xué)的開運算來提取圖像中的亮點,原圖像和開運算后的圖像進行比對就能找到候選的眼睛位置。借助特殊光源來檢測眼睛在準(zhǔn)確度上有了很大的提高。制約其發(fā)展的主要問題首先是光源的穩(wěn)定性;其次是人臉的姿態(tài)。可以想象如果人臉傾斜較為嚴(yán)重的話,固定的硬件設(shè)備就很難準(zhǔn)確地找到目標(biāo)區(qū)域。
3存在的問題和發(fā)展趨勢
綜合分析當(dāng)前國內(nèi)外的人眼檢測技術(shù),結(jié)合筆者在研究過程中的問題,探討一下當(dāng)前制約人眼檢測技術(shù)發(fā)展的主要因素以及其發(fā)展的趨勢。
3.1存在的問題
a)依賴于人臉檢測技術(shù)的發(fā)展。由于眼睛區(qū)域在整幅圖像中的面積較小,直接在圖像中實施眼睛檢測會因為目標(biāo)過小致使精度不高。目前多數(shù)的眼睛檢測研究都是建立在成功實施人臉檢測的基礎(chǔ)上,人臉檢測效果的好壞直接影響眼睛檢測的準(zhǔn)確與否。
b)眉毛、頭發(fā)、眼睫毛、鼻孔等臉部特征與瞳孔的色彩相近,如何有效區(qū)分眼睛與這些區(qū)域成為了制約眼睛檢測發(fā)展的重要問題。
c)當(dāng)前研究針對正面人臉圖像比較多,在人臉出現(xiàn)偏移和旋轉(zhuǎn)時檢測精度不高。因為此時圖像中人眼的部分信息會發(fā)生變化,很難魯棒地檢測眼睛。
d)大多數(shù)研究沒有考慮配戴眼鏡的影響。尤其利用色彩信息進行檢測時,眼鏡對眼部區(qū)域的亮度有明顯影響,眼鏡邊緣也會造成干擾,且配戴眼鏡后,瞳孔等區(qū)域會變得不清晰。
e)圖像中眼睛的大小不一也給檢測帶來了難度。對于較大且輪廓較清晰的眼睛檢測起來比較方便,且檢測精度較高;對于較小的眼睛,由于受到的干擾較多且特征不明顯,很難找到一種有效的方法實施檢測。
f)對圖像中有遮擋物的情形沒有很好的應(yīng)對策略,這也是制約人眼檢測的一大難題。
g)多數(shù)研究都是針對分辨率高、噪聲小、質(zhì)量較高的圖像實施檢測,對質(zhì)量較差的圖片往往難以實現(xiàn)有效的檢測。而在實際應(yīng)用中并不能保證每一幅目標(biāo)圖像都足夠清晰。
h)目前的人眼檢測研究包括人臉檢測,均會受到人種膚色的制約,并不能夠很好地適應(yīng)不同膚色的人種。這是制約這項研究國際化的一個重大瓶頸。
3.2發(fā)展的趨勢
1)多種方法的融合
單純依賴某一種方法很難實現(xiàn)精確的人眼檢測。多種方法融合、取長補短是將來的發(fā)展趨勢,但這必將導(dǎo)致算法復(fù)雜,運行緩慢。這有待于進一步的研究和改進。
2)從人臉正面圖像的研究到旋轉(zhuǎn)、側(cè)面、傾斜圖像的研究
針對人眼正面圖像的研究已經(jīng)取得了較多的成果,但不管是人臉檢測還是人眼檢測,只研究正面圖像會大大限制其應(yīng)用范圍。在以后研究中,有一定旋轉(zhuǎn)或較大傾斜以及側(cè)面的圖像將成為人臉信息處理的一個主要方向。
3)增強算法的抗干擾能力
重點針對圖像質(zhì)量較差、干擾因素較多的情況展開研究。在實際應(yīng)用中,攝像頭采集的圖像中干擾因素較多且不清晰,為了更好地適應(yīng)應(yīng)用的需要,增強算法的抗干擾能力必然是一大研究課題。
4)算法的國際化
對于人眼信息處理技術(shù)而言,突破人種差異是必須解決的課題,這也是較難的一個問題。由于不同的人種有不同的膚色,且臉部特征也有一些差異,對于算法的選擇有很大難度。
4結(jié)束語
本文查閱分析了較多的有關(guān)于人眼檢測的中外文獻,進行了分類對比,分析了各方法的優(yōu)缺點,希望能對相關(guān)研究人員提供參考和幫助。
參考文獻:
[1]楊強,黃地龍.基于幀間差分與靜態(tài)特征相結(jié)合的人臉跟蹤方法[J].蘇州科技學(xué)院學(xué)報:工程技術(shù)版,2006,19(2):74-78.
[2]張敏,陶亮.人臉圖像中人眼的檢測與定位[J].光電工程,2006,33(8):33-36.
[3]TIAN Ying-li, KANADE T, JEFFREY F C. Eye-state action unit detection by Gabor wavelets[C]//Proc of the 3rd International Con-ference on Advances in Multimodol Interfaces. London: Springer-Verlag, 2000:143-150.
[4]THILAK K R, RAJA S K, RAMAKRISHNAN A G. Eye detection using color cues and projection functions[C]//Proc of International Conference on Image Processing. 2002:337-340.
[5]耿新,周志華,陳世福.基于混合投影函數(shù)的眼睛定位[J].軟件學(xué)報,2003,14(8):1394-1399.
[6]SOBOTTKA K, PITAS I. A novel method for automatic face segmentation,facial feature extraction and tracking[J].Signal Processing: Image Communication, 1998,12(3):263-281.
[7]DIECKMANN U, PLANKENSTEINER P, WAGNER T. A biometric person identification system using sensor fusion[C]//Proc of the 1st International Conference of Audio and Video-based Biometric Person Authentication.Crans-Montana,Switzerland:[s.n.],1997:301-323.
[8]唐旭晟,歐宗瑛,蘇鐵明,等.復(fù)雜背景下人眼的快速定位[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2006,18(10):1535-1540.
[9]馮建強,劉文波,于建林.基于灰度積分投影的人眼定位[J].計算機仿真,2005,22(4):75-76.
[10]章玲,蔣建國,齊美彬.一種微分與積分投影相結(jié)合的眼睛定位方法[J].合肥工業(yè)大學(xué)學(xué)報:自然科學(xué)版,2006,29(2):182-185.
[11]ZHOU Zhi-h(huán)ua, GENG Xin. Projection functions for eye detection[J]. Pattern Recognition, 2004,37(5):1049-1056.
[12]張杰,楊曉飛,趙瑞蓮.基于積分投影和Hough變換圓檢測的人眼精確定位方法研究[J].電子器件,2005,28(4):706-709.
[13]RESSEL M, RUHLAND D N, GUNZENBAUSER R. An integrating, transformation-oriented approach to concurrency control and undo in group editors[C]//Proc of ACM Conf on Computer Supported Coo-perative Work. 1996:288-297.
[14]許慰玲,黃靜霞.一種人臉圖像中瞳孔中心的提取方法[J].計算機工程與科學(xué),2003,25(4):18-25.
[15]曹倩霞,羅大庸,朱明旱.基于彩色分割的虹膜檢測[J].計算機工程,2005,31(19):173-175.
[16]LIN K H,LAM K M,SIN W C.Locating the eyes in human face images using fractal dimension[J]. IEE Proc Vis Signal Process, 2001,148(6):413-421.
[17]尹方平,阮邦志.基于谷算子的人眼特征點的檢測方法[J].計算機應(yīng)用研究,2006,23(8):180-185.
[18]YUILLE A L, HALLINAN P W, COHEN D S. Feature extraction from faces using deformable template[J]. International Journal of Computer Vision, 1992,8(2):99-111.
[19]林維訓(xùn),潘綱,吳朝暉,等.臉部特征定位方法綜述[J].中國圖象圖形學(xué)報,2003,8(8):849-859.
[20]XIE X, SUDHAKAR R, ZHUANG H. Corner detection by a cost minimization approach[J]. Pattern Recognition, 1993,26(8):1235-1243.
[21]黃萬軍,尹寶才,陳通波,等.基于三維可變形模版的眼睛特征提取[J].計算機研究與發(fā)展,2002,39(4):495-501.
[22]盧春雨,張長水,聞芳,等.基于主元分析的對稱性檢測[J].電子學(xué)報,1999,27(5):25-28.
[23]杜干,杜延,管業(yè)鵬.基于對稱性分析的眼睛定位方法[J].計算機工程與應(yīng)用,2005,41(33):35-37,63.
[24]宋加濤,劉濟林,池哲儒.人臉正面圖像中眼睛的精確定位[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2005,17(3):540-545.
[25]劉黨輝,沈蘭蓀,LAM K M.人臉檢測研究進展[J].計算機工程與應(yīng)用,2003,39(28):5-9,21.
[26]REINDERS M J T, KOCH R W C, GERBRANDS J J. Location facial features in image sequences using neural networks[C]//Proc of the 2nd International Conference on Automatic Face and Gesture Re-cognition. Los Alamitos: IEEE CS Press, 1996:230-235.
[27]武妍,楊洋,王麗萍.基于灰度信息和瞳孔濾波器的人眼定位算法[J].計算機工程與應(yīng)用,2005,41(33):45-47.
[28]VOILA P, JONES M. Rapid object detection using a boosted cascade of simple features[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Kauai, Hawaii:[s.n.], 2001:511-518.
[29]石華偉,夏利民.基于mean shift算法和粒子濾波器的人眼跟蹤[J].計算機工程與應(yīng)用,2006,42(19):26-28.
[30]BURGES C J C.A tutorial on support vector machines for pattern re-cognition[J]. Data Mining and Knowledge Discovery, 1998,2(2):121-167.
[31]HUANG J, LI D, SHAO X, et al. Pose discrimination and eye detection using support vector machines(SVMs)[C]//Proc of NATO-ASI on Face Recognition: from Theory to Applications. 1998:528-536.
[32]LI Di-h(huán)ua, PODOLAK I T, LEE S W. Facial component extraction and face recognition with support vector machines[C]//Proc of Automatic Face and Gesture Recognition. 2002:76-81.
[33]PAN Gang, LIN Wei-xun,WU Zhao-h(huán)ui, et al. An eye detection system based on SVM filter[C]//Proc of Electronic Imaging and Multimedia Technology Ⅲ. 2002:326-331.
[34]WANG Qiong, YANG Jing-yu. Eye detection in facial images with unconstrained background[J]. Journal of Pattern Reognition Research, 2006(1):55-62.
[35]ZHANG Li-ming, LENDERS P. Knowledge-based eye detection for human face recognition[C]//Proc of Knowledge-based Intelligent Engineering Systems and Allied Technologies. 2000:117-120.
[36]范宏深,倪國強,申會堂.利用幾何特性及神經(jīng)網(wǎng)絡(luò)進行人臉探測技術(shù)的研究[J].光學(xué)技術(shù),2002,28(2):105-107.
[37]范宏深,倪國強,申會堂.用黑斑的橢圓性質(zhì)在二值化圖像中探測眼睛[J].光學(xué)技術(shù),2001,27(4):307-309.
[38]KUMAR T, RAJA K, RAMAKRISHNAN A G. Eye detection using color cues and projection functions[C]//Proc of IEEE International Conference on Image Processing. 2002:22-25.
[39]HYEON B, KIM S. Real-time face detection and recognition using hybrid-information extracted from face space and facial features[J]. Image Vision Compute, 2005,23(13):1181-1191.
[40]LAUTENCE H, NICK M. Review of fatigue detection and predication technologies[EB/OL].(2001-01).http://www.nrtc.gov.au.
[41]SUN Cheng-zheng,CLARENCE E.Operational transformation in real-time group editors: issues, algorithms, and achievements[C]//Proc of ACM Conf on Computer-Supported Cooperative Work.1998:59-68.
[42]EBISAWA Y, SATON S. Effectiveness of pupil area detection technique using two light sources and images difference method[C]//Proc of the 15th Annual Int Conference of IEEE Eng in Medicine and Bio-logy Society. San Diego:[s.n.], 1993:1268-1269.
[43]MORIMOTO C, FLICKNER M. Real-time multiple face detection using active illumination[C]//Proc of IEEE International Conference on Automatic Face and Gesture Recongnition. 2000.
[44]HARO A, FLICKNER M, ESSA I. Detecting and tracking eyes by using their physiological properties, dynamics and appearance[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2000.
[45]MORIMOTO C, KOONS D, AMIR A, et al. Pupil detection and tracking using multiple light sources, RJ-10117[R].[S.l.]: IBM Almaden Research Center, 1998.
[46]ZHU Zhi-wei, FUJIMURA K, JI Qiang. Real-time eye detection and tracking under various light conditions[C]//Proc of ACM SIGCHI Symposium on Eye Tracking Research and Applications.New Orleans:[s.n.], 2002:139-144.
[47]JI Qiang, ZHU Zhi-wei, LAN Pei-lin. Real-time nonintrusive monitoring and prediction of driver fatigue[J]. IEEE Trans on Vehicular. Technology, 2004,53(4):1052-1068.
[48]ZHAO Shu-yan, GRIGAT R R. Robust eye detection under active infrared illumination[C]//Proc of the 18th International Conference on Pattern Recognition. Washingtion DC: IEEE Computer Society, 2006:481-484.
“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”