一種基于積分投影與色度匹配相結合的快速人眼嘴定位算法

(1.北京交通大學 電子信息工程學院 國家電工電子教學基地， 北京 100044； 2.北京航空航天大學 計算機學院， 北京 100083)

摘 要：設計一種基于積分投影與色度匹配相結合的快速人眼嘴定位算法。改進積分投影方法僅對選定條形人眼區(qū)域作垂直投影，利用極小值特征定位人眼，再根據人臉先驗幾何特征估算人嘴區(qū)域，并統(tǒng)計其色度分布特征。實驗結果表明，該算法對于復雜背景下人眼嘴定位行之有效，且能提高人眼嘴定位的計算速度，適用于實時性要求較高的場合。

關鍵詞：眼嘴定位； 積分投影； 色度匹配

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695(2009)04-1578-03

Fast eye and mouth location algorithm based on integral projection and color matching

TAO Dan1， FENG Xiao-yu2

(1.National Instruction Base for Basic Electric Electronics， School of Electronics Information Engineering， Beijing Jiaotong University， Beijing 100044， China； 2.School of Computer Science Engineering， Beihang University， Beijing 100083， China)

Abstract:This paper proposed a method which only made vertical projection for eye region， and located eye according to minimum. Then it evaluated mouth position by means of geometric features， thus statistics its color distribution. Experimental results show the effectiveness of the algorithm， which can increase the speed of eye and mouth location algorithm， and fit to the situation with high real-time demand.

Key words：eye and mouth detection; integral projection; color matching

人臉檢測是人臉信息處理領域中的一項關鍵技術，其過程實際上是對人臉模式特征的綜合判斷過程[1]。膚色是人臉的一個重要特征，利用膚色特征進行人臉檢測與識別有諸多優(yōu)點，即不依賴于面部細節(jié)特征、對于旋轉/表情等變化情況保持不變且便于與背景顏色相區(qū)別[2]。針對彩色圖像，基于膚色的人臉檢測方法無論是作為一種初檢測的手段為后續(xù)方法提供更準確的查找范圍，還是作為一種直接使用的核心方法進行精確的人臉檢測定位，都有重要的研究和應用價值。

眼嘴是人臉檢測中另外兩個突出的人臉特征，眼嘴定位成為特征提取方法中非常關鍵的一步。目前，眼嘴定位方法較多，如邊緣提取法[3，4]、模板匹配法[5]、積分投影法[6，7]等，但各有優(yōu)缺點。邊緣提取法需要構建眼嘴模板，預處理耗時較大；模板匹配法方法簡單，但計算量較大，定位準確度較低；積分投影法定位速度較快，但定位精度較低。對于實時人臉檢測應用，傾向于采用簡單易行的積分投影法。T .Kanad[6]率先將積分投影法用于獲取人臉特征位置。積分投影法是根據圖像在某些方向上的投影分布特征來進行檢測，從本質上來說它是一種統(tǒng)計方法。對于人臉檢測而言，人臉特征點分別對應于不同積分投影方式下產生出的波峰波谷，通過對灰度變化曲線上波峰波谷的檢測就可快速定位人臉特征點位置[7]。但對于復雜背景環(huán)境下人臉特征點的定位，該方法常造成漏檢和誤檢。另外，分析發(fā)現，彩色人臉圖像核心區(qū)域內器官(尤其是眼嘴區(qū)域)具有獨特的色度分布特征。由此，本文提出一種基于積分投影與色度匹配相結合的人眼嘴定位算法，以快速檢測人臉區(qū)域。

1 人臉膚色分割

基于膚色特征的人臉檢測一般分為兩部分：a)通過人臉膚色特征對待測人臉圖像進行人臉分割，輸出結果為人臉的候選區(qū)域，這個環(huán)節(jié)是利用人臉膚色特征進行人臉的粗檢測；b)對第一環(huán)節(jié)產生的候選區(qū)域進行驗證，以剔除掉假的人臉區(qū)域，從而定位了真正的人臉區(qū)域。基于膚色特征的人臉檢測通用模型如圖1所示。

1.1 圖像預處理

圖像在生成過程中常受到各種噪聲的干擾和影響，降低了圖像質量。本文將圖像進行3×3矩陣中值濾波以降低噪聲影響。另外，考慮膚色等色彩信息常會受到光源顏色、圖像采集設備色彩偏差等因素影響，采用光線補償對圖像進行處理，經過光線補償后圖像的整體亮度變大，減少了誤判非膚色像素的機會，提高了檢測率。

1.2 色彩空間選取

研究和利用膚色信息檢測人臉，首先遇到的問題就是選取合適的膚色模型。建立膚色模型，就是要確定理想的色彩空間，然后在這個空間上建立模型。膚色是人臉表面最為顯著的特征之一，膚色是彩色圖像中相對集中穩(wěn)定的區(qū)域，可以將人臉和背景區(qū)域很好地區(qū)分開。研究表明，盡管不同種族、年齡、性別的人臉膚色看上去不同，但這種不同主要集中在亮度上，在除去亮度的色度空間中，不同人臉膚色分布具有聚類性[8]。

本文從2 000余幅光照均勻的彩色人像圖中，手工裁剪出非重疊的膚色區(qū)域2 762塊，共計約371 349 800個膚色像素。這2 762個像素塊的亮度平均值為207.13，R=236.45，G=193.27，B=177.34。其中R， G， B∈[0， 255]。

將這2 762塊膚色圖像分別變換到歸一化RGB、HSV、HSI和YCbCr空間，并進行統(tǒng)計分析，定出各色彩空間的閾值，并根據閾值進行膚色區(qū)域的分割。表1對實驗參數和結果進行了描述。

從檢測準確率來看，YCbCr空間優(yōu)于歸一化RGB、HSV及HIS空間。主要原因在于：在YCbCr空間中，Y分量給出所有的亮度信息：Cb和Cr分量不受亮度影響，有效地將亮度分量分離出來了。在對歸一化RGB、HSV、HIS和YCbCr多個色彩空間對比實驗的基礎上，力圖剔除亮度的影響而采用YCbCr色度空間，利用人的膚色聚類特性建立膚色模型。得到的Mask圖中灰度值為255的點對應的像素值屬于膚色，灰度值為0的是非膚色，如圖2所示。

2 眼嘴定位算法

在經過預處理、膚色建模、圖像二值化等步驟后，得到的人臉候選區(qū)域需要通過驗證才能確定是否是人臉。

2.1 人眼定位

2.1.1 改進積分投影法

人臉的頭發(fā)、眉毛、眼睛的灰度級比較小，選取合適的二值化算法對圖像進行二值化處理，可以初步將眼睛區(qū)域與臉部的其余器官分離，如圖3所示。

設G(x， y)表示圖像(x， y)處的灰度值，在圖像 [y1， y2] 區(qū)域的水平積分投影H(x)和 [x1，x2] 區(qū)域的垂直積分投影V(y)表示為

H(x)=[1/(x2-x1)]∑x2x1G(x，y)(1)

V(y)=[1/(y2-y1)]∑y2y1G(x，y)(2)

水平積分投影就是將一行所有像素點的灰度值進行累加后再顯示；而垂直積分投影就是將一列所有像素點的灰度值進行累加后再顯示。這種積分投影的方法簡單，計算復雜度低，極易實現。對于圖3(b)中二值化圖像，分別進行水平積分投影和垂直積分投影，得到結果如圖4所示。

利用對人臉圖像的先驗知識可以知道，眉毛和眼睛是人臉圖像中距離較近的黑色區(qū)域，對應著水平積分投影曲線上的兩個極小值點。第一個極小值點對應的是眉毛在縱軸上的位置，記做ybrow，第二個極小值點則對應著眼睛在縱軸上的位置yeye，如圖4(a)所示。從圖4(a)中可以看出距離較近的眉毛和眼睛能夠明顯分辨開來，并且其他特征點如鼻子、嘴等灰度特征也能很好地體現。圖4(b)中，人臉中心對稱軸兩側出現兩個極小值點，分別對應左右眼的中心xleft-eye、xright-eye。因此從垂直積分投影曲線中心向左搜索最小值即可很快得到眼睛中心的水平坐標xmid。

通過分析發(fā)現，圖像在經過水平積分投影確定人眼的縱軸位置yeye后，無須再對整個人臉候選區(qū)域進行垂直積分投影，而是對人眼區(qū)域進行垂直積分投影即可。一方面可有效排除臉部其他區(qū)域灰度信息對眼部灰度信息的干擾；另一方面還可大大減少運算量。由此，根據人臉的先驗幾何特征(符合“三停五眼”規(guī)則)，在人臉圖像縱向上取一個以yeye為中心，寬度為|yeye-ybrow|/2的條形區(qū)域δ，該條形區(qū)域可以大致框出人眼所在區(qū)域，如圖5所示。

據此，僅對條形區(qū)域δ實施垂直積分投影，得到相應垂直積分投影如圖6所示。相比于圖4(b)中對整幅人臉候選區(qū)域實施垂直積分投影得到的曲線，圖6的曲線具有很穩(wěn)定的對稱性，且極大值點和極小值點均易確定。但此時，需要額外考慮圖像兩邊界處可能出現的偽極小值點。算法很可能將頭發(fā)包含在人臉區(qū)域內，使得圖像兩邊界處灰度值出現急速下降后急速上升，形成波谷。在算法尋找曲線左右極小值點時，要排除圖像兩邊界處出現的偽極小值點，以確保人眼的準確定位。

2.1.2 色度匹配

為提高人眼定位準確度，結合色度匹配法，即利用人眼特殊的色度分布信息來進一步驗證人眼位置。只有該條件滿足才可最終確定是人眼。

本文從近2 000張彩色人物圖像中，手工提取圖像的人眼區(qū)域，得到一個包含300 000余個像素點的樣本集。人眼顏色在YCbCr色彩空間中的分布較集中，即絕大多數樣本Y分量集中在(0，120)內，這與人眼比臉部皮膚亮度低的事實相符。

依據“人眼區(qū)域Cb分量普遍比Cr分量的值要高”的結論，將人眼區(qū)域的范圍進一步縮小。基本做法是分別以獲得的左右人眼中心點xleft-eye、xright-eye為圓心，|yeye-ybrow|/4為半徑做圓，進一步限定條形區(qū)域中最可能是人眼的區(qū)域 Ω(兩個圓圈區(qū)域)，參見圖5。只需要對這兩個圓圈區(qū)域Ω內的色度信息進行統(tǒng)計，并依據實驗獲得的人眼區(qū)域色度分布規(guī)律構建出人眼色度信息的判定條件，該判定同時由Cb、Cr兩個色度分量決定。如果區(qū)域 Ω 內包含的像素點總數為Meye，本文限定：區(qū)域Ω中像素點滿足Cb/Cr≥1的數目必須超過Meye/2，即遵循人眼區(qū)域中Cb分量普遍高于Cr分量的結論。

2.2 人嘴定位

在確定了人眼位置后，無須遍歷整個人臉候選區(qū)域并定位人嘴，而是利用人臉先驗幾何特征估算出人嘴的大致位置，再統(tǒng)計嘴部色度分布特征進行匹配。一旦色度匹配成功，則確定人嘴位置。此舉可大大簡化計算量，提高人嘴定位速度。

根據人臉先驗幾何特征，嘴寬近似占人臉候選區(qū)域橫向的1/3，兩眼中心點間距離近似等于人臉候選區(qū)域橫向的1/2，且有兩眼中心點間距略小于眼嘴中心點間距。由此，提出在人臉圖像縱向上取一個以ymouth=yeye+|xright-eye- xleft-eye|為中心，垂直寬度為|yeye-ybrow|/2，水平寬度為人臉候選區(qū)域橫向的1/3的條形區(qū)域Π，該條形區(qū)域可以大致框出人嘴所處區(qū)域。圖7中，淺色長方區(qū)域即為條形區(qū)域Π。

只需要統(tǒng)計區(qū)域Π內像素點的色度分布特征即可。對嘴附近的色度信號分析發(fā)現，與臉部其他部分相比，嘴巴附近區(qū)域包含的紅色分量很大而藍色分量很小(即色度分量Cr要大于Cb的值)[9]。如果區(qū)域Π內包含的像素點總數為Mmouth，限定區(qū)域Π中像素點滿足Cr-Cb≥40的數目必須超過Mmouth/2，即遵循人嘴區(qū)域中Cr分量普遍遠高于Cb分量的結論。

3 實驗及結果分析

3.1 實驗性能指標

為了反映出人臉檢測系統(tǒng)的性能，需要對一個測試集上的實驗數據進行統(tǒng)計從而估算出系統(tǒng)的性能指標。一般的統(tǒng)計指標包括：

a)查準率，反映檢測系統(tǒng)檢測出真實人臉的能力。

查準率=正確檢測到的人臉數目/所有檢測到的人滿臉數目

b)漏查率，指檢測系統(tǒng)將本來是人臉的區(qū)域遺漏沒有檢測到，與測試集中圖像的尺度、背景復雜程度等因素有關。

漏查率=未被檢測到的人臉數目/測試集中包含的人臉數目

c)誤查率，指檢測系統(tǒng)將不是人臉的區(qū)域錯誤地輸出為人臉，反映了檢測系統(tǒng)對于非人臉區(qū)域的拒識能力，與測試集中圖像的尺度、背景復雜程度等因素有關。

誤查率=誤檢測到的人臉數目/所有檢測到的人臉數目

3.2 實驗結果對比

在人臉候選區(qū)域驗證階段，本文改進的積分投影方法僅對人眼條形區(qū)域作垂直積分投影，運算量降低的同時又可消除臉部其他器官灰度信息的干擾。傳統(tǒng)的對整個人臉候選區(qū)域實施垂直積分投影，在尋找投影曲線上左右兩個極小值點定位左右眼中心點時，由于臉部其他器官灰度信息的干擾可能會出現誤定位情況（圖8(a)）；采用對人眼條形區(qū)域作垂直積分投影時，就可相對準確地定位人眼位置，如圖8(b)所示。

3.3 實驗數據分析

本文針對近1 000張大小不同、不同背景的彩色圖像進行人眼嘴定位，圖片來源包括Internet獲取的圖片428張、自行攝取的圖片565張。在所有的993張圖片中包含正面可檢測的人臉為1 134個，對所有這些彩色圖像進行處理。

在1 134個可檢測人臉中，總共檢測出1 072個人臉區(qū)域，有效地檢測出了1 005個。由于膚色模型固有缺陷、遮擋、圖像質量等因素造成129個人臉未檢測出。實例如圖9所示。查準率、漏查率和誤查率如表2所示。

將單獨使用積分投影和色度匹配進行檢測的算法與融合使用這兩種方法得到的實驗結果進行比較，實驗統(tǒng)計結果如表3所示。

本文提出的積分投影和色度匹配相結合算法相對于單獨使用的兩種算法，查準率大大提高，分別增加13.47%和11.80%。其漏檢率較之單獨使用的兩種算法有所增加，分別增加6.66%和5.33%，這是增加人眼嘴驗證步驟后的必然結果。本文采用雙重判定規(guī)則，在利用積分投影算法定位人臉后還要再進行色度匹配，一旦色度匹配的約束條件不滿足，即認定為非人臉區(qū)域，并予以排除。在漏查率增加的同時，誤查率也會有明顯下降(分別下降7.56%和5.49%)，使得在系統(tǒng)的檢測性能略有提高的同時錯誤報警大大減少，這在實際應用中是很有意義的。

另外，兩種檢測方法結合使用勢必會造成檢測時間的相應增加，原則上應該為兩種方法單獨檢測的時間之和。但是本文提出的僅對人眼條形區(qū)域實施垂直積分投影(約占人臉候選區(qū)域的1/10)大大縮小了遍歷區(qū)域，有效節(jié)約了檢測時間。

4 結束語

本文設計了一種基于積分投影與色度匹配相結合的快速人眼嘴定位算法。首先，改進積分投影方法僅對選定條形人眼區(qū)域作垂直投影，有效排除了臉部其他區(qū)域灰度信息干擾的同時，也大大地減少了運算量。其次，根據人臉先驗幾何特征估算人嘴區(qū)域，統(tǒng)計色度分布特征，進一步驗證人臉檢測結果。在人臉測試圖像集上進行大量實驗，結果表明本文融合人臉中眼嘴灰度分布及色度分布信息的雙重驗證算法對復雜背景下的彩色人臉檢測具有較好的魯棒性。

參考文獻：

［1］ YANG M H， KRIEGMAN D， AHUJIA N. Detecting faces in images: a survey [J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2002， 24(1): 34-58.

［2］張欣，徐彥君，杜利民.彩色圖像中主要人臉特征位置的全自動標定[J].中國圖象圖形學報，2005， 5(A2):138-143.

［3］WANG Jian-guo， TAN Tie-niu. A new face detection method based on shape information[J]. Pattern Recognition Letters， 2000， 21 (6-7):463-471.

［4］CRAW I， ELLIS H， LISHMAN J. Automatic extraction of face features[J].Pattern Recognition Letters，1987， 5(2):183-187.

［5］梁路宏，艾海舟，徐光祐，等.人臉檢測研究綜述[J].計算機學報，2002， 25(5):449-458.

［6］KANAD T. Picture processing system by computer and recognition of human face[D].Kyoto: Kyoto University， 1973.

［7］耿新，周志華，陳世福.基于混合投影函數的眼睛定位[J].軟件學報，2003， 14(8):1394-1400.

［8］王計元.基于膚色特征人臉檢測的自動人臉識別系統(tǒng)的研究[D].上海:華東師范大學，2005.

［9］HSU R-L， ABDEL-MOTTALEB M， JAIN A K. Face detection in color images[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，2002， 24(5):696-706.