基于谷算子的人眼特征點檢測方法

(1.廣東省機電職業技術學院 基礎部， 廣東 廣州 510515； 2.香港浸會大學 計算機系，中國香港)

摘 要： 考慮帶姿勢旋轉的人臉的特征點檢測問題，提出了一種基于谷算子得到眼睛的候選區域，用Gabor濾波和方差投影構造模糊模板檢測出眼睛的位置，并利用二值圖像數學形態學與投影的方法得到有姿勢旋轉的人臉特征點檢測的算法。該算法利用軟數學形態學構造了一種新的谷算子，用一種新的局域區域取二值化的方法對圖像進行二值分割，提出了通過谷算子運算得到人臉谷極點的方法，減少了一些不穩定點的影響。實驗表明，該算法具有很高的精度和很強的魯棒性。

關鍵詞： 方差投影； 模糊模板； Gabor濾波； 谷算子 

中圖法分類號： O29； TN911.73文獻標識碼： A

文章編號： 1001 3695(2006)08-0180-03

Detecting Human Eyes’ Character Points Based on Novel Valley Operator

YIN Fang ping1， RUAN Bang zhi2

(1.Dept.of Foundation， Guangdong Vocational College of Mechanical Electrical Technology， Guangzhou Guangdong 510515， China; 2.Dept. of Computer Science， Hong Kong Baptist University， Hongkong， China)

Abstract: This paper consider detecting eyes character points with different poses.In this algorithm， we firstly construct a new valley operator to obtain the candidates of eyes， and a novel algorithm to get binary image is also defined. Then the eye position can be detected by matching the fuzzy template constructed by combine the gabor filter and variance filter， and we can obtain the 12 character points by binary morphology and the method of projection finally. We put forward a novel valley operator based on soft mathematical morphology， it can reduce the influence of un stabilization points. Experimental results demonstrate the high efficiency of the algorithm in runtime and correct localization rate.

Key words: Variance Projection; Fuzzy Template; Gabor Wavelet; Valley Operator



1 引言



近年來，人臉識別的研究已經成為生物識別和人工智能領域的一個研究熱點，在公安、人工智能、交通流量控制、ATM識別認證等方面均有實用價值。人臉特征點及特征部位的檢測是提高人臉識別性能的關鍵，所以在人臉識別系統方法中，特征點的檢測是一個重要的工作。而在這項工作中，由于對于多數人而言，眼睛的位置以及兩眼間的距離相對于人臉而言是一個相關常數，所以在人臉標準化和人臉特征點檢測的過程中，眼睛的檢測扮演著最重要的角色。現有的眼睛定位的方法如下：①整體的方法。Lin 和 Wu[1]使用一個特征點的模板，計算每個點的花費值，然后取最大值的點作為特征點。ZhiWei Zhu[2]采用支持向量機的方法來檢測眼睛。而這兩種方法的計算量都比較大。②局部的方法。顧華[3]提出一種基于人類視覺特性原理，利用人臉的幾何特征，提取人臉特征點方法。該方法不受圖像大小約束，對表情和光照不敏感，但處理大角度旋轉人臉有一定局限。R. Thilak kumar[4]采用先驗知識的方法，這也是有一定的局限性。③整體與局部相結合的方法。Feng和Yuen[5]先提出了一種利用方差投影函數定位眼睛的簡單方法，后又提出一種多線索定位眼睛的方法[6]。

現有的眼睛定位方法大多未考慮姿勢旋轉的問題，對于帶姿勢旋轉的眼睛的尋找錯誤率通常較高。本文在JH Lai[7]提出的非均勻光照下人臉檢測方法的基礎上，改進了Feng[6]的方法，提出了一種基于谷算子得到眼睛候選區域，用Gabor濾波和方差投影構造模糊模板檢測出眼睛的位置，并利用二值圖像數學形態學與投影的方法得到有姿勢旋轉的人臉特征點檢測的算法。



2 谷極點提取方法



“谷”是指平面圖像中亮度值與周圍像點相比相對較暗的像點地集合。觀察普通人臉部的圖像都不難發現，眼睛、眉毛、鼻孔和嘴巴這些臉部特征部位都是相對較暗的區域。眼睛是面部最顯著的特征點，穩定地處于面部灰度曲面中的谷位置。人臉膚色區域中的谷極點可以用“亮度比較”的方法獲得，相互連通的谷點構成一個谷區域。在此我們利用軟數學形態學進行圖像擴展的方法。

2.1 基本數學形態學操作

（1）膨脹操作。設 f(x，y)是輸入圖像，b(x，y)是結構元素，b(x，y)本身是一個子圖像函數。用b對函數f進行的灰度膨脹表示為f+b ，定義為

其中結構元素核心為

α=[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0] 結構元素的軟邊界為

β=[1 1 1 1 1 0 0 0 0 0 1 1 1 1 1] 而 k =3。

對圖像進行谷運算后，結果如圖1所示。由此可見，通過此變換得到的谷圖像將人臉特征比較明顯的部分表現出來。我們可先運用二值區域分割將此谷圖像的區域分割出來，再在每個連通區域中將其極值點標定出來。如圖2所示，眼睛總是對應于人臉谷區域中的極值點。

2.3 二值化方法

二值化是預處理中最關鍵的步驟，因為它直接產生能夠被分合算法使用的二值化圖像。二值化的方法舉不勝舉，但都可以分為取全局閾值的二值化和取局部閾值的二值化兩大類。

取全局閾值的二值化方法中，有一種稱為“組內方差最小化方法”[8]，它認為最好的閾值應該使得被閾值分開的兩組方差的加權和達到最小，其中某組的加權系數就是該組的概率。而在人臉定位的應用中，由于人臉各器官相對于面部皮膚的對比度各不相同，因此全局取閾值的方法不合適。

本文采用局域取閾值的方法對每一個像素均使用它周圍一個邊長為十幾個像素的正方形區域內的灰度分布來計算一個局域閾值，然后與全局閾值合成這個像素使用的閾值。該方法避免了邊界效應。所謂邊界效應是指由于相鄰兩個正方形子圖所取閾值不同，造成邊界兩邊本來灰度變化緩慢的像素有可能一邊被二值化成黑色，一邊被二值化成白色，形成突變。

3 制作模糊模板檢測眼睛

我們必須從眾多的谷極點中判斷哪個點是眼睛。首先將圖像四周兩個像素寬度以內的極點去掉，因為那些通常不是眼睛，而是頭發之類的物體。然后在剩余的谷極點中利用模板匹配的方法判斷哪個是眼睛。

文章結合Gabor濾波與Feng[6]方差投影的方法制作模糊模板。

3.1 Gabor濾波

Gabor小波是小波基的一種，圖像在視覺皮層的表示存在空域和頻域分量，并且可以將一幅圖像分解為局部對稱和反對稱的基函數表示。Gabor濾波器的構造是基于高斯函數的。從外形上看，Gabor小波被封裝在一個高斯分布的形狀中，而且其積分為0。它的形狀類似于人腦內部的視覺神經元，具有很強的外界感知能力。由于Gabor函數的這種生物特征，所以經常被用來進行特征提取。

得到的特征圖像如圖３所示。

3.2方差投影

3.3構造模糊模板

構造模糊模板，選取80幅眼睛與非眼睛圖像進行訓練。定義隸屬度函數

可以對每一個谷極點截取28×28大小的方塊，分別計算Gabor模板的隸屬度和投影方差的隸屬度，將兩個隸屬度相加作為其相似度，選取相似度最大的兩個點作為眼睛的位置。

4 眼睛的精確定位及臉部特征點的定位

這樣檢測的眼睛也不一定準確，需要進行重新定位：

(1) 如果兩點之間高/寬>1，則認為有一個點不是眼睛，再將隸屬度第三大的置為眼睛；

(2) 如果兩點中最小的隸屬度<0.41，則認為不是眼睛，重新擴大人臉區域進行尋找；

(3) 如果兩點的寬度/人臉的寬度<0.2，則認為有一個不是眼睛，重新擴大人臉區域進行尋找。

5 實驗與結果

文章在UMIST數據庫上選取566幅有兩只眼睛的圖像進行不同姿勢下人像眼睛及其特征點檢測的實驗。

5.1 實驗的步驟

(1)選取80幅圖像，類似非均勻光線環境下特征點檢測的方法構造28×28大小的人眼Gabor模板；

(2)對該80幅圖像進行方差投影濾波，得方差投影濾波器；

(3)結合Gabor模板和方差投影濾波器構造模糊模板，分別與眼睛圖像和非眼睛圖像進行匹配測試，記錄它們的隸屬度；

(4)對讀入的人像進行人臉的初步定位；

(5)對人臉區域圖像進行谷運算，得到其灰度谷圖像；

(6)求灰度谷圖像的二值圖，并求得其每個連通區域的谷極點；

(7)記錄谷極點的坐標，以該點為中心截取28×28的方框。利用模糊模板匹配判斷哪一個是眼睛方框；

(8)進行進一步的條件判斷眼睛的可能位置；

(9)判斷人臉的旋轉角度；

(10)截取一個較大的方框，確保眼睛在此方框內；

(11)將此方框進行旋轉，使其轉成正面方向；

(12)類似正像的特征點檢測，檢測出正面眼睛的特征點位置；

(13)計算出原圖像的特征點位置。

5.2 實驗的結果

文章在UMIST數據庫上選取566幅圖像進行基于確定人臉區域情況下眼睛位置檢測重復實驗，實驗數據如表1和表2所示，部分結果如圖6所示。

6 結論

本文開展了對不同姿勢人臉特征點檢測的研究工作，利用眼睛是人臉當中穩定極點的特性，構造了谷算子，用一種新的局域區域取二值化的方法對圖像進行二值分割，提出了通過谷算子運算尋找人臉谷極點的方法。同樣利用Gabor濾波器的特性，制作Gabor眼睛濾波器并結合方差投影濾波器制作模糊模板來尋找眼睛。實驗表明，該方法具有實時性好、對光照等環境條件不敏感等優點，但其局限性是對于頭發過長遮住眉毛、人臉有眼鏡等飾物的狀況處理效果不佳，有待進一步的研究。

參考文獻：

[1] C H Lin， et al . Automatic Facial Feature Extraction by Genetic Algorithms[J].IEEE Trans.Image Processing，1999，8（6）：834-845. 

[2] Z Zhu，K Fujimura，Q Ji.Real time Eye Detection and Tracking under Various Light Conditions [C].Eye Tracking Research and Applications Symposium， 2002.25-27.

[3] 顧華，蘇光大，杜成.自動提取人臉關鍵特征點[C].第四屆生物識別技術會議論文集，2003.84-88.

[4] Thilak Kumar， Kumar Raja，A G Ramakrishnan. Eye Detection Using Color Cues and Projection Functions [C]. Rochester， New York:IEEE International Conf. on Image Processing (ICIP 2002)， 2002.22-25.

[5] Feng GC， Yuen PC. Variance Projection Function and its Application to Eye Detection for Human Face Recognition [J]. Pattern Recognition Letters， 1998，19(9):899-906.

[6] Feng Guo Can， Yuen Pong C. Multi cues Eye Detection on Gray Intensity Image[J].Pattern Recognition，2001，34(5):1033-1046.

[7] J H Lai， P C Yuen，L Feng. Face and Eye Detection on Mobile Devices[J].Submitted to Computer Vision and Image Understanding， Special Issue on Eye Detection and Tracking，2003.

[8] Anil K Jain.Fundamentals of Digital Image Processing [M]. Prentice Hall，1989.

作者簡介：尹方平(1980 )，男，廣東惠州人，助教，碩士研究生，研究方向為計算機視覺、模式識別；阮邦志(1966 )，男，副教授，博士，主要研究方向為人臉識別、簽名識別、醫學圖像處理等。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。