曲線相似度眼型分類*

孫勁光，榮文釗

遼寧工程技術大學 電子與信息工程學院，遼寧 葫蘆島 125105

曲線相似度眼型分類*

孫勁光，榮文釗+

遼寧工程技術大學 電子與信息工程學院，遼寧 葫蘆島 125105

眼型分類；眼瞼曲線；眼型指數；曲線相似度；最小二乘法；曲線擬合

1 引言

眼睛是人臉重要的面部特征器官，具有遺傳性，并為人臉識別和親緣關系識別提供關鍵信息。人臉識別作為計算機視覺與模式識別領域重要的研究課題，在過去的幾十年中，得到了研究者們的廣泛關注。隨著自動人臉識別技術的廣泛應用，人臉數據庫不斷增大，如何解決由人臉數據庫不斷增大帶來的識別率和識別速度下降問題成為人們研究的新熱點。若可以將人臉根據不同的眼睛類型進行分類，將一個海量人臉數據庫分為若干個子人臉庫，然后在子人臉庫中進行人臉識別會有助于提高人臉識別率和速度。眼睛作為面部的一個遺傳特征，運用眼型分類可以對親子眼型之間的遺傳關系進行細致研究，進一步提高通過人臉面部特征進行親緣關系識別的準確性。文獻[1-5]是自2010年以來公開發表的人臉親緣關系識別的研究成果，這些研究成果充分展示了利用人臉面部特征以及人臉識別技術開展親緣關系識別的可能性和有效性。文獻[6]提出利用ASM（active shape model）進行眼型分類，將ASM特征點進行直線連線，從而對左眼、右眼進行了區分，但并沒有針對不同眼睛形狀進行眼型分類。這種眼睛形狀描述方式損失眼瞼曲線弧度信息，而眼瞼曲線是對眼型分類的關鍵所在。文獻[7]采用對眼睛區域進行變換投影的方法得到符合圖像原信息的人眼輪廓曲線。文獻[8]將在復平面內的人眼輪廓分別做實軸和虛軸上的投影，然后對所得到的兩種信號做傅里葉變換，利用得到的傅里葉系數擬合人眼輪廓。文獻[7-8]說明了提取人眼輪廓曲線具有一定可行性。文獻[9]通過下頜輪廓上的點擬合得到下頜曲線表達式，利用下頜曲線表達式計算均方差達到臉型分類目的。文獻[10]采用人體測量學方法對面部特定檢測點進行測量，計算得到相關的面型指數，由此實現臉型分類。文獻[11]采用ASM和K近鄰算法進行臉型分類，通過ASM算法提取待測圖像特征點，對點集歸一化后計算人臉輪廓特征點與樣本庫中所有樣本點集的Hausdorff距離，根據該距離，通過K近鄰算法實現待測圖像的臉型分類。

本文的主要貢獻是：定義上、下眼瞼輪廓曲線及其相似度，關聯眼型指數進行眼型分類。

2 相關工作

2.1 眼型類別

使用眼型美學的分類方法[12]，根據眼睛大小、眼瞼、眼角的形態變化，將眼睛大致分為標準眼、圓眼、瞇縫眼、細長眼4種類型，如圖1所示。

Fig.1 4 categories of eyes圖1 眼型的4種類別

標準眼：瞼裂寬度比例適當，外眥角較鈍圓，黑眼珠、眼白露出較多。

圓眼：瞼裂較高寬，瞼緣呈圓弧形，黑珠、眼白露出多，眼睛顯得圓大。

瞇縫眼：瞼裂小狹短，內外眥角均小，黑珠、眼白大部分被遮擋，眼球顯小。

細長眼：瞼裂細長，瞼緣弧度小，黑珠及眼白露出相對較少。

通過觀察得到：不同類型眼睛有不同的形狀，但是相同類型的眼睛形狀具有一定相似性。通過總結同類型眼睛相似的特征，比較一個未知眼型與4類眼型特征相似程度就可以判斷未知眼型屬于哪一類。

2.2 歸一化互相關系數

3 基本方法

以人眼眼瞼特征點為基礎，擬合出上、下眼瞼的輪廓曲線，通過計算上、下眼瞼輪廓曲線相似度，并與眼型指數相結合進行不同眼型分類。過程如下：

（1）在提取到眼部特征點的基礎上，使用基于輪廓的形狀描述方法增加上、下眼瞼采樣點的個數。

（2）使用最小二乘法，根據上、下眼瞼采樣點數據擬合出上、下眼瞼的輪廓曲線。

（3）使用歸一化互相關系數描述眼瞼輪廓曲線相似度。

（4）計算不同眼型的眼型指數。

（5）使用曲線相似度和眼型指數進行眼型分類。

3.1 上下眼瞼的輪廓曲線方程的擬合

3.1.1 上下眼瞼曲線采樣點的求取

基于輪廓的方法[15]是以形狀的邊界信息為基礎，將眼部特征點Fi(i=0,1,…,11)依次連線得到眼睛輪廓多邊形，F12為瞳孔點，F0為內眼角點，F6為外眼角點，F1～F5為上眼瞼點，F7～F11為下眼瞼點。

以瞳孔點F12為圓心點，以過瞳孔點平行X軸直線為0°線，進行等圓心角采樣，將圓心48等分，等分線與眼睛輪廓多邊形相交得采樣點Pi(i=0,1,…,47)，即4種眼型采樣點分布情況如圖2所示。通過內眼角點F0與外眼角點F6連線，把48個采樣點Pi(i=0,1,…,47)分為上眼瞼采樣點 Pi(i=0,1,…,m)、下眼瞼采樣點Pi(i=m+1,m+2,…,47)。其中，1為標準眼(standard eye)，2 為瞇縫眼(slender eye)，3 為細長眼(narrow eye)，4為圓眼(round eye)。

3.1.2 眼瞼曲線擬合的基函數選取

最小二乘算法是以誤差的平方和最小為準則，根據觀測數據估計線性模型中未知參數的一種基本參數估計方法。它通過最小化誤差的平方和尋找數據的最佳函數匹配，利用最小二乘法可以進行曲線擬合。本文上、下眼瞼曲線擬合的基函數為Φ=span{φ0(x)=1,φ1(x)=x,φ2(x)=x2,…,φn(x)=xn}，只要滿足n＜m且n＜48-m，可以得到唯一眼瞼曲線方程。由上文可知上、下眼瞼采樣點，內眼角點F0，外眼角點F6滿足n＜m且n＜48-m，可以使用最小二乘進行曲線擬合，分別將上眼瞼采樣點Pi(i=0,1,…,m)，內眼角點F0，外眼角點F6，下眼瞼采樣點Pi(i=m+1,m+2,…,47)，內眼角點 F0，外眼角點 F6進行曲線擬合（如果內外眼角點與采樣點重復則取其一）分別得到最接近采樣點的上、下眼瞼曲線方程：

其中，當*為up時為上眼瞼輪廓曲線方程，當*為down時為下眼瞼輪廓曲線方程；n為擬合次數；為曲線方程系數；φk(x)為基函數。

3.1.3 擬合次數的選定

由于眼角點對于上、下眼瞼曲線的確定有至關重要的作用，通過上、下眼瞼采樣點擬合到的眼瞼曲線必須經過內眼角點F0、外眼角點F6，取基Φ=span{φ0(x)=1,φ1(x)=x,φ2(x)=x2,φ3(x)=x3,φ4(x)=x4}。使用4種眼型上、下眼瞼采樣點各一份為例，說明擬合次數n的取值。

當n=1時，為線性擬合，不滿足對上下眼瞼曲線擬合的要求。

當n=2時，即二次擬合效果如圖3所示，擬合得到的曲線沒有通過內外眼角點，不滿足對上下眼瞼曲線的擬合要求。

當n=3時，即三次擬合效果如圖4所示，擬合得到的曲線沒有通過內外眼角點，不滿足對上下眼瞼曲線的擬合要求。

當n=4時，即四次擬合效果如圖5所示，擬合得到的曲線經過內外眼角點，滿足要求。

當n＞4時，擬合得到的曲線都滿足曲線經過內外眼角點的要求，但擬合次數增加，增加了計算量。

通過大量實驗比較，只有在擬合次數達到4次以上時，上、下眼瞼的內、外眼角點位置擬合效果才能達到要求，因此取擬合次數n=4。

Fig.2 Sampling points distribution of 4 eye types圖2 4種不同眼型采樣點分布情況

Fig.3 Effect diagram of quadratic fitting圖3 二次擬合效果圖

3.1.4 上下眼瞼的輪廓曲線方程

取基 Φ=span{φ0(x)=1,φ1(x)=x,φ2(x)=x2,φ3(x)=x3,φ4(x)=x4}，四次擬合眼部輪廓曲線方程為式（3），求的法方程為式（2）。

Fig.4 Effect diagram of cubic fitting圖4 三次擬合效果圖

Fig.5 Effect diagram of four fitting圖5 四次擬合效果圖

分別將圓眼、標準眼、細長眼、瞇縫眼的內、外眼角點與上眼瞼采樣點Pi(i=0,1,…,m)和下眼瞼采樣點Pi(i=m+1,m+2,…,47)，帶入法方程即可求出相應(t=1,2,…,4,k=0,1,…,4)。上、下眼瞼輪廓曲線方程為式（4）。

其中，t=1代表圓眼，t=2代表標準眼，t=3代表細長眼，t=4代表瞇縫眼。

3.2 眼瞼曲線相似度判別方法

根據不同類別眼型在相同位置采樣點的眼瞼切線坡度存在差異，同類別眼型在相同位置采樣點的眼瞼切線坡度具有相似性，考慮到斜率的幾何特征明顯，不受縮放和位移的影響，可以得到良好的分類效果。因此采用眼瞼采樣點的斜率特征描述眼瞼曲線之間的相似性。對擬合得到的上、下眼瞼的曲線方程求導后，計算出上、下眼瞼采樣點的曲線切線斜率值為：

當 ρ越大時，兩個眼型曲線切線斜率相似度越大，兩個眼型為同類型的程度越高，反之表示兩個眼型差異越大，兩個眼型為同類型的可能性越小。通過實驗將|ρ|=0.95作為相似度閾值來區分不同眼型取得比較好的效果。

眼瞼曲線相似度判別方法具體步驟：

（1）計算上、下眼瞼采樣點斜率值。

（2）計算眼瞼相似度 ρ。

（3）當上、下眼瞼相似度同時滿足||ρ≥0.95時，兩個眼型為相同類型，反之為不同類型。

3.3 眼型指數

通過測量法對不同類型的眼型進行測量發現，不同類型眼型的眼型指數有明顯區別。眼型指數Ei由式（7）計算得出，eh、ew如圖6所示，通過實驗得出不同眼型的眼型指數大致范圍如表1，說明眼型指數可以作為判別眼型的特征。

Fig.6 Sketch map of eye wide and high圖6 眼寬、眼高示意圖

Table1 Eye type index range表1 眼型指數范圍

3.4 眼瞼曲線擬合可行性

Table2 Range for distance difference of sampling points表2 采樣點距離差范圍

3.5 眼型分類

由于眼睛形狀屬于為人熟知的“一般”形狀（即具體實例各不相同），無法使用一種剛性形狀模型來描述。因此把待判別類型的眼型與各類型眼型標準樣本進行比較，如果待判別類型的眼型與某一類眼型滿足歸類條件就認為這個眼型屬于該類。

將待判別類型的眼型分別與圓眼、標準眼、瞇縫眼、細長眼這4類眼型標準樣本通過式（8）計算每類眼睛可能性Ci，作為一個歸類條件。計算待判別眼型的眼型指數Er，通過式（9）計算眼型指數差和Di，作為另外一個歸類條件。判斷規則如下：

（1）當唯一i值同時滿足Ci≥0.7，min(Di)時，則待判別的眼型是第i類眼型。

（2）當多個i值同時滿足Ci≥0.7，min(Di)時，則max(Ci)的i值是第i類眼型。

（3）當i值無法滿足Ci≥0.7，min(Di)時，則無法識別這個眼型。

其中，Wi為一類眼型中上下眼瞼相似度同時滿足|ρ|≥0.95的個數；Ni為一類眼型中標準樣本個數。

其中，N為每類眼型中標準樣本個數。

4 算法設計

算法1眼型分類算法

輸入：Sampleij為標準樣本，i=1,2,3,4,表示4類眼型，j=1,2,…,N,表示每類眼型有N個標準樣本；Unknow為待識別眼型。

輸出：Unknow的類別。

（3）把每一個采樣點向量pij分為上下眼瞼(x0,y0,…,xm,ym)、(x47,y47,…,xm+1,ym+1)兩部分，如果內外眼角點不包含在(x0,y0,…,xm,ym)，(xm+1,ym+1,…,x47,y47)中，則插入內外眼角點，構成(x內,y內,x0,y0,…,xm,ym,x外,y外)、(x內,y內,x47,y47,…,xm+1,ym+1,x外,y外)。

（7）計算Unknow的斜率向量sunknow(n0,n1,…,n47)、眼型指數eunknow。

（8）計算sunknow與斜率集合S列向量相似度C(c1,c2,c3,c4)，計算eunknow與眼型指數集合E列向量的差和D(d1,d2,d3,d4)。

（9）由相似度向量C與差和向量D通過判別規則，判別Unknow的類別。

5 實驗及分析

本實驗每類眼型選取無表情、眼部無遮擋正面人臉照各200張。

5.1 使用最小二乘法擬合出眼瞼輪廓曲線

Fig.7 Fitting effect diagram of round eyes contour圖7 圓眼輪廓擬合效果圖

Fig.8 Fitting effect diagram of standard eyes contour圖8 標準眼輪廓擬合效果圖

Fig.9 Fitting effect diagram of screwed up eyes contour圖9 瞇縫眼輪廓擬合效果圖

Fig.10 Fitting effect diagram of elongated eyes contour圖10 細長眼輪廓擬合效果圖

5.2 使用曲線切線斜率相似度判別眼型

每次隨機選取圓眼、標準眼、瞇縫眼、細長眼這4類眼型標準圖片各20張，進行3次實驗，通過類內、類間圖片兩兩計算歸一化互相關系數，發現兩個上、下眼瞼|ρ|同時大于0.95時可以比較準確地區分不同類別眼型。如果兩個眼型上下眼瞼同時滿足|ρ|≥0.95，說明這兩個眼型屬于同一類，否則兩個眼型屬于不同類型。實驗結果見表3，說明使用眼瞼輪廓曲線切線斜率相似度判別不同眼型正確率約為74.3％。

Table3 Classification accuracy of eye type of curve similarity表3 曲線相似度眼型判別正確率

5.3 使用眼型指數判別眼型

選取圓眼、標準眼、瞇縫眼、細長眼這4類眼型標準圖片各200張，通過計算眼型指數Eij(i=1,2,3,4,j=1,2,…,200)，得知Eij滿足眼型指數范圍見表1，實驗結果見表4，說明使用眼型指數Eij判別不同類型眼型正確率為84.25％。但經過實驗發現，不屬于這4類眼型的眼型指數也滿足這4類眼型指數范圍，因此眼型指數不可以單獨作為分類標準，只能在5.2節實驗的基礎上對分類結果加強。

5.4 使用曲線切線斜率相似度與眼型指數結合進行眼型分類

隨機選取圓眼、標準眼、瞇縫眼、細長眼這4類眼型標準圖片各150張作為測試樣本，隨機選取圓眼、標準眼、瞇縫眼、細長眼這4類眼型標準圖片各50張作為標準樣本。各眼型分類的正確率見表5，標準眼分類正確率最高為88.67％，瞇縫眼分類正確率最低為82.00％，平均分類正確率為85.17％。對實驗樣本分析認為分類的正確率不一致與標準樣本選定有關系，標準樣本的好壞對分類正確率有影響。

Table5 Classification accuracy of combination of curve similarity and eye type index表5 曲線相似度與眼型指數結合分類正確率

6 結束語

本文提出了針對不同眼型分類的方法，對不同眼型有良好的分類效果，容易實現。可以把本文方法應用在人臉識別、親緣關系識別中，通過對不同眼型分類后再進行分析，進而提高識別的準確率。未來研究方向為把更多的眼型加入眼型分類中，尋找更好的眼瞼曲線擬合方法，更好地實現對眼型的分類。

[1]Taigman Y,Yang Ming,Ranzato MA,et al.Deepface:closing the gap to human-level performance in face verification[C]//Proceedings of the 2014 Conference on Computer Vision and Pattern Recognition,Columbus,USA,Jun 23-28,2014.Washington:IEEE Computer Society,2014:1701-1708.

[2]Fu Yun,Guo Guodong,Huang T S.Age synthesis andesti-mation via faces:a survey[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2010,11(32):1955-1976.

[3]Xia Siyu,Shao Ming,Luo Jiebo,et al.Understanding kinrelationships in a photo[J].IEEE Transactions on Multimedia,2012,14(4):1046-1056.

[4]Zhou Xiuzhuang,Hu Junlin,Lu Jiwen,et al.Kinship verification from facial images under uncontrolled conditions[C]//Proceedings of the 19th ACM International Conference on Multimedia,Scottsdale,USA,Nov 28-Dec 1,2011.New York:ACM,2011:953-956.

[5]Shao Ming,Xia Siyu,Fu Yun.Genealogical face recognition based on UB KinFace database[C]//Proceedings of the 2011 Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,Jun 20-25,2011.Piscataway,USA:IEEE,2011:60-65.

[6]Bhat S,Savvides M.Evaluating active shape models for eyeshape classification[C]//Proceedings of the 2008 International Conference on Acoustics,Speech and Signal Processing,Las Vegas,USA,Mar 31-Apr 4,2008.Piscataway,USA:IEEE,2008:5228-5231.

[7]Liu Weifeng.Research on facial expression recognition[D].Hefei:University of Science and Technology of China,2007.

[8]Wei Bo,Li Zhanming.The application of Fourier transform in human eye contour fitting and eye geometry parameter calculation[J].Electronic Design Engineering,2015,23(20):177-180.

[9]Wang Junyan,Su Guangda.Face classification method based on mandibular contour line[J].Infrared and Laser Engineering,2004,33(2):159-163.

[10]Zhao Wei,Wang Zengfu.Study on the face classification of face recognition based on large database[J].Electronic Technology,2009,36(11):77-79.

[11]Zhang Qian,Ding Youdong,Lan Jianliang,et al.Face classification based on ASM and K nearest neighbor algorithm[J].Computer Engineering,2011,37(11):212-214.

[12]Zhang Wei.The eye shape classification and beauty treatment of oriental people[J].Medical Aesthetic Beauty,1995(5):38-39.

[13]Gao Guangzhu,Li Zhongwu,Yu Lifu,et al.The application of normalized cross-correlation coefficient in image sequence object detection[J].Computer Engineering and Science,2005,27(3):38-40.

[14]Ling Xufeng,Yang Jie.Face classification and recognition based on contour line curvature features[J].Infrared and Laser Engineering,1999,28(4):37-39.

[15]Shen Yangcheng.Based on the shape of the plant leaf image retrieval and clustering[D].Xiamen:Xiamen University,2006.

附中文參考文獻：

[7]劉偉鋒.人臉表情識別研究[D].合肥:中國科學技術大學,2007.

[8]魏博,李戰明.傅里葉變換在人眼輪廓擬合和人眼幾何參數計算中的應用[J].電子設計工程,2015,23(20):177-180.

[9]王俊艷,蘇光大.基于下頜輪廓線的人臉分類方法[J].紅外與激光工程,2004,33(2):159-163.

[10]趙薇,汪增福.用于大庫人臉識別的臉型分類研究[J].電子技術,2009,36(11):77-79.

[11]張倩,丁友東,藍建梁,等.基于ASM和K近鄰算法的人臉臉型分類[J].計算機工程,2011,37(11):212-214.

[12]張威.東方人的眼形分類與美容術[J].醫學美學美容,1995(5):38-39.

[13]高廣珠,李忠武,余理富,等.歸一化互相關系數在圖像序列目標檢測中的應用[J].計算機工程與科學,2005,27(3):38-40.

[14]凌旭峰,楊杰.基于輪廓線曲率特征的人臉分類及識別[J].紅外與激光工程,1999,28(4):37-39.

[15]沈陽城.基于形狀的植物葉子圖像檢索與聚類研究[D].廈門:廈門大學,2006.

Eye Shape Classification of Curve Similarity*

SUN Jinguang,RONG Wenzhao+
School of Electronics and Information Engineering,Liaoning Technical University,Huludao,Liaoning 125105,China
+Corresponding author:E-mail:mrdlzhao@aliyun.com

SUN Jinguang,RONG Wenzhao.Eye shape classification of curve similarity.Journal of Frontiers of Computer Science and Technology,2017,11(8)：1305-1313.

Aiming at the problem of human eye classification in facial images,this paper utilizes different types of eyelid and proposes an approach to classify ocular types based on the combination of eyelid contour curve similarity and ocular type index.The description method of contour types is introduced,the sampling points are added on account of obtaining the initial feature points of the eyes;Then on the basis of upper and lower eyelid curves and inner and outer corner of the eyes,the equation of eyelid contour curve is obtained by the least square fitting method according to the sampling points of the upper and lower eyelids;The slope of upper and lower eyelid sampling points are calculated by the eyelid contour curve equation,the slope similarity of upper and lower eyelid sampling points is described by the normalized cross-correlation coefficient;Finally,ocular type index can be calculated by the eyelid contour curve equation,which combined with slope similarity,can achieve the purpose of ocular types classification.The main contributions of this paper are the definition of upper and lower eyelid contour curves and the similarity between them,and the related ocular type index can be used in ocular type classification.The proposed method reaches an accuracy of 85.17％on the four eye shapes of round,standard,slender,narrow.The experiments prove that the proposed algorithm is easy to implement and can obtain better classification results.

eye shape classification;eyelid curve;ocular type index;curve similarity;the least square approximation;curve fitting

2016-05,Accepted 2016-08.

RONG Wenzhao was born in 1990.He is an M.S.candidate at School of Electronics and Information Engineering,Liaoning Technical University.His research interest is computer image processing.榮文釗（1990—），男，遼寧普蘭店人，遼寧工程技術大學電子與信息工程學院碩士研究生，主要研究領域為計算機圖像處理。

A

：TP391

*The National Natural Science Foundation of China under Grant No.61401185(國家自然科學基金青年基金).

CNKI網絡優先出版:2016-08-01,http://www.cnki.net/kcms/detail/11.5602.TP.20160801.1406.008.html

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2017/11(08)-1305-09

10.3778/j.issn.1673-9418.1605050

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056

摘 要：針對人臉面部圖像中人眼型分類問題，利用眼瞼曲線的不同形狀，提出一種基于眼瞼輪廓曲線相似度與眼型指數相結合的人眼分類方法。采用基于輪廓的形狀描述方法，在獲取眼睛初始特征點的基礎上增加采樣點；然后根據上、下眼瞼采樣點與內、外眼角點，通過最小二乘法擬合得到上、下眼瞼曲線方程；通過眼瞼曲線方程計算出上、下眼瞼采樣點的斜率，利用歸一化互相關系數描述上、下眼瞼采樣點斜率相似度；通過眼瞼曲線方程計算眼型指數，與斜率相似度結合使用，達到眼型分類的目的。主要貢獻是：定義了上、下眼瞼輪廓曲線及其相似度，通過關聯眼型指數進行眼型分類。使用該方法對標準眼、圓眼、瞇縫眼、細長眼4種眼型進行分類，獲得了85.17％的正確率。實驗表明，所提方法易于實現，并且具有良好的眼型分類效果。