基于高次曲線擬合的人臉特征表示

劉 宏，張樹功

（吉林大學數學研究所，長春 130012）

基于高次曲線擬合的人臉特征表示

劉 宏，張樹功

（吉林大學數學研究所，長春 130012）

基于數字化曲線擬合技術，提出一種新的人臉圖像不變特征表示方法.該方法先將人臉邊緣圖像分割為高次多項式及拋物線段構成的特征曲線段集合，再運用極慣性矩度量不同人臉圖像在特征曲線段兩側的局部紋理及形態差異.實驗結果表明，該方法與直線邊緣圖法和拋物線邊緣圖法相比，能更好地描述人臉圖像的分布特征.

邊緣提取；曲線擬合；高次多項式；極慣性矩

1 人臉邊緣圖像的曲線表示及相應不變特征的提取

1.1 邊緣提取及線段擬合

對于待識別的人臉圖像，首先要進行圖像邊緣的提取.本文采用Canny邊緣提取算子［9］，該算子較其他算子對圖像隨機噪聲更不敏感，提取出的邊緣圖像較平滑和穩定.在得到邊緣圖像后，即可利用文獻［10－11］中的線段擬合方法將其分割成若干直線段、拋物線段或高次多項式線段組成的線段圖.該線段擬合方法稱為數字曲線結構性擬合，其思想是利用數字曲線各點間的拓撲關系限制，對待擬合曲線中選取的若干點集進行擬合誤差估計，從而在避免對待擬合曲線全體點集進行擬合誤差估計的前提下，求出擬合誤差小于預設值的多項式擬合曲線.該方法可簡要表述如下：

對由n個點組成的數字曲線

令G為l次多項式擬合函數構成的向量空間，l?n.其中任意函數g（x）可表示為

記g（x）對曲線C的擬合誤差為

則對曲線C的最優擬合函數誤差可表示為

此時，擬合多項式為l次多項式，則待擬合曲線C中所有點數為l＋2的子集均可用來估計最優擬合多項式及其擬合誤差［10］.這些子集稱為曲線C的基礎子集，記這些基礎子集的集合為M.

對某基礎子集D∈M，

即使用基礎子集可對整個曲線的擬合誤差進行估計［10］.特別地，當基礎子集M具有一定拓撲關系限制，如坐標間距為固定值且點與點之間關系為四連通或八連通時，用基礎子集M的剛性子集［11］的擬合誤差~r（c）即可對r（C）進行估計.顯然，數字圖像中構成曲線的點集即滿足該條件.

剛性子集的選取有多種選擇.以直線擬合為例，對有i＋1個點的點集C＝（p1，p2，…，pi，pi＋1），其中的任意三點均構成該點集的基礎子集，而如（p1，pi／2＋1，pi＋1），（p1，pi，pi＋1）等則可構成其剛性子集［11］.進行誤差估計時，既可使用其中某一剛性子集，也可同時使用多個剛性子集.當使用多個子集時，其中之一的擬合誤差超過準許上限后即結束擬合.圖1為若干點構成的一條數字曲線，如對其進行直線段擬合，則可選取剛性子集（p1，pi，pi＋1）進行擬合誤差估計.

利用該方法，可將邊緣圖像分割為若干直線段或多項式曲線段.圖2（A）為人臉邊緣圖像；圖2（B）為對邊緣圖像進行直線段擬合后的結果；圖2（C）為拋物線段擬合的結果.

比較邊緣圖像和擬合結果可見，由于面部輪廓線多呈現出曲線特性，僅使用直線段進行擬合，易導致原本連續的曲線特征被人為截斷，破壞了特征的整體性，弱化了特征的判別力.在該問題上，拋物線擬合比直線段擬合的效果更好.但僅使用拋物線進行擬合，仍然有明顯的局限性.圖3（A）框中為人臉鼻翼側自然褶皺形成的連貫邊緣線段，圖3（B）和圖3（C）分別為拋物線段擬合和高次多項式線段擬合結果.由圖3可見，高次多項式線段更真實地還原了原始圖像的分布特征.

對人臉圖像進行邊緣提取后，部分區域的邊緣線曲線特征不明顯，長度也較短，使用直線段或拋物線段擬合，可使特征提取簡化，同時又不會產生特征的破碎化.而對如圖3中所示的若干區域，使用高次多項式曲線則能最大限度地還原原始圖像的分布特性，提高擬合精度.在實驗中，利用面部器官分布的先驗知識，集中對此類區域中（如鼻翼、臉頰、唇邊）的邊緣進行高次多項式線段擬合，比僅采用單一的低次曲線類型更易取得較好結果.

圖1 剛性子集Fig.1 Rigid subcollection

圖2 面部邊緣圖像的不同曲線擬合結果Fig.2 Different curve fitting result for face edge images

圖3 高次曲線擬合Fig.3 High－order curve fitting

1.2 不變特征的選取

如圖4所示，對人臉圖像（A）進行邊緣提取及線段擬合后，可得到線段圖像（B）.對圖像（B）中箭頭處所指線段，取原始圖像中該線段所在位置兩側一定寬度內的像素點，構成該線段的相關區域，如圖4（C）.然后將該相關區域均分成若干子塊，以每子塊中心位置像素值作為參考，與該子塊內其他像素進行比較，將與其灰度值相近的像素提取出來，即可有效刻畫出各線段附近像素的分布情況.圖5（A）為相關區域中一子塊；圖5（B）中C，S，D點分別表示子塊的中心點、與中心點相似的點及與中心點相異的點；圖5（C）為經過分類后，子塊所體現出的分布特征.

圖4 原始圖像中抽取的特征Fig.4 Features extracted from original face image

稱相似點構成的區域為相似區域S，相異點組成的區域為相異區域D.圖6給出了子塊內若干種可能出現的區域分布情況，其中灰色區域表示子塊內的相似區域，白色區域表示相異區域.此時可將各子塊視為二維平面上非均勻分布的具有不規則外形的幾何圖形，對其特性的量化描述可使用極慣性矩的概念.

圖5 相關區域分成的兩類子塊Fig.5 Two types of blocks divided from correlative area

圖6 子塊的不同分布Fig.6 Distribution of the blocks

如圖7所示，A為某平面圖形面積（對應上述子塊的相似區域），C為該圖形形心.對于C，可給出極慣性矩J的一般性定義易證，J為不受圖像坐標平移、旋轉影響的不變量［12］.利用這一特性，可有效刻畫圖像的局部分布特性.由圖6可見，通過對子塊內不同區域的劃分，實際上體現出了人臉圖像局部紋理的固有分布特性.顯然，在面部姿態和表情未發生顯著變化的情況下，這些分布特性不會出現大的改變.

在LEM方法中，不變特征的提取和比對僅考慮了直線段圖像間的差異，而未考慮原圖像的像素分布差異，無法有效利用圖像紋理中蘊含的判別信息.而PEM方法雖然在識別過程中，加入了計算線段兩側像素點差異的內容，但僅沿線段提取了若干孤立的像素點，未能充分體現線段兩側相關區域的整體分布特征.當局部光照條件發生變化或面部表情發生小幅度變化時，即有可能導致采樣點發生較大改變，從而影響識別的準確性.相較于這兩種方法，本文選取的不變特征則能較好地避免上述問題.

圖7 極慣性矩Fig.7 Polar moment of inertia

2 算法的實現

在提取邊緣前，須對人臉圖像進行歸一化處理，根據CSU人臉識別評估體系中提出的人臉圖像歸一化方法［13］，對來自于FERET［14］人臉圖片庫的人臉圖像進行以下操作：

1）幾何歸一化.利用眼球中心坐標將人臉圖像旋轉為水平狀態，并使圖像具有相同外尺寸；

2）橢圓輪廓化.使用一橢圓面具對人臉圖像外邊緣進行剪裁，僅使額頭、下巴和兩頰以內部分可見；

3）直方圖均衡化.對橢圓面具內像素進行直方圖均衡化處理.

處理結果如圖8所示，圖8（A）為原始圖像，圖8（B）為處理后的圖像.

然后利用Canny算子，對圖像進行邊緣提取.在提取的邊緣圖像上，利用曲線擬合方法，完成線段分割.提取線段后，即可對原圖像中該線段對應的相關區域進行分析.如圖9所示，對于提取出的線段AB（圖9（A），（B），（C）中，AB分別為直線段、拋物線段和高次多項式線段），沿該線段兩端點連線的垂線方向，將AB向其兩側分別平移若干像素，得到新線段A′B′和A″B″.這兩條新線段和直線段A′A″及B′B″構成了一個封閉圖形.該封閉圖形在原圖像中圍出的區域即為線段AB在原圖像中的相關區域.等距平移線段A′B′至A″B″，將相關區域等分為m份，再等距平移A′A″至B′B″，將區域均分為n份，即可將相關區域劃分為m×n個子塊（以圖9為例，m＝n＝6，則區域被劃分為36個子塊）.此時，當子塊長寬均為奇數個像素時，可直接得到中心像素的坐標，并提取其灰度值；若子塊一邊為偶數，則取位于中心位置兩點灰度值的均值；若子塊長寬均為偶數，則取位于中心位置的四點灰度值均值.為了克服隨機噪聲對實驗的影響，可用中心點及其周圍鄰域中值濾波后的灰度值代替原灰度值.利用該灰度值，考察相關子塊中像素分布情況.再利用極慣性矩，求各子塊關于相關區域中心點的不變特征.用極慣性矩平行移軸公式［12］，可得該像素關于某點（x，y）的極慣性矩

圖8 均一化人臉圖像Fig.8 Unified face images

圖9 相關區域網格Fig.9 Correlative area grid

圖10 極慣性矩的計算Fig.10 Calculation of polar moment of inertia

即先求得子塊內某像素關于自身中心的極慣性矩，再求出其關于整個相關區域中心的極慣性矩.

進一步，考慮到像素灰度值可視為人臉在一定光照條件下的反射響應，可給出能量函數的定義

其中：Eij為i行j列像素的能量函數；αij為與人臉物理特性相關的權重系數；Gij為i行j列像素的灰度值.對某相關區域內第k個子塊內所有相似點的能量函數求和，記為Ek.因此，以各子塊能量函數組成該相關區域的特征序列，即每個相關區域的特征序列均由m×n個特征構成（以圖9為例，該相關區域的特征為36個），而每個相關區域的特征序列又可視為整個圖像的一個特征.

分別獲得待測圖像和樣本圖像的特征序列后，對待測圖像中某線段，可在樣本圖像中尋找與其坐標最接近的線段作為對應線段，比較二者間相關區域不變特征序列間的差異.考慮到這兩個相關區域未必完全重疊，且顯然兩區域重疊度越高，二者間的差異越具有判別性，故在計算最終差異時，需加入重疊度的計算.圖11（A）和圖11（B）分別表示兩個對應線段的相關區域，圖11（C）中陰影區域即二者的重疊部分.

圖11 重疊區域Fig.11 Overlap area

考慮兩個對應線段（即坐標最相近的兩線段）的相關區域，兩者中較大區域的面積記為Amax，重疊區域面積記為Aol，重疊率R＝Aol／Amax.設參加比對的兩個樣本分別有M1，M2個相關區域，M1＜M2，每個相關區域有K個子塊，記某樣本第j個相關區域內第i個子塊的相似區域Sij對應的能量函數為eij，則第j個相關區域的能量函數為

若分別記兩樣本對應的某相關區域的能量函數為Eaj和Ebj，則樣本間差異為

3 實 驗

選取圖片庫中150人作為實驗對象，對其多幅圖像提取邊緣并進行高次多項式擬合及不變特征提取.通過對邊緣提取及擬合階段各閾值的調整，可控制每幅圖像相關區域的數量.此時，可視每個相關區域為圖像的一個特征，該特征由其內部特征序列描述.隨后，取每個實驗對象若干圖像作為該實驗對象的標記樣本組，其余圖像則為待測樣本.當待測樣本與某標記樣本組中的一幅圖像特征差異最小，且兩者確屬同一人的圖像時，認為識別成功.如圖12（A）所示，A，B，C三組數據分別表示使用3，2，1個圖像作為標記樣本時，在不同特征數量（即相關區域的數量）下，算法識別率的變化情況.如圖12（B）所示，A，B，C三組數據分別表示使用直線段、高次多項式與拋物線混合線段、拋物線段提取特征后，在不同特征數量下算法的效果.

圖12 不同實驗方法的結果Fig.12 Results by different experiment methods

由圖12可見，當其他條件相同時，使用同一人的多張圖像構成樣本能更充分體現其在不同光照、表情等情況下的特性，從而取得更好的識別結果.另一方面，當樣本特征數量由5開始逐步增加時，識別率有明顯提高，但數量增加到一定程度后，識別率反而有所下降.經分析認為，當線段及其相關區域達到一定數量后，即能有效刻畫人臉特征的分布情況，如繼續增加特征數量，相關區域間的重疊情況會明顯增加，過多的冗余信息反而弱化了最具判別力的若干單個特征在特征比對中的作用，從而影響了算法的效果.因此，特征數量的控制及特征的選擇能在很大程度上控制識別結果的優劣.本文目前主要從圖像邊緣的強弱和線段的長度等方面對特征進行篩選，當圖像小范圍內出現多條長度和強度都相近的邊緣線段時，這些線段都將參與最終的特征比對，而最有效的方法則是在其中挑選出最具代表性的線段，從而避免信息冗余對判別帶來的干擾.

綜上所述，本文采用高次多項式曲線擬合算法分割圖像邊緣，在獲得圖像較精確描述的同時，與直線段相比，提高了算法復雜度.實驗結果表明，在相同條件下，分別使用兩種擬合方法對同一圖片進行擬合運算時，高次多項式曲線擬合與直線段擬合的時間開銷相比雖有一定程度增加，但仍屬10ms量級.因此，其計算成本是可接受的.

［1］ Patil A M，Kolhe S R.2DFace Recognition Techniques：A Survey［J］.International Journal of Machine Intelligence，2010，2：74－83.

［2］ Biederman I，Ju G.Surface versus Edge－Based Determinants of Visual Recognition［J］.Cognitive Psychology，1988，20（1）：38－64.

［3］ Bruce V，Hanna E，Dench N，et al.The Importance of“Mass”in Line Drawings of Faces［J］.Applied Cognitive Psychology，1992，6：619－628.

［4］ Takács B.Comparing Face Images Using the Modified Hausdorff Distance［J］.Pattern Recognition，1998，31：1873－1881.

［5］ ZHAO Wenyi.Face Processing：Advanced Modeling and Methods［M］.Burlington：Elsevier，2006：254－286.

［6］ GAO Yongsheng，Leung M K H.Face Recognition Using Line Edge Map［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（6）：764－779.

［7］ DU Cheng，SU Guangda，LIN Xinggang.Face Recognition Using a Modified Line Segment Hausdorff Distance［C］／／Proceedings of the Second International Conference on Machine Learning and Cybernetics.Xi’an：IEEE，2003：3016－3020.

［8］ Deboeverie F，Veelaert P.Face Recognition Using Parabola Edge Map［J］.Advanced Concepts for Intelligent Vision Systems Lecture Notes in Computer Science，2008，5259：994－1005.

［9］ Canny J.A Computational Approach to Edge Detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679－685.

［10］ Veelaert P，Teelen K.Fast Polynomial Segmentation of Digitized Curves［J］.Discrete Geometry for Computer Imagery，2006，4245：482－493.

［11］ Veelaert P.Constructive Fitting and Extraction of Geometric Primitives［J］.Graphical Models and Image Processing，1997，59（4）：233－245.

［12］ 范欽珊.工程力學教程［M］.北京：高等教育出版社，1998.（FAN Qinshan.Engineering Mechanics［M］.Beijing：Higher Education Press，1998.）

［13］ Bolme D S，Beveridge J R.The CSU Face Identification Evaluation System：Its Purpose，Features and Structure［J］.Computer Vision Systems，2003，2626：304－313.

［14］ Phillips P J，Moon H J.The FERET Evaluation Methodology Face－Recognition Algorithms［EB／OL］.2011－02－15.http：／／www.nist.gov／itl／iad／ig／colorferet.cfm／.

（責任編輯：韓 嘯）

Face Eigen Expression Based on High－Order Curve Fitting

LIU Hong，ZHANG Shugong
（Institute of Mathematics，Jilin University，Changchun130012，China）

We proposed a new method to extract invariant features from human face image.With the help of digital curve fitting，we represented face binary edge map with high－order polynomial and parabola segments.Then，the polar moment of the inertia of pixel block beside the curve segments was used to measure the difference between local texture and shape.From the analysis of the experimental result，it is concluded that compared with line edge map and parabola edge map，this method can give a better way to describe the feature distribution of face images.

edge extraction；curve fitting；high－order polynomial；polar moment of inertia

TP391.4

A

1671－5489（2014）04－0746－07

在人臉識別領域，相對于三維圖像和紅外圖像等數據來源，二維圖像具有更便于獲取和處理的優勢，因此，基于二維圖像的人臉識別技術得到了廣泛應用［1］.其中特征臉法、彈性模板匹配法和Bayes法等分別利用了二維圖像中蘊含的矩陣特征、小波分布特征和概率分布特征.研究表明［2－5］，面部邊緣圖像中已蘊含了豐富的、可供辨識的信息.因此，除上述幾種方法外，還有一種算法，試圖通過提取邊緣圖像中相應的幾何分布特征完成對人臉的分類或識別.如Gao等［6］提出的LEM（line edge map，即直線邊緣圖）方法，利用人臉圖像的邊緣圖像，生成相應的直線段圖集，并由此提取其中具有辨識力的特征［7］.Deboeverie等［8］提出了PEM（parabola edge map，即拋物線邊緣圖）方法，運用拋物曲線完成人臉邊緣圖像的分割和特征提取，使這種算法有了進一步的發展.以上兩種方法均使用單一類型的線段提取圖像特征，雖然便于數據處理和存儲，但在處理某些相對復雜的面部曲線時，會不可避免地將原來具有整體性的特征碎片化，從而使算法的誤差增大、判別能力降低.本文針對該問題，充分利用人臉器官輪廓線分布規律的先驗知識，引入高次曲線對邊緣圖像進行分割，使提取出的線段特征更具整體性和穩定性，并在此基礎上，引入新的不變特征提取方法，取得了較好的實驗效果.

10.13413／j.cnki.jdxblxb.2014.04.22

2013－10－18.

劉 宏（1982—），男，漢族，博士研究生，從事數值計算和模式識別的研究，E－mail：hongliu07＠mails.jlu.edu.cn.通信作者：張樹功（1958—），男，漢族，博士，教授，博士生導師，從事數值計算和計算機代數的研究，E－mail：sgzh＠mail.jlu.edu.cn.

國家自然科學基金（批準號：11171003）和吉林省自然科學基金（批準號：20101597）.