局部特征臉型分類方法

孫勁光，鄧智碩

(遼寧工程技術大學 電子與信息工程學院，遼寧 葫蘆島 125105)

局部特征臉型分類方法

孫勁光，鄧智碩

(遼寧工程技術大學 電子與信息工程學院，遼寧 葫蘆島 125105)

本文針對傳統臉型分類算法特征點定位不準和過度依賴輪廓曲線的問題，提出了一種人臉輪廓圓形鄰域局部特征表達方式和臉型分類模型。首先，初步定位臉型輪廓特征點；然后，在特征點周圍選取三重八連通圓形鄰域，通過計算一級鄰域、拓展鄰域與中心區域間的紋理變化，生成二進制編碼序列，構造臉型局部特征向量；最后，設計OVO-RBF-SVM多分類模型，實現臉型分類。本文方法在CAS-PEAL人臉庫上進行臉型類型判別，獲得了94.28%的準確率；在相同情況下，分別與基于主動形狀模型和基于下頜曲線模型的臉型類型判別方法進行對比，準確率分別提高了6.64%和6.58%。本文所研究的方法在一定程度上解決了特征點定位相對不準確導致誤差增加的問題，同時盡可能多利用圖片原始信息，保證輪廓特征提取的準確率，具有較強的魯棒性。通過實驗證明本文方法適用于臉型分類。

臉型分類；圓形鄰域；特征編碼；局部特征表達；多分類支持向量機

近年來，在模式識別和計算機視覺等領域中，人臉識別已經成為重要的研究課題。人臉識別即通過計算機提取待處理人臉圖像的特征，在庫中找到對應的身份信息，從而實現人臉與身份的匹配。人臉識別技術在安全領域中扮演著非常重要的角色，而且該技術還具有巨大的應用前景。

香港中文大學湯曉鷗教授領導的計算機視覺研究小組宣布他們開發了一個名為DeepID 系列的深度學習模型,在 LFW (labeled faces in the wild)數據庫中得了 99.45%的識別率,超出了人類用肉眼達到的 97.52%的識別率,這一成果極大地提升了人臉識別技術的可信度,同時也將 Facebook 的DeepFace人臉識別的準確率提升了近2個百分點[1-5]。臉型分類對于人臉識別的速度與準確率起著重要作用。雖然DeepID 系列取得了如此卓越的成果，但由于該模型依然采用局部細節特征及整體特征融合判別形式，與人類對人物識別的認知方式(外形-輪廓-細節)和基于外形再進行細節判斷的相似性判別方式存在不一致性，因此，本文從局部特征出發，以人類的認知方式探索人臉輪廓分類的方法。

傳統的人臉輪廓分類算法過度依賴臉型輪廓的曲線特征，而忽略臉型周圍的紋理特征，在提取臉型輪廓時，對圖片質量要求過高，極易產生誤差，很難構建準確的人臉輪廓曲線。為了克服特征點定位不準確的問題，充分利用圖片原始信息，保證人臉輪廓特征的準確率，提出采用圓形鄰域局部特征表達(round local feature expression，RLFE)的形式描述人臉輪廓特征。

1 相關工作

與此相比，文獻[8]提出了基于ASM主動形狀模型的方法，原理簡單，準確率較高。由先驗知識，將作為訓練樣本的人臉分為橢圓臉、圓臉、方臉和三角臉，訓練不同的臉型得到不同臉型的形狀模型，然后分別通過對比經典ASM模型與分類后模板模型定位的特征點來確定臉型。如模型s0=stype+Δ，其中s0、stype分別表示經典ASM模型和模板模型定位的特征點集合，當Δ越接近零向量，說明待測臉型與模板模型越相似。但是，在實際應用中模型運算量巨大，并且不能解決ASM模型定位不準帶來的誤差。

2 RLFE人臉輪廓特征表達方法研究

為了克服人臉輪廓特征點存在不準確可能性，通過對人臉輪廓特征點周圍的細節特征的分析，以輪廓特征點為核心進行鄰域區域劃分，利用面部區域特征的連貫特性，構建出RLFE表達式，并對每個特征點進行特征編碼，構建輪廓特征向量；以此為基礎，設計多分類器，建立臉型輪廓的多分類模型。

2.1 基于圓形鄰域的人臉輪廓特征區域劃分方法

式中：(xi,yi)表示鄰域內像素點，r為特征點到中心區域邊緣半徑，αgi表示gi區域所對應的圓心角。r值的選取見5.1節。

2.2 特征鄰域對齊

為了保證圖像中的正面人臉處于垂直方向，規定圖像中人臉的眉心到鼻尖的方向為標準方向。根據標準方向與豎直方向的夾角，計算每個鄰域的偏差角度，假設眉心點為A(x1,y1)、鼻尖點為B(x2,y2)，則每個區域需要旋轉偏差角度β，如圖2所示。根據偏差角β測定調整特征鄰域角度，見式(3)和式(4)。

圖1 圓形鄰域示意圖Fig.1 Schematic diagram of circular neighborhood

圖2 偏差角示意圖Fig.2 Schematic diagram of deviation angle

2.3 特征編碼

為了便于人臉特征的分類，本文提出根據圓形鄰域的區域強度關系，構建人臉輪廓區域的特征，提取的特征抽象成編碼。將每個鄰域的平均灰度作為區域強度，即

式中:i=1,2,…,8；pij為點(xij,yij)的灰度值，j=1,2,…,Nj。

通過比較中心區域與各個鄰域的強度關系，即

生成相應的二進制序列；采取異或輸出的方式進行編碼，相同梯度鄰域的強度關系相同，輸出結果為1，否則結果為0。最終結果可以直觀地表達出相同方向梯度上強度關系是否一致，RLFE特征表達的方法見公式(7)～(9)，即

一級鄰域編碼為

式中：i=0,2,…,7。

擴展鄰域編碼為

式中：i=0,2,…,7。

RLFE編碼為

⊕

每張人臉輪廓上特征點按照同位置、同順序的方式排列，將特征點的特征編碼按照該順序級聯起來，級聯后的序列作為該臉的特征向量，記作X=(x1,x2,…,xn)，其中xn表示第n個特征點的特征編碼。由于每個特征點都融合各個方向鄰域間的梯度強度變化關系，特征向量可以準確地表達人臉輪廓，具有較強的鑒別能力。

3 OVO-RBF-SVM分類器設計

3.1 基于Fisher準則的人臉分類RBF-SVM模型設計

基于SVM分類思想與Fisher準則基本思想[9]，本分類模型旨在找到一個最優方向，將原始數據向這個方向投影，使同類數據間距離盡可能小，異類間距離盡可能大。因此本文用Fisher準則的思想，優化RBF-SVM核參數，構建RBF-SVM分類模型。

假設X1=(x11,x12,…,x1n1),X2=(x21,x22,…,x2n2)為RLFE提取的兩類人臉特征。這兩類特征映射到高維度空間中的均值μ1,μ2分別為

類間離散度的平方Sb為

X1和X2的類內離散度的平方分別為

根據Fisher準則，求解最優核參數就轉化為求解最大值。

根據上述方法優化核參數γ得到的RBF-SVM核函數分類模型為

3.2 OVO-RBF-SVM多分類模型

式中：σij表示分類器在第i類和第j類之間的分類結果，ωk表示第k類勝利的次數。

4 算法描述

算法1 RLFE算法描述

輸入 帶有類別信息的N個訓練樣本S，每個樣本人臉輪廓特征點個數為T。

輸出 臉型輪廓特征向量X=(x1,x2,…,xn)。

FORi=1 toN

FORj=1 toT

CodingBij,Cij;

RLFE(x,y);

END FOR

END FOR

算法2 OVO-RBF-SVM多分類算法描述

輸入：帶有K種類別信息的N個臉型輪廓特征向量X，未知的測試樣本T。

輸出：測試樣本類型ANS。

IFσij=0

ωi=ωi+1；

ELSE

ωj=ωj+1；

END IF

END FOR

依照式(17)輸出未知測試樣本的類別。

5 實驗分析與實現

國際上沒有標準的關于臉型的人臉庫，所以本文采用CAS-PEAL人臉庫[10]中的1 000張溫和光照，無表情的正面人臉進行驗證，并綜合10位專家的意見，將其分為圓臉、橢圓臉、方臉和三角臉4種臉型庫。采用交叉實驗方法，每種臉型隨機選出若干個樣本，進行3次實驗。

5.1 鄰域半徑對分類準確率影響分析

由于人臉輪廓的特殊性，圓形鄰域尺度選擇對識別率有較大的影響，偏大的鄰域不能表達鄰域間強度變化特點，偏小的鄰域則過于敏感，易出現更大的誤差，本文在上述人臉庫中對不同鄰域半徑的RLFE特征表達做了研究，結果如表1所示，其中dis表示相鄰兩個特征點間的距離。

表1 不同鄰域半徑對準確率的影響

5.2 特征點定位對分類準確率影響分析

由于中心區域的存在，使得對特征點定位要求降低，并不需要十分精準的定位人臉輪廓，只需中心區域定位在面部輪廓即可。如圖3所示，特征點A定位在人臉輪廓上時，我們認為特征點A定位準確；特征點B未定位在輪廓上，但是特征點中心區域定位在輪廓上，我們認為特征點B定位不準確。

圖3 特征點定位示意圖Fig.3 Schematic diagram of feature point location

如表2～4所示，隨著不準確特征點個數的上升，識別率略有下降，當初始定位點存在1/2不準確時，基本不影響識別準確率。所以本文所研究的方法基本上解決了特征點定位不準帶來的識別率下降問題，在一定的程度上提高了識別系統的容錯性。

表2 特征點全部定位在人臉輪廓上的實驗結果

Table 2 The experimental results of all feature points on the face contour

臉型測試樣本數正確分類數第1次第2次第3次準確率/%圓臉4542414291.85橢圓臉5048474794.66方臉5048494896.66三角臉3028282792.22總計17516616516494.28

表3 1/2特征點未在人臉輪廓上的實驗結果

Table 3 The experimental results with 1/2 feature points not on the face contour

臉型測試樣本數正確分類數第1次第2次第3次準確率/%圓臉4541404190.37橢圓臉5047474794.00方臉5048484896.00三角臉3028272791.11總計17516416216393.14

表4 3/4特征點未在人臉輪廓上的實驗結果

Table 4 The experimental results with 3/4 feature points not on the face contour

臉型測試樣本數正確分類數第1次第2次第3次準確率/%圓臉4513161633.33橢圓臉5019171735.33方臉5010151426.00三角臉30851025.56總計17550535730.47

5.3 不同算法準確率對比分析

為了驗證本文所研究方法的有效性，與其他具有代表性的算法進行對比實驗。從表5可以看出，由于解決了特征點定位不準的問題，本文所研究的方法的準確率相對于其他算法有較大提升，從分類的結果上來看，還是十分令人滿意的。

表5 各種算法準確率比較

6 結束語

針對傳統臉型分類算法的不足，本文提出用RLFE特征表達方式構建人臉輪廓特征向量，以初始特征點為圓心劃分出三重鄰域，盡可能減小特征點定位帶來的分類準確率誤差。與傳統的臉型分類算法相比，分類準確率有較大的提升。但是本文只在靜態、溫和的環境下進行實驗，在動態、復雜環境下區分臉型是未來的工作重點。隨著虛擬現實的發展，未來三維數據處理必將成為研究的熱點，將本文方法移植到三維圖像[11]上也是下一步的工作重點。

[1] LUO Ping, WANG Xiaogang, TANG Xiaoou. Hierarchical face parsing via deep learning[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA, 2012: 2480-2487.

[2]SUN Yi, WANG Xiaogang, TANG Xiaoou. Deep learning face representation from predicting 10,000 classes[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 1891-1898.

[3]LU Chaochao, ZHAO Deli, TANG Xiaoou. Face recognition using face patch networks[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 3288-3295.

[4]ZENG Xingyu, OUYANG Wanli, WANG Xiaogang. Multi-stage contextual deep learning for pedestrian detection[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, VIC, Australia, 2013: 121-128.

[5]SUN Yi, WANG Xiaogang, TANG Xiaoou. Hybrid deep learning for face verification[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 1489-1496.

[6]王俊艷, 蘇光大. 基于下頜輪廓線的人臉分類方法[J]. 紅外與激光工程, 2004, 32(2): 159-163. WANG Junyan, SU Guangda. Human face classification method based on chin contour[J]. Infrared and laser engineering, 2004, 32(2): 159-163.

[7]凌旭峰, 楊杰, 楊勇. 基于輪廓線曲率特征的人臉分類及識別[J]. 紅外與激光工程, 1999, 28(4): 37-39. LING Xufeng, YANG Jie, YANG Yong. Curvature-feature-based method for human face classification and recognition[J]. Infrared and laser engineering, 1999, 28(4): 37-39.

[8]杜立強, 賈鵬, 周宗潭, 等. 基于主動形狀模型的人臉臉型自動分類算法[J]. 計算機應用, 2009, 29(10): 2710-2712, 2715. DU Liqiang, JIA Peng, ZHOU Zongtan, et al. Human face shape classification method based on active shape model[J]. Journal of computer applications, 2009, 29(10): 2710-2712, 2715.

[9]KIM S W, OOMMEN B J. On using prototype reduction schemes to optimize kernel-based fisher discriminant analysis[J]. IEEE transactions on systems, man, and cybernetics, part B (cybernetics), 2008, 38(2): 564-570.

[10]GAO Wen, GAO Bo, SHAN Shiguang, et al. The CAS-PEAL large-scale Chinese face database and baseline evaluations[J]. IEEE transactions on systems, man, and cybernetics—part A: systems and humans, 2008, 38(1): 149-161.

[11]SARAKON P, CHAROENPONG T, CHAROENSIRIWATH S. Face shape classification from 3D human data by using SVM[C]//Proceedings of the 7th Biomedical Engineering International Conference. Fukuoka, Japan, 2014: 1-5.

Local feature facial classification method

SUN Jinguang1， DENG Zhishuo2

(School of Electronic and Information Engineering, Liaoning Technical University, Huludao 125105, China)

Considering the problems where the feature points of traditional facial classification algorithms are not located in the position of the actual feature points and are heavily dependent upon the contour curve, a facial contour circular neighborhood local feature expression and a facial classification model were proposed.First, the preliminary facial contour feature points were located and then around the feature points, the triple eight connected round-neighborhood was selected.By calculating a neighborhood level and expanding the neighborhood with the central area between the texture changes, the binary code sequence was generated and the tectonic facial local feature vectors can be created. Then, the faces were classified by designing the OVO-RBF-SVM classification model. The experiment was conducted on the CAS-PEAL face library for facial contour feature discrimination, achieving 94.28% accuracy rate; under the same circumstances, the face-type discrimination methods which are based on the active shape model and jaw curve model were compared, and the accuracy rate raised 6.64% and 6.58%, respectively. To a certain extent, the method proposed in this paper solves the problem where the error increases when the location of the feature points are relatively inaccurate, and at the same time, the original picture information is utilized as much as possible, to ensure the accuracy of the contour feature extraction, which has strong robustness. The experimental results show that this method is suitable for facial classification.

facial classification; round-neighborhood; feature coding; local feature representation; multi classification support vector machineface

孫勁光，女，1962年生，博士，教授，博士生導師，計算機學會(CCF)會員(21314S)，主要研究方向為計算機圖像處理、計算機圖形學、知識工程。

鄧智碩，男，1992年生，碩士研究生，研究方向為計算機圖像處理。

10.11992/tis.201605021

http://kns.cnki.net/kcms/detail/23.1538.TP.20170227.1805.016.html

2016-05-23.

日期：2017-02-27.

國家自然科學基金青年基金項目(61401185).

鄧智碩. E-mail:deng2006zs@163.com.

TP391.41

A

1673-4785(2017)01-0104-06

孫勁光，鄧智碩. 局部特征臉型分類方法[J]. 智能系統學報， 2017, 12(1): 104-109.

英文引用格式：SUN Jinguang， DENG Zhishuo2. Local feature facial classification method[J]. CAAI transactions on intelligent systems, 2017, 12(1): 104-109.