基于興趣點定位的局部方向模式人臉識別方法

羅 元，李慧敏，張 毅

(1.重慶郵電大學 光電工程學院，重慶 400065； 2.重慶郵電大學 信息無障礙與服務機器人工程技術研究中心，重慶 400065)

(*通信作者電子郵箱li.huimin666@163.com)

基于興趣點定位的局部方向模式人臉識別方法

羅 元1，李慧敏1*，張 毅2

(1.重慶郵電大學 光電工程學院，重慶 400065； 2.重慶郵電大學 信息無障礙與服務機器人工程技術研究中心，重慶 400065)

(*通信作者電子郵箱li.huimin666@163.com)

為了解決局部方向模式(LDP)在人臉特征提取過程中采用固定的平均分塊方式，不能自適應突出不同樣本特征的這一問題，提出一種基于興趣點定位的改進LDP人臉特征提取方法。興趣點所在位置特征信息豐富，其根據不同圖像自動分布，可以突出不同圖像的不同特點。首先定位人臉圖像的加速魯棒特征(SURF)特征點，并通過K-means聚類算法優化興趣點的數量，確定興趣點位置；之后以每個興趣點作為中心建立LDP特征提取窗口，計算其4方向LDP編碼，得出圖像的特征向量；最后，采用支持向量機(SVM)對人臉進行識別分類。使用該改進算法分別在FERET和Yale數據庫中進行實驗，并與原始LDP、4方向的LDP方法(4-LDP)、融合PCA與LDP的特征提取算法(PCA-LDP)進行了比較，實驗結果表明，所提出的特征提取方法在保證系統實時性的同時，可以有效提高人臉識別的準確率與穩定性。

局部方向模式；加速魯棒特征；K均值聚類；人臉識別；興趣點

0 引言

作為模式識別領域最重要的研究方向之一，人臉識別技術正逐步應用于人們的日常生活中。隨著人臉考勤、人臉門禁等應用的普及，人臉識別開始邁向新的領域[1]。特征提取是人臉識別系統中的重要步驟，好的人臉特征應同時滿足簡單性與有效性。人臉特征提取一般可以按照全局特征和局部特征來分類，常用的全局特征提取算法包括主成分分析法(Principal Component Analysis, PCA)[2-3]、獨立分量分析法(Independent Component Analysis, ICA)[4]和離散余弦變換(Discrete Cosine Transform, DTC)[5]等。相比于全局特征，局部特征由于其對光照、姿態變化等影響有較強魯棒性而得到了廣泛應用，經典的局部特征提取算法主要有局部Gabor變換[6]、局部二值模式(Location Binary Pattern, LBP)[7]、局部方向模式(Location Direction Pattern, LDP)[8]等。局部方向模式LDP是Jabid等[9]在2010年首次提出的一種人臉表情特征提取方法。2012年，Jabid等在文獻[10]中證實了LDP紋理提取算法在人臉識別領域也有著較好的表現。與LBP相比，LDP特征提取算法對光照變化及隨機噪聲不敏感，且可以得出較好的紋理提取結果。2014年，李杰等[11]對原始LDP算法的編碼方向進行了歸一化處理的改進，得到了較好的人臉識別結果。2016年，羅元[12]發現4方向的LDP特征足以作為人臉特征進行識別，在識別速率上有了很大提高。同年，Luo等[13]將LDP特征與全局特征PCA結合在一起作為人臉的特征描述，全局特征與局部特征的融合使識別率得到了顯著提高。

目前為止，大多數基于LDP的人臉特征算法都采用固定的分塊灰度直方圖來描述其紋理信息，不能根據特定的人臉而自適應地提取特征。針對這一問題，本文提出了一種基于興趣點定位的改進LDP算法，以興趣點為中心建立LDP紋理提取窗口。興趣點也可理解為特征點，其所在位置包含了人們最感興趣的信息。興趣點的一個重要特點是“可重復性”，即在不同圖像中的相同場景具有相似的興趣點分布結果。以人臉興趣點提取為例，同一個人臉在不同的圖像中可能會有位移、旋轉、姿態偏轉等狀態變化，但興趣點在該人臉上的分布應是相似的。利用興趣點的這一特點，本文提出的改進LDP算法通過興趣點自動地定位LDP特征提取窗口，彌補了固定窗口提取特征不能很好地適應圖像中人臉的位置改變、姿態偏轉等情況而導致提取效率較低的缺點。本文算法在Yale人臉庫及FERET數據庫上進行實驗，結果表明，本文算法在識別率與穩定性上明顯優于LDP算法。

1 局部方向模式(LDP)

局部方向模式(LDP)是一種基于LBP算法的改進方法，該方法彌補了LBP方法對光照變化及隨機噪聲不穩定的缺點。LDP算法的關鍵是采用Kirsch掩膜[14]計算圖像8個方向的邊緣響應。以下是8個方向的Kirsch模板：

在一個3×3的灰度像素塊上，將中心點X分別與8個方向的Kirsch算子進行卷積運算，從而獲得中心點周圍的8鄰接像素值，即8方向的邊緣響應返回值，記作mi(i=0, 1, …,7)[15]。選取前k個較大的Kirsch值賦1，其余均賦0，得出相應的LDP編碼。具體的編碼方式如圖1所示。

圖1 LDP算子編碼方式Fig. 1 Encoding mode of LDP

將四周8鄰域的編碼按照順時針方向讀取8個二進制編碼，并將該二進制數作為此矩陣的中心點的灰度值，記作LDPk。LDPk具體由式(1)得出。

(1)

其中：mi為8個鄰接像素中第i個邊緣響應值，Nk為選定的8個mi中第k個比較大的值。

在LDP特征向量生成方面，一般采用將人臉平均分為若干個圖像塊，分別計算每個圖像塊的LDP編碼，最后將其結合起來作為人臉的LDP特征向量。然而，貢獻最大的紋理特征往往是在人臉中最具代表性的興趣點附近生成。受此啟發，本文提出了一種基于興趣點的改進LDP人臉特征提取算法。

2 基于興趣點定位的改進LDP人臉識別

2.1 興趣點定位

對人臉興趣點的定位是本文算法的核心步驟，興趣點所在的位置包含了豐富的用于人臉分類識別的特征信息。考慮到興趣點提取的速率以及興趣點數目須一致的問題，本文選擇了加速魯棒特征(Speeded Up Robust Feature, SURF)點提取算法與K-means聚類算法共同實現興趣點的定位。

2.1.1 SURF點位置信息提取

SURF是由Bayet等[16]于2006年提出的一種魯棒的局部特征描述子。SURF點的檢測定位首先要構建圖像的高斯金子塔尺度空間。輸入圖像I經過高斯濾波后的每個像素都采用Hessian矩陣行列式進行近似。式(3)為像素點X=(x,y)在尺度σ下Hessian矩陣計算。

(2)

DSURF=det(Happrox)=DxxDyy-(ωDxy)2

(3)

其中，高斯加權系數ω取0.9。通過計算DSURF求出三個尺度(本層及上下層)下所有極值點，并進行非極大值抑制(Non-Maximum Suppression, NMS)，即將某像素點與其鄰域26個點進行比較，若非局部最值，則剔除，其余保留。最后，采用三維二次函數插值擬合進行極值點精確定位，即可得出SURF點的位置信息。

2.1.2 K-means聚類算法定位興趣點

K-means聚類算法采用距離作為相似性的評價指標，根據給定的聚類數目K，計算出目標矩陣中K聚類元素中心點[17]。在得出人臉圖像的SURF點具體坐標后，隨機選擇其中K個特征點作為聚類中心cj=(cj1,cj2)，其他特征點作為聚類對象si=(si1,si2)，計算聚類對象與聚類中心的歐氏距離D(si,cj)。其計算公式如下：

(4)

若聚類對象si滿足D(si,cj)=min{D(si,cj),j=1,2,3,…,K}，則將其歸入cj所在的類ωj。根據聚類結果，重新計算聚類中心。聚類中心即ωj中所有點的算數平方。具體計算如下：

(5)

聚類中心更新完畢后，需對其更新狀態進行判斷。若此次聚類中心狀態與上次狀態一致，則認為聚類完畢。最終得到的聚類中心即興趣點的位置。聚類前后的對比圖如圖2所示。

圖2 SURF點與聚類后的興趣點分布Fig. 2 Distribution of SURF points and clustered interest points

興趣點根據不同圖像的特征進行自動分布的特點決定了其對人臉姿態變化的魯棒性。圖3為人臉圖像在不同姿態下的興趣點分布圖對比。由圖3可知，對于不同人臉及姿態變化，興趣點會自動地分布定位以適應不同人臉的特點，仍主要集中于信息豐富的五官等部位，在人臉識別分類過程中有助于達到同類樣本之間相似度最大而不同樣本之間相似度最小的目的。

圖3 不同姿態下興趣點分布Fig. 3 Interest points distribution in different poses

2.2 基于SURF-LDP的人臉識別系統

與LBP算法相比，LDP特征提取算法具有對光照、隨機噪聲魯棒性強等優點。文獻[12]的研究表明，4個方向的LDP算法足以很好地描述出人臉紋理特征。圖4分別表示人臉圖像經8方向的原始LDP算子處理的紋理特征提取圖與經4方向LDP算子處理的紋理特征提取圖。

一般來說，在人臉識別中，LDP紋理特征通常采用將人臉平均分為若干個子窗口的方式進行提取，子窗口位置的選擇是固定的，不能突出反映不同人臉的不同特點，比如LDP算法提出者Jabid在其文獻[9]中采用7×6的分塊方式；同時，該算法遍歷整幅圖像，運行速度較為緩慢。為了解決這兩個問題，本文提出了一種基于興趣點的人臉LDP特征提取方法，命名為SURF-LDP。

圖4 原始LDP與4方向LDP處理結果對比Fig. 4 Comparison of experimental result with initial LDP and 4-direction LDP

本文提出的SURF-LDP是基于興趣點定位的改進LDP算法，由興趣點提供為人臉識別貢獻最大的區域分布，自動地確認LDP特征提取窗口。興趣點的提取是根據不同圖像的不同特點提取的，因此本文算法實現了LDP特征提取窗口的自動選取，對同一人的不同姿態變化具有較好的魯棒性。在興趣點處進行的紋理提取階段，本文選擇了4方向的LDP算法，此算法在之前的工作中已驗證在保證一定的識別效果同時有著更高的速率[12]。

基于SURF-LDP的人臉識別算法流程為：

步驟1 對人臉圖像進行SURF點提取。

步驟2 采用K-means聚類算法對SURF點的分布與數目進行優化。

(6)

圖5 SURF-LDP特征提取原理圖Fig. 5 Schematic diagram of SURF-LDP feature extraction

步驟4 將圖像塊Pn的直方圖特征由左到右、由上到下的順序聯合起來，作為人臉的SURF-LDP特征。人臉特征描述向量如式(7)所示。

(7)

其中，σ為HLDPn的標準差。

步驟5 以SURF-LDP特征向量作為樣本模板，采用SVM分類器對人臉進行分類識別。

3 實驗結果與分析

本文實驗分別在FERET數據庫及Yale數據庫上進行驗證。Yale數據庫包含了165張人臉照片，每人11張；FERET數據庫共包含1 400張人臉照片，每人7張。圖6為Yale數據庫與FERET數據庫中部分人臉樣本。

圖6 Yale人臉庫與FERET人臉庫中部分人臉圖像Fig. 6 Partial face images in Yale and FERET databases

為了便于實驗結果的統一對比，本文將兩個數據庫中人臉圖像的尺寸作了初始化處理，大小均設置為100×100。為了得出本文算法中最適合的興趣點聚類數目，分別在不同的聚類數目下進行人臉識別實驗。其中，兩個人臉庫中的各類人臉均選擇4張圖像作為訓練樣本，剩下人臉圖像作為測試樣本。圖7為本文提出的人臉識別算法在不同數目的興趣點下的最佳識別率，分別取了8、16、24、32、40、48六種聚類數目進行比較。

圖7 不同聚類數目下的人臉識別率Fig. 7 Face recognition accuracy under different number of clustered points

由圖7可知：當聚類數目小于32時，人臉識別準確率隨著興趣點數目的增多而變高；當聚類數目大于32時，人臉識別率并沒有繼續增加。這是由于當興趣點數目大于32時，容易由于興趣點的分布過于密集而造成重復提取，對于識別準確率并沒有太大貢獻；同時，興趣點數目的增多意味著特征提取范圍變大，增加了運算耗時。綜合識別率與運算耗時兩個因素，在與其他算法進行比較時，本文算法的興趣點聚類數目選擇為32。

分別使用文獻[10]中Jabid提出的經典算法LDP、文獻[12] 中提出的4方向的LDP方法(4-LDP)、文獻[13]中提出的融合PCA與LDP的特征提取算法(PCA-LDP)以及本文提出的SURF-LDP算法作為特征提取算法，分類識別方法均使用SVM方法，對比它們的平均識別率R、平均識別時間T與識別率標準差S，結果如表1所示。其中：SURF-LDP(8)表示采用本文方法進行融合的8方向改進算法；SURF-LDP(4)表示采用本文提出的4方向改進算法。

表1 實驗結果與對比Tab. 1 Contrast of experimental results

由表1可知，在Yale與FERET數據庫中：從平均運行時間來看，4-LDP的運算速度最快，這是由于該算法將經典的8方向LDP改進為4方向LDP進行簡化，同樣也犧牲了一定的識別率；4方向SURF-LDP的平均運行時間較經典LDP運行時間分別減少了8 ms與3 ms，較PCA-LDP分別減少81 ms與82 ms，較8方向的SURF-LDP分別減少了35 ms與42 ms，可知SURF-LDP具有相對較好的實時性。從人臉平均識別率來看，8方向SURF-LDP的識別率最高，然而卻是以一定的運行時間作為代價的；4方向的SURF-LDP的識別率較PCA-LDP的識別率分別高4.6%與3.6%，與經典LDP分別高出9.2%與7.0%，和4-LDP相比分別高出5.8%與8.3%，僅比8方向的SURF-LDP分別低0.4%與0.5%，可知本文提出的4方向的SURF-LDP算法在人臉識別系統中有著較好的性能表現。

4 結語

本文提出的基于興趣點定位的SURF-LDP算法，首先提取人臉圖像的SURF點并作聚類處理，得出興趣點位置；然后以每個興趣點為中心在其周圍提取4方向的LDP紋理特征作為描述子；最后采用SVM分類器進行分類識別。實驗結果表明，在具有較高人臉識別率的同時，本文提出的算法SURF-LDP也具有較好的實時性與穩定性。SURF-LDP的實時性主要依賴兩點：1)在進行紋理特征提取時采用了4方向的LDP方法，相對于文獻[10]與文獻[13]中的8方向提取速度有了很大的提高；2)本文方法的提取范圍是32個11×11大小的圖像塊，較遍歷整幅圖像的范圍減小許多。雖然本文算法添加了SURF點定位與聚類的步驟，但由于SURF算法本身在提取速度上的優越性，以及本文剔除了特征描述部分僅保留了特征點定位部分，因此該算法仍可保證較好的實時性。另外，本文方法采用對興趣點附近位置進行LDP特征提取，并將其作為特征描述子，而興趣點位置有用信息豐富，且隨著人臉光照、姿態等變化，興趣點位置可相應移動，因此本文算法在識別效果與穩定性方面也有著良好表現。

References)

[1] 李武軍，王崇駿，張煒,等.人臉識別研究綜述[J].模式識別與人工智能，2006,19(1):58-65. (LI W J, WANG C J, ZHANG W, et al. A survey of face recognition [J]. Pattern Recognition and Artificial Intelligence, 2006, 19(1): 58-56.)

[2] SHIEH M-Y, CHIOU J-S, HU Y-S, et al. Applications of PCA and SVM-PSO based real-time face recognition system [J]. Mathematical Problems in Engineering, 2014, 2014: Article ID 530251.

[3] 溫浩，盧朝陽，高全學.融合小波變換和張量PCA的人臉識別算法[J].西安電子科技大學學報(自然科學版)，2009,36(4):602-607. (WEN H, LU Z Y, GAO Q X. Face recognition algorithm based on wavelet preprocessing and tensor PCA [J]. Journal of Xidian University, 2009, 36(4): 602-607.)

[4] 黃璞，陳才扣.基于局部人臉圖像的ICA人臉識別方法[J].計算機工程與設計,2010,31(11):2550-2553. (HUANG P, CHEN C K. ICA face recognition method based on partial face image[J]. Computer Engineering and Design, 2010, 31(11): 2550-2553.)

[5] 尹洪濤，付平，沙學軍.基于DCT和線性判別分析的人臉識別[J].電子學報,2009,37(10):2211-2214. (YIN H T, FU P, SHA X J. Face Recognition Based on DCT and LDA [J]. Acta Electronica Sinica, 2009, 37(10): 2211-2214.)

[6] FANG L, LI S. Face recognition by exploiting local Gabor features with multitask adaptive sparse representation [J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(10): 2605-2615.

[7] LEI L, KIM D-H, PARK W-J. Face recognition using LBP eigenfaces [J]. IEICE Transactions on Information and Systems, 2014, E97.D(7): 1930-1932.

[8] 武偉，江艷霞，張喆.基于改進的LDP人臉識別算法[J]. 光電工程，2014,41(12):72-77. (WU W, JIANG Y X, ZHANG Z. The face recognition algorithm based on improved local directional pattern [J]. Opto-Electronic Engineering, 2014, 41 (12): 74-77.)

[9] JABID T, KABIR M H, CHAE O. Robust facial expression recognition based on local directional pattern [J]. ETRI Journal, 2010, 32(5):784-794.

[10] JABID T, KABIR M H, CHAE O. Local Directional Pattern (LDP) for face recognition [J]. International Journal of Innovative Computing Information and Control, 2012, 8(4): 2423-2437.

[11] 李杰，徐汀榮，李海彥. 基于改進LDP的人臉識別[J]. 計算機應用與軟件，2014,31(5):148-150,230. (LI J, XU T R, LI H Y. Face recognition based on improved LDP [J]. Computer Applications and Software, 2014, 31(5): 148-150， 230.)

[12] 羅元，張天，張毅.一種改進的LDP面部表情特征提取方法[J].半導體光電，2016,37(1):122-125. (LUO Y, ZHANG T, ZHANG Y. An improved LDP for facial expression feature extraction[J], Semiconductor Optoelectronics, 2016, 37(1): 122-125.)

[13] LUO Y, ZHANG T, ZHANG Y. A novel fusion method of PCA and LDP for facial expression feature extraction [J]. Optik — International Journal for Light and Electron Optics, 2016, 127(2): 718-721.

[14] 劉海軍，常東超，張凌宇.改進的局部方向模式紋理表示方法[J].中國圖象圖形學報，2014,19(4):520-526. (LIU H J, CHANG D C, ZHANG L Y. Improved local directional pattern texture descriptor [J]. Journal of Image and Graphics, 2014, 19(4): 520-526.)

[15] 高現文，付煒. 局部定向模式在人臉識別中的應用[J]. 計算機工程與應用，2011,48(12):98-201. (GAO X W, FU W. Local directional pattern in face recognition application [J]. Computer Engineering and Applications, 2011, 48(12): 98-201.)

[16] BAY H, TNYTETAARS T, VAN GOOL L. SURF: Speeded Up Robust Features [C]// ECCV’06: Proceedings of the 9th European Conference on Computer Vision, LNCS 3951. Berlin: Springer-Verlag, 2006, 1: 404-417.

[17] 陳興蜀，吳小松.基于特征關聯度的K-means初始聚類中心優化算法[J]. 四川大學學報(工程科學版)，2015,47(1):13-19. (CHEN X S, WU X S. An improved initial cluster centers selection algorithm forK-means based on features correlative degree[J]. Journal of Sichuan University (Engineering Science Edition), 2015, 47(1): 13-19.

This work is partially supported by the Chongqing Municipal Education Commission Science and Technology Research Project (KJ130512), the Chongqing Science and Technology Commission Project (CSCT2015jcyjBX0066).

LUOYuan, born in 1972, Ph. D., professor. Her research interests include image processing, pattern recognition, machine vision.

LIHuimin, born in 1991, M. S. candidate. Her research interests include pattern recognition, machine vision.

ZHANGYi, born in 1966, Ph. D., professor. His research interests include robot technology, machine vision.

Improvedlocationdirectionpatternbasedoninterestpointslocationforfacerecognition

LUO Yuan1, LI Huimin1*, ZHANG Yi2

(1.SchoolofOptoelectronicEngineering,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China；2.ResearchCenterforInformationAccessibilityandServiceRobot,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

In order to solve the problem that Local Directional Pattern (LDP) adopts the fixed average block method in the face feature extraction process, which cannot reflect the characteristics of different images well, an improved LDP based on interest point location was proposed. The positions of interest points contained rich feature information, and the interest points could be obtained automatically according to particular image. Firstly, the locations of interest points were decided by Speed Up Robust Feature (SURF) algorithm andK-means clustering algorithm. Secondly, 4-direction LDP (4-LDP) coding was calculated by the feature extraction windows established with each interest point as the center. Finally, the Support Vector Machine (SVM) was used to identify the face. The proposed method was evaluated in Yale and FERET databases and compared with the original LDP, 4-LDP and PCA-LDP (feature extraction method combined Principal Component Analysis and LDP). The experimental results show that the proposed method can obviously improve the recognition rate and stability while ensuring the real-time performance of the system.

Location Direction Pattern (LDP); Speed Up Robust Feature (SURF);K-means clustering; face recognition; interest point

TP391.41

A

2017- 02- 10;

2017- 04- 05。

重慶市教委科學技術研究項目(KJ130512)；重慶市科學技術委員會項目(CSCT2015jcyjBX0066)。

羅元(1972—)，女，湖北省宜昌人，教授，博士，主要研究方向：圖像處理、模式識別、機器視覺； 李慧敏(1991—)，女，河南安陽人，碩士研究生，主要研究方向：模式識別、機器視覺； 張毅(1966—)，男，重慶人，教授，博士，主要研究方向：機器人、機器視覺。

1001- 9081(2017)08- 2248- 05

10.11772/j.issn.1001- 9081.2017.08.2248