人臉識別中基于學習的核圖像微分濾波器

房貽廣,劉 武,張 驥,張令臣,袁玫瑰,屈 磊

1.國網安徽省電力公司 安全監察質量部, 合肥 230022; 2.國網安慶供電公司 安全監察質量部,安徽 安慶 246000;3.安徽南瑞繼遠電網技術有限公司, 合肥 230088; 4.安徽大學 電子信息工程學院, 合肥 230601)(*通信作者電子郵箱qulei@ahu.edu.cn)

人臉識別中基于學習的核圖像微分濾波器

房貽廣1,劉 武2,張 驥3,張令臣4,袁玫瑰4,屈 磊4*

1.國網安徽省電力公司 安全監察質量部, 合肥 230022; 2.國網安慶供電公司 安全監察質量部,安徽 安慶 246000;3.安徽南瑞繼遠電網技術有限公司, 合肥 230088; 4.安徽大學 電子信息工程學院, 合肥 230601)(*通信作者電子郵箱qulei@ahu.edu.cn)

針對人臉識別應用,提出一種基于學習且具有鑒別能力的核圖像微分濾波器。首先,區別于現有濾波器的手工設計方法,該濾波器利用訓練集動態學習獲得,通過在學習過程中融入線性判別分析(LDA)思想,可在增加濾波后圖像類內相似度的同時減小類間相似度;其次,在線性濾波分類器的基礎上進一步引入二階微分信息,并結合核方法在高維空間下進行濾波器學習,使得圖像中的細節和非線性信息可以得到更好的利用并獲得更具鑒別力的特征描述。AR和ORL人臉庫上的多組對比實驗結果表明, 與線性可學習圖像濾波器IFL、不考慮微分信息的核圖像濾波器以及只考慮一階微分信息的核圖像濾波器進行比較，所提算法可有效提高識別性能。

濾波器學習; 線性判別分析;核空間;二階微分;人臉識別

0 引言

提取高效且具有鑒別力的特征描述是人臉識別及其他模式識別應用中的一個關鍵問題,特征提取質量的好壞將直接影響后繼分類、識別的性能。特征提取的目標是在獲得高效鑒別能力的同時盡可能增加特征的類內相似度并減小類間相似度。然而,在人臉識別應用中由于表情、光照、姿勢、遮擋等各種因素的影響,高效、魯棒的特征提取仍然是一個熱點研究問題。

現有人臉特征描述方法總體上可分為整體特征提取和局部特征提取兩大類。整體特征提取常用的方法有主成分分析(Principal Components Analysis, PCA)[1]、線性判別分析(Linear Discriminant Analysis, LDA)[2]、判別共同矢量(Discriminant Common Vector, DCV)[3]、廣義判別分析(Generalized Discriminant Analysis, GDA)[4]、核判別共同矢量(Kernel Discriminant Common Vector, KDCV)[5]等。PCA旨在尋找使全局特征樣本向量方差最大化下的降維投影,在保證重建誤差最小的情況下把人臉圖像向量從復雜的高維降到更容易區分的低維向量；LDA進一步利用了樣本的標簽信息,尋找在擴大樣本類間差異的同時又能縮小類內樣本差異的降維投影；DCV算法在類內協方差矩陣的零空間內尋找判別共同矢量,通過判別共同矢量組得到最優的投影矩陣對高維人臉樣本向量進行降維特征提取；GDA和KDCV分別是對LDA和DCV在核空間的擴展,其把原始向量向更高維空間進行非線性投影后再進行降維以提取更具鑒別力的特征。Gabor小波[6]和局部二值模式(Local Binary Pattern, LBP)[7]是常見的局部特征描述子,二者對于局部光照、表情變化以及圖像的非精確對齊有較好的魯棒性。Gabor小波可以獲得不同尺度和方向下的局部特征結構,對光照和表情變化都比較魯棒；LBP用鄰域各點灰度值與中心點相比較,是簡單有效的人臉特征描述方法。為了更好地提取局部特征,在LBP的基礎上又發展形成了多尺度分塊局部二值模式(Multi-scale Block LBP, MBLBP)[8]、局部Gabor二值模式(Local GBP, LGBP)[9]、局部方向模式(Local Direction Pattern, LDP)[10]等算法。

上述人臉特征描述均采用手工設計的特征描述子,該類方法從主觀的手動設計原則出發,很難得到最優的編碼方案。針對該問題,Lei等[11]于2012年提出了一種具有分類判別作用的可學習圖像濾波器(Image Filter Learning, IFL)并將其與LBP結合在特征描述階段就對人臉圖像實現初步分類判別。隨后,IFL又被應用到可學習人臉特征描述器(Discriminant Face Descriptor, DFD)[12]上。IFL將Fisher判別準則與LBP算法融合,在提取各張人臉圖片特征的同時獲取不同樣本圖片間的類別特征,提高了濾波后圖像的分類鑒別能力。可學習圖像濾波器IFL不僅能使濾波后的人臉圖像更具有鑒別力,更重要的是其由訓練集動態學習得來,具有自適應性,在不同的訓練集上可針對性地獲得最優濾波器參數。由于IFL直接在像素空間進行濾波器學習,光照、表情、姿勢等因素往往會造成人臉識別過程中的非線性問題,而線性的IFL不能夠更好地處理此類問題。此外,為模擬LBP的鄰域像素對比的思想,IFL在進行濾波器學習過程中僅利用了圖像的一階微分信息,而圖像中的角點、灰度變化率等高階微分信息并未充分利用。

針對以上問題,本文在IFL的基礎上提出一種基于學習的核圖像微分濾波器(Kernel Image Differential Filter, KIDF)。該算法首先通過引入核運算將濾波器學習從像素空間轉換到高維空間,使得原本在低維空間中的線性不可分問題轉化為在高維特征空間的線性可分問題;其次,為了更加充分利用人臉的豐富細節特征,在濾波器學習時除一階微分信息外還進一步考慮了圖像的二階微分信息。實驗結果表明了本文方法的有效性。

1 基于學習的線性判別濾波器

基于學習的線性判別濾波器(IFL)[11]將傳統LBP的鄰域像素灰度比較思想推廣至相鄰的局部區域內各像素灰度按對應位置依次比較,同時融合Fisher線性判別分析原理,使濾波后樣本集內屬于同一分類下圖像間像素差異程度減小,且不同分類下的圖像間像素差異程度擴大。

線性判別濾波器的濾波處理為逐像素進行。令p點為待濾波圖像的一個像素點,以p為中心的3×3局部圖像塊如圖1左側所示。將該圖像塊按行拉成一列向量,獲得如圖1右側所示的圖像塊向量。將圖像塊向量與濾波器向量做內積運算,所得結果取代原p點像素值即可完成p點處的濾波。

圖1 圖像塊轉為圖像塊向量

設訓練集中包括C個人的共N個樣本圖像,Ni為第i個人的樣本數。給定圖像I,令f(I)為濾波后圖像,類似LBP的局部像素比較思想,p點處的像素差異向量可寫為:

df(I)p=[f(I)p1-f(I)p,f(I)p2-f(I)p,…,f(I)pd-f(I)p]

(1)

(2)

按照Fisher判別準則,像素差異矩陣的類內和類間散度可分別寫為:

(3)

(4)

令待學習的圖像濾波器向量為w,有

f(I)p=wTIp

(5)

df(I)ij=wTdIij

(6)

其中:dIij和df(I)ij分別為濾波前后第i個人的第j個樣本的像素差異矩陣。式(5)表示圖像I在像素p點處的濾波過程。將式(6)代入式(3)、(4)中可得:

(7)

(8)

2 基于學習的核圖像微分濾波器

線性判別濾波器使用圖像塊向量同濾波器向量的內積替換當前像素,并直接在像素空間進行濾波器學習。而實際人臉識別中,光照、表情、姿勢等因素引入的非線性極大限制了線性判別濾波器的性能。此外,IFL中的濾波器向量是在像素差異矩陣的基礎上學習獲得,像素差異矩陣本質上可看成是圖像一階微分信息集合,而包含角點、灰度變化率等豐富細節的高階微分信息并未得到充分利用。

為解決上述問題,本文首先在IFL的基礎上引入核運算。核運算[13]在解決非線性分類問題上的有效性已在很多應用中得以證明。核運算將低維特征映射到高維,使得原本在低維空間中的線性不可分問題轉化為在高維特征空間中的線性可分問題,同時巧妙地運用了隱式投影在不顯著增加計算量的前提下實現映射。其次,不同于IFL利用像素差異矩陣隱式使用圖像一階微分信息,本文提出在圖像塊向量構建時顯式地引入圖像一階、二階微分以及原始像素灰度信息,這些豐富特征信息的引入將有助于學習更具鑒別力的濾波器。

2.1 圖像塊向量的微分信息擴充

由第1章可知,線性判別濾波器中任意一點p對應的圖像塊向量由以p為中心的局部區域按行拉伸組成,因此該圖像塊向量僅包含p的鄰域像素信息。為進一步考慮鄰域內的微分信息,可在上述圖像塊向量的基礎上進行維數擴充,引入該像素點處的一階和二階微分信息(如圖2所示)。

假設p點坐標為(i,j),該點處沿x、y方向的一階微分近似可由式(9)獲得:

(9)

該點處沿x、y方向的二階微分近似由式(10)獲得:

(10)

其中:I(i,j)為圖像在坐標(i,j)處的亮度。

圖2 圖像塊向量的微分信息擴充

2.2 核圖像微分濾波器學習

類似第1章中描述,此時類內散布陣和類間散布陣分別表示為:

(11)

(12)

為了解決特征的非線性問題,引入核運算后式(11)和(12)可改寫為:

(13)

(14)

其中:帶有前置符號φ的數據表示原樣本空間中數據投影到高維空間下對應的高維數據。

圖3 圖像塊向量矩陣構建

3 實驗結果及分析

為了驗證本文算法的有效性,實驗在AR和ORL兩個人臉數據庫上進行,并將本文算法同線性可學習圖像濾波器IFL以及本文方法的一些變種方法,即不考慮微分信息的核圖像濾波器(KIDF)以及只考慮一階微分信息的核圖像濾波器(KIDF(1))進行比較。為保證實驗結果的客觀性,在實驗中隨機選取60%的樣本圖像進行訓練,剩下的40%進行測試,并取30次隨機測試識別率的均值作為最終結果參與比較。

3.1 直觀比較實驗

圖4給出了兩組人臉圖像濾波前后效果的直觀對比,其中左側為原始圖像,右側為本文算法濾波后圖像。可以看出,原始圖像中相同個體的兩個樣本圖像均存在明顯的姿態差異,而經過濾波后相同個體不同樣本間的差異明顯縮小,不同個體間的差異加大。該實驗在直觀上證實了本文算法在提取鑒別特征時增大類內相似度、減小類間相似度上的有效性。

3.2AR庫上的實驗

AR庫共有100人,每人14張圖片。圖5給出該庫中的部分樣本圖像,可以看出AR庫存在明顯的光照和表情變化,這些因素引入的特征非線性有利于驗證本文結合核運算的圖像濾波器的有效性。

圖4 基于學習的微分核圖像濾波器的濾波效果

圖5 AR庫人臉樣本圖像

表1中給出了本文算法同LBP和IFL在L1范數距離(L1)、卡方檢驗(χ2)、最近鄰(NearestNeighbor,NN)、直方圖相交(HistogramIntersection,HI)和支持向量機(SupportVectorMachine,SVM)五種不同相似性度量下的識別率對比,其中KIFL表示不考慮微分信息的核圖像濾波器,其僅在IFL算法基礎上使用核空間擴展,KIDF(1)表示只考慮一階微分和核運算的算法。由于SVM在分類時也采用了核運算,可以看出本文算法除在SVM分類器下識別率同IFL持平外,在其余度量下均穩定地優于其他算法。

表1 AR庫識別率對比 %

3.3ORL庫上的實驗

ORL庫共有40人,每人10張圖片。表2中給出了本文算法同其他算法的平均識別率對比。可以看出,本文算法在不同度量方法下的識別率均優于其他算法,這也說明了本文引入二階微分和核運算的有效性。

表2 ORL庫識別率對比 %

4 結語

針對人臉識別的圖片預濾波處理階段,提出了一種基于學習的核微分濾波器。該濾波器的設計目標是增加濾波后圖像的類內相似度同時減小類間相似度,從而便于后繼的特征提取及識別。通過將濾波器學習轉換到高維核空間,隱含在圖像中的非線性信息得以更充分的利用。此外,在濾波器學習中引入圖像的二階微分信息,進一步增強了學習濾波器的鑒別能力。在AR庫和ORL庫上的實驗對比結果驗證了本文方法的有效性。

)

[1]KIMK.Facerecognitionusingprinciplecomponentanalysis[C]//Proceedingsofthe1996InternationalConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 1996: 586-591.

[2]BELHUMEURPN,HESPANHAJP,KRIEGMANDJ.Eigenfacesvs.fisherfaces:recognitionusingclassspecificlinearprojection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1997, 19(7): 711-720.

[3]CEVIKALPH,NEAMTUM,WILKESM,etal.Discriminativecommonvectorsforfacerecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2005, 27(1): 4-13.

[4]BAUDATG,ANOUARF.Generalizeddiscriminantanalysisusingakernelapproach[J].NeuralComputation, 2000, 12(10): 2385-2404.

[5]CEVIKALPH,NEAMTUM,WILKESM.Discriminativecommonvectormethodwithkernels[J].IEEETransactionsonNeuralNetworks, 2006, 17(6): 1550-1565.

[6]LIUC,WECHSLERH.GaborfeaturebasedclassificationusingtheenhancedFisherlineardiscriminantmodelforfacerecognition[J].IEEETransactionsonImageProcessing, 2002, 11(4): 467-476.

[7]AHONENT,HADIDA,PIETIKAINENM.Facedescriptionwithlocalbinarypatterns:Applicationtofacerecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2006, 28(12): 2037-2041.

[8]LIAOS,ZHUX,LEIZ,etal.Learningmulti-scaleblocklocalbinarypatternsforfacerecognition[C]//ICB2007:Proceedingsofthe2007InternationalConferenceonAdvancesinBiometrics.Berlin:Springer, 2007: 828-837.

[9]ZHANGW,SHANS,GAOW,etal.LocalGaborBinaryPatternHistogramSequence(LGBPHS):anovelnon-statisticalmodelforfacerepresentationandrecognition[C]//ICCV2005:ProceedingsoftheTenthIEEEInternationalConferenceonComputerVision.Piscataway,NJ:IEEE, 2005, 1: 786-791.

[10]JABIDT,KABIRMH,CHAEO.FacialexpressionrecognitionusingLocalDirectionalPattern(LDP)[C]//Proceedingsofthe2010IEEEInternationalConferenceonImageProcessing.Piscataway,NJ:IEEE, 2010: 1605-1608.

[11]LEIZ,YID,LIS.Discriminantimagefilterlearningforfacerecognitionwithlocalbinarypatternlikerepresentation[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 2012: 2512-2517.

[12]LEIZ,PIETIKAINENM,LISZ.Learningdiscriminantfacedescriptor[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2014, 36(2): 289-302.

[13] SCHOLKOPFT B, MULLERT K R. Fisher discriminant analysis with kernels[EB/OL]. [2016- 03- 01]. http://courses.cs.tamu.edu/rgutier/csce666_f16/mika1999kernelLDA.pdf.

This work is partially supported by National Natural Science Foundation of China (61201396, 61301296), the National Science and Technology Support Program (2014BAH27F01), the Science and Technology Project of China State Grid Corporation (5212D01502DB).

FANG Yiguang, born in 1969, M. S., senior engineer. His research interests include electric power safety monitoring.

LIU Wu, born in 1978, M. S. His research interests include electric power safety monitoring.

ZHANG Ji, born in 1982, M. S. His research interests include electric power video surveillance.

ZHANG Lingchen, born in 1989, M. S. His research interests include signal processing, pattern recognition.

YUAN Meigui, born in 1991, M. S. Her research interests include signal processing, pattern recognition.

QU Lei, born in 1980, Ph. D., professor. His research interests include signal processing, pattern recognition.

Learning based kernel image differential filter for face recognition

FANG Yiguang1, LIU Wu2, ZHANG Ji3, ZHANG Lingchen4, YUAN Meigui4, QU Lei4*

(1. Safety Supervision Quality Department, State Grid Anhui Electric Power Supply Company, Hefei Anhui 230022, China;2. Safety Supervision Quality Department, State Grid Anqing Electric Power Supply Company, Anqing Anhui 246000, China;3. Anhui Jiyuan Electric Power System Technology Company Limited, Hefei Anhui 230088, China;4. School of Electronics and Information Engineering, Anhui University, Hefei Anhui 230601, China)

For the applications of face recognition, a learning based kernel image differential filter was proposed. Firstly, instead of designing the image filter in a handcrafted or analytical way, the new image filter was designed by dynamically learning from the training data. By integrating the idea of Linear Discriminant Analysis (LDA) into filter learning, the intra-class difference of filtered image was attenuated and the inter-class difference was amplified. Secondly, the second order derivative operator and kernel trick were introduced to better extract the image detail information and cope with the nonlinear feature space problem. As a result, the filter is adaptive and more discriminative feature description can be obtained. The proposed algorithm was experimented on AR and ORL face database and compared with linearly learning image filter named IFL, kernel image filter without differential information, and kernel image filter considering only one order differential information. The experimental results validate the effectiveness of the proposed method.

filter learning; Linear Discriminant Analysis (LDA); kernel space; second order derivative; face recognition

2016- 08- 15;

2016- 12- 23。 基金項目:國家自然科學基金資助項目(61201396,61301296);國家科技支撐計劃項目(2014BAH27F01);國家電網公司科技項目(5212D01502DB)。

房貽廣(1969—),男,安徽淮北人,高級工程師,碩士,主要研究方向:電力安全監察; 劉武(1978—),男,安徽安慶人,碩士,主要研究方向:電力安全監察; 張驥(1982—),男,安徽銅陵人,碩士,主要研究方向:電力視頻監控; 張令臣(1989—),男,安徽宿州人,碩士,主要研究方向:信號處理、模式識別; 袁玫瑰(1991—),女,安徽銅陵人,碩士,主要研究方向:信號處理、模式識別; 屈磊(1980—),男,安徽阜陽人,教授,博士,主要研究方向:信號處理、模式識別。

1001- 9081(2017)04- 1185- 04

10.11772/j.issn.1001- 9081.2017.04.1185

TP391.41

A