結合加權子空間和相似度度量學習的人臉驗證方法研究

湯紅忠 張小剛 陳華 李驍 王翔

摘 要：在無約束條件下，人臉表情、姿態、光照以及背景等復雜因素可能導致人臉圖像的類內變化大于類間變化.針對如何降低較大的類內變化對人臉驗證研究的影響，本文結合加權子空間，提出了一種帶先驗相似性和先驗距離約束的相似度度量學習方法.首先，利用類內人臉對樣本，學習帶權重的類內協方差矩陣，通過加權子空間的投影，從人臉圖像中獲得魯棒性的人臉特征表達；其次，利用樣本對的相似性與差異性，建立了帶先驗相似性和先驗距離約束的相似度度量學習模型，優化后的度量矩陣可以有效提高特征向量的類內魯棒性和類間判別性；最后，利用優化的度量矩陣計算人臉對的相似度.在LFW（Labeled Faces in the Wild）數據集的實驗驗證了所提模型的有效性，與其它同類相似度度量學習方法相比，優化的度量矩陣更能準確地評估人臉間的相似性，并在受限訓練集上取得了91.2%的識別率.

關鍵詞：類內變化；加權子空間；相似度度量學習；人臉驗證

中圖分類號：TP391.4文獻標志碼：A

Abstract：Under the unconstrained conditions， intra-personal variation is much larger than the inter-personal variation in face images due to the affecting factors such as expression， posture， illumination and background etc. To reduce the influence of larger intra-personal on face verification， we proposed a similarity metric learning method with priori similarity and priori distance constraint by combining weighted subspace.First， the weighted intra-personal covariance matrix is learned by employing intra-personal face samples. By projecting into the intra-subspace， robust face feature representations can be obtained from face images.Second， we set up the similarity metric learning model with priori similarity and priori distance constraint， which effectively employs the similarity and discrimination information of samples that are in pairs， and the learned metric matrix can improve the robustness to intra-personal and discrimination to inter-personal.Finally， the updated metric matrix is used to compute the similarity scores of face-pairs. The experiments have been conducted on the Labeled Faces in the Wild （LFW） dataset， which shows the effectiveness of our proposed model. Compared with other metric learning methods， our learned metric matrix has higher accuracy rate for evaluating the face-pair similarity， and achieves a verification rate of 91.2% on the restricted setting.

Key words：intra-personal variations； weighted subspace； similarity metric learning； face verification

人臉驗證是指預測一對人臉圖像是否表示同一個人，是一個典型的二分類問題，可廣泛應用于視頻監控、公共安全、電子商務等生物特征識別、智能視頻分析及計算機視覺系統.與傳統的約束條件下的人臉驗證問題相比，無約束條件下的人臉圖像因受表情、姿態、光照以及背景等復雜因素的干擾，造成同一個人的不同人臉圖像差異性較大，如何克服上述因素引起的人臉圖像較大的類內變化，是當前人臉驗證中亟需解決的重要問題之一，近幾年來也引起了國內外廣大學者的關注[1-5].

相似度度量指利用給定的人臉樣本對，計算人臉對特征向量間的距離來判斷人臉的身份，因其實現簡單，計算代價小、可分性好等特點成為一種主要的人臉驗證方法[6-7].因此，“特征提取+相似度度量”是解決人臉驗證的有效方法，如Liu等[8]利用歐氏距離或余弦距離計算一對人臉的Gabor特征向量間的相似度；然而，直接距離的度量沒有考慮人臉表情、姿態、光照以及背景等影響，因此并不能準確地反映一對人臉之間的相似性.為了減少復雜干擾對相似度度量的影響，有較多研究者圍繞相似度度量學習（Similarity Metric Learning，SML）方法開展工作并取得一定的效果[9-20]，主要分為以下三類.

1）基于概率的相似度度量學習：如Guillaumin等[9]提出一種邏輯判別度量學習（Logistic discriminant metric learning，LDML）方法，該方法利用概率估計樣本對的相似度，建立最大似然估計模型，采用梯度上升方法優化求解.Mignon等[10]提出了一種成對約束成分分析（Pairwise constrained component analysis， PCCA）的相似度度量學習方法，該方法采用邏輯損失函數優化相似樣本對的距離小于某個閾值，并保持非相似樣本對的距離大于某個閾值.Kstinger等[11]基于高斯分布的假設， 提出了保持簡單直接的度量 （Keep it simple and straight，KISS） 方法，該方法利用似然比檢驗直接進行較大規模的距離度量，取得了較好的效果.2）基于變體的代價函數：如Ying等[12]提出一種基于特征值優化框架的度量學習方法，通過迭代計算最大特征值來優化度量矩陣，最后采用最近鄰實現分類.3）基于正則項的相似度度量學習 ：Cao等[13]結合余弦相似度度量（Cosine similarity metric learning，CSML） [14]和馬氏距離，提出一種子空間相似度度量（Subspace similarity metric learning，Sub-SML）學習模型，但該模型中僅將度量矩陣與單位矩陣的差值作為目標函數的正則項，并不能準確表達樣本對的先驗信息，因此不能有效地抑制復雜干擾給分類帶來的影響.隨著稀疏性與低秩性在圖像表示中的廣泛應用，Fang等[15]引入群稀疏性作為正則項，提出一種稀疏相似度度量模型.文獻[16]與[17]利用低秩性作為相似度度量模型的正則項.稀疏性與低秩性的約束能有效地解決噪聲干擾問題.Hassner等[18]提出一種不同姿態下的人臉圖像擺正方法，并結合Sub-SML方法實現人臉驗證；Hu等[19]提出一種深度相似度度量學習（Discriminative deep metric learning，DDML）方法，該方法采用深度神經網絡模型優化相似度度量矩陣，但由于神經網絡中參數調整缺乏理論指導，較難尋優，魯棒性也有待提高.Zhu等[20]利用3D形變模型提出一種姿態與表情標準化方法，同時結合DDML方法進行人臉驗證，這兩種方法人臉驗證性能的提高主要依賴于前期對人臉圖像姿態矯正的工作.

近年來，深度學習因具有主動的特征提取與較強分類能力在人臉驗證領域中得到了廣泛的應用，在深度模型中，通常將特征提取、編碼與池化等嵌入到網絡訓練過程中.如DeepFace[21]，DeepID[22]，DeepID2[23]，DeepID3[24]都大大提高了人臉驗證的分類性能，但大都采用了大規模的帶類標戶外數據集來訓練深度模型，訓練時間長.DeepID因LFW數據集太小而引入了外部CelebFaces和CelebFaces+數據集，DeepFace分類性能也大大依賴了前期圖像預處理的人臉姿態矯正與對齊.而且，這些實驗參數設置方法皆與本文不同，較多的參數設置調整都需經驗指導.

子空間方法可將樣本投影到某個最優子空間，實現降低輸入特征維數和尋找分類特征的目的，因此被廣泛應用于人臉識別[13，25-27].文獻[13]利用主成分分析（Principal component analysis， PCA），將人臉樣本對投影到類內子空間，以期望降低圖像類內變化產生的干擾.文獻[25]采用線性判別分析（Linear Discriminant Analysis，LDA）的方法用于人臉識別，結合類內散度矩陣與類間散度矩陣，使得人臉特征在類間散度矩陣和類內散度矩陣上的比值達到最大從而實現分類.文獻[26]在PCA的基礎上進一步提出貝葉斯人臉識別，其目的也是通過子空間投影來降低特征維度與噪聲干擾.文獻[27]提出一種加權線性判別分析方法，該方法利用了加權成對Fisher準則約束，并在較小的人臉數據集取得了較好的效果.文獻[13，25-27]的研究結果表明，類內子空間的投影可以有效降低類內變化的干擾，使得投影后的特征更利于后續的分類研究.

綜上所述，為降低相似人臉對之間的類內差異的影響，同時提取較強的判別信息.本文圍繞正則項相似度度量學習問題，提出一種結合加權子空間和相似度度量學習的人臉驗證方法.一方面，基于PCA預處理后人臉對的類內樣本，學習具有權重的類內協方差矩陣，通過加權子空間的投影，從人臉圖像中學習更具有魯棒性的人臉特征表達.與文獻[13]相比，本文提出的“PCA+加權子空間”的特征投影方法能夠有效地降低因人臉表情、姿態、光照以及背景產生的較大類內變化，獲得判別性更強的分類特征（如表2、表3、表4的實驗結果所示）；另一方面，本文利用了樣本對的相似性與差異性信息，結合先驗相似性矩陣G0與先驗距離矩陣M0，建立了帶先驗相似性和先驗距離約束的相似度度量學習模型，該模型更能準確衡量樣本對的相似性和差異性先驗信息，并利用對偶函數求解，優化后的度量矩陣能有效提高特征向量的類內魯棒性和類間辨別性.最后，利用優化的度量矩陣計算人臉對的相似度得分.實驗結果表明，本文方法提出的相似度度量學習模型，更能準確地評估人臉間的相似性.

1 加權子空間

2 相似度度量學習

2.1 相似度度量函數

通過最小化式（10）的經驗誤差可以得到學習的G和M.但這種方法很容易造成函數的過擬合.因此增加相應的正則項約束，式（10）可轉化為：

2.4 本文方法的具體操作步驟

本文采用PCA對人臉特征進行預處理，學習具有權重的類內協方差矩陣，利用加權子空間的投影進一步降低人臉特征對類內差異的影響.并建立帶先驗相似性和先驗距離約束的相似度度量學習模型，將優化后的度量矩陣解決人臉驗證問題.其方法流程如表1所示.

3 實驗內容與結果分析

3.1 實驗數據

LFW（Labeled faces in the wild）數據集是目前人臉驗證領域中最具有挑戰性的數據集之一[30]，包括了來自5 749個人的13 233張人臉圖像，其中有1 680個人具有至少2張以上的人臉圖像.所有圖像均采集于Yahoo網站，如圖1所示，這些人臉圖像在表情、姿態、光照、年齡以及背景存在較大的類內變化.

本文實驗主要針對受限訓練集，劃分成10個子集，每個子集由300個匹配（matched）圖像對和300個不匹配（mismatched）圖像對組成，并且每個子集中的人都不重合.并且，具有兩種人臉對齊方法：“funneled”數據集[30]與“aligned”數據集[31].本文在“funneled”數據集上提取的是SIFT特征[9]，在“aligned” 數據集上提取的是LBP 特征[28]和TPLBP特征[29].這一特征選擇方案設計主要參考了文獻[9，13，19]的工作，文獻[9]已證明在“funneled”數據集上，SIFT特征的分類效果最優；基于文獻[9]，文獻[13] 進一步驗證了在“funneled”數據集上提取SIFT特征[9]，在“aligned” 數據集上提取的是LBP 特征[28]和TPLBP特征[29]進行分類的有效性.測試采用10折交叉驗證方法，進行10次獨立的實驗，輪流選定1個子集作為測試集，而其余9個子集作為訓練集.

3.2 本文提出方法的性能分析

為了有效地說明本文提出方法具有較好的特征投影與相似度度量的能力，本文利用SIFT[9]與LBP[28]特征，投影方法分別對比了PCA[32]、PCA+子空間[13]與本文提出的“PCA+加權子空間”，其中PCA的維數取300，采用L2范數對投影后的數據進行歸一化處理，相似度度量分別對比了馬氏距離度量、先驗距離度量與本文優化的度量矩陣，從而證明本文提出的相似度度量學習模型的有效性，實驗結果如表2、表3、表4所示.其中，馬氏距離度量、先驗距離度量與本文優化的度量矩陣的定義如下.

當人臉特征為SIFT時，不同投影方法下不同度量矩陣的人臉驗證結果如表2所示.由表2可知，若特征投影方式相同（如“PCA+加權子空間”），本文優化的度量矩陣人臉驗證率最高，原始特征與平方根特征分別為87.12%與87.62%.傳統的馬氏距離度量人臉驗證率最低， 原始特征與平方根特征分別為83.43%與84.22%.這一實驗結果表明：帶先驗相似性與先驗距離約束的相似度度量學習模型（式（16））能有效提高人臉驗證性能.

采用相同的度量學習方法，進一步對比分析不同的投影方法，由表2可知，結合本文提出的“加權子空間”的分類性能最好，優于文獻[13]提出的“未加權子空間”.而且，表3與表4也給出了相同的實驗結果.由此可知，本文提出的“PCA+加權子空間”的特征投影方法能夠獲得具有魯棒性的類內子空間.提取的人臉特征經過類內子空間投影后，可有效地降低因人臉表情、姿態、光照以及背景產生的較大類內變化，獲得判別性更強的分類特征.

如表3所示，當人臉特征為LBP時，結合不同投影方法與不同度量矩陣的人臉驗證結果.為了進一步驗證本文提出方法的普適性，利用已訓練好深度學習模型VGG-face [33]提取的人臉特征，結合不同投影方法與不同度量矩陣進行人臉驗證，實驗結果如表4所示.表4的數據結果與表3、表2大致相符，進一步說明本文提出的結合加權子空間和相似度度量學習的人臉驗證方法的有效性，不僅適合于傳統的手工特征，也適用于學習型特征.

3.3 參數分析

參數γ平衡了經驗誤差與正則項兩者的性能.γ設置過小會導致模型的魯棒性和判別性不強，泛化能力較弱；γ設置過大會導致模型不易收斂.本文中γ的設置參考了文獻[13]的設置方法，并結合多組數據對比結果將其設置為0.5.

為了分析參數u，a 對本文方法性能的影響， 圖2、圖3分別給出在兩種不同數據集上，不同u，a對本文方法性能的對比實驗.通過對比實驗可知，本文方法性能在u=2，a=0.8附近達到最優.

3.4 與其他的人臉驗證方法的實驗對比

根據實驗3.3的結果，利用SIFT[9]、LBP[28]以及TPLBP[29]的原始特征與平方根特征，采用“PCA+加權子空間”的投影方法，基于2.4的步驟，根據式（25）計算得到的六種特征的相似度得分，將其進行融合并采用SVM預測得到最終實驗結果.分類準確率和標準差如表5所示，ROC（Receiver Operating Characteristic）曲線如圖4所示.

由表5和圖4可知，與LDML[9]相比，本文提出的方法準確率提升了12%，值得注意的是，本文提出基于“PCA+加權子空間”的特征投影，且利用帶先驗相似性與先驗距離約束的相似度度量學習方法得到的度量矩陣，與Sub-SM[13]方法相比，本文方法分類準確率提升了1.6%.與DDML[19]相比，本文方法分類準確率也有所提升.特別在[0-0.12]的ROC曲線區間，本文方法的ROC曲線明顯高于其他方法.實驗結果進一步說明了本文提出加權子空間的特征投影能有效降低樣本對的類內變化，建立的帶先驗相似性與先驗距離約束的相似度度量學習模型能有效提高特征向量的類內魯棒性和類間判別性.

4 結 論

針對無約束條件下的人臉驗證問題，本文提出了一種結合加權子空間和相似度度量學習的人臉驗證方法，其主要思想在于抑制人臉樣本對的類內變化及噪聲的干擾，同時增加類間距離.首先，引入人臉對類內樣本的相似度信息作為權重，提出一種加權子空間投影方法，該方法可以獲得具有魯棒性的加權子空間，利用“PCA+加權子空間”的特征投影方法能夠有效降低因人臉表情、姿態、光照以及背景產生的較大類內變化對于后續分類的影響.然后，建立了帶先驗相似性和先驗距離約束的相似度度量學習模型，該模型將先驗相似性矩陣G0和先驗距離矩陣M0作為相似度度量學習的目標函數中的正則項約束，更能準確衡量樣本對的相似性和差異性先驗信息，優化后的度量矩陣更能有效提高特征向量的類內魯棒性和類間辨別性.最后，利用優化的度量矩陣獲得人臉樣本對的相似度得分.從實驗結果可知，與其他同類的人臉驗證方法相比，本文方法具有更好的特征提取效果和分類性能，在LFW的受限訓練數據集上取得了91.2%的識別率，取得了具有競爭性的效果.

參考文獻

[1] XIANG Y， SU G. Multi-parts and multi-feature fusion in face verification[C]// Computer Vision and Pattern Recognition Workshops（CVPRW）， IEEE Computer Society Conference on. Anchorage AK US： IEEE Computer Society， 2008： 1-6.

[2] HUANG G B， LEE H， LEARNED-MILLER E. Learning hierarchical representations for face verification with convolutional deep belief networks[C]// Computer Vision and Pattern Recognition （CVPR）， IEEE Conference on. Rhode Island， USA： IEEE Computer Society， 2012： 2518-2525.

[3] LI H， HUA G， LIN Z， et al. Probabilistic elastic matching for pose variant face verification[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland Maine， USA： IEEE Computer Society， 2013： 3499-3506.

[4] HUANG R， LI T， YE M， et al. Unconstrained face verification by optimally organizing multiple classifiers[J]. International Journal of Control， Automation and Systems， 2014， 12（4）： 833-842.

[5] 沈媛媛， 嚴嚴， 王菡子. 有監督的距離度量學習算法研究進展[J]. 自動化學報， 2014， 40（12）： 2673-2686.

SHEN Y Y， YAN Y，WANG H Z. Recent advances on supervised distance metric learning algorithms[J].Acta Automatic Sinica， 2014， 40（12）： 2673-2686. （In Chinese）

[6] WOLF L， HASSNER T， TAIGMAN Y. Similarity scores based on background samples[C]// Asian Conference on Computer Vision. Springer Berlin Heidelberg， 2009： 88-97.

[7] CHOPRA S， HADSELL R， LECUN Y. Learning a similarity metric discriminatively， with application to face verification[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）. San Diego， CA， USA： IEEE Computer Society， 2005：539-546.

[8] LIU C， WECHSLER H. Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J]. IEEE Transactions on Image Processing， 2002， 11（4）： 467-476.

[9] GUILLAUMIN M， VERBEEK J， SCHMID C. Is that you？ metric learning approaches for face identification[C]// IEEE 12th International Conference on Computer Vision. San Francisco， CA， USA： IEEE Computer Society， 2009： 498-505.

[10]MIGNON A， JURIE F. Pcca： A new approach for distance learning from sparse pairwise constraints[C]// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Rhode Island， USA： IEEE Computer Society， 2012： 2666-2672.

[11]KSTINGER M， HIRZER M， WOHLHART P， et al. Large scale metric learning from equivalence constraints[C]// Computer Vision and Pattern Recognition （CVPR）， IEEE Conference on. Rhode Island， USA： IEEE Computer Society， 2012： 2288-2295.

[12]YING Y， LI P. Distance metric learning with eigenvalue optimization [J]. Journal of Machine Learning Research， 2012， 13（1）： 1-26.

[13]CAO Q， YING Y， LI P. Similarity metric learning for face recognition[C]// Proceedings of the IEEE International Conference on Computer Vision. Portland， Maine， USA： IEEE Computer Society， 2013： 2408-2415.

[14]NGUYEN H V， BAI L. Cosine similarity metric learning for face verification[C]// Asian Conference on Computer Vision. Springer Berlin Heidelberg， 2010： 709-720.

[15]FANG Y， CHEN Y Y S， WANG H， et al. Sparse similarity metric learning for kinship verification[C]//Visual Communications and Image Processing （VCIP）. Chengdu， China： IEEE Computer Society， 2016： 1-4.

[16]FANG Y， YAN Y， WANG H， et al. Adaptive metric learning with the low rank constraint[C]//Proceedings of the International Conference on Internet Multimedia Computing and Service. Xi'an， Chian： ACM， 2016： 61-65.

[17]DING Z， SUH S， HAN J J， et al. Discriminative low-rank metric learningfor face recognition[C]//Automatic Face and Gesture Recognition （FG）， 11th IEEE International Conference and Workshops on. Ljubljana， Slovenia： IEEE Computer Society，2015：1-6.

[18]HASSNER T， HAREL S， PAZ E，et al. Effective face frontalization in unconstrained images[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston， MA， USA： IEEE Computer Society，2015： 4295-4304.

[19]HU J， LU J， TAN Y P. Discriminative deep metric learning for face verification in the wild[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE Computer Society， 2014： 1875-1882.

[20]ZHU X， LEI Z， YAN J， et al. High-fidelity pose and expression normalization for face recognition in the wild[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston， MA， USA： IEEE Computer Society， 2015： 787-796.

[21]TAIGMAN Y， YANG M， RANZATO M A， et al. Deepface： Closing the gap to human-level performance in face verification[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE Computer Society， 2014： 1701-1708.

[22]SUN Y， WANG X， TANG X. Deep learning face representation from predicting 10，000 classes[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE Computer Society， 2014： 1891-1898.

[23]SUN Y， CHEN Y， WANG X， et al. Deep learning face representation by joint identification-verification[C]//Advances in Neural Information Processing Systems. Palais des Congrès de Montréal，2014： 1988-1996.

[24]SUN Y， LIANG D， WANG X， et al. Deepid3： Face recognition with very deep neural networks[J]. arXiv preprint arXiv：1502.00873， 2015.

[25]LU J， PLATANIOTIS K N， VENETSANOPOULOS A N. Face recognition using LDA-based algorithms[J]. IEEE Transactions on Neural Networks， 2003， 14（1）： 195-200.

[26]MOGHADDAM B， JEBARA T， PENTLAND A. Bayesian face recognition[J]. Pattern Recognition， 2000， 33（11）： 1771-1782.

[27]PRICE J R， GEE T F. Face recognition using direct， weighted linear discriminant analysis and modular subspaces[J]. Pattern Recognition， 2005， 38（2）：209-219.

[28]OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971-987.

[29]WOLF L， HASSNER T， TAIGMAN Y. Descriptor based methods in the wild[C]// Workshop on Faces in 'Real-life' Images： Detection， Alignment， and Recognition. Palais des Congrès Parc Chanot，2008.

[30]HUANG G B， MATTAR M， BERG T， et al. Labeled faces in the wild： A database for studying face recognition in unconstrained environments[C]// Workshop on Faces in'Real-Life'Images： Detection， Alignment， and Recognition. Palais des Congrès Parc Chanot， 2008.

[31]TAIGMAN Y， WOLF L， HASSNER T. Multiple one-shots for utilizing class label information[C]// BMVC. London：2009： 1-12.

[32]BELHUMEUR P N， HESPANHA J P， KRIEGMAN D J. Eigenfaces vs. fisherfaces： Recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997， 19（7）： 711-720.

[33]http：//www.robots.ox.ac.uk/～vgg/software/vgg_face/

[34]COX D， PINTO N. Beyond simple features： A large-scale feature search approach to unconstrained face recognition[C]// IEEE International Conference on Automatic Face & Gesture Recognition and Workshops （FG）. Santa Barbara， CA， USA： IEEE Computer Society， 2011： 8-15.