基于深度特征學習的復雜環境下陌生人臉匹配算法研究

王星杰

基于深度特征學習的復雜環境下陌生人臉匹配算法研究

王星杰

復雜環境下的陌生人臉匹配，即在人臉存在光照、姿態干擾時，判斷兩張在訓練集中從未出現過的人臉照片是否代表同一個人。在預處理階段，采用多尺度視皮層算法，降低光照的影響，提出并采用基于PCA-SIFT特征的圖片融合算法無監督地對齊人臉，降低人臉姿態的影響。在識別階段，提出并采用半隨機池化方法優化了局部卷積限制波爾茲曼機網絡的穩定性，習得深度特征后采用基于信息熵的度量學習算法計算馬氏距離并通過SVM分類識別。實驗結果顯示，提出的方法在LFW數據集上取得了78%的識別率，相比于采用相同訓練模式的經典度量學習方法取得了7%的提高，驗證了所提方法的有效性。

陌生人臉匹配；半隨機池化方法；深度特征學習；度量學習

0 引言

雖然對人臉檢測、識別的研究早已有之，但今年來外延和難度都在不斷拓展，也隨著對新技術如更強的圖像特征和諸如深度學習等領域的突破而不斷推進。

復雜環境下的陌生人臉匹配是近年來人臉識別領域的重要研究方向之一[1]。從研究所采用的數據集層面看，早期數據集存在與真實環境相差較大的情形，如AT&T和YaleB人臉數據集。由于其中的人臉圖片通常具備統一的表情、光照、姿態，因此基于這些數據集進行研究的方法，很可能無法順利運用于真實環境中[2]。從具體的訓練方法層面看，傳統的畫廊/猜測模式[3]一方面使得研究方法很容易出現對訓練集的過擬合而取得較高識別率，另一方面則不具備對新的大量樣本的泛化能力。針對這兩個層面的問題，Huang等人提出了對非約束環境下的陌生人臉匹配問題的研究。其特點是：其一，通過采用具備光照、姿態變化的人臉樣本集，盡可能模擬復雜環境下真實的人臉識別應用場景；其二，將數據集嚴格劃分為訓練集和測試集，且測試集中的人臉從未在訓練集中出現。這一問題的研究價值在于不但更加貼近實際生活場景，而且能夠幫助解決其他人臉識別問題，如通過對犯罪嫌疑人照片與數據庫中照片一一匹配以完成人臉辨認；更重要的是在網絡時代對海量人臉匹配算法的應用需求的推動下（如標注社交網絡相冊中的同一個人臉），陌生人臉匹配因其不涉及到特定人的人臉特征建模的特性，特別適合于處理此類任務。

在預處理階段，可以采用多種預處理技術去除人臉數據集受到的干擾，如光照、人臉的姿態和位置等等。

在識別階段，Nowak等人[5]提出將度量學習方法用于陌生人臉識別。在此基礎上又出現了多種度量學習算法變種。其中，度量學習的一個重要特性是可以將多個圖像特征疊加

表2 ：各方法、數據集平均識別率對比

實驗結果所示，采用Nowak等人的經典方法，在所采用的預處理方法下，能夠取得相較于作者提供的LFW-a數據集更高的識別率，顯示所提出的預處理方法是行之有效的。采用提出的半隨機LCRBM方法進行特征抽取后用ITML計算得到馬氏距離并進行SVM分類，在相同的LFW-ma數據集上能夠取得超過經典方法7%的識別率，顯示所提出的特征學習方法是行之有效的。如圖7所示：

圖7 采用半隨機池化、隨機池化、最大池化法的特征學習在LFW-ma上的陌生人臉識別對比試驗

采用半隨機池化方法的ROC曲線略高于最大池化和隨機池化方法，顯示提出的半隨機LCRBM的有效性。雖然與當前最新研究進展相比[11]，依然存在一定的距離，但這一方面顯示陌生人臉對匹配這一問題的難度，另一方面也顯示了在的基礎上仍然有較大的進步空間。且值得說明的是，為減小計算量，采用了40×40的圖片進行計算，而[11]則采用了250×250的原尺寸圖片，可供區分的人臉細節要豐富的多。

3 總結

通過將無監督的思想貫徹于研究的全程，實現了解決復雜環境下的陌生人臉匹配的算法。在人臉去光照、對齊、特征學習和度量學習階段都采用了盡量少采取人為標注的方法來展開研究。一方面實驗證明這一方法是行之有效的，在面對潛在大規模難以標注的圖片集時具備優勢，另一方面與一些采取了有監督的陌生人臉匹配算法尚有差距。在現有算法框架下，改進的方法包括探索在GPU并行計算的環境下對更大的圖片進行訓練、以及探索不同的深度神經網絡結構和參數所帶來的不同效果。同時由于所采用LFW數據集僅包括新聞圖片，因此需要尋找其他數據集以驗證所提出方法的有效性。

[1] Javier Ruiz-del-Solar*, Rodrigo Verschae and Mauricio Correa. Recognition of Faces in Unconstrained Environments: A Comparative Study. ［J］ EURASIP Journal on Advances in Signal Processing 2009.

[2] Gary B. Huang. Weakly Supervised Learning for Unconstrained Face Processing. [D] Ph.D. Thesis, University of Massachusetts Amherst 2012.

[3] Turk, Matthew, and Pentland, Alex. Face recognition using Eigenfaces. In Pro- ceedings of the IEEE Conference on Computer Vision and Pattern Recognition 1991 [C].

[4] Gary B. Huang, Marwan Mattar, Tamara Berg, et. al. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. Faces in Real-Life Images Workshop in European Conference on Computer Vision 2008 [C].

[5] Nowak, Eric, and Jurie, Frederic. Learning visual similarity measures for comparing never seen objects.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2007 [C].

[6] Learned-Miller, Erik. Data driven image models through continuous joint align- ment. [J] IEEE Transactions on Pattern Analysis and Machine Intelligence 2005.

[7] Hinton, Geoffrey E., Osindero, Simon, and Teh, Yee-Whye. A fast learning algorithm for deep belief nets. [J] Neural Computation 18, 7, 2006

[8] Honglak Lee, Roger Grosse, Rajesh Ranganath et. al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. In Proceedings of the 26th International Conference on Machine Learning 2009 [C].

[9] Matthew D. Zeiler and Rob Fergus. Stochastic Pooling for Regularization of Deep Convolutional Neural Networks. The International Conference on Learning Representations 2013 [C]

[10] Davis, Jason V., Kulis, Brian, Jain, Prateek et. al.Information-theoretic metric learning. In Proceedings of the International Conference on Machine Learning 2007 [C].

[11] Karen Simonyan, Omkar M. Parkhi, Andrea Vedaldi et. al.. Fisher Vector Faces in the Wild. British Machine Vision Conference 2013 [C].

Unseen Face Matching Under Complex Environment Based On Deep Feature Learning

Wang Xingjie
(School of Computer Science and Technology, Fudan University, Shanghai 200433, China)

The goal of unseen face matching under complex environment is to decide whether two pictures outside the training set belong to the same person, under pose and illumination factors in the image. Leveraging the intra-person subspace similarity metric learning algorithm (sub-SML) as a framework, a multi-scale retinex algorithm is applied to reduce illumination in the images; a PCA-SIFT enhanced unsupervised alignment algorithm, congealing, is proposed and applied to align face images and makes sure all faces in images are at frontal and central position; a semi-stochastic pooling method is proposed and applied to local convolutional RBM to enhance the stability of unsupervised feature learning. And finally the learned features are applied to information theoretic metric learning to calculate the Mahalanobis distance and execute the proposed unseen face matching task via SVM classification. We used the Labeled-Faced-in-the-Wild (LFW) data set to run our algorithm, following the restricted-image training/testing model by the LFW author. Experimental results on LFW show 78% accuracy of proposed method, 7% higher than classic metric learning method under the same training/testing model, validating the effectiveness of proposed method.

Unseen Face Matching; Semi-Stochastic Pooling; Deep Feature Learning; Metric Learning

TP391

A

1007-757X(2014)06-0021-05

2014.04.22）

王星杰(1989－)，男，復旦大學計算機科學技術學院，碩士研究生，研究方向：人臉識別、深度特征學習，上海，200433