一種基于融合深度卷積神經網絡與度量學習的人臉識別方法

呂璐 蔡曉東 曾燕 梁曉曦

摘 要： 現有的卷積神經網絡方法大多以增大類間距離為學習目標，而忽略類內距離的減小，這對于人臉識別來說，將導致一些非限制條件下（如姿態、光照等）的人臉無法被準確識別，為了解決此問題，提出一種基于融合度量學習算法和深度卷積神經網絡的人臉識別方法。首先，提出一種基于多Inception結構的人臉特征提取網絡，使用較少參數來提取特征;其次，提出一種聯合損失的度量學習方法，將分類損失和中心損失進行加權聯合;最后，將深度卷積神經網絡和度量學習方法進行融合，在網絡訓練時，達到增大類間距離同時減小類內距離的學習目標。實驗結果表明，該方法能提取出更具區分性的人臉特征，與分類損失方法及融合了其他度量學習方式的方法相比，提升了非限制條件下的人臉識別準確率。

關鍵詞： 多Inception結構; 深度卷積神經網絡; 度量學習方法; 深度人臉識別; 特征提取; 損失函數融合

中圖分類號： TN711?34; TP391.41 文獻標識碼： A 文章編號： 1004?373X（2018）09?0058?04

Abstract： The current convolutional neural network （CNN） methods mostly take the increase of inter?class distance as the learning objective， but ignore the decrease of intra?class distance， which makes that the human face can′t be recognize accurately under some unrestricted conditions （such as posture and illumination）. In order to eliminate the above problem， a face recognition method based on deep CNN and metric learning method is proposed. A face feature extraction network based on multi?Inception structure is presented to extract the feature with less parameters. A metric learning method based on joint loss is presented to perform the weighting joint for the softmax loss and center loss. The deep CNN and metric learning method are fused to reach the learning objective of inter?class distance increase and intra?class distance decrease. The experimental results indicate that the proposed method can extract the more discriminative facial features， and improve the more face recognition accuracy under unrestricted conditions than the Softmax loss method and methods fusing other metric learning modes.

Keywords： multi?Inception structure; deep CNN; metric learning method; deep face recognition; feature extraction; loss function fusion

0 引 言

近年來，基于卷積神經網絡的方法在人臉驗證識別領域取得了顯著的成就，相對于基于手工提取特征的方法[1?2]，卷積神經網絡方法能獲得更高的準確率。

目前，大部分基于CNN的特征提取網絡使用分類損失（Softmax Loss）作為網絡訓練的監督信號，這些網絡以分類為學習目標，在訓練過程中不同類別之間的距離會逐漸增大。Deepface[3]使用分類網絡方法，同時使用復雜的3D對齊方式和大量的訓練數據。DeepID1[4]則是首先對人臉圖片進行分塊，然后使用多個分類網絡對不同人臉塊進行特征提取，最后使用聯合貝葉斯算法對這些特征進行融合，此方法可以提取到包含豐富類別相關信息的人臉特征。

然而，對于人臉識別來說，屬于同一個人的不同環境條件下的人臉圖片也會有較大的差別，單純使用分類網絡的方法已經無法對這些條件下的人臉進行有效的驗證識別。所以，增大類間距離的同時減小類內距離成為深度人臉特征學習的一個重要目標。DeepID2[5]和CASIA[6]在網絡中加入了驗證損失（Contrastive Loss），它聯合網絡中的分類損失在網絡訓練時對網絡進行反饋調節，這種方法需要生成大量的正、負樣本對作為訓練數據，正樣本對用來減小類內距離，負樣本對用來增大類間距離;然而，這些樣本對的生成具有較大的隨機性，容易導致網絡性能不穩定。FaceNet[7]提出一種有效的三重損失函數（Triplet Loss），其訓練數據為三元組數據，每一個三元組包含3個樣本（anchor，positive，negative），其中樣本anchor與樣本positive屬于同一類別，樣本negative屬于其他類別，在訓練過程中，樣本anchor與樣本positive之間距離會被減小，樣本anchor與樣本negative之間的距離會被增加;然而，隨機的三元組選擇方式會降低網絡的收斂速度和穩定性，雖然本文中提出了一種每批次內的線上生成三元組的方式，并對三元組的選擇加上條件限制，但這樣的方式增加了計算資源的消耗和網絡訓練的難度。

本文提出一種基于融合卷積神經網絡與度量學習的人臉識別方法，將基于聯合函數的度量學習方法融合到卷積神經網絡方法中，使卷積神經網絡在訓練過程中以增大類間距和減小類內距為學習目標，最終本文方法使用較少的網絡參數且不需要復雜的樣本選擇，提取到區分能力更強的深度人臉特征。

1 基于融合卷積神經網絡與度量學習的特征提

取方法

1.1 基于多Inception結構的人臉特征提取網絡

傳統的卷積神經網絡結構一般由卷積層、池化層和全連接層組成。為了能提取到魯棒性更強的特征，一般的做法是對網絡進行加深和加寬，具體是通過卷積層和池化層的堆疊，以及多個全連接層的使用來實現。然而，簡單的增大網絡的尺寸可能會導致以下幾個問題：

1） 網絡參數過多，在訓練數據數量有限的情況下，網絡容易產生過擬合現象;

2） 隨著網絡尺寸的增大，網絡的計算復雜度也隨之增加，這將消耗更多的計算資源;

3） 網絡深度越深，越容易出現梯度彌散現象，這將導致網絡模型參數難以被優化，增加了網絡訓練的難度。

解決上述幾個問題的方法就是在加深加寬網絡的同時，減少網絡參數的數量。

GoogleNet[8]提出Inception結構，這種結構能夠有效地減少網絡的參數數量，同時也能加深加寬網絡，增加網絡的特征提取能力。隨著對卷積神經網絡研究的深入，原始的Inception模型已經無法滿足人臉特征提取的需要，文獻[9]對Inception結構做了一些改進，其中一項重要的改進就是將Inception結構中大的卷積分解成多個小的卷積，在卷積層的輸入與輸出都保持不變的情況下，大量節約了計算資源，而且這種方法增加了網絡的深度，也減少了參數的數量，具體結構如圖1a）所示。隨后，文獻[9]又提出一種非對稱卷積結構進一步增加網絡深度和節約計算資源，即將[n×n]的卷積用一個[1×n]的卷積連接一個[n×1]的卷積來代替，如圖1b）所示，而且這種結構應用在特征圖大小在12×12～20×20之間的網絡層時，表現很好。

本文基于文獻[9]提出的Inception結構，提出一種基于多Inception結構的人臉特征提取網絡，通過對每一個網絡層的輸入、輸出尺寸和濾波器個數進行重新設計，達到提取人臉深度特征的目標。本文使用網絡的具體細節如表1所示。首先，本文的網絡輸入是尺寸為112×96的RGB人臉圖片;其次，網絡中Inception3a層和Inception3b層中使用的Inception結構為圖1a）的結構，而當特征圖輸入到Inception4a和Inception4b層時，其尺寸已經減小到14×12，所以這兩層使用的Inception結構為圖1b）的結構，本文經過實驗取[n=5。]由于過多使用最大池化層對特征圖尺寸進行減半，將損失大量的特征信息，所以本文網絡使用三種方式對特征圖進行減半：第一種，使用卷積核大小為3×3，步長為2的卷積層，如網絡中的Conv13層;第二種，與圖1a）的結構相似，其中去掉1×1卷積分支和池化分支中的1×1卷積層，并在與聯合層相連的3×3卷積層以及3×3池化層中使用的步長為2，這種方式應用在網絡中的Inception?Pool層中;第三種方式是池化核為3×3、步長為2的普通池化層，應用在網絡中的Pool2和Pool4層中。最后，在網絡的最后設置一個節點數為320的全連接層，作為人臉特征提取層，大幅壓縮了最終人臉特征的維數。

1.2 基于聯合損失的度量學習方法

基于CNN的特征提取網絡大多數使用Softmax Loss函數作為網絡的損失函數，在網絡訓練時，通過反饋其損失值來優化網絡參數，隨著迭代次數的增加，其損失值會逐漸降低，訓練數據中的各個類別也會慢慢被分開。對于普通的類別分類任務來說，Softmax Loss函數已經可以滿足需求。但對于人臉分類識別任務來說，由于人臉的復雜多變性，Softmax Loss只能增大不同類人臉間的距離，而無法減少同一類人臉間的距離，這將導致一些非限制條件下的人臉無法被準確識別。文獻[10]提出一種中心損失函數（Center Loss），其主要作用是在網絡訓練時盡可能減小類內距離，具體計算如下：

式中：[N]為訓練批次的大小;[xi]是此批次中第[i]個樣本的特征向量，屬于第[k]類;[ck]為第[k]類的中心特征向量。每經過一次迭代，都會對批次中樣本對應的類別中心[ck]進行更新;這樣可以在訓練時有效地減小各個類別的樣本與對應的類別中心的距離，達到減小類內距離的目標。

然而，在訓練網絡時，僅使用中心損失函數可以將類內距離變得很小，但是無法區分各個類別。所以，本文使用Softmax Loss和Center Loss對網絡訓練進行聯合監督，以達到增大類間距離的同時減小類內距離的目標。使用方法為將兩個損失函數進行加權，具體計算如下：

式中：公式的前半部分為Softmax Loss函數;[M]為訓練數據類別總數;[w]為最后一個全連接層的權重集合;[b]為對應的偏置值;[λ]為Center Loss的權重值，用來平衡這兩個損失，本文經過實驗將其值設置為0.000 8。本文提出的網絡，其中Softmax Loss層和Center Loss層在網絡中的具體使用方式如圖2所示。

2 實驗結果及分析

本文實驗平臺的配置包括Intel i3?4130（4×3.4 GHz處理器）、8 GB內存、GTX1080Ti顯卡以及Ubuntu 14.04操作系統，并使用基于C++編程語言的Caffe[11]深度學習開源框架。

2.1 訓練樣本

本文使用的訓練樣本是CASIA?WebFace[6]數據庫，是一個大型公開數據庫，它包含10 575個人，約49萬張人臉圖片，本文使用此數據庫來訓練網絡。在經過人臉檢測、關鍵點定位以及手工對一些標簽錯誤的圖片進行刪減之后，最終可用的訓練圖片約有45萬張。

2.2 測試庫

本文使用公開人臉庫LFW[12]數據庫進行測試。LFW數據庫有5 479個人，共13 233張人臉圖片。本文的測試結果是基于LFW數據庫的6 000對人臉驗證任務，包括3 000對正樣本和3 000對負樣本。

2.3 實驗細節

本文對所有訓練和測試樣本都做相同的預處理，首先，使用MTCNN[13]算法對每一張樣本做人臉檢測和5個關鍵點定位（兩只眼睛、一個鼻子和兩個嘴角）;然后根據定位出的5個關鍵點的位置做相似變換，最后將所有人臉裁剪成112×96大小的RGB圖片。網絡的訓練參數設置如下：初始學習率設置為0.01，權重衰減設置為0.005，訓練批次大小為48（由于GPU顯存有限，所以iter_size設置為4），最大迭代次數為10萬次。在測試時，提取測試圖片原圖和水平翻轉圖的特征作為最終的比對特征，并使用Cosine距離計算相似度。

2.4 參數[n]與[λ]的取值

參數[n]為圖1b）Inception結構中的卷積核的大小，參數[λ]為本文網絡使用的聯合監督信號中Center Loss的權重值，本文測試不同的[n]和[λ]值在兩種損失函數下對LFW庫人臉驗證準確率的影響，結果如表2所示。從結果中可以得出，當[n]值設置為5且[λ]設置為0.000 8時，本文所提出的網絡性能表現相對較好。

2.5 LFW庫測試結果及分析

本文使用表1中的網絡模型做對比實驗，其中一個使用Softmax Loss作為訓練監督信號，另一個使用Softmax Loss和Center Loss聯合作為訓練監督信號;在LFW庫6 000對非限制條件下的人臉驗證任務上，當參數[n=5，λ=]0.000 8時，前者取得了96.08%的準確率，后者取得了98.30%的準確率;可以看出，使用Center Loss作為網絡訓練的監督信號，可以有效地減小類內距離，配合使用Softmax Loss，在訓練時可以達到增大類間距離和減小類內距離的目標;最終，可使網絡能提取出魯棒性更強的特征。同時也與一些其他的方法做了對比，具體如表3所示。

首先，與傳統算法High?dim LBP和Fisher vector faces相比，本文方法基于深度卷積神經網絡對非限制條件下的人臉具有更高的識別準確率。其次，與一些分類網絡方法DeepFace和DeepID1相比，本文方法融合了度量學習算法，能提取出區分能力更強的人臉特征。最后，與基于Contrastive Loss的方法WebFace相比，本文方法使用了更少的人臉關鍵點，且有更高的驗證識別準確率。然而，與方法DeepID2相比，本文方法在準確率方面存在一定差距，但是本文方法僅使用了單個網絡，遠少于其使用的網絡數量。

3 結 論

本文提出一種基于融合深度卷積神經網絡與度量學習的人臉識別方法。首先，提出一種基于多Inception結構的有效卷積神經網絡，僅使用1.05×107的參數數量來提取人臉特征;其次，將基于聯合損失的度量學習算法融合到深度卷積神經網絡中，使網絡在訓練過程中以增大類間距離及減小類內距離為學習目標;最后，在LFW庫人臉驗證任務上的實驗結果證明，本文方法可以提取出更具區分能力的人臉特征，且達到了98.30%的驗證準確率。

參考文獻

[1] CHEN Dong， CAO Xudong， WEN Fang， et al. Blessing of dimensionality： high?dimensional feature and its efficient compression for face verification [C]// Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE， 2013： 3025?3032.

[2] SIMONYAN K， PARKHI O， VEDALDI A， et al. Fisher vector faces in the wild [C]// Proceedings of 2013 British Machine Vision Conference. British： [s.n.]， 2013： 1?11.

[3] TAIGMAN Y， YANG M， RANZATO M， et al. DeepFace： closing the gap to human?level performance in face verification [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 1701?1708.

[4] SUN Yi， WANG Xiaogang， TANG Xiaoou. Deep learning face representation from predicting 10 000 classes [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 1891?1898.

[5] SUN Yi， WANG Xiaogang， TANG Xiaoou. Deep learning face representation by joint identification?verification [J]. Advances in neural information processing systems， 2014， 27： 1988?1996.

[6] YI Dong， LEI Zhen， LIAO Shengcai， et al. Learning face representation from scratch [J]. Computer science， 2014（11）： 1?9.

[7] SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 815?823.

[8] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// 2014 IEEE Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2014： 1?9.

[9] SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision [C]// 2016 IEEE Conference on Computer Science and Pattern Recognition. Las Vegas： IEEE， 2015： 2818?2826.

[10] WEN Yandong， ZHANG Kaipeng， LI Zhifeng， et al. A discriminative feature learning approach for deep face recognition [J]. Computers & operations research， 2016， 47（9）： 11?26.

[11] JIA Yangqing， SHELHAMER E， DONAHUE J， et al. Caffe： convolutional architecture for fast feature embedding [J]. Computer science， 2014（3）： 675?678.

[12] HUANG G B， MATTAR M， BERG T， et al. Labeled faces in the wild： a database for studying face recognition in unconstrained environments [J/OL]. [2008?10?03]. http：//www.tamaraberg.com/papers/Huang_eccv2008?lfw.pdf.

[13] ZHANG Kaipeng， ZHANG Zhanpeng， LI Zhifeng， et al. Joint face detection and alignment using multi?task cascaded convolutional networks [J]. IEEE signal processing letters， 2016， 23（10）： 1499?1503.