融合Fisher判別分析的多任務深度判別度量學習的化妝人臉驗證方法

陸 兵

(常州工業(yè)職業(yè)技術學院信息技術與工程學院 江蘇 常州 213164) (常州大學信息科學與工程學院 江蘇 常州 213164)

0 引 言

近十年，人臉識別技術成為計算機視覺和圖像處理等領域的熱點研究。人臉識別問題常分成兩大類：人臉確認和人臉驗證[1]。人臉確認是解決“你是誰”的問題，在給定的數(shù)據(jù)庫中查詢確認未知人臉的身份；人臉驗證解決“是你嗎”的問題，通過人臉的一對一比對，確認兩張人臉是否屬于同一個人。目前，人臉驗證廣泛應用到不同的身份驗證場景中，如支付寶商用的“刷臉支付”，機場和地鐵站啟用的“刷臉登機”和“刷臉進站”，以及住宅公寓實施“刷臉開門”等。與傳統(tǒng)的指紋識別和虹膜識別相比，人臉驗證的特點在于：1) 借助于國內(nèi)權(quán)威的身份證人臉數(shù)據(jù)庫系統(tǒng)，實施人臉驗證的基礎數(shù)據(jù)強大；2) 無須驗證者的主觀配合，僅需人員面對攝像頭就可完成驗證操作；3) 人臉作為人類最明顯的生物學特征, 對驗證者的自我認知具有參考意義。

隨著人工智能、云計算和高性能計算的發(fā)展，人臉驗證領域出現(xiàn)了大量性能優(yōu)秀的算法，逐步解決了與姿勢、照片和面部表情等相關的難題，這些算法能夠在不同應用場景中實現(xiàn)無約束的人臉驗證和面部識別。但人臉驗證仍在一些應用中存在挑戰(zhàn)，包括跨年齡場景和化妝場景等。在現(xiàn)實世界的應用中，面部化妝常見且會顯著改變面部的感知外觀，降低人臉的辨識，文獻[2-4]指出面部化妝對絕大部分的人臉驗證算法的性能帶來負面的影響。由圖1所示的化妝前后的人臉差異比較可以直觀地看到面部外觀的明顯變化。因此，對人臉化妝具有魯棒性的人臉驗證算法在實際應用中具有重要的意義。為了開發(fā)一個強大的面部識別系統(tǒng)，化妝品對人臉驗證的影響亟需解決。為此，文獻[5]提出一種雙屬性方法分別學習化妝和非化妝的面部屬性，面部匹配使用語義級屬性來減少化妝對低級特征的影響。文獻[6]使用自商(self-quotient image)圖像技術對人臉圖像進行預處理，以減少人臉匹配前的化妝效果。然而，這些方法不能顯著降低化妝品的影響。文獻[7]提出一種基于相關的構(gòu)造不變?nèi)四樥J證方案。文獻[8]提出一種人臉特征向量的方法，能捕獲了輸入人臉的形狀、紋理和顏色特征，并利用分類器確定是否存在化妝。除了從整個面部提取特征外，該方法還考慮了面部與左眼、右眼和嘴巴相關的部分。文獻[9]為了進一步降低化妝品對人臉識別的影響，提出一種人臉化妝品檢測方法，能捕獲輸入面的形狀和紋理特征，并使用三個公開的面部化妝數(shù)據(jù)庫測試了該技術的性能。

圖1 同一個人化妝前后的差異比較示意圖

近年來，深度學習方法顯著改善了人臉驗證[9-10]。深度學習方法可以分為兩類：(1) 基于深度神經(jīng)網(wǎng)絡提取非線性特征和識別特征來表示人臉圖像。例如，文獻[11]根據(jù)人臉屬性和人臉結(jié)構(gòu)的特征，使用卷積神經(jīng)網(wǎng)絡和人臉部件來處理人臉的識別。文獻[12]采用深度卷積神經(jīng)網(wǎng)絡端到端地學習人臉特征，并使用雙線性模型對網(wǎng)絡多個尺度下的輸出特征進行二階池化以加強人臉特征的判別。(2) 深度度量學習。目前常用的距離學習的距離度量方法主要基于歐氏距離和馬氏距離，但這些方法不足以解決復雜場景下的人臉識別問題[13]。深度度量學習的目標是使用深度學習的方法來學習距離度量，以發(fā)現(xiàn)配對樣本之間的相似性和不配對樣本之間的差異性。文獻[14]使用從原始圖像到特征空間的非線性變換的方法，提出了基于深度獨立子空間分析網(wǎng)絡的度量學習。文獻[15]提出一種用于人臉識別的深度判別度量學習(Deep Discriminative Metric Learning,DDML)方法，該方法利用層次非線性變換學習來解決野外人臉識別問題。

在面對化妝人臉驗證的任務時，通常認為無論外表如何變化，同一個人的一對面部圖像與所呈現(xiàn)的化妝品都應具有最大的相關性，而不同的人即使擁有相同的化妝品或不化妝，也不應具有很大的相關性。人臉驗證可以看作是一個二值分類問題[16]，同一個人的圖像對可以標記為正對，不同人的圖像對可以標記為負對。從分類的角度來看，如果能找到一個投影空間，使得同一個人圖像距離盡可能小，不同人圖像間的距離盡可能大，那么人臉驗證問題可以得到有效解決。另外，人臉具有很多屬性，而屬性之間很多是具有一定的相關性的，例如：如果性別是女性，其極大可能會涂抹口紅和穿戴配飾等，這些屬性是強相關的；如果性別是女性，一般也沒有談論其胡須顏色和形狀的需要，此時性別和胡須的關系可形成互斥關系。按照這些關系，將人臉屬性分組或形成多任務學習，可提高人臉識別的準確性[17]。本研究通過屬性劃分，將多個化妝人臉驗證任務構(gòu)成了多任務學習,任務間可以共享各自學習的知識,從而提高每個任務的學習性能。本文基于DDML模型構(gòu)建一個深度判別度量學習，并融入Fisher判別分析和多任務的思想，提出了融合Fisher判別分析的多任務深度判別度量學習(Multi-task Deep Discriminative Metric Learning with Fisher Discriminant Analysis,MT-DDML-FDA)模型。MT-DDML-FDA使用多層深度判別度量學習結(jié)構(gòu)，通過共享一個網(wǎng)絡層，在多個任務之間學習共享的轉(zhuǎn)換知識來捕獲不同任務的人臉圖像之間的潛在識別信息。神經(jīng)網(wǎng)絡的每一層均形成非線性變換，以形成一個良好的距離度量。同時，融合Fisher判別分析將類內(nèi)相關矩陣和類間相關矩陣引入深度神經(jīng)網(wǎng)絡，將具有高相似性的類間樣本投影到一個鄰域中，使得類間鄰域樣本盡可能遠離，保證每個任務所學習的距離度量以有效的方式執(zhí)行。MT-DDML-FDA的優(yōu)點在于：1) 引入多任務學習框架，在多個任務之間學習共享的投影信息，這些投影信息可以捕獲不同任務的人臉圖像之間的潛在識別信息。2) 利用每個任務特殊的識別信息，同時考慮不同任務之間的差異性，使得每個任務所學習的距離度量更有效。3) 圖像的局部幾何信息是人臉識別問題的重要信息，將Fisher判別引入多任務深度度量學習，在投影過程基于配對信息建立能較好區(qū)分人臉圖像的方法。實驗結(jié)果表明，MT-DDML-FDA在真實化妝人臉數(shù)據(jù)集Disguised Faces in the Wild (DFW)上取得了較好的性能。

1 相關知識

1.1 度量學習

(1)

馬氏距離學習一個d×m(m≤d)的變換矩陣W，矩陣A可以分解為A=WTW，而成對圖像之間的距離可以寫為：

(2)

雖然馬氏距離度量學習可以等價于基于矩陣W計算變換子空間中的歐氏距離，但是式(2)得到的線性變換不能捕獲圖像的復雜非線性結(jié)構(gòu)。

1.2 深度判別度量學習

深度判別度量學習(DDML)[15]采用深度神經(jīng)網(wǎng)絡框架下學習多層次的非線性變換。假設一個L+1層神經(jīng)網(wǎng)絡，對于人臉圖像xi，其第一層的輸出是g(1)=φ(W(1)x+b(1))，其中φ函數(shù)是一個非線性激活函數(shù)，W(1)和b(1)分別是第1層中學習到的映射矩陣和偏差向量。網(wǎng)絡前一層的輸出作為后一層的輸入，因此，頂層的輸出是g(L)=φ(W(L)g(L-1)+b(L))，其中g(L-1)是第(L-1)層的輸出，W(L)和b(L)是頂層學習到的映射矩陣和偏移向量。給定成對圖像xi和xj，DDML使用以下歐氏距離計算兩個圖像之間的距離度量：

(3)

DDML在深度神經(jīng)網(wǎng)絡最頂層的優(yōu)化問題為：

(4)

式中：‖·‖F(xiàn)是F-范數(shù)；函數(shù)f(·)是廣義邏輯損失函數(shù)；lij是兩個圖像的成對標號；λ(λ≥0)是正則化參數(shù)。

2 模型設計

多任務學習通過共同學習多個相關任務來提高每個任務學習的效果。多任務之間共享的有用信息能防止對某一任務的過度學習[19]。相關任務之間的信息傳遞常見的類型有：共享投影[20]和共享參數(shù)[21-22]，如馬氏矩陣和正則化參數(shù)等。鑒于深度判別度量學習的特點，MT-DDML-FDA模型在DDML的基礎上讓多個任務共享一個公共投影，即設置深層度量學習中的公共層，那么所有任務共享的投影將有助于每一個任務的學習。以三層神經(jīng)網(wǎng)絡為例，MT-DDML-FDA模型的示意圖如圖2所示。

圖2 三層MT-DDML-FDA模型的示意圖

假設同時有M個任務學習，給定第m個任務的人臉圖像對{(xm,i,ym,i,lm,i)|i=1,2,…,nm,m=1,2,…,M}，其中：xm,i,ym,i∈Rd表示任一人臉圖像；lm,i表示其相應的圖像對的標簽，lm,i=1說明圖像xm,i和ym,i來源于同一人，lm,i=-1說明圖像xm,i和ym,i來源于不同的人。如圖2所示，MT-DDML-FDA的第1層是所有任務的共享層，輸入的人臉圖像xm,i在共享層的輸出g(1)(xm,i)為：

g(1)(xm,i)=φ(W(1)xm,i+b(1))

(5)

(6)

(7)

(8)

根據(jù)上文在多任務深度判別度量學習的框架上考慮Fisher準則,即引入各個任務中人臉圖像數(shù)據(jù)的類間和類內(nèi)相關矩陣，從而MT-DDML-FDA定義的優(yōu)化問題如下：

(9)

(10)

(11)

式(10)和式(11)中的qi,c和qi,b分別定義如下：

(12)

(13)

下面介紹MT-DDML-FDA的求解方法。在眾多的訓練方法中，反向傳播方法是神經(jīng)網(wǎng)絡常用的訓練策略。反向傳播方法使用遞歸更新算法，可以在輸出層更新所有映射矩陣和偏差向量，并返回到第一層。在訓練過程的每次迭代中，根據(jù)梯度下降公式更新各層的參數(shù)，映射矩陣和偏差向量為：

(14)

(15)

式中：μ是梯度下降的學習速率。

(16)

(17)

(18)

(19)

(20)

(21)

(22)

(23)

式中：Δ表示元素乘法運算。根據(jù)MT-DDML-FDA的輸入可得：

(24)

(25)

基于以上的分析，MT-DDML-FDA模型見算法1。

算法1MT-DDML-FDA模型

輸入:P個任務的人臉圖像,正則化參數(shù)α,β,最大迭代次數(shù)T, 最大近鄰數(shù)k,和收斂閾值ε。

Step1特征提取每對人臉圖像的特征，得到P個任務的人臉圖像對的特征向量表示Xk={(xk,i,xk,j,li,j)|k=1,2,…,P};

Step2初始化所有映射矩陣和偏差向量;

Fort=1,2,…,T

Fork=1,2,…,P

Step5使用式(8)計算d2(xp,i,yp,i);

Step6從第L層到第一層使用式(14)和式(15)計算?J/?W和?J/?b;

Step7更新映射矩陣W(1)和偏差向量b(1);

Step9使用式(9)計算目標函數(shù)Jt;

end

Step11如果|Jt-Jt-1|<ε,轉(zhuǎn)至Step 12;

end

3 實 驗

3.1 實驗設置

本文選用了被廣泛應用于化妝人臉數(shù)據(jù)集Disguised Faces in the Wild (DFW)[23]和變化人臉數(shù)據(jù)集CALFW[24],如圖3所示。DFW數(shù)據(jù)集中包含了從網(wǎng)絡上收集的1 000個人的11 155幅不同的圖片，來自于電影明星、歌星、運動員和政治家等的人臉圖像，每個人物均包含一幅未化妝和多張化妝人臉圖像，并且在姿態(tài)、年齡、光照和表情等方面存在差異。每人有多幅不同圖片，包含一幅不化妝照片和多幅化妝照片，佩戴眼鏡和帽子也算化妝的范疇。CALFW數(shù)據(jù)集是廣泛使用的LFW人臉數(shù)據(jù)庫的一個子集, 內(nèi)容同樣來自電影明星、歌星、運動員和政治家等的人臉圖像，共包括4 025個不同人的圖像,每人2～4幅圖片。本文從DFW數(shù)據(jù)集和CALFW數(shù)據(jù)集中分別選取900對和300對人臉，按照男士(不戴帽子和眼鏡)、男士戴帽子、男士戴眼鏡、女士(不戴帽子和眼鏡)、女士戴帽子和女士戴眼鏡，分成6個任務，每個任務中的負對采用隨機選取的方式獲得，各個任務的基本信息如表1所示。每個任務隨機將75%的數(shù)據(jù)作為訓練集，用于多任務學習，剩下25%的數(shù)據(jù)作為測試集。整個訓練和測試過程執(zhí)行5次，取5次的平均計算結(jié)果作為最終結(jié)果。

圖3 化妝數(shù)據(jù)集DFW和CALFW示意圖

表1 多任務子集基本信息

參考文獻[7]，本文使用HOG[25](Histogram of Oriented Gradient)和LBP[26](Local Binary Pattern)2種特征提取算法對人臉圖像進行處理。HOG算法設置圖像塊大小為16×16，共提取特征為1 764維。LBP將每幅人臉數(shù)據(jù)集圖片分為16×16像素的16塊非重疊區(qū)域，共提取3 776維數(shù)據(jù)特征。獲得的特征經(jīng)Principal Component Analysis (PCA)處理將至500維。實驗對比方法采用了LFDA[27](Local Fisher Discriminant Analysis)、LMNN[28](Large Margin Nearest Neighbor) 、MDMML[29](multiview discriminative marginal metric learning)和DDML[6](Deep Discriminative metric learning)。在實驗中，DDML和提出的MT-DDML-FDA均采用3層神經(jīng)網(wǎng)絡，神經(jīng)節(jié)點為200、200、100，激活函數(shù)使用Sigmoid函數(shù)。每一層的初始化權(quán)重矩陣其主對角線上的元素為1，其他元素為0；初始偏移向量為0。參數(shù)β和γ的網(wǎng)格搜索范圍{10-2,10-1,…,102}, 最大近鄰數(shù)k的網(wǎng)格搜索范圍{5,7,…,13}。經(jīng)過大量實驗，收斂閾值ε取值10-5，梯度下降的學習速率為0.05。3個對比算法參數(shù)的設置均按照對應文獻中的默認設置進行設定。評價標準本文采用了分類精確率(Classification Accuracy Rate，CAR)、錯誤率(Equal Error Rate,EER)和ROC曲線下面積(area under the Roc curve，AUC)。CAR為nc/nt,nc為測試集中分類正確的圖片對的數(shù)目，nt為測試集中所有圖片對的數(shù)目。參考文獻[7]，實驗采用的分類器為SVM[30]。

3.2 不同特征下算法性能的比較

表2顯示了基于HOG特征提取的MT-DDML-FDA和3種對比算法在CAR、EER和AUC指標上的性能比較。表3顯示了基于LBP特征提取的MT-DDML-FDA和3種對比算法在CAR、EER和AUC指標上的性能比較。兩表的實驗結(jié)果表明: 1) MT-DDML-FDA在CAR、EER和AUC指標上均取得了最佳結(jié)果。MT-DDML-FDA使用深度判別度量學習和多任務的學習框架，同時利用Fisher判別能提取每個任務的獨立信息，挖掘所有任務3之間共享的隱藏相關信息，MTCS-TSK-FS能夠獲得最佳的性能。LFDA主要基于局部判別擴大負對數(shù)據(jù)的間隔；LMNN主要利用領域間樣本的大間隔信息，均不能充分有效地利用配對信息，因此仍然表現(xiàn)出較差的能力；DDML雖然使用多任務深度判別度量學習方法，但不能有效地利用所有任務之間的信息，特別是不能利用所有任務之間的公共信息，其性能不能達到理想的結(jié)果。2) 所有算法在Task1和Task4任務取得了相對較高的性能，在其他4個任務上取得了較低的性能，這是因為Task1和Task4任務人物圖像僅化妝而沒有佩戴眼鏡和帽子，Task2、Task3、Task5和Task6任務在化妝的基礎上還佩戴了眼鏡或者帽子，使得臉部增加了遮擋的物品，提升了人臉驗證的難度。進一步提升面部有遮擋時的人臉識別問題是下一階段的目標。3) 對比算法在CAR、EER和AUC指標取得了一致的結(jié)果，說明使用這3個指標來評價化妝人臉的驗證結(jié)果是合適的。另外，在HOG和LBP特征上也取得了類似的結(jié)果，也說明這2種特征提取方法也是適合用來提取化妝人臉特征向量的。

表2 基于HOG特征提取的CAR、EER和AUC性能及其方差 %

續(xù)表2

表3 基于LBP特征提取的CAR、EER和AUC性能及其方差 %

續(xù)表3

為了更好地比較MT-DDML-FDA與對比算法的性能，圖4和圖5展現(xiàn)了兩個數(shù)據(jù)集下的4種算法的ROC曲線。實驗結(jié)果可以看出：1) 2種深度學習方法(MT-DDML-FDA和DDML)都優(yōu)于度量學習方法，因為深度學習方法可以在深度多層次結(jié)構(gòu)中學習更多的人臉識別信息。2) 在多任務學習的啟發(fā)下，MT-DDML-FDA在不同任務的人臉圖像中學習到比其他深度學習方法更有用的識別信息。因此，深度學習非常適合于多任務學習。3) 雖然多視角MDMML方法取得了不錯的識別性能，但其不是深度學習方法，不能深度挖掘人臉識別信息。4) MT-DDML-FDA基于Fisher準則充分考慮了人臉圖像對的配對信息，使得同一人人臉圖像在投影空間盡可能地接近，不同人的人臉圖像在投影空間盡可能地遠離。因此，配對信息和樣本幾何信息都對人臉配對的性能產(chǎn)生了積極的影響。

圖4 DFW數(shù)據(jù)集不同特征下不同算法ROC曲線比較

圖5 CALFW數(shù)據(jù)集不同特征下不同算法ROC曲線比較

3.3 模型參數(shù)選擇

MT-DDML-FDA模型中參數(shù)β、γ和最大近鄰數(shù)k均與模型的性能有關，本節(jié)對參數(shù)β、γ和k進行分析，表4-表6顯示了MT-DDML-FDA模型6個任務在在DFW數(shù)據(jù)集上基于HOG特征提取的不同參數(shù)β、γ和k值下的CAR、EER和AUC的平均值。

表4 參數(shù)β不同時基于HOG特征提取的MT-DDML-FDA模型6個任務的平均性能 %

從表4的結(jié)果可以看出：1)β取值的不同導致了MT-DDML-FDA模型的不同性能。β數(shù)值的高低體現(xiàn)了多層深度神經(jīng)網(wǎng)絡的共享層上學到的共享參數(shù)映射矩陣W(1)和偏差向量b(1)在目標函數(shù)中的比重。β值越大，W(1)和b(1)在目標函數(shù)中的比重越大，目標函數(shù)更多地考慮共享知識在多任務學習中的作用。2)β值與CAR、EER和AUC的平均值之間無規(guī)律可循。MT-DDML-FDA算法在DWF數(shù)據(jù)集上β=1時，CAR、EER和AUC的平均值取得了最佳性能。因此，使用網(wǎng)格搜索法確定β的最優(yōu)值是可行的。

從表5的結(jié)果可以看出：1)γ取值的不同也導致了MT-DDML-FDA模型的不同性能。γ體現(xiàn)了多層深度神經(jīng)網(wǎng)絡的各個獨立層上學到的映射矩陣和偏差向量在目標函數(shù)中的比重。γ值越大，各個獨立層參數(shù)在目標函數(shù)中的比重越大。2)γ=1時，CAR、EER和AUC的平均值在化妝數(shù)據(jù)集DWF取得了最佳性能。

從表6的結(jié)果可以看出：1)k值表示類內(nèi)相關矩陣和類間相關矩陣中的近鄰數(shù)。k值過小或過大時，類內(nèi)相關矩陣和類間相關矩陣均不能合適地表示人臉圖像的內(nèi)在數(shù)據(jù)結(jié)構(gòu)。因此，k值小于7值，CAR、EER和AUC的平均值較低；當k值大于11值，CAR、EER和AUC的平均值也出現(xiàn)了下降的趨勢。2) 因為k取值與數(shù)據(jù)集的分布和內(nèi)在結(jié)構(gòu)密切相關，因此針對數(shù)據(jù)集使用網(wǎng)格搜索法確定k的最優(yōu)值是可行的。

4 結(jié) 語

本文提出了適用于化妝人臉驗證的融合Fisher判別分析的多任務深度判別度量學習MT-DDML-FDA模型。MT-DDML-FDA使用多任務深度度量來學習一個距離度量，并同時使用Fisher判別分析來度量化妝人臉圖像對之間的相似性。MT-DDML-FDA的第1層網(wǎng)絡作為一個共享層，從第2層開始是對應不同的任務的分離層。共享層有助于發(fā)現(xiàn)不同任務之間潛在共享知識，而分離層學習各個任務之間的差異性知識。真實化妝人臉數(shù)據(jù)集的實驗結(jié)果表明，MT-DDML-FDA模型有助于利用多個人臉驗證任務的知識，形成良好的距離度量來區(qū)分人臉圖像對的相似性和不同性。但本文提出的模型依然面臨進一步需要探討的問題:如何將深度特征提取到MT-DDML-FDA模型中，來進一步地提高化妝人臉驗證的性能。未來將擴大研究范圍，將本文模型應用到更多的人臉驗證實例中。