二進制特征與聯合層疊結構的人臉識別研究

胡 佩 陳冠豪

1(重慶工程職業技術學院信息工程學院 重慶 402260)2(重慶大學通信工程學院 重慶 400044)

0 引 言

在現有的人臉識別算法的研究與應用中，人臉驗證或人臉鑒定采用的相似臨近搜索技術成為影響算法速度的重要因素之一，如何進一步提高相似臨近搜索技術的速度已成為研究的重中之重。

研究者們提出了兩種思路來解決這個問題，一是在原始的特征表示上使用降維的方法來得到較短的特征表示，例如主成份分析PCA(Principal Component Analysis)[1]方法；二是如文獻[2]中所述的方法將特征表示轉換為二進制特征表示；更有將兩者進行結合的方法，例如迭代量化方法ITQ(Iterative Quantization)[3]這些方法中，哈希算法在近幾年受到廣泛關注。哈希算法能在保持圖像特征相似性的前提下，將圖像特征映射為二進制編碼，其在存儲和在相似度計算上具有優勢。近年來，基于監督的哈希算法越來越被引起重視，它們通過學習訓練樣本的關系來構建哈希函數，比傳統的與數據無關的哈希算法更有效。但目前很多帶監督的哈希方法[4-5]通常采用圖像對或者圖像三元組的方式進行訓練，它使得訓練階段需要大量的計算代價和存儲代價，最終使得模型訓練幾乎不可能實現。近幾年，深度學習在圖像分類、目標檢測等多個領域都取得了較大的進展。從 NIN(Network In Network)[6]網絡結構的提出到 Inception 結構的網絡[7]在各方面取得較大提升，再到殘差網絡[8]在各種比賽中取得絕佳的效果等這一系列新的突破都說明了卷積神經網絡學習圖像特征表示上的能力。

根據深度卷積神經網絡和哈希算法的優勢，本文結合深度卷積神經網絡與二進制哈希函數的編碼方法構建名為深度二進制哈希的算法，將學習得到的二進制哈希碼用于大規模的人臉識別當中。并針對哈希算法精度輕微下降的問題，通過聯合級聯結構進行人臉識別，通過層層篩選的方式在保持速度的前提下有效提升特征表達的準確率，最終在保證算法準確率的情況下，較大縮減計算時間。

1 深度二進制人臉哈希

1.1 定 義

深度二進制人臉哈希的基本思想為在卷積神經網絡中構建哈希層，在學習特征表示的同時學習它對應的哈希函數，使得提取到的特征從浮點型的特征轉換為二進制的特征。深度二進制人臉哈希的示意圖如圖1所示，網絡前向傳播后哈希層的激活值就是潛在的屬性，也就是二進制特征。針對人臉這個場景，通過對哈希損失函數的優化來學習人臉專用的哈希函數，實現比傳統哈希算法更好的特征二進制化。

圖1 基于卷積神經網絡的二進制人臉哈希示意圖

深度二進制哈希算法與其他哈希算法的區別包括：

① 在原有的卷積神經網絡中構建哈希層，將哈希層得到的編碼輸入分類器進行分類，Softmax分類損失函數作為優化目標之一。

② 通過圖像的標簽信息在學習分類的基礎上還同時學習二進制編碼對應的哈希函數。

③ 不僅僅考慮分類函數的誤差，還考慮將浮點型連續值量化為二進制哈希碼時產生的誤差，使得哈希函數滿足獨立性和量化誤差最小的約束，從而得到表達能力更強的哈希碼。

④ 直接進行學習，不需要構建圖像對或者三元組。

1.2 哈希層及二進制編碼

假設圖像集合表示為X={In}N，其中每個圖像In∈Rd，N代表圖像集合的大??；圖像集合對應的標簽集合為Y={yn}N×M，其中M為圖像集合中類別的數量，每行為圖像通過一位有效編碼(One-Hot Encoding)后的結果，圖像標簽yn對應的列值為1，余下的值填充0。深度哈希算法的目的為學習一個映射，這個映射可以表示為：

H:X→{0,1}N×K

(1)

式中：X為K維度的輸入特征；X代表映射；輸入特征通過映射后得到的輸出可以表示為K維的二進制編B={bn}∈{0,1}N×K。同時，該映射除了進行特征的二進制編碼以外，它還需要保持著不同圖像之間的相似性信息。

在如圖1所示的基于卷積神經網絡的二進制人臉哈希示意圖中，特征提取層及其前面的所有層的前向傳播操作共同組成上述映射，哈希層為Tanh激活函數，哈希層輸出的激活值通過量化編碼后就是二進制特征。

(2)

(3)

(4)

式中：sign(z)函數表示當z>0的時候為1,否則為0。對于矩陣類型的參數將對每個元素進行單獨計算。因為Tanh激活后得到的范圍為(-1, 1)，故該公式通過取中間值 0 將松弛的“二值碼”量化為二進制特征。

1.3 哈希損失函數及算法求解

同哈希算法構造的哈希函數差別巨大，最終的效果也是千差萬別，但是有一點是相同的，那就是在保持數據的相似性的前提下使得二進制編碼盡可能緊致。為了評判不同哈希函數的好壞，譜哈希SH(Spectral Hashing)[9]給出了對哈希函數的三個評價標準，本文對其進行了調整和修改：

① 它能夠有效地創建并維持二進制編碼之間的關系，學習得到的二進制編碼能夠保持圖像類別之間的相似度關系，直接表現為同一類別的圖像被映射到十分相似或者相同的二進制編碼。

② 學習得到的二進制編碼應該有區分性并且每位應該帶盡可能多的信息，表現為更短的編碼具有更好的效果。

③ 學習得到的二進制編碼的每位獨立并且均勻分布，表現為編碼的每位出現-1或者1的概率都為 50%，即二進制編碼的平均值為 0。

參考譜哈希的優化目標函數[9]，為了平衡多個樣本之間的關系，采用雙通道網絡結構來實現深度二進制哈希。在給定一個圖像對(Ii,Ij)，假設圖像對應的特征為xi和xj，特征為輸入圖像在Rd維度下的表示，在這個維度下面特征之間的關系可以用歐式距離來代替相似度的關系。最終采用高斯核度量相似度G，相應的表達式為：

(5)

假設二進制哈希特征每位是相互獨立的，相應的優化公式可以表示：

(6)

然而，這個方程存在一系列的問題，使得它沒辦法應用在神經網絡當中，因此，將式(5)轉化為采用多任務聯合監督學習的方式進行優化。同時，因為將特征提取與哈希學習是結合在一起的，故只需要保證特征能實現正確分類，并保證特征哈?；_即可。也就是說，通過Softmax分類損失函數和設計的哈希損失函數即可實現二進制特征的提取，相應的目標函數為：

(7)

式中：W代表神經網絡中的所有參數；λ代表正則項系數；LS代表Softmax分類損失函數；LH代表哈希損失函數，其由兩部分構成，表達式為：

LH=αLHB+βLHC

(8)

式中：α和β為超參，用于平衡多個任務的權重，表示不同任務的重要性。LHC為哈希緊湊損失函數，其表達式為：

(9)

然而，如果單純地使用緊湊損失函數，學習得到最優特征表示為所有的特征都為0。為解決這個問題，并將特征的數值盡可能拉開。故在卷積神經網絡中，構建哈希二進制損失函數LHB，可以表示為：

(10)

通過哈希二進制損失函數，學習得到的二進制特征將盡可能地拉大與0 的距離。

2 聯合級聯結構的人臉識別

2.1 定 義

通過前一節的深度二進制人臉哈希，學習得到的二進制特征能有效地提高人臉識別搜索的速度。二進制特征的優點是提取特征和匹配速度快，但漢明距離不能完整地反映特征間的關系和未對姿態進行感知與學習等多個因素共同造成。所以，算法如何在保持速度的基礎上進一步提高結果的準確率成為重要問題。

對于準確率和速度的矛盾，本文采用聯合級聯結構[10-12]進行結合，其中深度二進制哈希學習起到特征選擇的作用。通過二進制特征來實現樣本快速選擇，經過選擇后的樣本使用高準確率并且抗姿態變化的人臉特征進行“精細”識別，最終實現在高精度下的高速識別。

2.2 識別流程

通過聯合級聯結構結合深度二進制人臉哈希與深度特征變換[13]的人臉識別,過程如圖2所示。整個聯合級聯結構的人臉識別跟標準人臉識別算法的最大區別在于樣本選擇和有針對性的使用特征，最終實現層層遞進地篩選匹配的樣本，通過多種特征與多種度量的多次選擇，匹配出最佳的目標作為結果。通過層層遞進的選擇過程在保持高準確性的基礎上，還避免了直接使用高精度模型的高復雜度。

圖2 基于聯合級聯結構的人臉識別示意圖

這個過程中算法的基礎組成和變化的步驟如下：

① 預處理 采用文獻[13]的方式對目標圖像中的人臉進行檢測并對齊，得到對齊后的標準人臉圖像I。

② 特征提取 通過隨機梯度下降的方式訓練并得到算法的模型，將標準人臉圖像I作為輸入，并行地輸入文獻[13]所述的卷積神經網絡和論文所述的深度二進制哈希學習所示的卷積神經網絡中，前向傳播并提取相應的深度特征fP和深度二進制特征fB。

③ 樣本選擇 從人臉數據庫中讀取可能與輸入樣本有關的深度二值特征，計算標準人臉圖像的深度二進制特征與它們的漢明距，并將結果的漢明距離作升序排序?？紤]到漢明距離越小代表兩者更加相似，故選取前K個對象作為樣本選擇的結果，將選擇出來的樣本編碼輸入到下一級的高精度人臉識別。

④ 高精度人臉識別 從人臉數據庫中讀取樣本選擇得到的K個對象的深度特征，計算標準人臉圖像的深度特征與它們的余弦相似度并作升序排序。考慮到弦相似度越大代表兩者更加相似，基于最近鄰算法將相似度最大的樣本作為識別的結果。

2.3 偽代碼

人臉識別算法在測試階段的偽代碼如下：

算法: 基于二進制特征與聯合層疊結構的人臉識別輸入:對齊后的人臉圖像集合I;人臉圖像的關鍵點K;人臉數據庫標簽Y及對應的抗姿態變化特征fp和深度二進制特征fB;人臉圖像集合的大小B;人臉數據庫的大小D;預先定義的參數K;人臉識別最低閾值T輸出:人臉識別標簽集合Y⌒。1 for i=1…B do2 將對齊后的人臉圖像Ii輸入論文所述網絡3 前向傳播并提取深度二進制特征fiB4 for j=1…D do5 計算深度二進制特征fiB與fjB的漢明距離Hj6 end for7 根據漢明距離矩陣H對人臉數據庫從小到大進行排序8 選取人臉數據庫中漢明距離最小的前K條記錄集合RK9 根據人臉圖像的關鍵點Ki進行姿態估計,得到姿態角度YAWi10 對姿態角度YAWi進行分類,得到姿態類別Ci11 將對齊后的人臉圖像Ii和姿態類別Ci輸入文獻[13]所述的網絡12 向前傳播文獻[13]所述網絡并提取深度抗姿態變化的特征fiP13 for j=1,…,K do14 計算深度抗姿態變化特征fiB與fRjKB的余弦相似度Sj15 end for16 根據余弦相似度矩陣S對人臉數據庫從小到大進行排序17 if余弦相似度矩陣S的最大值小于閾值T then18 人臉圖像Ii不存在于人臉數據庫中19 continue20 end if21 選取余弦相似度最高的記錄標簽作為識別結果Y⌒22 end for

上述算法為基本的聯合層疊結構的人臉識別的偽代碼，并未包含主成份分析、三元組嵌入層[14]等多個實際場景中常常用來適配場景的步驟。

3 算法性能對比及實驗分析

3.1 測試人臉數據集及測試子集

為了保證指標細節的可對比性和結果的可靠性，采用Facescrub[15]人臉數據集進行驗證。Facescrub人臉數據集中包含106.9千張來自530位被采集者在非可控條件下采集到的照片。同時，因為仿真使用的計算機配置十分有限，而數據集中樣本圖像比較多，故本文算法通過隨機下采樣的方式從這個數據集中獲取一個3萬張圖像的子集，總共300個個體，每個人包含100張圖像。

3.2 平臺及參數設置

圖3為深度二進制人臉哈希的網絡結構示意圖。其中，卷積層均采用參數為3 × 3的卷積核，步長1，邊緣填充1；子采樣層均采用采樣2 × 2的區域，步長為2，采樣方式為最大值，采用漢明距離來度量特征之間的相似性。

圖3 深度二進制人臉哈希的網絡結構示意圖

3.3 性能指標評估及結果分析

本文算法針對的是人臉識別這類索引問題，為了評價算法的好壞，本文采用準確率(Precision)、召回率(Recall)對人臉識別的效果進行評價。與目前主流的哈希算法進行比較，包括迭代量化方法ITQ(Iterative Quantization)[16]、基于主成分分析的哈希算法PCAH(Principle Component Analysis Hashing)[17]、基于循環二進制嵌入的哈希算法CBE(Circulant Binary Embedding)[18]、帶監督的快速離散哈希FSDH(Fast Supervised Discrete Hashing)[19]、球哈希SpH(Spherical Hashing)[20]、譜哈希算法SH(Spectral Hashing)[9]。不同算法在不同編碼長度下的準確率曲線如圖4所示。

(a) 256位

(b) 512位圖4 不同特征編碼下算法的準確率曲線

圖4為不同特征編碼長度下本文所述算法和常見哈希算法的準確率-檢索的樣本數量變換曲線，該曲線反映算法搜索結果排序的準確率。隨著檢索樣本的增加，因為總的樣本數量是有限的，對應的精度是不斷下降的，本文所設定的單人圖像數量是100張，故在檢索的樣本數量超過100張后曲線的下降趨勢變快較多。從圖中不難發現，本文所述的基于聯合級聯機構的人臉識別算法在精度指標上取得了較好的效果，其次是本文所述的深度二進制人臉哈希(DeepHash)。同時，隨著編碼長度的增加，如圖4(a)和圖4(b)分別所示，可以發現聯合級聯結構的人臉識別曲線沒有較大提升，而深度二進制哈希學習對應的曲線不斷得到提升，最終只是略遜于層疊級聯結構的人臉識別。主要在于隨著編碼長度的增加，單位攜帶信息能力比較弱的二進制特征能攜帶更多的信息量，故表現出一定程度的增加。而層疊結構的人臉識別第二階段采用的特征在較低編碼長度下已經攜帶足夠信息(每個特征攜帶的信息為二進制特征的32倍)，這使得特征編碼長度的變化對于精準度的提升表現不明顯。接下來，對不同算法在不同編碼長度下召回率曲線進行評估，結果如圖5所示。

(a) 256位

(b) 512位圖5 不同特征編碼下算法的召回率曲線

圖5為不同特征編碼長度下本文所述算法和常見哈希算法的召回率-檢索的樣本數量變化曲線，該曲線反映算法搜索結果中出現的目標在總目標數中的比例。因為總的目標數量是有限的，故隨著檢索樣本的增加，對應的召回率是不斷上升的。不同算法的召回率性能它的準確率類似，表現為聯合層疊結構的算法召回率最高，其次就是深度二進制哈希學習的召回率比較好。隨著編碼長度的增加，層疊級聯結構的人臉識別曲線沒有較大提升，而深度二進制哈希學習對應的曲線同樣不斷得到提升，具體的原因前面已經分析過，這里不再贅述。從召回率這個指標上，也說明了本文所述算法在召回率上較高的表現。

3.4 算法時間評估及分析

本文通過哈希的方式對特征進行二值化來提高系統運算速度，故算法的運行時間是評價的指標之一。

本次實驗選取的人臉數據集為CASIA-WebFace[21]，樣本為250×250 大小的彩色人臉圖像。人臉識別的全過程包含人臉與關鍵點檢測、人臉姿態估計與分類、人臉對齊、特征提取以及利用相似度來搜索人臉圖像的人臉識別階段。

提取特征后，因不同協議有著不同的流程和時間復雜度，故接下來對不同的協議進行單獨分析。對于人臉驗證(1:1)協議，假設人臉圖像對的數量為N，單次相似度計算需要的時間為T，顯而易見人臉驗證(1:1)需要的時間為：

Tv=N×T

(11)

對于人臉鑒別(1:N)協議，假設要搜索的圖像數量為S，人臉數據庫的大小為N，單次相似度計算需要的時間為T，則人臉鑒別(1:N)需要的時間為：

Ti=S×N×T

(12)

因論文對于時間復雜度的改進主要在最后的相似度計算上，因此，接下來在三種不同平臺上對不同的相似度計算方法的性能進行仿真實驗，相應的結果如表1所示。

表1 不同相似度計算方法千次計算所需要的時間

在表1中，不同的相似度計算方法都隨著編碼長度的增加而需要更長的時間；不同語言在速度上也存在差別，C++在常見語言中花費的時間是最小的，MATLAB和Python語言與C++相比花費的時間要長很多,主要原因是C++編寫更加底層和存在編譯器優化，而MATLAB和Python語言存在較大的IO開銷和數學庫優化的差異。仿真結果表明在三種編譯環境中，本文所用的非緊湊漢明距離在時間性能上遠優于其他兩種相似度的計算方式。

因此，本文所述算法具有十分重要的意義。例如在MATLAB環境中，采用本文所述的二進制特征來計算相似度時，對于人臉驗證，假設人臉圖像對的數量N為1 000張，特征編碼長度為1 024 bits，則根據表1可以計算得到基于非緊湊漢明距離的人臉驗證消耗的時間為5.5毫秒，遠小于余弦相似度和歐幾里德距離所用時間。對于人臉鑒別，假設要搜索的圖像數量為10，人臉數據庫的大小為10 000，故可以看出識別出10張人臉的身份只需要550 ms，時間屬于可以接受的范圍。

通過聯合層疊的方式進行人臉識別，根據式(12),它對應的時間為：

TC=S×(N×TH+K×TE)

(13)

式中：S代表要搜索的圖像數量；N代表人臉數據庫的大?。籘H代表計算單次漢明距離需要的時間；TE代表計算單次計算歐幾里德距離需要的時間；K代表排序重選的樣本數量。式(13)相對于式(12)，多出的時間為：

(14)

TC=S×(N×TH+K×TE)

(15)

4 結 語

本文針對人臉識別這個場景，通過構建哈希層、哈希損失函數與卷積神經網絡相結合來直接提取二進制特征，將人臉哈希算法通常采用的特征提取后，再獨立地將哈希二進制化的流程簡化為直接提取二進制哈希特征。同時，最終提取到的二進制特征能有效地提高計算速度并節約需求的存儲空間，這對于移動端、嵌入式等計算能力比較弱的場合具有巨大的意義。

針對哈希后算法精度輕微下降的問題，通過聯合級聯結構進行人臉識別，這種方式通過層層篩選的方式在保持速度的前提下有效提升特征表達的準確率，最終實現算法在準確率幾乎不下降的情況下，計算時間較大縮減。針對手機等嵌入式設備上計算能力比較弱并且存儲空間代價比較高昂的場景，可以單純采用基礎的二進制特征進行計算；針對需要高精度的場合，可以采用聯合層疊結構進行識別，實現在保持高精度下的高速識別。最后，論文通過在FaceScrub人臉數據集上做人臉識別仿真來評估算法的效果。