結(jié)合改進的損失函數(shù)與多重范數(shù)的人臉識別

張飛翔，余學儒，何衛(wèi)鋒，李 琛

1.上海交通大學 電子信息與電氣工程學院 微納電子學系，上海200240

2.上海集成電路研發(fā)中心有限公司AI部，上海201203

1 引言

基于卷積神經(jīng)網(wǎng)絡的人臉識別是近年來機器學習領域非常熱門的研究方向，其涉及了機器視覺、模式識別、神經(jīng)網(wǎng)絡等多學科內(nèi)容[1]。卷積神經(jīng)網(wǎng)絡包含了網(wǎng)絡模型的構建、損失函數(shù)的選取、特征相似度等問題。殘差神經(jīng)網(wǎng)絡[2]（Resnet）的出現(xiàn)解決了傳統(tǒng)深度神經(jīng)隨著網(wǎng)絡加深退化的問題，修改損失函數(shù)和特征相似度成為優(yōu)化人臉識別模型的研究熱點。

Softmax損失函數(shù)在深度神經(jīng)網(wǎng)絡中被廣泛使用[3]，先將分類結(jié)果映射到指數(shù)域上后再歸一化，收斂速度快，但因只考慮了分類正確與否，未能設置類內(nèi)約束，導致最終的特征提取效果不佳。權重與特征歸一化Softmax（W&F-Norm Softmax）[4-5]去掉了Softmax 的偏置，之后將最后一層卷積層輸出和全連接層權重L2范數(shù)歸一化，減少了網(wǎng)絡參數(shù)，并且將損失函數(shù)引入到了余弦域中。文獻[6]提出了一種添加余弦裕度的損失函數(shù)（Cosineface），相比特征與權重歸一化Softmax，Cosineface添加了類內(nèi)約束，提升了人臉識別率，但存在著算法收斂較慢的缺點。文獻[7]提出了一種添加角度裕度的損失函數(shù)（Arcface），相比Cosineface，Arcface 在幾何性質(zhì)上有更好的解釋性，并且文中在不同階段的角度約束時對損失函數(shù)的貢獻進行了量化與論證。但Arcface 涉及到余弦函數(shù)計算，計算過程較為復雜。

目前基于余弦域損失函數(shù)的人臉識別算法模型收斂速度較慢，類內(nèi)距離變化幅度較小。與訓練階段余弦域損失函數(shù)相匹配的測試階段，應當使用L2范數(shù)歸一化特征，再計算特征差的L2范數(shù)衡量特征間相似度[8]。但對于一些異常數(shù)據(jù)單單依靠L2范數(shù)時特征相似度信息太少，無法達到正確分類。

本文根據(jù)神經(jīng)網(wǎng)絡訓練時收斂的條件，針對添加類內(nèi)約束后收斂變慢，提出了一種斜率可變的余弦裕度損失函數(shù)，在訓練過程中與較為常見的損失函數(shù)進行人臉識別效果對比，并且在最佳模型上使用多重范數(shù)來代替L2范數(shù)衡量特征相似度，探討斜率可變的余弦裕度損失函數(shù)在提升收斂速度和降低類內(nèi)距離上的優(yōu)勢，以及多重范數(shù)在提升識別率上的效果。

2 損失函數(shù)的演變過程及本文改進

本文使用的神經(jīng)網(wǎng)絡的訓練流程如圖1所示，人臉圖片先經(jīng)過卷積層轉(zhuǎn)變?yōu)樘卣飨蛄?，再通過一層全連接層后計算損失函數(shù)。神經(jīng)網(wǎng)絡的訓練即尋找損失函數(shù)最小時對應的參數(shù)最優(yōu)解。近年來，損失函數(shù)基于Softmax有很多改進算法，其中包括W&F-Norm Softmax、Cosineface、Arcface等。

2.1 Softmax

Softmax最常用的損失函數(shù)之一，該函數(shù)的定義如下：

其中，m表示在訓練過程中batch的大小，n表示訓練集的類別個數(shù)，xi表示第i個樣本的特征值，該樣本屬于zi類，W ∈Rd×n表示最后一層全連接層的權重，b ∈Rn表示最后一層全連接層的偏置。在卷積神經(jīng)網(wǎng)絡中，一般將最后一層卷積層的輸出值作為特征x，經(jīng)過全連接層編碼WTx ∈Rn之后進入Softmax 層，將特征轉(zhuǎn)化為屬于各個類的概率值。

2.2 W&F-Norm Softmax

為了簡化，一般將Softmax 的全連接層的偏置設置為0，且為了將更多的分類信息集中體現(xiàn)在角度域上，將特征和權重進行L2范數(shù)歸一化處理，計算兩者的乘積，就得到了該特征與權重之間夾角的余弦值，即

圖1 人臉識別模型

經(jīng)過特征和權重歸一化之后，分類邊界只與角度有關，訓練神經(jīng)網(wǎng)絡時通過優(yōu)化損失函數(shù)將對應角度縮小。文獻[9-10]解釋了歸一化對于特征提取的作用。由于在歸一化之后，特征空間被壓縮到單位超球面上，導致?lián)p失函數(shù)無法優(yōu)化到接近于0，故添加尺度因子s將特征空間擴大。

2.3 Cosineface

W&F-NormSoftmax 只強調(diào)分類正確與否，對類內(nèi)距離和類間距離沒有設置約束。Cosineface通過添加角度余弦裕度，使得類內(nèi)特征更加緊密，從而變相增加了類間距離，即

其中，t為角度余弦裕度。

2.4 Arcface

相比Cosineface，Arcface對類內(nèi)的約束具有更加直觀的解釋性。通過設置角度裕度t ，使得特征與權重之間的角度大于其真實值，這使得優(yōu)化條件變得更加苛刻，即

根據(jù)式（6）、式（7）可以看出Arcface 是余弦域損失函數(shù)的一種情況。

2.5 改進的損失函數(shù)Kcosine

令y=cosθ∈[-1,+1]，損失函數(shù)為：

其中，A(s,yi)為特征與標簽對應的權重之間的角度余弦函數(shù)，B(s,yi)為特征與其他權重之間的角度余弦函數(shù)。為了滿足優(yōu)化條件，損失函數(shù)一般需具有以下幾個性質(zhì)：

為了簡化并滿足性質(zhì)（2），將A和B設定為指數(shù)形式，即

若要滿足性質(zhì)（1）、（3）、（4），只需滿足式（11）、（12）即可。

根據(jù)式（11）、（12）構造函數(shù)A(s,yi)=s(kyi+b)，其中k大于0。添加余弦裕度，需要使得：

即，b≤k-1。如圖2 所示，改進的kcosine 具有更多的變化形式，是對Cosineface 的擴展，相比Arcface 不需要復雜的角度余弦變換和計算。

圖2 A/s曲線

3 特征相似度衡量

在人臉識別模型測試時，通常使用計算特征差的L2范數(shù)來計算相似度，本文采用多重范數(shù)方法對其改進，流程如圖1所示。

3.1 L2范數(shù)

人臉識別通?？梢苑譃閮蓚€部分：特征提取和特征相似度衡量。目前較為流行的特征提取辦法是經(jīng)過分類訓練的深度神經(jīng)網(wǎng)絡的卷積層部分，由于本文采用余弦域相關的損失函數(shù)，故在特征相似度衡量時先將特征進行L2范數(shù)歸一化處理，再計算特征差的L2范數(shù)評價其相似程度，這樣處理的好處在于通過L2范數(shù)可以評價余弦相似度。

L2范數(shù)定義如下：

其中，A 和B 為兩個n維向量。設定閾值，根據(jù)式（15）比較L2范數(shù)和閾值的大小，判定兩個特征是否來自同一個人。

3.2 多重范數(shù)

使用MobileFaceNets[11]網(wǎng)絡作為特征提取部分，L2范數(shù)作為衡量方法，6 000 組LFW[12]圖片作為測試集（3 000組正類：相同ID，3 000組負類：不同ID，每組兩張圖片），根據(jù)10-fold 規(guī)則依次選取5 400 組作為訓練集統(tǒng)計出最佳閾值，另外600組作為測試集測試閾值分類效果。圖3 中（a）圖、（b）圖、（c）圖記錄了3 份測試集的L2范數(shù)的平方值（1～300 為正類，301～600 為負類，圖中橫線為通過訓練集得到的最佳閾值），觀察得知，在閾值附近，存在一些異常點被誤判，不能通過一維閾值達到很好的線性可分。

假設在閾值附近存在兩個不同ID 的特征滿足式（16）、（17）：

其中，n表示特征維度。即存在分量在L2范數(shù)計算時占據(jù)主導作用，但并不能通過閾值將其判定為負類，基于這個假設，可以通過計算特征差值的L∞范數(shù)即最大值，將該組特征判定為負類。圖3中（a）圖、（b）圖、（c）圖所示，L∞范數(shù)與L2范數(shù)存在相關關系，且在正類和負類的L∞范數(shù)的散點圖呈明顯階梯狀，故選取L∞范數(shù)特征作為L2范數(shù)的輔助特征。

圖3 人臉特征相似度

構建新特征L，滿足式（18）、（19）：

圖3中（d）、（e）、（f）圖分別記錄了（a）、（b）、（c）圖對應數(shù)據(jù)構建新特征的二維圖，相比一維L2范數(shù)特征在分類策略上有更多的選擇。本文采用SVM[13]對構建的新特征進行分類，核函數(shù)采用高斯核。

4 實驗

為了證明改進損失函數(shù)和多重范數(shù)與SVM結(jié)合的有效性，本文首先根據(jù)相同的網(wǎng)絡設置和環(huán)境，比較不同損失函數(shù)下模型訓練后的人臉識別準確度。挑選出最佳模型，通過比較利用L2范數(shù)和利用多重范數(shù)+SVM的人臉識別準確率大小，證明新算法的優(yōu)勢所在。

4.1 實驗所需數(shù)據(jù)庫

本文采用MS-Celeb-1M-Arcface[14]數(shù)據(jù)集作為訓練集，LFW、AgeDb[15]作為測試集。

4.1.1 MS-Celeb-1M-Arcface

在微軟亞洲研究院公布的MS-Celeb-1M的基礎上，文獻[7]檢查了所有圖片特征與身份特征中心的距離，刪除掉了距離身份特征中心較遠的干擾項，并且對距離身份特征信息較近的圖像和其身份做了對比，即在類內(nèi)和類間距離上排除了噪聲。該數(shù)據(jù)集包含了85 164 個ID，總共有380 4847張人臉。

4.1.2 LFW

從LFW數(shù)據(jù)集中隨機抽選了6 000對圖片，其中相同身份和不同身份的圖片對各占一半，圖4顯示了LFW數(shù)據(jù)集的部分圖片。該數(shù)據(jù)集主要用來測試人臉識別算法的準確率，計算公式為（正確判斷相同身份的個數(shù)+正確判斷不同身份的個數(shù)）/6 000。

圖4 LFW數(shù)據(jù)庫部分人臉

4.1.3 Agedb

AgeDb 包含了不同ID 的不同年齡段的照片，涵蓋年齡范圍為3～101歲。采用和對LFW相同的處理方式，隨機抽選6 000對照片，3 000對來自相同ID，3 000對來自不同ID，通過對比驗證方法測試人臉識別準確率。圖5為Agedb數(shù)據(jù)庫中的部分圖片。

圖5 Agedb數(shù)據(jù)庫部分人臉

4.2 實驗設置

實驗使用兩個GPU 核，其型號為NVIDIAGM204-GL（Tesla M60），每個核顯存大小為8129MiB。在Linux環(huán)境下利用MxNet 庫完成實驗模型構建以及新算法實現(xiàn)。

使用SE_LResNet100_IR[7]網(wǎng)絡訓練人臉識別模型，最后一層卷積層輸出維度為512，batch大小為80。

4.3 實驗結(jié)果

4.3.1 損失函數(shù)優(yōu)化結(jié)果

為了比較使用不同損失函數(shù)在訓練過程中的收斂速度，每2 000個batch采樣一次，使用LFW和AgeDb測試采樣模型的識別準確率。經(jīng)測試，在經(jīng)過64 000 個batch之后，算法進入平穩(wěn)期，識別率出現(xiàn)震蕩且增長緩慢，故本實驗只比較了64 000 個batch 內(nèi)模型的訓練情況。實驗結(jié)果如圖6、圖7 所示，在余弦域損失函數(shù)中，權重-特征歸一化后的Softmax 損失函數(shù)沒有添加余弦懲罰效果較差，kcosine(k=0.825,b=-0.175)相比其他余弦域損失函數(shù)識別率增長速度較快且更加平穩(wěn)，在經(jīng)過64 000個batch后識別率最高。

圖6 在LFW下準確率變化曲線

圖7 在Agedb下準確率變化曲線

圖8 在LFW下平滑后的準確率變化曲線

圖9 在Agedb下平滑后的準確率變化曲線

為了減少干擾，將所有曲線進行窗口為3的平滑濾波處理，如圖8、圖9所示，可以看出kcosine損失函數(shù)相比Softmax，在LFW 數(shù)據(jù)集上識別率增長平穩(wěn)，并且在64 000 個batch后的識別率更優(yōu)。在Agedb 數(shù)據(jù)集上曲線震蕩都較為明顯，但kcosine要明顯優(yōu)于Softmax損失函數(shù)訓練模型的識別效果。

表1 比較了以上所有算法經(jīng)過64 000 個batch 訓練之后在LFW 和Agedb 數(shù)據(jù)集上的識別率，可以看出經(jīng)過改進的kcosine算法識別效果較好。

表1 LFW和Agedb數(shù)據(jù)庫下的識別率

將6 000對LFW人臉圖片作為輸入，經(jīng)過不同batch個數(shù)下的模型輸出后，進行L2范數(shù)歸一化，最后分別統(tǒng)計3 000 對正類和3 000 對負類的L2范數(shù)均值衡量該模型輸出特征類內(nèi)距離和類間距離。kcosine 中參數(shù)k為0.825、b=-0.175，其目的在于當角度余弦為-1時kcosine和w-f-norm softmax保持一致，懲罰力度為0，當角度余弦為+1 時kcosine 和cosineface 的懲罰力度保持一致。即kcosine隨著夾角的增大，懲罰力度也逐漸增加，這樣可以避免在優(yōu)化過程中當分類效果不佳時懲罰的冗余。

如圖10、圖11所示，kcosine能夠?qū)㈩悆?nèi)距離快速降低，且類間距離也相對較低，在64 000 個batch 訓練下，kcosine 相比其他兩種算法不僅可以更好地分類，還能在類內(nèi)距離和類間距離上得到優(yōu)化。

本文中，人臉識別模型訓練時使用的余弦域損失函數(shù)的時間復雜度都為O(n),n為訓練集的大小。在訓練過程中，訓練60 000個batch所使用的時間如表1所示，由于涉及到GPU 調(diào)度和交互，不同算法所用時間的長短關系可能存在偏差，但基本都在同一量級上。kcosine在保證人臉識別率穩(wěn)定快速增長的同時，用時沒有明顯增加，并且在訓練用時相同時，kcosine相比于其他幾種算法具備人臉識別率較高的優(yōu)勢。

4.3.2 多重范數(shù)特征優(yōu)化結(jié)果

采用kcosine損失函數(shù)優(yōu)化后的模型和Mobilefacenet模型，根據(jù)10-fold 規(guī)則分別測量在LFW 和Agedb 數(shù)據(jù)集下不同特征衡量方法的識別率。由表2 數(shù)據(jù)可以得出使用構造出的多重范數(shù)特征衡量方法可以使識別率均值提升0.1%左右，并且降低了識別率標準差，有更加穩(wěn)定的泛化能力。

在識別過程中，由于只側(cè)重于實時識別效率，故不考慮歐式距離閾值計算和SVM 訓練的用時。經(jīng)測試，每組圖片使用歐式距離分類的平均用時為7.92×10-6s，使用多重范數(shù)+SVM 分類的平均用時為1.23×10-5s。相對于歐式距離，多重范數(shù)的使用使得用時增加了55.3%，但根據(jù)人眼視覺暫留機制，10-6s 量級的延時對人眼體驗來說是幾乎沒有影響的。

圖10 類內(nèi)距離變化趨勢圖

圖11 類間距離變化趨勢圖

表2 LFW和Agedb數(shù)據(jù)庫下的識別率

5 結(jié)束語

針對余弦域損失函數(shù)的類內(nèi)約束，本文提出了基于添加斜率因子的余弦損失函數(shù)，比較了多種余弦域函數(shù)的優(yōu)劣并與常用的Softmax 作比較，分析了幾種算法在優(yōu)化類內(nèi)距離和類間距離的作用，改進的損失函數(shù)在收斂速度和優(yōu)化特征類內(nèi)距離上均能做出改善。并且針對L2范數(shù)在衡量特征相似度上存在的不足，提出了多重范數(shù)算法，利用L∞范數(shù)和L2范數(shù)結(jié)合的方式構造新特征，實現(xiàn)特征升維的效果，通過SVM 將新特征分類，實驗證明，構建的新特征在SVM上有較好的分類效果，優(yōu)化了人臉識別模型輸出個別特征不佳的缺陷，在人臉識別率提升空間不大的情況下能夠?qū)⑵涮嵘?.1%，并且使算法的泛化能力更加穩(wěn)定。