基于MobileFaceNet網絡改進的人臉識別方法

張子昊，王蓉，*

（1.中國人民公安大學 警務信息工程與網絡安全學院，北京 100038；2.安全防范技術與風險評估公安部重點實驗室，北京 100038）

人臉特征具有易獲取、易捕捉、易處理以及非接觸式等特性，已經受到學者們的廣泛關注，并在公共安全等領域應用日趨廣泛。但是，在實際的應用場景下，人臉識別精度依然受到不同的姿態、光照、遮擋等因素的影響。因此，如何提取更具魯棒性的特征來有效地辨識人臉便成為解決問題的關鍵。傳統的人臉識別方法主要有主成分分析法（PCA）［1］以及局部二值模式（LBP）［2］。主成分分析法就是將高維人臉信息通過正交變化投影到低維子空間中，形成特征臉，然后通過分類器對低維的特征臉進行分類；局部二值法是將檢測窗口劃分為許多小區域，對每一個像素將其與周圍相鄰像素比較，并重新賦值，通過計算每個區域的直方圖，并使用機器學習的方法對其進行分類。近年來，隨著深度學習應用的日趨廣泛，使用深度學習的方法來進行人臉識別成為計算機視覺領域的熱門方向。

與傳統方法相比，深度學習的方法通過海量的數據來訓練模型，使模型提取到的人臉特征更具有泛化性。最具代表性的是香港中文大學湯曉鷗團隊提出的Deep ID［3］系列。該團隊中的Sun等提出Deep ID1［4］通過使用單一的卷積網絡來進行特征提取并進行分類識別，之后，又在文獻［4］的基礎上提出了Deep ID2［5］模型，通過將人臉認證信號和人臉驗證信號引入網絡，以達到增大類間距縮小類內距的要求。隨后，為了進一步提高模型提取特征的代表性和魯棒性，Google提出了FaceNet［6］模型，將模型映射到歐幾里德空間，并使用三元組損失Trip let loss［7］來增大類間距，從而提高模型性能；為了解決不同特征向量大小對分類效果的影響，Deng等提出Arcface［8］損失，將特征向量歸一化到超球面上，使模型在角度空間對分類的邊界進行最大化；為了解決訓練過程中超參數的選擇問題，Zhang等提出AdaCos［9］人臉損失函數，引入自適應動態縮放參數來解決超參數的選擇問題。但是以上介紹的方法中主干網絡大多比較復雜，模型參數較多，增加了計算量，影響計算效率以及模型的收斂速度。

本文在MobileFaceNet［10］網絡的基礎上加入風格注意力機制，將改進后的模型作為特征提取網絡，使提取到的特征更具代表性和魯棒性。同時引入AdaCos人臉損失函數來對模型進行訓練，通過動態自適應縮放系數的調節優化訓練，減少了人為調節超參數對訓練的影響，提高了訓練效率。

1 基于M obileFaceNet網絡的人臉識別方法

1.1 M obileNetV1和M obileNetV 2網絡

MobileNetV1［11］是Google發布的網絡架構，提出深度可分離卷積的概念。其核心就是把卷積拆分為Depthwise+Pointwise兩部分。其中Depthwise卷積是指不跨通道的卷積，即Feature Map的每個通道有一個獨立的卷積核，并且這個卷積核作用且僅作用在這個通道之上，輸出Feature Map的通道數等于輸入Feature Map的通道數，因此它并沒有升維或者降維的功能。Pointwise卷積用于特征合并以及升維或者降維，一般使用1×1的卷積來實現功能。由此，可以將一個普通的卷積拆分成如圖1所示的結構，圖中：N、M 和Dk分別為卷積的個數、卷積通道數和卷積的寬、高。

圖1 可分離卷積示意圖Fig.1 Schematic diagram of detachable convolution

標準卷積的參數數量是Dk×Dk×M×N；卷積核的尺寸是Dk×Dk×M，一共有N個，每一個都要進行Dw×Dh次運算，所以標準卷積的計算量P1為

式中：Dw和Dh分別為標準卷積的寬和高。

深度可分離卷積的參數量是：Dk×Dk×M+1×1×M×N；深度可分離卷積的計算量是由深度卷積和逐點卷積兩部分組成：深度卷積的卷積核尺寸Dk×Dk×M，一共要做Dw×Dh次乘加運算；逐點卷積的卷積核尺寸為1×1×M，有N個，一共要做Dw×Dh次乘加運算，所以深度可分離卷積的計算量P2為

參數數量和乘加操作的運算量下降倍數P3為

從式（3）可以看出，深度可分離卷積在參數數量以及計算量上與標準卷積相比，大幅度的降低，提升了模型的運算效率。

深度卷積本身沒有改變通道的能力，即輸入通道等于輸出通道若是輸入通道數較少，則深度卷積只能在低維度工作，最終卷積效并不會很好。所以MobileNetV2［12］在MobileNetV1的深度卷積層之前，使用1×1的卷積進行升維操作，使網絡在一個更高維的空間進行特征提取，這就使得提取到的特征更具全局性。同時，為了解決低維度Relu運算產生的信息丟失問題，將最后一個Relu替換成Linear線性激活函數。MobileNetV2網絡結構如表1所示，表中：z為通道擴張倍數；c為輸出通道數；n為重復次數；v為步長；f為輸入通道數。

表1 M obileNetV2網絡結構Table 1 M obileNetV2 network structu re

1.2 M obileFaceNet人臉特征提取網絡

MobileFaceNet是MobileNetV2的改進版本。由于MobileNetV2中使用的是平均池化層，但是針對同一張圖片，不同像素點的權重是不同的，全局的平均池化將權重平均，網絡的表現能力自然會下降。所以在MobileFaceNet中，使用一個7×7×512的可分離卷積代替原本的全局平均池化層。同時使用Prelu代替Relu激活函數，并引入歸一化層來加快模型收斂，防止模型過擬合。MobileFaceNet的網絡結構如表2所示。

表2 M obileFaceNet網絡結構Tab le 2 M obileFaceNet network structu re

網絡結構不僅保留了MobileNetV2的升降維層以及線性激活函數，同時還在全連接層之前引入7×7的可分離卷積來替代原本的平均池化層，使網絡提取到的特征更具泛化性和全局性。

1.3 AdaCos人臉損失函數

Softmax目前被廣泛應用于圖片分類中，主要通過輸出樣本屬于各個類的概率大小來區分不同類別之間的特征。但是Softmax并沒有對類內和類間距離進行約束，這就大大影響了人臉識別的精度。最新的人臉損失函數Arcface以及AdaCos就是基于Softmax改進的。

1.3.1 Arcface損失函數

Softmax函數為

式中：m為每一個訓練批次的大小；i為圖像編號；j為當前樣本的真實標簽+byi表示全連接層輸出，、xi、byi和yi分別為第i個圖像類別的權重、圖像的特征、圖像類別的偏差和圖像的真實類別的標簽。通過提高+byi所占有的比重，提高對該類別的分類效果。但是Softmax只考慮到樣本的分類正確性，而對于人臉識別這樣的多分類問題，缺乏類內和類間距離約束。又因為為特征向量x和權重W 之間的夾角，即特征向量相乘包含有角度信息。為了讓卷積網絡提取到的特征可以學習到更可分的角度特性，將特征的權重值固定成一個定值s，同時為了簡化模型參數，將偏置值設為0。這就將提取到的特征轉化到了角度空間，使得決策邊界只與角度有關。最后，通過引入一個新參數t（t＞0）來控制角度余弦量值的大小，使得網絡可以學習到更有區分度的特征。最終Arcface損失函數為

1.3.2 AdaCos損失函數

AdaCos損失函數在Arcface的基礎上引入一個動態自適應縮放系數sd，使得在訓練過程中可以動態地調整超參數，同時去掉了控制角度余弦量值的參數t。最終AdaCos損失函數為

式中：C1為類別的數量；θi，j為特征向量xi和對應權重之間的夾角為一個動態縮放系數，會隨著迭代次數td的不同，取值有2種情況，如下：

式中：N（t）為一個批次中人臉的類別數量；Nl為類別總數；kl為第i個圖像的真實類別。

由AdaCos的公式可以看出，動態自適應參數在每次迭代的時候對分類概率的影響是不同的，由此就可以根據模型的收斂程度動態的產生合理的縮放系數，加快模型的收斂速度。

2 改進方法

本節在MobileFaceNet人臉特征提取網絡的基礎上，將風格注意力機制重新校準模塊（Stylebased Recalibration Module，SRM）［13］加入到MobileFaceNet網絡中，進一步提高了提取特征的魯棒性和全局性。人臉識別方法流程如圖2所示，多任務卷積神經網絡（MTCNN）是一種人臉檢測方法。

圖2 人臉識別方法流程Fig.2 Face recognition method flowchart

方法流程主要分為3個部分，即數據預處理、基于SRM模塊改進的MobileFaceNet人臉特征提取網絡、輸出人臉分類結果。之后使用自適應人臉損失函數AdaCos來監督訓練過程，減少了設置超參數對訓練效果的影響，同時進一步擴大類間間距，縮小類內間距。方法的整體實現是基于pytorch框架。

2.1 SRM 模塊

通常來說，不同的人臉圖像會有不同的屬性特征，卷積網絡層通過提取圖片特征來進行分類和識別。然而，針對不同的人臉圖像會有不同的風格，這些風格屬性會進一步影響卷積網絡對特征的提取，進而影響之后的識別和分類精度。

SRM通過特征重新校準的形式明確地將風格信息合并到卷積神經網絡（CNN）表示中。根據不同人臉圖像的風格屬性，動態地估計各個風格特征的相對重要性，然后根據風格的重要性動態的調整特征權重，這使得網絡可以專注于有意義的風格信息，而忽略不必要的風格信息。SRM 模塊結構如圖3所示，C、H、W和d分別為通道的個數、特征圖高度、特征圖的寬度和風格特征的數量。

圖3 SRM模塊結構Fig.3 SRM module structure

SRM模塊由2個主要組件組成：風格池化層（Style Pooling）和風格整合層（Style Integration）。風格池化層通過匯總不通空間維度的特征響應，從每個通道提取風格特征；風格整合層通過逐通道操作，針對圖片的不同位置，利用風格特征生成相應的風格權重。同時根據不同的風格權重重新校準特征映射，以強調或隱藏它們的信息

與幼兒談話，是發展幼兒語言能力較好的一種方法。但在實際教學中我們發現，和幼兒談話時，剛開始幼兒往往有著很強烈的交流欲望，但隨著活動的進展和時間的推移，幼兒往往會出現注意力不集中、交流興趣下降、談話效果不理想的狀況。

2.1.1 風格池化層

風格池化層包括2個部分，即平均池化層和標準差池化層。對于每一個輸入為 X ∈RNd×C×H×W的特征圖，Nd為小批次中樣本的個數，首先通過平均池化層，具體操作如下：

式中：μnc為原特征圖平均池化后的結果；xnchw為原特征圖，n、c、h和w分別為Nd、C、H和W 的分量。其次，將平均池化層的結果與原輸入特征圖進行標準差的計算，具體過程如下：

式中：σnc為經過標準池化層后的結果。最后，經過風格池化層的結果如下：

其中：tnc為經過風格池化層后的特征向量。

2.1.2 風格整合層

風格整合層包括3個部分，即通道全連接層（Channel-wise Fully Connected，CFC）、歸一化層（Batch Normalization，BN）［14］以及激活層。將從風格池化層輸出的結果作為風格整合層的輸入，具體操作如式（12）～式（16）所示。

2.2 基于風格注意力機制改進的M obileFaceNet人臉特征提取網絡

MobileFaceNet人臉特征提取網絡中有5個bottleneck層，其結構如圖4所示。

圖4 MobileFaceNet中bottleneck層結構Fig.4 Structure of bottleneck layer in MobileFaceNet

將SRM模塊加入到bottleneck層中后的結構如圖5所示。

圖5 MobileFaceNet-SRM bottleneck層結構Fig.5 MobileFaceNet-SRM bottleneck layer structure

將SRM結構放在了bottleneck層中的Depthwise操作之后，使得特征提取網絡可以根據特征圖的風格信息來動態地增強有用的特征表達，抑制可能的噪聲，提高了特征提取的魯棒性和代表性。這一操作與MobileNetV3［15］的網絡架構相似，不同的是MobileNetV3的網路架構加入SE模塊［16］。

3 仿真實驗與結果分析

3.1 實驗設置

3.1.1 數據預處理

本文使用CASIA-Webface人臉數據集作為訓練數據集，包含了10 575個人的494 414張圖像。使用MTCNN［17］人臉檢測方法對CASIA-Webface中的圖片進行再檢測，并將檢測到的人臉圖片裁剪成112×112個像素大小。

測試數據集選用的是LFW、CFP-FF、以及AgeDB 3個人臉數據集來進行模型的評估。LFW數據集包含5749人共13233張人臉圖像；CFP數據集包含500個身份，每個身份有10個正臉，4個側臉，本實驗使用CFP數據集中的FP（Frontal-Profile）人臉驗證，即CFP-FP（CFP with Frontal-Profile）數據集；AgeDB 數據集包含440人共12 240張人臉圖像。

3.1.2 實驗環境及參數設置

實驗中所有方法都是在pytorch框架下通過python語言實現的。訓練和測試步驟在NVIDIA GTX2080Ti GPU上運行。訓練總輪數epoch設置為50，訓練初始學習率設置為0.1，迭代到10、25、40個epoch時，學習率每次除以10。訓練中的bitchsize設置為64，總的權重衰減參數設置為5×10-4；使用隨機梯度下降策略SGD優化模型，動量參數設置為0.9。

3.2 在不同backbone上的結果

不同的特征提取網絡分別為Resnet-50、MobileFaceNet、MobileFaceNet-SRM，并 使 用AdaCos人臉識別損失來監督訓練過程。ResNet50是AdaCos使用的基礎網絡；MobileFaceNet是改進前的特征提取網絡；MobileFaceNet-SRM 是加入SRM模塊后的特征提取網絡。評估指標包括在3個數據集上的測試準確度以及模型大小，具體表現如表3所示。從表3可以看出，基于Mobile-FaceNet人臉識別方法在3個數據集上的測試準確度與ResNet50相比，在LFW、CFP-FF、AgeDB 3個數據集上分別提升了 0.49%、0.81%、2.48%，同時模型參數數量大大降低；在將SRM模塊加入到MobileFaceNet后，與改進前的模型相比，模型參數數量略有提升，但是識別精度在LFW、CFP-FF、AgeDB 3個數據集上分別提升了0.25%、0.16%、0.3%，可以看出改進后的模型在精度上有所提升，證明了改進后模型的有效性。

表3 基于AdaCos的損失函數不同卷積框架人臉識別模型性能比較Tab le 3 Perform ance com parison of face recognition m odels w ith different convolution fram es based on AdaCos loss function

圖6是3種主干網絡在人臉損失函數Ada-Cos監督訓練下，在AgeDB評測數據集上的受試者工作特征（Receiver Operating Characteristic，ROC）曲線。橫軸為假正率（FPR），指的是分類器識別出的假正實例占所有負實例的比例；縱軸為真正率（TPR），指的是識別出的真正實例占所有正實例的比例。從圖6可以看出，MobileFaceNet相較于ResNet50網絡識別精度有明顯提升，同時模型參數數量大大減少，計算效率有所提高。在向MobileFaceNet中引入風格注意力機制后，準確度相較于改進前的模型有所提升，這表明改進后的MobileFaceNet人臉識別方法的有效性。

圖6 三種主干網絡在AgeDB數據集上的ROC曲線Fig.6 ROC curves of three backbone networks on AgeDB dataset

4 結 論

1）本文基于MobileFaceNet網絡提出了一種新的人臉識別方法，通過引入風格注意力機制來增強特征的表達，將改進后的模型作為特征提取網絡，大大減少了模型的參數數量，提高了模型的計算效率，同時提高了提取特征的魯棒性和代表性。

2）使用自適應縮放損失函數AdaCos作為人臉損失函數來監督訓練，通過動態自適應縮放系數，在訓練過程中動態調整超參數，加快了模型的收斂速度。在LFW、CFP-FF和AgeDB 3個人臉數據集上對算法性能進行評測。

3）實驗結果表明，本文方法相較于之前的人臉識別方法，在識別精度有所提升的基礎上，大大降低了模型參數的數量，有效地減少了模型的計算量以及模型復雜度。