基于深度學習的輕量級和多姿態人臉識別方法

龔 銳，丁 勝，章超華，蘇 浩

（1. 武漢科技大學計算機科學與技術學院，武漢430065； 2. 智能信息處理與實時工業系統湖北省重點實驗室（武漢科技大學），武漢430065； 3. 福建省大數據管理新技術與知識工程重點實驗室（泉州師范大學），福建泉州362000）

（*通信作者電子郵箱516123131@qq.com）

0 引言

人臉識別是基于人的臉部特征信息進行身份驗證的一種生物識別技術，通過帶有攝像頭的終端設備拍攝人的行為圖像，使用人臉檢測算法，從原始行為圖像中得到人臉區域，用特征提取算法提取人臉的特征，并根據這些特征確認身份。傳統的人臉識別方法包含主成分分析（Principal Component Analysis，PCA）［1］、拉 普 拉 斯 特 征 映 射［2］、局 部 保 持 映 射（Locality Preserving Projection，LPP）［3］、稀疏表示［4］等。這些傳統人臉識別算法在提取特征時，往往是通過人工手段去獲取樣本特征，而人為設定的特征在特征提取和識別過程存在提取特征過程復雜、識別效率低等不足，而且受人臉的姿態轉動、光照變化、遮擋等復雜場景下影響較大，這些方法所使用的特征屬于淺層特征，不能從原始圖像中獲取本征的高層語義特征。

自2012年AlexNet 在ImageNet［5］比賽上取得冠軍后，卷積神經網絡愈發火熱。隨著VGGNet（Visual Geometry Group Networks［6］、GoogleNe［7］和ResNet（Residual Neural Networks）［8］的相繼提出，深度卷積神經網絡將多個計算機視覺任務的性能提升到了新的高度，總體的趨勢是為了達到更高的準確性構建了更深更復雜的網絡。人臉識別作為一種重要的身份認證技術，被應用于越來越多的移動端和嵌入式設備上，如設備解鎖、應用登錄、刷臉支付等。由于移動設備計算能力以及存儲空間的限制，部署在移動設備上的人臉識別模型要滿足準確率高、模型小、特征提取速度快的條件，這些大型網絡在尺度和速度上不能滿足移動設備的要求。MobileNetV1［9］提出了深度可分離卷積（depthwise separable convolutions），將標準卷積分解成深度卷積和逐點卷積，大幅度地降低了參數量和計算 量。ShuffleNet［10］使 用 分 組 逐 點 卷 積（group pointwise convolution），通過將卷積運算的輸入限制在每個組內，顯著地減少了計算量，再使用通道打亂（channel shuffle）操作，解決了分組卷積中不同組間信息不流通的問題。MobileFaceNet［11］從感受野的角度，分析了人臉識別任務中全局平均池化的缺點，使用全局深度卷積代替。

此外，人臉圖像較大的類內變化和較小的類間差異是人臉識別任務的一個困難點。由于人臉的角度、光照、表情、年齡、化妝、遮擋、圖片質量等變化，同一個人的不同人臉圖像具有很大差異，如何讓計算機在較大的類內變化的干擾下依然能夠辨識到比較微弱的類間變化，是人臉識別的主要挑戰。人臉識別要從兩個方向優化:一是增加不同人之間的距離（類間距離）；二是降低同一個人在不同人臉圖像上的距離（類內距離）。基于度量學習的Triplet Loss［12］的目標是使同類樣本之間的距離盡可能縮小，不同類樣本之間的距離盡可能放大。Center Loss［13］提出為每一個類提供一個類別中心，并最小化每個樣本與該中心的距離。二者都是基于Softmax Loss 的，存在不足。后來出現的損失函數SphereFace［14］、CosFace（Large Margin Cosine Loss）［15］和ArcFace（Additive Angular Margin Loss）［16］從根本上改進，要求擴大分類面之間的margin，增強Softmax 損失函數的判別能力，能夠較好地滿足增大類間距離、減小類內距離的要求。

1 多姿態人臉數據集

現有的深度學習方法是將對齊后的人臉圖像通過深層網絡提取人臉特征，由于忽略了人臉的姿態特征，因而導致識別精度不夠高。針對這個問題，本文建立了一個多姿態的人臉數據集，如圖1所示。

圖1 多姿態人臉數據集Fig. 1 Multi-pose face dataset

該數據集由800 名志愿者每人5 張人臉圖像（5 個姿態，分別為正臉、左側臉、右側臉、抬頭、低頭）組成，共4 000 張。采集過程為:在光照條件良好的環境下放置攝像頭，通過多任務級聯卷積神經網絡（Multi-Task cascaded Convolutional Neural Network，MTCNN）［17］算法對視頻流進行人臉檢測，根據檢測到的人臉關鍵點（左右眼、鼻尖、左右嘴角）判斷人臉姿態，判斷方法見1.3 節，采集完5 個姿態后將對齊后的5 張圖像縮放到112×112 大小，保存起來，同時記錄對應人臉的姓名年齡性別作為人臉識別的標簽。

1.1 MTCNN算法

MTCNN 算法用于人臉檢測任務，采用三個級聯的網絡PNet（Proposal Network）、R-Net（Refine Network）和O-Net（Output Network）由粗到細，通過減少濾波器數量、設置小的卷積核和增加網絡結構的深度，在較短的時間內獲得很好的性能，在光照變化、部分遮擋和人臉轉動等情況下也能得到很好的人臉檢測結果。

圖2 MTCNN算法流程Fig. 2 Flow chart of MTCNN algorithm

1.2 人臉對齊

MTCNN 算法可以檢測出人臉在圖像中的位置，同時還能檢測人臉關鍵點。人臉關鍵點可以用來做人臉對齊，將不同角度的人臉對齊后有利于人臉識別，人臉對齊步驟如圖3 所示。根據左右眼睛和鼻子的位置，通過仿射變換，將人臉對齊，并裁剪縮放到112×112。

圖3 人臉對齊Fig. 3 Face alignment

1.3 人臉姿態判斷

MTCNN 算法檢測的原圖和檢測后關鍵點位置如圖4 所示。本文使用左右眼、鼻尖和左嘴角這四個關鍵點判斷人臉姿態方向，記左眼坐標為（x1，y1），右眼坐標為(x2，y2)，鼻尖坐標為(x3，y3)，左嘴角坐標為(x4，y4)。以正臉圖為基準，從橫軸看，鼻尖近似在左右眼坐標中心；從縱軸看，鼻尖近似在左眼和左嘴角坐標中心，因此滿足如下式子:

同理，當前人臉圖像是左側臉圖的條件是:

當前人臉圖像是右側臉圖的條件是:

當前人臉圖像是低頭圖的條件是:

當前人臉圖像是抬頭圖的條件是:

在上面4 個式子中，D是一個大于0 的值，表示中心點與鼻尖的橫軸距離或縱軸距離，在本實驗中取值為10，即中心pixel點與鼻尖距離相差10 px（pixel）就算滿足條件。

圖4 原圖與人臉檢測后的關鍵點Fig. 4 Original image and key points after face detection

2 主要方法

2.1 特征提取網絡

文獻［18］提出了一種高效網絡模塊，如圖5 所示，在本文中記為mainblock。 本文結合ShuffleNetV2 的優點對MobileFaceNet 進行了改進，改進后的網絡結構如表1所示，改進后的網絡記為ShuffleMNet。

圖5 ShuffleMNet的mainblockFig. 5 Mainblock of ShuffleMNet

在網絡的開始先使用步長為2 的卷積核對輸入進行下采樣，再接上多個mainblock 模塊得到7×7 的特征圖，使用全局深度卷積（Global Depthwise Convolution，GDC）取代全局平均池化（Global Average Pooling，GAP）得到1×1 的特征圖，最后接上一個全連接層得到128維特征向量。

每個mainblock 模塊先對輸入進行1 次如圖5（b）所示的步長為2 的下采樣，之后重復n-1 次圖5（a）所示的操作。圖5（a）中首先對輸入進行通道分割（Channel Split），將通道為c的輸入分成2 組通道為c/2 的分支，左邊直接映射，右邊是一個類Inverted residuals［19］模塊，然后左右兩邊特征圖合并，最后進行通道打亂（Channel Shuffle）使得各個通道之間的信息相互交通。圖5（b）中左邊分支是步長為2 的深度可分離卷積，右邊分支是步長為2 的類Inverted residuals 模塊，之后通過左右特征圖合并、通道打亂得到輸出。其中兩個類Inverted residuals模塊除了空間下采樣時第一個1×1卷積進行升維，其他所有卷積操作輸入輸出通道數都相同。使用參數化修正線性單元（Parametric Rectified Linear Unit，PReLU）作為激活函數。

表1 ShuffleMNet結構Tab. 1 ShuffleMNet architecture

2.2 人臉匹配

將特征提取得到的128 維特征與人臉數據庫中的所有人臉特征進行比對。相較于歐氏距離，余弦距離使用兩個向量夾角的余弦值衡量兩個個體間差異的大小，后者更加注重兩個向量在方向上的差異，因此，本實驗人臉特征比對采用的度量方法是計算余弦距離遠近，距離越近（相似度越大）表示兩張人臉越相似。本次實驗設置閾值設為0.7，若余弦相似度大于0.7，則表示這張圖像匹配到了數據庫中對應的人。如果存在多張人臉與當前人臉的余弦相似度大于閾值，取相似度最高的為匹配結果。

2.3 人臉跟蹤

文獻［20］使用核相關濾波（Kernelized Correlation Filters，KCF）方法用于人臉跟蹤，文獻［21］通過在MTCNN算法后新加一個網絡做人臉跟蹤。本文使用更簡單的方法做人臉跟蹤。

MTCNN 最后一個網絡O-Net 的網絡結構如圖6 所示。由于MTCNN算法是通過級聯網絡由粗到細完成人臉檢測任務，O-Net 第一個全連接層是256 維的高層特征，包含了人臉bounding box 回歸和人臉關鍵點的信息，可以利用這256 維特征作為人臉跟蹤的依據，并判斷兩個人臉框中心點的歐氏距離進一步確定是否是同一人臉。

圖6 MTCNN的最后一個網絡O-NetFig. 6 MTCNN's last network O-Net

3 實驗

3.1 實驗環境

本實驗使用遠程服務器訓練深度神經網絡模型，該服務器配有64位的CentOS系統，配備了Inter Xeon E5 2620 v4處理器，64 GB內存，8張Tesla V100顯卡，每張顯卡顯存為32 GB。

3.2 訓練數據集與校驗數據集

使用由DeepGlint 公開的Asian-Celeb 人臉數據集作為訓練數據集訓練深度卷積神經網絡模型。該數據集包含93 979個純亞洲人，共2 830 146 張已經對齊好的人臉圖像，規模有93.8 GB。本文提出的多姿態人臉數據集總800 人共4 000張，取其中640 人共3 200 張人臉圖像作為訓練數據集，其他800張圖像作為測試集。

校驗數據集包含LFW（Labeled Faces in the Wild）［22］數據集、CFP（Celebrities in Frontal Profile）［23］數據集和Age-DB（Age Database）［24］數據集。其中，LFW 數據集包含5 749人共13 233張人臉圖像，姿態表情和光照變化較大，使用其中的6 000對人臉圖像作為校驗數據集；CFP 數據集包含500 個身份，每個身份有10個正臉，4個側臉，本實驗使用CFP 數據集中的frontalprofile（FP）人臉驗證，即CFP-FP（CFP with Frontal-Profile）數據集；AgeDB 數據集包含440 人共12 240 張人臉圖像，本次實驗使用AgeDB-30，包含300正樣本對和300負樣本對。

3.3 訓練前的設置

3.3.1 預處理設置

為了提高人臉識別方法的魯棒性，使用圖像增強的方法對訓練集進行數據擴充，使用的方法為左右翻轉和模擬光照變化改變圖像明暗度，使得訓練集數量直接擴大了6 倍。之后在輸入時對輸入圖像RGB 三通道的像素值進行歸一化處理，即對原來RGB 三個通道的像素值都減去127.5 再除以128，使像素值都在（-1，1）區間內。

3.3.2 訓練樣本設置

相較于Asian-Celeb 數據集，本文提出的多姿態人臉數據集樣本數量遠少于前者。由于實際應用場景往往與標準數據集的場景不同，需要提高訓練時本文數據集所占的比重，所以改進了訓練時樣本選取的方式。之前樣本選取方式完全隨機，并且每一輪每個樣本僅出現一次，多姿態數據集對整體權重貢獻比較小。改進后，通過修改源程序使得每個batch（batch size 為256）都會包含2 個來自多姿態數據集的隨機樣本。這樣大大提升多姿態數據集對整個網絡權重的貢獻，提高了其所占的比重。

3.3.3 網絡參數設置

網絡的下訓練分2步。首先使用Softmax loss預訓練，可以學習到可分的深度人臉特征，然后使用ArcFace loss訓練，學習使得類內緊湊、類間分離的人臉特征。

Softmax 訓練是使用的學習率為0.1，共訓練120 000 步，ArcFace訓練初始學習率為0.1，迭代到120000、160000、180000步時學習率每次都除以10，總共訓練200000步。全局深度可分離卷積層的權重衰減參數設置為4E-4，其他權重衰減參數設置為4E-5；使用隨機梯度下降策略（Stochastic Gradient Descent，SGD）優化模型，動量設置為0.9；batch size設置為256。

3.4 實驗結果

第一步采用Softmax loss 訓練的訓練集精度和驗證集精度如圖7 所示，網絡訓練到42 000 步時，訓練集精度已經達到81. 5%，LFW 精度為99. 03%，AgeDB-30 精度為88. 45%，CFP-FP 精度為84.84%，此時停止Softmax 訓練開始使用ArcFace loss 進行訓練。使用ArcFace loss 訓練的驗證集精度如圖8 所示，網絡訓練到160 000 步時網絡已基本收斂，停止訓練，此時LFW 精度為99.58%，AgeDB-30 精度為96.08%，CFP-FP精度為88.46%。

圖7 使用Softmax loss的訓練曲線Fig. 7 Training curve using Softmax loss

圖8 使用ArcFace loss的訓練曲線Fig. 8 Training curve using ArcFace loss

為了驗證本文提出的輕量級網絡的有效性，實驗并記錄了使用其他輕量級網絡同樣使用上面二步式訓練的結果，訓練時并未加入本文建立的數據集，僅使用Asian-Celeb 數據集訓練，實驗結果如表2所示。

表2 ShuffleMNet與其他輕量級網絡精度對比 單位：%Tab. 2 Accuracy comparison of ShuffleMNet and other lightweight networks unit:%

3.5 人臉識別

3.5.1 人臉數據庫

模型訓練好后，使用模型對測試集的800張人臉提取128維人臉特征，將人臉姿態（正臉、左側臉、右側臉、低頭、抬頭）與人臉信息（姓名、性別、年齡）作為標記一起保存到數據庫中。

3.5.2 實地測試

重新對測試集中的160 名志愿者進行人臉識別測試。在光照條件良好的場景布置攝像頭，再次獲取這些志愿者的5種人臉姿態圖像做測試。 使用兩種不同的方法進行人臉識別，并統計結果。

第一種直接對每個志愿者的5 張人臉圖像提取特征后，分別和人臉數據庫中的所有特征進行比對，閾值取0.7，余弦相似度大于0.7 且人臉信息（姓名、性別、年齡）相同則表示人臉識別正確。

第二種是根據5 張人臉圖像中每張人臉圖像的姿態（由1.3 節的方法自動判斷人臉姿態，不再是手動獲取姿態）選擇對應姿態的特征進行比對，即假設當前要對比的正臉圖，則只選擇人臉數據庫中所有正臉圖對應的人臉特征進行比對，比對方法同上。

兩種方法的實驗結果如表3 所示，其中使用多姿態數據集意味著在訓練時按照3.3.2 節中的方法加入多姿態數據集。實驗結果表明，第二種比對方法進行人臉識別效果更好。

表3 不同方法的準確率對比 單位：%Tab. 3 Accuracy comparison of different methods unit:%

3.6 時間測試

本實驗采用的測試平臺是虛擬機64 位Ubuntu 18.04系統，處理器是Inter Core i5-8400 CPU @2.80 GHz，內存為2 GB。使用NCNN框架作神經網絡前向推導。

測試結果如表4 所示。從表可以看出，ShuffleMNet 比MobileFaceNet 速度要快9 ms，此外，由2.3 節可以知道，人臉跟蹤提取了MTCNN第三個網絡全連接層的特征，這里僅僅是前向推導時順便提取出來的，不需要耗費其他時間做這個特征提取，剩下的就是相似度計算匹配，因此本文的人臉跟蹤算法幾乎不花費額外的時間，記錄檢測和識別的總時間僅僅是二者相加而已。

表4 不同網絡及其組合的時間對比 單位：msTab. 4 Time comparison of different networks and their combinations unit:ms

4 結語

本文建立了一個多姿態人臉數據集，解決了目前單一姿態數據集存在的人臉識別準確率不高的問題。另外，本文提出的網絡ShuffleMNet 相較于MobileFaceNet 等其他輕量級網絡精度更高，速度更快，可以很好地在移動設備上部署。同時，在數據采集時采集了志愿者的年齡性別，有助于后續的人臉年齡性別識別研究。