基于輕量級網絡的實時人臉識別算法研究*

張 典，汪海濤，姜 瑛，陳 星

昆明理工大學 信息工程與自動化學院，昆明 650500

1 引言

人臉識別是一種重要的身份識別方式，是計算機視覺領域中的重要研究方向之一。由于人臉識別被認為是用戶體驗最為友好的生物識別方式，使得其在設備解鎖、移動支付、應用認證等移動和嵌入式應用中有了廣泛的應用。近年來，由于各大機構在網絡上發布的大型人臉數據集，以及深度卷積網絡在人臉識別技術上的研究取得了巨大的成功，使得深度卷積網絡可以使用大量數據來學習數據中表征人臉的最佳特征。這讓基于深度卷積網絡的人臉識別算法實現了非常高的準確度。

由于有先進的網絡結構和判別式訓練方法，深度卷積網絡將人臉識別的性能提高到了前所未有的水平。但是目前的研究重點大多在于如何構建層數更深、寬度更廣的神經網絡，這樣會導致神經網絡結構龐大?，F有的高精度人臉識別模型都是建立在這樣的大型深度卷積網絡模型之上的，同時這種模型需要大量的計算資源，使得網絡只能在性能高的處理器上運行，這不利于模型移植到移動和嵌入式設備中。在實際的使用場景中，一些移動和嵌入式設備中需要離線進行身份驗證，如手機解鎖、車載身份識別中，需要在有限的計算資源里實現精準的面部驗證，同時還需要模型精簡和迅速，因此神經網絡的輕量化對移動平臺設備的使用，有很好的工業價值。

輕量化神經網絡需要考慮到三個維度：參數少、速度快和精度高。通過對現有的SqueezeNet、Moblie-Net V1、MobileNet V2、ShuffleNet、ShuffleNet V2等高效神經網絡架構[1-5]進行研究，根據實驗，與最先進的大型卷積網絡生成的結果相比，它們只能達到非常低的準確度。

本文分析了常見的深度神經網絡用于人臉識別時的缺點，并專門設計了Lightfacenet輕量級神經網絡來克服這個缺點。這是一組非常高效的卷積神經模型，專為在移動和嵌入式設備上實現高精準度的實時面部驗證進行設計。通過在現有的輕量級神經網絡中引用了基于擠壓和激勵結構[6-7]（squeeze and excitation）的輕量級注意力模型，為網絡增加更多的非線性結構，可以使網絡能更好地擬合通道間的復雜相關性，并使用Swish激活函數代替ReLU以提高神經網絡的精度。在卷積網絡的結尾處使用全局深度卷積層輸出判別特征向量，使用交叉熵損失函數在MSCeleb-1M數據集上進行訓練，并用中心損失函數調優，使得該網絡的精度達到現有的大型卷積神經網絡的水準。

本文提出的神經網絡Lightfacenet，其參數量小，在相同的實驗條件下，在LFW(labeled faces in the wild)、AgeDB等公有數據集上，對Lightfacenet與MoblieNet V1、MobileNet V2、ShuffleNet、ShuffleNet V2和Resnet-50等深度卷積神經網絡進行對比實驗。實驗表明Lightfacenet擁有輕量級神經網絡高效性的同時，也有著媲美大型卷積網絡的精度。

2 原理與方法

本文主要研究的是基于輕量級深度卷積網絡的人臉識別算法。通過調整深度神經網絡結構使模型在速度和精度上取得平衡，這是在近幾年中積極發展研究的領域。例如，SqueezeNet通過使用瓶頸結構設計了一個小巧的網絡（參數量為125萬），并在ImageNet上實現了AlexNet（參數量為6 000萬）級別的準確度，同時其網絡參數減少98%。MobileNet V1使用深度可分卷積模塊構建輕量級神經網絡，在細粒度識別中達到了Inception V3的效果，并且大大減少了計算量和尺寸。ShuffleNet使用逐點群卷積和通道混洗的方式降低計算成本，實現了比MoblieNet V1更高的效率。MoblieNet V2中引入了倒置殘差模塊，改善了模型性能。ShuffleNet V2使用了Channel-Split模塊，使得模型的性能進一步提高。

2.1 通用輕量級神經網絡在人臉識別應用中的弱點

在這些通用的輕量級卷積神經網絡中都存在著全局池化層，比如SqueezeNet、MoblieNet V1、Mobile-Net V2、ShuffleNet、ShuffleNet V2等。通過研究表明，對于人臉驗證和識別，不包含全局池化層的卷積網絡比包含全局池化層的卷積網絡更加精確。

如圖1所示，在特征圖進行全局池化前，可以得知人臉圖像中心區域的感受野（receptive field）比邊緣角落區域的感受野重要。在進行全局池化后，特征圖所有的位置權重平均化，不區分位置的重要性，這樣不符合真實的情況。使用全局深度卷積替換全局池化進行計算時，對于固定的空間位置，所有通道中的全局深度卷積的權重信息可以象征不同位置的空間重要性，這樣的計算方式可以使神經網絡重點學習圖像中重要的特征。

Fig.1 Flow chart of lightweight convolutional neural network圖1 輕量級卷積神經網絡計算流程圖

本文對神經網絡中卷積核的感受野進行分析，通過級聯神經網絡來檢測圖像的人臉和面部特征點，并用面部特征點通過相似變換對齊矯正人臉圖像。將對齊面部圖像進行歸一化處理后，使用以MoblieNet V2為主體結構的輕量級網絡提取特征向量，在全局池化層合并特征之前，最后一層卷積層輸出的特征圖是具有7×7的矩陣特征圖。盡管在角落的特征單元與中心位置的特征單元的感受野具有相同的尺寸大小，但是它們位于輸入圖像的不同位置。如圖1所示，在中心位置的感受野特征點輸出結果要比角落處的感受野特征點輸出結果的影響大得多，其特征圖的影響力分布近似于高斯分布。特征圖在角落處的有效感受野要明顯小于中心處感受野，因此角落處的特征點包含的信息要少于中心位置，不同位置的特征點提取到的面部特征也就有了不同的重要性。同時輕量級神經網絡的卷積末端并不適合直接應用于人臉特征提取，因為它具有高達62 720維的特征尺寸，這使得網絡會學習到很多影響力不大的特征，因此在輕量級神經網絡的末端加入全局池化層雖然效果不好，但也是一種減少特征維度，使特征更加精簡的方式。對以上的問題進行了研究，有兩種方式解決這個問題，一種是用全連接層代替全局池化層，但是這會為網絡模型增加大量的參數，即使是128維，全連接層也會給網絡帶來將近800萬個模型參數，這顯然是不符合本文要實現人臉識別的神經網絡輕量化的目的，因此本文選擇了另一種，使用全局深度可分卷積替換全局池化。

2.2 基于輕量級神經網絡在人臉識別應用中的弱點改進的方法

為了處理不同位置具有不同重要性的特征圖，本文使用了全局深度卷積替代輕量級神經網絡中的全局池化層，全局深度卷積層本質上是深度卷積層，特殊之處在于其卷積核的大小與輸入的大小相同，padding為0，stride為1，全局深度卷積如圖2所示。

Fig.2 Global depth separable convolution圖2 全局深度可分卷積

圖中，F是W×H×D的特征圖，K是W×H×D的深度可分卷積核，公式的計算結果如下：

當輕量級神經網絡的最后一層使用7×7×1 280的全局深度可分卷積后，會輸出1 280維的面部特征向量，其計算成本為62 720次，使用全局深度可分卷積后將網絡通過MS-Celeb-1M數據集以角度損失函數訓練，在LFW和AgeDB的數據集上準確度得到了明顯的提升。

2.3 引入擠壓和激勵結構

在神經網絡搭建的過程中采用擠壓和激勵結構讓神經網絡增加一個小型的注意力機制使之在學習的過程中自主獲取到每一個特征通道的重要程度，之后再參照這個重要程度去提升有用的特征和抑制用處不大的特征。擠壓和激勵結構如圖3所示。

Fig.3 Squeeze and excitation structures圖3 擠壓和激勵結構

如圖3所示，擠壓和激勵結構包含三部分：

第一部分是擠壓函數Fsq，將特征圖的全局空間信息沿著特征通道的方向壓縮為一個通道信息，該通道擁有全局特征通道的感受野，這里通過使用全局池化層來實現統計數據。在形式上通過將空間維度H×W×D縮小為1×1×D來生成統計數據z∈RD ud表示第d層通道的特征圖，zd表示第d層通道統計的數據。

第二部分是激勵函數Fex，為了充分利用擠壓函數中聚合的信息來捕獲特征通道方面的依賴關系，這里使用了帶有Sigmoid激活的門控機制學習參數W，為特征通道生成權重s。通過兩個帶有非線性激活函數的全連接層的瓶頸來實現門控機制，第一層減低維度使用ReLU選擇性輸出結果，第二層升高維度使用Sigmoid將權重歸一化到0-1，讓結果更具非線性的同時也極大減少參數量和計算量。

第三部分是重組權重函數Frw，將激勵函數輸出的結果與原來的特征圖進行通道乘積為特征圖權重加權，來重新設定每個特征通道的重要程度。

擠壓和激勵結構通過全局卷積和兩層非線性激活函數以及重組權重的方式，在模型搭建和推理計算方面有良好性能，不需要新設計函數和神經網絡層就可以實現擠壓和激勵結構，這使得模型的部署容易實現。

2.4 改進非線性激活函數

本文在Lightfacenet模型中引入了一種分段式線性激活函數（Hard_Swish）的非線性激活函數，當使用Hard_Swish替代用作ReLU時，對于分類任務可以顯著提高神經網絡的準確性，Hard_Swish是根據Swish[8]非線性激活函數改進的，Swish定義為：

Swish非線性激活函數可以提高網絡的準確性，但是同時也帶來了不好的問題，Sigmoid函數需要增加大量的計算，這對移動與嵌入式設備計算模型非常不友好。本文將通過以下方法來處理這個問題。

本文使用分段式線性函數（Hard_Sigmoid）來替代Sigmoid函數：

如圖4所示，本文中替換Sigmoid的分段式線性激活函數（Hard_Swish）與Swish的非線性激活函數相比只有細微差別，其在準確性上面沒有明顯的差異，新的激活函數使用了ReLU6，這樣大大提高了模型的推理速度，與直接使用ReLU激活相比速度幾乎沒有差別。從部署的角度來看，這樣的替代優化了模型在移動平臺上的運行效率，同時還消除了Swish中Sigmoid函數在計算數值的精度損失，在保持速度與ReLU相當的情況下，提高網絡的準確性。

經過多次卷積后，網絡應用非線性函數的成本會降低很多，因為在每次卷積后，每一層的特征圖大小通常會減半，在更深層使用Hard_Swish函數更有利于輕量化網絡的實現。因此本文僅在網絡的后半部分使用Hard_Swish函數來提高模型的推薦速度。

2.5 本文算法模型網絡結構

本章詳細描述了Lightfacenet輕量級神經網絡結構，如表1所示。

Table 1 Lightfacenet lightweight neural network structure表1 Lightfacenet輕量級神經網絡結構

Fig.4 Contrast of nonlinear activation function圖4 非線性激活函數對比

該網絡包含10個block（模塊），擴張為輸入模型的特征通道數倍數，重復為重復模塊的次數，SE為是否使用擠壓和激勵結構，NL為激活函數的類型。

Bottleneck為瓶頸結構[9]，在網絡中使用瓶頸結構，可以在保證精度不減的情況下大大減少網絡的參數量。其結構如表2所示。

3 實驗方法

3.1 數據集

在實驗中主要使用MS-Celeb-1M[10]數據集作為輕量級深度網絡的訓練數據集。MS-Celeb-1M包含1 000多萬張圖，10萬個類別，平均每個類別有100張圖片，這是目前類別（ID）數量最大的數據集。使用這個數據集可以極大地避免由于訓練不充分而導致模型性能低下的情況，使得深度神經網絡更理想地發揮擬合模型的優勢?，F有的大規模人臉數據集如表3所示。

Table 2 Bottleneck structure表2 瓶頸結構

Table 3 Face data set table表3 人臉數據集表

3.2 數據預處理

在MS-Celeb-1M數據集中每個類別的圖片有幾十到幾百張，由于圖片的品質不同，圖像信息完整性不一，使數據包含了很多噪音信息。不針對數據集做預處理就直接進行模型訓練，會導致網絡學習到錯誤或異常的數據，不能準確地對人臉特征進行辨別。再者因為圖像的人臉姿態各異，位置和角度不同，如果沒有對圖片進行姿態矯正，就會給網絡學習與收斂提高難度。因此在訓練網絡前對數據做預處理是非常有必要的。

實驗中針對數據集中人臉位置和姿態角度不同、人臉信息是否完整的問題，將圖像輸入到級聯人臉檢測神經網絡[11]中來判斷圖像是否具有完整的面部信息，如果信息完整就獲取圖像中的人臉區域和面部關鍵點信息，利用面部的關鍵點和仿射變換函數對人臉區域進行姿態矯正后截取出人臉區域圖像[12-15]，再將圖像統一調整為112×112像素作為人臉識別的訓練樣本。

3.3 實驗結果分析

為了驗證本文提出的基于輕量級深度卷積網絡的實時人臉識別算法，使用神經網絡框架Mxnet實現算法，在網絡的訓練階段從網絡結構、參數量、運行速度、識別率幾方面進行對比實驗。網絡主要使用Resnet50[16]、MobileNet V1、MobileNet V2、ShuffleNet、ShuffleNetV2和本文Lightfacenet輕量級神經網絡。在測試集上本文使用LFW[17]、AgeDB等數據集進行測試。

實驗將數據集的訓練樣本按9∶1劃分，生成實驗的訓練集和測試集，采用arcface損失函數并用隨機梯度下降法進行訓練[18-19]，批處理大小設置為256，學習率為0.1，在12 000次、14 000次將學習率下降到原來的10%。實驗結果對比如表4所示。

Table 4 Effectiveness contrast table of neural network model表4 神經網絡模型效果對比表

從表4中可以看出，本文中使用了深度可分卷積的網絡模型大小要遠遠小于使用傳統卷積的Resnet50網絡模型，表中沒有提到Resnet50迭代了15 000次相比較于本文的網絡模型迭代了15 000次在訓練時間上要快一些。本文網絡在實現的代碼中使用了大量的內存和指針的跳轉，使得Resnet50會比本文網絡更快完成訓練。不過評價一個網絡模型的優良，網絡模型的推理速度、識別的準確率才是重要指標?？梢钥闯鯨ightfacenet網絡模型與MobileNet V1、MobileNet V2、ShuffleNet、ShuffleNet V2這樣的輕量網絡比較，本文的Lightfacenet網絡因為在采用了全局深度可分卷積結構和瓶頸結構的情況下其在參數量保持較少的情況下有更好的準確率，在性能增益的同時保證模型參數不增加，從而更高效地使用模型參數。Lightfacenet_A表示沒有使用擠壓與激勵結構的網絡，可以看出沒有使用這個結構的網絡模型相比使用結構的Lightfacenet模型參數量稍微減少了一些，但效果還是挺明顯的，網絡推理的準確率有所下降。Lightfacenet_B表示沒有使用Hard_Swish非線性激活函數的網絡，與使用了Hard_Swish非線性激活函數的網絡相比，Lightfacenet_B使用ReLU函數，其神經網絡的準確性有所下降。因此可以看出Lightfacenet網絡在人臉識別的準確率上基本達到了Resnet50的效果，與Lightfacenet_A和Lightfacenet_B相比也有明顯的提升。使用了Hard_Swish非線性激活函數的Lightfacenet，其參數量只有1 100 000。與輕量級網絡模型對比中Lightfacenet網絡也非常具有優勢，在參數量較少的情況下，達到了很好的識別效果，這對于后期在移動設備上移植算法打下了基礎。

針對移動端的算法移植，使用神經網絡前向計算框架NCNN將神經網絡模型轉化為移動端模型，并在Android系統平臺上搭建運行算法的平臺。表5是模型在搭載了高通625處理器的移動端Android平臺上的運行速度對比表。

從表5中可以看出，Lightfacenet網絡模型系列的推理運行的最少時間處于主流的網絡模型的第一梯隊，其推理運行的最長時間也要少于網絡模型，因此從平均時間來看Lightfacenet網絡模型與現在主流的神經網絡模型在運行推理的速度上具有明顯的優勢，通過增加擠壓與激勵結構和Hard_Swish結構換來更好的識別準確率是有益的。同時Lightfacenet的網絡參數量較少，在移動平臺上只需要很少的存儲空間就可以運行，大大減少了模型在嵌入式平臺的移植難度，也因為速度的優勢，讓模型在移動嵌入式平臺上可以達到實時運行使用的水平。

Table 5 Comparison table of operating speed of neural network model on mobile platform表5 神經網絡模型在移動平臺上的運行速度對比表 ms

4 結果與討論

本文從實用角度出發，提出一種基于輕量級深度卷積網絡的實時人臉識別算法Lightfacenet。本文的實驗表明，因為Lightfacenet網絡的結構采用了深度分離卷積單元、擠壓和激勵結構以及修改后的非線性激活函數，這些模塊在深度學習框架中缺少原生代碼支持，使模型在訓練的速度上比傳統的殘差網絡慢一些，接下來進一步優化代碼結構，相信網絡會有更好的訓練速度。除此之外，Lightfacenet網絡模型是一個成功的模型，它可以保持與大型卷積網絡Resnet50模型基本相同的識別精度，并且在計算速度方面比Resnet50提高很多。在與現有的高效輕量級神經網絡模型相比時也具有速度優勢，網絡具有非常高的效率，可以在搭載高通625處理器的移動設備上僅僅占用少量的存儲空間，進行快速的推理計算來達到實時人臉驗證的效果。