面向移動平臺人臉檢測的FaceYoLo算法

任海培，李 騰

（安徽大學電氣工程與自動化學院，合肥230601）

（?通信作者電子郵箱liteng@ahu.edu.cn）

0 引言

面向移動平臺的人臉檢測任務是人臉技術應用過程中的重要環節。移動平臺檢測任務的質量不僅和檢測算法的性能有關，還受到移動嵌入式設備硬件性能的限制。然而目前影響深度學習算法在嵌入式平臺中應用的主要原因還是實時性達不到要求。影響因素主要和輸入圖片大小、選用的網絡模型以及訓練模型的數據量等有關。較大的搜索空間和大小不一的對象尺度進一步增加了模型的搜索時間，圖1 是一個典型的搜索空間比較大、人臉數量較多的對象場景。為了提高人臉檢測在嵌入式移動設備端的檢測速度，保證應用軟件（APPlication，APP）運行流暢，本文主要從算法的模型優化入手。

人臉檢測是一種特殊的目標檢測案例。現代人臉檢測方法大致可分為兩類:一類是傳統的檢測算法，另一類是基于卷積神經網絡（Convolutional Neural Network，CNN）的算法。

最早的目標檢測用的是級聯分類器框架，由Viola 等［1］在2001 年電氣電子工程師學會舉辦的計算機視覺和模式識別領域的頂級會議（IEEE conference on Computer Vision and Pattern Recognition，CVPR）中提出來，該算法第一次使目標檢測成為現實。接著就是Haar 檢測，但是這種檢測算法只適合剛性物體檢測，無法檢測行人等非剛性目標，所以又提出了方向梯度直方圖（Histogram of Oriented Gradients，HOG）組合支持向量機（Support Vector Machine，SVM）結構。接著傳統算法就一直圍繞著特征器作改進。而針對人臉方面的檢測則由開 創 性 的Viola-Jones 人 臉 檢 測 器 提 出 將Haar 特 征［2］、AdaBoost 學習［3］和級聯推理相結合用于人臉檢測，因此后續的許多工作都被提出用于實時人臉檢測，如新的局部特征、新的增強算法和新的級聯結構。

CNN 檢測算法主要包含兩大家族，分別是區域卷積神經網絡（Regions with CNN features，RCNN）［4］家族和YoLo 家族。RCNN 家族的核心貢獻就是構造了區域建議網絡（Region Proposal Network，RPN）結構，瞬間提高了檢測精度和特征提取效率。尤其是Faster RCNN 的出現無疑是檢測發展史上的第一次高潮，該算法在各大數據集上測試都展現了極其優越的性能；但是Faster RCNN 算法缺點也很明顯，即檢測速度不夠快。YoLo 家族包括YoLov1、YoLov2、YoLov3，以及單發多盒探測器（Single Shot multibox Detector，SSD）。該家族共性都是產生Proposal［5-6］的同時進行Classification 加Regression［7］，一次性完成，即所謂的One-shot［8］。

YoLov1 使 用了1×1 卷積層［9］和3× 3 的卷積層替代了Inception 結構，且在最后使用了全連接層進行類別輸出。這樣做缺點也很明顯:1）輸入尺寸固定。由于輸出層為全連接層，因此訓練模型只支持與訓練圖像相同的輸入分辨率。2）小目標檢測效果不好。雖然每個格子可以預測B 個Bounding box，但是最終只選擇重疊度（Intersection Over Union，IOU）得分最高的Bounding box 作為物體檢測輸出［10］。YoLov2則引入了Faster RCNN 中Anchor box的思想［11］，對網絡結構的設計進行了改進，輸出層使用卷積層替代YoLov1的全連接層。YoLov2 中借鑒了殘差網絡（Residual Network，ResNet）思想［12-13］，在網絡中設計了跨層跳躍連接［14］，解決了輸入圖像分辨率不統一的問題，加深了對淺層特征的學習；但是缺點也依舊存在，某些小尺度對象的特征學習問題還是得不到很好的解決。而YoLov3 算法則注重解決多尺度檢測問題，設計了Darknet 并向里面加入了多尺度預測結構［15］；同時YoLov3沒有使用Softmax對每個框進行分類，而是采用了獨立的多個Logistic 分類器替代［16］；但是該算法在模型參數大小以及速度上還是存在一定的適用局限性，模型參數較大、速度不夠快仍是它的問題。

相對于RCNN 家族的兩個階段，YoLo 家族速度占優，準確率和召回率較低。而深度學習人臉檢測追溯可從中國計算機學會（China Computer Federation，CCF）在CNN 特征的基礎上使用增強來進行人臉檢測，至Farfade等［17］將微調CNN模型訓練在1k ImageNet 分類任務上進行人臉和非人臉分類任務和Qin 等提出聯合訓練級聯神經網絡實現端到端優化［18］，最終形成成熟的檢測體系。

而移動端的人臉檢測技術發展相對較晚，主要原因與移動平臺的開發和集成技術有關。伴隨著近幾年來集成技術以及人工智能領域的發展，移動端的人臉檢測技術逐漸成為了未來人工智能技術落地的應用趨勢。人臉檢測技術主要結合人臉識別技術應用在金融、安防等各個領域，其中應用最廣泛的是利用深度學習方法中的卷積神經網絡來訓練優異的檢測模型。如目前較好的由中國科學院深圳先進技術研究院在2016 年提出來的多任務卷積神經網絡（Multi- Task Convolutional Neural Network，MTCNN）人臉檢測任務的多任務神經網絡模型，該模型采用三個級聯的網絡以及候選框加分類器的思想，進行快速高效的人臉檢測，將訓練好的模型移植到Android 平臺，但是這種方法對硬件性能的要求比較高；接著就是2017 年谷歌提出的MobileNet 以及2018 年提出的MobileNet V2 更是移動端人臉檢測技術發展的高潮，它是一種專門針對硬件性能要求不高的僅支持CPU 平臺的人臉檢測技術。該技術特點就是利用拆分卷積的思想使得訓練參量極大地降低，使得算法模型在性能較差的CPU 上也能有較高的檢測速率。

但這些檢測算法仍然在速度上存在局限性，而本文研究的目的就是要保證檢測效果足夠好的前提下繼續優化檢測算法，提高復雜場景下人臉檢測的實時性能。本文在YoLov3的框架基礎上進行了結構創新與拓展，主要包括網絡結構優化與人臉聚類方法的改進。

圖1 人臉檢測示意圖Fig. 1 Schematic diagram for face detection

1 相關工作

傳統的人臉檢測算法中特征提取使用Haar-like特征進行檢測，然后利用積分圖對Haar-like 特征求值進行加速，通過AdaBoost 算法訓練區分人臉和非人臉的強分類器，使用篩選式級聯把強分類器級聯到一起，以提高準確率。Haar 分類器最早來源于Viola 和Jones 發表的經典論文，在AdaBoost 算法的基礎上，使用Haar-like 小波特征和積分圖方法進行人臉檢測，他們不是最早提出使用小波特征的，但是他們設計了針對人臉檢測更有效的特征，并對AdaBoost 訓練出的強分類器進行級聯，形成了Viola-Jones 檢測器。同一時期，Lienhart 等［19］對這個檢測器進行了擴展，最終形成了開源計算機視覺庫（Open Source Computer Vision Library，OpenCV）和現在的Haar分類器。

現代的CNN 檢測算法中，YoLov3算法是最受歡迎的方法之一。YoLov3 設計了特定的53 層暗網絡（Darknet with 53 convolutional neural network，Darknet53），通過設計多尺度網絡和分類損失提高了檢測性能。然而YoLov3 算法在大量人臉數據集的工程應用下，檢測速度還是達不到要求。Darknet53 網絡自帶的多尺度策略是根據三個不同輸出特征層上的輸出特征再融合來加深對小目標的特征學習，通過研究表明這樣做忽視了不同特征層輸出Anchor 密度不均勻帶來的人臉召回率低下等原因，導致YoLov3算法對小目標檢測的魯棒性還不夠高。為了進一步提高算法的工程應用水平，本文設計了特定的基于快速消化卷積和多尺度卷積的暗網絡結 構（darknet network structure based on Rapidly digested convolutional layers and Multiple scale convolutional layers，RMdarknet），增加了快速消化卷積層（Rapidly Digested Convolutional Layers，RDCL）和多尺度卷積層（Multiple Scale Convolutional Layers，MSCL）兩個卷積結構以及Anchor 致密化和中心損失（Center Loss）兩個策略以提高YoLov3算法的檢測速度。其中RDCL 結構通過設計合適的內核大小，快速縮小了輸入空間。RDCL 結構中新設計的串聯整流線性單元（Concatenated Rectified Linear Unit，CReLU）激活函數減少了輸出通道數，提高了算法的檢測速度，同時也簡化了本研究的算法模型。MSCL 結構通過離散Anchor 到多個不同分辨率的層上處理不同尺寸的人臉，再結合致密化策略的協調配合，巧妙地增加了算法對小目標檢測的魯棒性。

同時此次研究還考慮到特征學習中的類內緊性對特征學習的作用。有關研究結果表明，算法中加入新的中心損失函數不僅能提高類內距離，而且還有助于提高類間距離，達到類似Softmax 函數一樣的作用。因此研究的算法在原始的Softmax 損失后又加了中心損失函數，通過本項目的實驗結果也表明確實提高了人臉特征的識別能力。為了進一步加快梯度收斂、防止過擬合問題，本次項目中巧妙地結合批量正則化（Batch Normalization，BN）結構解決了上述問題；并且為了進一步增強本次研究工作的說服力，與比較流行的移動端網絡（Mobile neural Network，MobileNet）算法進行了比較，分別對兩者訓練的模型進行了移動端的測試，結果也很好地驗證了本文算法的有效性。整個實驗結果測試采用的是常用的人臉檢測評價標準，對人臉檢測算法來說，評價的一個重要標準是模型是否具有較高的正確檢測率和較小的漏檢率。

正確檢測率（Correct Detection Rate，CDR）的計算公式如下:

其中:nc和nf分別為正確檢測到的人臉數量和漏檢人臉數量；N為待檢測人臉數量。

本文工作主要分為以下幾個方面:

1）在設計的網絡中加入了快速消化卷積層，使人臉檢測在速度上實現了飛躍以及模型參數的減少。

2）傳統的Yolov3在小目標的識別性能上差強人意。為了應對復雜條件下的人臉識別挑戰，本文方案在檢測結構中引入多尺度卷積操作（MSCL）和Anchor 致密化操作。為保證小尺度的人臉檢測精度，通過豐富接收域和分層離散錨點來處理不同尺度的檢測對象。

3）與傳統的以Softmax 損失為主的YoLov3 檢測訓練優化方案不同，對于人臉檢測任務，本文同樣引入度量學習的策略，即中心損失，鼓勵網絡學習過程在擴大類間變化的同時最小化類內變化的判別特征，進一步提高模型對更具區分性特征的理解，提高檢測性能。

4）在Wider Face 人臉數據集［20］上進行訓練，在FDDB 人臉基準數據集上進行了測試，驗證算法的效果。

5）利用新算法訓練的模型在移動端進行應用測試。

2 算法設計分析

本文在YoLov3 算法的基礎上加以改進，設計了RMdarknet 網絡用來提高人臉檢測的實時性能，如圖2 所示。YoLov3 中的Darknet53 網絡由一系列1× 1 和3× 3 卷積層組成，每個卷積層后都有一個BN層和一個帶泄露修正線性單元（Leaky Rectified Linear Unit，Leaky ReLU）層［21］。Darknet53網絡一共有53 層，包括52 個卷積層和1 個全連接層（除Residual 層外），將最后的Softmax 層更換成Logistic 分類器，其中回歸損失用的是平滑損失（Smooth L1 Loss Layer，SmoothL1）函數。為了進一步提高人臉檢測算法的實時性，加快檢測速度，本文在網絡結構中加入RDCL 結構，實現快速縮小輸入空間尺寸、減少輸出通道數目的功能。然后在RDCL層后添加MSCL 結構以豐富不同檢測尺度的感受野，同時提高網絡對小目標多個尺度上的檢測靈敏性。通過在MSCL 層引入致密化策略用來保證不同離散尺度Anchor 密度的一致性。最后為了加強特征的類內緊密性，提高人臉的檢測精度，本項目在網絡最后的Softmax 后加入了中心損失，對于加入的結構在后文中做了灼燒實驗以論證理論的可實施性。

圖2 RM-darknet網絡結構Fig. 2 RM-darknet network structure

下面依次介紹設計算法的幾個主要模塊:快速消化卷積層、多尺度卷積層、Anchor致密化和Center Loss策略。

2.1 快速消化卷積

在復雜網絡的實際應用中，很少會使用具有較大卷積核尺寸的濾波器，例如5× 5、7× 7，研究［22］認為用多層3× 3 就能達到較大內核尺寸濾波器同等大小的感受野，例如兩層3×3可以達到一層5× 5的感受野，3層3× 3可以達到一層7× 7的感受野。用多個小卷積核尺寸的濾波器對數據進行處理，不僅可以有效減少計算量，而且可以加深網絡深度和層次，優化網絡整體的非線性性能。但是在高效網絡里，較小的卷積核尺寸在有些情況下并不一定具有更好的性能。如在圖像分辨率足夠的情況，較大的卷積核對數據的表征能力更強，壓縮空間的速度更快。大多數人臉檢測需要考慮時間成本，尤其偏向于大場景下的人臉檢測應用對速度的要求更為苛刻，檢測器的速度直接影響產品能否成功落地。

如圖3 所示，RDCL 結構的核心是通過快速縮小空間尺寸，減小特征圖（Feature Map）的大小，達到快速提高檢測速度的目的。為此對兩個卷積層和兩個池化層的步長分別設置為4、2、2和2，這樣一個總步長為32的輸入尺度成功將輸入空間大小壓縮至原輸入的1/32。

圖3 RDCL結構Fig. 3 RDCL structure

另外為了保持網絡的高效和有效性，選取7× 7、5× 5 作為Conv1 和Conv2 的卷積核大小，3× 3 作為所有池化層的卷積核大小。通過RDCL 第一個卷積層，核為7× 7，步長為4，默認padding 為3，輸出特征大小計算為256 × 256；通過第一個池化層，核為3× 3，步長為2，默認padding為1，輸出特征計算大小為128× 128；通過RDCL 第二個卷積層，核為5× 5，步長為2，默認padding 為2，輸出特征大小計算為64 × 64；通過第二個池化層，核為3× 3，步長為2，默認padding為1，輸出特征計算大小為32 × 32。這個設計借鑒了MobileNet 網絡設計中輕量化的思想［23］，在網絡結構中摒棄了Pooling Layer 而直接采用Stride 為2進行卷積運算。

另外，此次研究選擇CReLU 激活函數［24］來減少輸出通道的數量。研究表明CNN 較低層中的濾波器會形成匹配對（濾波器具有相反的效應），網絡的底層接收冗余濾波器來提取輸入的正負相位信息的可能性，因此可以考慮采用適當的操作移除這些冗余濾波器。文獻［25］中提出了CReLU 結構，如圖4 所示，將激活函數的輸入額外做一次取反，等價于將輸入相位旋轉180°。這種策略可以看作在網絡中加入相位的先驗知識。這樣CReLU 可以通過在ReLU 之前簡單地Concat 否定的輸出來使輸出通道的數量加倍，再經過后面的池化層達到快速縮小輸入空間的目的。CReLU 的使用顯著提高了速度，而且精度基本不會下降，在本文的實驗部分進行了驗證。

圖4 CReLU內部結構Fig. 4 Internal structure of CReLU

2.2 多尺度卷積

MSCL 的設計源自對RPN［24］的理解，RPN 是一種多類別目標檢測場景中不依賴于類的卷積運算，如圖5 所示，RDCL結構通過BN 層以及不同卷積核的卷積分支組成，并通過ReLU 線性激活單元避免不同輸入尺寸人臉特征的梯度消失問題。

其次，Anchor相關層負責檢測一定尺度范圍內的人臉，但它只有一個單一的接受域，無法匹配不同尺度的人臉。針對以上問題，本文設計的MSCL 結構中將Anchor 離散到多個不同分辨率的層上，自然處理不同尺寸的人臉。并且通過Inception Modules 增加網絡寬度［26］，實現不同Anchor 層的輸出特征對應于不同大小的接受域，獲取不同尺度的人臉。表1是MSCL結構中部分網絡層的數值。

圖5 MSCL中的Inception結構Fig. 5 Inception structure in MSCL

表1 MSCL結構相關層參數Tab. 1 Parameters of the relevant layers in MSCL structure

2.3 訓練策略

2.3.1 Anchor 致密化策略

Anchor 致密化策略是為了解決不同尺度Anchor 之間存在密度不均勻導致的小面孔召回率［26］太低的問題。通過提出Anchor 致密化策略，在接受域中心均勻地平鋪一個數值為n2的Anchor，然后對不同尺度的Anchor 進行致密化，保證不同尺度的Anchor 在圖像上具有相同的密度［27］。本文定義錨的平鋪密度:

其中:Adensity是不同尺度Anchor對應的密度；Ascale是Anchor的尺寸；Ainterval是Anchor 的平鋪區間。默認錨的平鋪間隔分別為32、32、32、64 和128。例:如果Ainterval值取32，對應的密度分別為1、2、4、4 和4，對應密度的模擬圖致密化過程如圖6 所示（Anumber為致密后的量化單位）。顯然在不同尺度上Anchor 的密度不均衡。

2.3.2 中心損失策略

文獻［28］提出的中心損失函數在人臉識別任務中取得了非常好的效果。中心損失策略的基本思想是鼓勵網絡學習在擴大類間變化的同時最小化類內變化的判別特征。中心損失的公式為:其中:xi為輸入特征向量；cyi為第i 類中心，是一個特征矢量。在每次迭代中，中心都基于小批量更新，因此可以很容易地使用標準隨機梯度下降（Stochastic Gradient Descent，SGD）進行培訓。在人臉檢測任務中，只有兩個中心分別代表人臉和非人臉。本文研究的目的是最小化類內部的變化，需要注意的是中心損失應該與Softmax損失［29］一起優化。研究表明，中心損失在最大限度地減少類內變化方面是非常有效的，而Softmax 損失在最大限度地提高學習特征的類間變化方面具有一定的優勢。因此，采用中心損失和Softmax 損失相結合的方法來追求判別特征是非常合理的。

圖6 致密化過程模擬圖Fig. 6 Simulation of densification process

3 實驗與結果分析

3.1 數據集

實驗采用Wider Face 數據集作為訓練集，該數據集包含32 203 張圖片，共包含393 703 張人臉，分別在圖像尺度和人臉姿勢以及曝光度等方面表現出了大的變化。這對本文算法學習不同情境中的人臉特征來說十分有利。整個項目中測試集采用了FDDB 數據集，該數據集中包含2 845張圖片，共有5 171 張人臉，對于本文算法測試十分有說服力。同時，測試過程中本文從網上找來了包含200 張人臉的自組織數據集進行進一步驗證，該數據集內容主要涉及證件照、畢業照、行人照、生活照以及朋友圈里的人臉圖片，整個數據集相對復雜且更能體驗模型的泛化能力。

3.2 軟硬件環境

實驗的軟硬件環境為:人臉檢測模型的訓練采用五舟高性能計算集群（High Performance Computing，HPC），顯卡采用的是NVIDIA Tesla V100，算法的設計通過Darknet 框架實現；移動端測試使用的是芯片型號為rk3326 的嵌入式開發板，并使用墨子（深圳）人工智能技術有限公司提供小墨機器人（基于本文算法的產品）進行調試。

3.3 實驗結果與分析

使用YoLov3算法和本文算法FaceYoLo進行了對比實驗，過程中參考相關算法的實驗設計方案［12，16］，并選用YoLov3 不同的網絡結構分別做了實驗。實驗過程中也比較了移動端比較流行的MobileNet 算法，通過訓練兩者的算法模型并移植到準備好的開發板中測試。在模型的訓練過程中，每次實驗迭代次數設置為500 000，并且每5萬次保存一個模型。

表2 為不同算法在FDDB 數據集上的實驗結果。對比YoLov3 算法使用darknet19、darknet152 和darknet53 等網絡結構進行的模型測試結果可看出，darkent53 的模型質量更優。與MTCNN 和FaceBoxes 算法等其他對比算法的結果可看出，本文FaceYoLo 算法不僅保證了平均檢測精度為92.6%，而且檢測速度有了大幅度提高；比原始算法YoLov3使用darknet53網絡的組合，本文算法在精度上提高了2.1 個百分點，速度上提升至原來的8倍。

表2 不同算法在FDDB數據集上的實驗結果Tab. 2 Experimental results of different algorithms on FDDB dataset

表3 為驗證FaceYoLo 算法各個模塊進行的單一對照實驗，實驗為該算法依次去除RDCL、MSCL、Center Loss 以及Anchor 致密化模塊與原算法進行的對比結果。結果顯示，RDCL 結構對速度的提升影響顯著，MSCL 結構對平均檢測精度的影響較為顯著。

表4 是人臉評價指標實驗，通過驗證不同數據集一定數量人臉的正檢率和漏檢率測試模型的魯棒性。其中FDDB 測試集中共5 171 張人臉，正確檢測率達到92.6%，漏檢查率為4.8%，誤檢率為0.4%；另外隨機抽取的200 張自組織人臉數據集測試中，正確檢測率達到了96%，漏檢率為4%，誤檢率為0.99%。數據結果表明，FaceYoLo 模型不僅在標準數據集上可以達到良好的檢測質量，而且面對不確定的檢測對象依舊能夠保證良好的檢測性能，進一步驗證了模型的泛化能力和魯棒性。圖7是部分測試結果展示，前兩行是FDDB數據集的測試結果，最后一行是在網上挑選的三張比較經典的圖片對應的測試結果，從結果來看，模型的效果是不錯的。

表3 不同模塊的灼燒實驗結果對比Tab. 3 Comparison of experimental results of different burning modules

圖7 測試結果展示Fig. 7 Demonstration of test results

為驗證模型部署在移動端上的可行性，在人臉檢測APP中，用FaceYoLo 模型替換原始的MobileNet 模型，并完成了兩項實驗。移動端測試過程如下:首先隨機選定一張圖片放在本地，測試Android 應用在不同模型下返回人臉框的速度；其次，將實際攝像頭傳回來的幀送入模型，查看處理速度。圖8比較的是MobileNet 與FaceYoLo 算法分別在本地端和APP 端上的測試結果圖，對比結果顯示最終FaceYoLo 模型速度大約提升了1 倍左右。另外實驗中也比較了MobileNet 與其他算法的模型，其他模型在移動端的效果都次于它，所以之后只與MobileNet進行了比較。

實驗結果表明，FaceYoLo 算法檢測速度對于原始的YoLov3 算法從43 frame/s 提高到334 frame/s，同時訓練權重參數相對于YoLov3 算法減少至原來的1%，模型大小也從228 MB 減少至2.28 MB，平均檢測精度達到92.6%。在移動端測試中，將MobileNet 訓練出的模型和本設計算法的模型放到同一臺嵌入式設備中進行測試，從測試結果顯示，FaceYoLo算法的檢測速度接近MobileNet 速度的2 倍；與此同時，在安卓平臺下也進行了二次模型測試，安卓平臺下攝像頭端實時檢測人臉的速度也從5 frame/s 提升至10 frame/s，這對于移動端的開發來說是很大的進步。從整個實驗結果來看，新算法在保證高精度的情況下具備更快的檢測速度，可以很好地適用于移動平臺的人臉檢測任務。

圖8 移動平臺的測試結果Fig. 8 Test results on mobile platform

表4 人臉檢測評價指標實驗結果Tab. 4 Experimental results of face detection evaluation indexes

4 結語

本文通過對YoLov3 算法的研究，深入學習了YoLo 系列網絡的全連接層結構特點和Darknet 網絡技術。同時也深入分析了算法的網絡結構對模型產生的影響，例如采用不同尺寸的小卷積核可以實現類似Inception 結構的功能效果；比較BN 結構與Dropout［30］結構在卷積運算過程中提取特征信息的丟失情況；ResNet 跨層跳躍連接后輸出和輸入的特征可視化特點以及RDCL結構的步長選擇問題［31］。

但此次研究工作中也有一定的局限性，比如實驗中測試的硬件開發設備來自客戶公司提供的移動平臺，模型移植到其他不同硬件的Android設備上是否也滿足實時性要求，還缺乏更多的對比實驗。但是此次工作在Android 手機上測試了打包的APK 文件，檢測人臉的速度可以達到40 frame/s，基本可以滿足實時性要求。另外相對于一些專門的人臉檢測算法，如FaceBoxes［32］和MTCNN［33］來說，本文算法雖然在一定的內存、耗時等條件下展現了極強的速度優越性，但是在單純人臉的檢測精度上來看仍然需要提高，這也是后面工作中針對算法精度需要考慮解決的問題。