偏轉角度情況下MTCNN 人臉檢測算法改進*

楊玉潔 陳天星 石林坤 袁 標

（西南交通大學機械工程學院 成都 610031）

1 引言

隨著計算機視覺在行人檢測［1～2］，自動駕駛［3～4］和視頻跟蹤［5～6］等領域發展的廣泛應用，人臉檢測作為其中一個重要的分支也廣泛地應用于各種場景下，目前已產出了許多成果［7］，主要有Cascade R-CNN［8］、SAFD［9］、MTCNN［10］等算法。但目前將人臉檢測應用于實際場景時還有很多的局限性，如在遮擋［11］、大偏轉角度、復雜背景、低像素［12～13］等情況下人臉檢測識別效果不佳。

MTCNN（Multi-task Cascaded Convolutional Networks）即多任務卷積神經網絡，是由中科院深圳先進技術研究院2016 年發布的ECCV 論文［10］。該論文提出了一種在不受約束的環境中進行面部人臉框和關鍵點檢測與人臉對齊功能。它可以將人臉對齊與人臉檢測同時完成，相較于傳統算法，能較實用、性能更好地進行人臉檢測。但針對特定應用場景中大偏轉角度、低像素等問題，此算法的檢測性能會有所降低。

針對大偏轉角度檢測性能不佳的問題，本文提出了一種改進的MTCNN 算法，該算法能在提升原始MTCNN 算法檢測速率、檢測準確性的基礎上有針對性地提升人臉存在大偏轉角度的情況下的檢測準確度。改進后的算法可為將人臉檢測應用于復雜真實場景提供理論基礎。

2 理論基礎

MTCNN 的主要思路為級聯卷積神經網絡思想［14～15］，并使用多任務的形式訓練網絡參數，對人臉實現由簡到精的檢測的過程［16］。其網絡結構主要分為三部分，如圖1所示。

圖1 MTCNN網絡結構圖

1）P-Net（Proposal Network）12×12：獲取候選窗口框和邊界框的回歸向量，對候選窗口使用非極大值抑制（NMS），合并重疊度高的候選窗口。

2）R-Net（Refine Network）24×24：接收P-Net的輸出候選窗口，篩選舍棄大量錯誤的候選框，并進行微調。再次使用NMS合并重疊度高的候選窗口。

3）O-Net（Output-Network）48×48：與R-Net 功能類似，但更為精確地預測人臉位置，并輸出人臉關鍵框和五個面部關鍵點坐標。

由于P-Net 是一個全卷積神經網絡。并且原始圖片在輸入后經過圖像金字塔的放縮，從而實現了多尺度的人臉檢測。也因此網絡的結構較小，所以效率非常高，成為了工業界的人臉檢測主流算法［17］。

3 算法改進

3.1 DIoU-NMS

MTCNN 中使用三層網絡在傳入下一層網絡結構前均使用NMS（Non-Maximum Suppression）合并重復候選框。NMS為非極大值抑制，顧名思義就是通過抑制局部置信度不為最大值的候選框來實現局部最大值搜索以及相似候選框的合并。NMS 篩選候選框時先依據置信度得分對候選窗口進行排序，挑出置信度最高的候選框并計算其余候選框與此候選框的IoU（Intersection over Union）。通過刪除閾值nms_threshold 大于一定值的候選框來實現候選框的篩選，原論文中nms_threshold 分別設置為0.5、0.7、0.7。

MTCNN 原始論文中作者使用經典NMS 算法對候選框進行合并。但NMS 去除候選框時只選用置信度得分高低作為篩選依據而沒有將定位是否準確考慮入內，這樣可能會出現置信度高但位置信息不夠精確的候選框將置信度低但位置信息精確的候選框排除掉。經過不斷的迭代回歸，原本能夠準確定位的邊界框會偏離目標人臉實際所在位置。在有角度偏轉情況下，人臉中五官可能無法收集完整圖像信息，從而使定位框大幅度偏離原有位置，再將這些定位框輸入NMS 進行候選框篩選后得到的最終候選框將進一步偏離真實定位位置。為彌補上述缺點，本文使用DIoU-NMS［19］代替原論文中使用的NMS 算法。DIoU-NMS 在NMS 過程中使用DIoU的計算方法代替傳統IoU計算，不僅考慮兩個候選框的重合度，還將兩個候選框中心點的距離考慮在內，其計算公式如式（1）：

其中，RDIoU是兩個Box 中心點之間的距離，計算公式如式（2）：

其中，ρ(b，bgt)是b和bgt兩Box中心點之間的距離d，c是包含兩個Box的最小Box的對角線長度，如圖2 所示。由計算公式可知，DIoU-NMS 的核心思想是在NMS 的基礎上，不直接刪去IoU 較大的候選框，而是通過兩候選框的中心點距離進一步判斷是否為同一檢測目標的冗余框。在有角度偏轉情況下的人臉檢測中，人臉五官關鍵點通常有所缺失、遮擋，使用DIoU-NMS 可以在保證置信度高的同時最大程度地保留同一人臉檢測出的多個候選框中較為準確的位置信息。

圖2 DIoU計算示意圖

3.2 注意力機制

卷積神經網絡中，卷積核的計算是其核心計算。本文希望在卷積操作時可以在空間上和通道間進行更多的特征融合。但傳統通道間卷積操作默認對輸入特征圖的所有通道進行融合。SENet［20］網絡提出的SE（Squeeze-and-Excitation）模塊則對通道間的相關性進行學習，可以自動在卷積池化的過程中學習到特征圖中不同的通道重要程度，如圖3所示。

圖3 SE結構圖

SE 模塊主要操作分為Squeeze 和Excitation、Scale三個步驟：

1）Squeeze：對輸入的特征圖（h*w*c）進行全局池化操作得到1*1*c的特征圖，公式如下。在輸入數據的所有空間特征中，Squeeze 可以將數據的特定通道編碼為一個特定的全局特征。

2）Excitation：使用兩個全連接層和sigmod激活函數對Squeeze 操作的結果進行一個線性變換，得到特征圖不同通道間的權值，公式如式（4）：

其中z為Squeeze 操作獲取的全局特征描述，W1、W2為兩個全連接層，，r為縮放參數。

3）Scale：將得到的通道權重參數與原始特征圖進行二維矩陣相乘，將得到的結果輸出，公式如式（5）：

整個操作重新訓練了一個對各通道更為敏感的權重系數模型，從而實現了注意力機制。并且由于SE 模塊是輕量級的，具有易于集成的優點，可以直接應用于現有的網絡結構中。使用SE 模塊可以在只增加較少的計算量的前提下就獲得很大的性能提升。本文改進前后的P-Net網絡結構如圖4所示。

圖4 改進前后P-Net網絡結構圖對比

4 實驗與結果分析

4.1 數據預處理

為驗證上述改進方法使MTCNN在具有偏轉角度情況下的人臉檢測準確率和識別率方面有了較好的提升，本文設計了相關實驗進行驗證。

本文實驗以AFLW［21］數據集為基礎，對算法進行訓練與測試。AFLW（Annotated Facial Landmarks in the Wild）數據集是一個包括多姿態、多視角的大規模人臉數據庫。圖片中每張人臉標注了21 個關鍵點，由于是肉眼標記，其中不可見關鍵點不進行標記。此數據集因具有人臉姿態角度標示，被廣泛應用于頭部姿態估計及關鍵點定位領域。

AFLW 數據集中人臉偏轉角度標注標準為面向鏡頭左偏為正，右偏為負，使用弧度制計量。實驗之前，先提取數據集中人臉角度姿勢數據，將人臉圖像根據左右偏轉角度范圍進行分類。這樣便于逐個研究分析各角度范圍內人臉檢測識別率與準確率。

4.2 實驗環境

本算法實驗所在實驗環境為Ubuntu18.04，搭載Intel-Core i3-9300k 處理器，內存為16G，采用GeForce RTX2060 Super，顯存為8G，搭配CUDA、OpenCV 圖形庫，采用Pytorch1.2、Python3.6 進行代碼編譯。

4.3 實驗結果分析

在上述實驗設計中，通過將改進前后的算法應用于分類后的AFLW 數據集進行一系列實驗來驗證模型的可行性，以下是模型評價的相關指標：

1）交并比（IoU）

IoU是圖像分割與檢測領域的標準性能檢測指標。IoU分數可以檢測出該圖像的預測區域與真實標定區域之間的相似度。本文分別對比了各個角度算法改進前后的檢測結果，并計算其IoU，結果圖5所示。

圖5 算法改進前后各角度檢測IoU結果

其中每個角度算法改進前后未檢測出來的人臉占比如圖6所示。

圖6 算法改進前后漏檢人臉數占比

由圖五對比可知算法改進前后IoU 有所提升，證明將原始算法IoU 替換為DIoU 能使檢測框位置信息更為準確。且由圖六對比可知算法改進后漏檢人臉數有所減少，并且各個角度范圍人臉檢測結果都有了平穩的提升。

2）FPS

為驗證模型的檢測速度，常采用FPS 作為評價模型檢測速度的指標，其計算公式如式（6）：

其中NumFigures 為1s 內所檢測的圖像數量，Times為單位時間（1s）。本文將訓練前后的兩個模型一起在分類后的測試集做了測試，得到的檢測結果見表2。

表1 改進前后模型檢測速度對比結果

表2 改進前后模型大小對比結果

由表2 可知改進后模型在檢測準確率提升的同時，檢測速率也有所提升。

3）模型大小

改進前后MTCNN 算法模型大小對比如表2 所示。

由表3 可知，改進后算法模型大小未發生明顯改變。證明本文中所改進的算法沒有以增多計算量為代價提升檢測速率以及檢測正確率。

5 結語

針對人臉有角度偏轉情況下人臉檢測準確率低的問題，本文提出了一種基于MTCNN 人臉檢測算法的改進人臉檢測算法。該算法將原有MTCNN中NMS改為DIoU-NMS，此舉可以在人臉有偏轉角度導致五官關鍵點遮擋、丟失等情況下仍能保留得分高且位置信息準確的候選框。此外，本文還引進了SE 注意力機制。SE 注意力機制可以有效地提高對正樣本的信息篩選能力，實現層級間信息利用的最大化。將改進前后算法應用于按角度分類后的AFLW 人臉檢測數據集進行人臉檢測。實驗結果表明：改進后的算法各方面檢測指標均優于原始MTCNN 算法。尤其在大偏轉角度情況下，仍有較好的檢測召回率以及檢測準確率。改進后的算法為將人臉檢測應用于人臉具有大偏轉角度的真實場景提供了理論依據。