基于多尺度目標檢測的人群計數深度方法與系統設計

賈奇麟 段其微 徐 源

(南京郵電大學，江蘇 南京 210023)

1 概述

人臉檢測是自動人臉識別系統中的一個關鍵環節。今天，人臉檢測的應用背景已經遠遠超出了人臉識別系統的范疇，在基于內容的檢索、數字視頻處理、視頻檢測等方面有著重要的應用價值。本文提出一種基于深度學習目標檢測的人群計數方法，使用YOLO 目標檢測框架并針對人臉檢測做出改進，改進后的框架能夠較好地檢測大視域下的人臉。在實際應用中，能夠在員工考勤簽到、智慧超市、機場實名認證、走失人員檢測等場景中得以利用。

2 目標檢測算法論述

近年來，目標檢測因其廣泛的應用和近年來的技術突破而受到越來越多的關注。這項任務在學術界和現實世界的應用中都得到了廣泛的研究，如監控安全、自動駕駛、交通監控、無人機場景分析和機器人視覺等[1]。目前，深度學習模型已廣泛應用于計算機視覺的整個領域，包括通用目標檢測和特定領域目標檢測。目標檢測是一種與計算機視覺和圖像處理相關的計算機技術，用于檢測數字圖像和視頻中某一類語義對象(如人、建筑物或汽車)的實例。

現有的圖像目標檢測其通常可以被分為兩類：一類是two-stage 檢測器，最具代表性的是Faster R-CNN[2]。另一類是one-stage 檢 測 器，如YOLO[3]、SSD[4]。two-stage 檢測器具有較高的定位和目標識別精度，而one-stage 檢測器具有較高的推理速度。two-stage 檢測器可以按照ROI 池化層來劃分為two-stage。此外，one-stage 檢測器直接從輸入圖像中提出預測框，不需要區域建議步長，因此具有時間效率，可用于實時設備。

FasterRCNN 網絡的主要結構由四個部分組成：(1)CNN(卷積神經網絡)：特征提取層，通過特征提取層提取特征向量，(可以使用VGG16，Resnet101 等網絡結構)，生成固定大小的特征圖。(2)RPN(區域建議網絡)：使用小的卷積神經網絡(如3x3 小卷積核)，在特征圖上進行滑動，在每個滑動位置上，將會接兩個FC 層(也可以使用全卷積網絡)，一個用于分類(分析是分類物體的概率和不是物體的概率)，一個用于回歸物體位置的坐標。(3)建議區域在feature map 上的映射：除了每個維度上特征圖的個數，還需要計算每一層的感受野大小，因此我們需要了解每一層的額外信息，包括當前感受野的尺寸，相鄰特征之間的距離，起始特征的中心坐標，其中特征的中心坐標定義為其感受野的中心坐標。(4)ROI pooling 層：就是單層的SPP-Net,負責將不定大小的向量處理為固定大小的向量。

SSD(Single Shot MultiBox Detection)是單階段多類別目標檢測算法網絡，具有不錯的檢測精度與速度，但小目標檢測效果中并不很理想。SSD 網絡結構主要分為兩部分，一部分是VGGNet16 特征提取網絡，提取圖片目標的特征信息得到特征圖(feature map)，另一部分是分類回歸層，對每個候選框進行分類與回歸，識別檢測出圖像目標。

3 一種多尺度人臉檢測方法

本文提出了一種基于YOLOv4 結構的人臉檢測算法，首先清洗人臉數據集，然后將Widerface 數據集輸入至網絡進行訓練，得到該數據集對應的PTH 文件，然后對置信度等參數作適當的修改，最后輸入一張全新的圖片進行驗證。

YOLOv4 網絡的結構如圖1 所示。其主要由主干特征提取網絡CSPDarknet53、特征金字塔SPP[5]、路徑聚合網絡PANet 等構成。

圖1 YOLOv4 的結構

主干特征提取網絡CSPDarknet53：設計出CSPDarknet53 的目的是最大化梯度聯合的差異。其使用梯度流截斷的手段避免不同的層學習到重復的梯度信息。得出的結論是，如果能夠有效的減少重復的梯度學習，那么網絡的學習能力能夠大大提升。Darknet53 由一系列殘差網絡結構構成。在Darknet53 中，其存在resblock_body 模塊，其由一次下采樣和多次殘差結構的堆疊構成，Darknet53 便是由resblock_body 模塊組合而成。而在YOLOV4 中，其對該部分進行了一定的修改。

其一是將DarknetConv2D 的激活函數由LeakyReLU 修改成了 Mish， 卷 積 塊 由 DarknetConv2D_BN_Leaky 變 成 了DarknetConv2D_BN_Mish。Mish 函數的公式如下：

其二是將resblock_body 的結構進行修改，使用了CSPNet結 構。 此 時 YOLOV4 當 中 的 Darknet53 被 修 改 成 了CSPDarknet53。

特征金字塔SPP：在SPP 之前，所有神經網絡都是要輸入固定尺寸的圖片，比如經常遇到的224×224，圖片輸入網絡前都要調整到224×224，導致圖片變形，其中的信息也變形了，從而限制了識別精度。而SPP 就是為了解決這個問題，它可以讓網絡輸入原圖而不必調整，有利于多尺度目標的檢測和識別。

PANet：其優點主要有三個方面。第一，從底到上的路徑增強。當圖像經過神經網絡的各個層時，特征的復雜度增加，同時圖像的空間分辨率降低。因此，像素級mask 無法通過高層次的特征準確的識別。第二，自適應特征池化。以前使用的技術，如Mask-RCNN 使用單一階段的特征來做mask 預測。如果感興趣區域較大，則使用ROI Align Pooling 從較高層次提取特征。雖然相當準確，但這仍然可能導致不希望的結果，因為有時兩個proposals 只有10 像素的差異，但是分配到了兩個不同的層，而實際上它們是非常相似的proposals。為了避免這種情況，PANet使用來自所有層的特征，并讓網絡決定哪些是有用的。對每個特征圖進行ROI 對齊操作，提取目標的特征。接下來是元素級的最大融合操作，以使網絡適配新的特征。第三，全連接融合。在Mask-RCNN 中，使用FCN 來代替全連接層，因為它保留了空間信息，減少了網絡中的參數數量。然而，由于所有空間位置的參數都是共享的，模型實際上并沒有學會如何使用像素位置來進行預測，默認情況下，它會在圖像的頂部顯示天空，在底部顯示道路。另一方面，全連接層是位置敏感的，可以適應不同的空間位置。PANet 使用來自這兩層的信息來提供更準確的mask 預測。

對于widerface 數據集作適于多尺度的清洗，由于部分過小的人臉分辨率較低，訓練效果較差，因此盡可能地保留了較為清晰的人臉圖片作為訓練數據集。

由于YOLOv4 網絡的默認識別類型有很多，并且不包括人臉，因此本項目做了人臉方面的改進。首先，在類別文件中增加“Face”類別，刪除其他類別；然后用清洗好的人臉數據集進行訓練。

4 實驗結果分析

項目開發環境為VSCode 鏈接Anaconda 平臺，采用Python語言配合Pytorch 庫編寫代碼。將清洗好的數據集輸入至該網絡，經過若干次迭代訓練后，Logs 目錄下會生成一個PTH 文件，其中存儲了相關權重參數。隨后，使用該權重進行預測，預測結果如圖2 所示。

圖2 預測結果示例

5 結論與展望

本文詳細介紹了一種多尺度人臉識別的算法并進行了實驗驗證，證明了該算法的魯棒性以及高效性。該方法可應用于人工智能系統、車輛輔助駕駛系統、智能機器人、智能視頻監控、人臉表情分析、智能交通等領域，解決實際問題。

本算法的關鍵技術改進點：

(1)使用Mish 激活函數代替LeakyReLU。(2)采用了特征金字塔SPP 結構。(3)對于多尺度的人臉能夠自適應地進行訓練和檢測。

通過以上改進，提高了算法的執行效率，同時提高了對于多尺度人臉檢測的精度，能適用于多種復雜的場景，保證人臉檢測的正確性。

針對本文的研究內容，由于時間及能力的局限性，還需要以下的完善：(1)由于訓練用的數據集中去除了部分分辨率較低的人臉，因此對于模糊人臉的檢測還需深入研究。(2)本論文僅實現了相關的算法，并針對人臉進行的初步的優化，對于檢測精度及速度仍需深入的優化和改進。