基于改進YOLOv4-tiny的輕量化室內人員目標檢測算法

趙 鳳 李永恒 李 晶 劉漢強

①(西安郵電大學通信與信息工程學院 西安 710121)

②(陜西師范大學計算機科學學院 西安 710119)

1 引言

電力機房作為企業最重要的場所之一，機房內的設備受到破壞、丟竊等問題會對企業造成難以想象的損失。視頻監控系統因其畫面直觀、查看便利和內容多樣的優點而得到廣泛應用。然而，這種傳統的視頻監控系統需要工作人員監控查看，不僅浪費人力資源，而且會產生關鍵信息未及時捕獲的情況。因此，將計算機視覺用于室內場景的人員目標檢測，使其自動分析視頻，實現智能檢測具有非常重要的應用價值。

近年來，深度學習在目標檢測領域取得飛速發展，基于深度學習的目標檢測算法分為兩類：兩階段法(two-stage)和單階段法(one-stage)。兩階段法以R-C N N(R e g i o n s w i t h C o N v o l u t i o n a l Network)[1]為代表，其先使用區域建議提取候選框的信息，然后再對提取的候選框進行分類和回歸得到檢測結果。單階段法代表算法有YOLO(You Only Look Once)[2], SSD(Single Shot multibox Detector)[3], EfficientDet[4]，它們將目標檢測看作回歸問題，直接從圖片中獲得物體的類別和位置信息。兩階段法的優點是精度高，但是算法實時性差且依賴高性能硬件。單階段法在速度上取得優勢，但是在檢測精度上不及兩階段法。

在室內人員目標檢測領域，為了提高人員檢測的準確率，Liu等人[5]提出漸近定位擬合網絡(Asymptotic Localization Fitting Network,ALFNet)，提升行人檢測的準確率。2020年張明偉等人[6]提出一種DE-YOLO的室內人員檢測方法，通過結合密集連接卷積網絡(Dense convolutional Network, DenseNet)與YOLOv3來構建網絡結構。2021年董小偉等人[7]將多尺度加權特征融合的方法應用于地鐵環境中的人員檢測，取得了較好的性能。2021年蘇楊等人[8]使用輕量化的卷積神經網絡MobileNet作為特征提取網絡用來實現輕量化深度學習的機房人員檢測，實現了實時檢測的功能。2021年Wang等人[9]在YOLOv4[10]基礎上使用模型縮放的方法提出一種為低端GPU設備設計的YOLOv4-tiny網絡，該方法能夠有效提高檢測速度，但是精度下降較多。

上述的檢測算法往往需要高算力GPU加速才能獲得好的精度和速度。然而在實際應用中，由于設備性能受限，直接使用通用檢測算法將無法達到實際應用需求。因此，為了能夠在性能受限設備上實現檢測算法的部署，并在準確率和檢測速度上取得均衡提升。本文以YOLOv4-tiny網絡為基礎，在以下3個方面進行改進：(1)使用輕量化的Ghost卷積[11]模塊設計特征提取主干網絡，然后結合基于通道混洗機制[12]的深度可分離卷積進一步精簡模型；(2)在特征提取主干網絡部分通過添加多尺度的空洞卷積[13]來獲得更大感受野的特征；(3)在特征融合部分結合改進的空洞空間金字塔池化[14]和包含空間信息的注意力機制[15]實現提取到的特征充分融合，從而提升檢測效果。最后，在多個數據集和多個測試平臺來測試本文所提算法性能。結果表明，本文算法在多個測試平臺上取得了在準確率和輕量化上的最佳平衡。

2 相關網絡與模塊

2.1 YOLOv4-tiny算法

YOLOv4-tiny網絡主要由特征提取主干(Backbone)網絡、特征融合頸部(Neck)網絡和檢測頭部(Head)3部分組成。特征提取主干網絡主要由普通卷積、跨階段連接(Cross Stage Partial, CSP)和最大池化組成，其作用是將輸入圖像進行降采樣并提取目標特征。特征融合部分使用特征金字塔(Feature Pyramid Networks, FPN)結構將兩個不同尺度的特征進行融合。檢測頭部分輸出大小分別為13×13×n×(5+N) , 2 6×26×n×(5+N)，其中n為每個網格中的錨框個數，取值為3。5表示目標的位置信息 (x,y,w,h)以及置信度(Confidence)，N為類別數。以只檢測人員為例，N=1，輸出的預測頭尺度大小為 13×13×18 和2 6×26×18。最終每張圖片輸出( 13×13+26×26)×3共計2535個預測框，通過每個預測框置信度和非極大值抑制(Non Maximum Suppression, NMS)算法舍棄置信度低的預測框，得到最終檢測結果。

2.2 Ghost卷積介紹

2020年Han等人[11]發現訓練好的神經網絡中包含冗余的特征圖，其作用通常是對數據有更加全面的理解。普通卷積通過增多通道數來生成特征圖，但是會增加計算成本，因此Han等人提出Ghost卷積生成更多特征圖，如圖1所示。Ghost卷積主要分為兩個步驟，第1步使用標準的卷積操作生成本源特征圖，第2步基于生成的本源特征圖使用簡單的線性操作生成幻影特征。之后將生成的幻影特征與本源特征合并可得最終的輸出特征圖。在輸入輸出特征圖大小不變情況下，Ghost卷積可以顯著降低參數和計算量。

圖1 Ghost卷積

3 改進YOLOv4-tiny的輕量化室內人員檢測網絡

本文在YOLOv4-tiny目標檢測框架基礎上，對特征提取主干網絡、特征融合頸部網絡以及檢測頭部分進行改進，從而實現網絡模型的輕量化設計，網絡結構如圖2所示。特征提取主干網絡使用了Ghost卷積模塊(ghost block)，通過少量的卷積操作生成特征圖，同時使用線性變換的方式生成更多的Ghost特征圖，顯著降低了特征提取網絡的參數量和計算量。此外，在特征提取網絡部分還引入多尺度感受野的空洞卷積模塊(dilated conv block)，通過增大卷積模塊的感受野使得網絡模型感知到更大范圍的上下文特征信息而不引入過多的參數量。同時，受到ShuffleNet[12]中通道混洗機制(channel shuffle)的啟發，本文將特征提取網絡部分的普通卷積操作替換為帶有通道混洗機制的深度可分離卷積，即卷積+批歸一化+Leaky ReLU+通道混洗(Convolutional Batch normalization Leaky ReLU Channel Shuffle, CBLCS)。在降低參數量的同時，還可以對提取到的特征進行信息重組，以實現特征信息在不同組之間進行交互，從而使網絡模型提取的特征更具有代表性和判別性。特征融合網絡部分使用了改進的空洞空間金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)[14]模塊和包含位置信息的注意力機制(Coordinate Attention, CA)[15]，在獲得多尺度特征感受野的同時，使得兩個模塊的輸出特征進行更有效的融合。

圖2 改進YOLOv4-tiny的輕量化室內人員檢測網絡結構圖

3.1 基于Ghost卷積的特征提取主干網絡設計

YOLOv4-tiny使用CSP結構對深層特征進行提取，該結構一部分直接與輸出進行連接，另一部分通過多個重復的卷積操作，從而實現有效特征提取。從參數量上分析，該結構存在大量參數，具有很大的優化空間。因此本文使用Ghost卷積來設計特征提取主干網絡，如圖3所示。由倒置殘差結構[16]可知，通道數越少特征提取能力越弱。因此本文構建的網絡由4個Ghost卷積疊加組成，使用Ghost卷積1作為擴展層，用來增加輸出特征的通道數量，Ghost卷積2作為壓縮層，用來恢復輸出通道的特征數量，通過對通道進行先升維再降維能夠提取到更多的特征信息。然后借鑒殘差網絡的思想，將輸入與兩個Ghost卷積模塊的輸出進行合并連接，合并后的特征經過Ghost卷積3進一步增加輸出特征的數量。YOLOv4-tiny使用池化進行降尺寸操作，池化在深層特征豐富的網絡中可行，但是在特征較少的網絡中會損失特征信息。因此本文使用卷積核大小3×3, stride=2的跨步深度卷積來降低尺寸，同時也能提取到更深層次的特征信息。使用Ghost卷積4對輸出特征數量進行恢復，之后與Ghost卷積2提取到的特征層進行連接，最后使用1 ×1卷積調整輸出通道數。本文通過堆疊多個Ghost卷積來提取特征信息，可以在減少網絡參數的同時，仍然有較強的特征提取能力。

圖3 Ghost 卷積特征提取網絡模塊

3.2 多尺度空洞卷積融合模塊

卷積神經網絡中淺層的特征圖包含更多的目標位置信息，但淺層特征圖的感受野較小，因此在淺層特征提取前增加感受野至關重要。為了擴大淺層特征感受野，本文在淺層特征提取部分加入多尺度空洞卷積融合模塊，如圖4所示。空洞卷積通過設置不同的擴張率可以獲得多尺度的感受野，這比普通卷積挖掘的特征信息更豐富。使用單一擴張率的空洞卷積只關注某一部分的信息，會使局部的信息丟失，因此本文所設計的多尺度融合模塊首先經過卷積核大小為 3 ×3 ， 擴張率為D=2的空洞卷積，然后并聯兩個擴張率分別為D=3和D=4的空洞卷積，所獲得的感受野大小由原始的3 × 3分別增加到13 × 13與15 × 15。將3組不同尺度感受野的特征進行融合，之后參考殘差網絡結構將輸入與輸出進一步融合，從而獲得更多特征細節，提升網絡的特征表達能力。

圖4 多尺度空洞卷積融合模塊結構圖

3.3 基于通道混洗機制的深度可分離卷積模塊

在YOLOv4-tiny中，使用普通卷積對輸入圖像進行特征提取并降低圖像分辨率。為了降低網絡參數量同時提高網絡特征提取能力，本文將其中的普通卷積更換為深度可分離卷積，此外還對輸出的特征在通道維度上添加通道混洗操作，這可以提高網絡中的信息流通，從而增加特征的表達能力。圖5為本文提出的基于通道混洗機制的深度可分離卷積模塊。其中，通道混洗操作將輸出特征分為3組進行隨機重新排列以實現信息交互，從而使輸出特征更加豐富。

圖5 基于通道混洗機制的深度可分離卷積模塊

3.4 改進的空洞空間金字塔池化特征融合模塊

YOLOv4-tiny舍棄了YOLOv4中提高上下文特征表達融合能力所采用的空間金字塔池化(Spatial Pyramid Pooling, SPP)[17]結構，造成一定精度下降。因此，本文采用不同擴張率的空洞卷積構建空洞空間金字塔池化ASPP結構，如圖6所示。其思想為使用空洞卷積實現感受野的增大和不同感受野特征圖的融合。但是，直接進行通道堆疊會產生冗余重復特征，因此本文在特征堆疊的頂部為每一個空洞卷積后添加DropBlock[18]操作，DropBlock是一種避免過擬合的正則化方法，該操作會將某一層特征圖的一部分相鄰區域丟棄，從而網絡必須從其他特征圖中來擬合特征，因此表現出更好的泛化性能。最后將融合后的特征使用1 ×1卷積改變輸出通道數目。本文將改進的ASPP放置于含有位置信息的注意力機制后，對注意力機制提取到的特征使用不同擴張率的空洞卷積進行特征提取和融合，以獲得更多的細節特征。

圖6 改進的ASPP結構

3.5 包含位置信息的注意力機制

為了更加精準地提取感興趣區域特征，本文在特征融合網絡中添加了輕量化的注意力機制，如圖7所示。該模塊分為兩個部分：坐標信息嵌入(coordinate information embedding)與坐標注意力生成(coordinate attention generation)。坐標信息嵌入模塊對輸入特征圖使用水平和垂直方向上的1維全局平均池化，將特征聚合為兩個獨立方向感知的特征圖。這兩個特征圖包含空間方向上的長期依賴關系和精準位置信息，從而實現更加有效的目標定位。坐標注意力生成模塊將兩個獨立方向感知的特征圖進行拼接，首先使用1 ×1卷積生成包含兩個方向的中間特征圖，然后沿不同維度方向對特征圖進行拆分，之后使用1 ×1卷積對各個通道進行調整，使用Sigmoid激活函數得到兩個不同方向特征權重信息，其與輸入的特征圖相乘即可得到包含注意力信息的特征圖。本文將輕量化注意力機制添加到特征提取主干網絡的兩個輸出部分，以及添加在兩個不同尺度的特征融合部分之后，實現目標感興趣區域的注意力權重調整。

圖7 Coordinate Attention模塊結構圖

4 實驗結果與分析

4.1 數據集介紹

本文使用PASCAL VOC Person(The Pascal Visual Object Classes)數據集[19]、INRIA數據集(INRIA person dataset)[20]、CUHK Occlusion數據集(CUHK Occlusion dataset for pedestrian detection)[21]和針對機房環境的自建數據集對所提算法進行驗證。

(1)PASCAL VOC Person數據集：為目標檢測領域的常用數據集，數據集目標尺度變化大，因此需要算法有強檢測能力。本文抽取PASCAL VOC 2007+2012數據集Person類作為數據集，其中訓練集9583張，測試集5138張；(2)INRIA數據集：Dalal等人[20]提出的一個行人檢測數據集，該數據集人員動作多樣且場景光線及地點各不相同。訓練集包含正樣本614張，負樣本1218張。測試集包含正樣本288張，負樣本453張；(3)CUHK Occlusion數據集：為香港中文大學所提遮擋類型的行人檢測數據集，主要用于擁擠環境遮擋人員檢測。數據來源為多個公開的行人檢測數據集和日常生活中1063幅被遮擋的行人圖像，存在環境復雜、人員遮擋和目標人員較小等情況；(4)機房環境自建數據集：本文基于某公司室內安保監控和小型機房環境兩個真實場景，在不同時間及光照情況下采集非連續幀圖像共計6180張，使用LabelImg標記圖像中的人員位置信息。分為訓練集4357張，測試集1823張，用來驗證算法在真實環境下的性能。

4.2 評價指標

實驗采用精確率(Precision, P)、召回率(Recall, R)、平均精度均值(mean Average Precision, mAP)[19]作為網絡精度的評價指標。mAP為所有類別AP均值，通常作為評估精度的綜合指標，本文檢測目標僅人員一類，mAP等于AP。除此之外，本文使用每秒幀率(frames per second,fps)、幀照片推理耗時、參數量(Params)、浮點型計算量(FLoating Point Operations, FLOPs)及模型體積來評估模型的輕量化程度。

4.3 實驗設置

實驗訓練環境硬件配置為i5 10400F CPU,NVIDIA RTX 2070SUPER GPU，內存16 GB主機，軟件配置為Windows10, Python 3.6, Pytorch 1.2。為了驗證算法在不同設備上的性能，本文在4個設備上進行算法的實時性測試。設備1為上述訓練環境設備。設備2為i5-8250U CPU，內存8 GB平板電腦。設備3為NVIDIA JETSON XAVIER NX嵌入式設備， ARM V8.2架構CPU, NVIDIA Volta架構GPU，內存8 GB。設備4為NVIDIA JETSON NANO嵌入式設備，Cortex-A57 CPU、內存4 GB。

實驗采取梯度下降法進行訓練，使用Adam(Adaptive momentum estimation)優化器，初始學習率為10–4，使用余弦退火衰減(Cosine Annealing LR)調整學習率。訓練PASCAL VOC Person數據集時設置訓練輪次為2000。而在訓練其他數據集時，因為網絡結構沒有變化，僅數據集發生改變，因此本文直接載入PASCAL VOC Person的模型權重，用來加速模型訓練，訓練輪次設置為500，其余設置保持不變。

4.4 實驗結果分析

4.4.1 模塊參數驗證

本文多尺度空洞卷積模塊和改進的空洞空間金字塔池化模塊中均包含3個不同擴張率的空洞卷積。擴張率的不同取值會影響網絡精度。因此本節實驗比較不同擴張率取值對網絡性能的影響，使用PASCAL VOC Person數據集作為測試數據集，實驗結果如表1所示。通過設置多組不同的擴張率進行實驗。實驗結果表明，使用3個不同擴張率的精度指標優于使用3個相同擴張率的精度。同時，擴張率取值太大或太小都會影響精度指標。因此，本文在比較精度指標mAP的基礎上，在多尺度空洞卷積融合模塊中擴張率取值為[2,3,4]，空洞空間金字塔池化特征融合模塊中擴張率為[3,6,9]。

表1 不同擴張率下實驗結果

4.4.2 模塊驗證實驗

本文使用以下5個模型驗證每個模塊對網絡的提升效果。添加的5個模塊分別為：Ghost卷積特征提取模塊(ghost block)、通道混洗的深度可分離卷積(BLCS)、空洞空間金字塔池化(ASPP)、包含位置信息的注意力機制(CA)和多尺度空洞卷積融合模塊(dilated conv block)。使用PASCAL VOC Person數據集進行實驗，實驗結果如表2所示。可以看出，通過添加所設計的模塊，在參數量及FLOPs略有增加的情況下，召回率從57.92%提升至80.43%，綜合指標mAP從75.28%提升至82.93%。

表2 模塊驗證結果

4.4.3 多場景算法精度對比分析

為了驗證本文算法的泛化性能，本文使用4個不同場景的數據集進行驗證，實驗結果如表3所示。通過對比4個不同數據集上的精度指標，可以發現本文所提算法在不同數據集的大部分場景中精度指標也優于YOLOv4-tiny網絡。

表3 多個數據集下檢測效果對比(%)

圖8為YOLOv4-tiny與本文算法在4個數據集中室內場景的檢測效果對比。對比圖8(a1)—圖8(a4)與圖8(b1)—圖8(b4)可以看出，本文算法在場景人數較少時無漏檢、誤檢的情況發生。對比圖8(a5)—圖8(a7)與圖8(b5)—圖8(b7)檢測結果可以發現在人數較多的場景中本文算法也能得到更好的檢測效果。同時，對于存在遮擋和小目標的人員檢測也優于YOLOv4-tiny網絡。對比圖8(a8)—圖8(a10)與圖8(b8)—圖8(b10)機房數據集的檢測結果發現，實際場景中存在的人員遮擋、目標與背景相似的情況，本文算法也能實現精準檢測。

圖8 YOLOv4-tiny與本文算法在不同場景下檢測效果對比圖

4.4.4 不同網絡模型對比分析

為了驗證本文算法的整體性能，本文使用多個目標檢測網絡在PASCAL VOC Person數據集上對網絡的參數量、計算量、模型體積和模型精度進行對比分析，實驗結果如表4所示。首先，相比于通用目標檢測網絡，本文算法在損失極小精度的情況下，參數量、FLOPs、模型體積大幅度降低。例如，與精度最佳的Y O L O v 4 相比參數量減少97.4%，FLOPs減少95.2%，模型體積減少97.7%。其次，與輕量化網絡模型相比，本文算法具有競爭性的精度指標，同時參數量、FLOPs、模型體積均優于對比算法。例如，與輕量化網絡YOLOv4-tiny相比，參數量減少72.8%，FLOPs減少57.4%，模型體積減少71.6%，精度指標mAP提升8.3%。特別是，與基于YOLOv4進行改進的輕量化網絡相比，對比算法使用3個檢測頭進行預測任務，因此產生多于本文算法1倍的候選框，但其精度提升效果并不明顯。本文算法在精度與最優輕量化網絡算法相差0.17%的情況下，在輕量化指標均達到最優。

表4 不同網絡模型結果對比

4.4.5 不同網絡模型推理速度對比分析

本文在4個不同性能設備上驗證各個算法的推理速度，實驗結果如表5所示。實驗結果表明，在不同性能的設備上，本文所提算法的推理速度達到最優。與通用目標檢測算法YOLO v4相比，本文所提算法在4個設備中的fps分別提升79, 8.99,21.83, 14.55，推理耗時分別減少了74.9%, 99.7%,80.8%, 90.9%。與輕量化目標檢測算法YOLOv4-tiny相比，fps分別提升4, 5, 3, 3.53，推理耗時分別減少了3.8%, 53.8%, 7.5%, 22.5%。可以看出，本文算法在4個平臺推理速度均優于其他檢測網絡。

表5 不同性能設備推理速度對比

4.4.6 輕量化網絡模型在多場景下綜合指標分析

為了能夠對比所提算法的綜合性能，本節分別將輕量化網絡在4個數據集下的精度指標mAP與算法參數量、計算量、模型體積及基于GPU加速的fps進行對比，實驗如圖9所示。紅色標記點代表本文算法，可以看出，本文算法在輕量化指標上均達到最優，同時在4個數據集的精度指標也處于領先地位，在INRIA數據集、CUHK Occlusion 數據集中達到最優。此外，本文對4個數據集的mAP指標進行平均統計，本文算法達到最優。綜合對比發現，在輕量化網絡結構中，本文所提算法具有很大優勢。

5 結束語

電力機房場景的人員檢測具有實際的研究和應用價值，本文以YOLOv4-tiny為基準網絡，提出了一種輕量化的人員檢測網絡。首先，通過改進的Ghost卷積模塊和多尺度感受野的空洞卷積模塊來構建特征提取主干網絡以捕獲豐富的特征信息。其次，采用基于通道混洗機制的深度可分離卷積模塊進一步實現輕量化設計。最后，通過在特征融合部分添加空洞空間金字塔池化模塊和包含位置信息的注意力機制從而使得網絡達到最優。實驗結果表明，本文算法在實現輕量化結構設計的同時，在多個數據集上算法指標也優于YOLOv4-tiny網絡。此外，在多個設備上的結果表明本文所提算法的實時性優于其他網絡。因此，本文算法在嵌入式設備上

更具有優勢。下一步的研究工作將對現有的特征提取結構進行優化設計，從而提高精度。之后對模型進行壓縮和量化，使所提網絡更適合部署于資源有限的嵌入式設備平臺。