基于改進YOLOv4的無人機目標檢測方法

田 港， 張 鵬， 鄒金霖， 趙曉林

(空軍工程大學裝備管理與無人機工程學院，西安， 710051)

目標檢測已經在車輛檢測、人臉檢測、自動駕駛、安全系統等領域廣泛應用并發揮著重要的作用。相比于傳統檢測方法，基于深度學習的檢測模型具有檢測精度高、速度快等優點。基于深度學習的檢測模型有one-stage和two-stage兩種：one-stage檢測模型主要有YOLO[1]、SSD[2]、DSSD[3]等模型，其核心是基于回歸的思想，不需要使用區域候選網絡，可以直接經主干網絡預測出軍事目標類別、位置；以two-stage檢測模型為代表的有R-CNN[4]、SPP-Net[5]、Fast R-CNN[6]、Faster R-CNN[7]、Mask R-CNN[8]等模型，其基本思想是通過卷積神經網絡對圖像進行特征提取，然后經過區域候選網絡生成候選框，再經過“摳圖”和進一步的特征表示，最后就可以通過分類和回歸得到軍事目標的類別和位置。two-stage系列因其繁瑣的檢測過程導致檢測速度遠不能滿足實時性的要求。

近年來，目標檢測在戰場感知中的地位愈加突出。基于無人機平臺的目標檢測具有視野大、監測范圍廣等優點，但由于載重、能耗等方面的限制，無人機平臺能夠搭載的存儲和算力是有限的。因此，一般檢測模型在無人機上直接部署時會面臨模型占用內存大、實時性差的問題。因此，在保證檢測精度的前提下有效解決上述問題，能夠有效提升無人機偵察的檢測速度，有助于戰場指揮員或機載系統及時全面分析戰場形勢，做出更合理的決策。

YOLO作為one-stage檢測模型中的經典模型，較好地兼顧了檢測精度和速度，因此應用較為廣泛。本文以YOLOv4[9]檢測模型作為主模型，在保證檢測精度的情況下，首先，將三尺度檢測模型改進為雙尺度檢測模型。其次，對雙尺度檢測模型進行了通道裁剪。實驗表明，兩種改進方法均達到了減小模型內存占用，提升檢測速度的目的。

1 YOLOv4模型

YOLOv4是Alexey等人提出的一種目標檢測模型，該模型結構如圖1所示，由CSPDarknet53、SPP、PANet、YOLO Head模塊組成。其目標檢測過程共分為4步：①圖像輸入；②特征提取；③特征融合；④結果預測。圖像輸入模型后，主干網絡CSPDarknet53對輸入圖像進行特征提取，由圖1可知CSPDarknet53一共有5個大殘差塊，最后一個大殘差塊的輸出經3次卷積后輸入SPP模塊，SPP模塊對輸入進行最大池化操作。池化的結果經過拼接和卷積處理后送入PANet模塊，第3和第4個大殘差塊的輸出也分別經過一次卷積送入PANet。PANet是一個特征融合模塊，它可以將輸入的3個不同尺寸特征圖進行卷積及上采樣或下采樣操作后進行特征融合，使得不同層的特征通過采樣后融合成高層特征，增強特征的表達能力。PANet將融合后的結果輸入給YOLO Head，進行預測輸出。YOLOv4采用了多尺度輸出，分別輸出52×52，26×26，13×13這3種尺度的特征圖到檢測層中。每個cell會預測出3個bounding box，每個bounding box都有自己的位置信息以及置信度，最終通過閾值來保留較為準確的預測框。

圖1 YOLOv4檢測模型

YOLOv4的損失函數是基于YOLOv3的損失函數得到的，不同的是YOLOv4使用了CIOU(complete intersection over union)誤差，這使得模型預測框的回歸速度更快、檢測精度更高。YOLOv4損失函數見式(1)：

Loss=Lloc+Lcls+Lconf

(1)

式中：Lloc表示預測框的回歸誤差；Lcls表示分類誤差；Lconf表示置信度誤差。

2 YOLOv4模型改進

2.1 YOLOv4模型結構改進

在YOLOv4檢測模型中，原圖經過下采樣，其像素一直在減小，最終生成3個不同大小的特征圖，分別為52×52，26×26，13×13。特征圖中像素點和輸入圖像中像素點對應關系為：

(2)

式中：X表示輸入圖像邊長的像素個數；Y表示特征圖邊長的像素個數；n表示特征圖中一個像素點對應原圖中像素點的個數。

YOLOv4模型輸入圖像大小為416×416，52×52、26×26以及13×13特征圖中一個像素點分別對應輸入圖像8個、16個以及32個像素點，當輸入圖像被下采樣至13×13時，圖像中小于32×32像素的目標均會被壓縮至不到一個像素點，這樣目標特征信息丟失較為嚴重，因此在13×13特征圖上檢測32×32像素以下的目標意義不大。

本文使用的數據集，目標長寬都分布在0～38像素，屬于中小目標[10]，因此負責從13×13特征圖中檢測的YOLO Head3模塊對于中小目標的檢測意義不大，反而會使得模型參數冗余，導致模型內存占用過大，消耗計算資源，影響檢測速度。

針對目標尺寸特點，對原模型的檢測層進行了改進，改進后的模型結構如圖2所示，保留了負責從52×52和26×26特征圖中檢測中小目標的YOLO Head1和YOLO Head2模塊。移除了負責檢測大目標的YOLO Head3模塊和其相關的采樣卷積過程，但保留了與之對應的13×13特征圖，該特征圖屬于深層特征圖，里面包含較強的定位特征，52×52、26×26的淺層特征圖里面包含較強的語義信息，通過上采樣，將13×13特征圖中的強定位信息傳遞到淺中層特征層中進行特征融合，以加強對中小目標的定位精度。模型中小尺度YOLO Head1對應的初始候選框大小為[12,16,19,36,40,28]，中尺度YOLO Head2對應的初始候選框大小為[36,75,76,55,72,146]。

圖2 YOLOv4改進模型

相比在3個尺度上預測輸出的原模型，本文改進后的模型僅需要在2個尺度上進行檢測，減少了模型參數，節省了計算資源，模型檢測速度更快。

2.2 YOLOv4模型裁剪

目前模型裁剪方法主要有權重裁剪[11]、神經元裁剪[12]、卷積核裁剪[13]以及通道裁剪[14]。

權重裁剪的核心思想是使權重稀疏化，該方法需要多次迭代，并且裁剪一次就需要對模型修復一次，耗時耗力。神經元裁剪是將模型中輸出為零的神經元進行刪除，該方法雖然操作比較簡單，但是裁剪出來的模型性能較差。卷積核裁剪是對卷積核中的參數進行處理，從而降低運算消耗，但目前該方法的相關技術還不夠成熟，對于模型速度提升很有限。

通道裁剪流程如圖3所示，是將卷積層中不重要的通道全部刪除。該方法裁剪力度大，效果明顯，同時帶來的精度損失也大，但是通過微調可以將裁剪后的模型恢復到很好的精度，并且該方法不需要專門的軟硬件支持。通道裁剪方法適用于含有批歸一化層即BN(batch normalization)層的模型，如YOLO模型。對于沒有批歸一化層的模型該方法并不適用，如R-CNN模型。

圖3 通道裁剪流程

2.2.1 BN層稀疏化訓練

在YOLOv4模型中，通過卷積層和激活函數中間的BN層對每一個輸入的mini-batch進行歸一化，使網絡收斂更快，獲得更好的訓練效果。YOLOv4模型中BN層的輸入和輸出之間關系為：

(3)

式中:m為每次輸入的mini-batch；γ為BN層的縮放因子；β為BN層的偏置項；μ為BN層的均值參數；σ為BN層的方差參數；ε項可避免分母為0。

進行模型通道裁剪首先需要對BN層進行稀疏化訓練，本文通過在初始損失函數中引入L1正則化來對BN層的縮放因子γ進行稀疏化訓練，每個特征通道對應一個縮放因子γ，引入L1正則化的損失函數為：

(4)

式中:x,y分別為模型的輸入和輸出；W為模型的參數，第1項為初始損失函數，第2項為L1正則損失項，λ為兩項的平衡因子。本文用稀疏后的縮放因子γ來判斷特征通道對輸出重要性。γ值越大說明對應的通道對輸出越重要，反之，說明該通道對輸出影響較小。因為引入L1正則化后，稀疏化之后的模型中許多縮放因子γ都會趨近于零，這說明卷積層輸出值無論多大，在輸入到BN層之后，經過BN層的變換輸出bout都會變為：

(5)

所以，縮放因子γ趨于零對應的特征通道對模型輸出貢獻很小，這些不重要的特征通道可以將其裁剪掉。

2.2.2 模型通道裁剪

如圖4所示，對已經稀疏化的縮放因子進行排序，根據剪枝率求得縮放因子的閾值。當縮放因子大于或等于該閾值時，該縮放因子對應的特征通道將被保留。當縮放因子小于該閾值時，該縮放因子對應的特征通道將會被剪掉，見圖4。

圖4 通道裁剪

通常情況下，剪裁后的模型其檢測精度會有不同程度的下降。裁剪的通道數越多，參數越少，檢測精度下降的就越明顯。為了恢復一定的檢測精度，需要用數據集將裁剪后的模型重新訓練，在這個過程中，裁剪模型中的參數會根據訓練樣本數據進行調整，以恢復至較高的檢測精度。

3 實驗結果與分析

3.1 數據采集

本文以坦克、飛機、艦艇作為被偵察對象，使用高仿真模型，按照1∶20搭建縮比場景，然后用四旋翼無人機進行視頻采集，采集完成后截取部分幀作為數據樣本。對采集到的數據樣本進行旋轉、拼接、曝光、添加椒鹽噪聲等增廣處理，最終共制得圖像3 400張，其中2 720張用來訓練，680張用來測試驗證，圖5為部分數據樣本。

圖5 無人機航拍數據集樣本

3.2 數據標注

如圖6所示，本文用Labellmg軟件對圖像中的目標進行標注，一共3類目標：坦克(tank)、飛機(plane)、艦船(ship)。具體標注流程：①打開圖片，在圖片上創建包圍目標的最小矩形框；②對創建的不同矩形框進行命名；③對單張圖片中所有目標命名保存后，軟件自動生成對應的xml文件；④使用格式轉換代碼將xml文件轉換為txt文件，txt文件包含用于訓練的目標坐標位置等信息。

3.3 評價指標

目前在目標檢測領域有多種性能評價指標，如精確度、召回率、平均精確率、平均精準率均值mAP、檢測速率等。以下分別為精確度(P)和召回率(R)的計算公式：

(6)

(7)

式中：WTP為被正確識別的目標個數；WFP為被錯誤識別的目標個數；WFN為沒有被正確識別出來的目標個數。

AP為單類目標PR曲線與坐標所圍成的面積，該指標能夠綜合考慮精確度和召回率，對于單類目標的識別效果評價較為全面。mAP為各類目標AP值的加和平均值，即表示模型整體檢測精度，mAP越高檢測效果越好。FPS為模型一秒能夠檢測的圖片數量，FPS值越大說明模型的檢測速度越快。

3.4 實驗配置與訓練

本文實驗所用配置如下：計算機系統采用Ubuntu18.04；CPU采用Intel Core i5-9500；GPU采用NVIDIA GeForce RTX 2060 ti；深度學習框架采用Darknet[15]。訓練時，模型輸入大小為416×416，batch-size為32，初始學習率為0.001，稀疏率為0.001。

訓練過程中訓練集損失函數和驗證集損失函數變化情況如圖7所示。當模型迭代至150個epoch后，兩者的損失函數值均已收斂至0.6附近，因此實驗中epoch取160。

圖7 損失函數變化曲線

3.5 模型對比與分析

為了驗證改進模型的有效性，本文設置了3組實驗進行對比分析。

實驗1：使用YOLOv4原模型，模型結構見圖1。

實驗2：使用2.1節方法，對YOLOv4原模型預測層進行改進，生成YOLOv4-A模型，模型結構見圖2。

實驗3：使用2.2節方法，對YOLOv4-A模型進行通道裁剪改進，微調生成YOLOv4-B模型。

在輸入大小為416×416的情況下，對上述3種模型使用3.2節所述數據集進行訓練測試，模型性能對比結果見表1。

從表1的實驗數據可以發現：

表1 模型性能對比

1)YOLOv4-A模型比YOLOv4原模型mAP降低了0.22%，但模型的內存占用少了26.56%，檢測速度提升了11.63%。主要原因在于YOLOv4-A模型少了一個預測尺度，使得模型參數量減少。

2)YOLOv4-B模型是在YOLOv4-A模型的基礎上進行了通道裁剪，模型檢測精度會有明顯降低，為了恢復檢測精度進行了微調，微調后YOLOv4-B模型較YOLOv4-A模型mAP降低了1.30%，但模型內存占用減少了85 MB，FPS也提高了10幀/s。首先mAP的降低是因為裁剪模型在最后微調的時候參數量無法增加，這使得模型精度只能在有限的范圍內進行調整提升。其次內存占用和FPS再次得到優化是因為對模型進行了通道裁剪，將不重要的通道進行了裁剪操作，因此參數量更少，推理速度更快。

3)最終改進模型YOLOv4-B較YOLOv4原模型在mAP僅降低1.52%的前提下，模型內存占用減少了60%，僅103 MB。FPS增加了15幀/s，取得了35%的提升。

表2為實驗1原模型與實驗3最終改進模型的召回率對比，召回率越高說明模型的檢出效果越好。

表2 各目標召回率對比 %

從表2可看出，改進模型的飛機、艦船、坦克召回率較原模型分別下降了0.57%、1.19%、1.01%。這說明YOLOv4-B在對飛機進行檢測時，每檢測100個目標，比原模型多漏檢不到1個目標。同理，在對艦船、坦克每檢測100個目標時，YOLOv4-B比原模型僅多漏檢1個目標。因此YOLOv4-B和YOLOv4模型在實際檢測中效果應基本一樣。

從圖8的對比可以發現，YOLOv4-B模型沒有因為模型的大幅壓縮，顯著地影響到對目標的檢測效果。YOLOv4-B和YOLOv4原模型均可以將圖像中的3類目標正確檢測出來。

圖8 實際檢測效果對比

通過對mAP、Recall以及實際檢測效果的分析，本文提出的最終改進模型YOLOv4-B在與YOLOv4原模型檢測效果基本一致的情況下，內存占用和檢測速度均取得了較大提升。

4 結語

本文針對檢測模型內存占用大、上機部署時實時性差的問題，提出了一種基于YOLOv4的無人機目標檢測模型。在保證檢測精度的前提下，針對目標尺寸特點，將三尺度檢測模型改進為雙尺度檢測模型；并進行了通道裁剪。通過實驗數據能夠看出，該方法減小了模型內存占用、提升了檢測速度。