基于改進SPPnet的YOLOv4目標檢測

楊海舟，李丹

（四川大學錦城學院，四川成都，611371）

0 引言

隨著時代的快速發展，目標檢測的應用在現代生活中占據了較大比重。如何快速而準確的實現目標檢測也成為了一個現階段的實際問題。現階段，基于深度學習的目標檢測算法可分為兩類：Two-stage[1-3]和 One-stage。

第一類是，以R-CNN[1]系列為代表的Tow-stage檢測算法，該類算法將檢測過程分成兩個階段，先利用邊界搜索生成預選框，再利用卷積神經網絡實現分類和回歸。該類算法雖然增強了精度，但其檢測速度較低。第二類是，以YOLO為代表的One-stage檢測算法，該類算法通過使用回歸模型，將目標定位和分類一體化處理，可以直接獲得結果，該類算法的最大特點是擁有較高的速度，而精度相對較低。在精度和速度之間獲得更好的平衡，成為衡量目標檢測模型綜合性能重要的標準。YOLOv4（You Only Look Once）作為YOLO系列網絡的最先進的工作，YOLOv4 網絡的檢測準確率 以及運行速度都遠遠高于 YOLOv3 網絡。其結合了眾多目測檢測的tricks，完美實現了檢測精度和速度的平衡。

表 1 tricks使用及結果對比

YOLOv4的網絡結構有四個重要部分組成，分別是：輸入(Input)、主干(Backbone)、頸部(Neck)和頭部(Head)。輸入(Input)：主要包括Mosaic數據增強、cmBN、自對抗訓練(SAT)。Mosaic數據增強采用4張圖片隨機處理的方式進行拼接，這增強了對目標的檢測，并且由于目標減少，所以也降低了訓練成本。自對抗訓練(STA)作為一種新型的數據增強方式可以改善學習的決策邊界中的薄弱環節，提高模型的魯棒性。主干(Backbone)：采用的CSPDarkNet53作為主干網絡，代替了之前的DarkNet53。增強了模型的學習能力的同時也解決了梯度消失問題。并且采用了Mish激活函數，使網絡具有更強的準確性。頸部(Neck)：目標檢測網絡在主干網絡（Backbone）和最后的輸出層之間插入的一層。頸部網絡采用了空間金字塔池化(Space Pyramid Pool, SPP)模塊和路徑聚合網絡(Path Aggregation Network, PANet)的結構。主要是用于對特征進行融合。SPP網絡作為Neck的附加模塊，采用四種不同尺度的最大化操作：1×1，5×5，9×9，13×13，對上層輸出的feature map進行處理，再將不同尺度的特征圖進行Concat操作。該模塊顯著的增加了主干特征的接收范圍，并且將上下文特征信息分離出來。FPN+PAN結構，FPN是自頂向下，將高層的特征通過上采用的方式進行傳遞融合，得到進行預測的特征圖。而Neck這部分，除了FPN外，還在此基礎上添加了一個自底向上的特征金字塔，其中包含兩個PAN結構。避免了在傳遞的過程中出現信息丟失的問題，提高了網絡預測的準確性。頭部(Head)：沿用了YOLO-v3的多尺度預測方式。對圖像特征進行預測，生成邊界框和并預測類別。在損失函數方面，其損失函數由三部分組成，分別為：預測框回歸誤差、置信度誤差、分類誤差。其中預測框回歸誤差不再使用YOLO-v3的均方誤差，而是采用的CIoU損失。

1 基于改進的SPPnet的YOLOv4

■1.1 模型結構

在YOLOv4的主干網絡后使用了SPPnet，但漏檢等情況并未得到有效的改善，為此本文在YOLO head2前增加了使用不同大小池化核的SPPnet(命名為SPP-1)，同時為了保證SPPnet的網絡的通道數在引入前后保持數量一致，故在SPP-1后使用了cocat和卷積層。改進后的模型結構如圖1所示。

圖1 改進后的模型結構

■1.2 SPPnet

卷積神經網絡(CNN)通常由卷積層和全連接層組成。卷積層不需要輸入數據的大小。然而，第一個完全連接的層要求輸入大小必須是固定的。以VGG網絡16為例，其輸入大小固定為224×224，這在一定程度上限制了模型的泛化性能和應用場景。

SPP結構是在CSPDarknet53最后一個特征層之后，在對最后一個特征層進行三次卷積后，用四個不同尺寸的最大池化進行處理，四個不同尺寸的池化核大小分別為13x13、9x9、5x5、1x1。YOLOv4中通過添加SPP結構，增大感受野，分離出最重要的上下文特征，并且不會降低檢測速度。通過對SPPnet結構的分析得出，原YOLOv4結構中使用的SPPnet并不能很好的實現對不同尺度目標特征信息的有效提取。為此，本位針對性的提出在以CSPdarknet53為主干網絡結構基礎上融合多個SPPnet結構。分別命名為SPP、SPP_1，其中SPP結構參數保持不變，SPP_1的卷積核大小調整為15x15、11x11、7x7、1x1以此滿足淺層神經網絡中的多尺度特征融合，SPP、SPP_1的網絡結構圖如圖2所示。

圖2 SPPnet結構示意圖

■1.3 CSPDarknet

CSPNet 易于實現，且具有很好的通用性，可以構造在 ResNet、ResNeXt和 DenseNet等 網 絡體系中。CSPDar knet53是在 Darknet53基礎上，參考了CSPNet，其主干主要包括五個CSP模塊。CSP模塊先是將特征圖分成兩部分，一個部分是Resblock的結構，分別迭代1，2，8，8，4次，另一個部分是經過少量操作的殘差邊，最后進行通道疊加操作，主要目的是能夠實現更豐富的梯度組合，同時減少計算量，用于解決需要大量推理計算的問題。

■1.4 PANet

PANet的概念在Mask R-CNN中也存在。PANet是對特征金字塔網絡(Feature Pyramid Network, FPN)的進一步改進。FPNet采用的是自頂向下的傳輸模式，將高層特征傳入下層。因此底層的特征無法對高層特征產生影響。并且在FPNet的這種傳輸模式中，頂部的信息傳入底部是逐層傳輸的，這也導致了計算量增大，所以提出了PANet來解決這一問題。

在PANet中引入了自底層向頂層向上傳播信息的增強結構路徑，避免了在傳遞過程中部分信息丟失的問題，并使得底層的信息更容易到達高層頂部。在加入了PANet后，在進行從頂層向下層的特征融合后，再進行自下層向頂層的特征融合，這樣的特征傳遞方式穿越的特征圖數量得到了大大的減少，因此減少了計算量。

圖 3 CSPDarketnet53結構

2 實驗

為驗證改進后的檢測算法的綜合性能，本文使用的數據是PASCAL VOC 07+12，其包含16000余張訓練數據集，和5000張測試數據集，并與YOLOv4算法進行了對比實驗。我們的方法是在2.2GHz Intel i7-8750 CPU和NVIDIA GeForce RTX 2070S GPU上執行的。相應的程序在Pytorch框架下使用Python實現。

在物體檢測中，通常使用 mAP 指數來評估準確度。基于原始YOLOv4模型，輸入圖像的分辨率設置為416 × 416，Batch size為16，初始學習率為0.0001，經過50個Epoch得到最終的網絡模型。原YOLOv4算法與改進后的算法的20類相比，實驗結果如圖4、圖5所示。

圖4 左圖為原YOLOv4實驗結果，右圖為改進后的YOLOv4

圖4中，改進后的算法相比于原YOLOv4算法，在幾乎所有類別上都有顯著的提升。原YOLOv4對pottedplant的檢測效果本身在二十個類別中就是最低的，主要是因為這個類別物體在圖像屬于通常尺寸比較小，而且在測試集中物體或多或少的受到其他物體的遮擋，對于YOLO算法來說，檢測的難度比較大。圖4中，原YOLOV4和改進后的模型，對圖像檢測的情況來看，第一幅圖像中， 改進后的模型不僅能檢測YOLOV4檢測出的目標，還能檢測出YOLOV4沒有檢測出的右邊的男士。第二幅圖像中，原YOLOV4漏檢了diningtable目標，改進后的模型能準確檢測。第三幅圖像中，原YOLOV4漏檢的比較嚴重，而且還將目標car類別檢測成motorbike類別，而改進的算法能減少漏檢的情況，并且能正確檢測目標的類別。所以與原YOLOV4相比，改進后的模型檢測效果更好。

圖 5 改進后的模型與原YOLOV4檢測圖像的對比

YOLOv4中 常 用 的tricks有Mosaic，cosine learning rate,smooth label,以及weight decay。從上述表1中可以看出，只有通過對改進后的模型算法進行對比驗證，才能知道當前的設計是最佳的，我們通過在實驗中調整mosaic數據增強、余弦退火學習率、標簽平滑和權重衰減這些訓練方法，使得改進的算法有最好的結果。只有當Mosaic數據增 強、Cosine_Ir打 開，Smooth_label=0,Weight_decay關閉時，改進后的模型才達到最高89.63%的mAP。

3 總結

本文在YOLOv4的基礎上，通過嵌入改進的SPPnet，提出了改進的YOLOv4檢測模型。在相同的數據集下進行目標檢測的實驗，改進后的YOLOv4檢測模型與YOLOv4等主流檢測模型相比較，改進后的模型具有較好的效率和較高的準確性。此外，在普通非結構化場景下，該算法還能成功檢測出部分被遮擋的物體，包括小尺度和大尺度物體。該改進方法是成功且有效果的。在未來的工作中，改進后的模型有望應用于室內場景的目標檢測、戴口罩下的人臉檢測、人流量移動下的目標檢測……等任務。關于本文的研究內容，依然存在進一步的優化空間，在后續的工作中，還可以開闊思想，進一步提升檢測的速度，將該功能廣泛應用在更多的領域。