基于目標圖像組合算法的改進YOLOv5模型

張艷偉，周朝廣，黃一帆，曹菁菁

（1.武漢理工大學 交通與物流工程學院，湖北 武漢 430063； 2.港口物流技術與裝備教育部工程研究中心，湖北 武漢 430063）

近年來，深度學習目標檢測領域涌現出大量研究成果。Redmon 等［1］提出Ⅰ階段檢測網絡YOLO，對圖像特征連續卷積，將目標類別與位置直接在輸出層輸出，提高了網絡檢測和訓練速度。為一步提高網絡精確度，提出YOLOv2［2］和YOLOv3［3］網絡，分別在定位策略及網絡結構方面做了調整，其中YOLOv2 借鑒Faster R-CNN 的先驗框思想，使用聚類算法得到先驗框尺寸，提高網絡定位回歸精度；YOLOv3 提出更有效的特征提取器Darknet，采用3 個不同大小尺度的多尺度方法預測特征圖，提升了網絡檢測小目標的能力。Bochkovskiy 等［4］提出YOLOv4 模型，設計更有效的CSPDarknet53特征提取器，并將特征金字塔網絡（feature pyramid network，FPN）與路徑聚合網絡［5］（path aggregation network，PAN）進行融合，提高特征的表征能力。YOLOv5 模型設計快速空間金字塔池化（spatial pyramid pooling - fast，SPPF）結構代替空間金字塔池［6］（spatial pyramid pooling，SPP）結構，在保持原有感受野大小的前提下，減少SPP 網絡計算量，并提出全新的邊框回歸計算公式，解決邊框參數回歸時可能出現的梯度爆炸問題。

為進一步提高網絡訓練速度及模型魯棒性，Zhang 等［7］提出Mixup 方法，按貝塔分布混合系數比例疊加不同圖像，生成1 張具有混合像素的圖像進行訓練，證明了該方法能有效地提高網絡的泛化能力，但圖像混合后標簽的定位能力下降。Yun等［8］提出Cutmix 方法，將1張圖像直接覆蓋于其他圖像部分像素上生成新的圖像進行訓練，存在覆蓋像素范圍過大導致小目標特征消失的問題。Ghiasi 等［9］提出Copy-paste 方法通過數據集實例分割標簽信息，提取目標像素，并將其覆蓋到其他訓練圖像生成新的訓練圖像，當覆蓋其他目標像素過多時，造成特征消失問題。

針對上述方法存在的不足，本文提出目標圖像組合算法，訓練所有目標的同時減少訓練集圖像數量，使模型保持原有訓練精度，訓練速度提高30%以上。其次，以YOLOv5 為基礎，對其先驗框生成策略及CSPNet［10］結構進行改進，提出一維聚類先驗框生成方法和多層并列卷積結構，有效增強先驗框的適應度及特征表征能力，在保持網絡原有檢測速度前提下，提高網絡檢測精度及收斂速度。

1 本文方法

1.1 目標圖像組合算法

神經網絡的訓練與人的大腦相似，通過在簡單背景中學習目標特征，即可依據學習到的目標特征，在復雜環境中標定目標。基于此，本文減少圖像的復雜背景像素，集中訓練目標圖像，使模型進行學習。具體方法為：通過訓練集目標標簽信息，分割圖像中包含目標的圖像，減少復雜背景像素，以4 張分割后的圖像為1 組進行拼接，組合為1 張新圖像進行訓練。同時，考慮到背景像素是分割前景與背景的對比信息，其完全缺失將影響網絡學習效果。本文將目標邊框放大α倍后進行分割，得到包含部分背景像素的目標圖像。

分割訓練集標簽中的每個目標圖像，圖像中目標之間的像素存在覆蓋重疊，在分割大目標圖像時，如包含了部分小目標圖像，后續再對小目標分割會造成重復分割同一覆蓋的目標圖像。為避免這種情況，按標簽信息對目標面積大小排序，優先將大目標分割。如在其內部存在小目標，且該小目標在大目標內部的像素面積超過其自身像素面積的β倍，將小目標的邊框同樣放大α倍后，與大目標圖像做最小矩形后截取成為1 張新圖像。此時，兩相交目標的特征被完全包含在新圖像中，不滿足β，則循環再對其分割直到處理完所有目標，如圖1所示。

如圖1 所示，加粗邊框為圖像框，其內部的黃色細邊框為目標真值邊框，虛線邊框為真值邊框放大α倍后的尺寸。在圖1（a）中，大目標與小目標無相交，或相交部分占比中小目標自身不足β倍，分別對2 個目標進行分割；圖1（b）中，小目標鑲嵌于大目標內部，只分割大目標；圖1（c）中，小目標與大目標相交部分占比中，小目標超過其自身β倍，將大目標與小目標邊框放大α倍，做最小矩形截取分割，得到新圖像。

在圖像組合過程中，當全是小面積分割的圖像組合時，對圖像進行等比例縮放會產生嚴重的失真。因此，本文將分割圖像按最長邊尺寸大小進行排序，形成候選圖像列表。如分割圖像最長邊尺寸≥500 像素，將其從圖像列表中剔出，獨立為1 張訓練圖像，將圖像列表剩余圖像均分為4 等部分，選取圖片組合時分別從每部分中挑選出1 張圖像進行組合，組合生成的新圖像最長邊尺寸不滿足網絡模型需要的指定范圍時，按最長邊尺寸等比例縮放至最接近的指定范圍，滿足要求則無須縮放。新形成的圖像存在空白像素，需要對拼接后的圖像進行像素填充。本文采用［144，144，144］灰色像素，以包含所有目標圖像的最小矩形框面積進行填補，矯正組合圖像的尺寸，確保拼接圖像滿足輸入需求。

將分割后的目標圖像進行拼接，得到圖2（a）所示的未填充像素的組合圖，將空白部分進行像素填充后如圖2（b）所示。

圖2 分割目標圖像的組合Fig.2 Combination of segmented target image

1.2 一維聚類先驗框生成及優化方法

Faster R-CNN 網絡憑借經驗，人為設定9個不同尺度大小的先驗框，對目標邊框進行回歸，具有較強的主觀判斷因素，先驗框與數據集的適應度較低。YOLOv5 利用數據集標簽信息獲取所有目標邊框尺寸，采用K-means 聚類算法生成先驗框，以誤差平方和（sum of squared errors， SSE）作為聚類距離函數，采用自適應方式先計算預定先驗框與數據集匹配程度；如不匹配，則基于該數據重新聚類更新先驗框尺寸，由于大邊框比小邊框產生更多誤差，導致聚類效果變差。

數據集中目標邊框長和寬的尺寸存在分布不均，且K-means 聚類算法采用隨機初值聚類，會導致聚類效果差的情況。提出以絕對差值作為距離函數，聚類初值采用K-means++算法進行選取，利用K-means 聚類對目標邊框的長和寬分別進行一維聚類。按聚類結果的數值大小排序，依次組合2個部分，生成先驗框序列，通過遺傳算法優化組合序列，其中先驗框初始組合序列作為初始種群，設置總迭代次數為1 000 次，計算數據集所有目標邊框與每個生成先驗框的交并比（intersection over union，IOU）值。設置IOU 閾值為0.25，小于閾值的IOU 置零，將每個目標匹配先驗框中最大的IOU值相加，得到平均IOU 值作為適應度。操作算子設計方面，考慮到大尺寸邊框與小尺寸邊框交叉操作可能產生不可行解，處理工作量大，僅采用變異操作算子，通過試驗確定最佳變異概率。

1.3 網絡結構的改進

殘差結構［11］（residual layer，RL）將輸入通過卷積后得到的特征與原始輸入相加融合，減少特征尺寸，縮短梯度更新路徑，在反向傳播過程中更有效地傳播梯度信息；但殘差結構融合同一輸入經不同支線處理得到的特征，造成重復學習冗余信息。跨階段局部網絡（CSP-Net）將輸入分割成2 部分，一部分經過殘差結構進行特征提取，將提取的特征與另一部分經過卷積的特征進行Concatenated 拼接得到最終輸出特征，可以有效地降低重復梯度信息傳播并減少計算量，因此被廣泛應用于YOLOv5 網絡中。

原始YOLOv5 網絡中使用的CSP2_X 結構，未將輸入特征分割后再進行特征提取，增加了網絡計算量，且隨著網絡寬度加深，其內部采用的卷積+BN+ 激活（convolution batch normalization sigmoid，CBS）層數更多，使得特征在傳播過程中，大量連續的CBS結構讓梯度信息傳播路徑更長，導致特征提取效果不佳。為解決這一問題并減少對原有主干網絡的影響，借鑒殘差結構，融合跨階段局部網絡，提出多層并列卷積MPC-Net（multiparallel convolution network）結構替換原始YOLOv5 網絡中間部分的4 個CSP2_X 進行特征提取。

CSP2_X與MPC-Net結構如圖3所示。圖3（a）為YOLOv5 在中間部分采用的CSP2_X 模型結構，圖3（b）為所提的多層并列卷積（MPC-Net）模型結構。其中，Res Unit 模塊為殘差結構，CBS 模塊為卷積、正則化和SiLU激活操作的組合模塊，Conv模塊為卷積操作，梯形模塊為Concat 拼接模塊，將2個特征向量在Channel維度進行拼接。“+”表示將2個特征層在Channel維度上對應元素值相加。

圖3 CSP2_X與MPC-Net結構Fig.3 CSP2_X and MPC-Net structure

MPC-Net 結構將輸入分為2 條主支線，輸入特征按通道大小將輸入分割成相等的2 個部分，進入上下2 條分支進行特征提取，將提取的特征與另一條主支線經過卷積的特征進行相加融合，然后用CBS卷積融合后的特征，調整至指定輸出大小得到最終輸出。將輸入特征均分成2 部分進行特征提取，能減少大量運算，加快網絡推理速度。采用多層跨階段方式代替原有的連續卷積組合方式，減少連續卷積層CBS 數量，縮短梯度信息的傳播路徑，并對各層得到的輸出特征進行相加融合，進一步減少特征提取的計算量，使網絡能保持更高的檢測速度和精度。

2 實驗和結果分析

2.1 實驗環境配置

實驗硬件配置CPU 型號為Intel?Xeon?Gold 6230CPU@2.10 GHz，GPU 型號為NVIDIA Quadro P4000，顯存為16 GB，CUDA 版本10.1.243，Pytorch 版本1.7.0，內存為10 GB，操作系統為CentOS，全局迭代次數為50， batch size 大小設置為16 ，采用余弦學習率衰減，初始學習率為0.01，最終網絡的學習率衰減到0.001。

2.2 數據集

本文采用VOC2007 及VOC2012 訓練集進行分割和組合，形成新數據集作為實驗訓練集，使用VOL2007 測試集進行測試。原始VOC2007 與VOC2012 訓練集共有16 551 張圖像，涵蓋20 類物體，包含人、車等大物體及相關小物體，經過目標圖像組合算法形成的新訓練集有10 990張圖像。

2.3 目標圖像組合參數設置

以VOC2007 和2012 數據集為對象看展實驗，原始圖像數量為16 551張。圖像分割時，需要確定目標圖像邊框擴大比例參數α，以及相交情況下小目標分割后占分割前自身面積的比例參數β，確定圖像分割情況。為盡量減少復雜背景信息同時保留必要背景像素，參數α取值范圍設定為1.0~1.8。考慮到參數β取值為1.0 時，小目標圖像被大目標圖像完全覆蓋，如為0 則表示與大目標圖像完全分離，將參數β取值范圍設定為0.1~0.8 進行實驗，取實驗結果最好值作為最終參數設定。參數β的設定對新生成訓練集圖像的數量有較大影響，當2 個目標具有相交部分時，β取值越大，相交2 個目標需要具有更大的相交面積才會被分割為1 張圖像，否則需單獨分割2 個目標。參數α取值越大，計算目標邊框所占面積更多，相交的2 個目標分割為1 張圖像的可能性越大。通過設定不同參數值開展實驗，新生成訓練集圖像數量結果見表1。

表1 不同α與β參數下的圖像數量Tab.1 Images number of different parameter α and β

以訓練所有迭代（epoch）的平均時間作為評價指標，衡量不同參數設置對訓練時間的影響。為平衡準確率與檢測速度指標，在原始YOLOv5x 網絡模型進行實驗，網絡準確率及訓練平均epoch 耗時分別見表2和表3。由表3可知，平均epoch耗時單位為min/epoch。不采用目標圖像組合算法，以原始訓練集進行訓練時，其平均準確率均值（mean average precision，mAP）為78.8%，平均epoch 耗時為25.08 min/epoch。

表2 YOLOv5x不同α與β參數下的mAPTab.2 mAP of different setting of parameter α and β

表3 YOLOv5x不同α與β參數下的平均epoch耗時Tab.3 Average time cost of epoch in different setting of parameter α and β in YOLOv5x

實驗結果表明，選擇不同參數α和β，使得新生成訓練集圖像數量在一定范圍內發生變動。參數α取值越小，在圖像數量越少的情況下，目標必要背景像素信息過少，網絡訓練速度雖有所提升，但其精度不是最高。為平衡訓練速度與檢測精度，最終選取α、β值分別為1.7和0.1，其mAP最高為79.1%，訓練速度提升33.6%。大型數據集中，單張訓練集圖像內包含目標數量越少，采用目標圖像組合算法提升效果更佳。

2.4 一維聚類先驗框遺傳算法優化

以VOC2012 和VOC2007 訓練集為樣本，遺傳算法中個體適應度值采用平均IOU 計算［7］，選取變異概率為0.1~0.9 進行試驗。采用實值變異方式，將經變異概率選取的變異元素在自身基礎上乘以1個數值進行變異，數值定義表達式如下：

式中：γ為變異概率；N（0，1）為標準正態分布隨機數。

通過實驗選取變異概率范圍為0.1~0.8，變異概率為0.5時，優化結果最好。

將所提的一維聚類先驗框生成及優化方法與Faster RCNN、YOLOv2等方法比較，實驗中設定聚類數量為9類，見表4。

表4 不同算法先驗框適應度Tab.4 Initial anchor fitness of different algorithm

本文方法與Faster RCNN 相比，適應度提高11.5%；與YOLOv2 相比，提升9.4%；相較于未優化歐式距離聚類相比，提升25.2%；相較于優化后的歐式距離聚類，提升2.6%。最終得到9 組先驗框尺寸分別為［20，26］ ［32，54］ ［76，59］ ［61，128］ ［132，118］ ［129，230］ ［330，157］ ［230，292］ ［411，325］。將新生成先驗框尺寸分別在YOLOv5（s，m，l，x）4種不同的網絡上進行實驗，替換原有的先驗框尺寸，以VOC2007測試集進行驗證，采用mAP作為評價指標，結果見表5。

表5 一維聚類先驗框尺寸實驗Tab.5 Experiment of one-dimensional clustering prior box

實驗結果表明，采用一維聚類先驗框尺寸，提高了先驗框的適應度，相比于使用原有先驗框，網絡訓練準確率得到提升。

2.5 改進YOLOv5算法對比與結果分析

為驗證MPC-Net 可靠性，以VOC2007 和VOC2012 的訓練集及驗證集作為訓練集，以VOC2007 的測試集進行測試。本文分別將MPCNet 應用于YOLOv5 的s、m、l和x 的4 種模型，代替原有網絡中間部分CSP2_X 結構，并在YOLOv3 SPP 網絡中，替換原始網絡中間部分的2 組連續卷積組合進行實驗，結果見表6。

表6 不同算法的實驗結果Tab.6 Results of different deep learning algorithm

通過使用多層并列卷積結構代替原網絡中的連續卷積結構，除提高特征表征能力外，未增加過多額外計算成本，使改進YOLOv5 算法推理時間成本上與原始YOLOv5 相差較小。相比Faster RCNN、SSD、YOLOv3 及Retina-Net 目標檢測算法，本文加入MPC-net 的改進YOLOv5 算法，準確率最高分別提升3.7%、5.7%、1.7%和4.6%，且基于YOLOv5算法的檢測速度更快。

改進YOLOv5x 網絡訓練過程的mAP 曲線如圖4 所示。使用一維聚類先驗框尺寸，以經目標圖像組合算法生成的圖像作為訓練集，加入MPC-Net改進YOLOv5x 模型進行實驗，實驗得出網絡最佳平均準確率mAP 為0.803，訓練過程中平均epoch耗時為16.77 min/epoch。采用YOLOv5x網絡官方預訓練權值進行訓練，網絡開始訓練，方可得到較高的準確率（0.622）。

圖4 改進YOLOv5x網絡訓練過程的mAP曲線Fig.4 The training mAP of improved YOLOv5x

3 結語

本文以YOLOv5 算法為基礎，考慮必要背景及圖像覆蓋問題，提出將數據集目標圖像進行分割并重新組合的目標圖像組合算法，同時改進網絡特征提取結構及先驗框生成策略。與YOLOv5 原網絡相比，改進后的網絡平均準確率及訓練效率更高，且滿足實時檢測要求，可為港口等復雜場景人員和車輛目標智能檢測提供支撐。但在目標圖像重新組合生成新圖像過程中，大目標圖像與小目標圖像組合，仍存在部分新生成圖像填充像素過多的情況，改進YOLOv5 網絡算法也存在檢測小目標準確率偏低的問題。下一步將考慮引入更多目標圖像到新生成圖像中，以減少像素填充面積，并引入改進方法提高網絡檢測小目標的精度。