基于輕量級網絡的小目標檢測算法

關玉明，王肖霞，楊風暴，吉琳娜，丁春山

（1.中北大學信息與通信工程學院，山西 太原 030051；2.江蘇自動化研究所，江蘇 連云港 222006）

0 引 言

隨著人工智能和深度學習的迅速進步，目標檢測在準確率和速度方面取得了巨大的突破。無人機平臺高空作業在小目標檢測與小目標實例分割等方向有較多實際應用。但在檢測過程中仍存在一些挑戰，比如小目標分辨率較低、細節難以察覺，導致測量精度較低和漏檢率較高。此外，由于目標的特征信息較少、背景環境復雜，對目標定位的精度要求較高，目標檢測任務面臨著許多困難。因此，小目標檢測[1]的研究成為當今目標檢測任務中最關鍵的問題之一。

目前，深度學習應用廣泛，并且在小目標檢測中是一種行之有效的方法，主要包括兩類且檢測算法各具特點。一類是以YOLO（You Only Look Once）系列為代表的一階段目標識別方法，是一種端到端為例的目標檢測算法，它根據卷積神經網絡從圖像中提取特征，并生成已知圖像中目標的位置和類別信息，對目標檢測速度快，但對小目標的檢測精度不高。文獻[2]中方法檢測速度表現較好，但模型較復雜且訓練元素繁多；文獻[3]在不同的尺度上運行，提出了一種新穎的目標檢測與分類聯合訓練的方法，大大提高了算法的檢測精度和速度。另一類是以RCNN（Region-based Convolutional Neural Network）系列為代表的兩階段目標檢測策略。文獻[4]算法在檢測精度方面比第一種目標檢測算法要好得多，但代價是它的檢測速度有所降低，增加了網絡檢測的運行時間；文獻[5]引入了一個區域建議網絡（RPN），它與檢測網絡共享全圖像卷積特征，從而實現幾乎無成本的區域。相比第二類，第一類算法更適合實時性的小目標檢測[6]。YOLOv5 算法在YOLOv4 算法的基礎上加以改進，根據不同通道的尺度進行縮放，改變主干網絡和頸部網絡結構用以加快算法的訓練速度。YOLOv5 的骨干網絡由卷積堆疊而成，處于網絡淺層的特征圖感受較小，只能觀測到原始圖像的局部特征，而處于深層網絡的卷積層感受較大，但計算復雜。在實際的小目標檢測應用中，由于下采樣、卷積等操作的存在，深度神經網絡架構中的特征大小隨著層數的增加而逐漸減小，這導致了網絡傳播過程中目標特征可能會丟失，大大降低了目標特征的利用率。與使用神經網絡結構的算法類似，YOLOv5 算法中也存在對于遠距離小目標檢測能力不足、小目標漏檢率高[7]、檢測效率低等問題。

基于以上研究現狀，考慮到目標檢測在一些特定場景需要具備一定的檢測精度，因此本文結合YOLOv5 網絡模型，重置錨框，優化損失以及增強特征提取來改進、優化和重置模塊，提出了一種基于KOS-YOLOv5 的多尺度小目標檢測方法，以提升小目標檢測的準確率。

1 基于YOLOv5 改進目標檢測的方法

1.1 KOS-YOLOv5 算法總體框架

本文以目標檢測中廣為人知的高檢測率算法YOLOv5[8]為基礎，在VisDrone-2019 數據集中選擇小尺寸目標進行目標檢測。在YOLOV5 的基礎上，本文提出了一種新型的小目標檢測算法，采用改進的Kmeans++[9]聚類技術，精準地調整了其參數，從而找到了一種更加有效的錨框，并利用SimOTA（Simplify Optimal Transport Assignment）優化了損失函數[10]，最后在網絡中添加SCP（Spatial Context Pyramid）[11]模塊，設計了一種全新的特征重用金字塔結構，將不同層次的特征融合在一起，增強特征提取，從而大大提高了目標檢測的準確率。

通過在VisDrone-2019 數據集上進行各種場景和尺度的檢測[12]發現，經過優化的網絡模型可以更好地識別出微小的目標，而且它們的內存消耗也更少，同時還可以在復雜的環境中準確地識別出多尺度的車輛目標，從而提升了系統的性能。由于圖像背景占了圖像大多區域[13]，待檢測目標一般較小，因此需要利用具有建模能力的網絡結構作為骨干網絡。KOS-YOLOv5 算法為小目標檢測提供了一定的研究基礎，其總體網絡框架如圖1所示。

1.2 基于K-means++的錨框聚類分析

針對YOLOv5 網絡模型中錨框參數的問題，注意到原始錨框參數是通過在官方數據集上通過聚類得到的。然而，官方數據集包含多個不同類別的信息，因此如果直接使用這些原始錨框參數進行網絡模型的訓練，很有可能會對小目標的檢測精度造成一定的影響。為了解決這個問題，本文采取一種新的方法來優化錨框參數，尤其是在車輛小目標檢測中。對車輛小目標數據集進行聚類分析，并重新計算出適合于小目標檢測的錨框參數。通過這一過程，能夠更準確地匹配錨框和小目標之間的關系，從而提高小目標的檢測精度。這樣可以更好地適應具體任務中小目標的特點，通過針對小目標的聚類，可以更準確地捕捉到小目標的特征和尺寸分布，這種調整錨框參數的策略有助于優化網絡模型的訓練過程，進而提高模型在車輛小目標檢測方面的性能，提高小目標檢測的準確度和效果。傳統YOLOv5 算法中使用了已知的K-means 聚類分析算法，在最初階段從官方數據集中隨機選取K個樣本作為初始聚類中心C={C1,C2,…,CK}，然而，這種初始聚類中心的選取方式常常會導致聚類結果不太理想，進而最后影響了目標檢測的準確度。為了解決這個問題，K-means++算法對以往傳統的K-means 隨機初始化聚類中心的方法進行了優化，它首先從數據集中隨機選擇一個樣本點作為第一個聚類中心，然后根據計算每個樣本與已經選取的聚類中心之間的最短距離D(x)來確定下一個聚類中心的選擇。這種方法能更好地從初始化聚類中心提高目標檢測的精確度。該關系可以表述為：

選擇概率值最高的點作為下一個聚類中心。重復上述計算步驟，直到選出k個聚類中心。針對數據集中的每個樣本xi，計算其與k個聚類中心間的距離，并將其分配到距離最小的簇中心對應的類別里面。通過不斷更新聚類中心的位置，直到聚類中心不再變化為止。

在本研究中，采用K-means++聚類算法對VisDrone-2019 數據集進行重新聚類，以獲得適用于目標檢測的錨框參數。接著，使用這些重新計算的參數訓練網絡模型，并將其與直接使用原始錨框參數訓練的模型進行比較。實驗結果顯示，相較于直接使用原始錨框，使用Kmeans 聚類方法訓練的模型，其平均檢測精度從92.10%提高到92.36%。進一步地，當使用K-means++算法重新聚類時，改進后的網絡模型平均檢測精度進一步提升至93.89%。通過觀察表1 中的數據，可以很明顯地看出，對本文數據集進行重新聚類可以顯著提高網絡模型的檢測精度，而K-means++算法進行聚類更符合小目標的檢測。因此，本文選擇使用K-means++算法作為網絡模型的聚類分析方法，以更好地優化錨框參數，提高目標檢測性能。對于VisDrone-2019 數據集，經過K-means++聚類分析得到的錨框參數對網絡模型的訓練和測試都有著顯著的正面影響。

表1 基于不同錨框的檢測結果

1.3 基于SimOTA 的損失函數優化方法

目前常見的目標檢測模型通常會利用預先定義的交并比（IoU）閾值對算法錨框進行正負樣本的分配。然而，在某些情況下，圖中的目標物體可能較小且分布較密集，這種情況下使用固定的閾值可能不太能適應不同的檢測場景。因此，本文需要重新設計樣本匹配策略，以更好地適應目標檢測任務的需求。在這種情況下，通過重新評估錨框與真實目標的匹配方式，可以更準確地劃分正負樣本，進而提高模型的性能和魯棒性。

對于具體的檢測場景，重新設計樣本匹配策略或實施參數的調整是必要的步驟，以便更好地適應小目標檢測的需求。目標檢測的過程是：模型訓練時先在圖像的各個位置生成一系列錨框，網絡結構會按照一定的規則將錨框分成正負樣本。由于圖像中目標的數量有限，這樣生成的錨框中背景占比較多，導致模型的訓練樣本不均衡，周圍的重要樣本可能會被忽略。正負樣本分配（OTA）策略考慮了全局最優，具有更強的高質量樣本搜索能力。為兼顧算法性能和訓練時長，本文采用簡化的正負樣本分配策略，因此，在正負樣本標簽分配策略中，本文采用SimOTA 采樣策略進行動態標簽匹配，以提供更精準的匹配結果。與傳統方法只依賴于靜態先驗信息不同的是，SimOTA 利用當前神經網絡輸出的預測信息對目標進行動態最優匹配。

SimOTA 標簽匹配實施流程為：

為增加匹配效率，首先，使用中心先驗來確定候選的區域，通過初步篩選，選取一組定量的預測框作為候選框；然后，計算這些候選框與真實框之間的損失值和交并比（IoU），進而生成一個代價矩陣。對于每個真實框，從代價矩陣中選擇具有最小成本的一部分候選框作為正樣本。通過SimOTA 算法的動態標簽匹配策略，本文能夠更準確地將預測框與真實框進行匹配，該策略利用了當前網絡輸出的預測信息，使得匹配過程更加靈活和適應性強。相比傳統方法，SimOTA 能夠提供更高質量的匹配結果，從而提升目標檢測的準確性和性能。SimOTA 更靠近全局最優，跟OTA 比較，訓練耗時減少了25%。SimOTA 中gt、gi和pj之間的成本計算公式如下：

式中：λ是平衡系數；和分別是gt、gi和預測pj之間的分類損失和回歸損失。

在經過標簽匹配后，所提模型使用廣義交并比（GIoU）[14]損失函數計算真實框和對應的正樣本預測框之間的位置損失。GIoU 損失的計算公式為：

式中：A代表目標的真實框；B代表目標的預測框；E代表包含A和B的最小矩形框。

1.4 基于上下文金字塔模塊的特征提取

在空間域中，圖像中的遠程空間依賴性為模糊物體帶來了比自然場景更多的補充信息。采用空間上下文金字塔（SCP）來捕獲每個特征金字塔級別的全局空間上下文。該模塊研究從整個特征圖中聚合特征，并使用自適應權重將它們組合到每個像素中。這種策略保證只有有用的全局信息被融合到局部區域，而不會減少對象之間的差異。至于實例域，認為應該針對每個實例和任務自適應地改進對象表示。

對目標類別進行分類需要一個整體視圖，而分割需要更多縮放的細節。對不同大小接受范圍的需求也因實例而異。因此，引入了分層提取器（HRoIE）為每個實例生成RoI 特征。從每一層裁剪實例特征圖后，該模塊從最高或最低尺度開始，以分層方式逐級融合特征。利用像素注意機制[15]來組合相鄰特征圖。這個模塊重量輕，同時具有靈活的可擴展模型設計。

對不同級別的特征映射進行聚合后，特征金字塔仍然包含空間局部信息，空間上下文金字塔（SCP）模塊通過研究每個級別內的全局空間上下文來進一步增強特征。

SCP 的結構如圖2 所示，該模塊也是金字塔結構[16]，將它插入YOLOv5 金字塔結構中，每層都包含一個上下文聚合塊（CABlock），該模塊的詳細設計如圖3 所示。

圖2 空間上下文金字塔模塊

圖3 上下文聚合塊

在每個塊中，每個像素的空間上下文通過以下方式聚合：

式中：Pi和Qi表示特征金字塔中第i層的輸入和輸出特征圖，每個特征圖包含Ni個像素；j、m∈{1,Ni}，表示每個像素的指數；wk和wv是用于投影特征圖的線性變換矩陣，使用1×1 卷積來完成特征圖。公式（5）通過用線性變換代替矩陣的乘法，簡化了廣泛使用的自注意力機制[17]，很大程度上減少了參數和計算成本，并應用ai來平衡每個像素聚合全局空間上下文的程度。

2 實驗結果與分析

2.1 實驗環境

本實驗用于模型訓練的軟件平臺為AMD Ryzen 7 5800H with Radeon Graphics 和NVIDIA GeForce RTX 3050Ti Laptop GPU；模型測試推理平臺同上，軟件使用Windows 11 系統，Python 3.8.16，PyTorch 2.0.0，Cuda 118深度學習框架。

2.2 數據集

小目標的百分比相對較小，并且在傳統數據集上分布不均勻，分布不均衡會導致模型在訓練過程中更偏向于研究大中型目標。為了解決這個問題，使用VisDrone-2019 數據集，這是一個主要包含小物體的專業數據集。由圖4 可看出，該數據集中只有一類目標car，但目標在整幅圖中尺寸較小，寬高相較于整幅圖在（0.1,0.1）之間，且大多分布在圖中間。

圖4 數據集分布情況

2.3 評價指標

網絡性能由三個性能指標評估：P（精度）、R（召回率）[18]和mAP（平均精度），表達式分別如下：

式中：XTP是網絡模型正確檢測到的目標數量；XFP是網絡模型錯誤檢測到的目標數量；XFN是網絡模型未檢測到的目標數量；c是類別數；mAP 為單個目標類別的平均精度。AP 的表達式為：

2.4 實驗結果

為了進一步評估模型的性能，進行了消融實驗，將K-means++、SimOTA 和SCP 這三種改進方法同時添加到網絡中，并與原始的YOLOv5 模型進行比較。從表2 中可以看出，這三種改進方法都在不同程度上提升了模型的性能。相對于YOLOv4 模型，YOLOv5 有略微的改進，P值提高了0.15%，R值提高了0.14%。添加SCP 和SimOTA 模塊相比YOLOv5 模型P提升了1.84%，R提高了2.21%。對YOLOv5 同時進行三類方法的改進時，相比YOLOv5 模型，P提升了5.05%，R提升了2.37%，且運算量降低了11.8 GFLOPs，如表3 所示。引入OTA 模塊后，模型損失函數值明顯降低，隨著網絡優化的進行，損失函數的降低表明模型在訓練過程中逐漸提高了對目標的檢測準確性，這進一步證明了這三種方法的有效性，并且強調了它們在改進網絡性能方面的作用，同時驗證了網絡檢測小目標的魯棒性。

表2 消融實驗結果

表3 本文方法與YOLOv5 模型的GFLOPs 對比情況

通過對比實驗結果表可以得出結論：本文方法在精度（P）和損失函數（Loss）方面相較于原始的YOLOv5 模型和改進的檢測算法都取得了顯著的提升。這些實驗結果進一步證明了本文所提方法的有效性。根據圖5顯示網絡的訓練過程中的Loss 值隨著epoch 的變化情況，可以觀察到本文改進的網絡相比其他網絡的Loss 值有更快的下降趨勢和更小的損失函數值，從而實現更有效的收斂。另外，在圖6 顯示的網絡訓練過程中，可以看出本文改進網絡相比其他網絡的mAP 上升趨勢更快一些且值更大，在后期的訓練中，曲線也非常穩定。圖7 為本文方法對VisDrone-2019 數據集的訓練結果，可以看出本文設計的錨框比較貼近目標且本文方法幾乎可以檢測到全部目標，準確率都在0.6 以上。

圖5 本文方法與其他方法的損失值對比

圖6 本文方法與其他方法的平均檢測精度對比

圖7 本文方法訓練結果示意圖

為了進一步提高實驗的可信度，本文對小目標和復雜場景進行了對比檢測，并使用YOLOv5 網絡和改進后的算法進行了比較，如圖8~圖11 所示。

圖8 YOLOv5 在簡單場景的檢測結果

圖9 本文方法在簡單場景的檢測結果

圖10 YOLOv5 在復雜場景的檢測結果

圖11 本文方法在復雜場景的檢測結果

從圖中可以看出，在小目標場景中，本文算法的目標檢測準確度更高；同時，在復雜場景中，YOLOv5 存在目標漏檢的情況，而本文改進的算法在目標檢測率方面有了顯著提升，并幾乎能夠檢測到所有目標。本文改進的算法在多種場景下對小目標的檢測更加準確，這驗證了改進后的網絡模型在提取小目標深層特征方面的能力，對于特征不清晰和復雜場景下的小尺度車輛目標檢測具有良好的效果。

3 結 論

本文在YOLOv5 的基礎上提出了KOS-YOLOv5 算法，解決了由于分辨率低、特征不顯眼導致的小目標檢測準確度低的問題。首先通過K-means++聚類算法重新設計了錨框的大小，得到更適用于本文數據集的錨框尺寸；其次引入SimOTA 模塊優化其算法損失函數；最后加入SCP 模塊提高了目標特征提取能力。改進后的網絡在VisDrone-2019 數據集上進行了測試，實驗結果表明，KOS-YOLOv5 模型在P、R、mAP 方面較YOLOv5 模型有明顯提升，證明KOS-YOLOv5 算法在一定程度上提高了對小目標的檢測效果。未來可驗證本文算法的泛化能力。