基于AE-Tiny YOLOV3的小目標檢測模型

林 莉，姜 麟，張志堅

（昆明理工大學 理學院，云南昆明 650500）

0 引言

近些年，人工智能領域不斷發展，涌現出一大批基于深度學習的目標檢測算法。相較于傳統目標檢測算法，深度學習算法速度更快，精度更高。目前，深度學習領域對目標檢測算法主要進行了兩方面的研究：①以R-CNN［1］系列算法為代表的基于候選區域的二階段目標檢測算法，該類算法首先搜索邊界框，生成一系列候選區域，然后利用卷積神經網絡提取輸入圖像的特征，進行分類和定位；②以SSD［2］系列和YOLO［3］系列為代表的基于回歸的一階段目標檢測算法，該類算法可將目標物體的檢測定位和分類兩個過程合二為一，直接預測物體的類別概率和所在位置坐標。

自2016 年YOLO 算法和SSD 算法被提出后，現有實時檢測算法主要為一階段目標檢測優化算法。2017 年Lin等［4］提出焦點損失（Focal Loss）有效解決了一階段算法中由于樣本分布不均衡導致模型精度不高的問題。同年，Redmon 等［5］在YOLO 算法的基礎上，引入高分辨率分類器（DarkNet-19）、Anchor Box、多尺度圖像訓練等方法，提出YOLOV2 算法，大幅度提升了算法的檢測精度。隨后2018年其對YOLOV2 算法進行再次改進，采用了更好的基礎分類器網絡（DarkNet-53）［6］和特征金字塔（Feature Pyramid Network，FPN），以預測3 種不同尺度的框，解決了一階段目標檢測算法在小目標檢測上效果不佳的問題。2021 年5月，Chen 等［7］提出YOLOF 算法，僅檢測一個層級的特征，并提出了一種替換FPN 復雜的特征金字塔的方案。隨后，Ge等［8］提出YOLOX 算法，該算法在YOLOv3的基礎上，引入了Anchor Free、SimOTA 樣本匹配等方法，構建了一種anchor-free 端到端的目標檢測框架，使其具備較高的檢測能力。

YOLO 系列模型在現階段目標檢測領域應用最為廣泛，該類模型具備良好的目標檢測能力，但由于模型復雜，參數量多，對硬件的性能要求較高，難以適用于移動端、嵌入式平臺等性能較低的設備。基于此，Redmon 等［6］提出了YOLOV3的輕量級版本Tiny YOLOV3 模型。Tiny YOLOV3模型對設備性能要求低，運行速度快，但檢測精度較低，存在小目標漏檢率較高的問題。針對這一問題，2020 年王璽坤等［9］在Tiny YOLOV3 模型的基礎上增加了特征映射模塊和殘差分支，提高了算法的檢測準確率。李文濤等［10］在Tiny YOLOV3 網絡關鍵位置的特征圖中使用擠壓激勵注意模塊和卷積注意模塊增強目標，提高抗干擾能力，從而增強模型的魯棒性和提升模型的檢測精度。馬立等［11］對Tiny YOLOV3 目標檢測模型中的主干網絡和損失函數進行改進，有效提升了實時檢測中行人等小目標的檢測精度。這類改進模型對復雜實時環境具有良好的適應性，在檢測速度上提升很大，但在檢測精度上仍有較大的提升空間，在對多尺度檢測尤其是小目標檢測時，模型的魯棒性不高、適應性不強。

針對Tiny YOLOV3 在小目標檢測上存在檢測精度低、漏檢率高等問題，本文提出一種基于改進Tiny YOLOV3的小目標檢測算法，在提高原網絡檢測精度的同時，進一步提高檢測效率。首先，針對Tiny YOLOV3 算法特征提取網絡層數少、結構簡單、特征提取能力差等問題，使用輕量級高效卷積網絡（EfficientNet-B0）中包含的圖像輸入處理模塊和7 個MBconv 模塊的圖像特征提取網絡，替換原特征提取網絡，使模型在增加網絡深度的同時，減少了參數量，便于提取更深層次的語義信息，為后續預測階段作準備。其次，針對Tiny YOLOV3 算法中小目標漏檢率高等問題，借鑒FPN 和注意力機制的工作原理，構建了基于注意力機制的3 尺度目標檢測模型，使其能準確預測大、中、小不同尺度的目標，以解決小目標檢測精度低、漏檢率高等問題。最后，將改進的模型應用于檢測架空輸電線的絕緣子狀態。通過實驗數據表明，在海量無人機巡線所拍攝的圖像中，該模型可快速、有效地檢測絕緣子。

1 相關工作

1.1 Tiny YOLOV3

Tiny YOLOV3 是YOLOV3的簡化版本，其主干網絡由1個輸入層、7 個卷積層和6 個下采樣層構成，很大程度上縮減了Darknet53的網絡層數，有效實現了模型壓縮。其中，檢測網絡主要對13×13、26×26 兩個尺度的特征圖進行預測，網絡結構如圖1 所示。

Fig.1 Tiny YOLOV3 network structure圖1 Tiny YOLOV3 網絡結構

由圖1 可見，Tiny YOLOV3 網絡將416×416的圖像經過5次Maxpooling下采樣，分別得到208×208、104× 104、52×52、26×26、13×13 共5 個尺度的特征圖。再將13×13、26×26 尺度的特征圖輸入檢測網絡中進行多尺度檢測。此外，Tiny YOLOV3 將6 組錨框平均分配在檢測網絡上，每個尺度的錨點分配2 組錨框。具體操作如下：首先使用Adam優化器采用回歸的方式對錨框進行類別和置信度預測；然后應用非極大值抑制算法（Non-Maximum Suppression，NMS）選出最終預測框；最后根據特征圖與原圖關系將預測框映射到原圖上，完成目標定位。

1.2 EfficientNet

2019 年，Google 工程師Tan 等［12］通過神經網絡架構搜索（NAS），設置與MobileNet V2 相同的搜索空間，使用ACC(m)*[FLOPS(m)/T]w作為優化目標，構建EfficientNet-B0 網絡模型。該模型由7 個移動翻轉瓶頸卷積（MBConv）模塊構成，并在MBConv 模塊中引入擠壓和激發（Squeezeand-Excitation，SE）操作進行優化升級，使淺層網絡同樣能夠通過全局感受野提取圖像特征并對圖像進行描述。此外，MBConv 模塊中還包含深度可分離卷積、swish 激活函數、drop_connect 連接、批歸一化等組件。EfficientNet-B0的網絡結構及各層參數設置如表1 所示。

Table 1 EfficientNet-B0 network structure表1 EfficientNet-B0 網絡結構

如圖2 所示，MBConv 模塊首先對輸入圖像進行1×1的二維卷積，目的是對輸入數據進行維度整理；然后通過3×3的深度可分離卷積提取特征信息；再傳入SE 模塊中進行賦權，接下來將值輸入到1×1的二維卷積進行維度整理；最后將輸出值進行drop_connect 操作，隨機舍棄一些信息與整個模塊的原輸入相加，得到MBConv 模塊的最終輸出。

Fig.2 MBConv block圖2 MBConv 模塊

2 AE-Tiny YOLOV3 小目標檢測算法

2.1 基于注意力機制的多尺度檢測

注意力機制源于人類視覺系統的研究，當人面對某一大型復雜場景時，往往會重點關注顏色突兀或風格突變的區域，而忽略其它區域。計算機視覺中的注意力機制正是借鑒于此，讓網絡根據當前任務從眾多信息中聚焦重要信息［13］。

首先在原有兩個檢測分支的基礎上，再增加一個檢測分支，形成3尺度檢測，使網絡可有效檢測大、中、小各尺度的目標。其次，將注意力機制應用于已經構建的3檢測分支中，使網絡在輸出最終檢測結果前，能夠客觀地分析各通道特征圖之間的關系。并且可為含有重要特征的通道賦予更大的權重，使網絡能自適應關注圖像中的重要信息，從而提升模型檢測精度。基于注意力機制的檢測分支結構如圖3所示。

由圖3可見，DBL1模塊中包含一個1×1的卷積層、Batch Normalization 標準歸一化層和LeakyRelu 激活函數；DBL3 中包含一個3×3的卷積層、Batch Normalization 標準歸一化層和LeakyRelu 激活函數。具體操作為：先對每一個檢測分支經過DBL1的1×1 卷積整理上層輸出特征通道的維度；然后使用DBL3的3×3 卷積分析、提取重要特征；最后將注意力機制得到的權重與DBL3 提取的特征相乘，使網絡重點關注含特征信息較為豐富的通道。

Fig.3 Detection branch structure based on attention mechanism圖3 基于注意力機制的檢測分支結構

2.2 改進網絡結構

為解決現有Tiny YOLOV3 網絡魯棒性不高，尤其在針對小目標檢測過程中存在的檢測精度低、漏檢誤檢率高的問題。將改進重點集中在特征提取主干網絡和檢測分支上，改進后的網絡結構如圖4 所示。

Fig.4 Improved Tiny YOLOV3 network structure圖4 改進Tiny YOLOV3 網絡結構

由圖4 可見，該模型基于EfficientNet-B0 網絡，舍棄了最后的全局平均池化層、dropout 層和全連接層，僅保留特征提取部分，以代替Tiny YOLOV3的7 層卷積骨干網絡進行特征提取。替換后，新模型用于特征提取的網絡層數明顯增加，由原來7 層增加至36 層。隨著卷積層數的增加，可有效提升特征提取網絡的提取性能，從而可更好分析高層次的語義信息。

B0 網絡中將傳統的普通卷積更換為深度可分離卷積，并引入注意力機制和殘差結構構建MBConv 模塊。使用深度可分離卷積和注意力機制代替普通二維卷積，一方面在增加卷積層的同時可有效縮減網絡的參數計算量；另一方面，通過引入注意力機制，可在網絡在訓練的過程中，賦予重要信息所在通道更大的權重。但隨著卷積層的增加，模型會在訓練中發生梯度消失的問題，而MBConv 模塊通過引入殘差結構可有效解決該問題。

EfficientNet-B0共有7個MBConv模塊，取第3個MBConv模塊的輸出作為feat1 層，取第5 個MBConv 模塊的輸出作為feat2 層，取第7 個MBConv 模塊的輸出作為feat3 層，將語義信息豐富的深層特征通過上采樣后與具有較多空間信息的淺層特征進行通道拼接，使用卷積操作融合不同通道。應用基于通道注意力機制的多尺度檢測分支，構建feat1、feat2、feat3 之間特征融合后的3 種不同尺度檢測層以檢測大、中、小不同尺度的目標，以提升算法的準確性和魯棒性。

3 實驗結果與分析

3.1 實驗環境與評價標準

本文實驗環境：操作系統為Ubuntu18.04，GPU 型號為NVIDIA RTX 1660s，CUDA 版本為7.0，基于TensorFlow的Keras 深度學習框架，程序語言為Python 3.7。

由于目標檢測結果由分類結果和定位結果兩部分共同決定。因此，既可把目標檢測看成一個分類問題，也可看成一個回歸問題。本文使用單個類別的精確度（Average Precision，AP）和平均精確度（mean Average Precision，mAP）作為模型檢測精度的評價標準，使用模型大小（model size）和每秒檢測幀數（FPS）作為模型檢測速度的評價標準［14］。計算公式如式（1）所示：

其中，AP定義為精確率（precision）/召回率（recall）曲線下的面積，TP表示實際為正樣本，模型預測也為正樣本的個數；FP表示實際為負樣本，但是預測為正樣本的個數；FN表示為實際為正樣本，但是模型預測為負樣本的個數。

對于多分類問題，需要求N個類別的AP均值，即平均精確率平均值以衡量分類器對所有類別的分類精度，這也是目標檢測算法最為重要的指標之一。換言說，mAP就是不同類別的AP平均值，計算公式如式（2）所示：

實驗過程中主要對mAP@0.3，mAP@0.5，mAP@0.7 進行對比，mAP@0.5 表示預測框與真實框的交并比（IoU）大于等于0.5的情況下可以準確預測的概率。IoU的計算公式如式（3）所示：

其中，S(A?B)表示區域A與區域B重疊部分的面積，S(A?B)表示區域A的面積與區域B的面積之和減去二者重疊部分的面積。

3.2 在VOC 數據集上的對比實驗

實驗使用的數據集為PASCAL VOC。該數據集是目標檢測領域的通用數據集，共包含20 類已經標注好的對象，其中訓練圖像使用VOC2007 和V0C2012 綜合數據集，共包含16 551 幅圖像的40 025 個物體；測試集使用VOC2007的test 數據集，共包含4 952 幅圖像的12 032 個物體。

實驗過程中，輸入圖像尺寸為416×416，分兩階段進行。第一階段：凍結特征提取骨干網絡，加載已在ImageNet數據集上訓練好的權重信息，僅對檢測分支進行訓練，從而獲得一個穩定的損失，此階段學習率設置為0.001，采用adam 優化器進行參數優化訓練，batchsize 設為16，訓練50epoch；第二階段：將上一階段凍結的骨干網絡進行解凍，加載上一階段的訓練權重，對整個目標檢測網絡進行訓練，設置學習率為0.000 1，batchsize 設為8，接著第一階段的訓練結果繼續訓練100epoch。

將AE-Tiny YOLOV3 算法與Tiny YOLOV3 算法在VOC2007+2012 數據集上進行檢測效果對比，結果如表2 所示。

Table 2 Comparison of algorithm performance on the VOC data set表2 在VOC 數據集上的算法性能對比

表2 中模型A 保持Tiny YOLOV3 算法原有的檢測框架不變，將其中包含7 層卷積的特征提取網絡替換為EfficientNet-B0 網絡的Tiny YOLOV3 模型；模型B 在模型A的基礎上，引入FPN 思想，增加檢測分支，構成3 尺度檢測模型；AE-Tiny YOLOV3 在模型B的基礎上融合注意力機制。

由表2 可見，模型A 使用基于神經網絡架構的EfficientNet-B0 網絡進行特征提取，相較于Tiny YOLOV3 模型的特征提取網絡，網絡層數從27 層增加到231 層，可有效提取深層次的語義特征，且模型參數量減少了12.3M，mAP@0.5 提高了8.93%。由此說明，EfficientNet-B0 相較于原特征提取網絡更輕量高效。雖然FPS 有所降低，但依然滿足實時檢測的需求。模型B 結合多尺度訓練，mAP@0.5相較模型A 提升了8.03%。

AE-Tiny YOLOV3 模型在多尺度訓練的基礎上，又在3個檢測分支上添加了注意力機制，使模型可重點關注信息量最大的通道特征，自適應地抑制干擾因素對檢測結果的影響，加強目標檢測特征的表征能力。結果表明，該模型的mAP@0.5 由77.26% 提升至78.22%。表3 為Tiny YOLOV3 算法和AE-Tiny YOLOV3 算法在VOC2007測試集上，IoU為0.5 時，每一類的精確度AP。

根據表3 可知，AE-Tiny YOLOV3 算法在各類別的檢測上均有提升，特別是在bird、bottle、cat 等小物體檢測上尤為明顯。其中，檢測準確率提升幅度最大為bird，檢測準確率提高了32.02%；檢測幅度提升最小為car，僅提高了10.95%。由此可說明基于注意力機制的多尺度檢測對于大、中、小不同尺寸的物體，尤其是小目標檢測具有良好的檢測效果。

Table 3 Comparison results of various APs in the VOC data set表3 VOC 數據集各類AP 對比結果

如圖5 所示，對添加注意力機制的檢測分支和未添加的檢測分支進行對比，本文選取feat1 層所在檢測分支為例，比較輸出最終檢測結果的前一個卷積層的輸出特征圖。其中，（a）為未添加注意力機制的80 個通道對應的特征圖，（b）為（a）圖中80 個通道所疊加的特征圖，（c）為添加注意力機制的80 個通道對應的特征圖，（d）為（c）圖中80 個通道疊加的特征圖。

由圖5 可見，（a）圖中80 個通道對應的特征圖之間區別度不高、特征相似；（b）圖中圖像高亮部分過多，且多數出現在背景部分，可用于分類的特征較少；（c）圖中80 個特征圖之間的區別度較高，可直觀地看出某幾個通道包含的特征信息較為重要；（d）圖中圖像高亮部分較少且集中于一個區域內，可通過此區域的高層次語義信息準確地區分物體。由此可見，本文改進的基于注意力機制的檢測分支能夠有效減少背景等無關信息的對檢測的干擾。圖6 為通過注意力分析后重新為80 個通道所賦權值的散點圖。

Fig.5 Feature map of the convolutional layer on the detection branch where the feat1 layer is located圖5 feat1 層所在檢測分支上的卷積層的特征圖

由圖6 可知，feat1 層的權值基本分布在0 周圍，均值約為0.05。在經過注意力機制分析后，為多數通道賦予了一個很小的權重，即忽略一些次要信息。僅有少數權值分布較為分散，即為包含重要信息的通道賦予了一個較大的權重，突出顯示其包含的特征信息。

Fig.6 Scatter plot of weight distribution圖6 權值分布散點

3.3 絕緣子狀態檢測

實驗使用自制絕緣子數據集，圖像來源于網絡，分辨率均在800×600 以上，清晰度較高，能夠滿足目標檢測需要。數據集主要包含正常絕緣子（normal）和“自爆”絕緣子（defective）兩類，共1 000 張圖像（正常絕緣子700 張，自爆絕緣子300 張）。圖7 為樣例圖像。實驗過程中，選取100張圖像作為測試集，900 張作為訓練集。數據集標注格式為VOC 格式，采用LabelImg 工具進行手工標記，得到相應的.xml 注釋文件。

由于檢測的絕緣子目標在單張圖像中所占的比例較小，因此將絕緣子圖像輸入網絡前需統一縮放至608×608大小。圖8 為自制數據集中目標標注框所占圖像尺寸的比例分布圖，橫坐標為目標框的面積占圖像面積的比例，縱坐標為比例在每一區間上的對應目標數量。由此可見，占比小于10%目標有1 397 個，占所有目標的68.41%，表明數據集的大部分目標均為小目標。為此，本文提出基于AETiny YOLOV3 目標檢測模型主要應用于檢測小目標。

Fig.7 Sample image of self-made insulator data set圖7 自制絕緣子數據集的樣例圖像

Fig.8 Proportion distribution of the label frame of self-made insulator data set in the original image size圖8 自制絕緣子數據集標注框占原圖像尺寸的比例分布

實驗環境和實驗設置除輸入分辨率更改為608×608外，其余參數設置均與3.2 節中相同。表4 為本文改進模型與原模型在自制數據集上的對比結果。

Table 4 Performance comparison on the self-made insulator data set表4 在自制絕緣子數據集上的性能對比 （%）

表4 中實驗結果為在IoU為0.5 時的測試結果。其中，normal-AP表示正常絕緣子的檢測準確率，defective-AP表示“自爆”絕緣子的檢測準確率，mAP為平均準確率。本文所改進的模型對正常絕緣子和自爆絕緣子的mAP相較于Tiny YOLOV3 算法提高了15.27%，正常絕緣子的識別率提升了16.74%，自爆絕緣子的檢測準確率提升了13.79%。由此證明，本文模型較原算法提高了目標檢測的準確率，且檢測速度相當。圖9 為本文模型與Tiny YOLOV3的檢測結果的對比圖。其中，圖9（a）（b）為Tiny YOLOV3的目標檢測結果，（c）（d）為相同圖像在AE-Tiny YOLOV3 模型中的目標檢測結果。

從圖9的對比結果可見，AE-Tiny YOLOV3 模型可準確檢測Tiny YOLOV3 模型中漏檢的小目標。對比（a）和（c），Tiny YOLOV3 模型僅能檢測到1 個正常絕緣子，漏檢了2 個正常絕緣子和1 個“自爆”絕緣子；對比（b）和（d），二者均可準確檢測到正常絕緣子，但由于“自爆”絕緣子的目標較小，原模型通常難以檢測，而本文模型可準確檢測并定位“自爆”絕緣子。

Fig.9 Comparison of insulator detection results圖9 絕緣子檢測結果對比

4 結語

本文提出的AE-Tiny YOLOV3 模型，不僅通過替換特征提取網絡增加了模型的特征提取能力，降低了模型參數量，還保證了目標檢測速度。同時，通過在預測網絡中增加檢測分支形成3 尺度預測，以更好預測自爆絕緣子等小目標。最后，通過注意力機制，使模型在預測時可自適應關注有效信息較多的通道特征，進一步提高了目標檢測的準確率。通過在VOC07+12 數據集上的實驗證明，AE-Tiny YOLOV3 模型目標檢測的平均準確率為78.22%，相較于原模型提高了16.89%。在滿足模型實時性的需求外，檢測準確率更高。在自制絕緣子數據集上，本文所提出的模型目標檢測的平均準確率為86.53%，相較于原模型提高了15.27%。雖然AE-Tiny YOLOV3 模型的目標檢測精確度有所提高，但與大型檢測網絡相比仍有較大差距，需進一步改進。并且，如何讓模型既滿足嵌入式平臺實時監測的需求，又能進一步提高準確率，將是下一步的研究重點。