基于邊界極限點特征的改進YOLOv3目標檢測

李克文，楊建濤，黃宗超

（中國石油大學（華東）計算機科學與技術學院，山東 青島 266580）

0 引言

目標檢測是計算機視覺領域的基本任務之一，不僅需要對目標進行分類，而且需要預測目標所在位置。目標檢測廣泛應用于日常生活安全、交通場景檢測、遙感圖像檢測、醫學圖像檢測以及自動駕駛等領域。隨著深度神經網絡的高速發展以及深度神經網絡在目標檢測領域的廣泛應用，當前目標檢測算法在計算機視覺領域已經取得了相當不錯的效果［1-3］，然而在實際高精度目標檢測場景下，其檢測精度仍然不能滿足應用需求，對目標實現高精度檢測仍然是目標檢測中具有挑戰性的任務。造成目標檢測困難的原因有兩種：一種是檢測目標較小且數量眾多；另一種是檢測目標高度重疊，因此在檢測過程中極易出現漏檢、誤檢等情況。

近年來隨著深度學習［4-6］的發展，卷積神經網絡被廣泛應用在目標檢測領域，并且取得了一定成果。目標檢測算法主要分為兩大類：基于邊界框回歸的一階段目標檢測算法和基于候選區域的兩階段目標檢測算法。一階段目標檢測算法在產生邊界框的同時對目標進行分類和回歸，如YOLO（You Only Look Once）系 列［7-9］、SSD（Single Shot MuitiBox Detector）［10］以及RetinaNet［11］目標檢測算法。兩階段目標檢測算法首先生成候選區域，再對候選區域進行特征提取，之后對目標分別進行分類和回歸，如區域卷積神經網絡（Region-Convolutional Neural Network，R-CNN）［12］、Fast RCNN［13］以及Faster R-CNN［14］目標檢測算法。上述目標檢測算法盡管在目標檢測中取得了一些進展，但是均采用基于點的邊界框特征表示，該特征感受野有限，缺乏目標邊界信息，不能有效表示目標實例語義信息以進行回歸訓練，而且上述目標檢測算法不能很好地解決中小目標檢測以及目標高度重疊的問題，以致不能實現高精度目標檢測。

針對上述目標檢測算法存在的問題，提出一種基于邊界極限點特征的改進YOLOv3 目標檢測算法。首先，引入一種邊界增強算子Border，自適應地從邊界極限點中提取邊界特征來增強已有點特征，使目標實例特征具有較大的感受野以及較強的目標邊界信息，解決目標高度重疊問題，提高目標檢測的準確率；其次，為解決目標檢測場景下小目標檢測困難的問題，通過增加目標檢測尺度，細化特征圖，增強特征圖深、淺層語義信息融合，進一步提高目標檢測精度；最后，基于目標檢測中改進網絡模型及目標實例特性引入完全交并比（Complete Intersection Over Union，CIoU）函數［15］分析目標物體的尺度敏感性，通過預測框與真實框的重疊面積、中心點距離和長寬比改進原YOLOv3 損失函數，更好地反映預測框和真實框的重合程度，解決邊界框收斂速度慢、召回率低的問題，提高了目標檢測的準確率。MS COCO 數據集［16］上的實驗結果表明，與現有目標檢測算法相比較，改進YOLOv3 算法能夠有效提高目標檢測精度，并且達到實時檢測效果。

1 相關工作

Redmon 等［7-9］基于一階段邊界框回歸策略提出了YOLO系列目標檢測算法，該系列算法在目標檢測中具有實時的檢測效果和較高的檢測精度，受到研究學者的廣泛關注。此后，許多相關的改進算法被提出，并應用于各個領域。然而，在實現高精度目標檢測的同時兼顧檢測速度方面，相關改進算法并不能提出有效的解決方法。

Huang 等［17］提出一種基于密集連接和空間金字塔的改進算法，采用卷積層的密集連接，并引入改進空間金字塔結構加強特征提取，使網絡全面學習目標特征，提高檢測精度；Wu 等［18］利用特征提取網絡輸出特征圖與殘差結構輸出特征圖進行融合，促進目標特征重用與獲取；Liu 等［19］利用圓形邊界框（Circle-Bounding box，C-Bbox）替換傳統的矩形邊界框，改善非極大值抑制計算，同時減少坐標預測，提高目標定位精度；Hsu 等［20］提出比率和尺度感知（Ratio Scale Aware-YOLO，RSA-YOLO）算法，解決目標縱橫比差異較大的問題，提高邊界框收斂速度。

以上改進算法相較于YOLO 系列目標檢測算法在檢測精度上均有提升，但是面對實時高精度目標檢測任務時，都不能在保證對目標進行高精度檢測的同時確保實時性。本文提出一種基于邊界極限點特征的改進YOLOv3 目標檢測算法，在COCO 數據集上驗證了所提算法的高效性。

2 YOLOv3目標檢測算法

YOLOv3 以YOLOv2 為基礎進行改進，在識別速度和精度上有了明顯的提高。YOLOv3 使用Darknet-53［9］全卷積網絡作為骨干網絡進行特征提取，如表1 所示，Convolutional 為卷積層。Darknet-53 包含52 個卷積層和1 個全連接層，并且交替使用大小為1 和3 的卷積核進行卷積，能夠提取豐富的目標實例語義信息；同時Darknet-53 使用了Residual 殘差模塊［4］和批歸一化層（Batch Normalization，BN），解決了因網絡加深而出現的網絡過擬合以及性能下降問題。

表1 Darknet-53網絡結構Tab.1 Darknet-53 network architecture

不同尺度的特征圖感受野具有的語義信息粒度不同，為提高目標檢測精度，YOLOv3 在加深網絡的同時采用特征金字塔網絡（Feature Pyramid Network，FPN）［21］中的金字塔結構，將多種尺度特征圖融合幫助網絡學習不同尺度的特征信息，然后將融合后的特征信息輸入預測層進行多尺度目標預測。FPN 對最后獲得的特征圖進行兩次上采樣，得到三個尺度的特征圖，之后融合特征提取網絡中同尺度的細粒度特征，分別進行三種不同尺度的目標預測。對于輸入大小為416×416 的圖像，特征提取網絡獲得其32 倍下采樣13×13 大小的特征圖，該特征圖具有較大的感受野，包含更加抽象的語義信息，適合大尺度目標檢測。為檢測中等尺度的目標，對大小為13×13 的特征圖進行上采樣得到26×26 大小的特征圖，與特征提取網絡中同尺度特征圖進行深度拼接；同樣，對大小為26×26 的特征圖進行上采樣得到52×52 大小的特征圖，并與特征提取網絡中同尺度特征圖進行深度拼接，得到8 倍下采樣52×52 大小的特征圖，該特征圖感受野最小，適合檢測小尺度目標。

YOLOv3 目標檢測算法采用anchor box 機制分別為3 種尺度的特征圖設置3 種先驗框，如表2 所示，這些先驗框由K-means 聚類算法根據COCO 數據集聚類得到，生成9 種尺寸的先驗框。通過對3 種尺度特征圖進行分類和邊界框回歸，特征圖上的每個網格會根據預先設置的先驗框預測出3個邊界框，每個邊界框包含k個類別的概率、1 個置信度以及4 個邊界框位置回歸參數。每個網格預測輸出（4+1+k）×3 維向量，分別對應預測得到的邊界框位置回歸參數、置信度以及每個類別的概率。

表2 不同尺度先驗框Tab.2 Prior boxes with different scales

YOLOv3 損失函數分為三個部分，包括目標定位損失Lloc、目標置信度損失Lconf以及目標分類損失Lobj，分別如式（1）～（3）所示，YOLOv3 總的損失LYOLO為三個損失之和，如式（4）所示。為更好地進行目標檢測回歸訓練并平衡各項損失的比重，增加較大的權重λloc=5 于坐標損失，對于不含檢測目標的置信度損失給予較小的權重λnoobj=0.5。

其中：s2為劃分圖片的網格數；B為每個網格預測的邊界框數；圖片第i個網格中第j個邊界框負責預測目標時，為1，否則為0；圖片第i個網格中第j個邊界框不負責預測目標時為1，否則為0；圖片第i個網格中存在預測目標時，為1，否則為0。

3 改進YOLOv3目標檢測算法

針對目標檢測場景中待檢測目標數量眾多、目標尺度較小、目標高度重疊等問題，本文改進YOLOv3 目標檢測算法首先引入邊界增強算子Border，增強目標實例特征的目標邊界信息以及感受野信息，解決目標高度重疊問題，提高目標檢測的準確率；其次，增加目標檢測尺度，細化特征圖，增強特征圖深、淺層語義信息的融合，解決目標檢測場景下小目標檢測不易問題；最后，基于目標檢測中改進網絡模型及目標實例特性引入CIoU 函數分析目標物體的尺度敏感性，通過預測框與真實框的重疊面積、中心點距離以及長寬比三個因素改進原YOLOv3 損失函數，更好地反映預測框和真實框的重合程度，解決邊界框回歸收斂速度慢、召回率低的問題，提高目標檢測的準確率。

3.1 邊界特征提取

YOLOv3 目標檢測算法采用基于單點特征的邊界框預測目標，這些邊界框由網格上的每個點進行預測，如圖1（a）所示，由于沒有進行額外的特征提取，這種單點特征便于目標定位與目標分類；但是，較小的點特征感受野不能很好地表示目標實例的語義信息，而且缺少目標邊界信息來更好地進行回歸預測，不能有效解決目標重疊問題。因此，引入邊界特征提取算子Border，直接利用邊界框每條邊的極限點特征以增強原單點特征，如圖1（b）所示，Border 專注于邊界極限點，自適應地提取目標邊界的代表性特征，計算量較小，提升了準確率。

圖1 不同特征提取策略Fig.1 Different feature extraction strategies

與現有的單點特征增強［18-20］技術相比，Border 的計算量更小，檢測速度更快，準確率更高。如圖2（a）所示，圓點為檢測目標的單點特征表示，沒有明確的目標邊界信息，會限制目標檢測算法的定位能力；如圖2（b）所示，從邊界框的整個區域提取特征來增強單點特征，這種操作能夠提供比單點特征表示更加豐富的語義信息，但是計算冗余，容易受到背景特征的干擾；如圖2（c）所示，通過提取邊界框每條邊的全部點特征來增強單點特征，在一定程度上減少了計算冗余，但還是會受到背景信息的干擾；如圖2（d）所示，自適應提取邊界框極值點特征來增強單點特征，能夠科學利用邊界特征精確地定位目標，避免特征計算冗余以及背景信息的干擾。

圖2 不同點特征增強技術Fig.2 Different point feature enhancement techniques

自適應邊界特征提取算子Border 采用具有5C通道的邊界敏感特征作為輸入，輸入特征的其中4C通道分別對應邊界框的四個邊界（上、下、左、右），剩余C通道對應原始的單點特征。Border 的體系結構如圖3 所示，Border 將特征提取網絡13×13×C的輸出特征圖映射為13×13×5C的特征圖作為輸入，對每個邊界均勻采樣N個點，選取其中的最大值作為該邊界的極限點特征對單點特征進行增強，最后將13×13×5C的輸出特征圖降維為13×13×C的特征圖作為YOLO 算法檢測分支的輸入。

圖3 Border結構Fig.3 Border architecture

Border 采用自適應邊界極限點特征提取策略，假設輸入特征的映射順序為點、左邊界、上邊界、右邊界、下邊界，則輸出特征映射F如式（5）所示：

其中：Ic是輸入特征圖；Fc(i，j)是輸出特征圖F的第c個通道第(i，j)個點的特征值；(x0，y0，x1，y1)是點(i，j)的邊界框預測回歸信息；w和h分別是邊界框的寬和高；N是邊界框每條邊的采樣點個數。為了避免量化誤差，對輸入特征圖上的特征值使用雙線性插值算法精確計算每個采樣點的特征值。

3.2 多尺度檢測

YOLOv3 目標檢測算法通過Darknet-53 對目標實例進行特征提取，該網絡共有53 層，利用大小為3 的卷積核進行卷積操作。Darknet-53 經過深層次卷積提取特征后，感受野較大，但是犧牲了空間分辨率，丟失了目標實例語義信息。在目標檢測場景中還存在小目標數量多的問題，這些問題大多依賴于淺層細粒度特征。盡管YOLOv3 通過三個尺度檢測目標，但輸出特征圖維度較低，極易出現漏檢、誤檢，不能很好地解決小目標檢測問題，檢測精度較低。

為了進一步解決目標檢測中小目標檢測難的問題，本文以YOLOv3 網絡結構為基礎，綜合考慮檢測網絡準確率與性能，采用原始網絡圖像輸入大小416×416，對特征提取網絡的13×13 輸出特征圖進行三次上采樣，即在原始網絡結構上增加一個104×104 的檢測分支，與特征提取網絡中相同大小特征圖進行深度拼接，得到4 倍下采樣104×104 大小的特征圖，該特征圖感受野最小，適合檢測小尺度目標。改進后的網絡結構如圖4 所示，采用13×13、26×26、52×52、104×104 四個尺度檢測，細化特征提取網絡輸出，增強特征圖深、淺層語義信息融合，以解決目標檢測場景下小目標檢測難的問題。

圖4 改進后網絡結構Fig.4 Improved network structure

3.3 損失函數

YOLOv3 檢測算法作為端到端的一階段目標檢測算法，損失函數由目標定位、置信度以及分類損失三部分組成，其中目標定位損失使用均方差（Mean Square Error，MSE）損失函數計算。交并比（Intersection over Union，IoU）［7］是目標檢測任務中常用的指標，由于IoU 是比值的概念，對目標物體的尺度不敏感，然而目標定位損失中使用的MSE 損失函數對目標物體的尺度是敏感的，因此在優化過程中目標定位損失優化和IoU 優化不等價。在目標檢測算法中上述目標定位損失存在的問題會導致邊界框回歸收斂速度過慢以及目標檢測定位精度低，不能夠很好地滿足目標檢測任務實時、高精度的需求。

通過分析目標檢測中目標實例特點以及改進網絡結構，本文采用CIoU 函數來計算目標定位損失，CIoU 函數包括預測框與真實框的三個幾何因素，即重疊面積、中心點距離和長寬比，能夠更好地反映重合程度，提高定位準確度，CIoU示意如圖5 所示。

圖5 CIoU示意圖Fig.5 CIoU schematic

CIoU 計算式為：

其中：fIoU是真實框與預測框的交并比；d是真實框與預測框的中心點距離；s是真實框與預測框最小外接矩形對角線的長度；α是平衡參數；v用于計算真實框與預測框的長寬比。v、α計算式如下所示：

其中：wgt與hgt為真實框的寬與高；w與h為預測框的寬與高，因此，目標定位損失函數可以定義為：

4 實驗與結果分析

4.1 實驗方法與設置

在COCO 數據集上驗證本文改進YOLOv3 算法的有效性，其中COCO 數據集包含80 類目標，且小目標居多。為了達到更好的驗證效果，本文使用的評價指標包含：IoU 為0.5∶0.05∶0.9 時的平均精度（Average Precision，AP）；IoU 為0.5 時的平均精度（AP50）；IoU 為0.75 時的平均精度（AP75）；APS、APM、APL分別為小、中、大型目標的AP；每秒檢測的圖像幀數（Frames Per Second，FPS）為目標檢測網絡的檢測速度。

實驗在COCO 訓練集上訓練，在COCO 測試集上測試評估，使用Darknet-53 作為骨干網絡。訓練階段首先利用ImageNet 數據集預訓練的權重初始化骨干網絡，然后參照文獻［9］的實驗環境設置，整個算法迭代次數為9 × 104，初始學習率設置為10-2，分別在6 × 104次和8 × 104次時將學習率降低為原來的1/10，最終學習率為10-4，動量因子為0.9，權重衰減系數為10-4，采用隨機梯度下降法優化損失函數。

4.2 邊界增強算子Border實驗與分析

邊界增強算子Border 首先需要對目標邊界框每條邊進行均勻多點采樣，之后自適應選取每條邊界最大值作為極限點。采用實驗分析采樣點個數對目標檢測算法性能的影響，比較不同采樣點大小下算法的檢測性能，實驗結果如表3 所示。當采樣點個數為0 時，實驗結果等價于YOLOv3 算法性能；當采樣點個數較少時，檢測精度提升較小且效果不穩定；當采樣點個數較多時會導致額外的計算量，精度提升較大但檢測速率較慢。因此，最終設置10 為采樣點個數，此時精度提升較大且檢測速率較快。

表3 不同采樣點個數下算法性能對比Tab.3 Comparison of algorithm performance under different number of sampling points

為了驗證本文采用的Border 的效果，提供了對圖2 不同單點特征增強技術的更深層次分析。首先，采用YOLOv3 目標檢測算法在COCO 數據集上的檢測結果作為基線；隨后依次采用圖2 中展示的特征增強技術驗證單點特征的增強結果。如表4 所示，邊界框區域特征Fregion能夠顯著增強單點特征，使用區域特征對單點特征進行增強，AP 較YOLOv3 提高1.8 個百分點；當邊界框區域特征用于增強單點特征時，邊界特征FBorder在區域特征中起主要作用，如果忽略邊界框區域特征的內部區域只引入邊界特征，相較于Fregion，AP 只下降0.3 個百分點；與Fregion相比，邊界極限點特征Fmax能夠在采樣點N較少的情況下達到相近的性能，在某些情況下更優。對于目標檢測，使用邊界框區域或者邊界特征進行特征增強是冗余的。因此，對于目標的特征表示，本文引入的自適應提取邊界極限點特征來增強單點特征的策略能夠更好地提高目標檢測器的性能。

表4 不同特征增強技術效果對比Tab.4 Comparison of effect of different feature enhancement techniques

4.3 消融實驗與分析

本文提出的基于邊界極限點特征的改進YOLOv3 目標檢測算法采用Border、增加檢測尺度以及損失函數優化的方法提高目標檢測算法的檢測效果。為了驗證本文算法對于高精度目標檢測的有效性，選取各個改進模塊進行消融實驗，結果如表5 所示。從表5 的實驗結果可知，在使用Border后，AP 較YOLOv3 提高了1.7 個百分點，表明使用Border 后檢測目標特征被增強，具有明顯的邊界特征，提升了檢測效果。在使用增加檢測尺度的方法后，APS提升1.1 個百分點，APM提升0.8 個百分點，APL提升0.3 個百分點，表明增加檢測尺度后，增強了特征圖深淺層語義信息融合，顯著提高了檢測算法對中小目標的檢測效果，驗證了增加檢測尺度方法的有效性。優化損失函數后，AP75相較AP50提升較大，表明該模塊能夠顯著提高檢測框的召回率，提高目標定位準確度，改善檢測效果。通過三大模塊結合進行實驗獲得了最好的性能，AP 相較于YOLOv3 原模型提高了3.9 個百分點，表明本文的改進算法對目標檢測的高精度檢測是有效的。

表5 不同模塊消融實驗結果對比 單位：%Tab.5 Comparison of ablation experiment results of different modules unit：%

4.4 不同算法對比實驗與分析

為驗證本文提出的改進YOLOv3 目標檢測算法的檢測效果，采用當前較為先進的目標檢測算法與改進YOLOv3 目標檢測算法在COCO 數據集上進行對比。其中：Faster RCNN+++［4］、Cascade RPN（Cascade Region Proposal Network）［22］、Faster R-CNN by G-RMI（Google-Research and Machine Intelligence）［23］、TDM（Top-Down Modulation）［24］均為Faster RCNN 的改進算法，對大目標的檢測效果較好；SSD513［10］、DSSD 513（Deconvolutional Single Shot Detector）［25］、EfficientDet-D0［26］算法具有較好的穩定性；YOLOv3+ASFF*（Adaptively Spatial Feature Fusion）［27］、交互的目標檢測與實例分割網絡（Reciprocal Object Detection and Instance Segmentation Net，RDSNet）［28］、高效特征化圖金字塔（Efficient Featurized Image Pyramid，EFIP）［29］、M2Det［29］具有較好的檢測效果，且對中小目標檢測精度較高。

如表6 所示，本文算法的AP 為36.6%，相較于其他算法精度更高；AP75為37.8%，表明其召回率較高，相比其他算法具有更好的目標定位準確度；APS和APM分別為21.7%和38.5%，表明其在中小目標檢測方面也優于其他目標檢測算法。從表6 中也可以得知，相較于YOLO 系列目標檢測算法，本文算法的AP 提高了3.9 個百分點，具有更好的檢測效果；相較于EfficientDet-D0、YOLOv3+ASFF*以及RDSNet 算法，本文算法在小、中尺度目標檢測效果較好；相較于R-CNN 系列目標檢測算法，本文算法的檢測效果更優。因此，相較于對比算法，本文算法更具優勢，能夠提高綜合的目標檢測效果，具有很大的前景優勢。

表6 不同算法檢測效果對比 單位：%Tab.6 Detection effect comparison of different algorithms unit：%

圖6 展示了本文改進算法在COCO 數據集中對目標的檢測效果，從圖中可以看出本文檢測算法能夠很好地對目標進行定位，具有較高的定位準確度；同時也可以看出，本文算法能夠準確地識別出物體的類別，具有較好的檢測效果。

圖6 預測效果展示Fig.6 Predictive effect display

5 結語

為了滿足目標檢測實景條件下對于目標檢測算法中實時性以及高準確性的要求，盡可能避免誤檢、漏檢情況，本文提出一種基于邊界極限點特征的改進YOLOv3 目標檢測算法，引入一種邊界增強算子Border，增加目標檢測尺度以及損失函數改進，提高了算法的準確度和收斂速度。實驗結果表明，相較于其他目標檢測算法，本文提出的改進YOLOv3目標檢測算法能夠更好地提取目標實例語義信息，獲得較好的檢測效果。在未來的目標檢測算法研究中，將進一步優化目標檢測網絡模型，提高檢測精度，加快檢測，結合當前深度學習先進技術進一步提升檢測效果，利用改進的目標檢測算法解決生活中更加復雜的目標檢測難題。