基于錨框的高效單層特征目標檢測

崔小同 王博 李安琪

收稿日期：2023-04-16

DOI：10.19850/j.cnki.2096-4706.2023.22.009

摘? 要：目標檢測廣泛應用在公共場合的智能監控、自動駕駛與計算機輔助診斷等領域。文章提出了單層特征目標檢測替代復雜的特征金字塔結構，從而提升模型的推理速度和預測精度。在模型搭建過程中，瓶頸特征結構采用了單層空洞殘差編碼器，樣本選擇采用了統一匹配機制，并采用了任務對齊檢測器。在COCO（Microsoft Common Objects in Context）數據集下，大量實驗證明該方法的有效性，以ResNet50為基準，預測精度達到了38.2 mAP，比RetinaNet的推理速度快1.4倍，精度提高2.3 mAP。該模型具有推理速度快、預測精度高等特點，可以應用在許多特定場景中。

關鍵詞：目標檢測；單層特征；特征金字塔；編碼器；任務對齊

中圖分類號：TP391.4? 文獻標識碼：A? ? 文章編號：2096-4706（2023）22-0040-05

Efficient Single Layer Feature Target Detection Based on Anchor Box

CUI Xiaotong， WANG Bo， LI Anqi

（Liaoning Petrochemical University， Fushun? 113001， China）

Abstract： Object detection is widely used in fields such as intelligent monitoring， autonomous driving， and computer-aided diagnosis in public places. This paper proposes a single-layer feature object detection method to replace the complex feature pyramid structure， in order to improve the inference speed and prediction accuracy of the model. During the model building process， a single-layer cavity residual encoder is used for the bottleneck feature structure， unified matching mechanism is used for the sample selection， and a task alignment detector is used. Under the COCO （Microsoft Common Objects in Context） dataset， a large number of experiments have demonstrated the effectiveness of this method. Based on ResNet50， the prediction accuracy reaches 38.0 mAP， which is 1.4 times faster than RetinaNet's inference speed and improves the accuracy by 2.3 mAP. This model has the characteristics of fast inference speed and high prediction accuracy， and can be applied in many specific scenarios.

Keywords： object detection; single layer feature; feature pyramid; encoder; task alignment

0? 引? 言

目標檢測旨在視頻或圖像中分類并定位出感興趣的物體。伴隨著深度學習的發展，目標檢測廣泛應用在人臉識別、車輛識別、智能監控等領域。由于CPU、GPU等硬件的提升，人們對目標檢測的預測精度、推理速度和泛化能力有更高的要求以適應多種特定的場景。在眾多的相關算法如RetinaNet[1]、FCOS[2]、YOLOX[3]等。特征金字塔[4]由于有效提升目標檢測的預測精度，從而作為一個核心模塊被廣泛使用。特征金字塔的優勢得益于它的分治法，但也是導致模型推理速度慢的主要因素。基于錨框方式[5-9]的YOLOF模型[10]采用了單層特征的方法，提升了推理速度但是檢測精度的效果普通。但是YOLOF給我們提供了一種新的思路采用單層特征進行目標檢測，并驗證單層特征C5包含有足夠的語義信息。平衡推理速度和檢測精度是目標檢測的一直追求的目的。

1? 目標檢測模型

1.1? 整體設計

圖1為本文的整體架構，主要包含三個部分：骨干網絡（Backbone）、編碼器（Encoder）和解碼器（Decoder）。輸入圖像生成數據，經過數據增強策略Mosaic和Mixup，Mosaic將圖片數據隨機裁剪、縮放后再排列拼接形成新的圖片。Mixup將多個圖像對象進行融合來增加數據量。增強的圖像數據輸入骨干網絡進行特征提取。網絡主要以ResNet 50為基線，ResNet 50網絡共有50個卷積層。將提取的單層特征輸入編碼器結構中，進行特征融合獲取語義信息表示，并返回較好的單層語義特征。解碼器在單層特征上進行檢測，包括目標的種類與位置，解碼器結構采用解耦頭設計。

1.2? 空洞殘差編碼器

在編碼器階段采用了主干網絡提取的單層特征C5加速推理速度。相比特征金字塔結構包含多個不同大小感受野的特征層，單個C5層特征的感受野僅僅包含特定的尺度范圍。目標尺度與感受野不匹配將會導致檢測效果下降。為了彌補與FPN多層特征的差距，設計了空洞編碼器。起初設計從疊加標準卷積和空洞卷積來擴充單個C5層特征的感受野。在一定程度上，該層所覆蓋的尺度范圍有所提升。使用空洞卷積會使尺度范圍向更大尺度進行移動，這是擴展感受野的常用辦法，但并未覆蓋原有的尺度。加入殘差模塊后將覆蓋所有對象的尺度范圍。

基于上述思想，設計如圖2所示，在映射模塊中，先使用1×1的卷積層進行投影，來減少通道緯度。然后增加3×3卷積層來細化特征層的語義表示。在殘差模塊中，使用空洞殘差模塊擴大感受野來覆蓋多個尺度范圍。先使用1×1的卷積模塊來降低緯度，3×3的空洞卷積模塊進行擴展感受野，再使用1×1卷積模塊進行提升緯度，最后與捷徑分支進行累加。經過實驗發現，當空洞殘差模塊的數量為8時，精度還能提升。在精確度與推理速度的平衡下，空洞殘差模塊的數量為6，空洞率分別為1、2、3、4、6與8更為合適。

1.3? 任務對齊檢測頭

目標分類和定位的任務有不同的目標，因此關注不同類型的特征。如圖3所示為三個任務對齊檢測器結構（TAP）設計，TAP中提出了一個層級注意力機制，動態的計算此類特定任務的特征來推動任務解耦。

瓶頸特征網絡輸出的特征經過卷積后輸出N層特征X inter ∈ RH×W×C，其中H、W、C分別為高度、寬度和通道數。首先將N層特征X inter經過層級注意力機制，按照通道進行拼接生成特征圖NC×H×W。然后進行平均池化操作、全連接操作與Sigmoid操作將特征從NC×H×W降為NC×1×1。然后對特征進行全連接操作與Sigmoid激活操作得到層級的權重w ∈ RN，w通過跨層任務交互特征計算得出，能夠獲取層之間的依賴關系。權重公式如式（1）所示，其中fc1和fc2指的是兩個全連接層。δ是一個Sigmoid函數，x inter是對X inter應用平均池化后拼接得到的：

（1）

然后將權重與頸部特征結構輸出的N層特征X inter相乘。如式（2）所示，其中wk是層注意力機制輸出權重的第k元素：

（2）

N層特征? 進行拼接操作得到X task，再經過卷積操作與Sigmoid操作得到H×W×80（80是分類目標的數目）大小的特征圖Z task。最后特征圖與單層特征X經過卷積操作得到H×W×1的空間注意力權重進行累加，最終輸出H×W×80的分類特征P ∈ RH×W×80，目標邊界框特征B ∈ RH×W×4與中心置信度特征C ∈ RH×W×1。本模型通過調整P、B和C三個預測的空間概率得分圖來對齊分類、中心置信度與回歸任務。不同于經典的檢測頭分支依據提取的定位信息或分類信息來獲取中心置信度從而調整模型的分類預測，本模型通過交互特征聯合考慮三個任務來對齊三個預測。通過空間概率得分布圖M ∈ RH×W×1與Z task相乘來調整分類與中心置信度的特征，其中空間概率得分圖M是從交互特征中經過卷積、激活與拼接操作計算出來，來拉近三個任務之間空間位置分布圖。同時，為了更精準的對齊定位預測，模型從三個任務的交互特征中學習空間偏移圖O ∈ RH×W×8，對所有位置的預測框進行微調操作。如式（3）所示，其中索引（i，j，c）為第c通道的空間位置（i，j）特征：

（3）

本模型采用的實現方法是雙線性插值。各通道獨立地進行學習從而生成偏移量，讓每一個樣本都能從附近特征學習到精確的定位。由于B的通道維度很小，從而計算開銷可以忽略不計。任務對齊檢測頭具有模型推理速度快與預測精度高的優勢。

1.4? 統一匹配機制

混合損失函數包含三個部分：回歸損失、分類損失和置信度損失。回歸損失Reg部分：獲取真實框對應特征點的預測框。計算真實框和預測框的DIoU損失，作為Reg部分的Loss組成。如式（4），其中ti為真實框的坐標，pj為預測框的坐標，IoU為計算兩框的交并比，ρ為計算兩框中心坐標的歐式距離，c為包住真實框與預測框最小方框的對角線距離。

（4）

置信度損失obj部分：所有真實框對應的特征點特定區域內是正樣本，剩余的特征點均為負樣本，根據正負樣本和特征點是否包含物體的預測結果計算交叉熵損失，作為obj部分的Loss組成。如式（5），其中ti為特征點包含物體的真實值，pj為特征點包含物體的預測值。

（5）

分類損失cls部分，所有真實框對應的特征點特定區域內是正樣本，取出該特征點的種類預測結果，根據真實框的種類和特征點的種類預測結果計算交叉熵損失，作為cls部分的Loss組成。混合損失函數的計算式如式（4），其中Lcls為回歸損失，Lreg為分類損失，Lobj為置信度損失，Npos為正樣本數量。

（6）

2? 實驗與結果分析

2.1? 數據集

本文的實驗部分選擇了COCO數據集（Microsoft Common Objects in Context， MS COCO），它是由微軟團隊提出的一個大規模目標檢測、語義分割、關鍵點檢測等經典計算機視覺數據集。MS COCO主要由圖片和JSON標簽文件組成。本實驗采用了2017版本進行訓練。COCO 2017數據集包括了訓練集118 287張、驗證集5 000張和測試集40 670張圖片。目標檢測共有80個類別。包含各種尺寸的物體。部分對象存在遮擋和噪聲。COCO中單張圖片的平均目標個數是PASCAL VOC數據集的3倍左右。

2.2? 評價指標

精準度：0.5 IoU的平均精度均值（mean AP， mAP）

速度：每秒處理幀數（Frames Per Second， FPS）

COCO的評價指標相對VOC更嚴格，采用了多IoU評估方法更關注邊界框的準確性。

在閾值設置方面COCO將其分為以0.5為起始值，0.95為終止值，間隔為0.05的10個值。通過計算不同閾值的平均精度來確定度量標準，更能反映檢測算法的綜合性能。此外，COCO還分別計算了大、中、小3類物體的平均精度，來衡量檢測器檢測不同尺度目標的性能。

2.3? 對比實驗

表1中顯示了不同模型在COCO數據集上的平均準確率和推理速度。本模型和其他模型在相同的主干網絡和相同實驗環境下進行比較。在相同主干網絡ResNet 50上，比YOLOF提高了0.5 mAP，單張圖片的推理速度比RetinaNet快1.4倍。可以看出本文提出的模型獲得了更佳的性能。

2.4? 消融實驗

2.4.1? 殘差模塊數量分析

空洞殘差模塊的數量影響該模型的實驗結果。更多的空洞殘差模塊帶來更多的增益。疊加模塊可以增大特征層感受野的尺度范圍。同時也帶來了模型復雜性的提升、存儲負擔的加重和推理速度的減慢。如表2所示，隨著空洞殘差模塊疊加數量的增加，預測精度大體呈上升趨勢。為平衡實驗的準確性和推理速度，模型默認使用空洞殘差模塊的數量為6。

2.4.2? 檢測頭消融分析

實驗對比如表3所示，相比YOLOF采用的檢測頭結構，本文的任務對齊檢測頭TAP在平均精度上提升了0.2 mAP，IoU為0.5的平均精度上提升0.1 mAP，IoU為0.75的平均精度提升了0.1 mAP，小目標檢測保持平衡提升了0.1 mAP、中目標檢測提升了0.4 mAP，大目標的檢測提升了0.3 mAP。采用了任務對齊檢測頭有效地提升了模型預測精度，表現突出的是對中大型目標的檢測。

2.4.3? 樣本選擇策略

如表4所示，與樣本匹配策略Max-IoU和ATSS進行比較，Uniform Mathing更適合基于錨框的方式，用來解決正樣本在大小樣本匹配不平衡問題，取得的預測精度更高。

3? 結? 論

上文分析可知，基于錨框的高效單層特征目標檢測方法在COCO數據集中取得很高的精度，本文的核心思想是在模型搭建過程中，用單層特征目標檢測取代復雜的特征金字塔結構結構，用空洞編碼器結構來獲取可檢測不同尺度目標的單層特征。改進正負樣本匹配策略來擴充正樣本的數量。模型簡單、易于擴展、推理速度快和預測精度高。

參考文獻：

[1] LIN T Y，GOYAL P，GIRSHICK R，et al. Focal Loss for Dense Object Detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

[2] DUAN K W，BAI S，XIE L X，et al. CenterNet： Keypoint Triplets for Object Detection [C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）.Seoul：IEEE，2019：6568-6577.

[3] GE Z，LIU S T，WANG F，et al. YOLOX：Exceeding YOLO Series in 2021 [J/OL].arXiv：2107.08430 [cs.CV].[2023-03-18].https：//arxiv.org/abs/2107.08430.

[4] LIN T Y，DOLLAR P，GIRSHICK R，et al. Feature Pyramid Networks for Object Detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：936-944.

[5] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：580-587.

[6] HE K M，ZHANG X Y，REN S Q，et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1904-1916.

[7] GIRSHICK R. Fast R-CNN [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1440-1448.

[8] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN： towards real-time object detection with region proposal networks [J/OL].arXiv：1506.01497 [cs.CV].[2023-03-18].http：//aps.arxiv.org/abs/1506.01497v2.

[9] CAI Z W，FAN Q F，FERIS R S，et al. A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection [C]//Computer Vision–ECCV 2016.Amsterdam：Springer，2016：354-370.

[10] CHEN Q，WANG Y M，YANG T，et al. You Only Look One-level Feature [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021：13034-13043.

作者簡介：崔小同（1996—），男，漢族，河南信陽人，碩士在讀，研究方向：深度學習、目標檢測。