一種迭代聚合的高分辨率網絡Anchor-free目標檢測方法

王新，李喆，張宏立

（1.新疆大學電氣工程學院，烏魯木齊 830047； 2.新疆大學網絡與信息技術中心，烏魯木齊 830046）

目標檢測是圖像處理和計算機視覺研究中重要的研究方向，有廣闊的應用領域，如自動駕駛、視頻智能監控及災害檢測等。

傳統目標檢測方法提取目標的特征，如SIFT［1］、HOG等，采用滑動窗口提取建議框，易受外界環境干擾，難以提取魯棒性強的特征，因此速度慢、魯棒性差。深度卷積神經網絡算法的進步，推進了目標檢測領域的研究。基于卷積神經網絡的目標檢測方法可以歸納為2類，即兩階段目標檢測方法和單階段目標檢測方法［2］。兩階段目標檢測方法先生成輸入圖像的建議框，然后對建議框進行分類和位置回歸操作，最終得到檢測結果。R-CNN［3］將卷積神經網絡應用于目標檢測，對圖像進行Selective Search后得到約2 000個特征框，使用卷積神經網絡對其進行特征提取，最終通過SVM 分類器和回歸器對特征進行處理，得到檢測結果。由于Selective Search的過程耗費大量時間，輸出特征框有大量重復，導致R-CNN模型速度慢、效率低。Fast R-CNN［4］通過共享卷積神經網絡提取的特征，即對圖像只進行一次卷積特征提取，降低了重復的計算過程，減少計算量的同時提高了檢測精度，但未能達到實時檢測的性能，訓練方式仍十分繁瑣。Faster R-CNN［5］通過區域推薦網絡（Region Proposal Network，RPN）輔助生成可能存在目標物體的建議框代替了Selective Search建議框提取方式，將建議框的特征送入檢測網絡，檢測物體的類別和邊框。

兩階段目標檢測方法雖然明顯地提高了檢測精度，但是因其訓練方式繁瑣、速度慢，在實時性要求較高的場景下難以實際應用。單階段目標檢測方法取消了區域推薦的步驟，通過卷積神經網絡直接得到目標的類別和位置，一般情況下速度比兩階段的目標檢測方法快。Yolo［6］、SSD［7］是經典的基于錨點的單階段目標檢測方法。Yolo將輸入圖像劃分為多個網格，通過在網格上放置錨點框進行目標檢測，錨點框的大小和高寬比作為超參數通過聚類方式獲得。SSD通過提取不同分辨率的特征圖進行檢測，在特征圖上放置錨點框完成目標檢測任務。

Anchor-free的目標檢測方法是一類新型的單階段目標檢測方法。Anchor-based的目標檢測方法依賴錨點框進行檢測，但是錨點框的應用帶來了許多弊端，如超參數過多、正負樣本不平衡。此外，Anchor-based的檢測方法為了消除重復的目標框引入了非極大抑制方法（Non-Maximum Suppression，NMS），這增加了方法的復雜性、計算量，從而降低了方法的檢測速度。Anchor-free的目標檢測方法不需要設定錨點框，直接通過學習輸入圖像的關鍵特征進行檢測。CornerNet［8］改變了傳統的對物體邊框進行預測的思路，將目標檢測預測物體框的問題轉化成對物體左上角和右下角的預測進而得到檢測結果，但檢測速度慢。FCOS［9］通過對特征圖像素級的回歸操作，回歸像素點到目標框的left、top、right、bottom邊之間的距離得到輸入圖像的檢測結果，像素級的操作也帶來了檢測速度慢的問題。ExtremeNet［10］通過熱力圖檢測對應物體的4個極值點和中心點，并通過幾何關系對關鍵點進行分組，進而得到結果。CenterNet（Objects as Points）［10-11］將目標看作物體的中心點，并通過估計目標中心點檢測物體，使用回歸方法直接得到物體的類別、寬高。訓練和測試階段無需NMS、RPN等，CenterNet很好地平衡了檢測速度與精度，簡潔有效。本文基于CenterNet提出了一種精度高、具有一定實時性的通用目標檢測方法CenterNet-DHRNet。為了減少圖像空間位置信息的損失，設計了一種深度特征聚合的高分辨率表征的網絡結構；同時，為了提高網絡對不同尺度物體的檢測效果引入空間金字塔池化，并用注意力機制提升檢測效果。

圖1 標注示意圖Fig.1 Schematic diagram of annotation

1 Center Net目標檢測方法

圖2 CenterNet總體結構Fig.2 Architecture of CenterNet

2 Center Net-DHRNet目標檢測方法

2.1 迭代聚合的高分辨率表征網絡設計

分類網絡會串聯卷積或者由卷積操作構成的特征提取模塊，相鄰模塊之間會存在一個下采樣過程，輸出含有豐富語義信息的低分辨率特征圖進行分類，如VGGNet［15］、ResNet等。這個過程對圖像識別任務來說效果顯著，但對檢測任務中輸出的低分辨率特征圖來說，盡管擁有豐富的高層語義特征，卻損失了大量的空間特征。ResNet18對輸入圖像進行32倍的下采樣，輸入圖像中存在的2個相鄰物體經過32倍的下采樣后會處在同一個特征點中，很難檢測區分出來。輸入圖像中的物體如果是32×32的小目標或者更小，在經過32倍的下采樣后會變成一個像素點甚至消失，難以提取特征進行檢測。因此，本文提出了一種基于深度特征聚合的高分辨表征網絡CenterNet-DHRNet。引入的高分辨表征網絡（HRNet）［16］可以在整個網絡的特征提取過程中保持高分辨率的表征，并逐步增加并行的子網。并行子網的分辨率逐步由高到低，形成不同分辨率的特征圖。包含4個并行子網的網絡結構示例如下所示：

式中：Nsr為第s階段的子網，其分辨率是第一階段子網的1／2r-1。網絡提取到的高分辨率特征圖適合目標定位和小尺度目標的檢測，低分辨率特征圖適合目標分類和大尺度目標的檢測。HRNet在不同分辨率的子網之間并行地連接，反復利用不同子網提取的特征圖進行多尺度的特征融合，有效利用了不同分辨率的特征圖，對Heatmap的預測效果會更好。

本文為更好利用不同分辨率的并行子網，改進了HRNet最后的特征融合方式。HRNet將低分辨率特征圖上采樣到與高分辨率特征圖相同尺度后，再將4個特征圖進行Concat操作，如圖3所示。

圖3 原始HRNet的特征融合方式Fig.3 Feature fusion method of original HRNet

原網絡雖然利用了不同分辨率的特征，但融合方式過于簡單不能充分利用不同分辨率的特征。因此，使用迭代聚合的特征融合方式，如圖4所示。這種特征融合方式充分利用了各個尺度的語義信息，將低分辨率的特征通過迭代聚合的方式與高分辨率的特征進行融合，可以最大化地利用骨干網絡提取的特征信息，從而對Heatmap有較好的預測結果，迭代聚合的公式為

圖4 迭代聚合的特征融合方式Fig.4 Feature fusion method of iterative aggregation

式中：G為聚合節點；x1，x2，…，xn為聚合節點的輸入。此外迭代聚合的特征融合方式較原方法增加了網絡的深度，提高了對困難樣本的學習能力。由于聚合節點輸入特征圖的尺寸不同，為了融合不同尺寸的特征圖，需要統一不同特征圖的尺度。本文采取的方法是通過轉置卷積將低分辨特征圖上采樣到與高分辨率特征圖相同的尺寸。轉置卷積相比基于插值的上采樣方法，可以通過訓練參數的方式達到更好的上采樣效果。

2.2 高效通道注意力機制

HRNet網絡可以充分提取圖像特征，網絡可以輸出4種不同尺度的特征圖，但其中有對最后檢測結果有效的特征，也有大量干擾最后檢測效果的特征。為了抑制無效特征，增強有效特征，讓網絡能自主區分不同特征圖通道之間的關聯性和有效性來提升檢測效果，本文引入了高效通道注意力機制ECA-Net［17］。ECA-Net與SENet［18］同屬于通道注意力機制，但ECA-Net引入的參數更少，不僅引入的額外計算很少幾乎可以忽略，而且效果更突出。首先，和SENet一樣進行Squeeze操作，具體是通過全局平均池化獲取每個通道的全局特征，輸出的全局特征的維度為C×1×1，C為通道數目，通道的全局特征反映了通道特征圖之間的關聯性和有效性。不同于SENet使用2個全連接層（降維過程和升維過程）來學習通道之間的非線性關系，ECA-Net則是直接使用一維卷積獲取局部通道之間的關系，避免了對特征進行降維。降維過程會造成關鍵信息的損失而且2個全連接層的使用也帶來了一定的參數量和計算量。因此，ECA-Net在增加極少計算量和參數量的情況下，效果仍然比SENet出色。接著，使用Sigmoid激活函數輸出反映通道重要性和關聯性的維度為C×1×1的新權值。最后，使用得到的新權值與輸入的特征圖進行乘積運算，完成對通道特征權值的重分配，抑制無效特征，增強有效特征。圖5為ECA-Net的示意圖。一般網絡在加入注意力機制時通常是串行地疊加使用，即在大部分卷積層后面加注意力機制。由于高分辨表征網絡具有多個并行子網的特殊性，本文僅在每個子網最后的輸出部分并行地添加ECA注意力機制，避免了串行疊加使用注意力機制造成過多的參數和計算開銷的問題，又保證了注意力機制的效果。

圖5 高效通道注意力機制Fig.5 Efficient channel attention network

2.3 多尺度感受野設計

在目標檢測任務中有不同尺度、不同類別的物體，也有相同類別但尺度不同的物體。由于距離相機遠近不同，即使是相同類別的物體也會有較大尺度上的差別，這就要求檢測方法能適應檢測對象不同尺度的變化。受deeplabv3+［19］啟發，本文設計空洞卷積空間金字塔池化并加入注意力機制（Essp）提高檢測器對多尺度物體的檢測效果。

空洞卷積［20］是對常規卷積操作的一種改進，常規卷積操作是圖像對應位置像素的權重之和，如3×3大小的常規卷積的感受野為9?？斩淳矸e則是在每個卷積核的采樣點之間添加間隔。3×3大小的空洞卷積由于在采樣點之間添加了間隔，其感受野相比于常規卷積會得到提高并且計算量與常規卷積相同?？斩淳矸e感受野計算如下：

式中：K為空洞卷積的感受野；rate為空洞卷積率；k為卷積核大小。

空洞卷積增加了感受野，而特征金字塔池化則是將不同空洞率的空洞卷積輸出值即多種尺度感受野的特征圖通過Concat的方式結合起來。由于提取了多種尺度的感受野特征圖，特征金字塔可以提高對不同尺度物體的檢測效果。Concat之后使用ECA-Net注意力機制優化輸出結果。圖6為Espp結構圖?？斩淳矸e的空洞率設為1、2、3、6。

圖6 Espp結構Fig.6 Structure of Espp

本文將Espp應用于16倍下采樣特征圖中。32倍下采樣特征圖大小為16×16，常規卷積對其感受野已經足夠大，不需要Espp提升感受野。為了不過度增加參數量和計算量，在4倍下采樣特征圖和16倍下采樣特征圖處不使用Espp。本文所提CenterNet-DHRNet方法結構如圖7所示。

圖7 CenterNet-DHRNet方法結構Fig.7 Structure of proposed CenterNet-DHRNet algorithm

3 實驗結果和分析

3.1 網絡訓練

為了驗證本文提出的CenterNet-DHRNet方法的有效性，在PASCAL VOC 2007和PASCAL VOC 2012目標檢測數據集上進行實驗。

實驗條件：操作系統為Ubuntu 18.04，深度學習開發環境為Pytorch0.4.1，CPU為i5-9600K，內存大小為32 GB，GPU為NVIDIA GTX 1080Ti，顯存為11 GB，CUDA9.0，CuDNN7.0。

訓練過程：使用Adam優化器進行優化訓練。訓練時利用圖像翻轉、平移、縮放等方法進行圖像增強，輸入網絡的圖像分辨率統一縮放為512×512。在訓練過程中使用逐步下降的學習率，初始學習率為1.25×10-4，在55Epoch和80Epoch下降為之前的1/10，訓練110Epoch，Batch size設為8。CenterNet-DHRNet方法使用遷移學習的方式進行訓練，將HRNet作為基礎的特征提取網絡，先使用HRNet在Imagenet上的預訓練權重初始化網絡的參數，再對網絡整體進行訓練。PASCAL VOC是一個通用目標檢測數據集，包含20個類別，被廣泛用于驗證目標檢測方法。CenterNet-DHRNet在PASCAL VOC 2007的訓練集驗證集和PASCAL VOC 2012的訓練集驗證集上訓練，最后使用PASCAL VOC 2007的測試集進行測試，訓練圖像16 551張，測試圖像4 952張。

3.2 損失函數

對于熱力圖中心點預測分支，由于每個目標的中心點只有一個，非目標中心的點卻有很多，造成正負樣本分布不平衡的問題，故使用改進的Focal-loss［21］損失函數解決正負樣本分布不均的問題，如下所示：

式中：λsize、λoff為對應損失函數的權重系數，分別為0.1、1。

3.3 實驗結果

評價指標：評價指標為平均精度（Average Precision，AP），平均精度可以綜合地反映檢測器的性能，用AP評價單個類別的檢測結果。對多個類別的檢測效果使用平均精度均值（mean Average Precision，mAP）進行評價。AP、mAP的值越高，表示檢測器的性能越好。交并比（Intersection over Union，IoU）的閾值為0.5，即認為IoU大于0.5的檢測結果是檢測成功的。使用每秒幀數（Frame Per Second，FPS）評價檢測速度。

在PASCAL VOC數據集上，本文將所提出的CenterNet-DHRNet方法與當前性能優秀的方法進行對比，對比方法中包括兩階段目標檢測方法和單階段目標檢測方法。如表1所示，CenterNet-DHRNet方法相比于當前流行的SSD300、Yolov3方法在mAP指標上分別提高了4.7%和2.6%。CenterNet-DHRNet檢測效果比DSSD［22］好的同時檢測速度也大幅領先；在相同輸入圖像分辨率下，較原論文［11］在PASCAL VOC 2007數據集上的最好表現CenterNet-DLA的結果提高了1.2%，檢測速度不及CenterNet-DLA，但都達到了實時檢測的性能要求；在只損失3幀的情況下比未改進的CenterNet-HRNet提升了2.9%。

表1 PASCAL VOC數據集測試結果Table 1 Test results of PASCAL VOC dataset

網絡的訓練時間和模型復雜度如表2所示。

表2 PASCAL VOC數據集上訓練時間、模型復雜度對比Table 2 Comparison of training time and model complexity on PASCAL VOC dataset

由于本文方法CenterNet-DHRNet的網絡結構更復雜，導致了訓練時間增加和模型復雜度提高。

網絡的Loss曲線如圖8所示，網絡在110Epoch后Loss值收斂。由于本文方法CenterNet-DHRNet的網絡結構比CenterNet-HRNet復雜，在前期訓練的訓練過程中Loss值較大；其特征提取能力強于后者，因此網絡的收斂性要比后者好，最終收斂值好于后者。

圖8 Loss曲線對比Fig.8 Comparison of loss curve

表3列舉了不同方法在PASCAL VOC數據集上每個類別的AP，其中加粗的數據為對比結果中的最佳值。CenterNet-DHRNet在單個類別的AP對比中，只有一個電視類別比CenterNet-DLA低0.1%，20種類別中有13種優于其他經典方法中的最好結果，說明該方法性能和魯棒性優秀，整體性能得到提高。由于盆栽植物類別數據量少、尺度變化大且小尺度目標的數量多，大多方法對其檢測效果都不理想。而本文方法在對比盆栽植物中的表現遠遠優于其他方法，精度達到了59.0%，說明本文設計的高分辨率網絡能較好保留空間語義信息，迭代聚合的特征融合方式又充分利用這些保留的信息，從而進一步提升了檢測效果。在對比椅子、餐桌等容易受到遮擋的類別結果中同樣優于其他方法，說明網絡的特征提取能力強，相較于其他方法能較好地排除干擾特征檢測受遮擋的物體，具有良好的魯棒性。

表3 不同方法在PASCAL VOC數據集上每個類別的AP比較Table 3 AP comparison of differ ent algorithms for each category on PASCAL VOC dataset

檢測結果的可視化對比如圖9所示。圖9（a）、（b）分別為原CenterNet方法在PASCAL VOC數據集上的可視化熱力圖和檢測結果。圖9（c）、（d）為本文CenterNet-DHRNet方法的可視化結果。顯然，本文方法所生成的熱力圖比原CenterNet方法所生成的熱力圖要清晰、明確。圖9（a）中的熱力圖模糊，產生了漏檢和誤檢問題。圖9（c）中的熱力圖清晰、準確，正確地檢測出了每個目標。對比圖9（d）和（b），可以看出本文方法很好地解決了原CenterNet方法存在的漏檢、誤檢問題。

圖9 CenterNet-DHRNet與原CenterNet在PASCAL VOC數據集上結果對比Fig.9 Comparison of results between CenterNet-DHRNet and original CenterNet on PASCAL VOC dataset

本文在PASCAL VOC數據集上進行消融實驗，表明CenterNet-DHRNet方法中每個改進模塊的有效性，實驗結果如表4所示。

表4 在PASCAL VOC數據集上的消融實驗Table 4 Ablation experiment on PASCAL VOC dataset

為了更好地驗證CenterNet-DHRNet方法，本文在KITTI數據集上進行了實驗。KITTI數據集采集于實際道路，圖像中所含目標密集，尺度變化大，遮擋較多，本文將其中目標分為3類：Car、Pedestrian和Cyclist，在KITTI數據集上訓練100個Epoch，初始學習率為1.25×10-4，學習率在55Epoch和80Epoch分別下降為之前的1/10。CenterNet-DHRNet與其他目標檢測方法的對比結果如表5、表6所示。

表5 KITTI數據集上不同目標檢測方法對比Table 5 Comparison of different object detection algorithms on KITTI dataset

表6 KITTI數據集上3類目標AP對比Table 6 Comparison of three types of object AP on KITTI dataset

實驗結果表明，CenterNet-DHRNet有更高的精度，且在每一個類別的精度上都有所提高。本文方法在KITTI數據集上的檢測結果如圖10所示。通過PASCAL VOC數據集和KITTI數據集上對比實驗結果可知，本文所提方法有效提升了檢測精度。

圖10 CenterNet-DHRNet在KITTI數據集上的檢測結果Fig.10 Detection results of CenterNet-DHRNet on KITTI dataset

4 結 論

1）本文提出了一種高性能的目標檢測方法CenterNet-DHRNet，在PASCAL VOC和KITTI數據集上與其他主流方法進行了對比實驗。在PASCAL VOC測試數據集上mAP達到了81.9%，相比于CenterNet-DLA、Yolov3、SSD500、SSD300分別提高了1.2%、2.6%、3.0%、4.7%，且保持了一定的檢測速度。

2）針對常規卷積網絡下采樣過程中特征圖縮小、目標空間語義信息容易損失的問題，在整個網絡的設計中都保持了輸入圖像的高分辨率表示。迭代聚合的特征融合方式有效利用了不同尺度的特征圖和其中保留的空間語義信息，提高了檢測效果。