基于單線程的無錨點目標檢測模型

李 浩，張曉強

（中國礦業大學信息與控制工程學院，江蘇 徐州 221116）

0 概述

隨著深度學習理論的發展和計算機性能的不斷提升［1-3］，目標檢測逐漸成為深度學習領域的熱門研究方向，其實現方式為預測一幅圖像的所有目標標注框以及對應分類。由于多數經典檢測模型均是基于預設好超參數的錨點框，如RetinaNet［4］、SSD［5］、YOLOv3［6］等單階段檢測模型以及Faster R-CNN［7］等雙階段檢測模型，因此研究人員普遍認為預設參數對目標檢測模型至關重要，并證明了錨點的超參數設置可降低模型魯棒性，并且顯著增加模型參數調試的復雜度。自2018 年起，FCOS［9］、CornerNet［10］和CenterNet［11］等無錨點檢測模型在無錨點的情況下預測物體，可避免調試錨點相關的超參數，但是獲得的檢測效果難以達到錨點檢測模型的水平。

雖然錨點的設置使得目標檢測領域取得顯著進展，但是基于錨點的檢測器仍面臨諸多問題。在RetinaNet［4］中，錨點框的尺寸、比例與個數等超參數對該模型的平均精度影響較大，造成設置合理的上述參數較為困難。在設置合理的超參數后，由于錨點框的比例與尺寸在模型建立時必須固定，使得檢測模型對形狀變化較大的目標集的檢測難度增大。同時，預制定的錨點框將會限制檢測模型的魯棒性與通用性，這是因為每遇到一個全新的數據集都需要重新設計錨點框的超參數以獲得最優性能。為獲得更高的召回率，一個基于錨點的模型需要在輸入圖像上密集鋪置錨點框。比如在特征金字塔網絡（Feature Pyramid Networks，FPN）［12］中，一幅圖像的短邊resize 為800 時，最終所需的錨點框數量將高達1.8×105，且多數錨點框在訓練中均被標注為負例，而過多的負例將會加劇正負例數量的不平衡。全卷積神經網絡（Fully Convolutional Networks，FCNs）［13］在語義分割［14-15］、深度估計［16］、關鍵點檢測［17］、實例分割［18］以及全景分割［19］等密集檢測任務獲得顯著效果。

近年來，無論模型是否使用錨點，預測頭模塊總是伴隨著FPN，通過對FPN 中每張特征圖對應的錨點框進行指定，特定的特征圖僅預測特定大小范圍的標簽框。該預測結構的優點是可以使計算資源得到整合，有效提高檢測精度以及模型對小型物體的召回率。但該預測結構與早期雙階段模型面對的問題類似，即從人類的視角來看，這種選擇與屏蔽機制并不符合認知常識，并且無論是否是基于錨點的模型，特征金字塔結構的預測模式都會導致正例與負例的比例處于一個較低值，此時需要采取一些平衡正負例的措施，造成模型的冗雜度增加。為解決該問題，本文提出一種新的模型結構。該模型通過取消預設錨點參數環節和特征金字塔網絡，避免與錨點相關的冗余并降低特征金字塔提取網絡的權重，從而提高模型的魯棒性。

1 全卷積單階段單線程無錨點檢測模型

1.1 無錨點預測頭模塊

本文提出的模型在訓練階段過程中，預測頭模塊的特征圖標簽制作過程舍棄了錨點與標簽框匹配步驟，直接以預測頭特征圖的像素點為單位與標簽框進行匹配。如圖1 所示，預測頭模塊分為分類支路、檢測支路與中心偏離支路3 個支路。

圖1 預測頭模塊框架Fig.1 Framework of prediction head module

假設Fi∈?H×W×C為模型中一個預測頭的特征圖i，s是特征圖到某一層為止的累加步長。一幅圖像的標簽框可以被定義為一個五維向量Bi，Bi=。其中，向量中的表示一個標簽框的左上角與右下角對應的坐標，ci表示標簽框的所屬類別。C表示類別的個數，COCO 數據集的類別個數為80。對于特征圖的每一個位置(x，y)，模型的坐標映射將其映射至初始輸入圖像對應的坐標位置([s/2]+xs，[s/2]+ys)，該映射得到的輸入圖像的坐標位置接近(x，y)坐標感受野的中心。

在基于錨點的檢測器模型中，模型通常會輸出幾張特征圖，這些特征圖上的每一個坐標位置都會設置一個或多個錨點，而這些錨點的相關超參數與模型的預測結果相關聯，錨點的超參數與目標簽框的參數將會按照預設公式得到計算值。但是本文提出的模型中沒有該步驟，其直接在每一個特征圖的坐標位置回歸標簽框的坐標。即基于用于語義分割的FCNs［13］在舍棄錨點后，每一個坐標位置都會作為一個訓練樣本。取消錨點參數設置的原因如下：

1）目前主流的錨點超參數設置方式是基于特定數據集訓練集的標簽框形狀進行聚類并計算得到。在模型進行檢測時，由于檢測集與訓練集的數據分布相同，因此通常不會出現數據分布遷移的問題。但在實際應用中，訓練集與預測對象的分布總是不同，而模型訓練得到的權重往往與該組針對特定訓練集的錨點超參數相關。針對利用單個圖像中各個標簽框與預測特征圖中各個空間位置(x，y)的相對位置關系制作標簽特征圖問題，取消錨點機制可提高模型的通用性。

2）基于錨點的模型，通常標簽特征圖中的每個空間位置至少有9 個錨點，導致交并比得分計算過程中的數量較多，且密集的錨點鋪設將會嚴重影響正負例標簽的分布情況。損失計算與反向梯度傳播過程中大量學習價值較低的負例降低了模型訓練的效率，但基于空間位置的模型中每個空間位置只有一個損失計算對象，且正負例比例較錨點模型更高，這將大幅降低模型的運算量并提高訓練效率。

3）研究實驗表明，在增加了正例區域與中心偏離支路后，模型的檢測精度與召回率均優于多數傳統錨點模型。

1.1.1 正例區域原則

針對正例與負例的劃分提出了正例區域原則，其規則為：取部分每個標簽框的中心位置到該標簽框4 條邊的距離作為正例區域。假設原標簽框高大于框寬，若原標簽框的框高大于等于448，則取標簽框高的1/3作為正例區域的高；若原標簽框高大于等于224 小于448，則取標簽框高的1/2 作為正例區域的高；若原標簽框高小于224，則取標簽框高作為正例區域的高。正例區域的寬遵循近似原則，不同之處是若標簽框寬已經小于正例區域的高，則以標簽框寬直接作為正例區域的寬。假設原標簽框寬大于框高，則標簽框寬首先按照上述規律計算獲得正例區域的寬，接著換算正例區域的高，若標簽框高小于正例區域的寬，則以標簽框高直接作為正例區域的高。

若一張特征圖中某個坐標位置(x，y)對應的原圖位置落在任意一個正例區域內，則該位置被劃分為正例，且其對應的類別c*是此正例區域對應的標簽框類別；若一張特征圖中某個坐標位置(x，y)對應的原圖位置落在任意一個非正例區域的標簽框內，則該位置將不會參與損失計算；否則此坐標位置將被歸為負例，對應類別c*=0（背景）。正例區域選取方式示意圖如圖2 所示。

圖2 正例區域選取方式示意圖Fig.2 Schematic diagram of region selection method of positive example area

除了分類標簽外，還可用檢測標簽的四維向量p*=(l*，r*，t*，b*)作為坐標位置的回歸目標。四維坐標示意圖如圖3 所示。

圖3 四維坐標示意圖Fig.3 Schematic diagram of four-dimensional coordinates

(l*，r*，t*，b*)分別為坐標位置(x，y)對應的原圖位置離標簽框4 條邊的距離。如果一個坐標位置同時落在多個正例區域內，則簡單地將面積最小的正例區域作為其回歸目標。正例區域原則上通過把圖像中不同高寬比的標簽框轉換為形狀趨向于正方形的正例區域，以調節正例坐標的分布，并將正例坐標集中在一起，且可獲得以下2 個優勢：1）正例區域原則降低了大型目標對應的特征圖正例坐標個數，有效縮小了大型目標與小型目標在損失計算中所占比重的差別，且模型可對檢測較為困難的小型目標投入更多注意力，不再將訓練重心放在易檢測物體上；2）只選取大型目標正例區域可有效避免關鍵位置被遮擋的問題（具體如圖2 所示），關鍵位置是指以目標標簽框中心為圓心的小型區域。實踐證明該區域的檢測結果通常是最優的，而如果不使用正例區域原則，目標A 的核心區域將會完全被目標B 的非核心區域所遮擋。坐標位置離標簽框4 條邊的距離如式（1）～式（4）所示：

1.1.2 中心偏離支路

中心偏離支路的作用是輔助篩除出低質量的預測框。研究表明，低質量預測框通常是由一些遠離標簽框中心點位置的坐標點所得，因此需盡可能降低坐標位置的分類預測值。在預測過程中，通過非極大值抑制（Non-Maximum Suppression，NMS）可篩除掉這類坐標位置，使得多數參與預測的坐標位置均接近目標物體中心位置。中心偏離是一個簡單高效的篩除低質量檢測框的手段。如圖1 所示，僅需在預測頭模塊的分類支路或者回歸支路中增加一個分支對中心偏離進行預測即可。此分支可用來計算預測點與對應目標框中心的距離，在給定標簽位置(l*，r*，t*，b*)的情況下，中心偏離的回歸目標S*計算方法為：

中心偏離的回歸目標S*為0～1，損失函數將會被加入初始的損失函數中。在檢測過程中，中心偏離預測分數將會乘以對應坐標位置的分類得分，并將得到的結果作為最終被使用的分類得分。因此，將會造成遠離目標框中心的坐標位置對應的分類預測值大幅降低，而低質量的預測邊框將會被NMS 清除，從而提高檢測性能。

通過回歸目標標簽制作方式的更新與中心偏離模塊的加入，本文提出的模型得以完全舍棄錨點，并以一種簡單直接的方式進行訓練，以獲得更快的推理速度。

1.2 單線程骨干網絡

將多個預測分支整合為單線程檢測路線且不丟失小型物體的檢測精度至關重要，一個可行的方法是盡可能地提高預測頭特征圖的分辨率，且為了避免模型過大而造成顯存溢出，需使得骨干模型中的特征圖分辨率盡量小。上述2 個要求看似存在相悖，但通過多次下采樣之后再進行多次上采樣的方式，可在減少模型參數量與計算量的同時，保證最終輸出特征圖和輸入特征圖的像素比達到一個較高的數值。在本文所提模型中，像素比達到了1∶4，則可避免由于像素丟失而導致位置信息丟失的問題。在減少模型中間部分參數量的同時，可將剩余的顯存空間用來拓寬模型的深度，進而獲得更深層的語義信息。不同于其他網絡模型，本文模型使用沙漏形狀的網絡作為骨干網絡，且不使用不同尺寸的特征圖對不同大小的物體進行檢測，省略了不同特征圖制作訓練標簽時的信息判斷過程。同時，模型構造時預測頭的各個特征圖之間的信息傳遞模塊也將無需保留，最終模型只保留預測模塊的3 個向量輸出，從而節省了大量計算資源。

沙漏網絡的內部結構如圖4 所示。多個沙漏模塊可以級聯且方便擴展，從理論上可以無限制疊加，在本文提出的模型中，使用了2 個沙漏網絡串聯。沙漏模塊先通過最大池化層以及一系列的卷積對輸入特征進行下采樣，再通過反卷積等一系列操作將特征圖進行上采樣直至恢復到原始分辨率。由于信息在最大池化層會存在一定的丟失，因此在沙漏網絡中通過引入跳躍連接來彌補上采樣模塊中特征圖損失的部分信息。該結構下的沙漏網絡可采用一個整合歸一的結構同時捕獲特征圖的全局信息與局部信息。

圖4 沙漏網絡的內部結構Fig.4 Internal structure of hourglass network

模型先通過2 個步長為2 的模塊將特征分辨率降為原圖的1/4，再將輸出的特征圖作為沙漏網絡的輸入。在如圖4 所示的沙漏網絡內部結構中，模型特征圖的分辨率減半6 次，并按照256、384、384、384和512 的順序改變其通道數。在達到最低分辨率時，沙漏模型通過最近鄰上采樣來逐步恢復其特征圖邊長，每次上采樣前均會經過2 個殘差網絡模塊，每個跳躍連接模塊同樣包括2 個殘差模塊，而擁有512 個通道數的特征圖構成的沙漏網絡中間位置則包含4 個殘差網絡。

通過把傳統的骨干網絡常用結構如Resnet［20］、Densenet［21］替換為沙漏網絡，這樣可以在骨干網絡部分整合低階幾何（局部）信息與高階（全局）語義信息。FPN 的核心作用也是整合這兩類特征的信息，但區別在于以下2 個方面：

1）通常圖像在每次下采樣后都會損失部分信息，在后期即使進行特征融合也無法獲得早期已損失的特征信息，因此早期在各個特征圖之間加入信息傳遞模塊。這是因為在加入信息傳遞模塊后，下采樣操作前的特征信息直接傳遞到模型后半部分，可有效保留早期損失的特征信息。沙漏網絡在早中期特征提取階段通過跳躍連接的方式對各個特征圖之間的信息進行傳遞，盡可能地減少早期信息的損失，而FPN 主要作用于后期特征提取階段，則早期階段會不可避免地損失部分信息。

2）FPN 輸出一組預測特征圖（通常數量為3），假設未使用FPN 的模型預測特征圖分辨率為7×7，則使用FPN 后分辨率變為7×7+14×14+28×28，極大地增加了制作標簽特征圖的計算成本。然而，由于骨干網絡的特征圖本身不直接參與標簽制作，因此在骨干網絡中進行特征整合可省略FPN 中多階段的繁瑣標簽匹配過程。

當輸入圖像放大1 倍時，預測特征圖的分辨率也僅為14×14，此時標簽框制作的計算成本仍低于FPN 網絡。但研究表明，通過沙漏網絡對特征整合模塊前置加上放大輸入圖像分辨率的聯合操作，可獲得高于FPN 網絡的檢測效果，且使用沙漏網絡取代FPN 的作用，使得模型得以實現完全的全卷積單線程訓練與檢測。

1.3 模型結構與算法流程

模型的訓練過程如算法1 所示。

算法1網絡訓練算法

圖像輸入至模型后通過2 次簡單的卷積進行下采樣操作，得到的特征圖進入沙漏網絡，并將經過多次沙漏模塊提取后得到的特征圖輸入到預測頭模塊中，從而得到最終輸出結果。模型最終輸出層的每個空間位置預測一個80 維的分類標簽向量c、一個四維預測框向量p=(l，t，r，b)與一個一維中心偏離向量。與文獻［12］相同，模型沒有訓練一個復合類的分類器，而是訓練了80 個二維分類器。在骨干模型得出的特征圖的2 個分支上分別添加4 個卷積層，因為回歸目標的值為正值，模型使用了exp(x)將回歸分支的預測值x映射在(0，+∞)區間。損失函數如式（6）～式（9）所示：

其中，Lcls為focal loss，而Lreg為GIOU loss，Npos表示正例的數量，λ是用于平衡分類與回歸損失的比重超參數。Loss 的總值由特征圖上所有坐標位置的損失計算而得出。η表示一個指示參數，若大于0 即對應坐標位置標簽為正例，則η為1，否則為0。

模型的預測方式是輸入一張圖像，直接將其放入網絡并獲得最終特征圖中每個位置的分類得分cx，y以及回歸得分px，y。與文獻［4］相同，參數選擇cx，y＞0.05 的作為正例并通過式（1）～式（4）獲得對應的預測框。

2 實驗與結果分析

目標檢測任務同語義分割任務類似，在逐像素全卷積預測中通過清晰簡單的全卷積方式進行模型網絡構建，并能獲得與當前主流模型實現方式較為近似或更優的結果。

2.1 實驗數據集

本文選擇的實驗數據集是基于大尺度目標檢測基準數據集COCO，且COCO2017 與COCO2014 數據集對比如表1 所示。

表1 COCO2017 與COCO2014 數據集對比Table 1 Comparison of COCO2017 dataset and COCO2014 dataset

與文獻［6，12，15］類似，本文模型使用COCO2017數據集進行訓練與預測，COCO2017 比COCO2014擁有更多的訓練圖像且相應地減少了驗證集的大小。模型沒有對驗證集進行微調，實驗結果的預測性能基于驗證集。

2.2 參數設置

模型使用隨機梯度下降（Stochastic Gradient Descent，SGD）與動量Momentum 優化算法相結合，迭代2.7×105次，初始學習率為0.01，每批次有4 張圖像，在2 個GPU 中訓練。學習率為1.8×105與2.4×105時衰減為原來的1/10。權重衰減率設為0.000 1，動量Momentum 超參數設為0.9。模型使用Cornernet 的預訓練權重初始化骨干模型。對于新增加的層，則參照文獻［4］進行初始化，輸入圖像的尺寸統一縮放到896像素×896像素。

在檢測過程中，模型通過對圖像特征進行提取，獲得每個坐標位置的預測坐標、預測類別與中心偏離，再通過點乘預測類別與中心偏離得到優化后的預測類別。接下來的后處理過程與文獻［4］中的后處理方式相同，預測模式下的圖像尺寸和訓練模式的尺寸一致。

2.3 結果分析

實驗將本文模型與其他經典模型的平均精度（Average Precision，AP）和平均召回率（Average Recall，AR）進行對比，結果如圖5～圖7 所示。在圖5 和圖6 中AP50 表示當檢測框與標簽框的交并比大于50%時預測正確，AP75表示當檢測框與標簽框的交并比大于75%時預測正確，APs、APm、APl分別表示模型預測小型、中型與大型目標的AP。在圖7中，AR50、AR75以及ARs、ARm、ARl代表的含義與AP 同理。

圖5 單階段檢測模型的AP 對比Fig.5 AP comparison of one-stage detection models

圖6 雙階段檢測模型的AP 對比Fig.6 AP comparison of two-stage detection models

圖7 9 種模型的AR 對比Fig.7 AR comparison of nine models

從圖5、圖6 可以看出，與基于錨點的經典單階段檢測模型（YOLOv2 與DSSD513）以及無錨點的新型單階段檢測模型（Cornernet 與FCOS）相比，本文模型的平均精度更優。雖然基于錨點的雙階段檢測模型擁有比單階段模型更復雜的結構與訓練方式，但其精度水平與單階段模型精度相當。在目標類別上，模型對大型目標的檢測效率最優，其次是中型目標，而對小型目標的檢測效果最差。

從圖7 可以看出，單線程模型并未因為移除FPN而導致召回率明顯下降，且其具有與FPN 模型相差不大的召回率，由此可見骨干網絡的單線程構造可在一定程度上替代FPN 的功能。而在目標類別上，本文模型對小型物體的召回率相比其他模型好，這主要是因為通過正例區域原則增加了小型物體的預測損失在損失函數中的比重。若要繼續提高小型物體的召回率，則需進一步對正例區域中手工選擇的閾值超參數進行對比分析，以選擇最優閾值。同時，還可以通過選取更多的閾值對取值區間進行細化，改進每個取值范圍內標簽框寬高與正例區域的寬高之間的映射關系。通過引入超參數軟設置思想，對標簽框寬高與正例區域的寬高構造連續函數，而不是簡單地使用根據閾值分段的一次函數。

2.3.1 正例區域原則與中心偏離的效果

本文提出的無錨點檢測模型使用正例區域原則與中心偏離技巧可以有效提高最終檢測精度，正例區域平衡不同大小檢測目標的對應坐標點的個數，并優化坐標點落點的分布。中心偏離賦給低質量的遠離目標中心檢測框較低的置信度，降低錯誤可能性較高的預測檢測框通過非極大值抑制的幾率。如表2 所示，正例區域原則與中心分離分支可以提高模型檢測精度近4 個百分點，這說明正例區域原則與中心偏離支路可使得模型的精度超過了經典的基于錨點的模型Retinanet。

表2 正例區域原則與中心偏離對本文模型平均精度的影響Table 2 Effect of the principle of positive region and center deviation on the AP of the proposed model %

2.3.2 單線程效果

本文提出的沙漏型單線程網絡結構具有與Resnet+FPN 結構模型相當的語義特征表征能力，且可節省大量的內存空間。節省的空間可以提高初始輸入圖像與最終用于檢測特征圖的分辨率，并進一步提升模型的特征提取與表征能力，從而保證了模型能夠維持小型物體的預測精度。從表3 可以看出，沙漏網絡+2 倍分辨率模型結構的檢測精度高于Retinanet，而Retinanet 使用2 倍分辨率的特征圖則會出現內存溢出問題。

表3 單線程網絡對不同模型平均精度的影響Table 3 Effect of single-threaded network on the AP of the different models %

2.3.3 標簽比例結果分析

在去除FPN 模塊后，模型訓練時的正負例比例得到平衡，模型正例標簽在總標簽個數占比如表4 所示。

表4 模型正例標簽在總標簽個數占比Table 4 Proportion of model positive example labels in total labels %

實驗對本文模型與同樣采用無錨點的FCOS 模型進行對比，其檢測正例標簽占總標簽個數的比值遠高于FCOS。正負例樣本個數的不平衡會造成模型訓練效率的降低，最終導致模型表現性能下降。雖然有方法可以減少這種比例不平衡造成的損失，比如設置正負比例標簽輸入模型的比例、增加正例標簽對損失函數的影響權重等，但這些方法本身會引入大量的超參數和額外的計算量。而通過單線程的方法可降低模型本身標簽的不平衡性，達到增加正例標簽占比的效果。

2.3.4 推理速度對比

在模型推理速度方面，實驗對本文模型與其他經典模型進行對比，結果如表5 所示。

表5 4 種模型的推理速度對比Table 5 Comparison of reasoning speed of four models ms

本文模型兼具較少計算量與較低模型復雜度的優勢，使得預測圖像的推理速度得到了提升。通過在1.1 節與1.2 節中對模型進行改進與精簡，本文所提模型對每張圖像的推理時間為149 ms，這主要是因為：1）模型沒有采取現有常見的多階段預測模塊特征金字塔網絡FPN，這種預測模式類似于雙階段檢測模式，不符合人類視覺認知的方式，同時模塊會增加計算量與權重參數；2）模型沒有采取錨點可減少大量錨點的相關計算量。由此可見，本文模型的復雜度與推理計算量遠低于傳統基于錨點的FPN 預測頭模型。

正例區域原則、中心偏離支路以及單線程構造網絡使得本文模型的性能高于傳統帶有錨點超參數的單階段檢測模型，且模型復雜度遠低于傳統模型。雖然本文模型的預測精度為單模型單尺度測試，而部分對比模型的精度結果為多模型多尺度，但是該模型的總體預測結果仍優于對比模型。

3 結束語

本文提出一種基于單線程的無錨點模型，通過正例區域原則優化無錨點網絡的標簽特征圖構造方式，加入中心偏離支路優化模型訓練時權重的更新效率以及檢測推理效果，并將骨干網絡改造為單線程構造以減少模型的內存需求。實驗結果表明，該模型可顯著提高預測精度并加快推理速度。下一步將通過加入壓縮激勵模塊和中間監督模塊，解決特征提取效率較低的問題，進一步提高本文模型的預測能力。