基于上下文信息和多尺度融合重要性感知的特征金字塔網絡算法

楊 昊，張 軼

（四川大學 計算機學院，成都 610065）

0 引言

目標檢測是計算機視覺中的最重要的任務之一［1］，已經被深入研究并廣泛地應用于目標追蹤［2］、語義分割［3-4］等一些下游任務中。它包含目標分類和目標定位兩個子任務：分類子任務需要有豐富的語義信息，而定位子任務需要詳細的位置信息；前者要求更大的感受野，而后者要求更高的分辨率。然而，這兩個需求在實現上是相互矛盾的，這是目標檢測所面臨的困難之一。目標檢測器按照模型的結構可以分為骨干網絡（Backbone）、脖頸（Neck）和檢測頭（Head）三部分。Backbone 負責從輸入圖片中提出特征；Neck 旨在增強特征圖的表示能力；而Head 則基于特征金字塔網絡（Feature Pyramid Network，FPN）［5］增強后的特征圖作分類和定位子任務。其中，特征圖的表示能力是影響模型性能的關鍵因素，因此對Neck 的關注非常重要。

FPN 是目標檢測中經典的Neck 結構之一，它將高分辨率低語義的淺層特征圖和低分辨率高語義的深層特征圖融合在一起，使淺層的特征圖能夠接收到深層的豐富語義信息，一定程度上緩解了分類和定位子任務的矛盾，從而極大地提高了目標檢測的性能。當前的許多優秀的目標檢測器，如Faster R-CNN［6］、RetinaNet［7］、一階段全連接目標檢測器（Fully Convolutional One-Stage object detection，FCOS）［8］等都采用了FPN 作為Neck 結構。還有一部分學者改進FPN 并取得了不錯的成績，如路徑聚合網絡（Path Aggregation Network，PANet）［9］、Libra R-CNN［10］和AugFPN［11］等。然而，現有檢測器仍然存在以下不足：

1）現有檢測器增加感受野的方式導致模型的深度增加，難以收斂。為了檢測大物體，需要更大的感受野，而當前增加感受野的方式是簡單地堆疊卷積或下采樣，導致模型層數增加，收斂困難。此外，以這種方式增加感受野會降低特征圖的分辨率，難以取得語義信息和位置信息的平衡。

2）特征圖融合時缺少對不同尺度特征圖重要性的關注。FPN 的特點之一是融合不同尺度特征圖，這給它帶來了很多的精度提升，所以特征融合方式對模型的性能影響很大。為了提高FPN 性能，PANet 和平衡特征金字塔網絡（Balanced feature Pyramid Network，BPN）［10］分別在FPN 的基礎上增加了自底向上的特征傳遞路徑和特征精練。但是，它們在特征融合時缺少對不同尺度特征圖重要性的關注。顯然，從語義角度出發，低分辨率的深層特征圖更重要；從位置信息的角度出發，高分辨率的淺層特征圖更重要。將所有特征圖以相同的權重相加會導致一些原有的重要信息被抑制，因此，特征圖融合時不同尺度特征圖重要性不同。

3）復雜特征融合存在的混疊效應。雖然融合不同尺度特征圖能夠提高性能，但是不同尺度的特征圖有著不同語義信息，如果將不同尺度特征圖變換到相同分辨率后就直接融合，必然會產生混疊效應。融合后的特征圖存在大量冗余特征，語義信息和定位信息的疊加也可能會讓模型難以區分分類和定位子任務。

為解決以上問題，本文提出了三個模塊：1）為了緩解現有金字塔結構在大感受野和高分辨率上的矛盾，提出了一個上下文增強模塊（Context Enhancement Module，CEM）。CEM使用多個不同空洞率的空洞卷積來提取并融合特征，能夠在分辨率不變的情況下獲得多個不同的感受野，從而增強模型的語義信息。2）提出了一種多級特征融合（Multi-Level Fusion，MLF）模塊，將不同尺度特征圖變換成相同大小后，采用堆疊的方式融合特征圖，得到一個新的維度——層級維度，從而更好地保留不同尺度特征圖的信息。3）為了更好地精練融合后的特征，本文提出了一個注意力引導的特征精練模塊（Attention-guided Feature Refinement Module，AFRM）。它包括三個維度的子模塊，即層級子模塊、空間子模塊和通道子模塊。AFRM 以多尺度融合結果為輸入，通過層級子模塊為不同尺度特征圖賦予不同權值，讓模型學習不同尺度特征圖的重要性；空間子模塊計算任意位置間的交互得到位置信息；通道子模塊通過通道間的局部交互來緩解混疊效應。

1 相關工作

1.1 目標檢測算法

目標檢測器一般可以分為一階段和二階段的檢測器。二階段的檢測器首先生成許多候選區域，然后再對這些候選區域分類。最早的二階段檢測器為區域卷積神經網絡（Region-based Convolutional Neural Network，R-CNN）［12］，它先通過Selective Search 算法［13］生成2 000 個候選區域，然后通過卷積神經網絡（CNN）提取這些候選區域的特征來分類。為提高效率，Fast R-CNN［14］直接在整張圖片上提取特征，讓不同候選區域共享卷積操作，然后通過空間金字塔池化（Spatial Pyramid Pooling，SPP）生成不同候選區域的特征。接著，Faster R-CNN［6］進一步提出了區域建議網絡（Region Propose Network，RPN），將候選區域的生成與分類整合到一個模型上，實現了模型的端到端訓練。隨后出現了大量從不同角度改進Faster R-CNN 的工作，文獻［5］中使用FPN 實現多尺度特征融合，文獻［15］中級聯了多個交并比（Intersection over Union，IoU）閾值不斷提高的檢測器。一階段的檢測器還可分為基于錨和不基于錨的檢測器。基于錨的檢測器在特征圖上的每個格子上預設大量的先驗框，然后通過一個統一的網絡同時對這些邊框分類和回歸。一階段檢測器的代表算法有SSD（Single Shot multibox Detector）［16］和YOLO［17］。和二階段檢測器相比，它們雖然簡單和快速，但是精度卻很低。直到RetinaNet 的出現，一階段檢測器的性能才大幅提升。不基于錨的一階段檢測器如FCOS、FoveaBox［18］等直接在特征圖的每個格子上預測分類得分和偏移，相較于基于錨的檢測器，擺脫了錨的復雜設置，更加簡單。此外，還有一些檢測器使用關鍵點代替邊框來檢測物體，如CornerNet［19］。

1.2 上下文信息

上下文信息能提取出重要線索幫助分類和定位候選框，這種提高算法性能的方式已被廣泛研究。文獻［20］中使用不同空洞率的空洞卷積獲取多尺度的上下文信息；文獻［21］中使用空洞卷積組成的編碼器增強上下文信息；文獻［22］中提出一種上下文信息精練算法以提取上下文信息；文獻［23］中在骨干網上增加環境上下文特征融合模塊，為小目標提供上下文信息；文獻［24］中采用non-local 操作捕獲長范圍依賴，把每個位置的響應看作所有其他位置特征加權相加的結果，從而獲取全局的上下文信息；文獻［25］中從全局和局部視圖中捕獲上下文信息，并通過注意力機制有效地識別有用的全局上下文。

1.3 多尺度特征融合

FPN 自上而下地融合不同尺度的特征圖，一定程度上緩解了感受野和語義需求的矛盾，大幅提高了檢測器的性能。隨后許多學者基于FPN 作了改進，NAS-FPN［26］使用神經網絡搜索讓模型學習到一種更佳的跨尺度融合結構。Libra RCNN［10］中的平衡特征金字塔（Balanced Feature Pyramid，BFP）通過融合多個尺度的特征圖讓模型在不同尺度特征圖上取得更好的平衡。PANet 在FPN 的基礎上增加了一條自下而上的鏈接，將淺層特征圖的位置信息傳遞給深層特征圖。EfficientDet［27］簡化了PANet 并提出一種帶權重的雙向連接的FPN。AugFPN 分析了FPN 存在的問題并提出一個新的金字塔架構來減小不同尺度特征圖融合前的語義差異。

1.4 注意力機制

隨著注意力機制［28］的興起，越來越多學者關注注意力機制在視覺任務中的應用。當前，目標檢測的上游視覺任務圖像分類中已有大量的注意力機制應用案例，如SE-NET（Squeeze-and-Excitation NETwork）［29］、CBAM（Convolutional Block Attention Module）［30］等，它們的出現為目標檢測提供了高性能的Backbone。目標檢測中也出現許多基于注意力機制 的Head 結 構，如Dynamic Head［31］、Relation［32］和DeTR（Detection TRansformer）［33］，其中DeTR 將基于Transformer 的注意力機制引入目標檢測，該機制對不同預測之間的成對關系進行建模。然而，這些算法大多聚焦于注意力機制在Backbone 或者Head 部分的應用，忽視了Neck 部分。

2 本文算法

當特征圖相較于輸入圖片步長較大時，能得到較大的感受野，這能幫助更好地分類。然而目標檢測任務除了分類還需要定位，較大的步長會使位置信息模糊，不利于回歸任務。FPN 中，深層特征圖適合檢測大物體，淺層特征圖適合檢測小物體。然而淺層特征圖缺少足夠的語義信息識別小物體，深層特征圖缺少足夠的位置信息作精確回歸。盡管FPN 中自上而下的路徑能夠緩解這個問題，但是它的特征圖的感受野比較單一，指定輸入分辨率的情況下要想獲得更大的感受野就需要堆疊更多的卷積層。此外，FPN 的這種特征融合方式會讓融合后的特征圖更關注鄰近特征圖，Libra R-CNN 中提出的BFP 有效地緩解了這一問題，但是它在融合時忽略了不同尺度特征圖具有不同重要性。

本章提出一種新的特征金字塔結構來緩解目標檢測中感受野和分辨率的矛盾和特征融合時的不足。本文提出的特征金字塔包括三個子模塊：上下文增強模塊（CEM）、多級特征融合（MLF）和注意力引導的特征精練模塊（AFRM）。

2.1 整體架構

本文算法的架構如圖1 所示，C3、C4、C5分別代表下采樣8、16 和32 的不同層的輸入圖像。此外，C5被輸入到上下文增強模塊（CEM），該模塊使用不同空洞率的卷積從感受野中提取豐富的語義信息。將CEM 的輸出和C5相加得到F5，使提取得到的豐富上下文信息能夠傳遞到淺層的特征圖，幫助識別小物體。P3、P4、P5是在F3、F4、F5的基礎上增強的特征，通過多級特征融合（MLF）重新整形為相同分辨率大小后堆疊融合。最后，融合結果作為注意力引導的特征精練模塊（AFRM）的輸入，得到特征金字塔的輸出R3、R4和R5。

圖1 本文算法的架構Fig.1 Architecture of the proposed algorithm

2.2 上下文增強模塊

較大的感受野能夠獲得豐富的上下文信息，從而更好地識別物體，但是僅有大的感受野也容易導致小物體被忽略。因此本文提出了上下文增強模塊（CEM），它能夠在不降低分辨率的情況下獲得不同的感受野，得到具有更強識別能力的目標特征。具體而言，如圖2 所示，為了獲取不同的感受野，CEM 包括了k個不同空洞率的空洞卷積，給定一個輸入特征圖X∈RC×H×W（C代表通道數，H×W是分辨率），CEM 通過不同空洞率的空洞卷積，得到相同尺寸但是不同感受野的特征圖Xi，i∈{1，2，…，k}。為了讓這些特征圖以一種自適應的方式相加，本文分別計算了它們的權重。首先，將這些特征圖沿通道維度拼接起來得到特征圖X*∈RkC×H×W（kC為k×C個通道），然后通過一個1 × 1 卷積和Sigmoid 激活函數得到總的權重圖W∈Rk×H×W，每個通道的權重都對應不同的特征圖，將W沿通道拆分成k個子權圖Wi∈R1×H×W，i∈{1，2，…，k}，分別對應k個不同感受野的特征圖Xi。最后將本文將所有Wi和Xi的乘積相加得到輸出Xout。

圖2 CEM的結構Fig.2 Structure of CEM

其中：Xi=Convi(X)，Convi對應不同空洞率的空洞卷積。

2.3 多尺度特征融合

為了生成更具辨別力的特征，FPN 通過自上而下的路徑將語義強的特征與高分辨率相結合，導致輸出特征更多地關注相鄰分辨率，而較少關注其他分辨率。為了緩解這個問題，BFP 將多尺度特征合并為一個中間特征，然后用這個中間特征增強原始特征。

然而，BFP 未能認識到不同尺度的特征圖具有不同的重要性。不同尺度的特征圖具有不同的語義信息和位置信息，在融合過程中應該具有不同的權重，所以本文建立了一種自適應的多級特征融合（MLF），它的結構如圖3 所示。在特征圖通過池化操作或者上采樣變換到相同分辨率后，將它們堆疊起來得到一個新的層級維度（L），而不是像BFP 那樣將它們拼接起來。堆疊后的特征為M∈RL×C×H×W，這樣可以很好地保留不同層級的特征圖的信息。為了方便二維卷積的計算，將M變形為M′∈RL×C×S，其中，S=H×W。為了在特征圖分辨率和語義信息上取得平衡，MLF 將不同分辨率的特征圖變換到中間層特征圖的分辨率。具體來說，對分辨率較低的特征圖通過鄰近插值的方式上采樣，對分辨率較高的特征圖執行池化操作。之后，將融合的特征圖M′作為AFPM的輸入，其中的層級子模塊將幫助模型關注更重要的層級。

圖3 MLF的結構Fig.3 Structure of MLF

2.4 注意力引導的特征精練模塊

為了更好地融合不同層級的特征圖，幫助模型學習更關鍵的信息，本文設計了注意力引導的特征精練模塊（AFRM），它包括三個注意力子模塊，即層級子模塊、空間子模塊和通道子模塊。首先，為了讓模型關注重要的特征層，本文設計了一個基于注意力機制的層級子模塊來計算一組最佳的層級權重；其次，在層級子模塊之后堆疊了空間和通道上的注意力子模塊，空間子模塊通過選擇更重要的位置來增加不同位置之間的交互，以促進上下文信息的提取，通道注意模塊增強了不同通道之間的局部交互，以減輕融合過程引起的混疊效應。

如圖4 所示，輸入特征圖F∈RL×C×S先經過層級子模塊φl計算一個層級注意力權重Al∈RL×1×1，然后與F相乘并輸出Fl∈RL×C×S，將Fl沿L維度取均值，得到Fl' ∈R1×C×S，Fl'作為空間子模塊的輸入。

圖4 AFRM的結構Fig.4 Structure of AFRM

空間子模塊φs會生成一個空間注意力權重As∈R1×H×W，然后與Fl'相加得到輸出Fs∈RC×H×W。通道子模塊φc以Fs為輸入并生成一個通道注意力權重Ac∈RC×1×1。對Fs應用上采樣、恒等變換和池化操作得到｛R3'，R4'，R5'｝，分別對應｛P3，P4，P5｝的分辨率，變換的方式與融合時相反。之后，將｛R3'，R4'，R5'｝與｛P3，P4，P5｝分別相加，并將Ac與相加后的結果相加得到最終的輸出｛R3，R4，R5｝。這個過程對應的公式如下：

其中，φl、φs、φc分別是計算層級、空間、通道三個維度注意力的操作。

層級子模塊結構如圖5 所示，為了更高效地提取層級維度的信息，對特征圖的S和C維度作平均池化將特征圖形狀變為L× 1 × 1，然后通過一個1 × 1 卷積來近似線性變換，之后通過線性整流函數（Rectified Linear Unit，ReLU）和Sigmoid激活得到各層級的權重Al∈RL×1×1。

圖5 層級子模塊的結構Fig.5 Structure of level sub-module

空間子模塊結構如圖6所示，輸入特征Fl' ∈RC×H×W，使用3 個1×1卷積分別生成三個形狀為RC×H×W的特征圖，然后再將這三個特征圖的形狀重構得到三個特征圖：f∈RN×C、θ∈RC×N和γ∈RN×C，其中，總分辨率大小N=H×W。將f與θ點乘得到一個相似性矩陣I，然后將I傳入Softmax 得到歸一化的輸出I′。然后將I′與γ點乘得到Y，代表每個位置與所有其他位置的交互，最后重構Y得到空間注意力As∈RC×H×W。Y的計算公式如下：

圖6 空間子模塊的結構Fig.6 Structure of spatial sub-module

通道子模塊的結構如圖7 所示，給定輸入特征圖Fs，同時使用平均池化和最大池化分別對Fs作池化操作，將得到的兩個特征圖從C× 1 × 1 的形狀壓縮為C× 1，接著用卷積核為3 的一維卷積替換全連接來近似線性運算，然后將卷積輸出擴張為C× 1 × 1。最后，將兩個特征圖相加并用Sigmoid函數處理，得到通道注意力Ac∈RC×1×1。

圖7 通道子模塊的結構Fig.7 Structure of channel sub-module

3 實驗與結果分析

選擇在MS-COCO 2017 數據集［34］上驗證本文算法的有效性。本章將描述該數據集并提供算法的實現細節；同時，通過綜合性的消融實驗驗證各模塊的有效性，并與當前先進的方法比較。

3.1 數據集和評價指標

MS COCO 2017（簡稱為COCO）數據集包含80 個類別，分為訓練集、驗證集和測試集。訓練集（train2017）包括118 287 張圖像，驗證集（val2017）包括5 000 張驗證圖像，測試集由20 000 張沒有標簽的圖像組成。模型使用訓練集訓練，消融實驗和最終結果的評估則分別在驗證集和測試集上進行。性能指標遵循COCO 標準，測量在多個IoU 閾值下的平均精度（Average Precision，AP），IoU 取值范圍為［0.5，0.95］，間隔為0.05。當IoU 為0.50 和0.75 時，用AP50和AP75表示；小、中、大尺度物體的精度用APS、APM、APL表示。模型推理時間使用幀率評估。

3.2 實現細節

所有的實驗都使用MMDetection 2.6 框架［35］（一個基于PyTorch 1.5.1 的開源目標檢測框架）。本文使用2 個NVIDIA 2080Ti GPU 訓練，遵循MMDetection 中的慣例，調整輸入圖片的大小，使最短的邊為800，且最長的邊不超過1 333。為了測試本文提出的特征金字塔，將采用Faster RCNN 作為基線，以提出的特征金字塔替代原FPN，并將初始學習率設為0.005。實驗中，1x 和2x 為訓練計劃：1x 表示總共訓練12 個周期，并且學習率在第8 個周期和第11 個周期后分別除以10；2x 表示總共24 個周期，學習率在第16 和第22 個周期后分別除以10。默認采用1x 為訓練計劃。CEM 中的空洞卷積數量默認為5，對應空洞率為｛3，6，9，12，15｝。殘差網絡（Residual Network，ResNet）能緩解網絡層數增加時的網絡退化問題，避免網絡訓練困難，作為經典骨干網絡在視覺領域中被廣泛使用。因此，本文采用ResNet-50［36］、ResNet-101 和ResNext101-64x4d［37］作為骨干網絡，和其他檢測器比較。所有其他設置都遵循MMDetection 的設置。

3.3 主要結果

在COCO 測試集上將本文算法和先進檢測器比較，包括：YOLOv2［38］、SSD［16］、RetinaNet［7］、FCOS［8］、CornerNet［19］、Faster R-CNN［6］、Mask R-CNN［39］、Libra R-CNN［10］、AugFPN［11］，結果如表1 所示。通過將FPN 替換為本文提出的特征金字塔結構，Faster R-CNN+ResNet-50 的AP 達到了39.2%，和使用原始FPN 的Faster R-CNN 相比，提高了1.4 個百分點。此外，當使用性能更好的骨干網時，算法性能也會更好。例如，采用ResNet-101 作為骨干網時，AP 達到了41.0%，相較于使用原始FPN 的Faster R-CNN 提高了1.0 個百分點。因此，本文提出的特征金字塔優于原FPN 和其他FPN 的改進網絡。

表1 不同算法在COCO測試數據集上的平均精度對比 單位：%Tab.1 Comparisons of average precisoin of different algorithms on COCO test set unit：%

3.4 消融實驗

在COCO 驗證集（val2017）上進行消融實驗，根據是否添加某一部分來研究本文算法的3 個核心模塊是否有效，實驗結果如表2 所示。隨著CEM、MLM 和AFRM 逐漸添加到基線（Faster R-CNN/ResNet-50/FPN）上，模型的精度逐漸提高。

表2 三個核心模塊的平均精度對比 單位：%Tab.2 Comparison of average precision of three core modules unit：%

3.4.1 上下文增強模塊

本節將分析上下文增強模塊（CEM）的影響并討論它的最佳結構。如表2 所示，在往基線模型上增加CEM 后，模型AP 提高了1.0 個百分點。正如3.2 節所描述，CEM 采用了多個不同空洞率的空洞卷積來獲取不同感受野，因此，本節通過一系列實驗來探索最佳的卷積數和空洞率。

如表3 所示，在沒有添加空洞卷積的情況下，AP 只有37.6%。當卷積數k為3 時，AP 為38.4%，通過感受野增強的上下文信息有限；相反，當k=7 時，AP 為38.4%，過多的卷積反而造成了信息冗余。當k=5，且空洞率設置為（3，6，9，12，15）時，AP 為38.6%，模型取得最佳結果。

表3 CEM的卷積數和空洞率對AP的影響 單位：%Tab.3 Effects of convolution number and dilation rates in CEM on AP unit：%

3.4.2 注意力引導的特征精練模塊

本節將分析注意力引導的特征精練模塊（AFRM）的作用。因為AFRM 以MLF 的融合結果為輸入，AFRM 應當和MLF 一起使用。如表2 所示，當在基線模型上增加MLF 和AFRM 時，模型的AP 增加了0.8 個百分點。進一步地，將CEM、MLF 和AFRM 同時增加到基線模型上時，模型的AP 達到了38.9%。這表明CEM 和ML+AFRM 互補，可以結合起來提高檢測精度。為了評估AFRM 中3 個注意力子模塊的作用，逐漸在基線模型上添加層級子模塊、空間子模塊和通道子模塊，結果如表4 所示。AFRM-L、AFRN-S 和AFRM-C 分別表示增加層級子模塊、空間子模塊和通道子模塊后的結果。顯然，添加越多模塊，精度就會越高，這表明了3 個子模塊的有效性，并且可以有機組合來提高精度。

表4 AFRM逐漸增加各個子模塊的結果 單位：%Tab.4 Results of gradually adding sub-modules on AFRM unit：%

3.4.3 量化評估

圖8 展示了Faster R-CNN 采用原始FPN 和本文算法的檢測結果。為了公平比較，將每張圖片的閾值設置為0.5。從圖8 可以看出，FPN 在復雜背景下存在一些誤檢；相反，本文算法在多感受野和注意力機制的作用下緩解了這一問題，在復雜場景下，通過提取豐富上下文信息來幫助區分物體。

圖8 本文算法與基線算法的檢測結果對比Fig.8 Comparison of detection results of the proposed algorithm and baseline

3.4.4 時間與復雜度評估

訓練時間上，在NVIDIA 2080Ti GPU 上，以ResNet-50 為骨干網，訓練周期為12 個周期時，本文算法訓練需要31 h。

表5 展示了本文算法和FPN 在模型規模、精度、運算量和幀率上的比較，本文算法在有限的運算量、模型復雜度增長和推理時間增長情況下，精度提升明顯。

表5 檢測結果、模型復雜度和幀率對比Tab.5 Comparison of detection results，model complexity and frame rate

4 結語

為了更有效地獲取上下文信息，強調特征融合時對不同尺度特征圖的關注，以及去除融合后的冗余信息，本文提出了一種基于注意力機制的特征金字塔網絡。針對上下文信息獲取不合理問題，提出CEM 在不改變分辨率情況下獲取豐富的上下文信息；為了改善特征圖融合時忽略了不同尺度特征圖重要性的問題，提出了MLF；為了進一步精練融合后的特征圖并去除冗余信息，提出了AFRM。實驗結果表明本文方法在MS COCO 2017 數據集上表現良好。

同時也存在一些不足：本文提出的特征金字塔的泛化性還有待進一步探索，且模型基于FPN 改進，后續研究將嘗試設計新的結構并考慮把所提方法應用到其他視覺領域。