改進Faster R-CNN 網絡的航拍小目標檢測研究

劉晉川，黎向鋒，劉安旭，左敦穩，趙康

（南京航空航天大學機電學院，江蘇南京 210016）

隨著航空航天技術的飛速發展，無人機技術及其航拍圖像在軍事和民用等領域應用也越來越廣，如搜索救援、地形勘探、交通疏導以及智能停車等[1-4]。由于無人機拍攝高度高、視野廣，導致航拍圖像中的目標存在尺度變化大、尺寸較小以及背景復雜等問題。而傳統的特征提取方法如SIFT 和HOG 算法需要人工設計特征[5-6]，只能在特定的場景下才能取得較好的效果，適應性和泛化能力差，不適合航拍圖像的檢測。

近年來，基于深度學習的目標檢測算法取得了重大進展，其準確性和實時性不斷提升。基于深度學習的目標檢測算法大致分為兩類：一類是以Faster RCNN[7]以及Cascade R-CNN[8]等算法為基礎的兩階段檢測算法，另一類是以YOLO[9]、RetinaNet[10]等算法為代表的一階段檢測算法。兩階段算法首先選擇候選區域，然后將候選區域進行位置回歸和類別分類，這種方法檢測精度較高，但檢測速度較慢。而一階段算法則去掉了候選區域的選擇步驟，直接對圖像進行分類和回歸，檢測速度較快，但檢測精度略低?；谏疃葘W習的目標檢測方法在檢測精度和檢測速度上相較傳統方法有了很大提升，但無論是一階段還是兩階段檢測算法，在面對小目標較多且各類目標間尺度變化較大的圖像時，仍然存在召回率低、誤檢率高的問題。為此，國內外學者進行了大量研究：Zhang等人為恢復小目標尺寸，在網絡中添加了反卷積層，改善了航拍圖像中小目標的檢測精度，但該方法過于聚焦小目標，對不同尺寸的目標檢測魯棒性較差[11]；Kisantal 等人提出一種對圖像中的小目標進行復制和重復采樣的方法，通過豐富小目標的訓練樣本來提高檢測精度，然而這種數據增強的方法對于沒有實例分割的數據集較為繁瑣[12]；劉英杰等人提出基于級聯區域建議網絡的航拍目標檢測算法，通過設置多閾值級聯機構優化對小目標的檢測，提高了航拍圖像中小目標的檢測精度，但該類網絡的高計算成本限制了檢測的速度[13]。

與一階段算法相比，Faster R-CNN 算法使用了RPN 網絡，解決了訓練過程中類別不均衡的問題。故該文基于Faster R-CNN 網絡，改進特征提取網絡并與特征金字塔網絡[14]（Feature Pyramid Networks，FPN）結合，同時改進錨框設置，提出了適合航拍圖像檢測的多尺度目標檢測網絡MS-R-CNN（Multi-Scale R-CNN）。

1 數據集及評價指標

1.1 數據集介紹

DIOR 數據集[15]是西北工業大學于2019 年提出的，該數據集包含23 463 張圖片，圖片尺寸均為800×800 像素，共有192 472 個對象實例，覆蓋20 個類別目標。該數據集中有車輛、船舶等小目標，也有高爾夫球場、公路收費站等尺寸較大的目標，具有較大的尺寸變化，并且具有較高的類內多樣性和類間相似性。

1.2 評價指標

文中采用查準率（Precision）、召回率（Recall）、平均精度（Average Precision，AP）和平均精度均值（Mean Average Precision，mAP）作為模型性能的評價指標。AP 值為以查準率為橫坐標、召回率為縱坐標繪制的曲線所圍的面積。查準率與召回率定義如式（1）和式（2）所示：

式中，TP（True Positive）表示分類器認為是正樣本且確實是正樣本的例子，FP（False Positive）表示分類器認為是正樣本但實際上不是正樣本的例子，FN（False Negative）表示分類器認為是負樣本但實際上不是負樣本的例子。

目標檢測任務中最重要的一個指標是平均精度均值，在多分類任務中，將所有類別的AP 求均值就可以得到mAP。

2 Faster R-CNN算法改進研究

Faster R-CNN 自提出到現在，一直采用最經典的兩階段檢測算法，其網絡框架如圖1 所示。該算法共分為四個階段：1）VGG 網絡提取待檢測圖片特征；2）特征圖進入RPN 網絡后輸出候選框矩陣及其得分；3）ROI Pooling 層將RPN 的輸出和特征圖進行處理，融合后生成大小一致的特征圖；4）全連接層將3）中得到的特征圖進行類別分類和位置回歸，得到檢測框的位置信息及得分。

圖1 Faster R-CNN網絡框架

2.1 引入Res2Net的特征提取網絡

對Faster R-CNN 算法的特征提取網絡進行替換和改進，將其中的VGG 特征提取網絡替換為Res2Net[16]網絡。相比VGG 網絡，Res2Net 可以提 取到更深層的語義信息，有效地改善了網絡梯度消失和梯度爆炸的問題，整體提高了遠距離小目標這種對分辨率要求較高的信息的特征提取和表達能力。

Res2Net 網絡是通過改進ResNet[17]網絡中的殘差塊得到的。殘差塊結構如圖2（a）所示，輸入特征矩陣以兩個分支進入殘差塊，直線分支經過多個卷積層產生輸出特征矩陣后與shortcut 分支傳過來的特征矩陣相加，之后再使用激活函數，由這種若干個殘差塊堆疊構建而成的網絡叫做殘差網絡。深度較大的特征提取網絡能提取到更加豐富的特征，而殘差網絡保證了在網絡深度加深的同時不會產生梯度消失和梯度爆炸的問題。

通常的特征提取網絡如ResNet 等都使用分層的方式表示多尺度特征，在每層網絡上運用多尺度，而Res2Net 在一個殘差塊中構建了分層的、多通道的殘差連接，以更細粒度級別來表示多尺度特征。如圖2（b）是Res2Net中的殘差塊示意圖，該殘差塊先獲得1×1卷積后的特征圖，對其通道數順序均分為s塊，圖中s=4，每一小塊Xi都會進行一個3×3 的卷積，用Ki表示，卷積結果用Yi表示，Xi與Ki-1的輸出相加并送入Ki，這樣就可以得到s個輸出。最后將s個結果進行拼接融合，然后進行1×1 的卷積，這種先拆分后融合的思路可以得到多尺度的特征，更好地進行特征融合。

圖2 ResNet和Res2Net殘差塊對比

圖3 是Res2Net 的網絡結構圖。圖中Res2Net bottleneck 代表一個圖2（b）所示的Res2Net 殘差塊，選取Conv2_x、Conv3_x、Conv4_x、Conv5_x卷積后提取的特征圖作為多尺度特征圖，送入后續的檢測網絡。

圖3 Res2Net網絡示意圖

2.2 Res2Net網絡中部分標準卷積的替換

航拍圖像由于拍攝高度以及拍攝視角不同，同一物體在圖像中出現時的角度、大小等差異較大，而標準卷積限于固定的幾何結構，并不能很好地對其進行模擬，故提出在Res2Net 網絡中使用變形卷積[18]（Deformable Convolution Networks，DCN）替換圖3 中Conv3_x、Conv4_x 和Conv5_x 中的標準卷積，以提高網絡對目標變換的建模能力。

變形卷積在標準卷積的常規采樣位置添加了偏移量，使采樣的網格變形，如圖4 所示。標準卷積的計算方式如下：

圖4 標準卷積和變形卷積采樣圖示

其中，pn是對采樣網格（卷積核）R中所有位置的枚舉，p0為輸出特征圖上對應pn的位置。變形卷積在標準卷積的基礎上增加了一個偏移量，同樣位置的p0變為：

即在每個采樣網格上添加了一個偏移量Δpn。圖5 為3×3 變形卷積的流程，首先通過一個額外的卷積層學習偏移量，然后將得到的偏移量作用到常規卷積之中，得到不規則位置的采樣。

圖5 3×3變形卷積

2.3 融合FPN的特征提取網絡

圖6為DIOR 數據集中某航拍圖像在網絡Conv3_4 和Conv5_3 階段的特征熱力圖，圖中顏色不同表示特征圖提取到的信息重要程度不同，顏色偏向框線區域表示網絡對其更加關注，偏向非框線則相反。從圖中可以看出，淺層（Conv3_4）特征圖更加注重飛機等小目標信息，由此可知，淺層信息更加適合小目標的檢測，而深層特征圖由于具有更大的感受野，所以對大目標的檢測更加敏感。如果直接采用深層特征進行檢測，容易忽略圖像中的小目標。為了增強對小目標的檢測性能，MS-R-CNN 引入了特征金字塔網絡FPN，FPN 通過自頂向下的路徑和橫向連接，將高分辨率、語義弱的特征和低分辨率、語義強的特征結合起來，可以對小目標進行更有效的檢測。

圖6 Res2Net網絡不同層次的熱力特征圖

如圖7（a）所示，特征金字塔網絡FPN 從深層到淺層融合特征。首先深層特征圖通過步長為2 的卷積操作使特征圖尺寸擴大一倍，同時將特征提取網絡中對應大小的特征圖使用1×1 的卷積層進行降維，然后將兩者對應元素相加得到融合后的特征圖，最后進入后續網絡進行預測。融入FPN 的MS-RCNN 算法結構如圖8 所示，圖中c2-c5 為Res2Net 網絡生成的特征圖，p2-p7 為FPN 網絡產生的特征圖。

圖7 融合FPN的主干網絡

圖8 改進后網絡結構圖

2.4 針對小目標的錨框改進

Faster R-CNN 定義了錨框（anchor）檢測物體，anchor 本質就是在特征圖的每個像素點上設置一組具有不同大小和比例的矩形框模板，隨后用這組矩形框檢測框內是否包含物體。結合DIOR 數據集的特性來設置anchor 的數量及尺寸。

Faster R-CNN 網絡中的錨框是基于VOC 數據集設置的，共有3 種尺寸大小，分別為128×128 像素，256×256 像素和512×512 像素，每種尺寸都對應3 種不同的寬高比（1∶1、1∶2 和2∶1），故特征圖中的每一個點都會生成9 個錨框。但DIOR 數據集中超過一半的目標是像素小于32×32 的小目標，所以對于該數據集，其錨框設計不太合理。

為了設計符合數據集的錨框大小及比例，對該數據集中的目標實例進行統計分析。圖9 展示了數據集中192 472 個對象實例的尺寸分布，從圖中可以看出，數據集中目標大小尺寸分布極不均勻，且多數目標為中小目標，雖然部分目標長寬比跨度較大，但絕大多數集中在0.5～2.0 之間。故在MS-R-CNN 算法中，設置anchor的尺寸分別為16×16像素，32×32像素，64×64 像素，128×128 像素，256×256 像素和512×512 像素，寬高比分別為1∶1、1∶2 和2∶1，這樣的設置基本能覆蓋各個尺寸的目標。由于每個尺寸的特征圖只能對應一種尺度的錨框，故在原FPN 的基礎上，通過對p6 特征圖進行最大池化操作生成p7，如圖8 所示，p2-p7 分別對應上述6 種錨框尺寸。

圖9 尺寸分布

3 實驗與分析

3.1 模型訓練

采用SGD（Stochastic Gradient Descent）算法對模型進行求解，共學習12 輪，在第8 輪和第11 輪調整學習率，降為原來的0.1，目的是為了保證模型可以穩定收斂，避免發生梯度爆炸。其他參數設置如表1所示。

表1 參數設置

3.2 實驗結果分析

采用mAP 作為評價指標，為驗證設計模型的先進性和有效性，將標準Faster R-CNN網絡（VGG-16）、經典Faster R-CNN（ResNet-101+FPN）網絡以及該文算法MS-R-CNN 進行了對比實驗。消融對比結果如表2 所示。表中anchor 表示改進anchor 設置并在FPN 網絡上添加p7 層特征圖。

表2 各類算法在DIOR數據集上的mAP對比

通過實驗對比可以看出，MS-R-CNN 網絡對提高檢測效果非常有效，較標準Faster R-CNN 網絡準確率提高了16.1%，較經典的Faster R-CNN 算法提高了6.2%。其中Res2Net-101 特征提取網絡、DCN方法以及對anchor 的改進分別貢獻了3.3%、1.9%和1.0%的檢測精度。

圖10 所示為經典Faster R-CNN 算法與MS-RCNN 算法檢測效果的局部放大圖。從對比圖可知，經典Faster R-CNN 算法會對圖像中小目標船只造成漏檢以及誤檢的情況，而該文的MS-R-CNN 算法可以對圖像中的船只進行正確的檢測和識別。

圖10 不同算法檢測結果示例

4 結論

為了提高航拍圖像的檢測精度，文中基于Faster R-CNN 網絡提出一種多尺度航拍目標檢測算法MS-R-CNN。MS-R-CNN 選用Res2Net 網絡作為特征提取網絡，同時用變形卷積替換該網絡Conv3_x、Conv4_x 和Conv5_x 中的標準卷積，提高了網絡對目標深層信息的提取能力以及對目標變換的建模能力，將Res2Net產生的多尺度特征圖通過FPN 網絡自上而下融合起來，有效改善了深層特征圖中小目標位置信息不足的問題。針對數據集中目標的大小設置合適比例和尺寸的anchor，使其能有效地對各個尺度的目標進行檢測。實驗顯示，該文提出的MSR-CNN 算法在DIOR 數據集上較Faster R-CNN 算法mAP 提高了16.1%，較經典的Faster R-CNN 算法mAP 提高了6.2%，明顯降低了小目標的漏檢率和誤檢率，取得了良好的檢測效果，驗證了該文方法的有效性。