基于multi-FPN 的遙感目標檢測方法

楊志鋼，黎明，李泳江

哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001

遙感技術的不斷發展使得從遙感圖像中對特定目標進行檢測的需求與日俱增。相比于傳統手工提取特征的方法，深度學習方法利用卷積神經網 絡(convolutional neural networks，CNN) 自動學習圖像特征，通過不斷迭代訓練大量的數據樣本，挖掘其中的有效信息[1]，以此規避傳統目標檢測方法中的缺點，能夠有效提高目標檢測的精度和速度。

目前遙感圖像領域中的目標檢測方法大多是由通用目標檢測方法改進而成的，大體分為2 類：兩階段檢測方法和單階段檢測方法。前者的代表是R-CNN 及其延伸[2?5]，它們通過主干網絡對圖像提取特征后，先生成錨點和對象建議，再對建議進一步地分類、回歸和優化邊界框；后者的代表是YOLO 系列[6?8]、SSD[9]和RetinaNet[10]，它們不再生成區域建議，而是直接從特征圖預測邊界框并區分具體類別。這些方法雖然在通用數據集上取得了很好的成績，但直接應用于遙感圖像時往往效果不佳，原因在于遙感圖像目標多數具有尺度多樣、排布密集、背景復雜等特點，這些方法當中的主干網絡[11?14]很難在這樣的環境中準確提取特征，致使學習到錯誤的分類和回歸信息。Lin 等[15]提出FPN 用以解決目標特征難以分辨的問題，通過在主干網絡中構建由上到下的特征金字塔和橫向連接結構增強多尺度特征的傳播，大幅提升了檢測精度。隨后研究人員在此基礎上做了一些改進[16?19]以適應遙感圖像目標檢測的特點，但這些改進方法普遍是對單一類別目標進行檢測，且在場景復雜或目標較為密集時檢測性能有所下降。

基于此背景，本文提出一種基于multi-FPN 的遙感圖像目標檢測方法。首先，該方法使用殘差網絡ResNet-50 作為主干網絡，在FPN 橫向連接的基礎上加入跨層連接結構，進一步地加強特征的融合和重用；其次，改變上采樣金字塔的輸出層級，采用{P3,P4,P5,P6,P7}層級輸出多尺度特征圖，有利于特征的傳播；最后，特征金字塔的上采樣過程采用了雙線性插值法替代原來的最鄰近插值法，使得特征縮放后的誤差更小，預測框坐標的回歸更準確。

1 方法

基于multi-FPN 的遙感圖像目標檢測方法的總體框架如圖1 所示。主要由特征提取網絡和兩階段檢測網絡2 部分組成。具體來說，經過預處理的圖片首先輸入進特征提取網絡中，通過主干網絡和multi-FPN 可以為每個輸入圖像生成多尺度特征融合的特征圖；然后從區域提案網絡(region proposal network，RPN)中 獲得輪流提案，為下一階段提供高質量的區域提案；最后，在二次檢測階段利用2 個全連接層(fully connected layer，fc)對提案進行位置回歸和類別預測，得到最終結果。

圖1 基于multi-FPN 的方法總體框架

1.1 特征提取網絡

1.1.1 主干網絡

深度CNN 的出現使得圖像分類和目標檢測取得了一系列突破，網絡將從低到高層的特征和檢測器以端到端的方式進行融合，并通過特征網絡層的加深來取得更好的檢測效果。目標檢測中基于深度CNN 的主干網絡是用來提取特征的結構，本文選擇采用殘差網絡ResNet-50 作為主干網絡，利用多組殘差單元，在提取特征的同時有效避免了梯度爆炸或梯度消失的發生。原始的ResNet-50 在圖像分類時可以實現1 000 種目標類別細分，但應用于目標檢測后要根據數據集的類別進行輸出項調整。比如本文在NWPU VHR-10 數據集上進行實驗，共有10 類待檢目標，所以主干網絡的輸出節點數設置為11，即10 個前景目標和1 個背景類別。

1.1.2 FPN

目標檢測中的主干網絡雖然可以利用卷積操作有效提取特征，但在原始圖像經過CNN 下采樣一定倍數后，有一些小像素物體會在最后一層特征圖上消失，導致后續檢測網絡無法檢測出該目標，除此之外，還會遇到同一目標尺度有大有小、特征難以準確學習等情況。為了能讓大尺寸物體和小尺寸物體的特征都被有效提取并輸入進檢測網絡中，研究人員在主干網絡的基礎上，增加了FPN 的結構，如圖2 所示。FPN 包括3 部分：下采樣金字塔、上采樣金字塔和橫向連接。具體而言，下采樣金字塔由ResNet-50 網絡的部分結構組成，每層最后一個殘差結構的特征激活輸出表示為{C2,C3,C4,C5}。上采樣金字塔可以有效結合低、中、高層不同尺度的特征，方法是對高階特征圖進行多次上采樣，同時將該特征橫向連接至對應下采樣金字塔中的前一層特征，二者進行相加操作，使高層特征得到加強。圖2 中以P4 為例展示了橫向連接的細節，可以看到上采樣金字塔中的P5 特征做步長為2 的最鄰近上采樣，同時對應下采樣金字塔中的C4 層特征經過1×1 的卷積，使其和后一層的特征圖通道數保持相同，然后與上采樣后的特征圖像素加合，并使用3×3 的卷積層消除上采樣的混疊效應。P6 是P5 進行一次最大池化產生的層，隨著訓練次數的增加不斷迭代融合，直到生成精細化的特征圖。

圖2 FPN 結構

1.1.3 multi-FPN

FPN 是融合多層次信息的一種有效的多尺度方法，在通用目標檢測任務中取得了不錯的效果，但值得注意的是，遙感圖像中的目標尺度差異過大，且復雜多變的背景會對前景目標特征的分辨產生較強的干擾，尤其是存在一些類目標的物體，比如海岸邊的集裝箱與停泊船只目標的特征相似，給特征提取工作帶來了很大的困難。因此，通過FPN 獲得的特征信息可能不足以很好地區分這些目標。為了解決此問題，本章對特征金字塔的網絡結構進行了優化，提出了跨層連接，改變了上采樣金字塔的輸出層級，進一步增強特征的傳播和高、中、低層特征的融合，并使用雙線性插值法替代原本的最鄰近插值法，使得特征上采樣效果更好，經過改進的FPN 結構如圖3 所示。

圖3 multi-FPN 結構

主干網絡仍然選擇ResNet-50，在下采樣金字塔中，多層特征映射{C2，C3，C4，C5}保持不變，對應每個卷積塊的最后一層，步長為{4、8、16、32}像素，C5 是ResNet-50 最頂層的輸出，其通過一個1×1 的卷積層，將通道數轉為256，得到上采樣金字塔的P5。P5 層首先經過2 次下采樣，步長為2，分別得到P6、P7 層；其次經過橫向連接和跨層連接，依次得到P4、P3 層；最后輸出{P3，P4，P5，P6，P7}多層特征圖。橫向連接和跨層連接的細節如圖3 中所示。例如，為了得到P4，首先需要對C4 使用1×1 的卷積操作，以減少C4 通道的數量；其次對之前的所有層(P7、P6、P5)進行雙線性插值上采樣，接著使用concat 操作(數組間的相加)來合并它們，最后利用3×3 的卷積以消除特征混疊，同時減少通道數量。通過層層迭代，輸出了多尺度的特征圖。通過實驗發現，橫向連接可以保證有效利用底層定位的細細節信息，跨層連接能夠進一步加強多層次特征的融合，同時，更深的P6、P7 卷積層可以獲得更多的語義信息，有助于復雜環境下的目標特征獲取。另外，FPN 在上采樣時使用了最鄰近插值算法，過程如下：假設原始特征圖像素大小為w1×h1，上采樣后像素大小為w2×h2，上采樣特征圖中有1 像素點 (x2,y2)，則對應于原始特征圖上的像素點位置 (x1,y1)為

由于像素值x1、y1必須為整數，所以計算中出現小數時需要四舍五入，這樣會造成特征圖像素的不連續性，且多次上采樣后精度缺失嚴重。本文使用雙線性插值算法對上采樣過程進行改進，過程如下：假設想得到上采樣圖像像素點對應在原圖中的位置P(x,y)，離該位置最近的4 個像素點值分別為Q11(x1,y1)、Q12(x2,y2)、Q22(x3,y3)、Q21(x4,y4)，如圖4 所示。

圖4 雙線性插值算法示意

P的像素值與鄰近像素點的距離相關，距離越近的點像素值影響越大，計算過程如下：

1)根據Q11(x1,y1) 和Q22(x3,y3)的像素值計算得到R1(x,y1)位置的像素值。

2)根據Q12和Q22的像素值計算得到R2(x,y2)位置的像素值。

3)由R1 和R2 的像素值計算得到最終結果P(x,y)。

1.2 兩階段檢測網絡

兩階段檢測網絡的結構和損失函數與Faster R-CNN 模型相同，利用提取的特征對目標進行分類和定位。特征圖首先輸入進RPN 中，在錨點的基礎上做前景和背景的二分類、邊界框回歸以及后處理，得到建議特征圖；其次將建議特征圖輸入RoI pooling 層裁剪成固定大小；最后利用2 個全連接層進行第2 次檢測，包括具體類別劃分、邊界框回歸和后處理，得到最終的檢測結果。

2 實驗

2.1 數據集與實驗條件

本文在公開光學遙感數據集NWPU VHR-10[20]上進行實驗，該數據集總共800 張超高分辨率光學遙感圖像，每張像素大小約為800×1 000，包含從Google Earth 和Vaihingen 數據集中裁剪收集的籃球場、船只、飛機、儲油罐、田徑場、棒球場、車輛、網球場、橋梁、碼頭10 類目標類別，由航拍圖像判讀專家手動注釋成水平標注框加標簽的形式，如(xmin,ymin,xmax,ymax,label)。本文實驗使用其中的正樣例圖像集，每幅圖像中至少存在1 個待檢測的目標，共計650 張圖，大約有3 775個標注目標，該數據集經圖像增強后相比于同類水平標注數據集類別和目標數目都多，在遙感圖像數據中具有代表性。本文實驗中訓練、測試所用到的硬件設備和開發環境如下：硬件設備：CPU:Intel(R) Xeon(R) Gold 6 128 3.40 GHz；GPU:Nvidia Tesla P100 16 GB RAM；系統配置：Ubuntu 16.04,Anaconda 3-5.2,CUDA 9.0；開發環境：Python 3.6,Tensorflow 1.12,Keras 2.2.4。

2.2 參數設計與模型訓練

本文方法使用的網絡模型深度較深，而NWPU VHR-10 中的正樣例圖像集僅包含650 張圖片，即使裁剪后數量依然不足。故本章實驗使用了模型預訓練和圖像數據增強的策略。使用ImageNet 分類預訓練的Resnet-50 模型初始化網絡，再移植到數據量有限的NWPU VHR-10 上進行微調，數據增強方面使用了隨機圖像翻轉、隨機剪裁、角度旋轉、顏色抖動等操作。本文實驗隨機抽取圖片劃分訓練集、驗證集和測試集，比例為6∶2∶2。實驗基于TensorFlow 框架進行，為了加快訓練、驗證和測試的速度，采用TFRecord格式輸入數據。實驗參數方面，根據對NWPU VHR-10 數據集中待檢測目標的實際尺寸和寬高比率進行統計分析，設置RPN 中{P2，P3，P4，P5，P6}的錨點框區域大小為{252，502，1002，2252，4002}像素，錨點框寬高比為{1，1/22，1/3，3，1/4，4，1/5，5}。

2.3 實驗結果及分析

本文中的性能評估標準使用單一類別平均精度(average precision,AP)和各類別精度均值(mean average precision,mAP)，能夠相對客觀地評價檢測時所有類別的平均好壞程度，值越大，表示目標檢測模型的性能越好，衡量速度采用的是測試1 張圖片所用的平均時間，這也是目標檢測領域的通用標準。

本文做了一系列的對比實驗，以驗證multi-FPN 方法的有效性。表1 總結了所用方法在不同結構組合下的檢測結果，主要關注評價的是橫向連接、跨層連接、不同的輸出層級以及上采樣的方式所帶來的影響。表2 中結構統一采用ResNet-50作為主干網絡，檢測網絡部分相同。可以看到FPN 的檢測精度約為86.61%，測試單張圖片的時間為0.32 s。當FPN 去掉橫向連接結構時，如組合1 去掉了1×1 的卷積側連接，這種僅靠多次上、下采樣輸出的特征圖盡管仍然具有很強的語義信息，但位置信息變得不再精確，mAP 較FPN 下降了約12 %，由此看出，主干網絡的各層通過橫向連接連接到自頂向下的特征金字塔，可以傳遞出更精確的特征位置。組合2 與組合1 對比以及組合3 與FPN 的對比，可以看到跨層連接結構對最終檢測精度的提高幅度約為2%，說明使用跨層連接有助于多尺度目標特征進一步地重用和傳播。組合4 改變了特征圖的輸出層級，mAP 較組合3 上升了約1%，可見CNN 的更深層可以獲得更多的語義信息，有助于遙感圖像中復雜環境下的目標特征獲取。組合5 使用了雙線性插值算法替代了原來的最近鄰插值算法，精度上升了約2%，且檢測速度沒有明顯變化，故選擇組合5 作為本文最終改進的遙感圖像目標檢測方法。

表1 本文方法在不同結構組合下的檢測結果

表2 不同方法檢測性能對比 %

表2 顯示了不同方法在NWPU VHR-10 數據集上的性能對比。本文實驗對比了NWPU VHR-10 數據集的基準方法RICNN 以及具有代表性的檢測方法Faster R-CNN、YOLO v2 和SSD，從表2可以看到，本文方法在大部分類別上面都達到了最高精度，mAP 達到91.92%，由此證明基于multi-FPN 的目標檢測方法在遙感圖像中表現優異。相比于同樣使用ResNet-50 做主干網絡的Faster RCNN，本方法在車輛、船只、儲油罐等尺寸較小的目標上AP 有了不小的提升，說明multi-FPN 策略有效提升了小目標的檢測精度；對于碼頭、籃球場、網球場等相對較大的目標精度也有所提升，表明了更深的卷積層輸出對目標檢測的重要性。

如圖5 以熱力圖的形式顯示了multi-FPN 的各層輸出特征圖{P3，P4，P5，P6，P7}，可以看到，對于示例圖中復雜背景下的船只小目標，較低層的P4 特征圖能夠很好地區分出礁石、海浪和船只特征的不同，以此層作為兩階段檢測網絡的輸入，對于檢測精度的提升較為明顯。圖6 展示了測試集中的部分檢測結果示例。

圖5 multi-FPN 輸出特征圖示例

圖6 測試集部分檢測結果示例

3 結論

本文主要從特征提取的角度對目標檢測方法進行了研究，提出了一種基于multi-FPN 的遙感圖像目標檢測方法。一方面，在FPN 網絡模型的基礎上加入跨層連接結構，通過改變由上到下金字塔的輸出層級，保證了面對遙感圖像復雜背景的環境下依然能夠有效地提取出目標特征，進一步地增強了特征的融合和傳播；另一方面，采用雙線性插值法替代原本的最鄰近插值法，減少特征上采樣的失真，進而提升了檢測精度。結構和方法對比實驗結果表明，本方法在檢測精度上超越了目前普遍在用的目標檢測方法，在公開遙感圖像數據集NWPU VHR-10 上mAP 達到91.92%。