基于深度學習的遙感圖像目標檢測方法

劉媛

（ 北京建筑大學 測繪與城市空間信息學院，北京100044）

遙感數據日益多元化，數據獲取的速度加快，更新周期縮短，時效性越來越強[1]，極大的促進了遙感影像相關的應用研究。傳統的遙感影像目標識別主要是基于人工提取特征的方法，但遙感圖像中豐富多樣的細節信息使得人工描述的單一特征不足以全面表達目標地物，且多依賴于專家經驗。此外，建立在概率統計基礎上的機器學習通常需要復雜的特征描述，并且基于其淺層的網絡結構學到的特征表達在處理復雜的目標檢測問題時表現性能及泛化能力有明顯不足。

2000 年以后隨著計算資源大規模提高，基于人工神經網絡的深度學習方法蓬勃發展。深度神經網絡能夠通過大量的訓練數據及具有隱藏層的深度學習模型學習高維特征，提高了目標檢測的分類精度。深度學習的深層結構及特征學習能力在圖像處理領域取得了巨大的成功，大量學者也將其運用到遙感目標檢測與識別領域。本文對當前深度學習應用于遙感圖像處理的方法進行對比分析，有助于追趕深度學習的發展步伐，幫助研究人員更好的了解這一研究領域。

1 基于深度學習的遙感圖像目標檢測方法

遙感圖像目標檢測方法包括基于區域提議方法和基于回歸的方法，基于區域提議的方法先生成一系列目標候選框，然后再利用卷積神經網絡對目標進行分類與邊框回歸，具有高精度的優點。本文主要對基于區域提議的目標檢測進行分析與對比。

1.1 R-CNN。2014 年，Girshick[2]使用“區域提議+卷積神經網絡”的方法代替傳統目標檢測使用的“滑動窗口+手工設計特征”方法，設計了R-CNN框架，使得目標檢測技術取得了巨大突破。R-CNN利用選擇性搜索算法在輸入圖像中提取約2000 個候選區域；然后將每個候選區域縮放為固定大小后送入模型中提取特征向量；最后把特征向量輸入一組多類別支持向量機對每個候選區域進行分類與候選框精修。R-CNN的處理過程如圖1 所示。雖然R-CNN方法相較于傳統方法進步巨大，但其重復計算提取特征造成了效率低下。

圖1 R-CNN 檢測流程

1.2 Fast R-CNN。為了提高目標檢測的效率及精度，SPP-net[3]去掉了R-CNN 縮放候選區域以統一圖片尺寸的處理方式，在CNN結構中加入了空間金字塔池化層使得任意尺寸的圖像輸入網絡可以輸出固定維數的特征向量。Fast R-CNN[4]采納了類似方法，增加了類似空間金字塔池化層的RoI 池化層，對輸入全連接層的特征向量尺寸進行歸一化處理。另外，SPP-net 與Fast R-CNN 對輸入圖像只進行一次卷積特征提取也大大縮短了計算時間。Fast R-CNN的處理過程如圖2 所示。雖然這一改進提高了速度，但是仍然沿用選擇性搜索算法獲得目標候選框的方式也嚴重制約其效率。

圖2 Fast R-CNN 檢測流程

1.3 Faster R-CNN。2017 年，Ren 等人在Fast R-CNN的基礎上提出了Faster R-CNN[5]，采用區域提議網絡取代選擇性搜索算法生成目標候選框，并與Fast R-CNN結合形成了一個端到端的卷積神經網絡目標檢測模型。其中區域提議網絡僅需通過一次卷積操作提取目標候選框及特征圖，并且進行了兩次候選框精修與分類，在效率與精度方面都得到了很大的提升。Faster R-CNN的處理過程如圖3 所示。

圖3 Faster R-CNN 檢測流程

1.4 Mask R-CNN。Mask R-CNN[6]算法是在Faster R-CNN的基礎上添加了一個額外的掩碼分支與現有分支并行來預測用于包圍框檢測的目標掩碼。Mask R-CNN采用“ResNet+FPN”的主干網絡結構，將低層次特征與高層次特征結合，適用于多尺度目標的檢測。此外還將RoI 池化層替換為RoIAlign 層，在下采樣時對齊特征以減少多量化引起的誤差對回歸定位產生的影響。Mask R-CNN的處理過程如圖4 所示。

圖4 Mask R-CNN 檢測流程

2 評價指標

遙感圖像目標檢測方法常用的評價指標包括精確率(Precision)、召回率(Recall)、平均精度(AP)、F1-score 等。

上式中，TP（真正，True Positive）表示被模型預測為正的正樣本數量；FP（假正，False Positive）表示被模型預測為正的負樣本數量。

上式中，FN（假負，False Negative）表示被模型預測為負的正樣本數量。上式中，P 指精確率Precision；R 指召回率Recall。

上式中，P 指精確率Precision；R 指召回率Recall。

3 遙感圖像數據集

數據集對于深度學習目標檢測方法非常重要，具有較強適應性的數據集能夠促進遙感圖像目標檢測技術的發展。在過去的幾十年中，多個研究小組發布了公開的遙感圖像數據集。表1 中介紹了流行的遙感圖像數據集相關信息。

表1 常用遙感圖像數據集

4 結論

隨著遙感圖像目標檢測需求的不斷增長以及計算機技術的發展，極大地促進了深度學習在遙感圖像目標檢測領域的應用研究。目標檢測算法日新月異，遙感圖像目標檢測與識別任務仍面臨著諸多挑戰。

（1）遙感圖像目標具有尺度差異性，目前大多采用融合多層特征的方式來獲取多尺度特征以優化小目標及密集目標的識別效果，但目前仍舊缺乏適合遙感多尺度目標檢測的性能更優異的方法。

（2）由于大量的遙感標注數據耗費巨大獲取不易，缺乏有效的訓練集也是制約目標檢測精度提升的瓶頸，因此采用弱監督、無監督的方法，或利用遷移學習解決數據不足的問題也是今后發展的趨勢。

（3）遙感數據是多模態的，特定數據集針對特定任務的難以遷移問題也是面臨的挑戰之一，因此利用多源異構數據和信息的融合，協同互補地利用這些數據源構建易遷移的通用模型十分重要。

（4）雖然理論上多層網絡確實可能學習出最優的函數模型，但它無法解釋該模型如何構建以及模型背后的含義[13]。加強網絡的理論研究并掌握最佳網絡深度與檢測性能、硬件、效率之間的平衡也是今后重要的研究課題之一。