聯合知識與CNN的遙感影像目標檢測研究綜述

高宇歌，楊海濤，王晉宇，李高源，張長弓，馮博迪

1.航天工程大學 研究生院，北京101416

2.航天工程大學 航天信息學院，北京101416

隨著天基遙感技術的迅猛發展，對地觀測衛星的空間分辨率、光譜分辨率、時間分辨率等不斷提高，遙感技術現已成為采集地球地物信息及其動態變化的主要技術手段，可以大范圍、全方位、高速率地獲取全球的資源與環境信息。通過對遙感影像的分析與解譯，可以實現作物分類、精細農業、水域普查、災害監測、城市規劃等多領域工作，為不同的用戶服務。

遙感影像人工解譯模式是幾十年來遙感行業所使用的最基本的解譯模式，但傳統的遙感影像目視解譯方法需要大量的人力物力，難以滿足海量遙感數據的解譯需求。隨著天基遙感大數據時代的到來，智能解譯模式已逐漸替代人工解譯模式，成為遙感解譯發展的主流方向。研究利用人工智能技術對海量遙感數據進行處理分析，將大幅提升遙感數據的利用率，推動遙感數據向遙感信息的快速轉化。

目標檢測是光學遙感圖像分析的重要內容，是將圖像數據轉化為應用成果的關鍵一環[1]。幾十年來，遙感影像目標檢測技術隨著遙感技術與計算機視覺技術的發展不斷更新換代，形成了基于模板匹配、基于知識、基于面向對象、基于傳統機器學習以及基于深度學習的五種檢測方法[2]。特別是近年來基于卷積神經網絡（Convolutional Neural Network，CNN）的深度學習方法的快速發展，推動目標檢測的速率與準確率迅速提升。但不同于自然場景影像，遙感影像存在數據量巨大、實例級噪聲大、目標分布方向無序、目標成像表觀差異大等顯著特點[3]，其檢測任務與遙感解譯等相關領域知識關聯密切。因而在現階段的研究中，已有越來越多的學者開始研究將知識融入CNN的遙感影像目標檢測方法。

1 數據集和評價指標

1.1 遙感影像目標檢測數據集

遙感影像數據集用于目標檢測模型的訓練、測試與驗證，國內外諸多遙感研究團隊針對不同類別的目標制作了相應數據集，其中國內武漢大學、西北工業大學等團隊制作的NWPU VHR-10數據集[4]、DOTA數據集[5]、DIOR數據集[6]，以及國外美國防創新部門實驗室和國家地理空間情報局制作的xView數據集[7]，規模較大、目標類別較多，具有代表性。

NWPU VHR-10數據集由800張遙感圖像構成，影像主要來自Google Earth和Vaihingen數據集裁剪，影像尺寸最大約1 000×1 000，共包含飛機、輪船、儲罐、棒球場、網球場等10個對象類別3 775個實例。

DOTA航空影像目標檢測大規模數據集，為CVPR2019中Challenge-2019 on Object Detection in Aerial Images使用的數據集，由2 806張遙感圖像構成，影像主要來自Google Earth、JL-1衛星和GF-2衛星，影像尺寸從800×800至4 000×4 000不等，最新的1.5版本共包含飛機、輪船、儲罐、棒球場、網球場、籃球場、跑道等16個對象類別約40萬個實例。

DIOR數據集由23 463張遙感圖像構成，影像主要來自Google Earth，影像尺寸為800×800，共包含飛機、機場、棒球場、籃球場、橋梁、煙囪、水壩等20個對象類別192 472個實例。

xView是世界最大的公開可用的遙感影像數據集之一，具有高分辨率、多光譜特性，由1 129張遙感圖像構成，影像主要來自WorldView-3衛星，影像尺寸大約3 000×3 000，共包含60個對象類別超過100萬個實例。

1.2 檢測算法評價指標

目標檢測問題中的每張圖片都可能包含許多不同類別的物體，通過目標檢測模型進行目標分類與定位后，需要評估算法的實際檢測性能，主要評價指標如下：

（1）交并比

在目標檢測算法中常用交并比（Intersection over Union，IoU）評價檢測框與真實框之間重合程度，即兩矩形框的交集與并集的比值。通常情況下對于檢測框的判定都會設置固定的閾值（IoU的閾值），一般設置IoU的值大于0.5的時候，即認為成功檢測目標。

（2）精度和召回率

檢測精度（Precision）和召回率（Recall）是目標檢測最常用的評價指標，具體計算公式如下：

TP（True Positive）表示被正確檢測出的目標數量，FP（False Positive）表示本身不是目標但被錯誤地檢測為目標的數量，FN（False Negative）表示本身是目標但未被檢測出的目標數量。

（3）平均精度均值

精度-召回率曲線（Precision-Recall Curve，PRC）指的是通過設置不同的閾值，以召回率為橫坐標、以精度為縱坐標構成的曲線，平均精度（Average Precision，AP）指的是精度-召回率曲線所覆蓋的面積，平均精度均值（mean Average Precision，mAP）指的是每類目標計算AP值后再取平均值，mAP也是用來衡量模型目標檢測性能的常用指標。

（4）Fβ指標

實際檢測應用常需要綜合考慮精度與召回率，因此引入指標Fβ進行閾值的選取，Fβ計算公式如下：

當設置β2大于1時，考慮召回率的影響優先于精度；反之當設置β2小于1時則更看重精度的影響；當設置β2等于1時，相當于召回率和精度的調和平均，該值亦是常用的指標稱為F1值，使用時取F1最大值時的閾值即可。

（5）FPS指標

目標檢測算法的另一項重要評估指標就是速度，通常使用FPS進行評估，即算法每秒可以處理的圖片數量。很多目標檢測算法都是在準確度和速度上進行權衡，較高的準確度往往需要較大的時間損耗。單考慮準確度不考慮速度，很難實現工程部署；而只考慮速度不考慮準確度，檢測算法難以達到應用要求。

2 基于知識的目標檢測方法

基于知識的方法是傳統遙感影像目標檢測的經典方法，該方法通過將目標及其相關的隱性知識轉化為可供檢測使用的顯性規則，檢測時通過將目標特征與生成的規則進行匹配計算，最終輸出目標檢測結果?；谥R的方法主要流程如圖1所示。根據使用知識的不同，該方法可細分為基于幾何知識的方法、基于上下文知識的方法、基于輔助知識的方法，以及聯合上述知識的基于綜合知識的方法。

圖1 基于知識的遙感影像目標檢測流程圖Fig.1 Flowchart of knowledge-based remote sensingimage target detection

2.1 基于幾何知識

幾何知識主要指目標的形狀（如線形、矩形、T形、L形等）等先驗知識，通過將其轉化為參數檢驗模型，實現對道路、建筑物等形狀較為規則的目標檢驗。Mcglone等人[8]基于建筑物幾何形狀具有的垂直線和水平線的知識，生成建筑物檢測假設模型。Treash等人[9]基于道路的形狀邊緣特征，設計邊緣檢測器提取道路。Wang等人[10]提出了一種不依托災前影像進行受損道路檢測的方法，首先提取道路中心線，再根據道路的矩形度、縱橫比等知識構建檢測模型，最后結合道路損壞評估的領域知識，使用道路受損寬度比進行道路受損評估。但基于幾何知識的方法對目標的幾何特征過于敏感，面對影像中目標遮擋、相似紋理等情況時，常出現目標漏檢、錯檢等現象。如影像中公路與機場跑道幾何形狀相似、建筑物被其他物體陰影遮擋等情況，均會影響該方法檢測效果。

1.3 造模 在含有10%FBS的RPMI-1640中培育(37℃、 5% CO2培養箱)HepG2/ADM細胞，經傳代后取指數生長期的 HepG2/ADM細胞，使用緩沖液稀釋懸浮，稀釋密度為1×109/ml，按照每只0.2 ml分別注射至每只裸鼠左側或右側腋部[7]。接種后1周左右可見瘤體長成，10 d左右瘤體直徑約0.6 cm，造模成功[8]。

2.2 基于上下文知識

上下文知識主要指待檢目標與背景環境、相鄰目標之間的空間聯系，如道路檢測可將行道樹、斑馬線以及道路上的車輛等作為上下文信息，機場檢測可將機場的跑道、停機坪上的飛機等作為上下文信息。Ok[11]通過引入建筑物所投射的陰影信息，使用概率方法對建筑物及其陰影之間的定向空間關系進行建模，檢測陰影標識可能的建筑物區域。Wu等人[12]基于船舶與水域的空間位置關系，先進行水域分割，再根據船舶存在靠岸和離岸兩種狀態設計算法完成檢測。Lin等人[13]結合橋梁和河流的上下文關系，提出通過閾值分割獲得可能存在橋梁的水域區域，再結合長寬比、角度等橋梁特征進行檢測。但基于上下文知識的方法需要明確待檢目標與周邊環境、目標的關系，并需要人工地選取周邊有用的關聯信息，同時由于增加了其他目標的檢測，導致檢測算法時間、空間復雜度整體提升。

2.3 基于輔助知識

輔助知識主要指地形圖、高程圖、定位信息以及其他多源遙感信息等，通過輔助知識與目標影像的匹配處理，能夠為目標檢測提供豐富的數據支撐。項盛文等人[14]利用機場的空間掩膜圖像、多源遙感圖像以及控制點位置等多種輔助知識，結合飛機目標的變化會導致紋理特征的變化等相關知識，實現機場飛機的變化檢測。張繼賢等人[15]結合已有的土地利用與覆蓋矢量圖與遙感影像進行配準，構建各類別遙感數據知識庫，通過計算遙感影像特征統計量，檢測出相應的土地利用與覆蓋類別。Bouziani等人[16]利用已有的地理數據庫結合先驗知識生產檢測規則，實現對城市建筑物的變化檢測，再將變化情況滾動更新地理數據庫。Mazzarella等人[17]提出將海上交通知識、自動識別系統信息與遙感影像船只檢測相結合的方法?；谳o助知識的方法需要獲取有效的多源信息支撐，但制作整理多源信息的過程確有難度，且地形圖、矢量圖等與遙感影像進行時間、空間匹配亦需要較大開銷。

2.4 基于綜合知識

由于遙感影像地物場景的復雜性以及目標特征的多變性，僅僅依靠單一知識進行目標檢測，很難快速準確地完成檢測任務。因而越來越多學者開始研究聯合幾何知識、上下文知識、輔助知識等相關信息的方法，通過綜合多源知識信息進行交叉印證，更加準確地實現對目標的檢測。

Ding[18]通過引入機場相關領域知識（如圖2所示），系統梳理了跑道的形狀、結構、瞄準點等12種識別特征，并根據上述特征生成不同的檢測規則，然后使用視覺顯著性分析、灰度模板匹配和線段檢測技術分階段實現機場跑道的提取。柴宏磊[19]從港口的形狀特征、結構特征、地理位置著手，通過構建檢測規則實現對候選區域的提取，再通過防波堤與港口的空間關系確定港口的位置。袁文亮[20]提出首先根據建筑物的光譜和空間特征生成形態學算子進行初檢，再利用建筑物的形狀、陰影等相關知識進行約束驗證，有效減少目標的誤檢。遙感解譯知識庫更是基于綜合知識方法的典型應用代表，通過將目標的波譜知識、幾何知識、紋理知識、空間關系知識以及其他專家知識存儲入庫，實現目標檢測的流程化、高效化。近年來許多學者通過結合專家知識建立解譯知識庫，實現了對自然災害[21-22]、水體[23]以及地表植被[24]等目標的檢測。但基于綜合知識的方法需要收集整理較多的目標相關知識，仍需較大的時間開銷，同時將知識轉變為合適的檢測規則亦有難度，解譯知識庫所需的專家成本更是難以估量。

圖2 機場跑道領域知識Fig.2 Airport runway domain knowledge

3 基于CNN的目標檢測方法

2012年，Hinton和他的學生Alex設計的AlexNet[25]奪得了當年ImageNet競賽冠軍，掀起了CNN等深度學習方法的研究熱潮，后來的VGGNet[26]、DenseNet[27]等經典網絡模型進一步優化提升網絡性能。2014年，R-CNN[28]（Regions with CNN features）算法率先將CNN應用到自然圖像的目標檢測任務中，后續Faster R-CNN[29]、YOLO系列算法的陸續出現，更是構成了當前目標檢測算法的主體。在自然圖像上的成功應用使得該方法被迅速推廣到遙感影像中，后逐漸替代了遙感影像目標檢測的傳統方法并大范圍應用。

根據檢測階段的不同，該方法可以具體分為基于候選區域的兩階算法和基于回歸的一階算法?；贑NN的遙感影像目標檢測方法主要流程如圖3所示。

圖3 基于CNN的遙感影像目標檢測流程圖Fig.3 Flowchart of CNN-based remote sensing image target detection

3.1 兩階檢測算法

2014年R-CNN通過選擇搜索算法提出候選框、CNN提取圖像特征、支持向量機進行分類、非極大值抑制修正定位等系列操作，完成目標檢測任務；后續SPPNET[30]在此基礎上提出空間金字塔池化方法，改進候選框尺度調整問題。2016年Fast R-CNN[31]提出感興趣區域池化（ROI pooling）、多任務同時訓練的改進方法；其后的Faster R-CNN提出區域預測網絡（Region Proposal Network，RPN）生成候選框的新方法，極大地改進了檢測速度；R-FCN[32]則進一步將全卷積網絡應用于Faster R-CNN，使得整個網絡的計算可以共享。2017年FPN[33]采用了特征金字塔的網絡結構，通過自底向上、自頂向下以及橫向連接方法進行特征融合，解決目標檢測中的多尺度變化問題；同年Mask R-CNN[34]將FPN和Faster R-CNN合并，再增加mask預測分支，能夠同時實現目標檢測與實例分割。2018年Cascade R-CNN[35]創新性提出使用不同IoU閾值的多級聯檢測器，通過逐級提高IoU閾值，使得前一級重新采樣過的提議區域能夠適應下一級更高的IoU閾值，進一步提高檢測精度。2019年RepPoints[36]使用基于點集的新方法來替代基于錨點生成邊界框的方法，提供了更細粒度的定位描述；同時使用可形變卷積與算法搭配，實現更精確的特征提取。

3.2 一階檢測算法

2016年YOLO v1[37]算法改變了R-CNN系列算法先生成候選區域再進行分類回歸的思路，創造性地使用一階網絡直接進行目標檢測。緊接著SSD[38]結合了Faster R-CNN的錨點機制與YOLO v1的網格思想，使用帶有不同預選框錨點的多尺度特征圖進行檢測。2017年YOLO v2[39]在v1基礎上提出使用DarkNet、設置預選框等改進策略，以及多尺度訓練、多階段訓練等技巧方法；同年RetinaNet[40]首次提出Focal Loss用于解決訓練過程中正負樣本類別數量極度不平衡的問題，將由負樣本主導的損失函數調整為由正負樣本共同主導。2018年YOLO v3[41]使用優化的網絡結構DarkNet-53、引入殘差結構，提升訓練收斂速度，緩解梯度消失；同時算法引入多特征圖，融合深層、中層及淺層特征，提升多尺度目標檢測能力。2019年EfficientDet[42]基于EfficientNet[43]分類網絡，使用新的多尺度特征金字塔BiFPN，同時仿照EfficientNet的復合縮放方法，通過提高網絡深度、網絡寬度、輸入圖像分辨率等操作，形成了系列檢測網絡。2020年YOLO v4[44]在原有YOLO系列目標檢測架構的基礎上，采用了包括Mosaic數據增強算法、SPP擴大感受野、PANet進行特征融合等各種技巧，實現了檢測精度與速度的最佳平衡。

3.3 遙感影像目標檢測適應性改進

近年來在許多學者在一階、兩階算法基礎上開展遙感影像目標檢測研究，并針對遙感影像數據量大、目標尺度多變、背景復雜、訓練樣本有限等特點難點進行適應性改造。

相比于自然圖像，遙感影像背景復雜，待檢目標在整幅圖像中占比往往較低，且在同一影像中不同目標、同類目標均有尺度差異，造成小目標檢測難及目標虛警率高等諸多問題。許多學者采取調整骨干網絡、進行特征融合等解決方法，Xu等人[49]在YOLO v3上改用DenseNet增強網絡特征提取能力，同時增加多尺度檢測層數提高小目標檢測能力；董彪等人[50]則采用了修改特征圖分辨率、重新計算先驗框維度等策略方法；Qu等人[51]在SSD基礎上使用FPN網絡結構進行特征融合、利用擴展卷積擴大特征圖范圍等方法進行改進。還有學者考慮到遙感影像中目標旋轉角度多變，采用矩形框訓練降低了實際檢測精度，提出引入旋轉框的方法。Fu等人[52]通過在RPN中增加預設角度的錨點框，同時進行帶有方向的ROI池化等操作（如圖4所示），增強了目標檢測的旋轉魯棒性。

圖4 帶有方向的ROI池化操作Fig.4 ROI-O pooling operation

基于CNN的目標檢測方法需要大量標注準確的樣本，人工地進行遙感影像目標標注需要消耗大量人力物力。一些研究通過數據增強的方法提升樣本數量和質量，Ren等人[53]在模型訓練階段使用隨機覆蓋的增強方法，并結合可行變卷積、傳輸連接塊等改進策略，有效提升被部分遮擋目標的檢測能力。還有一些研究使用半監督學習的方法，杜蘭等人[54]針對SAR圖像設計的方法僅需要少量的切片級標記樣本，再配合較多的圖像級標記樣本，實現了與全監督方法近乎相同的檢測性能。還有一些研究嘗試使用生成對抗網絡[55]、遷移學習[56]等方法，以上研究一定程度緩解了樣本不足的問題，但仍需要足夠的樣本才能滿足模型訓練的需要。

4 聯合知識與CNN的目標檢測方法

基于知識的方法將目標的幾何知識、上下文知識、輔助知識等諸多信息引入目標檢測，特別是遙感解譯知識庫的建立將專家知識轉化為實際的檢測規則，能夠實現對已入庫特定目標的有效檢測。但基于知識的方法需要大量的人工參與，檢測精度尚不能完全滿足工程應用需要。基于CNN的深度學習方法的出現，實現了對目標特征的自動提取，且該方法泛化性更強、檢測準確率更高。但遙感圖像成像范圍巨大、目標種類眾多，且目標與目標之間、目標與場景之間關聯密切，直接套用針對自然圖像設計的深度學習方法性能提升有限。近年來越來越多的學者開始探索將遙感解譯知識與CNN相結合的方法，現階段的研究主要將知識應用在改進遙感影像數據集、調整檢測算法網絡結構、實現目標上下文推理檢測等方面。

4.1 改進遙感影像數據集

該方法在建立遙感影像數據集時即引入目標的狀態信息、幾何特征信息、地理位置信息、上下文信息等相關知識，通過知識的聯動有效改進影像數據集包含的信息量，一定程度上突破了單一依靠改進算法結構難以提升模型檢測性能的瓶頸限制。

一些研究將知識用于增強模型對目標狀態的檢測，俞利健[57]通過使用不同狀態的電力塔影像進行訓練（如圖5所示），使檢測模型能夠實現電力塔倒塌、截斷、正常等不同狀態的判定，為實際的高壓線運行狀態檢測與告警提供科學依據。但不同狀態的遙感影像獲取仍需專業的遙感解譯知識支撐，因而一些研究探索將知識用于解決目標的小樣本問題。鄭鑫等人[58]同樣針對電力塔問題進行研究，其創新之處在于考慮到電力塔在自然圖像與遙感影像上的紋理和形狀等特征的相似性，使用電力塔自然圖像訓練后再進行遷移學習，有效解決了電力塔遙感影像數據集的獲取與標注困難的問題。還有一些研究將知識用于增強數據集信息的多樣性，Wu等人[59]考慮到云、雪的存在與海拔、經緯度等地理信息密切相關，建立了云、雪檢測遙感影像數據集，該數據集的創新之處在于每幅圖像均包含相應的地理記錄。Luo等人[60]考慮到建筑物等目標的陰影會造成其他物體的遮擋，進而影響遙感圖像的解譯分析，提出使用Inria[61]航空圖像的數據源建立專用的陰影檢測數據集。

圖5 使用不同狀態的電力塔影像進行模型訓練Fig.5 Using images of power towers in different states for model training

4.2 調整檢測算法網絡框架

該方法主要通過分析目標的幾何知識和上下文知識，在網絡結構搭建、錨點框設計、ROI區域選擇、損失函數計算等方面結合相關知識調整算法網絡框架，優化算法檢測性能。

為了獲取更加豐富的目標特征，一些研究將上下文知識融入模型整體的網絡結構設計。Zhang等人[62]設計了一種遙感影像目標檢測網絡CAD-Net，其中GCNet部分用于提取影像中目標與場景之間的全局上下文特征，如飛機目標與機場場景的聯系；PLCNet部分用于提取圖像中目標與其相鄰物體之間的局部上下文特征（如圖6所示），如船舶目標與鄰近船舶以及靠泊碼頭的聯系。有一些研究聚焦模型的ROI區域、損失函數進行優化設計，宮一平[63]提出結合目標的空間上下文，利用遙感影像中目標內部各部件之間、目標與周圍領域之間、目標與目標之間以及目標與周圍環境之間的空間位置關系，在ROI區域進行上下文擴展，進一步豐富目標的特征表達。Hamaguchi等人[64]結合建筑物與其周圍道路的上下文關系，在模型的損失函數中增加道路檢測損失，而且道路標簽通過另外的預先訓練過的模型進行提取，不需要增加額外的訓練。上述研究重點運用目標的上下文知識，還有一些研究結合目標的幾何知識改進模型的錨點框設計，Chen等人[65]提出根據機場跑道的形狀特征修改Faster R-CNN算法的滑窗尺度和縱橫比，同時引入與跑道形狀相似的其他目標作為負樣本參與訓練，有效提升機場的檢測精度。梁杰等人[66]則是針對機場跑道在不同探測視角下透視畸變檢測開展研究，結合跑道前視的幾何形狀，改進不同形狀和尺度的四邊形錨框，并設計了四邊形角點回歸的新方法。

圖6 PLCNet的框架結構Fig.6 Framework of PLCNet

4.3 實現目標上下文推理檢測

該方法主要利用目標之間的上下文關系及相關領域知識，先使用基于CNN的深度學習方法檢測出關聯目標，再結合關聯目標與主目標之間的包含、組成、鄰接等關系進行目標的推理，間接完成主目標檢測。

為了提升大范圍區域目標的檢測能力，一些研究通過檢測區域內子目標后再進行目標推理。周偉偉[67]以道路交叉口與交通路網的上下文關系為突破點，首先訓練Faster R-CNN算法模型檢測道路交叉口，再使用基于圖論的圖像分割算法進行道路交叉口同質區域提取，獲取道路交叉點中心坐標、道路分支寬度及方向等道路關鍵信息。Zeng等人[68]首先使用全球土地覆蓋圖、全球數字表面模型等輔助知識完成機場大范圍篩選，再對候選區域進行飛機檢測，最后結合機場與飛機的依存關系，根據飛機數量推理機場檢測結果，實現了對大范圍區域內機場目標的快速準確檢測（如圖7所示）。李圣琀[69]考慮到停車場典型特征不統一、具體區域難以界定等實際難題，先通過YOLO v3算法檢測出圖像上的車輛及道路，再結合停車場與車輛的空間位置關系，同時基于道路檢測去除周邊區域的無關車輛，推理得到圖像上的停車場及停車位信息。還有一些研究結合領域知識進行深入的目標信息關聯，Chen等人[70]針對運河泄漏檢測問題，引入運河泄漏將影響周圍區域的土壤濕度和地表溫度，從而造成植被覆蓋情況的變化等運河巡查員的領域知識；通過Landsat 8多光譜遙感影像導出像素級的地表溫度、植被覆蓋率和溫度植被干度指數3項物理參數，再結合歷史的運河檢測記錄生成對應標簽進行深度學習訓練，有效降低算法的時間復雜度。Chen和Zhang[71]等人針對山區滑坡檢測問題，考慮到滑坡會導致地表的植物、建筑物發生變化，先使用CNN提取滑坡前后影像的特征進行變化檢測，再對候選區域使用歸一化差分植被指數和基于紋理的建筑物存在指數進行篩選，最后再結合坡度在7°以內區域不可能產生滑坡等知識，使用DEM信息完成后處理。上述研究均取得較好的檢測效果，但采用的領域知識專業程度較高，推廣復用有一定難度。

圖7 根據飛機檢測結果推理機場區域Fig.7 Infer airport area based on aircraft detection results

5 不同類型檢測方法分析比較

基于知識的目標檢測方法中，幾何知識構建規則相對簡單，但檢測性能受相同幾何形狀噪音、目標遮擋等因素影響嚴重，虛警率較高；上下文知識則通過提高目標周邊信息的利用率，緩解遮擋、噪音等因素對檢測的影響，但引入其他目標增加了總體檢測時間和計算量；輔助知識為目標檢測提供更多的外部相關信息，進一步提高檢測性能，同時實現目標的變化檢測，但多源信息的匹配又增加了時間、空間開銷；綜合知識將上述知識進行結合使用，并引入遙感解譯知識庫，實現更加準確、高效的檢測，但專家知識、多源信息的獲取與利用都有難度。基于CNN的目標檢測方法中，兩階段算法先生成候選區域再進行分類與回歸，其檢測精度普遍較高，但檢測速度相對較慢；一階段算法直接對影像進行分類與回歸，沒有顯式的候選區域提取過程，其檢測速度普遍較快，但檢測精度相對較差。聯合知識與CNN的目標檢測方法中，改進遙感影像數據集在檢測模型前端部分進行優化，提升了檢測目標類別數量以及對目標不同狀態的檢測能力，同時緩解了目標的小樣本問題；調整算法網絡框架在檢測模型中間骨干部分進行優化，重點提升目標檢測精度；進行目標上下推理在檢測模型后處理部分進行優化，利用知識推理間接提升了檢測性能以及目標的精細化檢測能力。但聯合知識與CNN的目標檢測方法需要足夠的遙感解譯與深度學習知識支撐，才能夠合理高效地把知識運用于CNN檢測模型。表1對上述三種方法進行了總結歸納。

表1 不同類型遙感影像目標檢測方法比較分析Table 1 Comparison and analysis of different types of remote sensing image target detection methods

6 總結與展望

遙感影像目標檢測技術經過近幾十年的探索發展，檢測性能不斷得到提升。但同時隨著遙感技術的進步，成像手段不斷多樣、圖像分辨率不斷提升等新的變化帶來一系列新的挑戰和問題，現有的遙感影像目標檢測方法仍面臨以下問題：

（1）特定領域目標的小樣本問題。對于遙感影像解譯來說，地球上的任何物體都可能成為檢測對象。而現階段的遙感影像數據集樣本多以機場、飛機、體育場、汽車等典型目標為主，針對特定領域的遙感影像樣本仍有較大缺口，如工業污染監測方面，化工廠等工業目標仍無大規模、權威性的遙感影像數據集，造成后續研究進展緩慢。

（2）大型目標的精細化檢測問題。目標精細化檢測指的是在識別目標類別的基礎上，進一步對目標的組成、狀態、分布等開展解譯分析，如檢測到機場后需要再檢測機場的跑道、候機樓、飛機、停車場等各個部分。現有的遙感影像目標檢測研究大多以飛機、船舶、油罐等單個目標為主，而遙感影像本身具有圖像范圍大、目標種類數量多等特點，因而對于大范圍區域目標的快速精細檢測勢必會成為未來遙感領域研究發展的重點和難點。

（3）遙感視頻影像的目標檢測問題。地面視頻影像檢測技術在行人、車輛等諸多方面已成功應用[72]，近年來隨著國產視頻遙感衛星的快速發展，已實現通過凝視成像模式獲取亞米級分辨率彩色動態視頻[73]，但當前遙感視頻目標檢測技術的研究相對較少，特別是視頻影像中動態目標的檢測、跟蹤與定位方法仍有較大研究空間。

綜合上述眾多研究成果的對比分析，未來遙感影像目標檢測技術可以從以下方面展開研究：

（1）針對特定目標小樣本問題，采用弱監督學習、無監督學習、遷移學習加領域知識的方法開展檢測模型的設計，將是解決遙感目標全領域檢測的可行思路；同時生成對抗網絡在圖像處理領域的快速發展，將其與遙感領域知識結合生成高質量特定目標樣本的方法還需探索。

（2）針對目標精細化檢測問題，深入研究聯合專家知識與CNN的方法將是解決上述難點的有效途徑，進一步探索建立目標間的關系模型，充分挖掘現有遙感影像的潛在信息，能夠為后續遙感智能解譯工作提供強有力的支撐，具有非常廣闊的應用前景和研究價值。

（3）針對遙感視頻目標檢測問題，注重借鑒改進地面視頻目標檢測的最新技術，探索現有深度學習方法應用于遙感影像視頻目標檢測的可行性，同時在檢測的基礎上向動目標跟蹤、定位等方向進行深入研究。