高分辨率遙感影像目標檢測方法綜述

楊曉冬 梁斯東 張寶玉 張麗莎

摘要：長期以來，遙感影像的目標檢測主要依靠目視判讀和人工手段，工作效率低，時效性差。文章介紹了傳統遙感影像目標檢測和基于深度學習的目標檢測算法，著重分析了深度學習應用于遙感影像目標檢測的技術，并對深度學習在目標檢測中的問題和未來方向進行了探討。

關鍵詞：目標檢測;特征提取;深度學習

中圖分類號：V35;TP751?? 文獻標識碼：A?? 文章編號：1672-9129（2020）12-0040-02

1 概述

自20世紀60年代以來，在衛星通信、航天航空信息處理等關鍵技術的推動下，遙感對地觀測技術獲得長足發展，遙感影像在軍事和民用領域的應用范圍日趨廣泛[1]。基于遙感影像的自動目標檢測與識別在現代信息搜集中起著重要作用，利用遙感影像對重要目標的基礎特性進行深入研究，加強對各類目標的定性、定量描述和理解，形成規范的目標特征模型和數據庫，對于提高遙感數據目標檢測精度具有重要意義。

近年來，深度學習技術迎來快速發展，在圖像識別、語音識別、文字翻譯、文本信息提取等方面取得極大的效果。基于深度學習技術的圖像識別已取得相當的成果，各類識別算法逐漸趨于成熟和完善，同時，遙感影像分辨率高、數據量大的特征也為利用深度學習技術進行遙感影像目標檢測提供了便利。基于深度學習的遙感影像處理方法不斷涌現[2]，基本思路是把光譜特征和紋理特征等淺層特征看作是深度網絡的底層特征，把輸出特征看作是深度網絡的頂層特征，從而直接得到一個分類器用于完成不同的任務。研究基于深度學習的遙感影像目標檢測，在災害應急救援、海上船只管理、城市車輛管理等方面具有重要意義。

2 高分辨遙感影像典型目標特點

高分辨遙感影像為目標檢測提供了豐富的有用特征和信息的同時也帶來了大量的冗余信息，增加了目標檢測的難度。在進行遙感影像目標檢測時，首先需要了解目標的基本特性。根據目標在高分辨率遙感圖像中的形態特點，大致可以分為線性目標、復合結構目標和團塊目標[3]。

線性目標在空間上表現出條帶狀或線狀的形態，如道路、機場跑道、河流等等。線狀目標的自動檢測需要全面考慮目標的邊緣、大小、紋理、灰度等各特征，采用直線段檢測、平行線檢測、邊界提取等方法來檢測目標，然后根據目標知識模型進行驗證。例如可以根據平行直線線對來檢測機場跑道的潛在位置，然后根據跑道的長度、寬度先驗知識以及停機坪等其它結構來確認目標。

復合結構目標可以看作是一些結構基元或簡單目標的組合，如港口、橋梁、建筑物、機場等。這些組合目標的識別通常要依據關于目標的專家知識，綜合任務驅動和數據驅動兩種算法的優勢，首先提取出單元目標，然后結合各子目標之間的相互關系，最終判斷目標是否存在。例如，建筑物一般呈現出矩形特征，所以從圖像中提取直線段后，根據一定的規則進行矩形或類似矩形的重建，并結合紋理、灰度特征信息以及周邊道路、綠化設施等環境因素，實現建筑物的檢測。

團塊目標在圖像中一般以斑塊的形式出現，有較強的區域特性，如飛機、艦船、車輛、油罐等小目標，其空間位置可由其重心坐標來表示。它們的檢測一般采用自底向上的數據驅動策略，經過分割、標記、特征提取等底層處理后，進行特征匹配識別。除了目標自身的特征，通常還利用目標與周圍環境的上下文關系，在可能出現這些目標的區域進行檢測，以提高目標檢測效率。如飛機的識別首先要檢測到機場的位置，而艦船的檢測則離不開港口或水體的檢測。

3 高分辨率遙感影像目標檢測方法

3.1 傳統遙感影像目標檢測。傳統的遙感影像目標檢測主要有基于模板匹配的方法、基于圖像分析的方法OBIA以及基于機器學習的方法[4]。

（1）基于模板匹配的方法。基于模板匹配算法的主要思路是針對不同的目標設計不同的模板去識別，例如用寬度和長度兩個幾何參數以及像元亮度和對比度兩個圖像參數構建道路輪廓模板，并用此模板來檢測道路目標。如文章[5]引入多元圖像分析方法并將其作為海岸線模板來檢測石油罐取得了一定成效。模板匹配的方法在針對某些特定目標時頗有成效，但該算法對預先設定的模板要求十分嚴格，對目標的形狀和密度變化非常敏感，穩定性和魯棒性較差，無法滿足大規模應用的需求。

（2）基于圖像分析的方法。基于圖像分析的方法在目標中抽取特征，將目標抽象為目標模型、目標背景或環境模型進行識別，主要包括兩個步驟：圖像分割以及目標分類。首先，遙感圖像被分割成各個區域，然后對其區域進行分類，判斷其是否含有目標。如國外學者提出MRS（multi-Resolution Segmentation）算法使用形狀、密度、尺度三個參數將圖像分割成多個區域。后續研究人員又提出了新的參數定義工具，其能夠有效的給出MRS算法中的尺度參數。雖然OBIA的方法比較靈活，結合了一些上下文語義信息并在某些領域取得了較好的效果，但該類方法對如何定義分割區域仍然含有大量主觀信息，其算法不具有普適性。

（3）基于及其學習的方法。基于機器學習的方法其主要思想是通過滑動窗口或其他候選框提取方法來獲取感興趣區域，然后提取圖像中層語義特征（對底層特征進行統計分析得到的特征，如HOG特征和BOW特征），并以這些特征訓練分類器模型，如SVM分類器，利用訓練好的分類器模型來判斷感興趣區域是否含有目標。例如文章[6]利滑動窗口和HOG特征進行遙感圖像目標檢測。文章[7]提出了一種結合圓頻率特征和HOG特征的算法來進行艦船檢測。基于傳統機器學習的遙感圖像目標檢測算法相對于模板匹配方法和OBIA方法具有更好的準確性、穩定性以及普適性，但是該方法所采用的滑動窗口算法會帶來過多的計算損耗，且該方法所采用的中層語義特征是對底層特征進行統計，僅能有效地表達不同紋理、邊緣等特征的分布，無法表達具有抽象語義的目標特征，例如具有近似形狀結構的機場跑道線與飛機目標具有完全不同的抽象語義。

3.2 基于深度學習的遙感影像目標檢測。目前，基于深度學習的遙感圖像目標檢測算法成為熱門研究方向，例如文章[8]采用滑動窗口算法提取感興趣區域，并用改進的GoogleNet網絡充分利用卷積神經網絡的高層語義特征進行機場檢測。當前較為常見的是直接采用自然場景圖像深度學習模型，如R-CNN、Fast-RCNN、Faster-RCNN、YOLO、SSD等深度學習模型進行改進后用于遙感影像的目標檢測，這些方法可分為基于區域的目標檢測和基于回歸的目標檢測。

（1）基于區域的目標檢測方法。基于深度學習的目標檢測框架R-CNN在2014年由Girshick[9]教授等人提出，算法開創性的將目標檢測問題轉化為基于感興趣區域的分類問題，高效地利用了深度學習在分類工作中的出色性能，開啟了利用深度學習技術進行目標檢測的新紀元。R-CNN利用選擇性搜索得到建議框，通過CNN對每個候選區域進行多層次深度特征提取和調整候選框區域，然后輸入分類器實現對特征的分類工作，最后通過Bounding box目標邊界框回歸算法實現對目標邊界框的重新定位。R-CNN模型框架如下圖所示：

雖然R-CNN展現出了令人驚嘆的目標檢測效果，但仍然表現出明顯的不足，其最大的問題就是區域建議框的提出方法所得到的預選區域相互之間重疊率較大，因此直接導致了R-CNN在進行目標檢測過程中進行了非常多的冗余計算，嚴重影響了模型運行效率。

Fast R-CNN在R-CNN的基礎上又做了一些改進，在保留R-CNN優點的同時，借鑒了SPPNet的思想使目標檢測過程更加緊湊，相比于R-CNN，Fast R-CNN并沒有修改候選框生成方式，而是提出將感興趣ROI策略引入到特征提取層，將候選框對應到特征層中，避免了不同候選框圖像重復輸入計算，實現了對特征提取層直接提取區域內的深度層次特征和分類識別的整合，優化了目標檢測的效率。

盡管Fast R-CNN優化了R-CNN不同候選框重復輸入的冗余操作，但是候選框生成方法仍然被隔離在深度卷積神經網絡之外，同時候選框生成算法十分耗時且難以集成到GPU加速，效率不高。

任少卿[10]等人針對Fast R-CNN模型由于候選框生成算法耗時所帶來的效率低下的缺點提出了Faster R-CNN模型，利用區域生成網絡（Region Proposal Networks，RPN）得到建議框，讓RPN網絡和Fast R-CNN 網絡實現卷積層的權值共享，實現了深度學習網絡與區域建議框提取算法的整合并一同輸入GPU進行加速運算，構成了一種端到端的網絡模型，在不降低識別精度的前提下提高了模型運行效率，達到了近乎實時的識別效果。文章[11]使用Faster R-CNN 在高分辨率遙感影像中實現了多類目標的檢測識別。

總的來說，上述三種模型進行目標檢測時可分為搜索建議框提取和CNN模型運算兩個階段，而第一階段中生成搜索建議框使得這類目標檢測算法的識別效率不高且搜索建議框的優劣很大程度上影響最終的識別精度，三者均屬于基于區域的目標檢測算法。

（2）基于回歸的目標檢測方法。2015年，YOLO[12]算法的出現使得深度學習目標檢測算法開始有了兩步（two-stage）和單步（single-stage）之分。YOLO算法是一種可以同時預測多個邊框位置和類別的卷積神經網絡，算法首先將圖像劃分為7x7的網格，對每個網格都預測2個邊框，包括了每個邊框是目標的置信度以及每個邊框區域在多個類別上的概率，根據上一個步驟能夠預測出7x7x2個目標邊框，然后根據閾值排除可能性低的目標邊框，最后使用非極大值抑制去掉冗余邊框。與基于區域的目標檢測方法相比，不需要候選區域提取過程，直接回歸完成位置和類別的判定，檢測速度較Faster R-CNN也有近10倍的提升。

2016年基于深度卷積神經網絡模型提出的SSD算法實現了多框識別的單階段目標檢測，SSD算法融合了Faster R-CNN中的錨點機制以及 YOLO 的回歸思想，回歸整圖每個位置的多尺度區域特征。它將目標檢測的流程定義成統一的端到端的回歸學習問題，只需要一個網絡對一張圖片做一次處理就可以通過回歸的方式來識別目標的類型和位置。SSD主要分為多尺度特征圖提取、先驗框生成、標記框預處理和損失函數等四部分，算法具有兩個關鍵性思想：第一，利用淺層卷積特征（大尺度特征圖）進行小目標的識別，利用深層特征（小尺度特征圖）進行大目標的識別，從而實現利用不同尺度特征進行多尺度目標的識別;第二，利用不同尺度的先驗框（Faster R-CNN中稱為候選框），實現了對小目標的識別與準確定位。

YOLO算法和SSD算法均屬于基于回歸的目標檢測算法，該類算法在保證識別結果與基于建議區域的目標檢測算法相當的同時，節省了圖像特征處理時間，大幅優化了模型運行的效率。

4 結論

文章論述了遙感影像目標檢測的相關技術研究，傳統遙感影像檢測依賴于人為設計的圖像特征，需要人為挑選最優的特征子集并調節分類器參數，針對不同任務算法存在魯棒性和性能無法保障的問題。基于深度學習的目標檢測方法因其更快速的檢測效率、更高的魯棒性使其成為當前研究熱點，但遙感影像由于其成像質量、單幅數據量大及影像中存在大量復雜背景等也為目標檢測帶來挑戰。

當前基于深度學習的目標檢測大多進行單一目標或少量目標組合進行檢測，在多目標聯合檢測方面還存在模型運算效率低、多目標檢測正確率不高等問題，研究適用于更快速、更準確的遙感影像多目標聯合檢測算法仍然是一個遙感目標檢測的挑戰。未來基于遙感影像目標檢測可以監控特定港口或海域的海運交通，輔助遇難船只救援，配合安全管理部門監測和打擊非法捕魚、非法傾倒油污、走私和海盜等違法行為，具有廣泛的應用前景。

參考文獻：

[1]劉大偉. 高分辨率遙感影像分割方法及應用研究[D].長安大學，2016

[2]曹林林，李海濤，韓顏順，等.卷積神經網絡在高分遙感影像分類中的應用[J].測繪科學，2016，41（9）：170-175

[3]韓現偉. 大幅面可見光遙感圖像典型目標檢測關鍵技術研究[D].哈爾濱工業大學，2013

[4]趙旭江. 基于卷積神經網絡的遙感圖像目標檢測與識別[D].合肥：中國科學技術大學，2017.

[5] Weber J， Lefevre S. A multivariate hit-or-miss transform for conjoint spatial and spectral template matching[C] International Conference in Image and Singnal Processing， Springer， Berlin， Heidelberg，2008：226-235.

[6] Cheng G， Han J， Guo L， et al. Object detection in remote sensing imagery using a discriminatively trained mixture model[J]. ISPRS journal of photogrammetry and remote sensing，2013，85：32-43.

[7] Shi Z， Yu X， Jiang Z， et al. Ship detection in high-resolution optical imagery based on anomaly detector and local shape feature[J]. IEEE Transactions on Geoscience and Remote Sensing，2014，52（8）：4511-4523

[8]Xiao Z， Gong Y， Long Y， et al. Airport detection based on a multiscale fusion feature for optical remote sensing images[J]， IEEE Geoscience and Remote Sensing Letters，2017，14（9）：1469-1473.

[9]Girshick R， Donahu J， Darrell T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C] Proceedings of the IEEE Conference on Computer Vision and Pattern Recongnition. Columbia：IEEE，2014：580-587.

[10]任少卿. 基于特征共享的高效物體檢測[D].合肥：中國科學技術大學，2016.

[11]殷文斌. 卷積神經網絡在遙感目標識別中的應用研究[D]. 中國科學院大學（中國科學院遙感與數字地球研究所）， 2017.

[12]Redmon J， Diwala S， Girshick R， et al. You only look once：Unified， real-time object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016：779-788.