基于深度卷積神經網絡的遙感圖像船只識別

夏 樂，李長安，江 濤，龍 強，張 杰

（1.中國地質大學，湖北 武漢 430074；2.湖南省地質環境監測總站，湖南 長沙 410007）

遙感圖像可動態、快速、準確地獲得大量地面觀測數據，在軍用民用領域均有重要作用。基于可見光遙感圖像提取船只目標是遙感應用領域的重要方向。其主要任務是在遙感圖像中快速確定船只的位置，并同時對船只進行類別判讀。在軍事目標偵察、港口交通監測、海洋環境預警等領域具有廣闊的應用前景。隨著衛星遙感技術的迅速發展，遙感圖像數據規模持續擴大，人工判讀的圖像解譯方式越來越難以滿足實際需求。提高遙感圖像處理的自動化程度，不僅可節省大量的人力資源，而且可在保證解譯精度的前提下，有效提升遙感圖像的處理速度，從而提高遙感圖像的利用率。

目前學者們對遙感船只的檢測進行了大量研究，提出了許多檢測方法。常用的傳統船只目標區域提取方法包括：①基于灰度統計特征的方法，即利用船只與海面的灰度差異，獲得船只的目標候選區，但若海面復雜，效果則會大大降低；②基于船只尾跡的目標檢測，多應用于精度不高的遙感圖像中；③基于邊緣信息的方法，如通過原始灰度和邊緣強度遙感圖像進行OTSU自適應的閾值分割，并結合簡單的船只形狀特征獲得艦船目標候選區，但該方法只適用于平靜海面，大型海浪對結果的干擾很大；④基于分型模型和模糊理論的方法，該方法受云霧影響較大。

在近年來的研究中，深度學習在目標識別領域取得了顯著成功。利用深度卷積神經網絡（DCNN）可實現對目標特征的提取、聚合以及判讀；利用DCNN構建的目標識別方法可自動化輸出目標的位置信息與分類結果。該類方法主要包括兩個方向：①結合Region Proposal機制和CNN分類網絡提出的目標檢測框架，包括R-CNN方法[1]、以提升R-CNN識別速度為目標的Fast R-CNN[2]、實現“端到端”目的的Faster R-CNN[3]以及精度和速度更進一步提升的R-FCN方 法[4]；②基于回歸問題提出的目標檢測框架，包括YOLO模型[5]和SSD模型[6]。

針對遙感圖像海面船只目標難以準確識別的問題，早期采用閾值法和模式識別法剔除云霧的影響[7]。本文提出了一種改進的DCNN結構，利用分類網絡實現圖像的分類，并與識別網絡構成雙通道的船只目標識別體制。識別網絡基于Faster R-CNN構建。本文方法將預分類后的遙感圖像輸入識別網絡，并對結構和參數進行修改和調整，以實現船只目標的候選區提取以及船只目標分類的目的，提升了受云霧干擾的船只目標的識別精度。

1 常規的Faster R-CNN

Faster R-CNN網絡結構包括RPN和Fast R-CNN兩個部分，其中RPN是一種兩層卷積網絡，可針對目標候選框進行“端到端”訓練，輸入是任意大小的圖像，輸出是目標候選區域的集合，每個候選區均有目標得分。測試圖像輸入CNN后，首先需進行特征提取，得到特征圖，同時生成包含疑似目標的候選窗口；再對于該圖像的每個空間位置，生成多個可能的候選窗口，并對候選窗口進行分類和位置調整；然后對多個 候選位置進行排序，選擇得分最高的一部分，并通過非極大抑制（NMS）壓縮候選區的數量；最后將候選區映射到整個網絡的最后一層特征圖上，通過RoI pooling層使得每個RoI生成固定尺寸的特征圖，利用Softmax和Smooth L1評價檢測結果、迭代訓練。

2 改進的Faster R-CNN

云霧遮擋是光學圖像不可回避的問題，當海面目標被云霧遮擋時，極易產生船只的虛警與漏檢。因此，在Faster R-CNN的基礎上，本文利用分類網絡對圖像進行預分類[8]，得到清晰的遙感圖像和含霧圖像（圖1），并將這兩類圖像分別注入識別網絡，形成雙通道的識別模式，通道間不會產生任何干擾。網絡訓練時，可分別針對含霧的難識別的圖像和易識別的無霧圖像調整網絡參數，各得到一個網絡模型，從而提升識別精度。船只目標識別網絡改進流程如圖2所示。

圖1 云霧對目標信息提取的影響

圖2 船只目標識別網絡改進流程圖

3 實驗結果與分析

3.1 實驗數據

實驗數據集包含12 650張遙感圖像（圖3），每張圖像大小為1 024×1 024，其中正樣本是已標記的船只，包括濃霧下的船只以及大小不同的同類船只，即貨船8 875條、郵輪2 398條以及游艇589條；而負樣本是包括陸地、海洋、云等多種情況在內的非艦船樣本。將數據集隨機分出1/3作為測試集，1/3作為驗證集。

圖3 不同云霧條件下船只目標數據集

3.2 評價方法與指標

3.2.1 F1-Score

F1-Score是信息檢索領域常用的一個評價標準，用于評價分類模型的好壞。召回率（Recall）和識別精度（Precision）的定義式為：

式中，right detection為檢測正確的船只結果，即預測邊界框和真值邊界框的IoU＞0.7的識別結果；missed detection為漏檢結果，即人工標記出的船只，但在預測結果中未找到IoU＞0.7的匹配項；false detection為錯檢結果，即預測結果中識別出的船只目標，在真值中沒有對應IoU＞0.7的匹配項。

因此，由Recall與Precision可得到F1-Score的計算公式為：

3.2.2 mAP

AP衡量的是每種目標類別識別結果的準確性，由Recall和Precision繪制的折線圖與坐標軸之間的面積確定。mAP衡量的是所有目標類別的平均識別準確度，即取所有AP的平均值。

3.3 實驗結果分析

實驗結果如圖4所示，可以看出，不同尺度的船只均被準確識別出來，雖受雨霧的影響十分明顯，但仍可準確提取目標的位置與種類信息。Faster R-CNN與改進的Faster R-CNN網絡結構的船只識別結果分析如表1所示，可以看出，改進的Faster R-CNN網絡結構的船只識別方法在云霧條件下得到的 Fl-Score值為0.711 4，優于傳統Faster R-CNN方法的 0.706 8。

圖4 船只目標識別結果

表1 Faster R-CNN與改進的Faster R-CNN網絡結構的船只識別結果分析

4 結 語

光學圖像受天氣的影響十分嚴重，特別是云霧遮擋時，很難獲取云霧下的目標信息。針對云霧干擾下的遙感圖像海面目標識別問題，本文提出了一種基于分類網絡與識別網絡的船只識別方法。在采用常規識別網絡前，先對圖像進行預分類處理，再利用分類網絡構成雙通道識別體制，形成含霧圖像分類到船只目標識別的“端到端”系統。與常規的Faster R-CNN目標識別網絡相比，本文方法的船只識別精度得到了提升，實驗結果證明了方法的準確性與有效性。在今后的工作中，將持續網絡調優、優化網絡結構，進一步提升遙感圖像中船只識別的精度。