基于海岸線候選區域的港口艦船目標檢測算法研究

梁 碩，王士成，陳金勇，于君娜

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

0 引言

近年來,隨著光學遙感成像技術的發展,光學遙感圖像在空間分辨率、光譜分辨率、時間分辨率等方面取得了巨大進步,對地觀測能力得到很大提升,使得可偵察內容更加豐富、目標細節辨識能力大幅提高。艦船作為海上運輸載體和重要軍事目標,利用遙感圖像對其進行自動檢測與識別在各種領域有著廣闊的應用前景。對遙感影像的艦船目標檢測是通過對遙感影像進行預處理、提取和分析,檢測出當前影像中存在的艦船目標,并對其位置進行標注。針對遙感影像,需要根據遙感影像的成像機制,分析感興趣目標在遙感影像中呈現的特點,借鑒現有的目標檢測算法,通過對算法結構以及目標特征模型的修改和優化,設計出針對遙感影像艦船目標的檢測算法。對艦船目標的檢測可以分為兩大類:一類為海上航行艦船的檢測;另一類為港口艦船檢測。針對海上艦船目標檢測,能夠有效獲取艦船活動信息,輔助判斷艦船行為意圖,該類任務的輸入數據往往為寬幅的遙感影像數據,其成像分辨率較低,幅寬較大,能夠覆蓋較大范圍的海域,艦船細節信息不夠清晰。但由于其位于海上,背景較為單一,艦船目標特征與背景對比明顯,當前對海上艦船的檢測能夠取得較為良好的效果。相較于海上艦船目標檢測,對港口停靠艦船檢測是監視特定港口海運交通、獲取艦船部署與動態的主要手段,對有效了解海上艦船部署狀態具有重要的研究價值。該類任務的輸入數據為高分辨率遙感影像數據,其成像分辨率較高,能夠獲取較為明顯的艦船細節信息。但是,港口艦船所處環境位于海陸交界處,背景較為復雜,陸地干擾信息較多,各種類型艦船較為集中且尺度大小不一,對艦船檢測帶來極大困難。

針對港口艦船檢測存在的問題,本文利用深度學習技術,提出基于海岸線候選框的港口艦船目標檢測方法,具體貢獻如下:

① 基于殘差分類網絡(ResNet)、多點區域生長算法、特征金字塔網絡模型和Faster RCNN檢測算法模型,提出了針對港口艦船檢測的全流程算法,能夠有效解決光學影像中港口區域艦船檢測問題。

② 利用ResNet分類網絡和多點區域生長算法,對大幅光學遙感影像港口區域進行了海陸分割,在此基礎上,沿海岸線進行滑窗,代替了全圖滑窗,提出了基于海岸線的候選框,為后續的艦船檢測縮小了范圍,降低了虛警率,提升了效率。

③ 利用特征金字塔網絡,構建艦船檢測算法模型,有效解決了港口區域艦船較為集中且尺度大小不一的問題,降低了艦船檢測的漏警率。

1 相關工作

隨著光學遙感圖像分辨率的不斷提升,艦船的形狀、紋理等特征在遙感圖像中體現得越來越明顯,大量艦船檢測方法不斷被提出。早些時候,艦船檢測往往采用閾值分割和模板匹配的方法,該類方法魯棒性較差,大多只能應對海上艦船檢測,而且受限于艦船的模板,對艦船檢測的效果較差。隨著機器學習研究的興起,在艦船檢測領域出現了大量人工特征和分類器結合的研究方法,對遙感圖像進行特征提取(Haar Like、HoG、SIFT、LBP等),通過艦船目標和背景的特征差異性,對分類器(SVM、Adaboost、隨機森林等)進行訓練,實現對艦船目標的檢測。除此之外,一些學者通過對艦船頭部區域特征進行提取,結合分類器進行艦船檢測,表現出了一定的效果。隨著人工智能技術的迅速發展,基于深度學習的目標檢測取得了巨大成就,其檢測效果遠遠優于傳統方法。因此,利用人工智能技術對遙感影像艦船目標進行檢測成為人們關注的焦點。基于深度學習的目標檢測算法大致可分為2類:單階段和雙階段方法。單階段方法將圖像直接輸入模型,通過回歸的方式進行預測,直接得出目標的類別和位置范圍,典型算法有YOLO[1]、SSD[2]和Retina[3]等。雙階段方法則是首先對輸入圖像提取候選目標區域,在得到的候選目標區域中再進行類別預測和位置回歸,典型算法有RCNN[4]、SPPNet[5]、Fast RCNN[6]、R-FCN[7]、Faster RCNN[8]、FPN[9]和Mask RCNN[10]等。目前,基于單階段和雙階段的方法均成功應用于艦船檢測領域,李晨瑄等[11]針對復雜背景下的艦船目標檢測需求,總結了基于深度學習的艦船目標檢測技術發展現狀,對目前采用的檢測算法及適用性做了系統性的歸納梳理。基于單階段的艦船檢測方法一般具有非常高的速度,甚至能夠達到實時,但其精度一般低于雙階段方法;基于雙階段的艦船檢測方法往往具有較高的精度,但算法運行速度較慢。

針對港口艦船檢測,通常的方法是對遙感影像進行海陸分割,去除陸地區域后,僅在海洋區域進行艦船目標檢測。王方超等[12]提出了基于二次分割的港口艦船目標檢測方法,基于改進后的分水嶺算法獲得較完整的海陸分離結果,然后對分割后的陸地區域進行二次分割,完成碼頭和艦船的分離,最后得到艦船檢測結果。楊光等[13]提出基于SIFT特征的港口內艦船檢測方法,通過建立港口區域模板,快速、準確地定位海水區域,然后對SIFT特征描述子進行改進,提高艦船檢測的準確率。王岳環等[14]提出一種基于港口匹配和海域分割的靠岸艦船檢測方法,將港口模板變換到實時圖同一視角下進行港口配準,確定實時圖海域部分,再對海域進行分割,檢測出艦船。吳金亮等[15]提出一種基于Mask RCNN框架的艦船目標檢測識別方法,通過候選框與像素分割曲線相結合的思路,較好地解決了緊密排列艦船目標的檢測問題,使得艦船目標檢測結果具有較高的準確度。楚博策等[16]提出一種基于多特征融合的自學習算法,對感興趣目標提取形態學、灰度和輪廓等多種特征,通過對多特征閾值判定方法對相似艦船目標進行檢測,可實現對戰場突發狀況與未知目標快速反應能力的同時保證較高的檢測準確率。黎經元等[17]提出一種基于邊緣線梯度特征定位和聚合通道特征的艦船檢測方法,基于多尺度多結構元素形態學濾波實現海陸分割,并結合遙感圖像中港口的矩形形狀特點,定義邊緣梯度正切角和港口凹凸度特征以對港口進行定位,獲取港口感興趣區域集合,利用訓練完成后的分類器完成艦船目標的最終判別確認。成明輝[18]基于全球海岸線數據完成海岸線匹配,對陸地區域進行填充,實現海陸分割,消除陸地背景的干擾,在此基礎上完成艦船目標的檢測。倪慧洋[19]利用多結構形態學濾波方法,濾波處理港口視頻圖像,選取局部自適應閾值分割方法,將濾波處理后的港口視頻圖像劃分為前景圖像與背景圖像,將港口視頻的前景圖像作為SSD算法的輸入,利用SSD預測網絡輸出港口滯留船舶檢測結果。

目前,既有港口艦船檢測方法大多利用海陸分割算法提取整片海域以消除陸地干擾信息,然后在提取得到的海域中完成艦船檢測。本文進一步縮小候選范圍,重點關注海岸線區域,同時結合深度學習技術,提出基于海岸線候選框的港口艦船檢測方法,進一步提升艦船目標檢測準確性和效率,實驗結果表明,提出的方法具有一定參考價值。

2 算法流程

遙感影像中含有豐富的地物信息,數據量大,如果直接進行艦船檢測,在檢測精度和速度方面都不能取得良好的效果。同時,停靠艦船所處環境位于海陸交界處,背景較為復雜,各種類型艦船尺度大小不一,對艦船檢測帶來了極大困難。因此,提出一種基于海岸線候選框的港口艦船檢測方法,實現港口復雜背景下的艦船檢測,具體檢測流程如圖1所示。

首先,利用大量已知海洋和陸地樣本切片數據構建海陸二分類模型并進行訓練,針對大幅待處理遙感影像,利用訓練好的海陸二分類模型得到待處理遙感影像中若干個海洋區域的初始點,采用區域多點生長算法對這些初始點進行生長,完成海陸分割,確定海岸線位置;然后,沿海岸線對待處理遙感影像進行無重疊切分,生成一系列初始候選框切片;最后,利用基于區域候選網絡的目標檢測框架和特征金字塔網絡構建艦船檢測網絡模型,利用已知的艦船樣本數據對艦船檢測網絡模型進行訓練,利用訓練好的艦船檢測網絡模型對生成的初始候選框切片數據進行檢測,依據每個切片艦船檢測結果得到待處理遙感影像的艦船檢測結果。

3 海岸線候選區域生成

海岸線候選區域生成過程主要包括海陸分割及候選區域生成兩部分,海陸分割流程如圖2所示。利用已有遙感數據制作海洋和陸地的切片樣本,基于ResNet50分類網絡構造海陸二分類模型,利用切片樣本數據對海陸二分類模型進行訓練,得到針對切片數據的小尺度海陸二分類模型。然后,將待檢測遙感影像切分成一系列預定尺寸的切片數據,利用海陸二分類模型對待處理遙感影像切片數據進行海陸二分類處理,得到若干海洋區域的切片,基于灰度特征確定每個海洋切片中概率最高的位置,作為海洋區域的初始點。基于這些海洋區域初始點,利用區域多點生長的分割算法,將周圍與其相似的像素進行合并,以完成“生長”,得到海洋分割結果,具體如圖3所示,圖中的點即為得到的若干海洋位置初始點。

圖2 海陸分割流程Fig.2 Flowchart of sea and land segmentation

圖3 海陸分割結果Fig.3 Results of sea and land segmentation

對遙感影像進行海陸分割之后,考慮到停靠艦船應在海岸線附近,因此,并不是按照傳統滑窗的方式對影像進行切分,而是沿海岸線提取可能存在艦船的區域。假設遙感影像空間分辨率為xm,由于全球所有艦船長度均小于400 m,為了確定初始候選框能夠完全包含艦船目標,設定初始候選框的邊長為2×[400/x] pixel。基于該尺寸,沿海岸線以2/3的重疊率生成初始候選框,并在原影像中切分,最終得到一系列正方形的候選區域,在每個候選框內進行艦船檢測,影像切分結果如圖4所示。

(a)原圖

(b)切分之后影像圖4 影像切分結果Fig.4 Results of image segmentation

4 艦船檢測網絡模型

由于停靠艦船的多樣性,單一尺度的特征圖并不能有效解決艦船的多尺度問題。因此,采用特征金字塔網絡,將不同尺度的特征圖進行自頂而下的融合以及橫向的連接,同時在經過融合和連接的不同尺度特征圖上進行預測,示意如圖5所示。

圖5 多尺度特征網絡示意Fig.5 Schematic diagram of multi-scale feature network

首先對輸入圖像進行特征提取,得到不同層級多個尺度的特征圖,然后將高層和低層特征進行融合(對高層特征進行上采樣之后與其前一層特征進行融合),重復迭代該過程,最終得到既包含高層語義信息又包含低層細節信息的特征圖,同時針對融合后的各個尺度的特征圖都進行預測。

以ResNet網絡作為CNN骨干網絡進行特征提取,并利用特征金字塔網絡得到多尺度融合的特征圖,基于該特征圖形成多個尺度的目標候選區域,然后結合多尺度融合的特征圖和目標候選區域對艦船目標進行檢測,網絡架構如圖6所示。

圖6 艦船檢測網絡架構Fig.6 Ship detection network architecture

將切分后的影像輸入網絡模型,逐層提取特征。在候選區域生成階段,依次將第2、3、4、5級的特征層進行1×1卷積,與經過上采樣的下一級特征層進行融合,然后第5級特征層進行下采樣得到語義信息更加豐富的特征圖,最終得到5種不同尺度的特征圖,在此基礎上分別創建不同大小(32、64、128、256、512)以及不同寬高比(1∶2、1∶1、2∶1)的候選框,產生目標候選區域。在感興趣區域池化階段,將融合后不同尺度的特征層和一系列候選區域作為輸入,其中大尺度的感興趣區域對應高級別的特征圖,小尺度的感興趣區域對應低級別的特征圖,具體對應關系如下:

式中:k0為基準值,設為4,代表最高級別的特征層,w、h為感興趣區域的寬和高,x為依據影像分辨率切分后的尺寸大小。如果感興趣區域尺寸最大,則采用第4級別的特征圖,如果感興趣區域更小,則采用更低級別的特征圖,依次利用到每個層級的特征圖。最后,經過感興趣區域池化層之后,對目標進行預測,得到目標類別和位置范圍。

5 實驗情況

5.1 數據集構建

本文海陸二分類模型的訓練數據選自高分2號全色影像數據,影像分辨率為0.8 m,數量為4,對原始影像進行切分后,選取海洋切片樣本約5 000張,陸地切片樣本約8 000張。艦船檢測算法模型基于HRSC2016開源數據集進行訓練,HRSC2016數據集中包含4大類19個小類的艦船數據,共包含2 976個艦船目標實例。測試數據集選自谷歌地球中的19級和18級遙感數據,影像分辨率為0.3～0.5 m,30幅遙感影像,影像尺寸均大于10 000 pixel×10 000 pixel,包含艦船目標675個。

5.2 實驗結果分析

本文算法基于Faster RCNN檢測網絡模型實現,在圖像工作站上對谷歌地球上的遙感影像進行艦船檢測實驗,圖像工作站配置單塊NVIDA P40 24 GB顯卡,遙感影像檢測結果如圖7和圖8所示。

在相同測試環境中,本文算法與Faster RCNN檢測算法進行了對比分析,并分別在滑窗和特征金字塔方面設置變量,骨干網絡均選用ResNet50,訓練數據為HRSC2016數據集,測試數據為30幅遙感影像,影像尺寸均大于10 000 pixel×10 000 pixel,包含艦船目標675個。其中,Faster RCNN算法針對大幅遙感影像進行滑窗檢測,滑窗尺寸大小與本文算法初始候選框大小一致,且重疊率均為2/3。同時為保證對比算法和本文算法的可比較性,對比算法采用的海陸分割處理方法與本文算法一致。為保證實驗結果準確、可靠,本文對測試數據集進行算法性能測試時,各算法都進行了50次獨立重復實驗。針對實驗結果,本文從檢測率、虛警率和算法耗時3個方面進行了統計,各項指標均為50次測試實驗結果的平均值。各項指標定義如表1所示,實驗對比結果如表2所示。

表1 評價指標定義Tab.1 Definition of evaluation indicators

表2 實驗結果Tab.2 Experimental results

實驗結果表明,本文算法與Faster RCNN檢測算法相比,虛警率和算法耗時大幅降低。其中,相比傳統全圖滑窗方法及經典海陸分割后海域滑窗方法,本文算法的平均耗時分別降低為約1/2和1/4。在虛警率方面,由于海岸線候選方法進一步縮小了候選區域范圍,本文算法去除了部分海域及陸域的干擾,虛警率進一步降低;在引入特征金字塔網絡后,整體提升了檢測準確性。

對實驗結果進行分析得出,本文算法應用的特征金字塔網絡抗尺度能力較好,在艦船檢測中有一定優勢,能夠應對艦船尺度大小不一的情況,顯著提高艦船檢測的檢測率,在此基礎上,引入海陸分割環節,去除了陸地的大量干擾信息,大幅降低了艦船檢測的虛警率;同時,本文提出的基于海岸線切分方法能夠精準確定候選區域,不會造成有效信息的損失,為后續艦船檢測過程去除大量無效檢測區域,大幅提升算法運行效率。

6 結論

針對大幅遙感影像,提出了一種基于海岸線候選區域的港口艦船目標檢測方法,該方法首先對海洋和陸地進行了劃分,然后基于海陸分割結果沿海岸線對遙感影像進行了切分處理,并在艦船目標檢測算法中引入特征金字塔網絡,應對不同尺度大小的艦船目標。實驗結果表明,本文提出的方法有效地解決了大幅遙感影像港口艦船目標檢測中虛警率過高和由于艦船尺度大小不一帶來的漏檢問題,大大提升了艦船檢測的速度,具有很好的應用價值。