一種增強型YOLOv3的合成孔徑雷達(SAR)艦船檢測方法

張 明, 王子龍, 呂曉琪, 3, 喻大華, 張寶華, 李建軍

一種增強型YOLOv3的合成孔徑雷達(SAR)艦船檢測方法

張 明1, 2, 王子龍1, 呂曉琪1, 3, 喻大華1, 張寶華1, 李建軍1

(1. 內蒙古科技大學 信息工程學院模式識別與智能圖像處理重點實驗室, 內蒙古 包頭 014010; 2. 大連海事大學 信息科學技術學院, 遼寧 大連 116026; 3. 內蒙古工業大學, 內蒙古 呼和浩特 010051)

近年來, 海戰場成為現代戰爭的主要作戰區域之一, 艦船目標逐漸成為海上重點監測對象, 能否快速準確地識別海戰場艦船目標的戰術意圖, 給指揮員的決策提供必要的支持, 這關系到一場海上戰役的成敗。隨著合成孔徑雷達(synthetic aperture radar, SAR)成像技術的不斷發展, 大量SAR圖像可用于艦船目標檢測與識別。利用SAR圖像進行艦船目標檢測與識別, 已經成為重要的海洋應用之一。針對傳統SAR圖像艦船檢測方法準確率較低的問題, 本文在YOLOv3的基礎上, 結合感受野(receptive field block, RFB)模塊, 提出一種增強型的SAR艦船檢測方法。該方法在最近公開的SAR圖像艦船檢測數據集上平均準確率值達到了91.50%, 與原YOLOv3相比提高了0.92%。實驗結果充分表明本文提出的算法在SAR艦船的檢測中具有較好的檢測效果。

艦船檢測; 合成孔徑雷達(SAR); YOLO; 遙感圖像

合成孔徑雷達(synthetic aperture radar, SAR)[1]是一種主動式高分辨率微波成像傳感器, 在微波遙感領域中得到了快速的發展。與光學、紅外傳感器相比, SAR不會受到天氣、光照等外部條件的影響, 具有全天時、全天候、大尺度、遠距離和連續觀測運動目標的能力, 并能拍攝高分辨率的圖像。SAR成像的過程中能夠觀測到海面艦船目標、艦船尾跡圖像變化及穿透海水探測復雜地形。而且, 對海面目標進行成像時具有長期、連續、實時等特點, 所以利用大量的SAR數據信息[2-7], 可以對海面艦船目標進行檢測與跟蹤。因此, SAR更適用于艦船目標檢測、偵察和監視等研究。

SAR圖像艦船檢測方法主要包括基于統計模型、基于特征的方法和深度學習模型[8-9], 傳統的方法有恒虛警率(constant false alarm rate, CFAR)[10-11]等。李健偉等[12]將候選區域提取的二值化標準梯度方法(binarized normed gradients, BING)[13]和快速區域卷積神經網絡(faster region-convolutional neural network, Fast R-CNN)[14]相結合, 以這種方法進行SAR艦船檢測, 檢測率達到73.5%。楊龍等[15]將單點多框檢測器(single shot multi box detector, SSD)應用到SAR艦船檢測中, 提出了上下文信息的遷移學習模型, 實現了87.1%的檢測精度。而當前主流算法為深度學習神經網絡目標檢測算法, 如: SSD[16], YOLO[17](you only look once), YOLOv2[18], YOLOv3[19], R-CNN[20](region-convolutional neural network), Fast R-CNN[21]和Faster R-CNN[22]等。深度學習模型中的特征金字塔模型(feature pyramid network, FPN)因其能通過跨尺度特征融合的結構, 解決多尺度目標檢測問題, 已被廣泛用于多尺度檢測[23]。如: NAS-FPN (Neural architec-ture search with rein forcement learning)[24], PANet (path aggregation network)[25], YOLOv3等網絡。其中檢測精度和速度比較好的算法是YOLOv3, 檢測精度可達到90.58%。為了進一步提高艦船檢測精度, 本文在YOLOv3的基礎上, 結合DarkNet-53網絡結構和感受野(RFB)模塊, 提出一種增強型的SAR艦船檢測方法, 該方法可以解決復雜場景下艦船目標精準檢測問題, 同時為海上目標檢測智能化發展提供技術支撐, 進而對未來戰場態勢評估、戰術目標打擊等任務提供指導建議。

1 方法

1.1 YOLOv3算法原理

YOLOv3主要使用殘差網絡改進特征提取網絡, 將基礎網絡DarkNet-19[18]升級到DarkNet-53[19], 通過DarkNet-53特征提取網絡對輸入圖像提取特征, 得到一定大小的特征圖, 借鑒特征金字塔網絡的思想, 在3個不同尺度(13×13、26×26和52×52)大小的特征圖上, 給每個尺度分配三個不同大小的預選框, 然后基于圖像的全局信息進行目標預測, 從而實現端到端的檢測。

YOLOv3損失函數公式如下:

=loss+wh+class+confidence, (1)

其中, 為損失函數;loss為目標中心相對所在網格左上角坐標的偏移量誤差；wh為預選框長寬誤差；class為分類誤差，confidence為目標置信度誤差。

1.2 感受野(RFB)模塊原理

RFB結構主要有兩個特點[26]: (1) 使用不同尺寸卷積核的卷積層構成的多分枝結構; (2) 引入了空洞卷積層, 來增加感受野。其中RFB結構中用不同膨脹因子rate(內核元素間的距離)表示空洞卷積層的參數。在RFB結構中每個分支上, 特定核大小的卷積層后面跟著一個相應膨脹系數的卷積層, 所有不同尺寸和膨脹因子的卷積層的特征圖被連接起來, 合成一個卷積數組, 達到融合不同特征的目的。其結構如下圖1所示。

RFB-s和RFB相比, 針對于多尺度檢測問題主要有兩個改進, 一方面用3×3卷積層代替5×5卷積層, 另一方面用1×3和3×1卷積層代替3×3卷積層, 主要目的應該是為了減少計算量, 本文用RFB-s網絡對YOLOv3進行改進。RFB-s其結構如下圖2所示。

1.3 改進的模型結構

本文算法分別在YOLOv3中的DarkNet-53的最后一層、第152層與最后一層上采樣連接后、和第92層與第152層上采樣連接后加入感受野模塊(圖3紅色部分)。新的網絡模型結構如圖3所示。

圖1 RFB模型結構

圖2 RFB-s 模型結構

1.4 參數設置

本文實驗在中科院公布的數據集進行SAR艦船檢測模型的訓練, 訓練參數: batch_size為32, 動量為0.9, 權重衰減正則系數為0.000 5, 學習率為0.001, IOU設置為0.5。

2 實驗結果與分析

2.1 實驗數據集

本文實驗數據采用中國科學院空天信息研究院數字地球重點實驗室王超研究員團隊最近公開的SAR圖像船舶檢測數據集。該數據集來自國產高分三號SAR數據和Sentinel-1 SAR數據, 均為多源、多模式SAR圖像。包含SAR艦船檢測圖像43 550張, 圖片大小為256×256, 將數據集按照7︰1︰2隨機分為訓練集、驗證集和測試集。其中部分數據集樣本如圖4所示。

圖3 YOLOv3-RFB-s網絡模型圖

圖4 數據集樣本

2.2 實驗環境

本文所有實驗都在一個深度學習加速計算服務器上進行, 該服務配置CPU為Intel Xeon E3 v4, GPU為NVIDIA v10, 內存為32 G, 所提出的網絡模型都在公開的TensorFlow框架和Keras人工神經網絡庫上實現。

2.3 實驗評價指標

為了有效地評價模型性能, 本文采用平均準確率平均準確率(mean average precision,ma)、d(檢測率)和m(漏檢率)等評價指標。公式定義為:

平均準確率為:

檢測率為:

漏檢率為:

式中,為準確率;為召回率;為被預測為正樣本,實際為正樣本;為被預測為負樣本, 實際為正樣本;為真實目標。

2.4 置信度的選擇

為了得到更有效的模型, 本文設置了三個不同的置信度參數, 分別為0.2、0.25和0.3。實驗結果如表1所示。在檢測的樣本中一共有圖片8 710張, 有艦船目標11 805個。從表1中(其中被預測為正樣本, 實際為負樣本)。可以得出, 本文實驗在不同置信度的檢測結果中, 當置信度為0.2的時候檢測效果最好, 平均準確率為91.50%, 檢測率為93.63%, 漏檢率為6.37%。

表1 不同置信度下的實驗結果

為了評估所提模型的收斂性, 本文將模型損失曲線可視化, 如圖5所示。實驗結果表明, 損失曲線在第30個epoch時接近零, 在隨后的20個批次中, 損失曲線沒有明顯的波動, 從這些現象可以得出模型已經達到收斂狀態。

此外, 為了評價所提模型的性能, 本文與原YOLOv3網絡進行了比較。當兩個模型的置信度均設置為0.2時, 從表2中可以得出, 本文的模型與YOLOv3相比檢測到的目標數量提高68個, 誤檢數量減少130個, 漏檢數量減少68個, 檢測率提高了0.57%, 平均準確率值提高了0.92%。說明本文方法與YOLOv3相比具有較好的檢測效果, 在性能上有了進一步的提升。

圖5 模型的loss曲線

表2 實驗SAR艦船檢測結果評價指標

為了驗證所提模型的有效性, 本文將模型的曲線可視化, 如圖6所示。結果表明, 隨著召回率的上升, 改進后模型的精確度下降比較緩慢, 且模型的精準確度大于YOLOv3, 說明改進后的模型與YOLOv3相比, 在艦船檢測特征提取的過程中, 具有更強大的提取與判別能力。

圖6 模型的P-R曲線圖

為了驗證方法的有效性, 本文隨機選取三幅圖像, 分別用原YOLOv3和本文方法進行艦船檢測, 實驗結果效果圖如圖7所示, 在(d)與(g)圖片中原YOLOv3與本文實驗同時正確檢測出真實目標但原YOLOv3出現了誤檢現象。在(e)與(h)圖片中YOLOv3出現漏檢現象。在(f)與(i)圖片中YOLOv3沒有正確檢測出艦船。而本文實驗能夠正確檢測出下圖中的艦船目標, 且得分相對較高。與YOLOv3相比在簡單和復雜的背景下都具有較好的檢測結果。

3 結論

針對SAR艦船檢測準確率較差、檢測困難的問題, 本文在YOLOv3的基礎上, 結合DarkNet-53網絡結構和感受野(RFB)模塊, 提出一種增強型的SAR艦船檢測方法, 該方法具有較好的檢測效果。在實驗過程中通過設置不同置信度, 最終發現當置信度為0.2時模型效果最優。為了驗證模型的有效性, 該模型檢測結果與YOLOv3進行了比較, 結果表明該模型不僅提升了檢測率, 而且降低了誤檢率,在相對復雜的環境下能夠更準確地檢測出圖像中的艦船目標。但是, 本文算法在多個小目標密集且噪聲比較大的時候, 虛假目標也會呈現高亮度的狀態與真實目標非常接近很難分辨出真實目標, 會存在漏檢或誤檢的現象, 之后我們將會針對這一現象進行改進, 提高在高噪聲、多目標的情況下的檢測性能。

圖7 SAR艦船檢測結果圖

(a-c)為數據集中真實的目標(黃色框標出); (d-f)為原YOLOv3檢測結果; (g-i)為本文方法的檢測結果

(a-c) Real targets in the data set (marked in yellow boxes); (d-f) Detection results using the original YOLOv3 method; (g-i) Detection results using our method

[1] WANG Y, WANG C, ZHANG H, et al. A SAR dataset of ship detection for deep learning under complex backgrounds[J]. Remote Sensing, 2019, 11(7): 765-771.

[2] CHEN S, WANG H, XU F, et al. Target classification using the deep convolutional networks for SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4806-4817.

[3] BREKKE C, SOLBERG A H. Oil spill detection by satellite remote sensing[J]. Remote sensing of environ-ment, 2005, 95(1): 1-13.

[4] ELDHUSET K. An automatic ship and ship wake detection system for spaceborne SAR images in coastal regions[J]. IEEE transactions on Geoscience and Remote Sensing, 1996, 34(4): 1010-1019.

[5] ZHANG T, ZHANG X. High-speed ship detection in SAR images based on a grid convolutional neural net-work[J]. Remote Sensing, 2019, 11(10): 1206-1213.

[6] ZHANG M, AN J, ZHANG J, et al. Enhanced delaunay triangulation sea ice tracking algorithm with combining feature tracking and pattern matching[J]. Remote Sen-sing, 2020, 12(3): 581-587.

[7] 張明, 呂曉琪, 張曉峰, 等. 結合紋理特征的SVM海冰分類方法研究[J]. 海洋學報, 2018, 40(11): 149-156.

ZHANG Ming, Lü Xiaoqi, ZHANG Xiaofeng, et al. Research on SVM sea ice classification based on texture features[J]. Haiyang Xuebao, 2018, 40(11): 149-156.

[8] HUANG Z, PAN Z, LEI B. Transfer learning with deep convolutional neural network for SAR target clas-si-fication with limited labeled data[J]. Remote Sensing, 2017, 9(9): 907-913.

[9] WANG C, ZHANG H, WU F, et al. A novel hierarchical ship classifier for COSMO-SkyMed SAR data[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 11(2): 484-488.

[10] GAO G. A parzen-window-kernel-based CFAR algori-thm for ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 8(3): 557-561.

[11] HOU B, CHEN X, JIAO L. Multilayer CFAR detection of ship targets in very high resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 12(4): 811-815.

[12] 李健偉, 曲長文, 彭書娟, 等. 基于級聯CNN的SAR圖像艦船目標檢測算法[J]. 控制與決策, 2019, 44(1): 40-44.

LI Jianwei, QU Changwen, PENG Shujuan, et al. Ship targets detection method based on convolutional neural network for SAR image[J]. Fire Control & Command Control, 2019, 44(1): 40-44.

[13] CHENG M M, ZHANG Z, LIN W Y, et al. BING: Binarized normed gradients for objectness estimation at 300fps[C]//Proceedings of the IEEE conference on com-puter vision and pattern recognition, 2014: 3286-3293.

[14] SIMONYAN K, ZISSERMAN A. Very deep convolutio-nal networks for large-scale image recognition[J/OL]. arXiv preprint arXiv: 1409.1556, 2014.

[15] 楊龍, 蘇娟, 李響. 基于深度卷積神經網絡的SAR艦船目標檢測[J]. 系統工程與電子技術, 2019, 41(9): 1990-1997.

YANG Long, SU Juan, LI Xiang. Ship detection in SAR images based on deep convolutional neural network[J]. Systems Engineering and Electronics, 2019, 41(9): 1990- 1997.

[16] LIU W, ANGUELOV D, ERHAN D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer, Cham, 2016: 21-37.

[17] REDMON J, DIVVALA S, GIRSHCK R, et al. You only look once: Unified, real-time object detection[C]// Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 779-788.

[18] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]//Proceedings of the IEEE conference on com-pu-ter vision and pattern recognition, 2017: 7263-7271.

[19] REDMON J, FARHADI A. Yolov3: An incremental impro-vement[J/OL]. arXiv preprint arXiv: 1804. 02767, 2018.

[20] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE con-ference on computer vision and pattern recognition, 2014: 580-587.

[21] GIRSHICK R. Fast r-cnn[C]//Proceedings of the IEEE in-ternational conference on computer vision, 2015: 1440-1448.

[22] REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[23] LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2017: 2117-2125.

[24] GHIASI G, LIN T Y, LE Q V. Nas-fpn: Learning scalable feature pyramid architecture for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 7036-7045.

[25] ZHAO Q, SHENG T, WANG Y, et al. M2det: A single-shot object detector based on multi-level feature pyramid network[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 9259-9266.

[26] LIU S, HUANG D. Receptive field block net for accurate and fast object detection[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 385-400.

An enhanced YOLOv3 method for synthetic aperture radar (SAR) ship detection

ZHANG Ming1, 2, WANG Zi-long1, Lü Xiao-qi1, 3, YU Da-hua1, ZHANG Bao-hua1,LI Jian-jun1

(1. Key Laboratory of Pattern Recognition and Intelligent Image Processing, College of Information Engi-neering, Inner Mongolia University of Science and Technology, Baotou 014010, China; 2. School of Infor-mation Science and Technology, Dalian Maritime University, Dalian 116026, China; 3. Inner Mongolia University of Technology, Hohhot 010051, China)

Recently, the naval battlefield has become one of the main operational areas of modern warfare. Ship targets have gradually become the key objects monitored at sea. The success of a maritime battle is related to the ability to quickly and accurately identify the tactical intent of ship targets on the naval battlefield and to provide the necessary support for the commander’s decision-making. With the development of synthetic aperture radar (SAR) imaging technology, a large number of SAR images can be used for ship target detection and recognition. Detection and identification of marine targets have become one of the most important marine applications of SAR data. In order to solve the problem of low accuracy of traditional SAR image ship detection, this paper proposes an enhanced SAR ship detection based on the algorithm YOLOv3 and the DarkNet-53 network structure, combined with the receptive field block (RFB) module. This method achieves a mean average precision (ma) value of 91.50% in the recently published SAR image detection data set and shows an improvement of 0.92% compared with the original YOLOv3. The experimental results show that the algorithm proposed in this paper is effective in enhancing SAR ship detection.

ship detection; SAR; YOLO; remote sensing image

Nov. 12, 2020

TP751

A

1000-3096(2021)12-0001-07

10.11759/hykx20201112001

2020-11-12;

2021-05-07

國家自然科學基金項目(61771266, 81871430, 61663036, 62066036); 內蒙古自治區高等學校科學研究項目(NJZY18150); 內蒙古杰出青年培育基金項目(2018JQ02)

[National Natural Science Foundation of China, Nos. 61771266, 81871430, 61663036, 62066036; Research Program of science and technology at Universities of Inner Mongolia Autonomous Region, No. NJZY18150; Inner Mongolia Outstanding Youth Cultivation Fund, No. 2018JQ02]

張明(1985—), 男, 內蒙古巴彥淖爾人, 副教授, 主要研究領域為遙感圖像處理, 模式識別和深度學習等, 電話: 15174962922, E-mail: nkd_zm@imust.edu.cn; 呂曉琪(1963—),通信作者, 男, 內蒙古包頭人, 博士, 教授, 主要從事醫學圖像處理、模式識別方面的研究, E-mail: lxiaoqi@imut.edu.cn

(本文編輯: 康亦兼)