基于改進Faster R-CNN模型的SAR圖像溢油檢測方法

張天龍, 過 杰

基于改進Faster R-CNN模型的SAR圖像溢油檢測方法

張天龍1, 2, 3, 過 杰1, 2, 4

(1. 中國科學院煙臺海岸帶研究所 中國科學院環境過程與生態修復重點實驗室, 山東 煙臺 264003; 2. 中國科學院煙臺海岸帶研究所 山東省海岸帶環境過程重點實驗室, 山東 煙臺 264003; 3. 中國科學院大學, 北京 100049; 4. 中國科學院海洋大科學中心, 山東 青島 266071)

SAR(synthetic aperture radar)圖像溢油暗斑準確識別對海上溢油應急工作具有重要的意義。為減少SAR圖像特征提取、特征選擇過程中人為因素對溢油檢測精度的影響, 本文將Faster R-CNN卷積神經網絡模型引入SAR圖像溢油檢測并進行了改進。針對溢油暗斑形狀多樣及SAR圖像背景復雜的特點, 選用結構一致且實用性強的VGG16卷積網絡獲取圖像特征, 并使用軟化非極大值抑制算法(Soft-NMS)進行優化。同時基于相同的數據集, 提取常用的SAR圖像幾何特征、灰度特征和紋理特征, 構建反向傳播(backpropagation, BP)人工神經網絡溢油檢測方法并與Faster R-CNN方法進行對比。實驗結果表明, 基于改進Faster-RCNN模型的溢油檢測方法溢油檢測率達到0.78, 且溢油檢測虛警率低于0.25, 相比BP人工神經網絡溢油檢測方法樣本識別率、溢油檢測率分別提高了4%和5%, 溢油虛警率降低了5%。

SAR; Faster R-CNN; 溢油檢測; BP神經網絡

海洋石油平臺泄漏、運輸船只事故及非法排放等造成的海洋溢油污染, 嚴重威脅海洋生態環境安全以及海洋產業的發展[1-3]。因此, 如何及時監測溢油位置、面積, 準確識別油膜及估算溢油量, 是海洋溢油污染監測急需解決的問題, 這對于海洋溢油應急實施、保護海洋生態環境、減少溢油造成的經濟損失具有重要的意義。

衛星遙感觀測技術的快速發展使合成孔徑雷達(synthetic aperture radar, SAR)以其全天時、全天候的優勢在海洋溢油污染監測中發揮著“主力軍”的作用[4-5]。目前, 應用SAR數據進行海上溢油檢測的方法主要有閾值法[6-10]、概率統計方法[11-13]、決策樹方法[14-15]、人工神經網絡方法等[16-19]。其中, 人工神經網絡方法因其較強的自學習能力、泛化能力和容錯能力, 能夠較好地解決非線性分類問題, 被用于海面溢油和疑似溢油檢測研究[16-19]。Singha等[16]構建雙層人工神經網絡模型實現了SAR圖像暗斑檢測、特征提取及溢油暗斑目標分類的過程, 并分析了不同特征組合對人工神經網絡溢油檢測精度的影響。石立堅等利用方差分析方法對溢油識別特征參量進行篩選, 并利用反向傳播(backpropagation, BP)神經網絡建立溢油識別模型實現了SAR圖像溢油暗斑的有效識別[19]。

近些年, 深度學習框架引領了計算機圖像識別及相關學科的新一輪的研究熱潮。圖像特征的關注點由傳統的圖像全局特征轉變為圖像卷積多尺度特征。相比較于傳統的圖像識別框架, 深度學習框架圖像特征自動提取的特點, 為機器學習的快速推廣與應用帶來了巨大的優勢[20-23]。深度學習框架在卷積神經網絡(convolutional neural network, CNN)的基礎上不斷優化更新發展了Fast R-CNN (fast region- con--volutional neural network), Faster R-CNN (faster region- convolutional neural network), Mask R-CNN等神經網絡目標識別框架, 這些框架現已有較好的應用實例[20, 24-26]。在SAR圖像海上溢油識別方面, 已有學者進行了相關研究。Guo等[27]選取了5組RADARSAT-2數據的6種幾何特征, 8種紋理特征和4種極化特征, 組成優化特征子集輸入到CNN神經網絡中進行訓練并使用測試樣本進行分類測試, 測試結果表明CNN網絡對SAR圖像上溢油和疑似溢油區域有很好的區分能力。Nieto-Hidalgo等[28]人針對機載側視雷達(side-looking airborne radar, SLAR)數據構建了雙層CNN神經網絡模型, 用以區分船只和海面溢油, 并分析了不同訓練參數對識別結果的影響, 比較了11種卷積神經網絡, 結果表明雙層CNN神經網絡在卷積核窗口大小為7時, 識別精度最高。

目前, 多數研究[16-19]通過圖像全局特征提取及特征選擇構建特征子集的方式, 構建基于人工神經網絡的溢油檢測方法, 而針對星載SAR數據使用深度卷積神經網絡進行溢油和疑似溢油區分的研究相對較少。人工神經網絡溢油檢測方法雖能取得較好的溢油檢測效果, 但此類方法特征提取、特征選擇過程較為復雜, 且特征處理過程中易受到人為主觀意識的影響。而深度卷積神經網絡將特征提取、特征選擇、識別定位及檢測結果可視化, 集成于同一個神經網絡中, 避免了在特征提取、特征選擇等過程中人為因素的干擾。故本文提出基于改進Faster R-CNN神經網絡模型的SAR圖像溢油檢測方法, 選用VGG16網絡獲取SAR圖像卷積特征, 在Faster R-CNN神經網絡中完成特征提取及特征選擇過程, 使用軟化非極大值抑制算法(soft non-maximum suppression, Soft-NMS)優化了傳統的非極大值抑制算法(non-maximum suppression, NMS), 并基于相同的數據集與人工神經網絡方法進行對比。

1 數據和方法

1.1 數據及數據預處理

本文對選取的26景渤海海域WSM(wide swath)觀測模式、VV極化模式的ENVISAT ASAR影像數據, 以及20景干涉寬幅觀測模式、VV極化模式的Sentinel-1 GRDH數據進行了輻射校正和幾何校正。因兩種數據的分辨率分別為30 m×30 m和20 m× 22 m, 故采用雙線性插值法將Sentinel-1數據重采樣為30 m。本文選擇增強型Lee濾波對SAR圖像進行圖像降噪處理, 圖1為濾波窗口為3、5和7時的濾波結果。由圖1可知增強型Lee濾波窗口大小為7時濾波效果最好且濾波窗口選擇結果與文獻[29]實驗結論一致; 若繼續增大濾波器窗口, 則圖像的邊緣保持程度會降低, 運算量也相應的會增大[29], 故本文增強型Lee濾波窗口大小設置為7。基于上述處理后的SAR圖像, 根據溢油的溢油判定規則[8-9, 16-17]選取溢油與疑似溢油樣本, 共計選取602個有效樣本, 其中溢油暗斑樣本250個, 疑似溢油暗斑樣本352個。解譯的樣本中包含了溢油、船舶尾跡、低風速區、背風區、海洋內波等, 圖2為選取典型的溢油和疑似溢油樣本示例, 圖2中a為溢油樣本, b為背風區樣本, c為低風速區樣本, d為船舶尾跡樣本。

Faster-RCNN神經網絡雖然對輸入的圖像的大小沒有具體的要求, 為能夠記錄暗斑在樣本圖像中的準確位置, 使用LabelImg開源軟件[30]對樣本圖像暗斑進行標記(圖3), 生成用于記錄樣本區域、類別及其他相關信息的xml文件, 實現了對輸入圖像的管理。將上述的溢油與疑似溢油數據集轉換為VOC2007數據集格式[31], 有利于Faster R-CNN神經網絡進行訓練和測試。在Faster R-CNN神經網絡訓練中, 訓練集和測試集按照7︰3的比例對數據集進行隨機選取, 得到訓練樣本421個和測試樣本181個。

為避免數據集不同對算法比較的客觀性帶來影響, 在人工神經網絡溢油檢測方法中, 將上述切分好的訓練集再次按照5︰2的比例對樣本進行分配, 得到訓練樣本301個、驗證樣本120個。本文參考相關文獻提取了溢油與疑似溢油樣本的10個幾何特征、14個灰度特征以及15個紋理特征。其中, 10個幾何特征包括樣本暗斑周長、面積、目標復雜度[32]及Hu不變矩[33]的前3階的幾何矩特征, 14個灰度特征包括樣本暗斑邊緣梯度及目標灰度偏度等[32], 15個紋理特征則來源于洪繼光[34]提出的基于灰度共生矩陣的大小梯度優勢及逆差距等15個紋理特征。因某些特征提取時自身帶有量綱(如周長)且特征數據的范圍不一, 需先要對39個特征分別進行歸一化處理, 歸一化處理方法為:

式(1)中, ynorm為歸一化后的特征值, xi為原始特征值, Xmax和Xmin為原始特征值中的最大值和最小值。

圖2 樣本集中幾種典型的溢油和疑似溢油樣本

圖3 使用labelImg對樣本進行標記

1.2 改進的Faster R-CNN神經網絡模型

任少卿等提出了Faster R-CNN神經網絡模型[35], 該模型首先在結構上做出了重大的改變, 模型將特征提取層、RPN(region proposal networks)層和包圍框回歸層及分類層集成在一個網絡中, 這樣可以在一個深度學習的框架中完成特征提取、分類以及位置修正的整個過程。Faster R-CNN網絡總體可分為4個部分: 卷積層、RPN網絡層、ROI pooling層以及Classification層。卷積層主要通過卷積、池化等過程生成特征圖。使用RPN網絡代替Selective search等傳統的候選框生成方法, 實現了網絡的端到端訓練, 極大地提升了檢測框生成的速度。ROI pooling層收集輸入的特征圖和建議候選框送入全連接層實現目標識別。Classification層實現對檢測框的再次準確定位, 通過全連接層與Soft-max分類器確定候選區具體的類別, 輸出目標為某類別的概率向量; 同時再次利用包圍框回歸獲得每個候選區的位置偏移量, 獲取更加精確的目標檢測框。因本文選用的樣本為單波段圖像, 故將圖像數據的Conv2d函數的第一個參數設置為1。

本研究針對海面油膜形狀多樣、大小不一且SAR數據信噪比相對較低、圖像背景復雜的特點, 使用了一種結構簡單、實用性強的VGG16網絡[36]獲取圖像卷積特征。VGG16網絡超參數較少, 結構一致; 模型使用3個窗口為3的卷積核代替了原來窗口為7的卷積核, 在保證有相同感受野的條件下, 提升了網絡的深度, 在一定程度上提升了特征提取的效果, 減少了權重參數的數量, 有利于提取盡可能多的特征。對Faster R-CNN神經網絡模型檢測框處理模塊, 使用Soft-NMS對原模型中默認的非極大值抑制算法NMS進行改進[37], 較好地解決了目標檢測框因重疊覆蓋而導致檢測結果精度降低的問題。

NMS算法是Faster R-CNN算法中重要的部分, 其將所有的檢測框進行重疊度IOU(intersection over union)的計算, 如果重疊度大于某個閾值則此檢測框被抑制[37]。為減少高度重疊的冗余的檢測框的生成, 需要進行檢測框優化后處理, 傳統的NMS算法處理的計算公式為:

式(2)中, S為第個檢測生成框的得分;為得分最大的檢測生成框,為檢測生成框的集合且C中第個檢測框,T為某一設定的閾值。傳統NMS采用了硬分類的的判斷方式決定是否保留相鄰的檢測生成框, 這種方法的問題在于閾值設置較低時, 包含在框內的同類目標會因硬分類的方式而導致目標不被檢測, 造成檢測結果的缺失[37]。故使用Soft-NMS算法, 基于降低檢測框置信度的方式減弱上述問題的影響, Soft-NMS算法的計算公式為:

1.3 BP人工神經網絡模型

人工神經網絡因其非線性推理的特性及較強的學習歸納能力被眾多的溢油檢測研究使用[16-19, 32], 本文選用應用廣泛的BP人工神經網絡完成溢油檢測研究。BP神經網絡結構如圖4所示。

BP神經網絡的輸入層輸入數據通常為特征向量的組合, 其節點的個數需要根據實驗確定[16, 19, 32]。輸出層節點的個數一般由實際分類研究中分類數量來確定。隱含層層數及隱含層節點個數的確定是BP神經網絡訓練學習過程中最重要的一環, 隱含層調節的好壞將決定BP神經網絡的分類精度。一般地, 采用梯度下降算法對BP神經網絡進行連接權值及反向誤差的調節。BP神經網絡不同層的節點采用全連接模式, 同層節點互不影響。BP神經網絡中各個節點基于反傳誤差的權重更新規則如下:

圖4 BP神經網絡結構示意圖

式(6)中,y為神經網絡訓練所要達到的目標值,Y為神經網絡給出的預測值,為輸出層節點個數。因BP神經網絡是一種學習過程顯示型的人工神經網絡, 輸入層的輸入內容不能是樣本圖像, 故需要對圖像樣本進行特征提取, 提取后的特征組合可作為BP神經網絡的輸入。

2 結果與討論

2.1 實驗環境及評價指標

研究使用基于CPU版本的Tensorflow框架下的Faster R-CNN神經網絡模型進行訓練, 訓練時使用的硬件配置為i7處理器, 運行內存大小為16 GB; 軟件環境為Window 10操作系統, Python 3.7版本, Matlab 2019版本。人工神經網絡溢油檢測方法則基于Matlab神經網絡工具包實現。

為了能夠客觀評價改進的Faster R-CNN神經網絡溢油檢測方法及人工神經網絡溢油檢測方法的溢油檢測效果, 選用了溢油檢測率(R), 樣本識別率(R)和溢油虛警率(AR)對兩種溢油檢測方法進行評價。溢油檢測率為對溢油樣本進行正確分類的測度; 樣本識別率為能夠正確識別溢油和疑似溢油兩類的樣本的測度, 溢油虛警率為屬于疑似溢油類別的樣本被分類為溢油類別的測度, 以上評價指標的定義分別如下:

其中,R為溢油樣本被正確分類的個數,W為溢油樣本被分類為疑似溢油樣本的個數,R為疑似溢油樣本被分類為溢油樣本的個數,W為疑似溢油樣本被正確分類的個數。

2.2 實驗及結果分析

基于1.1小節中預處理后的樣本集, 分別應用改進的Faster R-CNN神經網絡溢油檢測方法和人工神經網絡溢油檢測方法進行了溢油檢測方法實驗。因海面SAR溢油檢測容易受到疑似溢油暗斑的影響, 疑似溢油暗斑也將參與Faster R-CNN的訓練。在訓練神經網絡時, 學習速率設置為0.005, batch_size設置為16, 每次讀入16個樣本圖像。為加快訓練收斂的速度且保證梯度下降的方向不變, 本文梯度下降方式設置為動量梯度下降, 以減弱訓練過程中梯度振蕩現象。RPN網絡的IOU閾值設置為0.7, 候選區域數量設置為300, 即選擇300個最優的候選框傳遞給Faster R-CNN神經網絡的分類層進行目標識別。迭代次數設置為40 000次。圖5記錄了Faster R-CNN神經網絡每次訓練的分類總損失。學習速率初始設置為0.005, 且學習速率衰減設置為每10 000次衰減一次。

由圖5訓練次數和分類總損失圖可以看出, 當訓練次數達到30 000次時, 神經網絡收斂到較小的分類總損失, 當迭代次數臨近40 000次時, 分類總損失進一步減小且趨于穩定, 說明本文Faster R-CNN神經網絡訓練40 000次可得到較好的訓練結果。

圖5 Faster-RCNN神經網絡訓練次數與分類總損失

為完成BP神經網絡溢油檢測實驗, 應先確定BP神經網絡結構。由相關文獻可知[16, 19, 32, 38], 需對特征進行特征降維, 以減小特征冗余并獲取貢獻度最大的特征。故本文采用主成分分析方法對提取的39個特征進行特征降維, 依據特征降維結果選取了貢獻度最大的6個特征作為BP神經網絡的輸入, 這6個特征分別為: 樣本暗斑的面積、周長、暗斑目標與背景方差比值、相關系數、角二階矩及熵。輸出層設置為溢油和疑似溢油兩個節點。隱含層層數為1層[39]且隱含層節點個數根據文獻[40]中的經驗公式及多次樣本訓練確定本文BP神經網絡隱含層節點個數為11個, 文獻[40]中的經驗公式定義為:

式(10)中,為隱層節點個數,n為輸入節點個數,ut為輸出節點個數,的取值范圍為[1, 10]且為整數。本文使用traingdx訓練函數對BP神經網絡進行訓練, 采用提前停止法防止BP神經網絡過擬合[32]。BP神經網絡的網絡訓練性能圖如圖6所示, 當迭代次數達到92次時神經網絡收斂, 迭代訓練停止。

將VOC格式測試集中的SAR圖像樣本輸入本文溢油檢測模型進行驗證。將上述特征提取特征及特征選擇后的測試集樣本輸入BP神經網絡模型進行模型驗證。驗證集中包含80個溢油樣本, 101個疑似溢油樣本。基于本文2.1中的評價方法對本文兩種溢油檢測模型進行精度評價, 評價結果如表1所示。由表1的評價結果可知, 本文方法樣本識別率達到了0.790, 溢油檢測率達到了0.775, 溢油虛警率為0.244。對比表1中兩種模型的評價結果可以發現, 本文改進的Faster R-CNN神經網絡溢油檢測方法樣本識別率提高了4.4%, 溢油檢測率提高了5%, 溢油虛警率降低了4.8%。實驗結果表明, 本文提出方法能對提升溢油檢測率、降低溢油虛警率具有一定的效果。

圖6 BP神經網絡訓練性能圖

表1 兩種神經網絡模型驗證結果

2.3 實例驗證

本文獲取2景中國海域的SAR衛星數據, 驗證兩種溢油檢測方法。圖7a為黃海海域南部的ERS-1 SAR影像, 影像獲取日期為1995年6月19日, 圖7b為南海海域的ERS-2 SAR影像, 獲取日期為1997年7月13日。圖7a和圖7b中暗斑根據溢油判定規則[8-9, 16-17]以及文獻[19]、[41]中的解譯結果對圖中的溢油和疑似溢油暗斑進行了標記。圖7a共解譯了11個溢油和疑似溢油暗斑, 圖7b共解譯了10個溢油和疑似溢油暗斑, 紅色序號標記的暗斑為溢油暗斑, 白色序號標記的暗斑為疑似溢油暗斑。除圖7b序號為5、9和10暗斑因背景較為復雜需要在綠色框范圍進行特征提取外, 圖7a和圖7b中大部分暗斑獨立且易于BP神經網絡方法特征提取。溢油和疑似溢油暗斑解譯結果如圖7所示。

圖7 改進Faster-RCNN神經網絡模型溢油檢測結果

圖7展示了本文改進Faster R-CNN神經網絡模型在驗證圖像上的溢油檢測結果。圖7a驗證結果表明除序號為11的溢油暗斑未被檢出, 其他的溢油暗斑均正確檢測, 同時檢測出了其他未標記的溢油暗斑(1、2), 由文獻[41]可知,1、2兩者均為溢油暗斑。圖7a中11個暗斑經人工神經網絡方法檢測后序號為1～7的溢油暗斑被正確檢測, 8號和11號溢油暗斑被人工神經網絡方法判定為疑似溢油暗斑。觀察分析圖7a中8號和11號暗斑可知, 兩個溢油暗斑與海水的邊緣對比度較低, 呈現緩慢過度的趨勢, 溢油暗斑與海水邊緣的對比程度不如1～7號明顯, 人工神經網絡方法錯誤地將8號和11號暗斑檢測為疑似溢油暗斑。圖7b中除10號的疑似溢油暗斑被誤判為溢油暗斑外, 其余溢油和疑似溢油暗斑均正確檢測, 同時也檢測出未標記溢油暗斑(3)。10號暗斑與7號和8號溢油暗斑形狀、灰度和紋理特征相似且區分度較低, 導致本文方法誤將10號疑似溢油暗斑檢測為溢油暗斑。圖7b中10個暗斑經人工神經網絡方法檢測后, 序號為1、2、3、6、8的溢油暗斑被正確檢測, 5號疑似溢油暗斑被判定為溢油暗斑, 7號溢油暗斑被判定為疑似溢油暗斑。5號疑似溢油暗斑和7號溢油暗斑分別與條狀溢油暗斑和船舶尾跡暗斑相似, 導致人工神經網絡誤判。由上述兩種方法溢油檢測驗證結果分析可知, 基于改進Faster R-CNN神經網絡模型溢油檢測結果優于人工神經網絡方法, 且能使溢油檢測結果可視化。

3 結論

本文選取了602個SAR溢油和疑似溢油樣本, 針對傳統特征提取、特征選擇過程易受到人為因素影響的問題, 提出了基于改進的Faster R-CNN神經網絡模型的SAR圖像溢油檢測方法。利用上述樣本數據集, 基于人工神經網絡建模方式建立了人工神經網絡溢油檢測方法。基于測試集對兩種方法溢油檢測效果進行了客觀評價, 評價結果表明: 本文方法相比BP神經網絡方法樣本識別率和溢油檢測率分別提高了4%和5%, 溢油虛警率降低了5%。實例驗證結果表明, 本文方法能夠有效地檢測SAR圖像上的溢油暗斑且可視化程度高, 具有一定的參考和應用價值。

本文嘗試使用Faster R-CNN神經網絡進行溢油檢測并提高了SAR圖像的溢油檢測精度, 但本文溢油檢測率仍然較低, 方法存在不足: 本文所使用的SAR圖像溢油和疑似溢油暗斑樣本較少, 故在后續工作中需增加樣本并對神經網絡模型進行訓練, 調整溢油和疑似溢油暗斑樣本比例, 進行更細致的神經網絡參數調節和優化, 進一步對兩種溢油檢測模型開展分析和評價。此外, 后續工作中將考慮融入環境及位置信息(如風速大小、與陸地的距離等)以提高本文方法的溢油檢測精度, 并將其與更多的溢油檢測方法進行對比, 進一步驗證本文方法的有效性。

[1] WANG C Y, LI X, GUO J, et al. Biodegradation of marine oil spill residues using aboriginal bacterial consortium based on Penglai 19-3 oil spill accident, China[J]. Ecotoxicology and Environmental Safety, 2018, 159(sep): 20-27.

[2] GUO J, LIU X, XIE Q. Characteristics of the Bohai Sea oil spill and its impact on the Bohai Sea ecosystem[J]. Chinese Science Bulletin, 2013, 58(19): 2276-2281.

[3] LIU X, GUO J, GUO M, et al. Modelling of oil spill trajectory for 2011 Penglai 19-3 coastal drilling field, China[J]. Applied Mathematical Modelling, 2015, 39(18): 5331-5340.

[4] LI X, LI C, YANG Z, et al. SAR imaging of ocean surface oil seep trajectories induced by near inertial oscillation[J]. Remote Sensing of Environment, 2013, 130: 182-187.

[5] ZHANG B, PERRIE W, LI X, et al. Mapping sea surface oil slicks using RADARSAT-2 quad-polarization SAR image[J]. Geophysical Research Letters, 2011, 38, L10602.

[6] KANAA T F N, TONYE E, MERCIER G, et al. Detection of oil slick signatures in SAR images by fusion of hysteresis thresholding responses[M]. New York: IEEE, 2003.

[7] INDREGARD M, SOLBERG A, CLAYTON P. D2-report on benchmarking oil spill recognition approaches and best practice[R]. European Commission, 2004.

[8] SOLBERG A H S, DOKKEN S T, SOLBERG R. Automatic detection of oil spills in ENVISAT, RADARSAT and ERS SAR images[C]//IEEE. Piscataway, New Jersey: International Geoscience and Remote Sensing Sym-posium (IGARSS), 2003: 2747-2749.

[9] SOLBERG A H S, STORVIK G, SOLBERG R, et al. Automatic detection of oil spills in ERS SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 1999, 37(4): 1916-1924.

[10] 孫元芳, 周斌, 蓋穎穎, 等. 遙感監測墨西哥灣溢油目標識別算法[J]. 測繪科學, 2015, 40(3): 63-67, 106.

SUN Yuanfang, ZHOU Bin, GAI Yingying, et al. Extraction algorithm of oil spill cases in Gulf of Mexico with RS data[J]. Science of Surveying and Mapping, 2015, 40(3): 63-67, 106.

[11] MARGHANY M. RADARSAT for oil spill trajectory model[J]. Environmental Modelling & Software, 2004, 19(5): 473-483.

[12] MARGHANY M. RADARSAT automatic algorithms for detecting coastal oil spill pollution[J]. International Journal of Appplied Earth Observation and Geoinformation, 2001, 3, 191-196.

[13] SOLBERG A H S, BREKKE C, HUSOY P O. Oil spill detection in Radarsat and Envisat SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(3): 746-755.

[14] 丁新濤, 曾侃, 賀明霞. 用于SAR圖像海面溢油自動識別的Bagging-Adaboost決策樹分類器系統[J]. 中國海洋大學學報, 2018, 48(10): 132-142.

DING Xintao, ZENG Kan, HE Mingxia. A Bagging-Ada Boost-DT multiple classifier system based on SAR image for marine oil spill automatic detection[J]. Periodical of Ocean University of China, 2018, 48(10): 132-142.

[15] 施永春. 基于Adaboost的SAR圖像溢油檢測[J]. 電腦知識與技術, 2011, 7(29): 7252-7254.

SHI Yongchun. Using Adaboost to detect oil spill in SAR images[J]. Computer Knowledge and Technology, 2011, 7(29): 7252-7254.

[16] SINGHA S, BELLERBY T J, TRIESCHMANN O. Satellite oil spill detection using artificial neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2013, 6(6): 2355-2363.

[17] SINGHA S, RESSEL R, VELOTTO D, et al. A combination of traditional and polarimetric features for oil spill detection using TerraSAR-X[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(11): 4979-4990.

[18] SINGHA S, VESPE M, TRIESCHMANN O. Automatic Synthetic Aperture Radar based oil spill detection and performance estimation via a semi-automatic operational service benchmark[J]. Marine Pollution Bulletin, 2013, 73(1): 199-209.

[19] 石立堅, 趙朝方, 劉朋. 基于紋理分析和人工神經網絡的SAR圖像中海面溢油識別方法[J]. 中國海洋大學學報, 2009, 39(6): 1269-1274.

SHI Lijian, ZHAO Chaofang, LIU Peng. Oil spill identification in marine SAR images based on texture feature and artificial neural network[J]. Periodical of Ocean University of China, 2009, 39(6): 1269-1274.

[20] 張銀松, 趙銀娣, 袁慕策. 基于改進Faster-RCNN模型的粘蟲板圖像昆蟲識別與計數[J]. 中國農業大學學報, 2019, 24(5): 115-122.

ZHANG Yinsong, ZHAO Yindi, YUAN Muce. Insect identification and counting based on an improved Faster-RCNN model of the sticky board image[J]. Journal of China Agricultural University, 2019, 24(5): 115-122.

[21] 張文達, 許悅雷, 倪嘉成, 等. 基于多尺度分塊卷積神經網絡的圖像目標識別算法[J]. 計算機應用, 2016, 36(4): 1033-1038.

ZHANG Wenda, XU Yuelei, NI Jiancheng, et al. Image target recognition method based on multi-scale block convolutional neural network[J]. Journal of Computer and Applications, 2016, 36(4): 1033-1038.

[22] 田壯壯, 占榮輝, 胡杰民, 等. 基于卷積神經網絡的SAR圖像目標識別研究[J]. 雷達學報, 2016, 5(3): 320-325.

TIAN Zhuangzhuang, ZHAN Ronghui, HU Jiemin, et al. SAR ATR based on convolutional neural network[J]. Journal of Radars, 2016, 5(3): 320-325.

[23] 黃潔, 姜志國, 張浩鵬, 等. 基于卷積神經網絡的遙感圖像艦船目標檢測[J]. 北京航空航天大學學報, 2017, 43(9): 1841-1848.

HUANG Jie, JIANG Zhiguo, ZHANG Haopeng, et al. Ship detection in remote sensing images using convolutional neural network[J]. Journal of Beijing University of Aeronautics and Astronautics, 2017, 43(9): 1841-1848.

[24] 林剛, 王波, 彭輝, 等. 基于改進Faster-RCNN的輸電線巡檢圖像多目標檢測及定位[J]. 電力自動化設備, 2019, 39(5): 213-218.

LIN Gang, WANG Bo, PENG Hui, et al. Multi-target detection and location of transmission line inspection image based on improved Faster-RCNN[J]. Electric Power Automation Equipment, 2019, 39(5): 213-218.

[25] 張中寶, 王洪元, 張繼, 等. 基于Faster-RCNN的遙感圖像飛機檢測算法[J]. 南京師大學報(自然科學版), 2018, 41(4): 79-86.

ZHANG Zhongbao, WANG Hongyuan, ZHANG Ji, et al. Airplane detection in remote sensing image based on Faster-RCNN algorithm[J]. Journal of Nanjing Normal University(Natural Science Edition), 2018, 41(4): 79-86.

[26] YANG J F, WAN J H, MA Y, et al. Oil spill hyperspectral remote sensing detection based on DCNN with multi-scale features[J]. Journal of Coastal Research, 2019, 90: SI, 332-339.

[27] GUO H, WU D, AN J. Discrimination of oil slicks and lookalikes in polarimetric SAR images using CNN[J]. Sensors, 2017(17), 1837.

[28] NIETO-HIDALGO M, GALLEGO A J, GIL P, et al. Two-stage convolutional neural network for ship and spill detection using SLAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5217-5230.

[29] 杜偉娜. 基于恒虛警率和幾何特征的SAR影像海洋溢油檢測方法研究[D].阜新: 遼寧工程技術大學, 2015.

DU Weina. Research on marine oil spill detection method using SAR image based on CFAR and geometric features[D]. Fuxin: Liaoning Technical University, 2015.

[30] TZUTALIN. LabelImg. Git code. [CP/OL]. [2018-04-18]. https: //github.com/tzutalin/labelImg.

[31] EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The Pascal visual object classes (VOC) challen-ge[J]. International Journal of Computer Vision, 2010, 88: 303-338.

[32] 朱宗斌. SAR海洋溢油監測多源信息融合研究[D]. 青島: 中國海洋大學, 2015.

ZHU Zongbin. Study of multi-source information fusion on SAR ocean oil spill detection[D]. Qingdao: Ocean University of China, 2015.

[33] HU M K. Visual pattern recognition by moment invariants[J]. Information Theory, 1962, 8(2): 179-187.

[34] 洪繼光. 灰度-梯度共生矩陣紋理分析方法[J].自動化學報, 1984, 10: 2225.

HONG Jiguang. Gray level-gradient cooccurrence matrix texture analysis method[J]. Acta Automatica Sinica, 1984, 10: 2225.

[35] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39: 1137-1149.

[36] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]// BENGIO Y, LECUN Y. International Conference on Learning Representations. Lille, France: University of Oxford, 2015: 1-14.

[37] BODLA N, SINGH B, CHELLAPPA R, et al. Soft- NMS - Improving object detection with one line of code[C] // IEEE.Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 5561-5569.

[38] 石立堅. SAR及MODIS數據海面溢油監測方法研究[D]. 青島: 中國海洋大學, 2008.

SHI Lijian. Sea surface oil spill detection method by SAR and MODIS[D]. Qingdao: Ocean University of China, 2008.

[39] 吳丹妮. 基于PolSAR海面溢油和類似溢油區的分類研究[D]. 大連: 大連海事大學, 2018.

WU Danni. Study on discrimination of oil slicks and lookalikes in polarimetric SAR images using CNN[D]. Dalian: Dalian Maritime University, 2018.

[40] 飛思科技產品研發中心. 神經網絡理論與MATLAB 7實現[M]. 北京: 電子工業出版社, 2005.

[41] 王棟. SAR圖像海面溢油檢測技術研究[D]. 長沙: 國防科技大學, 2014.

WANG Dong. Study of oil spill detection technology in SAR imagery[D]. Changsha: National University of Defense Techology, 2014.

Oil spill detection method for SAR images based on the improved Faster R-CNN model

ZHANG Tian-long1, 2, 3, GUO Jie1, 2, 4

(1. CAS Key Laboratory of Coastal Environmental Processes and Ecological Remediation, Yantai Institute of Coastal Zone Research, Chinese Academy of Sciences (CAS), Yantai, Shandong 264003, China; 2. Shandong Key Laboratory of Coastal Environmental Processes, Yantai Institute of Coastal Zone Research, CAS, Yantai, Shandong 264003, China; 3. University of Chinese Academy of Sciences, Beijing 100049, China; 4. Center for Ocean Mega-Science, CAS, Qingdao 266071, China)

Oil spill emergency work needs to detect oil spills accurately in synthetic aperture radar (SAR) images. To reduce the influence of human factors on oil spill detection accuracy in the SAR image feature extraction and selection processes, the Faster R-CNN model is introduced and improved in this study. Because of the various shapes of oil spills and the complex background, the VGG16 convolutional network with consistent structure and strong practicability is selected to obtain the image features. The Soft-NMS algorithm is used to optimize the Faster R-CNN model. On the basis of the same dataset, the most frequently used geometric, gray, and texture features of SAR images were extracted to build the backpropagation (BP) artificial neural network oil spill detection model, which is compared with the method proposed in this study. The experimental results show that the detection rate of the improved Faster R-CNN model is 0.78, and the false alarm rate is lower than 0.25. Compared with the BP artificial neural network method, the identification and detection rates of the improved Faster R-CNN model are increased by 4% and 5%, respectively, and the oil spill false alarm rate is decreased by 5%.

SAR; Faster R-CNN; oil spill detection; BP neural network

Apr. 6, 2020

P76

A

1000-3096(2021)05-0103-10

10.11759/hykx20200406001

2020-04-06;

2020-05-11

國家重點研發計劃項目(2017YFC1405600); 國家自然科學基金(42076197); 國家自然科學基金(41576032)

[National Key Research & Development Program of China, No. 2017YFC1405600; National Science Foundation of China, No. 42076197; National Science Foundation of China, No. 41576032]

張天龍(1994—), 男, 山東淄博人, 碩士研究生, 研究方向: 海洋微波遙感應用, 電話: 0535-2109192, E-mail: tlzhang@yic.ac.cn; 過杰(1965—), 女,通信作者, 河南開封人, 研究員, 研究方向: 海洋微波遙感及應用, 電話: 0535-2109192, E-mail: jguo@yic.ac.cn

(本文編輯: 叢培秀)