基于顯著性分析的SAR溢油圖像中暗斑區域檢測方法研究

呂新榮, 李 云, 溫春苗, 任 鵬

基于顯著性分析的SAR溢油圖像中暗斑區域檢測方法研究

呂新榮, 李 云, 溫春苗, 任 鵬

(中國石油大學(華東) 海洋與空間信息學院, 山東 青島 266580)

為了提高合成孔徑雷達(synthetic aperture radar, SAR)圖像中海上溢油的檢測精度, 設計了一種圖像顯著性和均值偏移分割相結合的暗斑檢測方法, 驗證了該方法在SAR溢油圖像暗斑識別中的有效性, 為溢油區域的準確檢測奠定了基礎。針對SAR溢油圖像中暗斑區域在人類視覺中屬于感興趣區域的特性, 利用圖像顯著性檢測方法對整幅SAR圖像進行處理生成顯著性圖像, 然后利用均值偏移方法在SAR圖像的Lab空間將圖像分割成不同區域, 最后在顯著性圖像上利用每個區域的平均顯著性值與動態閾值之間的關系確定溢油圖像中的暗斑區域。實驗結果表明, 該方法不需要人工交互, 且能夠有效地提取出SAR圖像溢油中的暗斑區域。

合成孔徑雷達(SAR); 圖像顯著性; 均值偏移; 暗斑檢測

當今社會, 石油仍然是非常重要的資源。隨著陸地資源的日趨匱乏和人類對能源需求的迅速增長, 海洋石油工業和海上石油運輸業正蓬勃發展。海上溢油就是石油在海上開采或者運輸過程中不同程度的流失, 主要包括在海上石油的勘探、開發過程中導致的油井原油泄漏, 在近岸輸油管線或者油船裝卸貨發生的泄漏, 船舶因碰撞、傾覆、擱淺等事故導致的原油泄漏, 甚至是自然災害導致的石油外溢等。這些事故都不同程度地污染了海洋生態環境, 同時也造成了大量的經濟損失。為了減少溢油事故的發生, 需要加強對海上溢油的監測和檢測。合成孔徑雷達(synthetic aperture radar, SAR)具有全天時、全天候、大范圍、高精度等優點, 目前已成為溢油監測最有效的手段。

在海上溢油的檢測中, 溢油面積是衡量溢油事故的一個重要參數。因而在SAR海上溢油圖像中, 如何準確地提取出溢油區域的邊界是計算溢油面積的關鍵問題。在SAR海上溢油圖像中, 通常溢油區域呈現深色, 以暗斑的形式存在, 較周邊非溢油區域差別明顯[1]。以此為據, 則可以通過圖像處理的方法提取出SAR溢油圖像中的暗斑區域。針對SAR溢油圖像中的暗斑檢測, 國內外諸多學者進行了大量非常有意義的研究。金杰等[2]采用一種結合多特征與改進模糊C均值聚類的方法提取溢油暗斑。張洪云[3]以隨機幾何中標識點過程理論為基礎, 提出了基于非規則標識點過程的SAR圖像暗斑提取方法。Radhika等[4]利用基于像素的方法完成了多種SAR溢油圖像中的暗斑提取方法的討論。Lang等[5]利用灰度特征、幾何特征以及紋理特征等區分SAR溢油圖像中的暗斑和海水, 提高了暗斑的提取效果。Guo等[6]利用Segnet作為語義分割模型, 對溢油區域的暗斑進行檢測。通過基于語義分割模型的全卷積網絡和其他一些分割方法的比較, 證明了該方法的有效性。Shu等[7]在SAR溢油圖像中利用空間密度特征區分暗斑和背景, 主要包括三步: (1) 利用強度閾值分割暗斑和背景; (2) 利用核密度估計方法估計背景像素密度; (3) 利用區域閾值和對比度閾值剔除假目標。Zakeri等[8]提出了一種基于潛在暗斑極化強度(degree of polarization, DoP)的SAR溢油圖像暗斑檢測方法, 主要利用閾值方法進行粗檢測, 然后利用DoP特性選取合適的閾值確定潛在的暗斑, 最后利用區域閾值剔除假目標。Taravat等[9]為了區分SAR溢油圖像中暗斑和背景, 提出了威布爾乘法模型和多層感知機的神經網絡檢測方法, 克服了威布爾(Weibull)模型設置參數的非自適應性, 使SAR溢油圖像中的暗斑檢測朝著全自動的方向邁進了一步。Guan等[10]提出了一種張量投票的方法, 用來檢測RADARSAT-1 SAR窄波束圖像中的暗斑。Xu等[11]利用SAR圖像中大尺度空間上下文信息來提高暗斑和背景之間的類別可分性。他們設計了一種隨機全連通連續條件隨機場的方法用于SAR圖像的建模和軟標簽推理, 從而得到一種有效的檢測方法。Kulshrestha[12]基于極化SAR數據, 將與海面散射體物理性質有關的極化參數作為特征, 使用高斯混合模型期望最大方法區分海水和潛在的溢油區域。

由于SAR溢油圖像中暗斑是溢油區域提取的基礎, 同時鑒于水平集方法需要人工初始化, 神經網絡方法需要事先提供人工標定的樣本, 且需要進行訓練從而生成識別模型等缺點, 本文設計了一種無需人工交互的SAR溢油圖像中暗斑區域檢測方法。該方案基于圖像顯著性分析[13]和均值偏移方法[14]進行暗斑區域檢測。在該方案中, 將圖像顯著性檢測方法引入到SAR溢油圖像的暗斑檢測中, 然后利用均值偏移和顯著性動態閾值相結合實現暗斑區域的準確提取。

1 方案設計

1.1 圖像顯著性檢測

顯著性檢測問題來源于計算機模擬人類視覺, 以期實現人眼快速準確地識別視覺場景中的顯著區域的目的。圖像顯著性區域一般是最能引起人注意的部分, 通常包含了圖像的絕大部分信息, 因而, 檢測圖像的顯著性區域對于圖像的分析、處理具有重大意義。目前存在多種多樣的顯著性檢測方法[15], 主要可以分為兩類: 基于局部對比度的方法和基于全局對比度的方法。前者只利用圖像中相鄰區域的信息, 只能部分高亮顯著性區域, 對于背景復雜的圖像處理效果欠佳。后者綜合考慮了圖像的整體性關系, 任意部分的顯著性度量都是通過其整幅圖像的差異來定義, 因而效果較好[16]。

鑒于圖像在頻率域可分為低頻和高頻兩部分, Achanta等[13]從頻率域角度出發, 提出了一種基于全局對比的顯著區域檢測方法。該方法將高斯低通濾波后圖像中的每個像素值和整幅圖像的平均像素值之間的歐氏距離作為該點的顯著值, 詳細過程如下:

總體來說, 該方法所描述的圖像顯著性檢測步驟如下:

1) 對原始圖像進行高斯濾波。

2) 將原始圖像由RGB空間轉換為Lab空間。

3) 對轉換后的圖像L, A, B三個通道的圖像分別取均值M,M和M; 并分別對三個通道的均值圖像和高斯濾波后的圖像利用式(3)計算歐氏距離并求和。

4) 利用顯著性圖像中的最大值和最小值對顯著性圖像歸一化, 生成歸一化顯著性圖像。

在對SAR圖像進行顯著性分析后, 得到其顯著性圖像, 接下來進行暗斑區域的提取。目前有關圖像分割的方法大都可以在顯著性圖像上進行目標區域的提取, 但區域生長法, 需要為每個區域提供至少一個種子點; 模糊聚類方法需要設定類別數量; GrabCut方法[17]需要人工設定背景區域等。鑒于此, 我們選取了均值偏移算法。

1.2 均值偏移算法[14]

均值偏移算法是基于核密度估計的算法, 可用于聚類、圖像分割、目標跟蹤等。其基本思想是在一個具有個樣本點的特征空間, 初始設定一個中心點, 計算在半徑的圓形空間內所有點x與中心點的向量, 并計算整個圓形空間內所有向量的平均值, 生成一個偏移均值, 將中心點移動到偏移均值的位置, 重復該動作, 直到滿足一定條件為止。

1.2.1 均值偏移的基本形式

其中,S表示以為中心, 半徑為的高維球數據集,為在S內的數據點的個數,x為 S內的數據點。

漂移的過程就是通過計算的漂移向量將球圓心的位置更新, 使得圓心的位置一直向數據集密度最大的方向移動, 其更新方式為:

1.2.2 加入核函數的偏移向量

為了將均值偏移方法應用到在圖像分割中, 需要加入核函數的概念, 使得距離中心近的點具有更大的權值, 即距離越短, 權值越大。加入核函數后的偏移均值為:

其中,為中心點,x為半徑范圍內的點,為半徑范圍內點的數量,()為高斯核函數。更新后的中心坐標為:

1.2.3 均值偏移步驟

本文將均值偏移算法應用到SAR圖像的Lab空間中, 其執行過程如下:

1) 計算圖像的像素均值()。

2) 計算像素均值與像素點之間的偏移量M()。

3) 如果像素均值與像素點之間的偏移小于某一個給定的誤差值, 即M()<, 則結束循環; 否則根據式(7)更新中心點坐標, 重復執行步驟(1)。

循環結束后, 將在SAR圖像中得到分割結果, 即原圖像被分割成幾個不同的區域。

1.3 圖像顯著性檢測與均值偏移算法的結合

在對SAR溢油圖像進行顯著性檢測后, 在顯著性圖像中, 每個像素的值代表該像素的顯著性程度。針對均值偏移方法分割出的不同區域, 在其顯著性圖像中求出每個區域的平均顯著性值, 如果大于閾值, 則該區域為暗斑區域, 否則為非暗斑區域。

其中,和分別為顯著性圖像的寬度和高度,(,) 為坐標(,) 處的顯著性值。

2 實驗

2.1 數據

本文所采用的實驗數據來源于NOWPAP (Northwest Pacific Action Plan)數據庫。NOWPAP涵蓋的地理范圍大致是約121°E~143°E, 33°N~52°N的海洋和沿海地區。兩幅SAR圖像中, 圖1來自于ERS-2(European Remote Sensing Satellite-1)衛星的C波段SAR圖像, 采集時間為UTC時間1997年9月22日 02: 00: 22, 和圖2來自ESR-1(European Remote Sensing Satellite-2)衛星的C波段SAR圖像, 采集時間為UTC時間1995年6月19日02: 30: 12, 兩者采用的都是VV極化方式, 且兩者之間沒有任何聯系。

2.2 實驗方法

為了驗證本文所提出方案的有效性, 我們進行了不同方法的暗斑提取實驗, 主要分為兩大部分: SAR圖像上的暗斑提取和顯著性圖像上的暗斑提取。每個部分中分別用到了均值偏移方法、水平集方法[18]和OTSU動態閾值方法[19]。在人工解譯的數據(ground truth)基礎上, 對比在SAR圖像上和顯著性圖像上三種方法的暗斑區域提取表現。對比的指標包括召回率和準確率, 其計算方式如下:

。 (10)

圖2 SAR溢油圖像示例2

2.3 實驗結果

圖1所示SAR圖像的顯著性檢測結果如圖3所示; 圖2所示SAR圖像的顯著性檢測結果如圖4所示。圖1和圖2所示圖像, 在SAR圖像上用不同方法得到的暗斑檢測結果分別如圖5和圖6所示, 召回率和準確率分析如表1所示; 在顯著性圖像上用不同方法得到的暗斑檢測結果分別如圖7和圖8所示, 召回率和準確率分析如表2所示。其中人工解譯結果為溢油區域結果, 但這2幅SAR圖像中不存在類油膜等屬于非溢油區域的暗斑, 因此可以將解譯的溢油區域視為準確的暗斑區域。

表1 SAR圖像上三種不同方法暗斑區域檢測結果的召回率與準確率

表2 顯著性圖像上三種不同方法暗斑區域檢測結果的召回率與準確率

圖3 圖1的顯著性檢測結果

2.4 結果分析

SAR圖像上的暗斑提取和顯著性圖像上的暗斑提取對比: 從圖5和圖7的對比、圖6和圖8的對比、以及表1和表2可以看出, 在顯著性上圖像上進行暗斑區域的提取效果要比直接在SAR圖像上進行提取其召回率或者準確率具有一定程度上的提升, 說明圖像的顯著性分析能夠提高暗斑與背景的區別。

針對顯著性圖像上的暗斑提取結果: 1) 水平集方法在邊緣保持方面表現較差, 如圖7b和圖8b圈中所示, 而OTSU方法根據閾值區分暗斑區域和非暗斑區域, 沒有考慮區域內部像素之間的相關性, 在部分區域同樣表現較差, 如圖7c和圖8c圈中所示。2) 暗斑區域提取精度: (1)對于圖1所示的SAR圖像, 水平集方法和OTSU方法所提取到的真實暗斑像素數量較少, 因而他們的召回率低, 同時由于這兩種方法提取到的暗斑像素總量少, 所以造成了這兩種方法具有較高準確率的結果; 而均值偏移方法在保證了較高的召回率的基礎上, 亦保證了較高的準確率; (2)對于圖2所示的SAR圖像, 3種方法都有相對較高的召回率和準確率, 但均值偏移方法表現最優。3) 人工參與程度: 水平集方法需要人工事先設定初始輪廓, 且初始輪廓不同, 迭代次數不同會導致暗斑區域提取的結果有所不同; 本文所設計的方案無需人工參與, 同時也不需要標定好的樣本訓練集。

圖4 圖2的顯著性檢測結果

圖5 SAR圖像上三種不同方法對圖1的暗斑區域檢測結果與人工解譯結果的對比

圖6 SAR圖像上三種不同方法對圖2的暗斑區域檢測結果與人工解譯結果的對比

圖7 顯著性圖像上三種不同方法對圖1的暗斑區域檢測結果與人工解譯結果的對比

圖8 顯著性圖像上三種不同方法對圖2的暗斑區域檢測結果與人工解譯結果的對比

3 結論

本文將圖像顯著性檢測方法和均值偏移方法相結合, 引入到SAR溢油圖像中的暗斑區域提取中。首先利用圖像顯著性檢測方法對SAR圖像進行處理生成顯著性圖像, 使圖像中的暗斑區域視覺上更加明顯; 然后利用均值偏移方法在SAR圖像的Lab空間內將圖像分割成不同的區域; 最后, 在顯著性圖像的基礎上, 根據每個區域顯著性均值和動態閾值之間的關系提取出準確的暗斑區域。實驗結果表明, 本文所設計的方案能夠有效地提取出SAR溢油圖像中的暗斑區域, 且具有較高的召回率和準確率, 為溢油區域的提取奠定了基礎。此外, 如何在暗斑區域提取的基礎上設計一種高精度的溢油區域提取方法是接下來的研究重點。

[1] 劉善偉, 王婉笛, 李瀟, 等. 基于DRLSE模型的SAR溢油提取方法[J]. 海洋科學, 2018, 42(1): 153-157.LIU Shanwei, WANG Wandi, LI Xiao, et al. SAR oil-spill extraction method based on DRLSE model[J]. Marine Sciences, 2018, 42(1): 153-157.

[2] 金杰, 吳雅男, 康仲林. 基于多特征的SAR影像溢油暗斑提取[J]. 測繪與空間地理信息, 2018, 41(2): 53-56.JIN Jie, WU Yanan, KANG Zhonglin. Feature extraction of oil spill dark spot based on multi-feature in SAR image[J].Geomatics ＆ Spatial Information Technology, 2018, 41(2): 53-56.

[3] 張洪云. 基于非規則標識點過程的溢油SAR圖像暗斑提取[D]. 阜新: 遼寧工程技術大學, 2017. ZHANG Hongyun. Detecting dark spot from oil spill SAR intensity images by point process with irregular geometry mark[D]. Fuxin: Liaoning Technical University, 2017.

[4] RADHIA V, PADMAVATHI G. A study on dark spot extraction methods in oil spill SAR imagery[J]. International Journal of Earth Sciences and Engineering, 2015, 8(2): 43-48.

[5] LANG Haitao, ZHANG Xingyao, XI Yuyang, et al. Dark-spot segmentation for oil spill detection based on multifeatured fusion classification in single-pol synthetic aperture radar imagery[J]. Journal of Applied Remoter Sensing, 2017, 11(1): 015006.

[6] GUO Hao, WEI Guo, AN Jubai. Dark spot detection in SAR images of oil spill using segnet[J]. Applied Sciences, 2018, 8(12): 2670.

[7] SHU Yuanming, LI Jonathan, HAMAD Yousif, et al. Dark-spot detection from SAR intensity imagery with spatial density thresholding for oil-spill monitoring[J]. Remote Sensing of Environment, 2010, 114(9): 2026- 2035.

[8] ZAKERI F, AMINI J. Dark spot detection using intensity and the degree of polarization in fully polarimetric SAR images for oil pollution monitoring[J]. ISPRS – Internatio-nal Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2015, XL-1-W5: 749-753.

[9] TARAVAT A, OPPELT N. Adaptive Weibull multipli-ca-tive model and multilayer perceptron neural networks for dark-spot detection from SAR imagery[J]. Sensors, 2014, 14: 22798-22810.

[10] GUAN Haiyan, YU Yongtao, LI Jonathan. A tensor voting approach to dark spot detection in RADARSAT-1 intensity imagery[C]//Geoscience & Remote Sensing Sym-posium. Piscataway, New Jersey, USA: IEEE, 2015.

[11] XU Linlin, JAVAD S.M, WONG Alexander, et al. Fully connected continuous conditional random field with stochastic cliques for dark-spot detection in SAR imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(7): 2882-2890.

[12] KULSHRESTHA A. Dark spot detection for characterization of oil spills using polar remote sensing[D].Netherlands: University of Twente, 2018.

[13] ACHANTA R, HEMAMI S., ESTRADA F, et al. Freque-ncy-tuned salient region detection[C]// IEEE Confe-rence on Computer Vision and Pattern Recognition. Piscataway, New Jersey, USA: IEEE, 2009, 1597-1604.

[14] 馬瑜, 梁慧琳, 張艷寧, 等. 基于圖像顏色紋理的均值漂移分割算法[J]. 計算機工程與設計, 2013, 34(5): 1720-1724. MA Yu, LIANG Huilin, ZHANG Yanning, et al. Improved mean shift segmentation algorithm based on color texture[J]. Computer Engineering and Design, 2013, 34(5): 1720-1724.

[15] 錢曉亮, 白臻, 陳淵, 等.協同視覺顯著性檢測方法綜述[J].電子學報 2019, 47(6), 1352-1365. QIAN Xiaoliang, BAI Zhen, CHEN Yuan, et al.A review of co-saliency detection[J]. Acta Electronica Sinica, 2019, 47(6), 1352-1365.

[16] 王閃閃. 基于顯著性檢測的人體輪廓提取問題研究與應用[D]. 濟南: 山東大學, 2016.WANG Shanshan. The research and application of human body contour extraction with saliency detection[D].Ji’nan: Shandong University, 2016.

[17] ROTHER C, KOLMOGOROV V, BLAKE A, et al. “GrabCut”-Interactive foreground extraction using itera-ted g raph cuts[C]// Proceedings of ACM SIGGRAPH 2004. New York, USA: ACM, 2004: 309-314.

[18] LI C M, XU C, GUI C. Level set evolution without re-initialization: a new variational formulation[C]// Proceedings of CVPR. Piscataway, New Jersey, USA: IEEE, 2005, 1: 430-436.

[19] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62-66.

Dark spot detection in SAR oil-spilled images based on salie-n-cy analysis

LYU Xin-rong, LI Yun, WEN Chun-miao, REN Peng

(College of Oceanography and Space Informatics, China University of Petroleum (East China), Qingdao 266580, China)

To improve the detection accuracy of sea oil spills in synthetic aperture radar (SAR) images, a dark spot detection method combining image saliency and mean shift segmentation is designed. Its effectiveness was verified in the identification of dark spots in SAR oil-spilled images, laying a foundation for the accurate detection of oil-spilled areas. In view of the characteristics of the dark spot in the SAR oil-spilled image that is relevant to human vision, the entire SAR image is processed by the image saliency detection method to generate a saliency image. The mean shift method is used in the Lab space of the SAR image to divide the image into different regions. Finally, the relationship between the average saliency value of each region and the dynamic threshold is used to determine the dark spot region in the oil spill image. Experimental results show that this method does not require human interaction and can effectively extract dark spots in SAR oil-spilled images.

synthetic aperture radar(SAR); image saliency; mean shift; dark spot detection

Mar. 24, 2020

P76

A

1000-3096(2021)04-0090-07

10.11759/hykx20200324004

2020-03-24;

2020-05-21

國家自然科學基金(61971444); 山東省自然科學基金(ZR2019MF019, ZR2016DL11)

[National Natural Science Foundation of China, No.61971444, Shandong Natural Science Foundation of China, No. ZR2019MF019, No. ZR2016DL11]

呂新榮(1982—), 男, 山東萊陽人, 副教授, 博士, 從事海上溢油檢測及風險評估研究, E-mail: lvxr@upc.edu.cn; 任鵬(1981—),通信作者, E-mail: pengren@upc.edu.cn

(本文編輯: 叢培秀)