基于雙極化SAR圖像的U-Net海冰多分類模型*

黃 巖 任沂斌

基于雙極化SAR圖像的U-Net海冰多分類模型*

黃 巖1, 2任沂斌1①

(1. 中國科學院海洋研究所海洋環流與波動重點實驗室 山東青島 266071; 2. 中國科學院大學 北京 100049)

北極多年冰在近幾十年有明顯的減少趨勢, 與北極海冰的厚度、體積和夏季最小海冰范圍的減少密切相關。合成孔徑雷達(synthetic aperture radar, SAR)具有全天時、全天候成像能力, 基于SAR衛星影像的海冰分類對監測北極多年冰具有重要意義。基于深度學習U-Net模型, 以SAR圖像的雙極化信息為模型輸入, 構建了像素級的海水、一年冰和多年冰多分類模型。與已有SAR圖像海冰分類方法(支持向量機、隨機森林和卷積神經網絡)進行對比, 基于雙極化SAR圖像的U-Net海冰分類模型的準確率、平均重疊度和Kappa系數, 分別達到了90.73%、0.831和0.849, 優于其他對比模型, 分別提升了4.08%～19.04%, 0.063～0.321和0.111～0.335。此外, 針對SAR圖像水平-垂直極化(horizontal-vertical polarization, HV)有明顯的條狀熱噪聲和水平-水平極化(horizontal-horizontal polarization, HH)受入射角效應而亮度不均勻的特點, 設計敏感性實驗, 研究HV噪聲、入射角和灰度共生矩陣(gray level co-occurrence matrix, GLCM)紋理信息對本文U-Net海冰分類模型的影響。結果表明, 傳統的機器學習方法對噪聲更敏感, 而深度學習模型有一定的抗噪聲能力; 使用入射角校正更適合分類一年冰和多年冰; 單一GLCM紋理對U-Net模型的海冰分類效果無明顯提高。綜上, 基于雙極化SAR圖像的U-Net能夠實現高精度的海水、一年冰和多年冰分類。該模型具有一定的抗噪聲能力, 是更具魯棒性的海冰分類方法。

合成孔徑雷達(SAR)圖像; 海冰分類; 深度學習; U-Net模型

北極海冰作為地球冰凍圈的重要組成部分, 近幾十年受全球氣候變化影響, 在范圍、年齡和體量上都有明顯的減小趨勢(Kim,2014; Mori,2019)。海冰根據其發展階段可以被分為季節性一年冰(first-year ice, FYI)和永久性多年冰(multi-year ice, MYI)。當年冬季新形成的海冰為一年冰; 經歷夏季消融后存留的海冰為多年冰。一方面北極多年冰的減少速率快, 其速率近乎為海冰范圍減少速率的2倍(Comiso, 2012; Carmack,2015), 對氣候變化更敏感; 另一方面, 多年冰的存在時間長, 厚度大, 硬度高, 能極大威脅極區航船的航行安全。多年冰的減少使貨船能更容易地出入北極, 有利于北極航道的進一步開發和利用。高效且準確的海冰分類方法既能夠監測北極多年冰的變化, 又能為北極航船提供航行指導(Zakhvatkina,2019)。衛星遙感是獲取極區數據最便捷的方式, 常用的海冰監測傳感器包括: 可見光傳感器、高度計、微波散射計和合成孔徑雷達(synthetic aperture radar, SAR)。SAR能夠獲取不受天氣和晝夜影響的高分辨率影像, 被廣泛應用于海冰分類研究(Fetterer,1997; Soh,1999, 2004; Dabboor,2014)。

波弗特海處在加拿大北極群島和楚克奇海之間, 是北極中心多年冰的主要輸出區域之一(Kwok, 2004)。受到波弗特高壓影響, 波弗特海區域存在一個反氣旋海冰流, 被稱為波弗特環流(Babb,2022)。北極中心的多年冰順著波弗特環流漂移到緯度更低的波弗特海和楚克奇海區域, 在夏季融化, 造成多年冰的減少(Kwok,2010)。研究表明, 2007年后波弗特海的多年冰相較于之前有顯著減少(Moore,2022)。波弗特海也是北極西北航道的重要組成部分, 是船只進出加拿大北極群島的通道之一。因此, 研究基于SAR圖像的波弗特海海冰分類對多年冰監測和航行指導具有重要意義。

現有的海冰分類方法可以分為傳統方法和深度學習方法。傳統方法如閾值法(Fetterer,1997)、專家系統(Soh,2004)和機器學習方法。機器學習方法包括神經網絡, 支持向量機(support vector machine, SVM)和隨機森林等。Zakhvatkina等(2013)利用基于神經網絡的模型分類SAR影像中的多年冰、一年冰和海水(open water, OW)。張明等(2018)基于哨兵一號(Sentinel-1) SAR影像提取得到灰度共生矩陣(gray level co-occurrence matrix, GLCM)紋理特征, 使用SVM進行海冰分類, 對比了SVM與最大似然法和神經網絡的分類結果。Park等(2020)采用公開的冰圖代替手動標注作為模型訓練的真值, 使用基于隨機森林的海冰分類模型。然而, 由于需要手動提取特征和自身建模方式的限制, 在大數據背景下傳統方法逐漸不能滿足更快速和更準確的海冰分類需求(Reichstein,2019)。深度學習模型有強大的特征提取能力。典型的深度學習模型, 深度卷積神經網絡(convolutional neural network, CNN), 已被成功應用于海冰分類, 取得了比傳統方法更高的分類精度。崔艷榮等(2020)利用CNN實現了渤海的冰水分類。Boulze等(2020)搭建CNN用于區分Sentinel-1圖像中開放水域、新冰、一年冰和多年冰, 證實了CNN的性能優于隨機森林。Zhang等(2021)將基于CNN的深度學習模型, MSI-ResNet, 應用于高分三號(GF-3) SAR圖像的夏季海冰分類。

盡管CNN在海冰分類上已經取得了一定的成功, 但存在以下幾個問題有待解決。首先, CNN不是一個像素級的分類方法, 在輸入影像切片的前提下(切片大小遠小于影像大小), 只能輸出中心像素的分類結果, 限制了分類結果的精度和分辨率。其次, 以Sentinel-1獲取的SAR圖像為例, 其水平-水平極化(horizontal- horizontal polarization, HH)圖像的入射角效應較強, 水平-垂直極化(horizontal-vertical polarization, HV)圖像有分布不均勻的熱噪聲。現有改良方法HH入射角校正(Park,2020; 周雪飛等, 2022)和HV去噪(Park,2019; Sun,2021)在深度學習模型中的效果有待進一步分析。最后, 紋理信息被證實在機器學習海冰分類模型中是有效的(Soh,1999; Liu,2015), 但在深度學習模型中的有效性未被驗證。

U-Net是一類出色的像素級分類模型, 在冰水分類(徐歡等, 2021; Ren,2022)和其他海洋分類任務中取得了較高的分類精度(Gao,2022; Stokholm,2022; Zhou,2022)。因此, 本文基于深度學習U-Net模型, 以雙極化SAR圖像信息為輸入, 構建基于雙極化SAR圖像的像素級海冰多分類模型。對模型分類性能進行評估驗證, 并與已有經典海冰分類模型SVM、隨機森林和CNN進行對比。進一步, 針對Sentinel-1的HV圖像有明顯的條狀熱噪聲和HH圖像受入射角效應而亮度不均勻的特點, 設計敏感性實驗, 研究HV噪聲、入射角和GLCM紋理信息對本文U-Net海冰分類模型的影響。文章的第二部分介紹了研究區域, 以及模型訓練和測試用到的數據和處理步驟; 第三部分詳細介紹了U-Net模型的結構和原理; 第四部分通過對比實驗研究了U-Net相對于其他模型的優勢, 影像去噪和入射角信息對模型結果的影響, 以及GLCM的有效性; 第五部分為本文結論。

1 研究區域及數據

1.1 研究區域概況

波弗特海是北冰洋的邊緣海之一, 位于阿拉斯加北部, 加拿大北極群島和楚克奇海之間(圖1)。近年來, 波弗特海大部分海冰會在夏季消融, 有時甚至會全部消融(Babb,2019), 雖然在冬季海冰仍會覆蓋整個波弗特海區域, 但其中大部分多年冰已被季節性的一年冰取代(Galley,2016)。波弗特海冬季的多年冰由夏季未消融化的海冰和波弗特環流輸入的多年冰組成, 故波弗特環流是影響冬季內波弗特海多年冰變化的主要因素(Moore,2022)。

1.2 數據獲取

研究選取了2019年10月至2020年2月的15景Sentinel-1 SAR圖像數據進行海分類研究, 區分影像中的海水、一年冰和多年冰。SAR圖像的詳細數據如表1所示。Sentinel-1A由歐空局(European Space Agency, ESA)于2014年發射, Sentinel-1B于2016年發射, 雙星工作于C波段, 重返周期為12 d。Sentinel-1在波弗特海的工作模式為超寬掃描模式(extra wide swath, EW),獲取中分辨率的地距探測影像(ground range detected, GRD)。在該工作模式下獲取的SAR影像, 其空間分辨率為40 m×40 m, 幅寬400 km, 極化方式為HH和HV。2019年后, Sentinel-1對波弗特海的觀測明顯增多, 短時間內對整片海域的全覆蓋成為可能。

圖1 研究區域地理位置

表1 Sentinel-1 SAR圖像的詳細信息

Tab.1 Details of Sentinel-1 SAR images

注: “海水/一年冰/多年冰”表示各分類目標在圖像中的大致占比

2 研究方法

2.1 基于U-Net的海冰分類模型流程

圖2所示為基于U-Net的海冰分類模型的訓練和測試流程。原始SAR影像在經過預處理后和切片后, 根據圖像集編號分別劃分為訓練集和測試集。訓練集用于U-Net海冰分類模型的訓練和驗證, 測試集用于評價模型在多種評價指標下的分類能力。

2.2 數據預處理

參照標準的處理流程(Filipponi, 2019), 數據預處理采用SNAP Desktop (sentinel application platform)軟件進行了軌道校正、輻射校準、濾波、轉dB值、地理編碼和GLCM計算。為了減少模型訓練和應用時消耗的時間成本, 影像的分辨率被降低為80 m× 80 m。為減輕HH極化圖像中的入射角效應和HV極化圖像中的噪聲, 我們采用了入射角矯正公式(Park,2020)[公式(1)]和Sun等(2021)使用到的去噪方法。優化后的圖像如圖3d, 3e所示(圖3e用陸地掩膜裁去了陸地部分)。通過標注軟件LabelMe, 參考過往研究(Zakhvatkina,2013)、美國國家冰雪中心(the United States National Ice Center)發布的冰圖和德國不來梅大學發布的多年冰密集度產品(Melsheimer,2019), 人工標注了SAR影像中的海水、一年冰和多年冰(初生冰和新冰被標注為一年冰), 標注示例展示在圖3f。最后我們將每張影像裁剪為許多不重疊的256×256像素的切片, 以方便輸入U-Net模型。

圖2 基于U-Net的海冰分類模型流程圖

GLCM最早由Haralic等(1973)提出, 用于提取圖像紋理特征, 為圖像分類提供更多可參考的信息。GLCM紋理特征的本質是計算圖像中某一像素與周圍像素間的聯系, 該計算受窗口大小、量化級別、位移量和方向4個參數的影響。參考Hall-Beyer (2017), 窗口大小選取為7×7, 量化級別為64, 位移量為2, 取4個方向(0°, 45°, 90°, 和135°)計算后的均值。在GLCM基礎上進一步計算出角二階矩、對比度、相異性、能量、熵、均值、方差、同質性和最大值, 分別計算HH和HV圖像的GLCM, 共計得到18種GLCM紋理特征圖像。圖4展示了由HH圖像計算得到9種GLCM特征圖像。

圖3 Sentinel-1 SAR圖像示例(圖像集1)

圖4 GLCM紋理特征圖像示例(圖像集1)

2.3 基于U-Net的海冰模型模型結構

如圖5所示, U-Net結構包括輸入、編碼器、解碼器和輸出4個部分, 與字母“U”形狀相似, 有近乎完全對稱的編碼器和解碼器結構。輸入包括入射角矯正后的HH極化圖像和去噪后的HV極化圖像, 圖像大小為256×256像素。編碼器用提取抽象和縮小的特征圖, 不同級的編碼模塊提取出的特征圖大小不同。得到的特征圖通過解碼器放大到原始大小, 獲取與原始分辨率相同的分類結果, 使得U-Net成為像素級分類模型。最后通過輸出得到海冰分類結果。下面將具體介紹U-Net模型的編碼器、解碼器和輸出3個部分。

2.3.1 編碼器 編碼器包括四個基于CNN的編碼模塊。第一編碼模塊是步長為2×2, 卷積核為7×7的卷積層。后續三個編碼模塊相似, 均由一個步長為2×2, 卷積核為3×3的卷積層和三個殘差卷積(residual convolutional neural network, ResNet)單元組成。殘差卷積單元由堆疊的兩個步長為1×1, 卷積核為3×3的卷積層和連接首尾的短路連接組成。批量標準層(batch normalization, BN)和非線性激活函數“ReLU”被應用于每個卷積層后。非線性激活函數用于避免模型訓練過程中的梯度消失和梯度爆炸問題。4個編碼模塊所使用的卷積核數量分別為: 32、64、128和256。最終編碼器提取出16×16×256的特征圖, 作為解碼器的輸入。

2.3.2 解碼器 4個解碼模塊用于還原特征圖像的大小。第一解碼模塊是步長為2×2, 卷積核為3×3的反卷積層。其他三個解碼模塊的結構為兩步長為1×1, 卷積核為3×3的殘差卷積單元和一個2×2, 卷積核為3×3的反卷積層。這三個解碼模塊的輸入由上一個解碼模塊的輸出和同級編碼模塊提取的特征圖組成。這種融合方式充分利用了編碼器提取的特征圖, 減少了圖像信息的損失。256、128、64和32分別為4個解碼模塊的卷積核個數。解碼器的輸出結果為256×256×32的特征圖。

圖5 基于U-Net的海冰分類模型結構

注: HH表示入射角校正后的HH極化圖像; HV表示去噪后的HV極化圖像; 模型輸入大小為256×256×2, 模型輸出的分類結果大小為256×256×3。

2.3.3 輸出層 輸出層由一個步長為1×1, 卷積核為1×1的卷積層和“Softmax”激活層組, 卷積核數量分別為16和3, 輸出256×256×3的分類結果。“Softmax”激活函數[公式(2)]將3個通道的輸出值標準化至(0,1)區間。三個通道分別代表海水、一年冰和多年冰, 輸出值最大的通道代表分類結果。例如某一像素三個通道的輸出值為(0.1, 0.2, 0.7), 則說明該像素的分類結果為多年冰。

3 模型驗證

3.1 實驗設置

10幅SAR圖像被選取為訓練和驗證數據, 剩余5幅為測試圖像。切片后組成的訓練集、驗證集和測試集的樣本數分別為2 067、887和1 487個。U-Net模型的搭建基于Python 3.9, 深度學習庫采用Tensorflow-Keras框架。模型在GPU服務器上運行, 配置有NVIDIA TESLA V100 32GB顯卡一塊。單次訓練樣本量(batch size)為64, 初始學習率為0.000 1, 損失函數為多分類交叉熵損失函數。在訓練中采用“Early stopping”策略來避免模型過擬合, 即當模型在驗證集的準確率在10次迭代內均未增長時, 結束訓練過程。

3.2 評價指標

準確率表示所有被分類正確的像素數量在總像素中的占比, 其計算公式為

mIoU描述預測的海冰類型與真實海冰類型的重疊比例, 重疊比例越大代表預測的偏差越小。mIoU的計算公式為

Kappa系數是評價多分類模型時常用指標, 能減弱樣本不均衡對精度評價的影響。其計算公式為

3.3 多模型對比實驗

研究設計了多模型對比實驗以說明U-Net模型在海冰分類的有效性。將U-Net對比其他三種常用的分類模型: SVM (Liu,2015)、隨機森林(Park,2020)和CNN (Boulze,2020) (CNN模型的輸入大小為50×50像素)。并比較了HV極化圖像去噪在不同分類模型中的提升效果。由于訓練時間的限制, SVM的訓練集縮減為60萬個像素樣本, 測試集不變。其他模型所使用的訓練集和測試集與U-Net一致。

實驗結果如表2所示。U-Net海冰分類模型的Acc、mIoU、Kappa分別為90.73%、0.831、0.849, 對比SVM、隨機森林和CNN模型有明顯優勢。U-Net和CNN在3種精度指標上均高于SVM和隨機森林, 深度學習模型的分類性能更好。對比同一模型使用HV去噪前后的分類結果, 去噪對CNN和U-Net模型分類結果的影響不明顯, Acc的提升小于1%, mIoU和Kappa的提升小于0.02; SVM和隨機森林更依賴去噪, 兩者在Acc的提升分別為3.71%和2.79%, 隨機森林在mIoU和Kappa上的提升大于0.1。因此, 深度學習模型(U-Net和CNN)相對于傳統機器學習模型更加魯棒, HV去噪對其精度提升的有效性較低, 模型自身具有一定的抗噪能力。其原因是深度學習模型依托多層卷積神經網絡從原始數據中自動學習有效特征, 弱化了噪聲等無效特征對分類結果的影響。此外, 表2給出了不同模型分類海水、一年冰和多年冰的準確率, 相較于其他模型, U-Net對一年冰和多年冰的分類能力更強。

表2 不同模型的分類結果評價

Tab.2 Accuracy evaluation of different models

注: Acc表示準確率, mIoU表示平均重疊度, Kappa表示Kappa系數; √表示使用該數據處理方法, ×表示不使用; 同類指標的最大值用加粗突出表示

為進一步驗證U-Net模型的優勢和HV去噪的影響, 我們選取了部分測試集中的SAR圖像切片以及對應的模型分類結果展示在圖6。圖6a為原始HV圖像, 可以觀察到明顯的條帶形熱噪聲。圖6b為標注的真值圖像。圖6c～6j為不同模型使用HV去噪的分類結果。對比圖6c, 6e與圖6d, 6f, 未去噪的SVM和隨機森林模型更容易發生海水和一年冰以及一年冰和多年冰的誤分, 類似誤分在受噪聲影響的海水區域會更加嚴重(圖6第1, 2行)。HV去噪對深度學習模型的提升不明顯(圖6g～6j), CNN結果的分辨率低于U-Net。對比圖6第4行中的圖像, U-Net對破碎多年冰的分類能力更強。綜上, 本文提出的U-Net海冰分類模型較現有的SVM、隨機森林和CNN模型有更高的分類精度, 在Acc、mIoU和Kappa的提升分別為4.08%～19.04%, 0.063～0.321和0.111～0.335, 并具有一定抗噪能力。

3.4 入射角對分類結果影響分析

現有研究指出, 海水、一年冰和多年冰在SAR的HH極化圖像中入射角效應的影響程度不同(M?kynen,2017; Aldenhoff,2020), 利用單一斜率進行入射角校正是綜合考慮后的選擇。將入射角信息作為模型的額外輸入, 通過U-Net模型自身的非線性學習能力來利用入射角信息, 是另一種入射角信息使用方式。我們對比了3種U-Net: (1) 不使用入射角信息的U-NetNIA; (2) 將入射角作為額外輸入的U-NetIIA; (3) 使用入射角矯正HH的U-Net的海冰分類能力[校正方法見公式(1)], 對比結果如表3所示。

圖6 不同模型在HV去噪前后在測試集的海冰分類結果

由表3可知, 使用入射角矯正的U-Net在一年冰準確率、多年冰準確率、Acc、mIoU和Kappa五項指標上取得了最高的分數, 在海水準確率低于U-NetIIA。這是因為SAR影像中的海水受入射角影像的程度更大, 需要比0.200 dB/(°)更大的斜率才能進一步校正海水(M?kynen,2017)。且由于波弗特海在冬季大部分時間會被海冰完全覆蓋, 所以有利于分類一年冰和多年冰的入射角校正是更合適的選擇。圖7展示了不同模型在同一幅測試圖像(圖像集15)中的分類結果。為了清晰展現入射角對分類結果的影響, 放大了圖7a中紅色方框內的影像, 對比三個模型的分類結果(圖7c～7e)。圖7b為該區域的入射角影像, 從右到左入射角逐漸增大。對比圖7c～7f可以發現: 圖像右側入射角較小的區域, 三種U-Net的分類結果與真值非常相近; 在圖像左側, 入射角逐漸增大, U-NetNIA和U-NetIIA更容易將多年冰分類為一年冰, 合理利用入射角能減少入射角效應引起的誤分。

3.5 紋理信息對分類結果影響分析

為驗證深度學習模型下SAR圖像紋理信息對海冰分類的作用, 我們將提取的9種GLCM紋理圖像(見2.2節)分別與極化圖像(HH+HV)合并構建多通道模型輸入, 訓練并測試U-Net模型, 其他設置保持不變。測試結果的總體精度如圖8a所示, 在加入任一種GLCM紋理圖后, 模型在測試數據上的評價指標Acc, mIoU和Kappa均低于不加入GLCM的模型(HH+HV)。3種指標在合并不同的GLCM時表現出相同的波動趨勢, Acc的波動幅度較小。圖8b給出了海水、一年冰和多年冰的準確率變化, 在添加除均值以外的GLCM紋理圖像后, 模型對海水的分類能力均有提升, 但降低了一年冰和多年冰的準確率, 使總體的分類精度下降。因此, 在多通道輸入模式下, 單一GLCM紋理信息能提高基于雙極化信息U-Net海冰分類模型的海水分類能力, 但對模型總體精度的提升幫助有限。

表3 不同入射角使用方式的精度評價結果

Tab.3 Accuracy evaluation of different incident angles using methods

注: Acc表示準確率, mIoU表示平均重疊度, Kappa表示Kappa系數; 同類指標的最大值利用加粗突出表示

圖7 不同入射角使用方式的海冰分類結果對比

注: U-NetNIA: 模型輸入為HH+HV, 不使用入射角; U-NetIIA: 模型輸入為HH+HV+入射角; U-Net: 模型輸入為入射角校正HH+HV

注: HH: 水平-水平極化; HV: 水平-垂直極化; ASM: 角二階矩; CON: 對比度; DIS: 相異性; ENE: 能量; ENT: 熵; MEA: 均值; VAR: 方差; HOM: 均質性; MAX: 最大值

造成上述結果的原因, 一方面是因為SAR極化圖像包含的海冰類型特征的差異性較單一GLCM紋理圖像中的強, 在多通道輸入模式下, 模型更側重于SAR極化圖像中海冰類型特征的學習。另一方面是因為GLCM紋理圖像對海水的區分度較高, 對一年冰和多年冰的區分度較弱。圖8b中能量和均質性加入后對海水的分類精度提升最明顯, 因此, 我們選取這兩個GLCM特征為代表, 繪制了能量和均質性在海水、一年冰和多年冰三種類型下的概率密度分布圖, 如圖9所示。圖中一年冰和多年冰的概率密度曲線更接近, 而海水的概率密度曲線與前兩者有較大差異, 這說明在能量和均質性中海水與海冰的區分度比一年冰和多年冰的區分度更高。因此, 模型在增加GLCM輸入后對海水的分類精度提升顯著, 對一年冰和多年冰的分類精度沒有提升。

4 結論

本文選取了15幅波弗特海區域Sentinel-1 SAR影像, 構建了基于雙極化信息的U-Net海冰分類模型, 實現SAR圖像中海水、一年冰和多年冰的像素級分類, 取得了較高的分類精度和高分辨率的分類結果。為驗證U-Net的優勢, 并研究HV噪聲、入射角和GLCM對本文U-Net海冰分類模型的影響, 我們設計3個實驗: ①HV去噪對不同模型分類結果影響對比實驗; ②入射角信息的不同使用方式對U-Net模型分類結果影響敏感性實驗; ③GLCM紋理信息對U-Net模型分類結果影響敏感性實驗。通過實驗結果得到結論如下:

注: 概率密度曲線由訓練數據計算獲得; 能量和均質性為HH極化圖像計算得到的GLCM紋理圖像

(1) 深度學習模型的海冰分類能力優于傳統的機器學習模型, 并且U-Net模型將Acc/mIoU/Kappa提升至90.73%/0.831/0.849, 較SVM、隨機森林和CNN模型在Acc、mIoU和Kappa的提升分別為4.08%～19.04%, 0.063～0.321和0.111～0.335。

(2) 相較于傳統的機器學習模型, 深度學習模型在HV去噪后的分類結果與去噪前相差較小, 具有一定抗噪聲能力。

(3) 對于U-Net海冰分類模型, 使用入射角作為模型額外輸入對分類結果有提升, 單一斜率校正HH圖像更適用于分類SAR影像中的一年冰和多年冰。

(4) 在多通道輸入模式下, 在雙極化信息基礎上加入單一GLCM紋理特征, 能提升模型對海水的分類能力, 但對一年冰和多年冰分類精度的提升不明顯。

綜上, 基于雙極化SAR圖像的U-Net模型可實現一年冰、多年冰和海水分類。未來, 將測試多種GLCM紋理特征集成輸入對SAR海冰多分類的影響。同時, 選取覆蓋北極其他區域的測試數據, 驗證本文模型對不同區域海冰分類的適用性。

致謝 感謝歐空局提供的Sentinel-1數據和SNAP Desktop軟件; 感謝阿拉斯加衛星設備(Alaska Satellite Facility, ASF)提供的Sentinel-1數據下載(網址: https://search.asf.alaska.edu/#/); 感謝美國國家冰雪中心提供的冰圖數據; 感謝LabelMe數據標注軟件。感謝李曉峰老師的指導和建議。

張明, 呂曉琪, 張曉峰, 等, 2018. 結合紋理特征的SVM海冰分類方法研究[J]. 海洋學報, 40(11): 149-156.

周雪飛, 徐嘉, 張緒冰, 2022. 基于Sentinel-1衛星數據的北極西北航道通航適宜性分析[J]. 冰川凍土, 44(1): 117-132.

徐歡, 任沂斌, 2021. 基于混合損失U-Net的SAR圖像渤海海冰檢測研究[J]. 海洋學報, 43(6): 157-170.

崔艷榮, 鄒斌, 韓震, 等, 2020. 卷積神經網絡在衛星遙感海冰圖像分類中的應用探究——以渤海海冰為例[J]. 海洋學報, 42(9): 100-109.

ALDENHOFF W, ERIKSSON L E B, YE Y F,,2020. First-year and multiyear sea ice incidence angle normalization of dual-polarized Sentinel-1 SAR images in the Beaufort Sea [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13: 1540-1550.

BABB D G, GALLEY R J, HOWELL S E L,,2022. Increasing multiyear sea ice loss in the Beaufort Sea: a new export pathway for the diminishing multiyear ice cover of the Arctic Ocean [J]. Geophysical Research Letters, 49(9): e2021GL097595.

BABB D G, LANDY J C, BARBER D G,,2019. Winter sea ice export from the Beaufort Sea as a preconditioning mechanism for enhanced summer melt: a case study of 2016 [J]. Journal of Geophysical Research: Oceans, 124(9): 6575-6600.

BOULZE H, KOROSOV A, BRAJARD J, 2020. Classification of sea ice types in Sentinel-1 SAR data using convolutional neural networks [J]. Remote Sensing, 12(13): 2165.

CARMACK E, POLYAKOV I, PADMAN L,,2015. Toward quantifying the increasing role of oceanic heat in sea ice loss in the new Arctic [J]. Bulletin of the American Meteorological Society, 96(12): 2079-2105.

COMISO J C, 2012. Large decadal decline of the Arctic multiyear ice cover [J]. Journal of Climate, 25(4): 1176-1193.

DABBOOR M, GELDSETZER T, 2014. Towards sea ice classification using simulated RADARSAT Constellation Mission compact polarimetric SAR imagery [J]. Remote Sensing of Environment, 140: 189-195.

FETTERER F, BERTOIA C, YE J P, 1997. Multi-year ice concentration from RADARSAT [C] // Proceedings of 1997 IEEE International Geoscience and Remote Sensing Symposium Proceedings. Remote Sensing - A Scientific Vision for Sustainable Development. Singapore, Singapore: IEEE: 402-404.

FILIPPONI F, 2019. Sentinel-1 GRD preprocessing workflow [J]. Proceedings, 18(1): 11.

GALLEY R J, BABB D, OGI M,,2016. Replacement of multiyear sea ice and changes in the open water season duration in the Beaufort Sea since 2004 [J]. Journal of Geophysical Research: Oceans, 121(3): 1806-1823.

GAO L, LI X F, KONG F Z,,2022. AlgaeNet: a deep-learning framework to detect floating green algae from optical and SAR imagery [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 2782-2796.

HALL-BEYER M, 2017. Practical guidelines for choosing GLCM textures to use in landscape classification tasks over a range of moderate spatial scales [J]. International Journal of Remote Sensing, 38(5): 1312-1338.

HARALICK R M, SHANMUGAM K, DINSTEIN I H, 1973. Textural features for image classification [J]. IEEE Transactions on Systems, Man, and Cybernetics, SMC-3(6): 610-621.

KIM B M, SON S W, MIN S K,,2014. Weakening of the stratospheric polar vortex by Arctic sea-ice loss [J]. Nature Communications, 5(1): 4646.

KWOK R, 2004. Annual cycles of multiyear sea ice coverage of the Arctic Ocean: 1999–2003 [J]. Journal of Geophysical Research: Oceans, 109(C11): C11004.

KWOK R, CUNNINGHAM G F, 2010. Contribution of melt in the Beaufort Sea to the decline in Arctic multiyear sea ice coverage: 1993–2009 [J]. Geophysical Research Letters, 37(20): L20501.

LIU H Y, GUO H D, ZHANG L, 2015. SVM-based sea ice classification using textural features and concentration from RADARSAT-2 dual-pol ScanSAR data [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 8(4): 1601-1613.

M?KYNEN M, KARVONEN J, 2017. Incidence angle dependence of first-year sea ice backscattering coefficient in Sentinel-1 SAR imagery over the Kara Sea [J]. IEEE Transactions on Geoscience and Remote Sensing, 55(11): 6170-6181.

MELSHEIMER C, SPREEN G, YE Y,,2019. Multiyear ice concentration, Antarctic, 12.5 km grid, cold seasons 2013-2018 (from satellite) [DB]. PANGAEA. https://doi. org/10.1594/PANGAEA.909054.

MOORE G W K, STEELE M, SCHWEIGER A J,,2022. Thick and old sea ice in the Beaufort Sea during summer 2020/21 was associated with enhanced transport [J]. Communications Earth & Environment, 3(1): 198.

MORI M, KOSAKA Y, WATANABE M,,2019. A reconciled estimate of the influence of Arctic sea-ice loss on recent Eurasian cooling [J]. Nature Climate Change, 9(2): 123-129.

PARK J W, KOROSOV A A, BABIKER M,,2020. Classification of sea ice types in Sentinel-1 synthetic aperture radar images [J]. The Cryosphere, 14(8): 2629-2645.

PARK J W, WON J S, KOROSOV A A,,2019. Textural noise correction for Sentinel-1 TOPSAR cross-polarization channel images [J]. IEEE Transactions on Geoscience and Remote Sensing, 57(6): 4040-4049.

REICHSTEIN M, CAMPS-VALLS G, STEVENS B,,2019. Deep learning and process understanding for data-driven earth system science [J]. Nature, 566(7743): 195-204.

REN Y B, LI X F, YANG X F,,2022. Development of a dual-attention U-net model for sea ice and open water classification on SAR images [J]. IEEE Geoscience and Remote Sensing Letters, 19: 4010205.

SOH L K, TSATSOULIS C, 1999. Texture analysis of SAR sea ice imagery using gray level co-occurrence matrices [J]. IEEE Transactions on Geoscience and Remote Sensing, 37(2): 780-795.

SOH L K, TSATSOULIS C, GINERIS D,,2004. ARKTOS: an intelligent system for SAR sea ice image classification [J]. IEEE Transactions on Geoscience and Remote Sensing, 42(1): 229-248.

STOKHOLM A, WULF T, KUCIK A,,2022. AI4SeaIce: toward solving ambiguous SAR textures in convolutional neural networks for automatic sea ice concentration charting [J]. IEEE Transactions on Geoscience and Remote Sensing, 60: 4304013.

SUN Y, LI X M, 2021. Denoising Sentinel-1 extra-wide mode cross-polarization images over sea ice [J]. IEEE Transactions on Geoscience and Remote Sensing, 59(3): 2116-2131.

ZAKHVATKINA N Y, ALEXANDROV V Y, JOHANNESSEN O M,,2013. Classification of sea ice types in ENVISAT synthetic aperture radar images [J]. IEEE Transactions on Geoscience and Remote Sensing, 51(5): 2587-2600.

ZAKHVATKINA N, SMIRNOV V, BYCHKOVA I, 2019. Satellite SAR data-based sea ice classification: an overview [J]. Geosciences, 9(4): 152.

ZHANG T Y, YANG Y, SHOKR M,,2021. Deep learning based sea ice classification with Gaofen-3 fully polarimetric SAR data [J]. Remote Sensing, 13(8): 1452.

ZHOU Y, CHEN K R, LI X F, 2022. Dual-branch neural network for sea fog detection in geostationary ocean color imager [J]. IEEE Transactions on Geoscience and Remote Sensing, 60: 4208617.

A U-Net sea ice classification model based on dual-polarized SAR images

HUANG Yan1, 2, REN Yi-Bin1

(1. CAS Key Laboratory of Ocean Circulation and Waves, Institute of Oceanology, Qingdao 266071, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China)

The Arctic multi-year ice has shown a significant decreasing trend in recent decades, which is closely related to the decreases in thickness, volume, and minimum summer extent of the Arctic sea ice. Synthetic aperture radar (SAR) has imaging capability in nighttime and cloudy conditions, and sea ice classification based on SAR images shows high significance for monitoring Arctic multi-year ice. A sea ice classification model was constructed based on deep learning U-Net model for open water, first-year ice, and multi-year ice at pixel level with dual-polarization SAR images. In comparison with existing SAR image sea ice classification methods (support vector machines, random forests, and convolutional neural networks), the accuracy, mean intersection over union, and Kappa coefficient of the U-Net sea ice classification model based on dual-polarized SAR images achieved 90.73%, 0.831, and 0.849, respectively, better than the other comparison models’, being improved by 4.08%～19.04%, 0.063～0.321, and 0.111～0.335, respectively. In addition, the horizontal-vertical polarization (HV) images of Sentinel-1 SAR images have obvious thermal noise, and the horizontal-horizontal polarization (HH) images have non-uniform brightness due to the incidence angle effect. Sensitivity experiments were designed to investigate the effects of HV noise, incidence angle, and grey-level co-occurrence matrix (GLCM) textures on the U-Net model. Results show that traditional machine learning methods are more sensitive to noise, while deep learning models have some resistance; using incidence angle correction is more suitable for classifying first-year ice and multi-year ice; and a single GLCM texture shows less obvious improvement of the U-Net model. Therefore, the U-Net based on dual-polarized SAR images could achieve high accuracy for open water, first-year ice, and multi-year ice classification, which is noise tolerable and a more robust sea ice classification method.

synthetic aperture radar (SAR) images; sea ice classification; deep learning; U-Net

* 嶗山實驗室科技創新項目, LSKJ202202302號; 國家自然科學基金青年項目, 42206202號; 國家自然科學基金-山東省聯合基金, U2006211號。黃 巖, 碩士研究生, E-mail: huangyan01@aircas.ac.cn

任沂斌, 副研究員, E-mail: yibinren@qdio.ac.cn

2023-03-17,

2023-05-09

TP751

10.11693/hyhz20230300063