協同U-Net與隱馬爾可夫模型的遙感影像云識別

摘" 要：云霧覆蓋是影響光學遙感影像林業監測利用率的重要因素之一。文章針對傳統云識別方法對噪聲敏感，深度學習方法對云邊緣識別精度不高的問題，提出了一種協同U-Net與隱馬爾可夫模型的遙感影像云識別方法。首先，基于U-Net網絡結構對云進行初步識別，改善傳統方法對噪聲的敏感性；其次，利用隱馬爾可夫模型進行后端處理，優化云識別的邊緣輪廓。實驗結果表明，協同U-Net與隱馬爾可夫模型的遙感影像云識別方法的精度相較于傳統方法提升了5%，同時較好地保留了云的邊緣輪廓。

關鍵詞：遙感影像；云識別；U-Net神經網絡；隱馬爾可夫模型

中圖分類號：TP39；TP751 文獻標識碼：A 文章編號：2096-4706（2024）24-0036-04

Remote Sensing Image Cloud Identification of Cooperation with U-Net and Hidden Markov Model

CHENG Zhiqiang， CUI Chengling

（Beijing Geoway Information Technology Inc.， Beijing" 100043， China）

Abstract： Cloud and fog cover is one of the important factors affecting the utilization rate of optical remote sensing image forestry monitoring. In view of the problems that the traditional cloud recognition method is sensitive to noise and the Deep Learning method is not accurate in cloud edge recognition， a remote sensing image cloud recognition method of cooperation with U-Net and Hidden Markov Model is proposed in this paper. Firstly， the cloud is preliminarily identified based on the U-Net network structure to improve the sensitivity of the traditional method to noise. Secondly， it uses the Hidden Markov Model for back-end processing to optimize the edge contour of cloud recognition. The experimental results show that the accuracy of the remote sensing image cloud recognition method of cooperation with U-Net and Hidden Markov Model is improved by 5% compared with the traditional method. At the same time， the edge contour of the cloud is better preserved.

Keywords： remote sensing image; cloud identification; U-Net Neural Network; Hidden Markov Model

0" 引" 言

隨著我國對地觀測衛星技術的蓬勃發展，國產衛星影像的獲取數量在急速增加，但并不是所有的衛星遙感影像都可以用于后續的信息提取與解譯[1-2]，特別是林業遙感監測。其中，一個重要的影響因素就是遙感影像的云霧覆蓋，導致林業范圍識別不準確、林火監測困難等。根據國際衛星云氣候學計劃的統計數據顯示，全球范圍內平均的云覆蓋率約為67%。由此可見，遙感衛星在對地拍攝的過程中，極易受到云霧干擾[3-4]。具有云霧覆蓋的遙感影像不僅對地表地物形成了遮擋，嚴重時將無法對缺失的地物信息進行復原，給后續智能化目標識別與分類等工作帶來了極大影響。因此，對于海量遙感數據的云量進行檢測與定量評估是一項重要的研究工作，也是遙感衛星影像云霧處理領域一直以來的研究熱點與難點問題[5]。

目前，國內外專家學者展開了針對光學遙感影像的云識別工作，并取得了一定的研究成果，基于光學遙感影像的云識別方法大致可以分為兩大類[6-8]：基于光譜特征的云識別與基于紋理特征的云識別?；诠庾V特征的云識別方法[9-10]，主要是從云的高反射與云頂低溫等特點人手，通過可見光或紅外光譜的閾值法來完成云識別。為了提升云特征與云下地物特征的光譜差異，同態濾波去云法、去云模板法等方法被用來去除遙感影像中的云覆蓋[11]。但鑒于云雪特征的輻射信息極為相似，若在云下地物為冰雪或薄卷云等情況下，僅用此方法則難以將云特征與云下地物特征進行較好的分離[12]。宋小寧等人[13]分別采用多光譜綜合法、紅外差值法及指數法實現了MODIS影像云檢測，但對于單波段的遙感影像或（可見光、近紅外）波段信息受限的遙感影像而言，這些方法并不適用。

基于紋理特征的云識別算法[14-16]，主要是通過對遙感影像上云與其他地物紋理特征的差異進行深入分析，提取特征或特征組合來完成遙感影像的云識別。此類方法包括傳統的圖像分割算法、區域生長法以及灰度共生矩陣法等等[17-19]。此類方法不僅對噪聲比較敏感，而且云的種類較多，單純通過紋理特征進行云識別的精度也受限，在云識別的應用中具有一定的局限性。隨著人工智能的不斷發展，基于深度學習等算法進行特征學習與歸納，并以此作為分割標準，使得遙感影像的識別精度有所提升。李騰騰[20]等人通過支持向量機進行遙感影像的云識別，但云的識別邊緣保持不夠完整。陳洋[21]等人通過制作云標簽，通過卷積神經網絡完成云識別，但識別結果因沒有判斷最優設置導致與主觀感受存在一些小差異。

由此可見，實現遙感影像云輪廓高精度提取是一個難點問題，針對傳統方法對噪聲敏感、邊緣保持度不高等現象，本文提出了一種結合U-Net與隱馬爾可夫模型的云識別算法，基于U-Net結構實現遙感影像云識別，并通過隱馬爾可夫模型對所提取的云輪廓進行精細化處理，使其與人主觀感受更為契合。

1" 遙感影像云識別原理

本文提出一種結合U-Net網絡結構與隱馬爾可夫模型的云識別方法。首先，利用U-Net深度學習網絡結構對遙感影像進行特征提取，通過訓練的云識別模型來完成遙感影像云識別；其次，將待識別影像，初始的云識別結果以及標簽文件輸入隱馬爾可夫模型，改善影像云邊緣識別效果。

1.1" U-Net深度學習網絡結構

U-Net是一個基于全卷積神經網絡FCN改進的圖像分割網絡結構[22]，整體結構如圖1所示，呈現“下采樣-上采樣”（或稱“編碼-解碼”）結構。該網絡就是一個全卷積神經網絡，輸入和輸出都是圖像，沒有全連接層，僅有卷積層和下采樣層。較淺的高分辨率層用來解決像素定位的問題，較深的層用來解決像素分類的問題。其獨特的收縮、擴展結構具有較強的表達能力和空間感知能力，使得參與訓練的數據遠大于輸入的數據，僅需少量的數據就可以完成訓練過程，提高了訓練效率。

整體包含兩個部分：

1）下采樣包含多個卷積層（conv）、激活函數（ReLU）和池化層（max pool），主要通過逐漸降低影像的尺度和通道數來提取原始影像典型特征。

2）上采樣包含多個反卷積層（up-conv）、跳躍連接和特征拼接（copy and crop），主要用于將特征圖恢復到原始尺寸，同時將編碼器中的低級特征與高級特征進行融合，最終生成與原始圖像大小相同的分割結果。該網絡通過能量Softmax函數計算最后的特征映射（feature map），Softmax公式如下：

（1）

其中，ak（x）表示每一像素點x對應特征通道k的得分，K表示類的數量，pk（x）表示類k對像素點x的分類結果。

U-Net神經網絡用于圖像識別，圖像語義分析取得了較好的實驗效果，但云是一種特征相對較少、特征不顯著的地物類型，不能保證遙感影像中云識別的邊緣可以較好地保留，因此在U-Net初步分割后需要通過隱馬爾可夫模型進一步保留云特征的邊緣輪廓。

1.2" 隱馬爾可夫模型

隱馬爾可夫模型（Hidden Markov Model， HMM）屬于統計模型，用來描述一個含有隱含未知參數的馬爾可夫過程，能夠從可觀察的參數中確定隱含參數，并利用這些參數來做進一步的分析[23]。在隱馬爾可夫模型中通過觀測向量序列觀察到，每個觀測向量都是通過某些概率密度分布表現為各種狀態，每一個觀測向量是由一個具有相應概率密度分布的狀態序列產生。隱馬爾可夫模型理論原則上相鄰像素具有相同標簽的概率較大，用Ni表示第i個像素的鄰域，則像素i隸屬于聚類j的先驗概率為：

（2）

其中，li表示像素i的標簽，β表示鄰域像素作用強度，W（β）表示歸一化項，確保先驗概率在0與1的范圍內，U（li=j|β）表示能量函數，定義如下：

（3）

式（3）中，表示第I'個像素的標簽，Vc表示勢能函數，當鄰域像素與中心像素具有相同標簽時，達到穩定狀態，勢能為0，反之為1，即：

（4）

由上述定義可以看出，鄰域像素與中心像素具有相同標簽的像素數越多，先驗概率越大，符合預先設想，可將其視為控制參數尺度的參數，其數學描述如下：

（5）

通過聯合U-Net網絡結構對云特征的提取，類別標簽與原始圖像，使得遙感圖像云識別結果更貼合原有圖像中云的待分割區域輪廓。

2" 實驗結果與分析

本實驗在Windows環境下TensorFlow學習框架，Intel（R）CPU E3-1505M v3 @ 2.3 Hz，顯卡NVIDIA Quadro K2200，128 GB內存。實驗中選取廣東省區域內云量含量相對較多的資源三號衛星影像數據3景，為了解決遙感影像過大難以訓練的問題，將遙感影像切割成256×256像素大小的影像塊，共約16 000張，通過翻轉、加噪聲以及形態學變換等處理對數據進行擴充，總共有約24 000張，以增大深度學習網絡的訓練集數據。為了驗證本文方法的可靠性，實驗與Otsu方法、小波變換方法、K-mean聚類方法以及SVM方法的云識別結果進行對比，實驗結果如圖2所示。

從圖2中可以直觀地看出，與基于傳統的云識別方法相比，如Otsu方法、小波變換方法、K-means聚類方法以及SVM方法，本文所提出的云識別方法具有更好的抗噪性，并未將噪聲誤識別成云信息而提取出來。對比來看，通過傳統方法提取的云信息結果，其邊緣結構的保持也相對較差，與人的主觀感受還存在一定差距。本文所提出的方法，實現了遙感影像的云識別，并且針對不同大小、薄厚的特征云具有較好的識別結果，同時改善了對噪聲信息的敏感性問題。

為了進一步說明本文所提出的云識別方法中HMM后端處理的效果，本文還進行了消融實驗，實驗基于U-Net云識別結果與協同HMM后端處理的結果進行了對比分析，如圖3所示。

從實驗結果可以看出，單一的U-Net網絡架構云識別結果，云的邊緣保持度較差，基于U-Net網絡前端的云識別結果與原圖圖像中云邊緣的吻合度相差較多，邊緣細節比較粗糙，精度較低。耦合U-Net前端與HMM后端處理的云識別結果，云識別結果的邊緣明顯優化，云識別結果的邊緣與原圖影像的云邊緣相比較，細節有了明顯提升，精度有了進一步優化。為了定量化評價本文方法與不同方法云識別結果，更好地說明不同方法的云識別效果好壞，實驗采用總體精度（OA）、平均距離系數（Avg_PerpenDist）以及分割精度（Precision）三種評價指標對云識別結果進行定量分析與評價，其數學描述如下所示：

（6）

（7）

（8）

式中：TP表示被正確預測為正樣本的數量；FP表示被錯誤預測為正樣本的數量；FN表示被錯誤預測為負樣本的數量，TN表示被正確預測為負樣本的數量，Aα和Bα表示在分割級別為α的前提下，對模糊范圍A和B進行閾值處理后得到的結果。

實驗通過總體精度、平均距離系數以及分割精度對云識別結果進行評價，其結果如表1所示。從定量的評價結果來看，OA值能很好地表征分類精度，小波變換的云識別精度相對最低，U-Net網絡與U-Net+HMM模型的云識別精度相對較高，云檢測精度達到94.81%，此方法云檢測精度優于U-Net約4.4%，優于小波變換、K-means、Otsu、SVM等經典算法約6%以上，從而也進一步優化了單一U-Net前端網絡的云檢測精度。

綜上所述，實驗對多幅遙感影像進行了云識別，分別計算每張遙感影像的評價指標，并對3個評價指標分別取平均值進行分析。在3個評價指標計算結果中，通過量化指標結果可以直觀地看到云識別效果的好壞。傳統云識別方法因對噪聲敏感、邊緣結果保持度不夠，導致云識別的精度較低，綜合3個指標，本文所提出的協同U-Net與HMM的云識別方法較傳統云識別方法的精度提高6%以上。避免了經典算法對高分辨率遙感影像噪聲敏感這一缺點，改善了在云檢測中U-Net邊緣保持度不夠這一缺點，本文方法有較好的云檢測精度，較好的邊緣保持度，與主觀感受更為一致，從而實現了基于單幅全色影像的云檢測識別。

3" 結" 論

本文協同U-Net與HMM方法實現了遙感影像云識別，并通過定量化評價指標對云識別結果進行定性評估，此方法云檢測精度優于Otsu方法、小波變換方法、K-means聚類方法以及SVM方法等傳統算法約5%。本文方法改善了傳統云識別方法對噪聲的敏感性問題，同時針對云識別結果中U-Net邊緣保持度一般化的問題，協同HMM對云識別結果進行了后續處理，使得云識別結果具有較高的精度，更好地保持了云識別結果的邊緣結構、與人的主觀感受更為一致。

參考文獻：

[1] 董志鵬，王密，李德仁，等.利用對象光譜與紋理實現高分辨率遙感影像云檢測方法 [J].測繪學報，2018，47（7）：996-1006.

[2] ZHU H，GAO X M，TANG X M，et al. Super-resolution Reconstruction and Its Application Based on Multilevel Main Structure and Detail Boosting [J].Remote Sensing，2018，10（12）：2065.

[3] HUGHES M J，HAYES D J. Automated Detection of Cloud and Cloud Shadow in Single-date Landsat Imagery Using Neural Networks and Spatial Post-processing [J].Remote Sensing，2014，6（6）：4907-4926.

[4] ZHE Z，WOODCOCK C E. Automated Cloud，Cloud Shadow， and Snow Detection in Multitemporal Landsat Data： An Algorithm Designed Specifically for Monitoring Land Cover Change [J].Remote Sensing of Environment，2014，152（5）：217-234.

[5] 胡根生，陳長春，梁棟.聯合云量自動評估和加權支持向量機的Landsat圖像云檢測 [J].測繪學報，2014，43（8）：848-854.

[6] 朱紅，宋偉東，譚海，等.多尺度細節增強的遙感影像超分辨率重建 [J].測繪學報，2016，45（9）：1081-1088.

[7] 方臣，吳龍，胡飛，等.基于紋理和支持向量機的GF-1圖像土地覆被分類研究 [J].資源環境與工程，2019，33（1）：109-112.

[8] 李玲，王紅，劉慶生，等.基于紋理特征和支持向量機的ALOS圖像土地覆被分類 [J].國土資源遙感，2011（4）：58-63.

[9] 李微，方圣輝，佃袁勇，等.基于光譜分析的MODIS云檢測算法研究 [J].武漢大學學報：信息科學版，2005（5）：435-438+443.

[10] 徐冬宇，厲小潤，趙遼英，等.基于光譜分析和動態分形維數的高光譜遙感圖像云檢測 [J].激光與光電子學進展，2019，56（10）：93-101.

[11] 韓念龍，劉闖，莊立，等.基于不同小波變換與同態濾波結合的CBERS-02B衛星CCD圖像的薄云去除 [J].吉林大學學報：地球科學版，2012，42（1）：275-279+288.

[12] 殷青軍，楊英蓮，徐維新.NOAA衛星資料云雪識別方法的研究 [J].高原氣象，2002（5）：526-528.

[13] 宋小寧，趙英時.MODIS圖象的云檢測及分析 [J].中國圖象圖形學報，2003（9）：112-116.

[14] 曹瓊，鄭紅，李行善.一種基于紋理特征的衛星遙感圖像云探測方法 [J].航空學報，2007（3）：661-666.

[15] 賈亮亮，汪小欽，王峰.基于波段運算和紋理特征的高分一號多光譜數據云檢測 [J].遙感信息，2018，33（5）：62-68.

[16] 孫磊，曹曉光.基于多種紋理特征的全色圖像云雪區特征提取 [J].電子設計工程，2014，22（2）：174-176+179.

[17] 李超煒，鄧新蒲，趙昊宸.基于多特征提取的遙感影像云檢測算法研究 [J].數字技術與應用，2017（9）：124-127.

[18] OTSU N. A Threshold Selection Method from Gray-level Histograms [J].IEEE Transactions on Systems，Man，and Cybernetics，1979，9（1）：62-66.

[19] 孔俊，王佳男，谷文祥，等.基于區域的自動種子區域生長法的彩色圖像分割算法 [J].東北師大學報：自然科學版，2008，40（4）：47-51.

[20] 李騰騰，唐新明，高小明.資源三號影像朵云識別中云雪分離研究 [J].測繪通報，2016（2）：46-49+68.

[21] 陳洋，范榮雙，王競雪，等.基于深度學習的資源三號衛星遙感影像云檢測方法 [J].光學學報，2018，38（1）：362-367.

[22] RONNEBERGER O，FISCHER P，BROX T. U-Net： Convolutional Networks for Biomedical Image Segmentation [J/OL].arXiv：1505.04597 [cs.CV].（2015-05-18）.https：//arxiv.org/abs/1505.04597.

[23] 趙雪梅，李玉，趙泉華.結合高斯回歸模型和隱馬爾可夫隨機場的模糊聚類圖像分割 [J].電子與信息學報，2014，36（11）：2730-2736.

作者簡介：程志強（1989.08—），男，漢族，河南信陽人，中級工程師，項目經理，碩士，研究方向：攝影測量與遙感相關專業。