基于稠密殘差網絡的多序列衛星圖像去云

摘 要： 遙感影像中最常見的問題是云層污染，它會導致圖像信息缺失，降低遙感數據的可用性。針對該問題，提出了一種基于稠密殘差網絡的多序列衛星圖像去云算法。首先，該網絡使用多序列的有云衛星圖像作為輸入，能為網絡提供更多的時序特征信息，提升去云效果；其次，在網絡中段使用稠密殘差層，以保證卷積層之間最大程度地傳遞和使用特征信息，讓生成的修復圖像整體結構合理、邊緣細節更加清晰；最后，使用像素上采樣來增強空間信息的利用，提升修復效果。該方法在歐洲“哨兵-2”遙感衛星圖像數據集上進行驗證，峰值信噪比和結構相似度指標為27.59和0.854 0，兩項指標均超過了該數據集的原處理方法STGAN，提升了遙感圖像去云的效果。

關鍵詞： 圖像去云； 遙感影像； 圖像修復； 稠密殘差塊； 多時序圖像

中圖分類號： TP751"" 文獻標志碼： A

文章編號： 1001-3695（2022）01-054-0303-05

doi：10.19734/j.issn.1001-3695.2021.05.0173

Multi-sequence satellite image cloud removal based on dense residual network

Xiao Changcheng， Wu Xi， He Yan

（School of Compute Science amp; Technology， Chengdu University of Information Technology， Chengdu 610225， China）

Abstract： The most common problem in remote sensing imagery is cloud pollution，which will lead to lack of image information and low availability of remote sensing data.To solve this problem，this paper proposed a cloud removal algorithm for multi-sequence satellite images based on dense residual network.The network used multi-sequence cloud satellite images as input，which could provide more timing feature information for the network and improve the effect of cloud removal.Secondly，using a dense residual layer in the middle of the network，which ensured the maximum transfer and use of feature information between the convolutional layers，so that the generated repair image as a whole structure was reasonable and the edge details were clearer.Finally，it used pixel shuffle upsample to enhance the use of spatial information and improved the repair effect.This method was verified on the European “Sentinel-2” remote sensing satellite image dataset.The peak signal-to-noise ratio and structural similarity index are 27.59 and 0.854 0，both of which exceed the original processing method STGAN of the data set，and improve the effectiveness of remote sensing image to cloud.

Key words： image cloud removal； remote sensing image； image restoration； dense residual block； multi-sequence image

0 引言

衛星圖像已經得到廣泛應用，這類衛星圖像的質量可能受到天氣條件的強烈影響。特別是，當衛星通過感興趣的區域時，其觀測的地球表面可能部分或甚至完全被云遮蔽，并且衛星可能需要幾天或幾周時間才能重新訪問同一地區。因此，使用圖像處理技術從被云污染的衛星圖像中恢復真實的地表信息是非常必要的。航空圖像越來越多地用于如環境監測、土地覆蓋分類、經濟發展制圖和災害評估各種應用［1，2］。然而，通過衛星或飛機獲取的航空圖像經常被云層遮擋。較厚的云層會將圖像內容完全遮擋起來，即使是較薄的半透明云層也會明顯降低航空圖像的質量，從而嚴重阻礙圖像的使用。因此，去除遙感衛星圖像中的云遮擋以生成無云圖像是大多數遙感數據應用的關鍵步驟。然而，遙感衛星數據一般都不能直接使用，為有效使用數據中的豐富資源，需要進行信息的提取，并加工成人們需要的產品，僅靠人工去處理如此龐大且復雜的圖像是不可能完成的，因此，針對遙感圖像的自動化處理技術也越來越多。深度學習圖像修復技術也是處理遙感圖像的關鍵技術之一，本文針對遙感衛星的高分辨率圖像進行圖像修復，去除圖像云污染。根據所使用數據的不同，傳統去云的方法可以分為兩大類，即基于空間的去云方法［3］和基于時間［4］的去云方法，其本質是一個缺失信息重建的過程。

1）基于空間［3］的去云方法 該方法利用單幅圖像中剩余無云區域來重建云污染區域，具體修復方法包括：基于插值的方法，使用線性插值完成云污染區域重建；基于傳播擴散的方法，該方法將局部信息從缺失區域的外部傳播到缺失區域的內部；基于全變分方法，利用正則化技術實現圖像信息的重構。總體來說，基于空間的去云方法可以獲得看似合理的效果，但當應對大面積云覆蓋時，效果就會變得很差。

2）基于時間［4］的去云方法 該方法根據相鄰時間圖像的互補信息來重建目標圖像中的云污染區域。時間序列方法包括：使用滑動濾波窗口的方法，通過平移和掃描時間序列圖像中無污染的區域來實現重建；使用同態濾波方法，它是一種頻率濾波和傅里葉變換相結合的方式，先通過傅里葉變換對圖像進行頻域變換，然后通過使用高通濾波對圖像進行濾波，去除云噪聲完成圖像重建。在實際應用場景中，收集到同一位置、大量連續的高分辨率衛星圖像數據是十分困難的，因此，該方法并不適用于高空間分辨率的圖像修復。去除遙感圖像的云污染信息，如圖1所示。圖1（a）為輸入，白色區域為云層；圖1（b）為輸出，是去云的結果。

使用深度學習去云方法的優勢是精度高、效果好、修復速度快。在深度學習去云領域，鄭凱等人［5］使用基于深層編/解碼器結構的卷積神經網絡實現了高原地區衛星影像的去云工作，它們使用兩種云區的掩膜、雙線性插值以及最小二乘和交叉熵損失函數等操作，提高了生成云覆蓋區域的修復精度。

Isola等人［6］改進了原始的條件生成對抗網絡，提出了Pix2Pix圖像修復網絡，具體的算法改進是：首先，引入空間池化層，通過增加多尺度特征學習模塊來提高網絡對于不同尺度特征信息的融合利用；其次，增加了回歸損失函數使得生成圖像和真實圖像更加的接近。最終，該網絡在光學遙感衛星圖像去云和圖像保真上都取得了不錯的效果。

Gulrajani等人［7］ 提出了WGAN-GP網絡，它使用基于循環一致損失函數來優化模型的訓練效果。該方法能防止生成器過擬合同一場景下的圖像數據，使得生成的無云圖像更加接近復雜場景下原始真實無云圖像的分布，生成效果更加真實。

斯坦福大學的Sarukkai等人［8］受到EnNet［9］和CycleGAN［10］兩種網絡的啟發，將它們結合提出了STGAN。首先，該網絡使用EnNet中的編碼器和解碼器結構作為網絡的主要框架；其次，在網絡判別器結構上，使用的是PatchGAN［11］的判別器來增強網絡的對抗強度，進而提升生成器生成圖像的效果。最終，STGAN模型在歐洲“哨兵-2”遙感衛星數據集上達到了state-of-the-art的生成效果。

使用深度學習方法的遙感圖像去云任務中，全局特征信息能夠保留整幅圖像的輪廓特征，而局部特征信息主要是補全圖像的細節紋理、色彩等細節。由于遙感圖像中既有大塊清晰的有云區域，也有細小、散狀分布的有云區域，為了保證圖像去云的質量，會使用到圖像的地面物體輪廓信息和局部的紋理、色彩度的特征信息。深度卷積神經網絡是一種高效、強大的特征學習模型，它可以通過疊加卷積層、池化層等操作，自主地從原始圖像中學習到不同層次的抽象特征，并將這些特征信息有效地應用到各種各樣的深度學習任務中。回顧之前的工作，雖然在遙感圖像去云任務中表現不錯，但是，對于維持生成圖像整體結構的清晰、細節紋理的層次上則表現一般。因此，對于遙感衛星云污染的去除依然是一道難題。

為了解決上述問題，進一步分析得知：衛星圖像去云任務的本質是圖像污染區域的修復任務，而該任務是一項像素級別的處理工作，它需要在保持生成圖像整體輪廓框架的同時，處理好單個物體內部以及多個物體間的圖像紋理信息，這兩點對于圖像去云的效果起到至關重要的作用。特征信息的復用是提升圖像修復效果的關鍵，也是處理好各類圖像視覺任務的必要前提。當網絡的感受野變大時，網絡能夠捕捉到更多的特征信息，但是與此同時特征圖的分辨率在隨之減小，由于圖像修復任務需要保持圖像空間分辨率的大小不變，這使得兩者之間存在矛盾關系。因此，在適當模型深度的前提下，需要一種能夠充分利用不同層次特征信息的模型結構來解決遙感圖像去云修復任務困難的問題。ResNet［12］、SRANet［13］、 DenseNet［14］、UCTGAN ［15］等優秀的圖像修復修復網絡分別采用殘差連接、多時序圖像特征融合、稠密殘差特征提取、邊緣引導等操作，在圖像修復領域都取得了不錯的效果。本文算法受它們的啟發，設計了基于稠密殘差特征提取的多時序圖像修復網絡。

1 網絡結構

本文提出一種基于稠密殘差結構的網絡模型，用于衛星圖像的去云，它由卷積層、concat特征融合層、稠密殘差塊、像素上采樣（pixel upsample）四種基本特征結構構成。網絡結構如圖2所示。圖中的input1、input2、input3為網絡三個時序的輸入圖像，每張圖像是RGB+IR（紅外通道）的4通道圖像；為殘差連接，將在1.1節詳細介紹；實線方框為普通卷積層；虛線方框為稠密殘差層（dense residual layer），將在1.2節詳細介紹；黑色方框為像素上采樣（pixel shuffle upsample），將在1.3節詳細介紹。該模型是一種端到端的網絡結構，以多時序的有云遙感圖像作為輸入，輸出是無云的圖像修復結果。本文模型的主體框架設計思想受到SRANet、DenseNet的啟發，對原始網絡的結構進行了大幅調整。具體操作為：修改了網絡的原始輸入結構，由單一圖像輸入改造為多時序圖像的輸入結構；除此之外，增加了針對多時序圖像特征信息的融合模塊，以增強網絡模型利用特征信息的能力。對網絡的上采樣結構的調整為：使用像素上采樣作為網絡的解碼器，替換掉普通的上采樣層，以增強網絡對空間通道特征信息的利用。

1.1 殘差連接

在遙感衛星去云任務中，為了使得網絡獲取到更多的有助于圖像復原的信息，就需要對特征進行充分的提取和利用。理論上，網絡模型越深，網絡去擬合數據分布的能力越強，所表現出來的性能也會越好。但是，僅僅通過增加模型深度來提高神經網絡的性能，可能會由于參數過多，反而阻礙了模型的訓練，導致模型退化。常用的解決模型退化的問題有三種方法：a）使用批歸一化（batch norm）讓生成數據圍繞真實值分布，以大幅降低模型的擬合難度；b）通過數據增強的方式，提升模型的訓練效果，具體的數據增強方式有翻轉、裁剪、旋轉、形變、縮放等；c）使用殘差連接來解決模型退化問題。

在網絡卷積層和訓練中都已加入了方法a）和b）。同時運用方法c）對殘差塊的輸入和輸出進行簡單相加操作，防止特征值劇烈變化，有效地解決模型梯度消失問題。

2016年，He等人［12］ 提出了殘差網絡，該網絡由若干個殘差卷積單元組成，它與普通卷積單元的差別是：將經過卷積后的結果和經過殘差函數激活的結果相加作為卷積塊的輸出。兩種卷積單元的結構如圖3所示，圖3（a）為普通卷積單元，圖3（b）為殘差卷積單元，其中還包含了批歸一化（BN）和ReLU非線性激活函數操作單元。

每個殘差卷積單元用式（1）和（2）可表示為

y1=F（xl，Wl）+h（xl）（1）

xl+1=f（yl）（2）

其中：xl和xl+1是殘差單元的輸入和輸出；F（·）是殘差函數；h（·）是恒等映射函數；f（·）是激活函數。

1.2 稠密殘差層

稠密殘差層的結構源于DenseNet，使用它的目的是為保證卷積層之間特征信息最大程度地傳遞和利用，模型主干部分由多個稠密殘差特征提取塊組成。該特征提取結構架構在其他深度學習圖像復原領域［14］取得了不錯的效果。

稠密殘差層輸入特征圖和輸出特征圖的大小是相同的，它的結構如圖4所示，由五個稠密殘差塊組成。圖中的x代表的稠密殘差塊，下標0～4為模塊的標號，弧形連接線為稠密殘差連接，殘差連接的為加操作，它是一種淺層的特征信息融合到深層特征信息中的計算過程。圖中H代表的隱藏層，每個隱藏層由特征批歸一化、ReLU激活單元以及一個卷積層組成。每個稠密殘差塊中由六個卷積層組成。稠密塊中的第一個和最后一個卷積層使用的都是步長為1、大小為1的卷積核；第二到第四個卷積層用的是步長為1，大小為3卷積核，但在該結構位置，每增加一個卷積層將通道數就提升32。通過逐漸遞增的方式來提升通道數，這樣使得特征信息可以被更多的深度學習網絡神經單元激活，獲得更多有用的特征信息。

本文算法使用了五個稠密差組成一個連續的稠密殘差特征提取，它們之間的結構是相同的，但通過卷積層堆疊這樣簡單、有效的方法提升了網絡的特征提取能力，也保證了全局特征信息和局部特征信息的充分利用。通常，神經網絡模型的深度有著很高的要求，深度越深，特征提取效果也越好，但是這將導致模型參數過多、難以訓練的問題。稠密殘差連接通過對特征信息的重復利用，保證了相同模型深度下，稠密殘差特征提取結構可以得到更好的特征提取效果，有效降低了神經網絡對于模型深度的依賴。稠密殘差塊卷積核大小、卷積步長等配置信息如表1所示。表1中第一列是卷積層名稱；第二列是輸出，對應三個值的含義是高度乘以寬度乘以通道數；第三列是卷積核的信息，中括號對應四個值的含義是：卷積核大小乘以卷積核大小、輸入通道大小、輸出通道大小、卷積步長。

4.4 實驗結果

本文在歐洲“哨兵-2”氣象衛星去云數據集進行測試，使用313張衛星圖像來驗證本文DS-ResNet的有效性。

與此同時，本文網絡還與三種經典的圖像復原網絡進行了比較，這些網絡分別是端到端的圖像轉換網絡Pix2PixNet、基于梯度懲罰項圖像修復的WGAN-GP、本文使用數據集的原處理方法STGAN。實驗效果圖，如圖12所示，每一行代表一組實驗結果，（a）～（c）為輸入的三張時序圖像標號為input1、input2、input3；（d）是標簽，即清晰的無云圖像；（e）是Pix2PixNet的生成結果；（f）是WGAN-GP的生成結果；（g）是STGAN的生成結果；（h）是本文DS-ResNet的生成結果。實驗量化指標值如表2和圖13所示。表2中的第2行raw cloud images是原始有云圖的指標，第3～6行是經過去云方法處理后的圖像指標，實驗分析如下。

本文網絡在兩項關鍵的圖像修復效果量化指標，即峰值信噪比、結構相似度上均超過其余三種網絡。通過觀察實驗效果圖不難發現，相比于其他三種網絡，本文算法修復的圖像更加清晰、整體結構更加完整，取得了不錯的實驗效果。

實驗1 與Pix2PixNet對比。Pix2PixNet是一種端到端的圖像生成網絡，它生成的去云圖模糊、整幅圖有很多地方有黑色的偽影，生成效果在幾個網絡里是最差的。但是不可否認，它是一種結構簡單、性能強大的網絡模型。因為另外幾種圖像生成網絡都可以看做Pix2Pix家族中的一員，發展都是受到了它的啟迪。

實驗2 與WGAN-GP對比。WGAN-GP是一種使用梯度懲罰項來優化模型的圖像生成對抗網絡，它是基于WGAN進行的改進，有效地解決了訓練中梯度消失和梯度爆炸的問題。其生成效果略好，但是生成的無云區域總體偏模糊，生成效果差強人意。

實驗3 對比STGAN。STGAN是歐洲“哨兵-2”去云數據集的處理方法，它和本文一樣使用多張無云圖像作為網絡模型的輸入，生成無云圖像清晰，比較真實。本文的DS-ResNet采用稠密殘差特征提取的網絡模型，增強了網絡對于全局和局部特征信息的融合利用，充分保證了生成圖像的真實感。最終，在峰值信噪比和結構相似度兩項指標為27.59和0.854 0，均超過了STGAN。

5 結束語

針對遙感影像中云層覆蓋，導致圖像信息缺失、降低遙感數據可用性的問題，本文提出一種基于稠密殘差網絡的去云算法。該算法受到了SRANet、DenseNet等多種網絡結構的啟發，有效地解決了衛星圖像云層覆蓋的問題。其中，最重要的是使用了稠密殘差的特征提取結構以及多時序的數據，增強了衛星圖像去云的效果。經實驗證明，本文方法在衛星遙感圖像去云任務上取得了很好的結果。為了提升圖像去云的效果，不斷有新的網絡結構被提出，在下一步的改進實驗中，會考慮引入注意力機制提升網絡的特征提取能力，進而繼續增強網絡性能。

參考文獻：

［1］Zhang Xiangrong，Ma Wenkang，Li Chen，et al.Fully convolutional network-based ensemble method for road extraction from aerial images［J］.IEEE Geoscience and Remote Sensing Letters，2020，17（10）：1777-1781.

［2］Zhang Xiaoxia，Guo Yong，Zhang Xia.High-resolution remote sensing image scene classification by merging multilevel features of convolutional neural networks［J］.Journal of the Indian Society of Remote Sensing，2021，49：1379-1391.

［3］Shen Huangfeng，Li，Xinghua，Zeng Cheng，et al.Missing information reconstruction of remote sensing data：a technical review［J］.IEEE Geoscience and Remote Sensing Magazine，2015，3（3）：61-85.

［4］Yang Gang，Shen Huangfeng，Sun Weiwei，et al.On the generation of gapless and seamless daily surface reflectance data［J］.IEEE Trans on Geoscience and Remote Sensing，2018，56（8）：4289-4306.

［5］鄭凱，李建勝，王俊強，等.DCLS-GAN：利用生成對抗網絡的天繪一號衛星高原地區影像去云方法［J］.測繪學報，2021，50（2）：248-259. （Zheng Kai，Li Jiansheng，Wang Junqiang，et al.DCLS-GAN：a method of removing clouds from images of the Tianhui-1 satellite plateau using generative countermeasure network［J］.Journal of Surveying and Mapping，2021，50（2）：248 -259.）

［6］Isola P，Zhu Junyan，Zhou Tui，et al.Image-to-image translation with conditional adversarial networks［C］//Proc of IEEE Conference on Computer Vision amp; Pattern Recognition.Piscataway，NJ：IEEE Press，2016.

［7］Gulrajani I，Ahmed F，Arjovsky M，et al.Improved training of Wasserstein GANs［C］//Advances in Neural Information Processing Systems.2017：5767-5777.

［8］Sarukkai V，Jain A，Uzkent B，et al.Cloud removal in satellite images using spatiotemporal generative networks［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2020：1785-1794.

［9］Justin J，Alexandre A，Li Feifei.Perceptual losses for real-time style transfer and super-resolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：694-711.

［10］Zhu Junyan，Park T，Isola P，et al.Unpaired image-to-image translation using cycle consistent adversarial networks［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：2242-2251.

［11］Isola P，Zhu Junyan，Zhou Tinghui，et al.Image-to-image translation with conditional adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1125-1134.

［12］He Kaiming，Zhang Xiangyu，Ren Shaoqin，et al.Deep residual lear-ning for image recognition［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：770-778.

［13］Shi Wenzhe，Caballero J，Huszár F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：1874-1883.

［14］Huang Gao，Liu Zhuang，Van Der Maaten L，et al.Densely connected convolutional networks［EB/OL］. （2018-01-28）.https：//arxiv.org/abs/1608.06993.

［15］Zhao Lu，Mo Qiu，Lin Sui，et al.UCTGAN：diverse image inpainting based on unsupervised cross-space translation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2020.