一種生成對抗網(wǎng)絡(luò)的遙感圖像去云方法

王軍軍，孫 岳，李 穎

(西安電子科技大學(xué) 綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國家重點實驗室，陜西 西安 710071)

遙感成像技術(shù)因為能夠周期性地實時得到地面的物體信息，而成為了人們關(guān)心且大力研究的方向。然而，由于天氣及氣候等因素的影響，比如高空中云層以及云陰影的干擾，通過衛(wèi)星拍攝采集到的遙感圖像通常會包含云層等無用干擾信息，進(jìn)而影響遙感圖像的進(jìn)一步使用。因此，移除遙感圖像中的云層并恢復(fù)圖像原始信息，已成為一個亟待解決的熱點問題。

根據(jù)處理算法的類型不同，遙感圖像去云方法大致分為基于統(tǒng)計先驗和基于深度學(xué)習(xí)兩類。在基于統(tǒng)計先驗的方法中，文獻(xiàn)[1]提出利用暗通道先驗知識(Dark Channel Prior，DCP)來解決圖像去云問題。該方法雖然可以簡便有效地移除云層并恢復(fù)圖像，然而，根據(jù)觀測統(tǒng)計得到先驗知識，對于遙感圖像并不是普遍成立。例如，當(dāng)圖像中的景象與大氣光本質(zhì)相似時，該方法得到的恢復(fù)圖像會出現(xiàn)嚴(yán)重的顏色失真。文獻(xiàn)[2]基于圖像的低秩稀疏性，提出了移除時序遙感圖像云層及云陰影的方法。該方法同暗通道先驗法一樣，只是對特定的先驗場景去云才有效果，并不具備普適性。文獻(xiàn)[3]基于分割中值濾波和自適應(yīng)透射率補(bǔ)償提出了圖像去云霧算法，在一定程度上解決了上述問題。文獻(xiàn)[4]在暗通道先驗知識的基礎(chǔ)上，對暗通道與亮通道先驗?zāi)Ｐ瓦M(jìn)行帶參線性加權(quán)運算，解決了去云效果不佳等問題。由于實際環(huán)境的復(fù)雜多變性，基于統(tǒng)計先驗的方法不能很好地處理所有的遙感圖像去云問題，很容易造成去云效果不充分或者顏色失真等現(xiàn)象。

隨著深度學(xué)習(xí)在數(shù)字圖像處理領(lǐng)域的廣泛應(yīng)用，研究者們嘗試將深度學(xué)習(xí)與圖像去云任務(wù)結(jié)合，達(dá)到移除云層的目的。通過使用神經(jīng)網(wǎng)絡(luò)模型不斷訓(xùn)練并預(yù)測結(jié)果，最終得到無云的清晰圖像。文獻(xiàn)[5]基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提出了端到端去云模型AOD-Net。該模型不需要估計傳輸矩陣和大氣光參數(shù)等步驟，可以直接從有云圖像中得到清晰的無云圖像。文獻(xiàn)[6]提出了基于注意力機(jī)制的多尺度網(wǎng)絡(luò)模型GridDehazeNet，可以更好地緩解傳統(tǒng)方法中去云效果不充分的問題。文獻(xiàn)[7]針對遙感圖像去云提出了SpA-GAN模型。該模型基于生成對抗網(wǎng)絡(luò)[8]，在生成器的設(shè)計上使用了空間注意力網(wǎng)絡(luò)來更好地模擬人類視覺機(jī)制，從而更好地得到高質(zhì)量無云圖像。文獻(xiàn)[9]基于生成對抗網(wǎng)絡(luò)提出了pix2pix模型，可以完成圖像到圖像的轉(zhuǎn)化任務(wù)，將有云圖像作為輸入，通過不斷學(xué)習(xí)便可以得到無云清晰圖像。文獻(xiàn)[10]結(jié)合U-Net神經(jīng)網(wǎng)絡(luò)[11]和生成對抗網(wǎng)絡(luò)提出了two-stage去云算法，可以有效地去除厚云并修復(fù)圖像。文獻(xiàn)[12]基于卷積神經(jīng)網(wǎng)絡(luò)，將云圖作為輸入，輸出其介質(zhì)透射率，之后通過大氣散射模型恢復(fù)清晰圖像。上述基于深度學(xué)習(xí)的方法雖然都可以達(dá)到去云的目的，但仍然存在去云效果不充分或者顏色失真等現(xiàn)象。此外，這些網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計過于復(fù)雜，模型訓(xùn)練和預(yù)測時間花費較久，不能高效簡便地完成遙感圖像去云任務(wù)。

針對上述問題，筆者提出了一種基于端到端生成對抗網(wǎng)絡(luò)模型對遙感圖像去云。該網(wǎng)絡(luò)模型包含了生成器和判別器兩部分。生成器采用U-Net網(wǎng)絡(luò)，可以很好地將遙感圖像原始信息和云層信息分離。為了充分挖掘生成器輸入信息的深度特征，在U-Net網(wǎng)絡(luò)編碼器和解碼器間加入連續(xù)記憶殘差模塊，更好地利用流動信息來挖掘特征。判別器則使用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行判別處理。為了提高模型訓(xùn)練的精度，更好地測量真實值和預(yù)測值間的誤差，聯(lián)合對抗性損失函數(shù)和L1損失函數(shù)，來衡量網(wǎng)絡(luò)模型的優(yōu)劣。RICE數(shù)據(jù)集上的實驗結(jié)果表明，與現(xiàn)有的去云方法相比，筆者提出的生成對抗網(wǎng)絡(luò)遙感圖像去云方法可以高效簡便地得到清晰的無云圖像。從具體定量結(jié)果比較來看，筆者提出的方法在RICE1數(shù)據(jù)集上平均峰值信噪比提高了1.31～7.04 dB，平均結(jié)構(gòu)相似性值提升了0.007～0.123。對于RICE2數(shù)據(jù)集，筆者提出的方法比SpA-GAN、pix2pix方法平均峰值信噪比提高了3.41 dB、0.74 dB，平均結(jié)構(gòu)相似性值提高了0.090、0.033，與GridDehazeNet、two-stage算法性能接近，但本算法運行時間遠(yuǎn)優(yōu)于其他算法。

1 基于生成對抗網(wǎng)絡(luò)的遙感圖像去云模型

1.1 網(wǎng)絡(luò)模型框架

生成對抗網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)模型主要由生成器和判別器兩個模塊組成。首先，將被云層污染的遙感圖像作為生成器的輸入，隨即由生成器生成不含云層的恢復(fù)圖像；接著，將由生成器生成的恢復(fù)圖像和未被云層污染過的原圖輸入給判別器，判別器通過不斷學(xué)習(xí)來評估樣本是來自真實圖像還是恢復(fù)圖像，從而達(dá)到判斷真假的目的。在實際訓(xùn)練時，生成器和判別器交替訓(xùn)練。生成器生成與真實圖像數(shù)據(jù)分布類似的樣本，判別器則判斷輸入信息究竟是來自真實樣本還是來自生成的圖像，兩者相互博弈，從而使得整個網(wǎng)絡(luò)可以更好地學(xué)習(xí)到數(shù)據(jù)的分布特征。

1.2 生成器結(jié)構(gòu)設(shè)計

采用的生成器結(jié)構(gòu)如圖2所示。該結(jié)構(gòu)利用編碼器—解碼器網(wǎng)絡(luò)，即U-Net神經(jīng)網(wǎng)絡(luò)，作為生成器的主要框架。為了更好地提取輸入特征信息，在編碼模塊和解碼模塊中間添加了具有加速網(wǎng)絡(luò)收斂的連續(xù)記憶殘差模塊。

圖2 生成器結(jié)構(gòu)

編碼模塊(也叫作收縮路徑)包含5個卷積層，每個卷積層之后有一個非線性的ReLU激活函數(shù)來緩解過擬合問題。為了描述方便，將“Conv+ReLU”操作看作一層。圖中Ei(i=1，2，3，4，5)表示編碼模塊每一層的輸出結(jié)果。每層卷積網(wǎng)絡(luò)的卷積核、步長和輸出通道大小分別用ki，si，ci表示。編碼模塊共有5層，對于第1層，設(shè)置k1=5，s1=1，c1=16。對于余下的4層，采用相同的感受野和步長大小設(shè)置，并且每一層的輸出通道數(shù)量是前一層的兩倍，設(shè)置為ki=3，si=2，ci=2ci-1(i=2，3，4，5)。

為了充分利用輸入信息的潛在流動特征，在編碼模塊之后，使用連續(xù)記憶殘差模塊來挖掘輸入信息的深度特征，如圖3所示。該連續(xù)記憶殘差模塊由兩個公共的殘差模塊(卷積核大小為3)和一個卷積層(卷積核大小為1)組成，它們之間使用連接操作來利用信息之間的流動特征。將X作為連續(xù)記憶殘差模塊的輸入，則X1是輸入X和第1個殘差塊輸出的連接結(jié)果，X2是X1和第2個殘差塊輸出的連接結(jié)果。將輸入X、第1層的輸出X1和第2層的輸出X2合并作為卷積層的輸入，最終，將卷積操作后的結(jié)果與輸入X連接，作為連續(xù)記憶殘差模塊的輸出。

圖3 連續(xù)記憶殘差模塊結(jié)構(gòu)

解碼模塊(也叫作擴(kuò)張路徑)與上述編碼模塊對稱，由4個反卷積層和1個卷積層組成。每個反卷積層后邊同樣有對應(yīng)的非線性ReLU激活函數(shù)。為了描述方便，將“DeConv+ReLU”操作看作一層，最后一層只有卷積層。如圖2所示，D5表示E5和連續(xù)記憶殘差模塊基于通道之間元素相加的結(jié)果，將其作為第一層的輸入。Di(i=4，3，2，1)表示Ei和前一層的輸出基于通道之間元素相加的結(jié)果，并將其作為當(dāng)前層的輸入。經(jīng)過最后的卷積層后，可以得到生成器生成的干凈圖像。在本模塊中，統(tǒng)一設(shè)置卷積核大小為3，步長為2，最后一層步長為1。

1.3 判別器結(jié)構(gòu)設(shè)計

判別器結(jié)構(gòu)如圖4所示。圖中C表示卷積層，用來提取輸入的不同特征。B表示批歸一化層，保證數(shù)據(jù)歸一化后分布一致，從而有效避免梯度爆炸或者消失。R表示激活函數(shù)ReLU，防止網(wǎng)絡(luò)模型過擬合。為了描述方便，將“CBR”操作看做一層，因此判別器共包含5層。此外，圖中小括號內(nèi)的參數(shù)分別表示輸出通道數(shù)量、卷積核大小和步長。判別器的輸入為一個三通道的圖像，輸出為判斷輸入的圖像是否來自真實圖像或者是生成圖像的“真”“假”標(biāo)志。

圖4 判別器結(jié)構(gòu)

1.4 損失函數(shù)

為了更好地提高遙感圖像云層去除模型的泛化和預(yù)測能力，設(shè)計優(yōu)化目標(biāo)函數(shù)，由對抗性損失函數(shù)和L1損失函數(shù)兩部分構(gòu)成。其中，對抗性損失函數(shù)用來優(yōu)化和學(xué)習(xí)生成數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間的信息分布；L1損失函數(shù)用于衡量真實圖像與生成圖像像素點之間的誤差。

基于上述生成對抗網(wǎng)絡(luò)模型的設(shè)計，采用對抗性損失函數(shù)LGan(G，D)，表示如下：

LGan(G，D)=Ex～pdata(x)[logD(x)]+Ez～pz(z)[log(1-D(G(z)))] ，

(1)

其中，z表示隨機(jī)噪聲，x表示真實圖像，pz(z)表示從z中采集樣本，pdata(x)表示從x中采集樣本，D(x)表示對真實圖像x進(jìn)行判別，G(z)表示生成器的樣本輸出。

在對抗性損失函數(shù)的基礎(chǔ)上，添加了一個L1損失函數(shù)來進(jìn)一步優(yōu)化目標(biāo)函數(shù)。L1損失函數(shù)可以定量地測量真實圖像與生成圖像之間的誤差。同時，文獻(xiàn)[13]證明了與均方誤差函數(shù)相比，L1損失函數(shù)對異常值不敏感，可以有效地防止梯度爆炸問題。定義L1損失函數(shù)L1(G)如下：

(2)

其中，Iinput是輸入的被云層污染的圖像，Ioutput是原始真實圖像，并且Ψ(Iinput)是筆者提出的網(wǎng)絡(luò)模型的預(yù)測結(jié)果圖像，C、H、W分別表示圖像的通道數(shù)量、高度和寬度。

筆者提出的網(wǎng)絡(luò)模型所使用的整體損失函數(shù)Ltotal由上述兩個損失函數(shù)共同組成來參與模型的優(yōu)化，定義如下式：

(3)

其中，λ表示平衡參數(shù)，用來平衡對抗性損失和L1損失之間的權(quán)重。

2 實驗結(jié)果及分析

2.1 實驗設(shè)置

使用RICE數(shù)據(jù)集，該數(shù)據(jù)集包含RICE1數(shù)據(jù)集和RICE2數(shù)據(jù)集。其中，RICE1數(shù)據(jù)集收集自谷歌地球，共包含500組分辨率為512×512的真實圖像和薄云圖像；RICE2數(shù)據(jù)集來源于Landsat8數(shù)據(jù)集，共包含736組分辨率為512×512的真實圖像和厚云圖像。

筆者使用ADAM優(yōu)化器來訓(xùn)練和優(yōu)化，優(yōu)化器中的參數(shù)β1和β2分別設(shè)置為0.5和0.999，學(xué)習(xí)率設(shè)置為0.000 4，損失函數(shù)中的平衡參數(shù)λ設(shè)置為1。針對RICE1數(shù)據(jù)集，隨機(jī)選擇400組圖像作為訓(xùn)練集，100組圖像作為測試集。同樣地，在RICE2數(shù)據(jù)集上，隨機(jī)選擇588組圖像作為訓(xùn)練集，148組圖像作為測試集。統(tǒng)一選擇批量大小為1進(jìn)行訓(xùn)練和測試迭代次數(shù)設(shè)置為200。

實驗所使用軟硬件運行環(huán)境如表1所示。

表1 實驗軟硬件運行環(huán)境

2.2 定量結(jié)果分析

為了驗證筆者所提去云算法的有效性，使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)兩個統(tǒng)計度量指標(biāo)與現(xiàn)有去云方法進(jìn)行對比。同時，對各模型處理單張圖片的運行時間進(jìn)行測試，來驗證各模型的算法復(fù)雜度。

對于RICE1數(shù)據(jù)集，選擇DCP[1]、SpA-GAN[7]、pix2pix[9]、GridDehazeNet[6]作為對比方法。如表2所示，筆者提出的算法在RICE1數(shù)據(jù)集的100張測試集上的平均性能指標(biāo)最好。從具體數(shù)值比較來看，筆者提出的(文中)算法比DCP、SpA-GAN、pix2pix、GridDehazeNet在峰值信噪比方面平均提高{7.04，3.43，1.31，2.44}dB，在結(jié)構(gòu)相似性指標(biāo)方面平均提升{0.123，0.033，0.007，0.026}。另外，筆者提出的模型運行時間要遠(yuǎn)小于其他算法的時間。

表2 不同算法在數(shù)據(jù)集RICE1上的定量結(jié)果比較

對于RICE2數(shù)據(jù)集，該數(shù)據(jù)集包含較多厚云圖像，DCP方法并不適用于厚云數(shù)據(jù)集，因此選擇SpA-GAN、pix2pix、GridDehazeNet、two-stage[10]作為對比方法。如表3所示，與SpA-GAN和pix2pix算法相比，筆者提出的(文中)算法平均峰值信噪比提高了{(lán)3.41，0.74} dB，平均結(jié)構(gòu)相似性值提高了{(lán)0.090，0.033}。雖然筆者提出的(文中)算法在此數(shù)據(jù)集上平均量化性能與GridDehazeNet、two-stage算法接近，但本算法運行時間相對約減少了69%和78%，處理速度最快。

表3 不同算法在數(shù)據(jù)集RICE2上的定量結(jié)果比較

表4列舉了不同算法的參數(shù)量和GFLOPs(每秒10億次的浮點運算數(shù))定量結(jié)果。通過比較，可以看出參數(shù)量是同一數(shù)量級時，筆者所提算法的GFLOPs計算量最低。綜合來看，筆者所提出的(文中)算法具有更低的算法復(fù)雜度。

表4 不同算法的參數(shù)量和GFLOPs定量結(jié)果比較

2.3 主觀視覺評價

圖5列舉了筆者所提算法與其他對比算法在RICE1薄云數(shù)據(jù)集上的去云視覺效果。從圖中可以看出，基于傳統(tǒng)統(tǒng)計先驗的DCP算法去云結(jié)果不是很滿意。基于深度學(xué)習(xí)的SpA-GAN、pix2pix、GridDehazeNet算法，盡管它們可以從輸入的云圖中去除云層而得到干凈的恢復(fù)圖像，但是往往會造成過分去云或者去云不充分的效果，在視覺效果上表現(xiàn)為恢復(fù)的結(jié)果看起來偏暗色基調(diào)或者有一些殘留的云層沒有去除干凈。相反，筆者所提出的(文中)算法的去云效果圖保存了更清晰的物體輪廓，顏色幾乎沒有失真，視覺上看起來更為接近原始圖像信息。

圖5 不同算法在RICE1數(shù)據(jù)集的視覺效果比較圖

圖6給出了不同算法在RICE2厚云數(shù)據(jù)集上的去云視覺效果對比。從圖中可以看出，盡管SpA-GAN算法可以移除厚的云層，但其恢復(fù)結(jié)果與原圖有較大差矩，顏色失真嚴(yán)重，且厚云覆蓋區(qū)域會產(chǎn)生一些偽影。pix2pix算法則在移除厚云的過程中產(chǎn)生了許多模糊的像素點。two-stage算法雖然可以移除云層得到地面物體信息，但是其恢復(fù)的圖像與原始圖像信息差距較大，不能達(dá)到去云的效果。而筆者所提的文中算法與GridDehazeNet算法相比，可以得到比較清晰的物體信息，主觀視覺上更為接近原始圖像，能夠?qū)崿F(xiàn)較好的恢復(fù)結(jié)果。

圖6 不同算法在RICE2數(shù)據(jù)集的視覺效果比較圖

3 結(jié)束語

針對遙感圖像在獲取過程中受到云層干擾的問題，筆者提出一種基于生成對抗網(wǎng)絡(luò)的遙感圖像去云方法。該模型采用U-Net網(wǎng)絡(luò)作為生成器，將遙感圖像原始信息和云層信息分離，利用連續(xù)記憶殘差模塊來充分挖掘生成器輸入信息的深度特征，聯(lián)合對抗性損失函數(shù)和L1損失函數(shù)來提高模型的泛化和預(yù)測能力。實驗測試結(jié)果表明，筆者提出的模型在峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)性能指標(biāo)和主觀視覺效果方面均優(yōu)于現(xiàn)有的去云算法，同時具有更低的算法復(fù)雜度。