基于生成對抗網絡的空間衛星低照度圖像增強

陳榆瑯，高晶敏,*，張科備，張洋

1. 北京信息科技大學 自動化學院，北京 100192

2. 北京控制工程研究所，北京 100190

空間光照條件的不斷變化、成像載荷的抖動、成像系統像質退化等因素，導致空間光學成像下圖像質量嚴重退化的問題，比如圖像對比度過低、細節損失大和噪聲污染嚴重，這不僅會干擾對衛星圖像的人工判別，也會影響后續特征信息提取、圖像識別和圖像分割等圖像處理技術的效果[1-6]。對空間環境下的低照度圖像進行增強預處理，能夠為基于計算機視覺的空間任務提供更高質量的圖像信息。

低照度圖像增強方法主要分為基于直方圖均衡化(histogram equalization，HE)的方法、基于Retinex理論的方法及基于深度學習的方法。HE是一種常用的灰度增強算法，其原理是通過拉伸圖像的動態范圍來增加對比度。文獻[7]為解決增強亮度不均勻、不自然的問題，基于HE提出了一種全局亮度和局部對比度自適應增強方法。文獻[8]提出了改進的HE用于圖像對比度的增強。以上基于HE的方法，其增強結果總是存在著明顯的細節模糊、色彩失真等問題[9]。Retinex是Edwin Land提出的一種有效理論，通過模擬人類視覺系統實現色彩恒定和動態范圍壓縮[10]。Retinex的基本原理是假設一幅圖像是由入射光分量和反射光分量組成，只需去除照射圖的影響即可得到物體本來的樣子，完成圖像增強[10]。基于Retinex原理的方法主要包括SRIE[11]、LIME[12]和BIMEF[13]等, 這些方法的關鍵是通過人工設計以及參數微調實現照射圖的估算[9]，然而通過深度學習方法，不僅可避免這些復雜繁瑣的人工設計及整體優化問題，還可獲得更好的泛化能力及增強效果。

在基于深度學習的圖像增強方法中，文獻[14]和文獻[15]分別構建短曝光圖像及配對的長曝光圖像數據集，旨在利用深度神經網絡獲得更好的圖像增強效果。基于Retinex的思想，文獻[16]與文獻[17]均結合卷積神經網絡(convolution neural networks，CNN)提出了端到端的圖像增強網絡。文獻[18]融合多種基礎圖像增強技術提出深度融合網絡(deeply-fused nets，DFN)，無需通過估算反射圖實現低照度圖像增強。以上基于深度學習的方法主要利用配對樣本進行訓練學習，而配對樣本訓練方式不適用于衛星低照度圖像增強，主要原因有兩點：首先，難以對同一個視覺場景下的低照度圖像和正常照度圖像實現樣本配對。其次，即使通過利用正常照度圖像合成低照度圖像實現樣本配對，但合成的圖像不夠自然真實，導致訓練后的模型對真實圖像進行圖像增強時會出現明顯偽影。針對以上問題，文獻[19]提出了EnlightenGAN(EG)方法，在非配對訓練條件下，利用生成對抗網絡(generative adversarial network，GAN)實現低照度圖像增強，同時還設計了雙鑒別器對增強圖像的全局及局部進行真偽鑒別，以平衡全局和局部的增強效果。但該方法增強的圖像亮度偏低，衛星的邊緣輪廓仍存在明顯的模糊，增強后的色彩也存在失真的問題。

基于以上分析，本文設計了一種密集連接的生成器，加強了網絡中的信息傳遞及特征融合，并將其引入EG中，提出了一種基于生成對抗網絡的空間衛星圖像增強方法，并在非配對樣本條件下進行網絡模型訓練。試驗結果表明，該方法較LIME及EG具有更好的增強效果，能夠在對比度、亮度以及色彩方面顯著提升圖像質量，為基于計算機視覺技術的空間任務提供充分有效的圖像信息。

1 EnlightenGAN

EG將非配對訓練引入到基于深度學習的低照度增強方法中，除去對配對樣本的依賴，并可用大量來自不同領域的圖像進行訓練[19]。其生成器采用了傳統的U-Net[20]結構，如圖1所示，左側路徑是逐層下采樣，提取多層特征信息，每個卷積結構(即，C1-C5)都由兩個串聯連接的卷積層組成。右側是逐層上采樣，同時，通過跳躍連接結構融合多層次特征[20]。

圖1 EG的生成器結構

EG設計了全局-局部辨別器結構，避免生成的偽圖像在局部區域出現過度曝光或曝光不足問題[19]。由于非配對訓練方式缺少配對訓練方式中的強監督，EG設計了特征保留損失函數，以加強對生成器的監督訓練以及自正則化的效果[19]，該損失函數定義如下所示：

(1)

式中：Ilow表示輸入的低照度圖像；G(Ilow)表示由生成器G輸出的增強圖像；φ(·)表示特征提取，W和H分別表示特征圖的寬和高。

2 算法原理

本文基于GAN的原理實現空間衛星低照度圖像增強，其核心思想是訓練一對相互對抗競爭的神經網絡，即生成器G與辨別器D在訓練過程中相互對抗以不斷優化各自的網絡參數。G的優化目標是生成外觀上更接近正常照度圖像Inormal的增強圖像G(Ilow)，即最小化G(Ilow)與Inormal的差異，混淆辨別器對圖像真偽的判斷。D的優化目標是能更準確地辨別出Inormal與G(Ilow)。這兩個相斥的優化目標即產生了相互對抗競爭，在該過程中，G的圖像增強能力以及D的真偽辨別能力均在不斷提高，促使G(Ilow)在外觀上逐漸接近Inormal，即實現了對低照度圖像的增強處理。

本文方法流程如圖2所示，首先構建非配對樣本的訓練集，分為Ilow以及Inormal兩部分；將訓練集中的樣本輸入到G與D中進行模型訓練，在相互對抗過程中不斷優化各自的網絡參數；訓練結束后，得到本文的低照度增強生成器G*，即可利用該生成器實現衛星低照度圖像增強。

圖2 本文方法流程

本文的訓練流程如圖3所示，具體步驟如下：

圖3 訓練流程

1)將Ilow輸入G中，生成增強后的衛星圖像G(Ilow)，即偽圖像Ifake；

2)將Ifake與真實圖像Ireal(即Inormal)輸入D中，對輸入圖像的真偽進行辨別，輸出結果如下式所示。

其中，True與False分別代表辨別結果真與偽。

3)將辨別結果D(I)與對應的樣本標簽Y輸入到G與D的對抗損失函數中，分別輸出誤差值LG以及LD。

4)固定G的網絡參數，將誤差值LD進行BP反向傳播，更新優化D的網絡參數，進而在下一輪迭代中更準確地辨別出真實圖像與偽圖像。

5)重復步驟2～4，固定D的網絡參數，將誤差值LG進行反向傳播，更新優化G的網絡參數，進而在下一輪迭代中縮小Ifake與Ireal的差距。

6)迭代優化次數Niter大于N(迭代次數閾值)時結束訓練，得到生成器G*。

2.1 信息傳輸加強生成器設計

基于常規編碼-解碼(encode-decode)結構的生成器，通過對輸入圖像進行編碼處理以獲得細長的特征向量，而壓縮后的特征向量往往會丟失空間關聯信息等有效信息。在U-Net結構的基礎上，本文設計了如圖4所示的密集連接生成器，加強了各特征提取層之間的信息傳遞，保留更豐富的特征信息。本文的生成器分為左側四階段的特征提取部分以及右側三階段的圖像增強部分，左側部分是逐階段下采樣，右側部分是逐階段上采樣，從左至右每個階段分別記為Stage1～Stage7，共計7個階段。

圖4 本文的生成器結構

記Ci,j(x)為第i階段中，第j個卷積核尺寸為3×3的卷積層(Conv3×3)的輸出，即：

Ci,j(xi,j)=BN[δ(ki,j?xi,j+bi,j)]

式中：xi，j是輸入的特征圖；k為卷積核；b為偏置項；?為卷積運算；δ(·)為帶泄露修正線性單元函數(Leaky ReLu)；BN(·)為批量正則化函數。對于Stage1和Stage2，各階段的輸出Si，是下一階段的輸入xi+1,1，其定義如下：

xi+1,1=Si=Maxpooling

{Conv1×1,n/2[Concat(Ci,1(xi,1),Ci,2(xi,2)]},

i=1,2

式中：Maxpooling是2×2最大池化層；Conv1×1,n/2表示卷積核尺寸為1×1的卷積層；輸出通道數為輸入通道數n的1/2；其目的是逐像素融合多通道間的特征，壓縮圖像特征維度。Concat是在通道維度上進行連接。本文在Stage1及Stage2的特征提取中引入了密集連接的思想，加強信息傳遞，將更多的淺層特征傳輸到深層特征中[21]。

本文在Stage3中引入了殘差連接的結構，避免了因網絡深度的增加而引起的梯度消失等問題[22]。Stage3的輸出定義如下：

S3=x4,1=Maxpooling[C3,1(x3,1)+C3,3(x3,3)]

本文引入了注意力機制，將輸入的RGB圖像正則化(Norm)到[0,1]區間，并求取對應的灰度圖像，最后通過求反運算得到注意力圖A1。對其進行多級最大池化運算，獲得多種尺寸的注意力圖，以匹配多個階段輸出的特征圖，具體計算過程如下：

A1=1-0.299×Norm(r)-0.587×Norm(g)-

0.114×Norm(b)

Ai+1=Maxpooling(Ai),i=1,2,3

式中：r，g和b分別表示圖像在R，G和B三個通道上的特征圖。注意力圖可突出原始圖像中的低照度部分，將其與各階段輸出的特征圖逐像素相乘，得到注意力增強特征圖F，其可引導生成器關注更需增強處理的區域。F定義如下：

Fi=Si×Ai,i=1,2,3,4

在圖像增強階段，特征圖F與前一階段上采樣(Upsample)后的特征圖進行連接，輸出定義如下：

xi+1,1=Concat{F7-i,Conv3×3,n/2[Upsample(Si)]},

i=4,5,6

式中：Upsample是2×2線性上采樣。在最后階段，Stage7輸出的特征圖S7與注意力圖A1逐像素相乘，進一步突出特征圖中的待增強區域，經過Conv3×3,n=3卷積運算后，與低照度圖像Ilow逐像素相加，輸出增強后的衛星圖像，其定義如下：

G(Ilow)=Ilow+Conv3×3,n=3(S7×A1)

2.2 辨別器及損失函數

本文采用了全局-局部雙辨別器結構[19]，在提高圖像整體亮度的同時，自適應地提高局部區域的亮度，避免了局部區域過度曝光及曝光不足的問題。如下式(2)和(3)所示，本文采用相對鑒別器結構[1][23]構建辨別器，估計真實圖像比偽圖像更真實的概率，辨別器在對抗競爭過程中會不斷提高該概率，進而提高了生成器的損失值LG，以此加強生成器的網絡參數優化[1][23]。

DRl(Ireal,Ifake)=

σ{D(Ireal)-ΕIfake～Pfake[D(Ifake)]}

(2)

DRl(Ifake,Ireal)=

σ{D(Ifake)-ΕIreal～Preal[D(Ireal)]}

(3)

式中：ΕIreal～Preal表示對來源于真實數據的樣本求期望；σ(·)表示sigmoid函數。

全局鑒別器以及生成器的損失函數均使用最小二乘損失函數(LSGAN)進行計算。對于全局辨別器，理想的ΕIfake～Pfake[D(Ifake)]和ΕIreal～Preal[D(Ireal)]應分別接近于0和1，期望的辨別結果為D(Ireal)=1，D(Ifake)=0。由式(2)和(3)可知，DRl(Ireal,Ifake)及DRl(Ifake,Ireal)的回歸目標分別為1和0。

對于生成器，理想的生成器是生成更真實的偽圖像，盡可能混淆辨別器對圖像真偽的判斷，與辨別器的回歸目標相反，DRl(Ireal,Ifake)及DRl(Ifake,Ireal)的回歸目標為0和1。因此，全局辨別器以及生成器的對抗損失函數定義如下：

局部辨別器采用LSGAN作為對抗損失函數：

本文同樣設置了特征保持損失函數，將Stage4輸出的特征圖S4輸入到該損失函數中進行特征誤差計算。特征保留損失函數定義如式(1)所示。最后，總損失函數定義如下：

3 試驗結果與分析

為了驗證本文算法的有效性，我們將LIME、EG與本文方法在構建的測試集上進行對比試驗，利用自然圖像質量評價方法(NIQE)[24]對這三種增強方法的性能進行評價。NIQE是一種著名的無參考圖像的質量評估方法，在無真實值的情況下，對圖像復原的效果進行評價，NIQE數值越低代表圖像擁有更好的視覺質量。本文的所有試驗均在同一試驗環境下進行，試驗平臺環境為 CUDA v10.1，cuDNN v7.5 以及Pytorch，并在NVIDIA T4 GPU上進行模型的訓練及測試。

3.1 數據集構建

本文從Satellite Tool Kit(STK)軟件中采集衛星圖像，以此構建訓練集和測試集。訓練集包括低照度及正常照度衛星圖像兩部分，如圖5(a)所示為星空背景下的低照度圖像示例，圖5(b)是以地球表面為背景的低照度圖像，圖5(c)為正常照度衛星圖像。在衛星低照度圖像中，圖像質量受損嚴重，不易觀測出衛星的整體輪廓，更不易獲取衛星各構件的邊緣、紋理及顏色等細節信息。而在正常照度圖像中，可清晰觀測出衛星的輪廓、紋理及顏色等細節信息。

圖5 數據集示例

數據集的具體信息如表1所示，訓練集中的低照度圖像樣本數量(Nlow)為129，正常照度圖像樣本數量(Nnormal)為183，測試集中共包含30張低照度圖像，其中Star與Earth分別表示以星空以及地球為背景的圖像。

表1 數據集樣本分布

3.2 模型訓練

為了進一步提升本文圖像增強方法的泛化能力及增強性能，本文采用數據增強方法對模型進行訓練，將輸入的訓練樣本進行隨機的尺寸調整，定義如下：

(W,H)=[400×Random(λ),600×Random(λ)],

λ∈[1,1.5]

式中：λ是縮放因子，其在區間[1,1.5]中被隨機選取(Random)，然后以400×600為基數進行圖像縮放。同時，還對樣本進行隨機的垂直和水平翻轉，從而達到更優的訓練效果。為了有效驗證本文方法的性能，我們將本文方法與EG在同樣的訓練策略下進行模型訓練，均以在ImageNet數據集中預訓練的VGG[25]網絡參數作為生成器的初始參數，辨別器的初始參數與EG一致。本文將Batchsize設置為32，并采用Adam優化器。在訓練的過程中，先以0.000 1作為固定的初始學習率訓練100個epochs，然后再變化學習率訓練100個epochs，期間將學習率從初始值線性遞減到0。

3.3 性能客觀評價

我們將LIME、EG以及本文方法對測試集中星空背景以及地球背景的衛星低照度圖像進行增強處理，然后以NIQE為標準對各自增強結果進行評價，評價結果如下表所示。

表2 評價指標對比

在客觀評價指標NIQE下，本文方法對星空背景以及地球背景的衛星低照度圖像的增強效果均優于其他兩種方法，圖像質量有了明顯的提升，較原始圖像在總體NIQE指標上降低了2.391。本文方法在以地球表面為背景的低照度圖像中的性能表現明顯優于其他方法，較LIME及EG在總體的NIQE指標上分別降低了1.034和0.699，達到了19.217。試驗結果示例如圖6所示，

圖6 不同算法的試驗結果對比

在圖6(a)的低照度圖像中，雖然仍可觀測出衛星的輪廓，但衛星各構件的顏色及紋理等特征信息嚴重缺失。在圖6(b)的低照度圖像中，圖像對比度較低，難以判別衛星的整體輪廓，無法提取太陽翼等衛星構件信息，這種低照度圖像難以為后續基于圖像處理技術的空間任務提供有效的圖像信息。

在圖6中，本文方法與EG的增強圖像在整體亮度上明顯高于LIME的增強結果。由圖6(a)及(b)中可看出，在LIME的增強結果中存在著明顯的顏色失真、構件邊緣模糊及清晰度低的問題，EG的增強效果雖然優于LIME，但仍然存在較明顯的邊緣模糊及色彩失真的問題，尤其在星空背景下，增強后的圖像在整體亮度以及清晰度上仍然偏低。相對于LIME和EG兩種方法，本文提出的算法能夠更好地保留圖像的細節信息，大幅提升了圖像對比度，提高了空間背景下衛星整體和局部的清晰度，具有更優的圖像增強效果。

4 結束語

為解決空間低照度成像條件下的衛星光學圖像質量低導致圖像信息受損嚴重的問題，本文提出了一種基于生成對抗網絡的空間衛星低照度圖像增強方法。設計了一種信息密集連接的生成器，減少了特征信息的損失；通過非配對樣本的訓練方式，避免了配對樣本的獲取問題及訓練效果差的問題，實現了對生成對抗網絡的訓練優化，得出本文的低照度圖像增強方法。并通過試驗證明本文方法較LIME及EnlighenGAN在NIQE指標下分別降低了1.034及0.699，能夠更好地保持衛星原始色彩和恢復衛星的輪廓及紋理等細節信息，增強結果擁有更高的對比度及清晰度。通過本文方法，可為后續目標識別等基于圖像信息的空間任務提供更豐富的數據信息。在試驗中，我們也發現本文方法雖然取得了更優的增強效果，在客觀指標以及主觀視覺上都有明顯的提升，但增強后的部分圖像仍然存在噪點，今后的研究方向可在噪點消除方面展開。