基于特征重構CycleGAN的紅外遙感圖像生成

王楠 李曉賓

（北京航空航天大學計算機學院 北京市 100191）

1 引言

在深度學習中，許多任務都是基于數據驅動的，數據的規模和質量決定了模型的最終效果。但是，當面臨新的領域、新的任務中（如遙感、醫學等特定領域圖像），高質量的數據往往是相當匱乏的。在實際應用領域中，紅外遙感在紅外制導、武器裝備等方面具有廣泛的應用。但是，在這些領域中，紅外數據的獲取卻受到限制，而紅外衛星遙感分辨率較低，很難獲取有效圖像。在數據較少的情況下，深度學習的應用和效果都受到了影響。為了應對以上挑戰，本文將易獲取的可見光圖像作為紅外數據生成的來源，通過對CycleGAN網絡添加特征重構損失，使得可見光數據在風格、內容、特征等方面生成近似符合紅外數據特性的圖像，解決了深度學習中紅外典型軍事目標數據少，難以尋找批量數據進行訓練的難題。

本文的主要貢獻有：

（1）本文設計了高效的紅外遙感圖像自動生成算法，擴大紅外遙感圖像的數據集規模，推動深度學習算法在紅外遙感圖像識別領域的應用；

（2）本文在基于CycleGAN風格遷移的基礎上，添加特征重構損失，使得生成的紅外圖像與真實的紅外圖像在特征方面更具有相似性。

2 相關工作與問題分析

2.1 相關工作介紹

紅外遙感領域對典型軍事目標（如飛機、艦船等）機密性的嚴格要求，采集數據難度大。構建大規模、高質量的此類數據集非常困難，因此，利用一種紅外仿真數據模擬紅外真實數據是亟需的一項任務。在基于傳統方法的圖像生成時，一般從圖像的灰度、對比度、飽和度、色調等方面進行處理。在遙感圖像的紅外軍事目標數據生成中，由于自然圖像與紅外遙感圖像相差較大，不宜采用。基于深度學習生成圖像的技術中，生成對抗網絡（GAN）[1]在計算機視覺中有許多如圖像繪畫、標注、生成等方面有著廣發應用。Stackgan[2]是一種具有兩層生成器的迭代方法。第一個生成器接收噪聲輸入并輸出模糊圖像，這些圖像顯示圖像中目標對象的模糊細節和形狀。第二個生成器生成更逼真的圖像細節。InfoGAN[3]通過非監督學習得到可分解的特征表示。PPGN[4]使用激活最大化生成圖像，這些圖像采用去噪自編碼器(DAE)來訓練圖像特征。CoGAN[5]利用權重共享和編碼器VAE實現無監督圖像之間的轉換。這些基于生成對抗網絡的技術解決了計算機視覺領域中數據量不足問題。雖然這些方法在圖像生成方面比較有效，但它的訓練過程非常不穩定，需要很多技巧才能獲得良好的結果。

2.2 存在問題與本文思路

在一般的數據生成過程中，生成圖像的數據分布、內容、特征難以與原始圖像保持一致，即生成圖像的真實性難以保證。圖像生成的質量一般受風格、內容、特征等方面的影響。相同數據的分布可能有不同的表觀特征，而相同的內容可能局部特征也不一樣。在數據生成過程中，由于網絡訓練時的不穩定性，會出現生成的數據不理想的情況。圖1展現了在基于生成對抗網絡技術的生成圖像過程中，出現的圖像失真變形的示意圖，從而在圖像特征上不能保證生成數據的真實性。因此，生成器生成的圖像在數據分布、特征等方面與原圖能否保持近似一致受到了極大的挑戰。

圖1：基于GAN網絡生成的圖像失真示意圖

圖2：可見光生成紅外圖像中的生成器與判別器流程圖

針對以上問題，本文在基于CycleGAN風格遷移的基礎上，添加特征重構損失，使得生成的紅外圖像與真實的紅外圖像在特征方面具有相似性。為了使得生成的紅外圖像更加符合真實紅外圖像的特性，本章對CycleGAN[6]網絡添加特征重構損失，使得生成圖像與原始紅外圖像具有特征相似性。最重要的是，將特征重構損失與原始的生成對抗損失以及循環一致損失相結合，使得可見光數據在風格、內容、特征方面生成更符合紅外數據特性的圖像。生成對抗損失保證輸出圖像的分布，循環一致性損失保證輸入和輸出圖像之間的內容相似性，特征重構損失保證生成圖像與真實圖像的特征相似性。

3 基于特征重構的CycleGAN紅外圖像生成網絡

本節主要對CycleGAN網絡進行改進，添加特征重構損失，以對紅外目標與背景的生成進行詳細分析。在CycleGAN中，有兩個分布不同的圖像域以及生成器和判別器。在訓練過程中，利用對抗損失來衡量這兩個域分布的差異。CycleGAN可以訓練兩個數據集而無需配對以學習輸入圖像和輸出圖像之間的映射。通過訓練來創建這個映射，以得到輸入圖像和生成圖像之間共享某些關聯的特征。生成模型主要用于衡量數據分布，判別模型主要用于估計輸入樣本來自真實數據而非生成樣本的概率。生成模型構造一個從先驗分布到數據空間的映射以更好的學習數據的生成分布特性。也即，生成器擬合數據分布，判別器衡量分布的差異。

圖3：可見光圖像生成紅外圖像數據展示

圖4：云霧場景下可見光圖像生成紅外圖像實驗結果

3.1 基于特征重構的損失函數

上述的對抗損失和循環一致損失只是保證生成的圖像在數據分布與風格方面與原始圖像盡量保持一致，而忽略了圖像中的特征一致性。一般地，可以通過優化損失函數來生成高質量的圖像。在基于CycleGAN網絡將可見光圖像對紅外圖像進行生成時，為了保證生成的紅外圖像內容更逼真，本節結合圖像變換中的感知損失（Perceptual Loss）[7][8]中的特征重構損失函數，使得生成的紅外圖像更接近于真實紅外圖像。

圖2是可見光圖像生成紅外圖像中的生成器與判別器的結構圖展示。其中，生成器由編碼器、轉換器和解碼器構成。首先輸入圖像經過編碼器中的卷積神經網絡對輸入圖象中提取特征，將具有高維信息的圖像壓縮為低維特征向量。然后轉換器通過組合兩類訓練集圖像域中的不相近特征，將可見光域中的特征向量分布轉換為紅外域中的特征向量分布。在本節中，轉換器中使用了多層殘差網絡ResNet模塊。每個ResNet模塊都是一個由兩個卷積層組成的神經網絡層，可以實現在轉換特征的同時保留原始域中圖像數據集的特征的目的。解碼器利用多層反卷積層實現從特征向量中還原出低級特征的功能，最后得到變換后的近似符合目標域數據分布的圖像。即通過反卷積模塊把這些特征重構成圖像。與生成器相對應的是判別器模塊，它是將生成的紅外圖像和真實的紅外圖像作為輸入，對輸入圖像判斷其為原始真實圖像還是生成的虛假圖像。

圖5：爆炸場景下可見光圖像生成紅外圖像

本節使用判別網絡的隱藏層來評估生成的紅外圖像和真實紅外圖像之間的特征重構損失。該特征重構損失使用預訓練的網絡提供的高層特征。預訓練好的骨干網絡模型可以將圖像從像素空間映射到高級特征空間。對圖2中判別器隱含層中構造特征差異，并利用最小絕對誤差計算判別器中的隱含層特征表示之間的差異。特征重構損失定義如下：

其中，j代表隱含層的層號，N代表樣本數量，xi代表輸入的第i個可見光圖像，T代表生成器中的圖像轉換功能，T(xi)代表輸入圖像經過生成器變換后生成的紅外圖像，yi代表第i真實的紅外圖像，Fj代表第j個隱含層上的圖像特征表示，Fj(yi)代表真實紅外圖像在判別器中第j個隱含層的特征表示，Fj(T(xi))代表輸入的生成的紅外圖像在判別器中第j個隱含層的特征表示。Lfeature值越小，說明生成的紅外圖像與真實的紅外圖像特征相似性越接近，也即生成的圖像越逼真。

在實驗的訓練過程中，特征重構損失衡量了生成圖像與真實圖像之間的特征相似性。這樣做保證了可見光圖像在生成紅外圖像的過程中，能夠將輸入的可見光圖像轉換為與真實的紅外圖像具有相似高級特征的紅外圖像。生成器與判別器的訓練交替進行，一方面使得判別器能持續尋找輸出圖像與真實圖像的高維特征的差異，以此作為生成器的反饋調節，使得生成器生成的圖像與真實的圖像之間的差異越來越小，即兩者越來越逼真。另一方面訓練生成器，使得判別器對生成器生成的圖像難以辨別是真實的還是生成的。

其中，LFeature_all為總的特征重構損失，它包括生成器損失LG和判別器損失LD。當訓練時，只要存在生成圖像與真實的紅外圖像有差異，判別器就會持續自動的輸出差異。實驗中制定了衡量生成圖像與真實圖像相似度的重要指標的參數。簡而言之，該參數值越小，LD損失越接近0，這時判別器很難區分相似的圖像。該參數值越大，損失值接近0的難度就越大，這甚至會導致網絡無法收斂，但是可以更確定地分辨出更多相似的圖像。

基于CycleGAN圖像生成的損失為對抗損失和循環一致性損失以及特征重構損失的總和：

其中 λ和β為循環一致損失和特征重構損失的權重系數，也即控制兩者的相對重要性。Ladv、Lcyc分別代表對抗損失和循環一致損失。在實驗訓練過程中，生成網絡和判別網絡輪流交替進行。通過對抗訓練過程，學習兩種數據集之間的某種映射關系。

4 實驗結果與評價指標

4.1 實驗結果與分析

本文中的可見光遙感圖像數據來自GF1和GF2衛星。全色圖像的分辨率與紅外圖像的分辨率不同是一個重要的事實。為了得到批量的滿足紅外數據分布的不同場景的紅外數據集，本節驗證了本文提出的CycleGAN網絡生成的紅外數據集的分布以及質量。同時，為了生成更多的干擾復雜場景的紅外圖像，實驗中本文將可見光圖像的厚云厚霧等干擾場景經過CycleGAN網絡進行遷移，然后將遷移后的干擾場景圖像與所需的艦船目標進行不同位置、不用視角、不同尺度的泊松編輯融合，從而得到批量的紅外樣本庫。圖3展示了可見光全色圖像生成紅外圖像的部分結果圖。從實驗結果可以看出，生成的紅外圖像在風格、內容等方面能夠保持較好的特性。

圖4中的第一列是多光譜與全色圖像在不同場景下的云霧圖像。第二列是經過本文提出的CycleGAN生成的紅外云霧圖像。其中，第一行和第二行為多光譜圖像中的平靜海面背景下的薄云、碎片云場景。第三行為全色圖像中黑云存在的場景。從上表可以看出，從全色圖像經過風格遷移的紅外圖像比較自然，表觀特征與真實紅外圖像比較相似。

圖5中展現了多光譜圖像在不同爆炸火光場景下艦船的遷移效果圖。第一行為爆炸火光處于前期時的狀態，第二行為爆炸火光為處于中后期火光落下的狀態，第三行為煙霧處于漂移的狀態，第四行為厚煙霧處于爆發的狀態。可以看出，本文算法在面對爆炸火光的發生的不同時期，均能遷移出較自然的效果。

4.2 數據集質量評價指標

基于GAN網絡等生成模型的評價是深度學習研究的重要組成部分。為了更好的評估基于CycleGAN生成的圖像質量，本文采用FID指標來衡量CycleGAN生成的圖像質量。FID值越低，說明生成的圖像質量越高。Inception V3是一個特征提取的深層網絡，最后一層是池化層，網絡輸出圖像的類別。在計算FID時，得到的是個具有較高維度的n維特征。假設原始樣本集得到的此n維向量是服從高斯分布的，則對于基于CycleGAN生成的圖像經過特征提取網絡后，得到的n維向量也近似看作符合某種分布。為更好的評估本章CycleGAN生成的圖像數據分布與原始圖像的分布差異，本文采用FID來度量這兩種多維特征分布的距離。FID計算公式如下：

其中， Tr表示矩陣對角線上元素的總和，矩陣論中俗稱“跡”。均值為u,協方差為∑。此外 x表示真實的圖片，g代表生成的圖片。上式(ux,ug)和(∑x,∑g)分別是來自真實數據分布和生成樣本的均值和協方差。通過本章算法對可見光圖像中的部分艦船數據集生成紅外遙感圖像艦船的部分數據集FID值可以達到30.26。

5 結論

本文提出一種基于特征重構CycleGAN紅外數據生成算法，解決了紅外圖像中的目標樣本量受限的問題。該方法可以通過可見光圖像與紅外圖像的互相遷移的生成學習，達到一種以可見光圖像輔助生成海量且高質量的紅外圖像數據的作用，有效解決紅外遙感領域的樣本不足的問題。本文對CycleGAN網絡添加特征重構損失，使得可見光數據在風格、內容、特征方面生成更符合紅外數據特性的圖像。實驗結果表明，本文提出的方法可以高效實現紅外遙感圖像的自動化生成，圖像能夠保持較好的特性。