非成對訓練樣本條件下的紅外圖像生成

蔡 偉，姜 波，蔣昕昊，楊志勇

（火箭軍工程大學 兵器發射理論與技術國家重點學科實驗室，陜西 西安 710025）

1 引言

紅外成像技術利用紅外探測器獲取目標與環境的熱輻射差異，通過光電轉換技術形成可觀測的紅外圖像，具有抗干擾能力強、探測距離遠、可全天候工作等優勢，因此在軍事偵察、公共安防、醫療成像等方面發揮了重要作用。但在紅外成像技術的發展過程中，經常需要豐富多樣的紅外圖像數據作為驗證測試的樣本。同時基于深度學習的算法也必須使用大量的紅外數據對模型進行訓練，從而確保模型的訓練效果。然而，在許多場景中，由于測試環境、搭載設備等客觀因素的限制，采用實拍紅外圖像的獲取方式是十分困難的，構建大規模的紅外數據集成本極高。因此利用紅外圖像仿真技術生成高質量的紅外數據，不僅能夠有效地降低獲取紅外數據的成本，還可以生成很多自然環境以及外場試驗難以獲得的紅外數據，這些數據將為紅外相關設備在軍事、民用領域的應用提供有力支撐。

Vega/VegaPrime，SE-Workbench，MuSES，DIRSIG 等傳統的紅外仿真技術［1-3］利用人工構建的三維模型計算每個單位的熱輻射，模擬真實場景下的紅外數據。但這些方法的計算框架較為復雜，需要大氣溫度、相對濕度、風速等諸多額外的環境信息。而利用圖像風格遷移的方法將種類多樣的可見光圖像直接轉換為紅外圖像相比于傳統的紅外仿真方法更加快捷方便。近幾年，隨著深度學習技術的迅速崛起，生成對抗網絡在圖像生成和轉換、信息安全、視覺計算等領域展現出顯著的應用價值［4-6］?；谏蓪咕W絡的圖像風格遷移模型取得了巨大成功。Pix2pix［7］首次使用U-Net 作為生成器，PathGAN(Generative Adversarial Network)作為 判別器，實現了語義圖到真實場景圖、衛星圖到地圖、日景圖到夜景圖的轉換，但Pix2pix 對訓練樣本要求嚴格，必須使用成對圖像作為輸入。然而，針對圖像跨模態轉換問題，很難采集和建立充足的成對訓練數據，因此Pix2pix 在實際應用中具有一定局限性。而CycleGAN，DiscoGAN，DualGAN等［8-10］方法利用一種循環一致性損失函數對非成對圖像進行訓練，實現了四季場景轉換、照片與藝術畫互轉。但基于循環一致性損失函數的方法通常要求圖像之間的雙向映射，這種限制嚴格的雙向映射對于模態差異較大的圖像轉換效果并不理想，尤其面對復雜場景的紅外圖像轉換時模型的性能受到極大影響。如圖1 所示，Cycle-GAN 在進行可見光圖像到紅外圖像轉換時，由于雙向映射的嚴格要求，反而造成了圖中紅色方框內的生成結果失真（彩圖見期刊電子版）。因此，如何在非成對樣本訓練的條件下高質量的實現紅外圖像的轉換，對于紅外數據集的構建具有重要的研究價值。

圖1 兩種紅外仿真算法生成圖像效果對比Fig.1 Comparison of image effects generated by two infrared simulation algorithms

基于以上分析，本文提出了一種使用非成對樣本進行訓練的可見光圖像到紅外圖像轉換的生成對抗網絡（Visible to Infrared Generative Adversarial Network,VTIGAN），有效實現了紅外圖像仿真生成。VTIGAN 相比于循環一致性損失的方法而言，并不要求模態間的雙向映射，而是引入多層對比損失和風格相似性損失約束網絡訓練，重點關注可見光圖像到紅外圖像的單向映射，因此不僅降低了網絡復雜度，紅外圖像的生成質量也更高。本文的貢獻總結如下：

（1）針對可見光圖像到紅外圖像轉換時模態差異較大，現有算法使用非成對數據訓練效果不佳的問題，本文提出了一種新穎的紅外圖像仿真生成算法VTIGAN，實現非成對訓練樣本下可見光圖像到紅外圖像的轉換；

（2）在生成對抗網絡的基礎上引入多層對比損失、風格相似性損失和同一性損失約束網絡模型的訓練，在圖像轉換過程中最大程度保留輸入的可見光圖像語義內容不變，同時生成逼真的紅外風格特征；

（3）在公開的可見光-紅外數據集上進行了大量實驗，證明了VTIGAN 生成的紅外圖像在定量評價和視覺效果上的優越性，相比于其他算法更加適合非成對訓練樣本條件下可見光圖像到紅外圖像的轉換。

2 算法原理

假設可 見光域 為χ?RH×W×C、紅外域 為γ?RH×W×C，給定非成對可見光圖像數據集和紅外圖像數據集分別為X={x∈χ}，Y={y∈γ}。本文的目的是通過VTIGAN 學習一個映射G：X→Y，從而實現可見光圖像到紅外圖像的轉換。VTIGAN 包含一對生成器和判別器{G，DY}，生成器G完成X→Y的映射，判別器DY負責確保轉換后的圖像屬于紅外域。生成器G由編碼器、轉換器、解碼器組成，分別表示為Genc，Gcon，Gdec，生成紅外圖像?的過程如式（1）所示：

在圖像轉換過程中，VTIGAN 從編碼器中提取輸入圖像的多層特征信息，并使用一個雙層MLP 網絡［11］（HX和HY）將提取到的特征信息投影到共享的嵌入空間，從而計算輸入和輸出圖像間的多層對比損失。此外，VTIGAN 還引入了兩個輕量的特征映射網絡{Hf，Hr}，提取仿真紅外圖像和真實紅外圖像間的公共信息，并以此構成風格相似性損失。特征映射網絡{Hf，Hr}依次由卷積層、ReLU 激活函數、平均池化層、雙層點卷積級聯而成。

圖2 顯示了VTIGAN 的整體網絡架構。VTIGAN 主要結合了對抗損失、多層對比損失、風格相似性損失以及同一性損失實現網絡模型的訓練。下面將從網絡結構和損失函數兩個方面詳細介紹本方法的具體原理。

圖2 VTIGAN 的基本框架Fig.2 Basic framework of VTIGAN

2.1 生成器

VTIGAN 利用卷積神經網絡和transformer［12］的組合，構建了 一種新 穎的生成器，主要由編碼器、轉換器、解碼器三部分組成。具體網絡結構如圖3 所示。

圖3 生成器網絡結構Fig.3 Network structure of generator

2.1.1編碼器

編碼器主要利用卷積神經網絡對圖像進行特征提取，便于之后的轉換器進行相應的轉換。第1個卷積層采用64 個尺度為7×7 的卷積核提取特征，并加入3 個像素的填充保留特征圖的空間維度。接下來的兩個卷積層分別由128 和256個卷積核組成，所有卷積核尺度為3×3，步幅設置為2，填充設置為1。每個卷積層后面還包括一個批量歸一化層和Relu 激活函數。設T∈RH×W×C表示編碼器輸出的張量，則輸入尺寸為256×256×3 的可見光圖像，輸出T的尺寸為64×64×256。

2.1.2轉換器

轉換器利用transformer 架構在潛在空間對深度特征進行解糾纏并重新組合，實現可見光到紅外的風格轉換。為方便后續的矩陣運算，首先使用卷積投影模塊（conv_projection）將T映射為三組向量，這些向量稱為查詢向量Q、鍵向量K、值向量V。投影模塊主要由深度可分離卷積［13］構成，其中特別的是生成Q的投影模塊使用步幅為1 的深度卷積，其他投影模塊的深度卷積步幅為2。設WQ，WK，WV分別為投影模塊的訓練參數，則三組向量的學習過程如式（2）所示：

其中：Depthwise(·) 表示深度可分離卷積，reshape(·) 表示矩 陣重組。向 量Q∈，K∈，V∈，sq=4 096，sk=sv=1 024，tq=tk=tv=256。

卷積投影模塊之后設置了一個自注意力模塊（Self-Attention）。在此模塊中，查詢向量Q、鍵向量K通過矩陣運算對全局特征進行解糾纏，并生成自注意力矩陣更新值向量V中的特征信息。此過程如式（3）所示：

其中：Θ∈R64×64×256，KT為鍵K的轉置，softmax（·）表示歸一化函數，reshape（·）表示矩陣重組。

與常規的transformer 架構不同，為進一步降低計算量，本文使用雙層點卷積代替MLP 作為transformer 中的最后處理模塊。轉換器的最終輸出如式（4）所示：

其中：Γconv256和Γconv512分別表示卷積核數量為256和512 的卷積層，ΓGELU表示高斯誤差線性單元激活函數，ΓBN為批量歸一化層。

2.1.3解碼器

解碼器的構成與編碼器恰好相反，采用3層逐級連接的反卷積，將轉換器輸出的特征圖逐級還原為紅外圖像，完成整個生成過程。編碼器、轉換器、解碼器的結構參數詳見表1。

表1 生成器內部參數Tab.1 Generators internal parameters

2.2 判別器

在一般的生成對抗網絡中，判別器通常由多個卷積層構成，最終輸出一個介于0～1 之間的標量作為判定樣本真偽的概率。這種判別方式針對整張圖像進行加權得出結果，無法關注到圖像的局部特征。由于可見光圖像與紅外圖像模式差異大，此種判別方法精度要求過低無法實現高質量的圖像生成。因此，本文使用70×70 的PathGAN［6］作 為VTIGAN 的判別 器，具體結 構如 圖4 所 示，其輸入 為256 pixel×256 pixel 的 圖像，輸出結果為30×30 的矩陣，每個矩陣元素代表輸入圖像中一個70×70 感受野的圖像補丁為真的概率，最終以全部矩陣元素的均值判定整張圖像的真假。這種補丁級判別器針對每一個圖像補丁精準判別，重點關注了圖像局部特征的提取和表征，更加適合可見光到紅外這兩種模式差異較大的圖像轉換。

圖4 判別器網絡結構Fig.4 Network structure of discriminator

2.3 損失函數

2.3.1 對抗損失

在傳統生成對抗網絡中通常使用交叉熵損失函數，這會導致生成的圖像雖然被判定為真實圖像，但實際仍遠離判別器的決策邊界。由于此時交叉熵損失函數已經擬合，生成器不會繼續進行優化，最終限制了生成的圖像質量。通過理論分析和實際測試發現最小二乘損失函數可以對判定為真實樣本的圖像進行懲罰，使距離決策邊界較遠的樣本不斷靠近決策邊界，從而進一步提高圖像轉換的效果。因此，VTIGAN 選擇最小二乘損失函數構建對抗損失，其表達形式如式（5）～式（7）所示：

其中：y為真實紅外圖像為生成紅外圖像，)表示計算期望，D Y(·)表示判別器判定圖像為真的概率。

2.3.2 多層對比損失

圖像轉換過程中，要求輸入圖像和輸出圖像在對應空間位置上應具有相似的語義信息。因此VTIGAN 引入多層對比損失最大化輸入和輸出圖像對應位置間的互信息。通過將可見光和紅外圖像對應位置互信息的最大化，可以監督生成網絡提取兩個對應位置的共性部分（圖像轉換時應該被保留的內容），同時忽略其他位置上的特征對圖像轉換的影響，具體實現如下。

多層對比損失的目的是關聯查詢樣本和所對應的正樣本，并排除數據中的其他負樣本。如圖2 所示（彩圖見期刊電子版），設定查詢樣本為生成的紅外圖像中隨機選取的綠色圖像框，正樣本則為可見光圖像中相同位置所對應的藍色圖像框，而可見光圖像中除正樣本位置外隨機位置選取的紫色圖像框均為負樣本。首先將查詢樣本、正樣本和N 個負樣本映射為P維向量，分別表示為q∈RP，ν-∈RN×P，ν+∈RP，接著對P維向量進行L2 正則化，此時可構建一個（N+1）類的分類問題，并計算排除負樣本選出正樣本的概率。在數學上可使用交叉熵損失［13］表示為：

其中，δ為查詢樣本和其他樣本間的距離縮放因子。

VTIGAN 使用Genc和雙層MLP 的組合分別對可見光和紅外圖像進行特征提取，同時為了更加精確的進行特征表示，可見光和紅外圖像的特征提取網絡之間并不共享權重。以可見光圖像為例，選取Genc(x)中的L 層傳遞到MLP 中，將其投影為特征集合，如式（9）所示：

由上述公式可得到最終輸入與輸出圖像間的多層對比損失，如式（11）所示：

2.3.3 風格相似性損失

在紅外圖像數據集Y={y∈γ}中，不同紅外圖像雖然語義內容各不相同，但具有相似的紅外風格特征。為了提高生成紅外圖像的真實性，VTIGAN 使用風格相似性損失充分挖掘生成圖像和真實樣本之間的聯系，最大程度上實現紅外風格特征的轉換。如圖1 所示，在網絡中首先使用編碼器Genc和雙層MLP 將生成的紅外圖像和真實紅外圖像轉換為兩組特征集合，接著利用兩個輕量的特征映射網絡{Hf，Hr}將特征集合映射為64 維的風格特征向量，此時利用風格相似性損失度量二者之間距離，其形式化表達如式（12）所示：

通過在深層信息上約束生成圖像和真實圖像間風格特征的相似，可以促使生成紅外圖像更加真實，而不是簡單的色彩疊加。

2.3.4 同一性損失

生成器以可見光圖像作為輸入，可以實現可見光圖像到紅外圖像的映射，然而若將紅外圖像作為輸入，理想的生成器將不進行任何更改而直接輸出原始圖像。這種以紅外圖像直接作為輸入，得到的輸出圖像與輸入圖像之間的L1 損失被定義為同一性損失。其表達式如式（13）所示：

同一性損失的加入可以在訓練過程中糾正生成器的偏差，激勵生成器生成更加真實的紅外圖像的特征。

2.3.5 總損失函數

上述各種損失函數都會對紅外仿真圖像生成效果產生影響，將各項損失進行加權，最終構成VTIGAN 的整體損失函數，如式（14）所示：

其中，λ是調整各項損失函數在訓練中占比的權值。

3 實驗結果與分析

3.1 準備工作

本文算法的有效性檢驗在Pytorch 深度學習開發框架下進行，硬件平臺配置如表2 所示。

3.1.1 數據集制備

本文使用的數據集為艾睿光電紅外開源平臺提供的可見光-紅外數據集。該數據集內容豐富，包含了車輛、建筑、植物等多種物體的可見光和紅外圖像，圖像尺寸均為256 pixel×256 pixel。為充分驗證算法的有效性，本實驗將該數據集劃分為交通場景和建筑場景兩大類，其中交通場景主要包含車輛和公路的可見光與紅外圖像，建筑場景主要包含水泥建筑、樹木、草坪等物體。兩類場景中均含有5 000 組圖像作為實驗樣本，其中訓練集包含可見光和紅外圖像各4 500 張，且訓練過程中圖像均采用隨機輸入的方式，確保在非成對訓練樣本條件下進行訓練。測試集則包含500 組配對的可見光和紅外圖像，其中500 張可見光圖像作為測試樣本，而與之對應的500 張紅外圖像作為參考樣本對生成紅外圖像進行定量評價。

3.1.2 評價指標選取

為比較不同算法的圖像遷移效果，本文使用全參考評價方法定量分析生成紅外圖像質量，主要選取以下三個指標：峰值信噪比（Peak Signalto-Noise Ratio，PSNR）、結構相似度（Structure Similarity Index Measure，SSIM）和Frechét inception distance（FID）。

PSNR［15］作為使用最廣泛的全參考評價指標之一，在圖像壓縮、超分辨率重建等領域發揮了重要作用。PSNR 基于對應像素點間的均方誤差衡量生成圖像與參考圖像之間的差異，其值越大代表生成圖像失真越小，即生成圖像的質量越高。PSNR 的形式化表達如式（15）所示：

其中：MSE表示參考圖像和生成圖像之間的均方誤差，MAXI為圖像中的最大像素值。

SSIM［16］用于計算生成圖像與參考圖像之間的相似性，取值范圍在0～1 之間，值越大圖像相似性越高。SSIM 用均值作為亮度的估計，標準差作為對比度的估計，協方差作為結構相似程度的度量，更加符合人類視覺提取圖像結構信息的方式。假設參考圖像和生成圖像分別為x和y，其結構相似性定義如下：

其中：l(x，y)，c(x，y)，s(x，y)分別x和y的亮度比較、對比度比較以及結構比較，μx和μy分別為x和y的均值，σx和σy分別為x和y的標準差，σxy表示x和y的協方差，C1，C2，C3，α，β，γ均為常數。

FID［17］通過Inception 模型度量生成圖像與參考圖像在深度特征空間中的距離，具有較好的魯棒性，其分數越低，說明生成圖像的質量越高且多樣性豐富。FID 的形式化表達如式（18）所示：

其中：μr，μg分別為參考圖像和生成圖像的特征的均值，Σr，Σg分別為參考圖像和生成圖像的特征的協方差矩陣，Tr表示求矩陣對角線元素和的運算。

3.1.3 實驗參數設置

使用動量為0.5 的自適應矩估計優化器（Adam）［18］對訓練過程中神經網絡損失進行優化，初始網絡參數隨機選自均值為0，方差為0.02的高斯分布。經調試后，實驗具體參數設置如表3 所示。

表3 實驗參數設置Tab.3 Setting of experimental parameters

3.2 實驗結果分析

為了驗證VTIGAN 算法在可見光到紅外圖像遷移任務上的優良性能，本文將其與其他圖像遷移算法進行了對比實驗分析。主要對比網絡包含CycleGAN，DSMAP（Domain-Specific Mappings）［19］，UGATIT(Unsupervised Generative Attentional networks)［20］，GLANet（Global and Local Alignment Networks）［21］，CUT（Contrastive Learning for Unpaired Image-to-Image Translation）［22］。為了充分對比不同算法之間的性能差異，本文從客觀定量分析和主觀視覺評價兩方面對圖像風格遷移結果進行了評價。

3.2.1 客觀定量分析

使用PSNR，SSIM 和FID 三個指標對各模型的測試結果進行定量分析，對比結果如表4所示。

表4 圖像評價指標對比Tab.4 Comparison of image evaluation indexes

從不同方法的實驗結果來看VTIGAN 在三項指標的評價結果上達到了最優，相比于Cycle-GAN 在PSNR，SSIM 和FID 三個指標上分別提升了16.8%，14.3%和35.0%，相比于排名第二的方法UGATIT 在PSNR、SSIM 和FID 三個指標上分別提升了3.1%，2.8%和11.3%。從兩組不同場景實驗的評價結果對比來看，由于交通場景相比于建筑場景復雜程度略低，因此在交通場景上的圖像生成結果均優于建筑場景。但場景復雜度對不同方法的影響程度并不相同，從表4 中數據分析可以看出，VTIGAN 從交通場景到建筑場景三項圖像評價指標下降幅度分別為5.3%，2.7%和7.9%，指標下降幅度最小。而CycleGAN 的表現受場景復雜度的影響最大，在PSNR，SSIM 和FID 三個指標上分別下降了11.1%，15.7% 和32.7%。從定量評價結果來看本文提出的VTIGAN 針對可見光圖像到紅外圖像的遷移取得了最優的表現，且該方法具有較好的魯棒性，對于復雜場景下的抗干擾能力更強。

3.2.2 主觀視覺評價

為了更加直觀比較各模型在可見光圖像到紅外圖像遷移任務上的性能差異，本節選取了水泥建筑、樹木、草坪、工地、交通車輛五類主要實例的紅外圖像生成結果直接進行比對，各方法具體實驗結果示例如圖5 所示。

圖5 實驗結果示例Fig.5 Example of experimental results

圖5 中第一列為測試時輸入的可見光圖像，第二列為真實的紅外參考樣本，后面依次排列的是不同方法的測試結果。從五類實例的生成效果來看，GLANet，CUT，CycleGAN 三種方法對于5 類實例的紅外特征生成均有明顯的錯誤，例如水泥建筑的結果對比中CycleGAN 未能正確生成樓房的紅外特征，GLANet 和CUT 對于車輛的紅外信息均生成錯誤。而DSMAP，UGATIT，VTIGAN 三種方法對于紅外特征均能正確的生成，但從圖像的逼真程度和清晰度來看VTIGAN 優于DSMAP 和UGATIT。這些方法對于紅外圖像仿真均有一定的應用價值，但也存在一些共性的不足，從圖5 中可以看出交通車輛的紅外圖像中遠處行駛的兩輛車，由于目標較小，六種方法均未正確生成其紅外特征，甚至直接造成了信息的缺失?？傊?，從主觀評價上來看，本文提出的VTIGAN 相比于其他方法生成圖像的紅外特征精確且清晰度和逼真度更優。

3.3 消融實驗

本文聯合對抗損失、多層對比損失、風格相似性損失、同一性損失四種損失函數對網絡模型進行訓練。為驗證各個損失函數的有效性，本節采取消融實驗的方法測試多層對比損失、風格相似性損失、同一性損失對算法性能的影響。實驗結果如表5 所示，在本實驗中依次去除多層對比損失、風格相似性損失、同一性損失，并保留其他損失函數不變，從實驗結果可知去除任意一項損失函數均導致算法性能的下降。其中，多層對比損失和風格相似損失作為圖像遷移過程中的主要約束，去除后導致算法性能大幅下降，進一步驗證了本文算法的有效性。

4 結論

可見光圖像遷移生成紅外圖像具有重要的理論研究意義和實際應用價值。本文針對非成對數據條件下可見光圖像遷移生成紅外圖像的任務要求，提出了一種新穎的紅外圖像仿真算法VTIGAN。VTIGAN 以特征提取能力強大的transformer 架構為基礎構建了一種新的生成器，使用PathGAN 作為判別器對生成圖像進行更精細化的鑒別，并聯合對抗損失、多層對比損失、風格相似性損失、同一性損失四種損失函數對模型的訓練加以約束，確保紅外圖像高質量的生成。在可見光-紅外數據集上進行實驗，與目前主流的圖像遷移算法相比VTIGAN 在客觀定量分析和主觀視覺評價兩方面均取得明顯優勢，對于復雜場景下的抗干擾能力優于基于循環一致性損失函數的方法，相比于CycleGAN 在PSNR，SSIM 和FID 三個指標上分別提升了20.6%，23.2%和40.8%，能夠生成清晰度更高、紅外特征更準確的紅外仿真圖像。在下一步的研究中將關注以下兩方面：（1）現有算法對于圖像中的小目標轉換效果不佳，下一步研究可加強模型對小目標紅外特征轉換的能力，以進一步提高紅外仿真圖像的使用價值；（2）可見光-紅外數據集的種類和數量仍然較少，下一步可從大型數據集制備的角度來提高模型性能。