基于圖像退化模型的紅外與可見光圖像融合方法

蔣一純 劉云清 詹偉達 朱德鵬

(長春理工大學電子信息工程學院 長春 130022)

1 引言

由于熱紅外與可見光成像設備工作在不同的感應波段，在記錄同一場景下時，其產生的圖像之間的信息是互補或冗余的。為了符合人眼觀察需求，需要一種方法將異源圖像中的顯著特征通過適當的融合方法進行集成，以實現在單張圖像中包含盡量多的異源信息。紅外和可見光圖像融合任務作為計算機底層視覺領域的一個重要部分，受到廣泛的關注和研究，被廣泛應用于軍事、醫學、遙感和安防等領域。

經過幾十年的發展，許多傳統紅外與可見光圖像融合方法相繼被提出，大致上可被分為4類：基于多尺度分解的方法[1]、基于顯著性的方法[2,3]、基于混合的方法[4]和基于稀疏表示的方法[5,6]。這類方法依賴人工設計的復雜融合規則，產生融合良好的圖像仍然比較困難，算法的復雜性和計算成本也是其主要問題。

近年來，隨著深度學習技術不斷發展，其出色的特征提取能力，在許多計算機視覺任務中取得了巨大成功[7–9]。學者將深度學習算法的思想用于紅外與可見光圖像融合中，設計了許多基于深度學習的圖像融合方法。Prabhakar等人[10]提出了一種編解碼結構網絡，通過編碼器從異源圖像中提取深層特征，然后經過特征圖融合規則再使用解碼器恢復融合圖像。Li等人[11]采用密集連接結構改進了編碼器結構，以獲取不同層次的圖像特征，增強融合效果。Liu等人[12]使用神經網絡預測兩個源圖像的權重圖，將權重圖與源圖像進行逐點相乘后求和得到融合圖像。Xu等人[13]設計了一系列特征提取和信息測量手段，在相同的框架下保持融合結果與源圖像之間的自適應相似性。Ma等人[14]通過計算共顯著性檢測圖，來獲取異源圖像中的共同顯著區域，進而實現圖像融合。Zhu等人[15]構建了信息交換模塊充分融合紅外與可見光的信息，并設計多級特征復用的輕量化網絡。基于深度學習的紅外與可見光融合算法獲得了良好的效果，但它們之中仍然存在一些關鍵問題：

(1)熱紅外與可見光圖像融合的關鍵在于像素分布和細節的保留，目前仍缺少輸入源圖像和理想融合圖像的合理假設關系，所以導致大多數紅外與可見光算法采用無監督學習方法，通過設計復雜的損失函數衡量融合圖像與兩幅輸入圖像的相似程度，以此為損失值訓練融合網絡。這種無監督學習方法無法最大限度地實現紅外與可見光圖像信息的互補，也沒有充分利用神經網絡強大的特征提取能力。

(2)深度學習算法作為數據驅動的算法，訓練過程中需要大量配準好的紅外和可見光圖像對，但紅外與可見光圖像采集并配準的過程較為困難，導致這類數據較少，這將導致訓練大型網絡時產生過擬合現象。

(3)傳統的用于紅外與可見光的深度學習模型雖然避免了設計復雜的融合策略，但在網絡設計或推理的過程中仍需要考慮特征圖的融合或處理，這個過程也依賴人工設計的規則。

為了解決上述問題，本文提出一種理想融合圖像與異源圖像之間的退化模型，將異源圖像視為理想融合圖像的退化圖像，通過數據增強的方法模擬退化過程獲取大量訓練數據。還針對所提出數據增強方法設計了端到端的紅外與可見光圖像融合網絡，并提出了相應的網絡訓練框架，將模擬降質圖像與原始圖像分別作為輸入和標簽進行有監督學習。

2 圖像退化模型

2.1 圖像退化機理

優化神經網絡的方法是通過衡量網絡輸出的預測值與數據集中對應的真實值(ground truth)，根據所設置的損失函數優化網絡參數，最終達到局部最優解。對于大部分圖像處理任務如圖像超分辨率[16]、圖像去噪[17]和圖像復原[18]等，可較輕易地獲取其真實值。而對于紅外與可見光圖像融合而言，理想的融合圖像往往不存在，導致目前主要采用無監督學習方法。與前人研究不同，本文側重于解決圖像融合的目標問題。

本文將可見光圖像、紅外圖像視為理想融合圖像的退化圖像，提出的退化模型(degradation model)如圖1所示，理想融合圖像Iif經過模糊退化、亮度/對比度退化和噪聲退化之后，獲得退化圖像Is，即可見光或紅外圖像。該退化模型主要是針對熱紅外和可見光圖像的融合問題，并基于二者的成像機理設計的：

圖1 本文所提理想圖像退化模型

(1)光學成像系統在采集過程中受光學成像環境、欠采樣及系統與場景之間的相對運動等因素會導致所獲得的圖像出現模糊退化現象。紅外與可見光成像系統均會受到上述模糊退化影響，但兩個成像系統之間的模糊退化不一致，導致信息丟失也不一致，這使圖像之間的信息互補存在可能。

(2)在光照條件惡劣比如低照度、高亮、煙霧遮擋等情況下，可見光采集的圖像往往質量較差，不利于人眼觀察，而在光照條件較好的區域可見光圖像相比紅外圖像擁有更好的細節紋理。紅外圖像不僅不受光照、煙霧條件的影響，而且更易于分辨紅外熱輻射差異明顯的物體，但在紅外輻射變化不明顯的區域則難以觀察其細節特征，這導致物體本身或背景的局部對比度較低。

(3)由于紅外與可見光圖像采集過程中經常伴隨噪聲現象，這種現象在照明條件不好的情況下特別嚴重。圖像噪聲會與圖像中的高頻信息混淆，在不考慮噪聲干擾的情況下直接進行圖像融合，會在融合圖像中產生明顯的噪點，降低融合圖像的視覺效果。因此，進行圖像融合和去噪的聯合任務是非常有必要的。

根據所提退化模型，理想融合圖像退化為紅外圖像Iir與 可見光圖像Ivis的總體過程可由式(1)表示

其中，Di,n代 表理想融合圖像退化為第n個波段圖像的亮度退化函數，Db,n代表理想融合圖像退化為第n個波段圖像的模糊退化函數，Nn代表理想融合圖像退化為第n個波段圖像的噪聲干擾。盡管實際上紅外和可見光圖像的退化一定程度上互相關，但為了方便分析和實現，設紅外與可見光圖像的退化是互相獨立的。下面將簡要討論退化模型中所述的3個圖像退化過程。

2.2 圖像退化過程

2.2.1 模糊退化過程

受圖像超分辨率重建、去模糊等算法的啟發，式(1)中模糊退化函數可進一步展開

其中，?表示卷積運算，k為退化過程的模糊核，將k與 輸入圖像I進行卷積操作后可獲得模糊退化圖像。

如圖2所示，目前用于圖像模擬降質的常用模糊核有各向同性高斯模糊核、各向異性高斯模糊核和運動模糊核等[19]。紅外與可見光圖像融合的前提是圖像必須嚴格配準，兩個成像系統應保持相對靜止，故假設兩個波段圖像產生的運動模糊是相同的，可知運動模糊導致各波段圖像損失的圖像細節損失是相同的，無法通過圖像融合的方式進行補充。另外，由于紅外和可見光成像系統的感應波段不同，其光學特性和空間分辨率不同，這是導致紅外與可見光圖像信息產生互補和冗余的主要原因，這部分細節損失可以通過圖像融合彌補。

圖2 各類模糊核對比

基于以上原因，假設理想融合圖像與紅外與可見光成像之間的模糊退化過程可等效為由兩個標準差和核寬度不同的各向同性高斯核，可由式(3)表示

2.2.2 亮度/對比度退化過程

本文所提圖像退化模型考慮到紅外與可見光圖像中亮度/對比度退化的問題，大量的研究表明，低照度、高亮和煙霧等圖像問題可以等效為亮度引起的圖像退化。所以，在本文所提圖像退化模型中引入亮度/對比度退化，不僅能緩解圖像中由于灰度級壓縮導致的圖像失真，還能有效抑制低照度、高亮和煙霧等因素的影響。式(1)中亮度/對比度退化過程可進一步展開，由式(4)表示

其中，⊙為矩陣點乘運算，Bn表示第n個波段圖像的亮度分量，本文將模糊退化圖像Ib,n視為反射分量，其反映物體真實灰度級，然后通過亮度分量B與其點乘得到亮度/對比度退化圖像Ii,n。

2.2.3 噪聲退化過程

充分利用神經網絡強大的特征提取能力，可以有效地分離圖像中高頻細節和噪聲，在不損失過多高頻信息的前提下，消除原始紅外與可見光圖像之中的噪聲影響。噪聲一般可分為乘性噪聲和加性噪聲，在上述亮度/對比度退化過程中產生的亮度分量會影響對物體紋理細節的觀察，減少甚至消除光照分量的影響，可以還原物體本身真實的紋理信息，被視為一種乘性噪聲。為避免圖像融合過程中的欠定問題、提高融合圖像的質量，這里主要考慮圖像中普遍存在的加性噪聲，本文考慮的是圖像中普遍存在的高斯白噪聲。

3 基于圖像退化模型的紅外與可見光圖像融合方法

本文提出可見光與紅外圖像融合的圖像退化模型，為可見光與紅外圖像融合提供了明確目標，有監督學習的卷積神經網絡的目標是擬合圖像退化函數的反函數以恢復理想的融合圖像，可由式(5)表示

其中，If為神經網絡輸出的融合圖像，F為融合網絡模型，Θ代表融合網絡模型的權重參數。神經網絡訓練目標可由式(6)表示

其中， E表示數據相似度度量函數。

3.1 數據增強

根據提出的圖像退化模型，本文設計了對應的數據增強方法。首先，考慮到紅外圖像較少且分辨率較低，應選取更易于獲取的高清可見光數據集，并將圖像灰度化后分割為合適尺寸的圖像塊。由于圖像融合網絡的網絡深度較淺，其有效感受野十分有限，實驗表明大尺寸的訓練圖像并未明顯改善性能，卻成倍增加網絡訓練時間和內存，所以與傳統圖像融合訓練方法不同，本文選取尺寸為64×64的小尺寸訓練圖像塊。

然后，對數據集進行隨機水平翻轉、隨機垂直翻轉和隨機旋轉以實現數據增廣。再根據模擬退化過程，對分割后的圖像塊Ih分別采用兩個隨機模糊核和標準差的各向同性高斯模糊核對圖像進行模糊。考慮到融合網絡應更注重訓練信息互補能力，而不是去模糊的能力，所以這里僅對圖像的局部區域進行模糊

其中，Mn為 模糊區域二進制掩模，紅外與可見光圖像的模糊區域掩模之間的重疊部分，用于訓練網絡的去模糊能力，提高圖像的成像質量。而其非重疊部分則用于訓練網絡的信息互補能力。出于相同目的，亮度退化和噪聲退化實現過程中，以相同方式進行局部處理，最終獲得訓練圖像對Is={Is1,Is2}，可由式(8)表示

模擬退化的效果如圖3所示。另外，神經網絡結構中還存在大量非線性函數，這導致融合過程中可能會丟失部分信息。為解決該問題，除使用局部變換方法以外，還將數據集中所有模擬退化過程的出現概率設置為0.5，以此增加網絡的線性融合能力。

圖3 模擬退化圖像效果圖

3.2 神經網絡結構

如圖4所示，本文采用了編解碼器結構，先將紅外與可見光圖像的通道進行拼接(concatenate)，然后由一個卷積層提取初級特征，再采用一個3層的密集連接層提取多層次的深層圖像特征，最后經過擁有4層卷積層結構的解碼器進行解碼，輸出融合圖像。

圖4 紅外與可見光圖像融合網絡結構圖

如3.1節所述，紅外與可見光融合網絡需要一定程度的線性成分，ReLU是一個常用的激活函數，它在大于0和小于0的情況下是線性的，而在整個定義域上考慮，它仍是個非線性激活函數。本文在卷積層后采用線性修正單元(ReLU)以在非線性和線性之間尋求平衡。

目前，很多紅外與可見光融合網絡在其結構內采用了批歸一化層(Batch Normalization,BN)。批歸一化層雖然在圖像分類等任務中表現出色，但在圖像融合等底層視覺領域，往往更關注圖像像素或特征之間的絕對差異，而批歸一化層對圖像灰度分布歸一化后破壞了圖像原始的對比度信息，導致融合圖像失去層次感和真實性，故本文移除了網絡中的所有批歸一化層。

相比傳統的紅外與可見光融合網絡，本文提出的網絡框架無需設置任何特征圖融合規則，也不需要使用預訓練模型，實現了端到端的設計、訓練和推理。

3.3 網絡訓練框架

因為本文提出用于可見光與紅外圖像融合的圖像退化模型，訓練時將兩幅退化圖像拼接后輸入網絡，將網絡輸出與退化前的原始高清圖像做相似度度量，以此不斷更新融合網絡的網絡參數，屬于有監督學習，網絡訓練總體框架如圖5所示。

圖5 網絡訓練總體框架

對于損失函數的設計，采用了像素損失函數和感知損失函數作為網絡的總損失函數，其中，像素損失采用SoothL1Loss損失函數避免梯度爆炸問題，可由式(9)表示

其中，p為圖像中的像素，N為圖像中的像素總數。為了進一步改善視覺效果，感知損失函數采用結構相似性SSIM函數

其中，μ和σ分別表示圖像的均值和方差。最終的總損失函數定義為

其中，a為平衡像素損失和感知損失的權重，根據實驗經驗，本文設置a=0.5。

4 實驗與分析

本文首先對本算法與其他先進對比算法的融合結果進行對比和分析，實驗結果包括定性和定量分析，以證明算法的先進性。然后為了驗證方法的有效性，進行了充分的消融實驗。

4.1 實驗設置

(1)數據集：訓練過程中采用Flicker2K[20]數據集進行訓練，該數據集包括2K分辨率高清可見光圖像2650張，該數據集亮度合適、細節豐富，均為符合人眼觀察的理想可見光圖像。直接將該數據集進行4倍下采樣后灰度化處理，分割為64×64的圖像塊后再挑選了其中80000張圖像塊。這些圖像塊每次進行訓練之前都經過同3.1節提出的數據增強方法進行增強，其中模糊退化采用的各向同性高斯核的核尺寸取[1,15]，其方差取(0,10)，亮度/對比度退化亮度的亮度和對比度的偏移幅度均設置為(0.5,2)，噪聲退化部分則引入了均值為0，方差為(0,0.02)的高斯白噪聲。

(2)訓練設置：神經網絡訓練的過程中，設置學習率為1e-4,Mini-Batch Size設置為20，迭代訓練40000次。采用Adam優化器以實現快速穩定的梯度下降，設置Adam優化器的betas為(0.9,0.999)，權重衰減為1e-8。本文的所有實驗均在NVIDIA RTX3090 GPU上實現，采用的深度學習框架為Pytorch 1.9.0。

(3)測試設置：測試過程采用TNO數據集[21]與VIFB[22]數據集，均為紅外與可見光圖像融合專用數據集。

4.2 與現有先進算法的對比實驗

為了體現本文方法的先進性，與9種融合算法進行主客觀對比，這些對比算法分別為：CSR[23],ADF[24], CBF[25], CNN[12], DenseFuse[11], FusionGAN[26], GANMcC[27], IFCNN[28]和SEDR[29]。為了公平對比，所對比的所有算法均采用原作者提供的源程序生成融合圖像，所有算法的設置或權重參數均由其原作者提供。

4.2.1 TNO數據集對比實驗

如圖6、圖7所示，分別展示了TNO數據集兩個場景下各對算法的對比效果圖。

由圖6可以看出，其他對比算法不能很好地結合紅外與可見光圖像的特征，大多數圖像中的螺旋槳已不可見，GAN網絡甚至引入了偽影。本文算法不僅保留了豐富的機身細節，而且螺旋槳輪廓也清晰完整，整體質量優于其他算法。相比于其他對比算法，本文算法能更大限度地保留紅外與可見光圖像的特征信息。

圖6 場景1融合效果對比

由圖7可見，其他對比算法都受到可見光圖像中煙霧較為嚴重的干擾，人物和背景的特征與細節丟失十分嚴重。本文算法有效地抑制了可見光中煙霧的影響，保留豐富的圖像細節和信息。相比其他對比算法，本文算法能有效消除紅外與可見光圖像受成像過程中惡劣成像條件的影響，實現更高質量的圖像融合。

圖7 場景2融合效果對比

為了進一步體現本文算法的特點和先進性，本文對網絡融合能力進行了定量分析。文獻[22]中指出，定性和定量分析可能存在一定的區別，但定性分析在圖像融合效果評估中仍具有重要意義。故采用10種評價指標評估各對比算法在驗證數據集上的表現，這些指標為峰值信噪比(Peak Signal-to-Noise Ration, PSNR)、結構相似性(Structural Similarity Index Measure, SSIM)、均方根誤差(Root Mean Squared Error, RMSE)、梯度融合性能(QAB/F)、Chen-Blum度量(QCB)、Chen-Varshney度量(QCV)、互信息(Mutual Information,MI)、交叉熵(Cross Entropy, EN)、平均梯度(Average Gradient, AG)和邊緣強度(Edge Intensity, EI)。

各對比算法在TNO數據集中的定量性能表現如表1 所示，各指標最優值標紅以突出顯示。CBF算法在無參考評價指標平均梯度和邊緣強度上取得最優的結果，但它的定性分析顯示其融合結果中存在嚴重的失真現象，這說明無參考指標很容易受到噪聲、偽影等情況的影響。本文算法在8個有參考指標中的6個顯著優于所有其他對比算法，僅在梯度融合性能和Chen-Varshney度量要稍遜于部分對比算法。本文算法在PSNR,SSIM,QCB和RMSE的良好表現證明本文方法保留了紅外與可見光更多的結構信息和紋理特征，MI和CE兩個指標則證明本文算法在信息論的角度與紅外與可見光圖像相關程度更高。

表1 TNO數據集中各對比算法定性對比表

4.2.2 VIFB數據集對比實驗

為了充分體現本文方法的先進性，本文在VIFB數據集上進行驗證，實驗設置和評價指標均與TNO數據集對比試驗相同。如圖8、圖9所示，分別展示了VIFB數據集中的兩個場景下各對比算法的對比效果圖。

由圖8可以看出，其他對比算法的融合圖像中對紅外圖像中的天空細節沒有明顯的體現。而本文算法的融合圖像中不僅融合了完整的天空紋理，而且可見光圖像中的各處細節在融合圖像也得到了明顯的增強。

圖8 場景3融合效果對比

圖9中，各對比算法融合圖像中對于遠處的紅外目標沒有較好的融合。本文算法的融合圖像中遠處的紅外目標較為完整且明顯，可見光圖像中的細節也得到了充分的保留，圖像整體也更符合人眼視覺。

圖9 場景4融合效果對比

如表2所示，VIFB數據集上的定量性能表現與TNO數據集相近。本文算法在PSNR, SSIM,RMSE, MI和CE相比其他對比算法依舊具有較為明顯的優勢，而在QAB/F, QCB和QCV3個性能指標上的表現僅次于CNN算法，也擁有較好的表現。各算法在兩個驗證數據集上的分析結果相同，定量分析結果與定性分析結果是一致的，證明了本文方法的先進性。

表2 VIFB數據集中各對比算法定性對比表

4.3 消融實驗

為了分析本文提出的方法的有效性和特性，本節將對所提出數據增強方法和損失函數進行消融實驗。

首先本文探究了圖像退化模型中各退化子過程對融合質量的影響，分別將亮度退化過程、噪聲退化過程和模糊退化過程刪除，除此之外均采用相同的網絡結構、數據集和訓練設置。

本文將上述3種情況標記為方案1、方案2和方案3，客觀性能指標變化如表3所示。除了無參考指標和梯度融合性能外，方案1、方案2和方案3的大部分的參考指標較完整的本文算法相比有不同程度的下降。

表3 各退化過程對融合結果的影響

不同情況下的主觀評價如圖10所示，方案1的融合結果人物過亮導致細節丟失。而方案3圖像過于模糊，很多細節難以分辨，導致視覺效果不好，方案2則在平滑區域部分出現較為明顯的噪聲。3種退化過程完備的情況下，其圖像細節特征完整，圖像整體質量更好。定性分析和定量分析結果一致，證明了本文所提圖像退化模型的合理性和有效性。

圖10 不同退化過程的融合效果對比

然后本文對所提出的融合框架中的損失函數設計進行消融實驗。如3.3節所述，本文采用的損失函數由像素損失和感知損失函數構成，本文將進一步研究僅由像素損失和僅由感知損失兩種情況下對融合質量的影響，客觀性能指標變化如表4所示。

由表4可以看出，當僅有像素損失和感知損失的情況下，均有一部分指標達到最優，混合損失更像是實現兩種損失的平均性能。然而從圖11見，僅有感知損失的情況下，其中左側的房子和右側的標志牌上引入了部分噪聲，影響了視覺效果。而僅有像素損失的情況下遠處的路標輪廓不完整，但是在平滑區域具有更良好的表現。本文采用的混合損失則結合了二者的優點，在細節還是平滑區域都達到了良好的平衡。

表4 不同損失函數對融合結果的影響

圖11 不同損失函數的融合效果對比

5 結束語

本文提出一種紅外與可見光圖像融合退化模型，包括模糊退化過程、亮度退化過程和噪聲退化過程。然后設計了與圖像退化模型相應的數據增強方案，解決了紅外與可見光圖像融合的數據集稀少的問題，并提出局部退化和隨機退化以增強網絡的融合能力。基于所提出的圖像退化模型和數據增強方案，設計了端到端的網絡模型及網絡訓練框架，結構簡單易于實現，避免了設計特征融合策略和復雜的損失函數。實驗結果表明，本文所提出的方法相比大多紅外與可見光融合算法，具有更強的特征提取和融合能力，在融合紅外與可見光圖像有用信息的同時可以抑制光照、煙霧和噪聲等干擾，融合的圖像具有更好的視覺效果和客觀評價指標。在未來的工作中，將對退化模型中的乘性噪聲展開進一步的分析和完善，提供更合理的退化模型以達到更好的可見光與紅外融合效果。