結合亮度感知與密集卷積的紅外與可見光圖像融合

曲海成，王宇萍，謝夢婷，肖葦

（1.遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105;2.中國鐵路沈陽局集團有限公司阜新車務段，遼寧 阜新 123100）

圖像融合是一種圖像增強技術，其目的是融合不同傳感器提供的圖像，生成信息更豐富的圖像，以便于后續處理。其中紅外與可見光圖像融合是計算機視覺領域中非常重要的部分。首先，紅外圖像與可見光圖像的信號來自不同的模式，因此可以從不同方面提供場景信息；其次，二者幾乎呈現了物體的所有特性，并且具有互補性。可見光圖像捕獲反射光，通常具有較高的空間分辨率和可觀的細節和明暗度，但很容易受到惡劣條件如光照差、煙霧等的影響，而捕獲物體熱輻射的紅外圖像能夠抵抗這些干擾，但通常分辨率低，紋理較差。根據二者的成像特點進行圖像融合，得到的互補融合圖像可以廣泛應用到遙感圖像分類[1-2]、目標檢測[3-4]和視頻監控[5]等領域。

圖像融合分為像素級融合、特征級融合和決策級融合。在過去的幾十年里，國內外學者提出了多種紅外與可見光圖像融合方法。在像素級融合方法中，具有代表性的方法有變換域的ADF[6]、CBF[7]和WLS[8]和稀疏域的ASR[9]、LP[10]等方法。變換域中基于多尺度變換[11]的方法最為活躍，將源圖像分解成多個層次，用特定的規則融合相應的層次，再重建目標圖像，但由于其忽略了融合過程中的空間一致性，容易在融合圖像中引入光暈。稀疏域的方法[12]需要構建一個過完備字典，需要多次迭代，非常耗時。圖像融合中合適的信息提取方法和有效的融合原理是保證融合性能的關鍵[13]。近年來隨著深度學習的興起，國內外學者提出了許多基于深度學習的融合方法。2017 年，Prabhakar 等[14]針對多曝光融合問題提出了基于卷積神經網絡的圖像融合方法(Deep-Fuse)，該方法網絡結構過于簡單，并且只使用編碼網絡中最后一層計算的結果，中間層獲得的有用信息會丟失。2019 年，Ma 等[15]提出了一種基于生成對抗網絡的融合方法(a GAN network for image fusion,FusionGAN)，在保留熱輻射信息的同時保留細節紋理信息，達到了較好的性能。但生成器與判別器網絡結構相對簡單，損失函數只考慮梯度來衡量紋理信息，從而導致一些重要信息的丟失。2018 年，Li 等[16]提出了一種基于深度網絡的紅外與可見光圖像融合方法，這種方法將源圖像通過導向濾波的方式進行分解，得到圖像的基礎部分和細節內容，對基礎部分和細節內容分別融合。該方法耗費大量計算資源。2019 年，Li 等[17]提出了帶有密集連接的紅外與可見光圖像融合方法(Dense-Fuse)，網絡由編碼網絡、融合層和解碼網絡組成。該方法采用相同的編碼網絡對紅外圖像與可見光圖像進行特征提取，會存在特征丟失問題。2020 年,Xu 等[18]提出了一種端到端的統一無監督學習圖像融合方法(U2Fusion)，是一種通用圖像融合方法，但訓練起來非常復雜，占用大量資源。

上述研究主要針對光照條件較好的場景圖像進行融合。由于光照條件好時，可見光圖像的紋理細節特征清晰，而光照條件差時，可見光圖像的偽影和噪聲會影響融合質量。于是，為消除光照條件對融合圖像性能的影響，提高暗條件下融合圖像目標的清晰度，提出一種結合亮度感知與密集卷積的紅外與可見光圖像融合方法（BPDFusion）。本文的主要工作：1）建立可見光圖像暗區域增強模型，消除光照條件對融合性能的影響；2）將密集卷積嵌入特征提取網絡，提取圖像深層特征同時保留淺層特征，避免梯度消失問題；3）由多損失函數構建端到端的無監督學習圖像融合過程；4）將提出的方法在TNO 和KAIST數據集上進行對比實驗。

1 相關研究

1.1 FusionGAN 方法

Ma 等[15]提出的FusionGAN 方法首次將對抗生成網絡應用于圖像融合領域。FusionGAN 方法整體框架如圖1 所示。生成器是整個模型的主要網絡，影響最終融合圖像的質量。判別器的目的是將可見光圖像的細節信息加入到融合圖像。訓練階段，生成器網絡與判別器網絡協同、交替更新網絡參數；測試時直接利用訓練好的生成器生成融合圖片。通過生成器與判別器對抗訓練，使得最終的融合結果中既包含紅外熱輻射信息，又包含可見光圖像的細節特征。

圖1 FusionGAN 的整體框架Fig.1 Entire process of FusionGAN

FusionGAN 方法存在的問題：1）未考慮暗條件下可見光圖像暗區域會給融合圖像引入干擾信息；2）生成器與判別器網絡結構相對簡單，突出特征提取不當；3）損失函數只考慮可見光梯度和紅外強度來衡量融合圖像與源圖像的關系，會導致一些重要信息的丟失。

1.2 密集卷積網絡

為解決特征提取過程中特征丟失問題，對密集卷積網絡進行了調研。Huang 等[19]為了使網絡中所有層之間的信息流最大，將網絡中的所有層兩兩進行連接，使得網絡中每一層都接受它前面所有層的特征作為輸入，并將這種網絡結構稱為DenseNet。密集卷積網絡實現了信息流動最大化，通過多個前層與后層的連接，保證前層信息得到充分利用，使所有中間層信息得以保留。為了進行特征復用，在跨層連接時使用的是在特征維度上的 Concatenate 操作，每經過一個單元模塊，下一層的特征維度數量就會增加k，k值越大意味著在網絡中流通的信息越大，但是整個模型的尺寸和計算量也會增加。為了避免隨著網絡層數的增加，后面層的特征維度增長過快，本文方法在每個階段之后進行下采樣時，首先通過一個卷積層將特征維度壓縮至當前輸入一個適當值，然后再進行Pooling 操作，這樣能適當降低網絡復雜度和計算量。

1.3 多損失函數

在無監督學習圖像融合方法中，損失函數在融合圖像生成過程中發揮重要作用。FusionGAN的生成器損失主要由對抗損失、紅外強度損失及可見光梯度損失組成，沒有考慮到紅外圖像的熱輻射信息和可見光圖像的紋理信息不能單純靠強度梯度損失來約束，忽略了源圖像與融合圖像整體信息關聯性。結構相似性是衡量兩幅圖像相似度的指標，本文方法提出多損失函數模型來提高網絡的學習能力，在內容損失中增加結構相似性損失和像素損失，更具針對性地保留源圖像特征信息。

2 BPD-Fusion

由于亮度對紅外與可見光圖像融合性能有較大影響，本文提出結合亮度感知與密集卷積的紅外與可見光圖像融合方法（BPD-Fusion）。BPDFusion 方法整體框架如圖2 所示，訓練時，對于生成器，首先將可見光圖像輸入亮度感知模塊，得到暗區域增強的可見光圖像；然后，將可見光圖像與紅外圖像Concat，通過密集卷積模塊提取豐富的圖像特征，將特征圖經特征重構生成融合圖像。對于判別器，輸入可見光圖像或生成器輸出的初步融合圖像，由卷積神經網絡提取圖像特征，輸出對兩類圖像的判別值，以便于將可見光圖像的細節信息不斷地加入到融合圖像中。整個過程以多損失函數約束融合圖像與源圖像的關系，增強模型圖像生成與重構能力。

圖2 BPD-Fusion 整體框架Fig.2 Overall framework of BPD-Fusion

生成器包含了亮度感知模塊、輸入層、特征提取模塊、特征重構模塊和輸出層5 個部分。將可見光圖像輸入亮度感知模塊，得到暗區域增強的可見光圖像，然后將可見光圖像與紅外圖像Concat 作為2 通道輸入圖像，進入密集卷積模塊進行特征提取，得到264 通道特征圖，通過特征重構得到單通道融合圖像。其具體網絡結構參數見表1。Conv1 采用5×5 大小的卷積核，以較大感受野獲取源圖像特征。

表1 亮度感知機制網絡結構Table 1 Brightness sensing mechanism and network structure

判別器的目的是將可見光圖像的細節信息加入到融合圖像中。若對可見光圖像的判別結果越大，則判別能力越強[20]。判別器包含4 個卷積層和1 個線性層，卷積層以3×3 大小的卷積核進行特征提取，填充方式均為VALID，激活函數為LeakyReLU，除第一個卷積層外，均使用Batch-Norm 進行參數批歸一化處理，提高模型收斂速度。線性層輸出對輸入圖像的判別結果。判別器的網絡結構及參數信息見表2。

表2 判別器網絡整體結構Table 2 Overall structure of the discriminator network

2.1 亮度感知與暗區域亮度增強

為了提高融合圖像質量，消除光照環境對融合性能的影響，設計了亮度感知模塊。該模塊對可見光圖像進行亮度計算，按亮度權重為圖像暗區域進行亮度增強，避免光照條件差時可見光圖像向融合圖像引入較多噪聲。該模塊對輸入的多通道可見光圖像以YCbCr 模式讀取。首先，取第一個通道Y 即亮度通道將其轉為灰度圖像，此時圖像的灰度值即亮度值；然后，通過卷積操作得到特征圖，使用平均池化計算平均亮度；最后，使用Sigmoid 操作將圖像亮度轉換到0 到1 之間作為亮度權重，在通道維對圖像進行亮度加權，在保持較亮區域亮度同時，增強暗區域的亮度，并與源圖像做殘差處理，避免特征丟失問題。預處理完畢后，得到增強的可見光圖像作為下一個模塊的輸入。該模塊整體結構如圖3所示。

圖3 亮度感知模塊整體結構圖Fig.3 Structural diagram of the brightness sensing module

模塊的輸入為多通道彩色或灰度可見光圖像，然后將其轉換成單通道灰度圖像輸入卷積神經網絡。網絡的第一層Conv_l1 和第二層Conv_l2 均由Conv+ReLU+MaxPooling 組成，第三層gap 由Conv+ReLU+Avg_Pooling+Sigmoid 組成。圖3 中數字代表圖像通道數。

網絡的參數設置及功能如下：

1）卷積核與激活函數。Conv_l1、Conv_l2 和gap 這3 個卷積層均使用3×3 大小的卷積核進行內部特征提取，激活函數使用ReLU。

2）步長與填充設置。每個卷積的步長均為1，在特征通道數增加的同時，在Conv_l1 和Conv_l2 階段后，使用最大池化減小特征圖尺寸，卷積時不需填充，因此填充方式為VALID。

3）平均池化與Sigmoid 輸出。在gap 層，使用平均池化reduce_mean 操作得到平均亮度，然后，通過Sigmoid 函數將圖像的平均亮度值轉換成（0,1）之間的值得到亮度權重，對圖像進行暗區域亮度增強，得到增強的可見光圖像。

2.2 密集卷積結構

為保證融合圖像包含更多源圖像信息，將密集卷積網絡應用于圖像融合。從Conv1 階段得到的44 通道特征圖輸入密集卷積模塊，對于塊內每一層，其輸入特征圖為前面所有層輸出特征通道的級聯。增長率設置為44，為提高模型計算速度，使內部每個卷積塊均輸出44 通道特征圖，在保留淺層特征的同時，又增加深層特征。最后整個密集塊的輸出為264 通道特征圖。具體網絡結構設計如圖4 所示。

圖4 密集卷積模塊結構圖Fig.4 Structural diagram of the dense convolution module

網絡的參數設置及功能如下：

1）卷積核大小設置。密集卷積模塊為了提取深層特征，5 個卷積層均使用3×3 大小的內核進行內部特征提取，將特征進行通道維級聯可避免特征丟失，使融合圖像內容更豐富。

2）步長與填充設置。每個卷積的步長均為1，為保證特征圖尺寸不變，卷積時使用SAME 方式進行填充，減少了中間層的特征丟失，層與層之間的特征關聯更強，使得融合圖像與源圖像具有高度相關性。

3）批歸一化與激活函數。BatchNorm 操作對卷積層輸出進行批歸一化處理，可加快模型收斂速度，前向傳播時每一層直接與密集塊輸入相連，反向傳播時誤差可以更早地傳播到前層，可有效避免梯度消失問題，有利于提高模型訓練的穩定性[15]。每層使用LeakyReLU 激活函數。

2.3 多損失函數

BPD-Fusion 的損失函數包括生成器損失和判別器損失兩部分：生成器損失計算融合圖像與源圖像之間的差別；判別器以可見光圖像作為標簽，訓練辨別可見光圖像與融合圖像的能力。

1）生成器損失函數

生成器損失（LG）包含對抗損失（LAdv）及內容損失（Lcon），其定義為

LG=100LAdv+Lcon

內容損失（Lcon）是生成器的主要損失函數，決定了融合圖像與源圖像間的相關性及重點提取紅外圖像與可見光圖像的哪些特征。內容損失越小，融合圖像中源圖像的特征越多。本文方法在內容損失中加入結構相似性損失和像素損失，更具針對性地保留源圖像特征信息。BPD-Fusion 的內容損失由強度梯度損失（LGrad）、結構相似度損失（LSSIM）和像素損失（LPixel）組成，其定義為

對抗損失（LAdv）是生成器與判別器交互的損失函數，其定義為

D(F)為判別器對融合圖像的判別結果，在（0,1）之間，a為軟標簽（取值不確定的標簽）。a值越大，意味著融合圖像正在向可見光圖像靠近，又要保證損失最小，根據文獻[15]將軟標簽a的取值范圍設置為（0.7,1.2）。

2）判別器損失函數

判別器損失函數（LD）的目的是約束判別器網絡反向傳播參數更新，訓練判別器對可見光圖像和融合圖像的判別能力，其定義為

式中：D(V)為判別器對可見光圖像的判別結果；D(F)為判別器對融合圖像的判別結果；b、c為軟標簽（取值不確定的標簽），根據文獻[15]將b的范圍設置為（0.7,1.2），將c的范圍設置為（0,0.3）。

3 實驗結果與分析

實驗在Windows10 操作系統和NVIDIA GTX 1080Ti GPU 上完成，采用深度學習框架Tensor-Flow 1.12.0。訓練過程學習率設為0.000 01，batch_size 設置為32，訓練迭代次數設置為20，其中每次判別器訓練次數設置為2。BPD-Fusion 方法主要目的是解決暗條件紅外與可見光圖像融合效果差的問題，本節采用TNO[21]數據集的35 對白天圖像和KAIST[22]數據集的21 對夜間圖像評估提出方法的性能。選擇ADF[6]、CBF[7]、WLS[8]、Deepfuse[14]、deeplearning[16]和Densefuse[17]這6 種方法與本文方法作對比實驗，對融合圖像進行主觀評價和客觀評價。對比實驗圖片由PyCharm和Matlab 程序生成，客觀評價指標計算通過MATLAB 軟件實現。

3.1 主觀評價

BPD-Fusion 與對比方法在TNO 數據集中傍晚的“房屋與車輛”實驗結果如圖5 所示。

圖5 TNO 數據集中“房屋與車輛”融合結果Fig.5 Fusion results of“house and vehicle”in TNO dataset

從圖5 的實驗結果可以看出：圖（c）中，房屋左側的樹輪廓模糊，整幅圖像清晰度較低；圖（d）中，整體噪聲大，視覺效果較差；圖（e）中，天空中的云邊緣不清晰，整體紋理細節信息少；圖（f）、（g）中，紅外目標較亮，可見光圖像紋理信息部分丟失，房屋前的路燈周圍有光暈；圖（h）中，整體背景偏暗，有輕微偽影；圖（i）中，整體背景較亮且清晰，目標突出，能清楚地識別地磚、樹木、云、房屋、路燈和車輛等。

BPD-Fusion 與對比方法在KAIST 數據集中路燈下的“行人與自行車”實驗結果如圖6 所示。

圖6 KAIST 數據集中“行人與車輛”融合結果Fig.6 Fusion results of“pedestrian and vehicles”in KAIST dataset

從圖6 的實驗結果可以看出：圖（c）、（e）中，左側樹旁邊的暗處細節不清晰；圖（d）中，圖像整體上有明顯的黑塊，不夠平滑；圖（f）、（g）中，人與汽車的輪廓都比較模糊；圖（h）中，右邊一排暗處的自行車邊緣不清晰；圖（i）中，自行車與路中間的人輪廓清晰可見，圖像整體平滑，細節信息與熱輻射信息都能較好地體現。

BPD-Fusion 與對比方法在KAIST 數據集中夜晚照明條件差的“行人”實驗結果如圖7 所示。

圖7 KAIST 數據集中“行人”融合結果Fig.7 Fusion results of“pedestrian”in the KAIST dataset

從圖7 的實驗結果可以看出：圖（c）中，背景較暗，道路中間的兩個行人模糊；圖（d）中，路燈中心有黑塊，整體噪聲較大；圖（e），圖像整體不夠平滑，暗處物體特征丟失；圖（f）、（g）中，人的輪廓信息不清楚，丟失了可見光圖像的細節信息；圖（h）中，整體偏暗，目標與背景沒有很好地區分開；圖（i）中，整體較亮，可以看到每層樓的窗戶輪廓，道路中間和左邊的行人輪廓清晰，墻壁、樹、路障的細節信息豐富。

3.2 客觀評價

為了進一步評價融合圖像的融合效果，使用客觀評價方法進行評估。選取信息熵（information entropy,EN）[23]、互信息（mutual information,MI）[24]、差異相關和（sum of correlation and difference,SCD）[25]和平均梯度（average gradient,AG）為測評指標，從圖像信息豐富度、互補性和紋理細節等不同角度對融合圖像進行評價。以下為測評指標的計算公式。

1）信息熵（EN）。其值大小能夠體現融合圖像中平均信息量的多少，其定義為

式中：pi為灰度值為i的像素數與圖像總像素數之比，信息熵越大，表明圖像所含信息越豐富。

2）互信息（MI）。該指標的大小表示融合圖像中源圖像信息量的多少，用于衡量二者之間的信息相關性，互信息值越大，代表融合圖像包含源圖像的信息越多，圖像融合效果越好，計算方法為

式中：A、B為源圖像；F為融合圖像。

3）差異相關和。該指標衡量兩源圖像之間信息的互補性，差異之和越大，說明融合圖像中互補信息越多，圖像融合效果越好，其定義為

式中：F為融合圖像；r為計算DA和DB與兩張源圖像A與B的相關系數；DA和DB分別定義融合圖像與源圖像之間的差異。

4）平均梯度。該指標反映了圖像中細節反差與紋理變化特征及圖像的清晰度，其值越大，圖像越清晰，其定義為

式中：Δxf(i,j)、Δyf(i,j)分別為像素(i,j)在x，y方向上的一階差分值。

首先，在TNO 數據集中選取了35 對照明條件一般的紅外與可見光圖像，由BPD-Fusion 與6 種對比方法分別生成融合圖像進行測評，測評結果見表3。表3 中數值均為每種方法生成的35 張融合圖像在EN、MI 和SCD 指標上測評結果的平均值，所有指標的值越大越好。

由表3 可以看出，BPD-Fusion 在EN、MI 兩個指標中取得最大值，相比其他方法有明顯的提高，說明得到的融合圖像信息更豐富。本組源圖像光線稍好，保留了更多的可見光圖像有利細節信息，互補性不是最大，差異相關和較最優值稍低一點，但主觀評價和客觀評價上仍然達到了較好的效果。

表3 TNO 數據集35 組融合圖像客觀評價指標均值Table 3 Mean value of the objective evaluation of the fusion images of 35 groups in the TNO dataset

然后，為了驗證BPD-Fusion 在暗條件下融合的優越性，在KAIST 數據集中選取21 對照明條件較差的紅外與可見光圖像，與6 種對比方法的測評結果見表4。表4 中數值均為每種方法生成的21 張融合圖像在EN、MI 和SCD 指標上測評結果的平均值，其值越大越好，計算時間越小越好。

由表4 可見，BPD-Fusion 在KAIST 數據集上的融合圖像其EN、MI 和SCD 這3 個方面都是最優的。KAIST 數據集中圖像偏暗，BPD-Fusion 中的亮度感知機制很好地感知了亮度條件，提取源圖像中有用的信息，抑制干擾信息，使融合圖像測評指標值提高。

表4 KAIST 數據集21 組融合圖像客觀評價指標均值Table 4 Mean values of the objective evaluation of the fusion images of 21 groups in KAIST dataset

最后，為驗證BPD-Fusion 中亮度感知暗區域增強模型、密集卷積模塊及多損失函數的作用，使用KAIST 數據集中的21 對典型紅外與可見光圖像做消融實驗，采用客觀評價對所有方法生成的融合圖像進行測評，測評結果見表5。表5 中數值均為每種方法生成的21 張融合圖像在EN、MI、SCD 和AG 指標上測評結果的平均值，所有指標的值越大越好。

表5 KAIST 數據集消融實驗客觀評價Table 5 Objective evaluation of the ablation experiment in KAIST data set

由表5 可以看出，方法2 在方法1 基礎上采用多損失函數，3 個指標較方法1 均有提升，在生成器損失函數中加入結構相似度損失和像素損失，更加全面地優化了融合圖像。方法3 在方法2 基礎上，在生成器的Conv1 階段后嵌入密集卷積模塊，指標值較方法2 均有提升，密集卷積提取深層特征同時保留淺層特征，優化時避免了梯度消失問題，使融合圖像中的互補信息增多。方法4 在方法3 的基礎上加入亮度感知模塊，對可見光圖像的暗區域進行亮度增強，充分利用了可見光圖像的細節特征與紅外圖像的熱輻射特征，使測評結果大幅提高。方法4 即BPD-Fusion 生成的融合圖像如圖5、圖6 和圖7 所示，圖像中的信息更豐富，視覺效果良好。

4 結束語

針對弱光照條件下紅外與可見光圖像融合效果較差的問題，本文提出一種結合亮度感知與密集卷積的紅外與可見光圖像融合方法。該方法使用亮度感知機制，對可見光圖像暗區域進行亮度增強處理，向融合圖像中加入有利的可見光圖像細節信息，抑制不利信息的引入。同時，在生成器特征提取階段嵌入密集卷積，減少了中間層的特征丟失，同時解決了梯度消失問題，使得融合圖像與源圖像具有高度相關性。此外，使用多損失函數構建端到端的無監督學習圖像融合過程，增強模型學習能力。主觀評價和客觀評價結果表明，提出的方法在圖像的視覺觀察、目標清晰度和信息互補性等方面具有良好的性能。本文方法可應用于目標檢測和目標追蹤等領域，進一步探索如何保留色彩信息是今后的工作方向。