改進多尺度結構化融合的紅外與可見光圖像融合

龍志亮，鄧月明，謝 競，王潤民

（湖南師范大學 信息科學與工程學院，湖南 長沙 410081）

1 引言

可見光圖像是通過傳感器捕捉物體表面反射的光線而成像的，在足夠的光源強度下包含清晰的視覺信息，但在弱光夜視環境下呈現的圖像信息比較模糊。紅外圖像是通過傳感器檢測物體和環境的紅外輻射能量差異進行成像的，能夠區分圖像的目標和背景［1］，但受成像機理的影響，不能呈現目標場景的整體環境和空間結構。因此，將弱光環境下的紅外與可見光圖像進行有效融合，生成一幅清晰度高、細節紋理豐富的圖像，對推動軍事偵察、夜間行駛和安防監控等夜視技術的發展有著重要的意義［2］。

圖像融合方法主要分為傳統方法和深度學習方法兩大類［3］。深度學習具有強大的圖像特征表示能力，按照網絡框架不同，可分為卷積神經網絡、生成對抗網絡和自編碼器網絡方法［4］。傳統方法主要包括多尺度變換、稀疏表示、顯著性、子空間、混合等方法。其中，多尺度分解方法和融合規則的選擇具有靈活性，因此研究應用最為廣泛［5］。

多尺度變換通過將源圖像分解為多個尺度的子圖像，根據每個子圖像的特點來設計適宜的融合規則，從而得到符合人們視覺感知的圖像［6］。但受到源圖像清晰度低和分解方法缺陷的影響，大部分多尺度變換方法存在細節提取能力不足、耗時長等問題。非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）具有高度的方向性，能夠捕獲圖像在不同尺度上的細節信息，但在邊緣附近容易產生偽影現象［7］。邊緣保持濾波器成功應用于圖像的多尺度表示中，其中滾動引導濾波器（Rolling Guidance Filter，RGF）可以平滑圖像的細節紋理，保留圖像的邊緣輪廓，但存在有效信息損失的問題［8］。多級潛在低秩表示（Multi-level image Decomposition based on Latent Low-Rank Representation，MDLatLRR）能夠很好地保留源圖像的細致紋理，減少圖像有效信息的損失，但分解過程耗時長［9］。結構化圖像塊分解（Structural Patch Decomposition，SPD）能夠快速分離出圖像的細節紋理和空間結構，還能克服偽影和光暈現象，但融合結果缺失可見光圖像中清晰的細節紋理［10］。因此，為了提取圖像清晰的細節信息，實現快速融合，本文提出將多尺度結構化分解（Multi-scale Structural Image Decomposition，MSID）與動態范圍壓縮（Dynamic Range Compression，DRC）相結合，在圖像融合前，使用DRC 增強算法提高弱光環境下可見光圖像的清晰度，再通過MSID 提取出清晰的細節紋理，為融合過程提供豐富的信息。

圖像的整體結構、大體輪廓等基本信息屬于圖像的低頻信息。現有的融合規則通常采用加權平均對圖像的低頻信息進行融合［11］，但由于紅外與可見光圖像動態范圍的差異性較大，亮度范圍不一致，加權平均融合規則容易引入噪聲、降低圖像的對比度。本文提出一種基于均方根誤差（Root Mean Square Error，RMSE）系數的融合規則，通過計算圖像局部的RMSE 系數作為融合權重，對圖像的低頻信息進行自適應融合，以減少噪聲和失真現象。

圖像的細節紋理、邊緣輪廓等變化速度較快的信息屬于圖像的高頻信息。采用范數優化、深度學習的方法可以有效融合圖像的高頻細節，但也存在一些缺陷。范數優化通常基于先驗模型，缺乏一定的靈活性和普適性［12］；深度學習具有強大的特征提取和表達能力，在一定程度上能夠生成細節紋理較豐富的融合圖像，但融合框架可解釋性差、耗時長［13］。本文提出一種基于圖像信息熵（Information Entropy，IE）自適應調整權重的策略來優化融合高頻信息，對MSID 得到的高頻細節先進行初步融合，再計算初步融合圖像的IE調整權重進行二次優化融合，從而將圖像的高頻信息進行有效融合。

由于受到源圖像對比度較低以及融合過程中對比度損失的影響，大部分融合圖像的對比度較低，一些方法通常先對源圖像進行對比度增強再融合［14］，解決了源圖像本身對比度較低的問題，但不能解決融合過程中對比度損失的問題。本文提出一種基于灰度分類的區域像素增強方法，對融合圖像中不同灰度的區域進行針對性增強，能夠有效提高融合結果的清晰度和對比度。綜上，為了解決弱光環境下紅外與可見光圖像融合存在的清晰度和對比度低、細節紋理不足、融合耗時長等問題，本文提出一種改進MSID 融合的紅外與可見光圖像融合方法。

2 相關工作

2.1 動態范圍壓縮

動態范圍壓縮算法通過壓縮圖像的亮度范圍，使圖像的整體亮度更加均衡，從而提高圖像的清晰度。Zhou 等提出一種基于引導濾波的DRC 算法［14］，在實現DRC 的功能外，還體現了對比度恢復。首先，將弱光下的可見光圖像通過引導濾波器得到濾波圖像，即有：

式中：IVI為可見光圖像，Ig為濾波圖像，G為引導圖像，r為濾波器尺寸，eps為濾波的邊緣保持參數。

通過自然對數ln（·）運算得到可見光的基層和細節層圖像，為了避免對數運算后細節層和基層的像素值為負，ln（·）運算的對象加上常數1，如下：

式中Ib，Id分別為可見光的基層和細節層圖像。

通過尺度縮放因子對基層進行動態壓縮，加上細節層和對比度恢復因子得到對數域的夜視增強圖像：

式中：β，γ分別為尺度縮放因子和對比度恢復因子，其計算公式如下：

其中T為對比度目標基。

最后，通過自然指數運算exp（·）從對數域中恢復夜視增強圖像IVI_en。

2.2 結構化分解

SPD 是一種作用在小尺度圖像塊上的分解方法［10］。通過對圖像進行分塊操作，將一幅圖像分成若干個圖像小塊，再把若干個圖像小塊分解為平均亮度、信號強度和信號結構3 個特征，將圖像的亮度信息、紋理信息和結構信息分離出來，對克服融合過程中的重影現象有著較好的穩定性。圖像塊x的SPD 過程如下：

式中：||·||2為L2 范數運算，l代表被分解的平均亮度，表示圖像的整體明暗程度，代表圖像的低頻信息，通過對圖像塊x進行均值濾波得到；c代表被分解的信號強度，描述圖像中局部的對比度和紋理信息，通過計算圖像塊x與l之差的L2 范數得到；s代表被分解的信號結構，分析了圖像信號的物體幾何形狀和空間關系，通過計算圖像塊x與l之差再除以c獲得。信號強度c和信號結構s共同表征圖像的高頻信息。

3 算法原理

本文在MSID 融合的基礎上，引入DRC 算法增強弱光夜視環境下可見光圖像的清晰度，分別改進圖像低頻和高頻成分的融合規則，提出了一種基于灰度分類的區域像素增強算法對融合后圖像的對比度進行增強，融合框圖如圖1 所示。

圖1 改進MSID 融合的紅外與可見光圖像融合方法的結構框圖Fig.1 Framework of infrared and visible image fusion method based on improved multi-scale structral fusion

3.1 動態范圍壓縮和多尺度結構化分解

采用DRC 算法增強弱光環境的可見光圖像，獲得夜視增強圖像IVI_en，再通過MSID 將紅外圖像IIR和IVI_en分解為金字塔結構的平均亮度l，信號強度c和信號結構s3 個特征。MSID 的分解流程如圖2 所示，首先通過滑動濾波器將源圖像分解成多個小塊，然后對小尺度的圖像塊進行SPD，分解得到的l通過下采樣操作，采樣結果作為輸入繼續進行SPD，圖像尺寸為輸入的1/2，循環往復，直到分解次數j＝J，最后得到J+1 個不同尺寸的高頻層c·s和1 個低頻層l。

圖2 MSID 分解流程Fig.2 Decomposition process of MSID

3.2 低頻融合

為了增強圖像的亮度信息，代表圖像低頻信息的平均亮度l一般采取γ校正加權法進行融合，但該方法存在信息丟失、引入失真等缺陷，本文提出一種基于RMSE 系數的融合策略。兩幅圖像的RMSE 系數反映圖像之間的相似性，而圖像相鄰像素與均值之間的RMSE 系數比值反映了圖像局部的變化程度。為了將圖像的低頻信息有效融合，減少失真現象，通過計算圖像塊局部和全局RMSE 系數的比值來融合l。

3.1.1 計算均方根誤差

通過MSID 得到尺寸為k1×k2的l，其全局RMSE 系數的計算結果如下：

式中：μl為l的均值，（m，n）表示當前像素坐標，同理可求得尺寸為K×K的局部RMSE 系數RK。

3.1.2 融合平均亮度

根據式（10）將R進一步轉換為l的融合系數α，l的融合結果lF如下：

式中：下標IR 和VI 分別表示紅外與可見光部分。

擴展到整個圖像上，圖像分塊用均值滑動濾波來實現，低頻部分的融合系數用BW表示，第J層的平均亮度l融合結果如下：

式中：f（·）表示均值滑動濾波器，為第J-1 層平均亮度l通過下采樣后的結果。

3.3 高頻融合

高頻細節信息的融合在很大程度上決定了圖像融合的質量。為了突出融合圖像的細節紋理，本文提出一種基于圖像IE 自適應調整的融合策略，先對MSID 方法得到的信號強度c、信號結構s進行初步融合，再計算初步融合結果的IE 自適應調整融合權重，進行二次優化融合，能夠有效融合圖像的細節紋理和空間結構。

3.3.1 初步融合

s與c的乘積可表示為圖像的去均值模塊，表達圖像塊的高頻信息。為了使融合圖像的紋理信息清晰可見，使用最大值融合策略來融合圖像塊的信號強度c，采用基于信號強度的冪函數系數β來加權融合圖像塊的信號結構s，融合公式如下：

式中：cF，sF分別為所求信號強度c和信號結構s的融合結果，q為冪次。

3.3.2 二次優化融合

圖像的信息熵是衡量圖像信息量的度量標準之一，反映圖像中含有細節信息的豐富程度。其定義如下：

式中：i指圖像的灰度值，L表示圖像的最大灰度值，Pi表示灰度值i的像素數Ni與總像素數N的比值，如下：

通過計算初步融合結果的信息熵生成優化權重ne，即：

式中：指數運算保證權重大于1，系數ω控制優化的尺度，δ表示優化的偏量。圖像的IE 越大，偏量δ越小，避免注入無效的信息導致圖像失真。

基于IE 自適應調整權重二次優化高頻細節過程如下：

式中：s可用（x-l）/c表示，（xi-li）即表征圖像高頻信息的去均值模塊。

擴展到整個圖像X上，圖像分塊用均值滑動濾波來實現，高頻部分的融合系數用DW表示，第j層高頻細節二次優化后的融合結果可表示為：

其中X（0）指代融合前的圖像IIR和IVI_ne。

3.4 圖像重構

根據SPD 分解式（8）的逆變換可知，將第J層低頻層l和高頻層c·s的融合結果聚合可得出第J層圖像塊的融合結果：

根據金字塔結構的MSID 的逆變換，將第j+1 層圖像塊的融合結果通過上采樣和均值濾波 操作，再與第j高頻層的融合結果進行聚合，得出第j層圖像塊的融合結果，如下：

式中：↑（·）運算符為上采樣操作，進行一次上采樣操作，圖像尺寸擴大2 倍。

通過J次循環迭代，可重構出融合圖像XF（0），記為：

3.5 對比度增強

針對融合圖像的對比度較低問題，本文提出一種基于灰度分類的區域像素增強算法。其原理是根據圖像的灰度范圍劃分區域，通過增加圖像目標和背景之間的像素灰度差的動態范圍，從而提高圖像的對比度，包括灰度分類、區域像素增強兩個步驟。

3.5.1 灰度分類

根據像素灰度級的特點，將圖像像素劃分為低灰度、中間灰度和高灰度3 個區域。其中，中間灰度區域是像素由黑轉白的過渡區，因此范圍最廣。根據灰度分類參數A，B將融合圖像的像素值劃分為3 個區域段，即圖像像素img（m，n）＜A的區域為低灰度區，A≤img（m，n）≤B的區域為中間灰度區，img（m，n）＞B的區域為高灰度區。為使中間灰度區范圍最廣，參數B為A與圖像最大像素值的一半之和，即：

式中參數A為常數。

3.5.2 區域像素增強

低灰度區的圖像整體顏色靠近黑色，高灰度區的圖像整體顏色接近白色。為了增加圖像像素的動態灰度差，對低灰度區的像素乘以增強系數AE，此時AE＜1；對高灰度區的像素乘以增強系數BE，此時BE＞1；對中間灰度區的像素不做處理，保留圖像的灰度區域，如下：

式中imgNE為增強結果。

增強系數AE和BE的確定是增強圖像對比度的關鍵，計算公式如下：

式中：λ用來調節像素灰度的動態差，a，b為增強校正系數，保證AE＜1，BE＞1。

a，b與圖像的灰度分類參數相關，計算公式如下：

4 實 驗

實驗在配置為Intel core i5-12500H，CPU 主頻2.5 GHz，16G RAM，Windows11 系統下的計算機上運行，環境平臺為MATLAB R2016b。

紅外與可見光圖像融合實驗選用16 對包含不同軍事場景的TNO 公共數據集，以及6 對包含車輛道路和行人的CVC-14 數據集。夜視增強過程中，引導圖像G與輸入圖像相同，濾波器尺寸r取圖像尺寸較長邊的0.04 倍，邊緣保持參數eps=0.01，對比度目標基T=4，MSID 分解參數J=5，低頻融合中的系數K=7，信號結構融合系數的冪次q=4，均值滑動濾波器模板為5×5，優化尺度系數ω=0.08，對比度增強過程中灰度分類參數A=100，λ=2。

為了驗證本方法的有效性，本文選擇9 種主流的圖像融合方法進行實驗對比，包括貝葉斯（Bayesian，Bayes）［15］、卷積神經網絡（Convolutional Neural Networks，CNN）［16］、基于引導濾波的背景增強（Context Enhancement based on Guided Filter，GFCE）［14］、基于引導濾波的混合多尺度分解（Hybrid Multi-Scale Decomposition based on Guided Filter，HMSD_GF）［14］、基于多尺度分解和范數優化的圖像融合方法IVFusion［5］，MDLatLRR［9］，MSID［17］，NSST［7］和相對全變分分解（Relative Total Variation Decomposition，RTVD）融合方法［18］。其中，GFCE，IVFusion 的框架中包含預處理流程。

為了客觀驗證本方法的有效性，選擇5 種客觀評價指標來衡量不同方法的融合效果，包括平均梯度（Average Gradient，AG）、交叉熵（Cross Entropy，CE）、邊緣強度（Edge Intensity，EI）、標準差（Standard Deviation，SD）以及空間頻率（Spatial Frequency，SF）。AG 反映圖像的清晰度和邊緣信息，值越大意味著圖像的邊緣和細節更加清晰；CE 反映圖像間的差異，值越小代表融合圖像和源圖像越接近，保留的細節越多；EI 反映圖像的信息量和復雜度，值越大表示圖像中的細節紋理信息更加豐富；SD 反映圖像的亮度變化程度，值越大表示圖像中的明暗區域差異明顯，對比度越高；SF 反映圖像的細節和紋理變化頻率，值越大表示細節更加豐富，紋理更加清晰［3，19］。因此，AG，EI，SD，SF 越大，CE 越小，融合效果越好。

5 實驗結果與分析

5.1 主觀評價

圖3～圖4 分別為TNO 和CVC-14 數據集中的5 組測試集的源圖像以及9 種融合方法與文中方法的融合結果。

圖3 TNO 數據集上不同方法的融合結果對比Fig.3 Comparison of fusion results of different fusion methods on TNO dataset

圖4 CVC-14 數據集上不同方法的融合結果對比Fig.4 Comparison of fusion results of different fusion methods on CVC-14 dataset

總的來說，大部分融合方法都能將紅外圖像的熱輻射信息和可見光圖像的細致紋理有效融合到一幅圖像上。然而，Bayes 和RTVD 的融合圖像較為模糊，HMSD_GF，NSST 的融合結果亮度偏低，CNN，MSID 的融合結果無法突出可見光圖像中清晰的細節紋理。GFCE，IVFusion和MDLatLRR 算法取得了較好的融合結果，但在弱光夜視環境下也存在一些缺陷，如在圖3 的TNO 數據集圖像Img1 中，GFCE 的融合結果對比度較低，無法有效突出人、圍欄等顯著信息。IVFusion 的融合結果整體亮度太高，MDLatLRR 的融合結果不能呈現圖像左下角樹葉的細節紋理。本文方法通過DRC 算法提高圖3中Img5 可見光圖像清晰度的同時，在低頻區域引入細微的噪點，使圖像整體看起來有細微的紋理，但對整體融合效果的影響較小。該方法在清晰度、對比度和細節處理方面都有較好的提升效果外，還能在一定程度上改善圖像中顯著目標的突出效果。此外，因紅外圖像不受弱光環境的影響，相比可見光圖像所表達的顯著信息較多，從視覺上看，融合圖像中含有的紅外圖像成分更多。

5.2 客觀評價

表1～表2 分別為本文方法和對比方法在16對TNO 數據集和6 對CVC-14 數據集上圖像融合實驗的平均客觀評價指標對比，加粗代表最優值，橫線代表次優值。由表可知，本方法在TNO和CVC-14 數據集上實驗的5 種客觀指標AG，CE，EI，SD，SF 都優于對比方法，與對比方法的最優客觀評價值相比，AG，CE，EI，SD，SF 分別至少提升了8.04%，16.27%，4.61%，0.14%，16.26%，證明本文方法在圖像的清晰度、細節紋理和對比度的處理上都要優于對比方法。

表1 TNO 數據集上融合實驗的平均客觀評價指標對比Tab.1 Comparison of average objective indexes of fusion results on TNO dataset

表2 CVC-14數據集上融合實驗的平均客觀評價指標對比Tab.2 Comparison of average objective indexes of fusion results on CVC-14 dataset

5.3 運行時間對比

表3 為不同融合方法在TNO 和CVC-14 數據集中的平均運行時間。表中平均運行時間最快的是MSID 方法，本方法在MSID 的基礎上改進了融合規則，加入DRC 增強和對比度增強模塊，平均運行時間為0.237 s，排第二，而整體融合效果僅次于本方法的MDLatLRR 和IVFusion 方法運行時間偏長。由此表明，本方法能夠實現高質量快速融合。

表3 不同融合方法的平均運行時間Tab.3 Average running time of different fusion methods

5.4 消融實驗

為驗證MSID 融合的改進作用，以16 對TNO 數據集中的測試集進行消融實驗。實驗包含3 個部分：（1）MSID+DRC，在多尺度結構化融合中加入動態范圍壓縮模塊；（2）MSID+DRC+RIE，在（1）的基礎上改進融合策略，此處RIE 為基于RMSE 系數和IE 自適應優化融合的縮寫；（3）MSID+DRC+RIE+EC，在（2）的基礎上加入對比度增強模塊EC。

消融實驗的客觀評價指標結果如表4 所示，數據加粗代表最優值。加入DRC 前后，除了指標CE 外，其他4 個指標都要優于沒有使用DRC增強的融合結果；加入RIE 前后，除了指標SD 有所下降外，其余4 個指標都有大幅的提升；加入EC 前后的5 個指標均有所提升，證明了改進方法的有效性。

表4 消融實驗的平均客觀評價指標結果Tab.4 Average objective evaluation index results of ablation experiment

6 結論

本文提出一種改進MSID 融合的紅外與可見光圖像融合方法。首先，將DRC 增強算法與MSID 方法相結合，有效提取出圖像的低頻基部和高頻細節信息；然后，對低頻信息采用基于RMSE 加權的融合策略進行融合，對高頻信息先進行初次融合，再采用基于IE 自適應調整權重的方法進行二次優化融合。接著通過MSID 逆變換重構出融合圖像；最后，提出一種基于灰度分類的區域像素增強算法以提高融合圖像的對比度。在TNO 和CVC-14 數據集上的對比實驗結果表明，與9 種對比方法中最優的客觀指標值相比，本文提出方法在AG，CE，EI，SD 和SF 指標上分別至少提升了8.04%，16.27%，4.61%，0.14%，16.26%，證明了提出方法的融合圖像不僅具有豐富的細節紋理，較高的清晰度和對比度，還能實現紅外與可見光圖像的快速融合；同時，消融實驗也進一步證明了改進方法的有效性。引入的DRC 算法能提高弱光環境下可見光圖像的清晰度，但無法有效增強紅外圖像的質量，為了突出紅外圖像中的顯著信息，后續將著重研究紅外圖像的顯著特征提取及增強方法，嘗試將輕量化的深度學習框架與傳統方法相結合，以進一步增強紅外和可見光源圖像的融合效果。