基于各向異性擴散和紋理增強處理的紅外與可見光圖像融合

摘要：針對現(xiàn)有基于各向異性擴散和K-L變換的紅外與可見光圖像融合算法存在視覺效果不佳的問題，文章提出了一種基于各向異性擴散和紋理增強處理的圖像融合算法。該算法采用高頻圖像的去噪骨架來增強中頻圖像對目標的刻畫能力，并通過擴大紋理梯度差對各圖層進行融合處理。實驗結(jié)果表明，該算法能夠有效提升融合圖像的紋理細節(jié)，更符合人眼對目標和環(huán)境的識別。

關鍵詞：圖像融合；各向異性擴散；多尺度分解；紋理增強

中圖分類號：TP18" "文獻標識碼：A

文章編號：1009-3044（2025）08-0118-05

開放科學（資源服務） 標識碼（OSID）

0 引言

隨著傳感器技術的發(fā)展，采集到的圖像越來越多，圖像數(shù)據(jù)信息變得日益豐富，而單一傳感器難以獲取目標的完整信息。針對這一局限性，多傳感器圖像技術開始進入人們的視野。多傳感器圖像融合技術能夠有效整合不同傳感器的信息，例如紅外與可見光圖像的融合，生成一幅包含兩者信息的新圖像，從而獲得更全面、更準確的場景信息。

多傳感器圖像融合技術旨在去除冗余信息，最大程度地整合有用信息，降低存儲成本，提高信息傳播效率。該技術已廣泛應用于遙感、醫(yī)學、軍事和安防等領域。例如，在遙感領域中，將可見光與雷達波圖像融合，使獲得的遙感圖像避開了云霧的影響，并減少遙感圖像存儲的成本；在醫(yī)學領域中，將CT與核磁共振圖像融合可以幫助醫(yī)生更好地對疾病進行診斷，提高手術成功率，降低手術風險和成本；在軍事領域中，利用紅外線與可見光圖像融合可以實現(xiàn)全天候?qū)?zhàn)場目標的追蹤和觀察；在安防領域中，利用融合圖像可以對可視光線弱的安保區(qū)域進行有效預警，確保人們的生命財產(chǎn)安全。

針對現(xiàn)有基于各向異性擴散和Karhunen-Loeve變換（K-L變換）的紅外與可見光圖像融合算法 （ADF） 在視覺效果上的不足，本文提出一種基于各向異性擴散和紋理增強的圖像融合算法，旨在提升融合圖像的紋理細節(jié)，使其更符合人眼視覺特性。

1 ADF算法融合方案

目前，成功將各向異性擴散算法引入融合領域的算法是 ADF 算法[1]。該算法的基本思路是首先通過各向異性擴散算法將待融合的源圖像分解為基層和細節(jié)層，然后將細節(jié)層采用 K-L 變換的方式進行融合，基層則采用加權線性的方式進行融合，最后再將基層融合圖像和細節(jié)層融合圖像按照線性融合得到最終融合結(jié)果。

1.1 基于KL-變換的細節(jié)層融合

采用KL-變換融合細節(jié)層圖像，它將相關分量轉(zhuǎn)換為不相關分量，KL-變換的平滑過程如下所示。

1） 令[R1（x，y）]和[R2（x，y）]分別表示兩幅不同源圖像（紅外和可見光） ，這兩幅圖像的細節(jié)層圖像分別用[D1（x，y）]和[D2（x，y）]表示，并將它們按列向量排列構(gòu)成矩陣X。

2） 以每一行為觀察值，每一列為變量，求出X的協(xié)方差矩陣CXX。

3）" 計算協(xié)方差矩陣CXX的特征值[σ1]、[σ2]和特征向量[ξ1=ξ1（1）ξ1（2）]、[ξ2=ξ2（1）ξ2（2）]。

4） 計算最大特征值的不相關分量KL1和KL2：

[KL1=ξmax（1）iξmax（i）] （1）

[KL2=ξmax（2）iξmax（i）] （2）

根據(jù)以上過程可以得到KL1和KL2，因此融合細節(jié)層[D]表達式為：

[D（x，y）=KL1D1（x，y）+KL2D2（x，y）] （3）

1.2 基層融合

ADF算法的基層圖像采用加權線性融合方法進行信息融合，其表達式為：

[B（x，y）=w1B1（x，y）+w2B2（x，y）] （4）

式中，權值的和為1或在0～1之間。ADF算法對權值進行了討論，這里以簡單的方式了解ADF算法的融合思想。為簡化說明，此處權值設置為相等，即 [w1=w2=0.5]。

1.3 最終融合圖像

在ADF算法中，融合圖像F由最終基層圖像[B（x，y）]和細節(jié)層[D（x，y）]的線性組合得到，表達式為：

[F（x，y）=B（x，y）+D（x，y）] （5）

2 本文算法融合方案

針對各向異性擴散算法在 ADF 算法中取得的優(yōu)勢和缺陷，本文提出了一種基于各向異性擴散和紋理增強處理的紅外與可見光圖像融合算法。該算法的融合方案可以分為3步，第1步：采用各向異性擴散方法將圖像分解為亮細節(jié)層、基層和暗細節(jié)層，并對分解出的亮細節(jié)層進行濾波處理。第2步：利用濾波后的亮細節(jié)層進行像素限制處理，以獲得信息區(qū)域，將信息區(qū)域與各自的基層進行線性融合，獲得增強后的基層圖像。第3步：將濾波處理后的亮細節(jié)層與暗細節(jié)層以及第二步獲得的基層圖像進行線性組合，得到最終融合圖像。

2.1 各向異性擴散算法

各向異性擴散方法主要使用通量函數(shù)來控制圖像R的擴散，其數(shù)學模型如下：

[Rt=c（x，y，t）ΔR+?c??R] （6）

式中：[c（?）]表示通量函數(shù)或擴散速率，[Δ]表示拉普拉斯算子，[?]表示梯度算子，t表示時間長度或迭代。將式（6） 作為熱方程，用差分（FTCS格式） 求解該方程：

[Rt+1i，j=Rti，j+λ[cN??NRti，j+cS??SRti，j+cE??ERti，j+cW??WRti，j]] （7）

式中：[Rt+1i，j]表示t+1時刻尺度下的較粗分辨率圖像，受到前一時刻大尺度圖像[Rti，j]的影響，[λ]表示穩(wěn)定常數(shù)，滿足[0≤λ≤14]。CN、CS、CE和CW分別表示某像素點鄰近四個不同方向（北、南、東和西） 的傳導系數(shù)和通量函數(shù)，定義如下：

[ctNi，j=g（（?R）ti+1/2，j）=g（?NRti，j）ctSi，j=g（（?R）ti-1/2，j）=g（?SRti，j）ctEi，j=g（（?R）ti，j+1/2）=g（?ERti，j）ctWi，j=g（（?R）ti，j-1/2）=g（?WRti，j）] （8）

式中：[g（?）]為單調(diào)遞減函數(shù)，且[g（0）=1]。對于[g（?）]函數(shù)Perona和Malik[2]提出了2種表達方式，如下所示：

[g（?R）=e-?Rk2] （9）

[g（?R）=11+?Rk2] （10）

式中：k表示一個不為0的常數(shù)，對于圖像高梯度部分，選擇使用式（9） 進行平滑處理，對于圖像低梯度部分，則使用式（10） 進行平滑。在式（7） 中，[?N]、[?S]、[?E]和[?W]表示某像素點與鄰近四個不同方向的像素值的差異。可以定義為：

[?NRi，j≡Ri-1，j-Ri，j?SRi，j≡Ri+1，j-Ri，j?ERi，j≡Ri，j+1-Ri，j?WRi，j≡Ri，j-1-Ri，j] （11）

這里定義平滑的處理過程用[aniso（?）]表示。

2.2 源圖像多尺度分解

本文定義圖像基層提取滿足：

[M（x，y）=aniso（I（x，y））] （12）

式中：[Ix，y]表示待融合的源圖，[Mx，y]表示通過各向異性擴散方法對源圖進行多尺度分解得到的基層。

圖像的亮細節(jié)層[Hx，y]由源圖減去基層獲得，滿足：

[H（x，y）=I（x，y）-M（x，y）] （13）

圖像的暗細節(jié)層[Lx，y]與亮細節(jié)層的求解過程相反，由基層減去源圖獲得，滿足：

[L（x，y）=M（x，y）-I（x，y）] （14）

根據(jù)各向異性擴散方法對源圖進行多尺度分解后提取的亮細節(jié)層、基層和暗細節(jié)層如圖1所示。

2.3 基層融合規(guī)則

基層可以理解為圖像的基礎層圖像，本文算法在基層的融合規(guī)則中主要考慮將信息集中區(qū)域的特征進一步凸顯出來。相比于傳統(tǒng)的線性融合策略，本文提出的融合規(guī)則能有效降低圖像信息在融合過程中被削弱的現(xiàn)象。

如圖2所示，首先提取源圖的基層圖層，如圖（c）和圖（d）所示。通過像素限制處理可以獲得源圖的高頻信息區(qū)域，再利用源圖的高頻信息區(qū)域與基層圖層按線性融合的方式融合成圖（g）和圖（h）所示的增強處理結(jié)果。對比基層圖層圖（c）和圖（d）與增強處理后的基層圖層圖（g）和圖（h），可以看到增強后的基層圖層更清晰，對細節(jié)的辨識度更高。

然后，將紅外線和可見光圖像增強后的基層圖層進行融合，本文采用線性平均的方法進行融合處理，滿足：

[MF（x，y）=0.5×MVIS（x，y）+0.5×MIR（x，y）] （15）

式中：[MF（x，y）]表示融合處理后的基層圖層，[MVIS（x，y）]表示可見光圖像利用高頻信息區(qū)域增強后的基層圖層，[MIR（x，y）]表示紅外線圖像利用高頻信息區(qū)域增強后的基層圖層。

2.4 基層細節(jié)層融合

由于亮細節(jié)層和暗細節(jié)層含有圖像的絕大部分紋理信息，本文為了使融合圖像獲得較好的紋理效果，將增強后的基層圖層與亮細節(jié)層和暗細節(jié)層采用線性組合方法進行融合，同時也能加快融合算法的處理時間。融合規(guī)則滿足：

[F（x，y）=MF（x，y）+HVIS（x，y）+HIR（x，y）-LVIS（x，y）-LIR（x，y）] （16）

式中：[Fx，y]表示最終融合結(jié)果，[HVIS（x，y）]表示可見光亮細節(jié)層，[HIR（x，y）]表示紅外線亮細節(jié)層，[LVIS（x，y）]表示可見光暗細節(jié)層，[LIR（x，y）]表示紅外線暗細節(jié)層。

這樣的融合策略能夠有效地將細節(jié)層的波峰值部分和波谷部分的信息融合到基層圖像中，在視覺上增加物體在視野中的投影密度差異，使獲得的融合圖像符合人類視覺觀察習慣，并避免融合圖像出現(xiàn)偽影和目標不清晰的問題。

3 實驗結(jié)果與分析

為了驗證本文算法的融合效果，對“老人”“軍用汽車”等公開數(shù)據(jù)庫進行實驗，并將本文算法與幾種經(jīng)典的基于多尺度理論的圖像融合算法分別從客觀評價和主觀評價進行對比。其中第一個算法是ADF算法，它與本文算法采用的多尺度幾何分解方法相同，均使用各向異性擴散算法，但兩者的融合策略和融合思路不同。具體而言，本文算法將源圖像分解為暗細節(jié)層、亮細節(jié)層和基層三個層次，對亮細節(jié)層進行去噪處理，然后利用高頻部分的骨架信息來增強融合圖像的目標信息，最后采用擴大紋理的融合原則，同時對圖像的亮細節(jié)層、基層和暗細節(jié)層進行融合處理。而ADF算法僅將源圖像分解為基礎層和細節(jié)層，在細節(jié)層的融合上采用K-L變化的方法進行融合處理，基層則采用加權線性的方式進行融合，最后將細節(jié)層融合圖像和基層融合圖像通過線性組合的方式得到最終融合結(jié)果。第2個算法是基于小波變換的圖像融合算法（Image fusion using the wavelet transform，Wavelet） [3]；第3個算法是多分辨率奇異值分解圖像融合技術（Image Fusion Technique using Multi-resolution Singular Value Decomposition，MSVD） [4]；第4個算法是基于對比度金字塔的圖像融合算法（Image fusion algorithm based on contrast pyramid，CP） [5]。本文所有實驗均在Windows 10系統(tǒng)上運行，CPU為2.60 GHz，運行內(nèi)存為8 GB，運行軟件為MATLAB 2016a版，所有圖像均來自圖像融合公共共享資源。

3.1 主觀質(zhì)量評估

實驗1：“老人”圖像融合實驗。

觀察圖3可見光傳感器在光線較差的環(huán)境中所采集到的圖像對凸顯目標（人物） 的能力較差，容易被觀察者忽略。紅外線傳感器在弱光情況下能夠根據(jù)目標的熱輻射原理進行成像，從而彌補可見光圖像的缺陷。因此，將紅外線與可見光圖像進行融合能夠綜合各自的優(yōu)點，克服各自的缺點。圖（c）～圖（g）為5種不同算法的融合結(jié)果。圖（g）雖然目標圖像的亮度較高，但天空細節(jié)噪聲較大。圖（d）、圖（e）及圖（f）的總體視覺效果無明顯差異。與其他算法相比，本文提出的算法不僅能夠清晰地反映圖像的場景，還能將目標信息凸顯出來。

實驗2：“軍用汽車”圖像融合實驗。

觀察圖4中“軍用汽車”圖像的融合，目的是通過紅外線的發(fā)熱情況來判斷汽車是剛行駛了一段時間后停下來，還是一直沒有啟動停靠在原地。如果僅靠可見光圖像，雖然可以找到車輛的停靠位置，卻無法獲取其行駛情況。圖（b）～圖（f）為5種不同算法的融合結(jié)果。圖（g）完全沒有體現(xiàn)出紅外線圖像所傳遞的信息。相比之下，圖（d）的清晰度相較于圖（e）和圖（f）有所提升，但與本文算法相比，本文算法不僅能夠清晰地觀察到可見光圖像與紅外線圖像的信息，還能夠?qū)⒌匕濉④嚿砑y理等細節(jié)反映到圖像中。

綜上所述，本文算法在凸顯圖像紋理細節(jié)方面優(yōu)于其他算法，其優(yōu)勢在于更容易將圖像中的目標呈現(xiàn)出來，并具備高清晰度的特點，符合人類視覺觀察習慣。

3.2 客觀指標對比

通過對融合結(jié)果圖像的主觀視覺分析可知，融合結(jié)果往往存在肉眼無法明顯區(qū)分的情況，尤其是ADF算法、Wavelet算法和MSVD算法在多幅圖像融合實驗中常常表現(xiàn)出相同的主觀效果。因此，引入客觀評價函數(shù)來區(qū)分各算法的優(yōu)劣情況是非常有必要的。本文采用AG[6]、H[7]等評價函數(shù)作為客觀評價函數(shù)。

1） 平均梯度AG。 主要是采用數(shù)學函數(shù)來量化融合圖像的梯度信息。AG指標定義如下：

[AG=1MNi=1Mj=1N?F2x（i，j）+?F2y（i，j）2] （17）

式中：[?Fx（i，j）=F（i，j）-F（i+1，j）]和[?Fy（i，j）=F（i，j）-F（i，j+1）]。AG值越大，融合圖像包含的梯度信息越多，融合圖像越清晰。

2） 信息熵H。主要表示圖像含有信息量大小的數(shù)學函數(shù)，H指標定義如下。

[H=-i=0L-1pilog2 pi] （18）

式中：L為圖像的灰度級個數(shù)，[pi]為圖像直方圖歸一化結(jié)果。H值越大，代表圖像含有的信息量越大，融合算法的性能越好。

各算法融合結(jié)果的平均梯度AG評價結(jié)果如表1所示。在實驗1中，本文算法的平均梯度為4.99，比CP算法高出0.87，并且超過其他算法近一倍。在實驗2中，平均梯度值最高的是本文算法，最差的是Wavelet算法。

各算法融合結(jié)果的信息熵H評價結(jié)果如表2所示。在實驗1中，5種算法的評價值相差無幾，但本文算法的值為6.88，略高于其余算法。在實驗2中，本文算法的評價值處于高位，CP算法次之。因此，在信息熵H這一反映圖像信息含量的客觀評價參數(shù)上，本文算法全面超越了ADF算法，并且與CP算法的差距也不大，處于前列位置。這證明了本文算法的改進策略能夠有效解決ADF算法在融合圖像時信息量損失較大的缺陷。

通過上述客觀評價實驗可以發(fā)現(xiàn)，本文算法全面優(yōu)于ADF算法，并且與其他算法的對比中也處于前列。這驗證了本文算法在改進ADF算法缺點的同時，能夠有效地保留ADF算法的優(yōu)點。

4 總結(jié)

本文提出了一種基于各向異性擴散和紋理增強處理的紅外與可見光圖像融合算法，該算法通過增強目標區(qū)域和擴大紋理梯度差，有效提升了融合圖像的紋理細節(jié)，更符合人眼視覺特性。實驗結(jié)果表明，本文算法在主觀視覺效果和客觀評價指標方面均優(yōu)于其他對比算法。通過上述客觀評價實驗可以發(fā)現(xiàn)，本文算法全面優(yōu)于ADF算法，并且在與其他算法的比較中也處于前列。這驗證了本文算法在改進ADF算法缺點的同時，能夠有效保留其優(yōu)點。

參考文獻：

[1] BAVIRISETTI D P，DHULI R.Fusion of infrared and visible sensor images based on anisotropic diffusion and karhunen-loeve transform[J].IEEE Sensors Journal，2016，16（1）：203-209.

[2] LI S T，KWOK J T，WANG Y N.Combination of images with diverse focuses using the spatial frequency[J].Information Fusion，2001，2（3）：169-176.

[3] LI H，MANJUNATH B S，MITRA S K.Multisensor image fusion using the wavelet transform[J].Graphical Models and Image Processing，1995，57（3）：235-245.

[4] NAIDU V P S.Image fusion technique using multi-resolution singular value decomposition[J].Defence Science Journal，2011，61（5）：479.

[5] DONG Y，LI M J，LI J.Image fusion algorithm based on contrast pyramid and its performance evaluation[J].Applied Mechanics and Materials，2012（525）：711-714.

[6] CUI G M，F(xiàn)ENG H J，XU Z H，et al.Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J].Optics Communications，2015（341）：199-209.

[7] TSAI D Y，LEE Y，MATSUYAMA E.Information entropy measure for evaluation of image quality[J].Journal of Digital Imaging，2008，21（3）：338-347.

【通聯(lián)編輯：唐一東】