基于分割增強與顯著性檢測的紅外可見光圖像融合

摘" 要： 為保留原紅外與可見光圖像中更多的細節信息，解決紅外與可見光圖像融合過程中小目標不清晰、可見光圖像可視性差等問題，提出一種將紅外圖像分割與增強可見光圖像與視覺顯著性檢測相結合的融合方法。首先，迭代法將原紅外圖像分割成目標區域和背景區域，Retinex對原可見光圖像進行強化處理，使其清晰度得到提高；然后，對紅外背景區域和增強可見光圖像進行二尺度分解得到基礎層和細節層，針對兩個圖層的不同特點分別采用加權平均和顯著性檢測方法進行第一層融合，得到的融合基礎層和融合細節層進行第二層融合；最后，與紅外目標區域進行疊加運算實現三層融合，實驗結果表明，該方法能夠充分挖掘源圖像的有效信息，在小目標清晰度方面優于其他傳統算法。

關鍵詞： 圖像融合； 圖像分割； 圖像增強； 迭代閾值； 二尺度分解； 視覺顯著性

中圖分類號： TN919.8?34" " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " " 文章編號： 1004?373X（2024）11?0038?07

Infrared and visible image fusion based on segmentation enhancement

and saliency detection

YANG Ning， ZHANG Yuhua， LI Aihua， WANG Changlong

（Department of UAV Engineering， Shijiazhuang Campus of Army Engineering University of PLA， Shijiazhuang 050003， China）

Abstract： In order to preserve more details in the original infrared and visible images and improve the sharpness of the small objects and the visible image visibility in the fusion of infrared and visible images， a fusion method of segmenting infrared images and enhancing visible images combined with visual saliency detection is proposed. The original infrared image is segmented into object region and background region with the iterative method， and Retinex is used to enhance the original visible image to improve its sharpness. The infrared background region and the enhanced visible images are subjected to two?scale decomposition to obtain the basic layer and detailed layer. According to the different characteristics of the two layers， the weighted average and saliency detection methods are used to fuse them as the first layer， and the obtained fusion basic layer and fusion detailed layer are fused as the second layer， which is then subjected to superposition operation with infrared object area， so as to realize the three?layer fusion. Experimental results show that the proposed algorithm can fully mine the effective information of the original image and is superior to the other algorithms in terms of small object sharpness.

Keywords： image fusion; image segmentation; image enhancement; iterative threshold; two?scale decomposition; visual saliency

0" 引" 言

圖像融合技術利用不同圖像傳感器獲得的同一場景的冗余或互補信息合成新圖像，以提供更為明確的目標和更豐富的細節[1]。其中，紅外和可見光圖像融合是圖像融合領域的重要分支，紅外傳感器能夠根據圖像的熱目標特征捕捉場景中的隱藏目標，但對背景信息的反映不夠；相比之下，可見光圖像可以以符合人類視覺特點的方式提供可觀的細節和明暗度，因此融合的紅外和可見光圖像能夠有效地綜合紅外目標特征和可見光紋理細節，在軍事偵查、目標跟蹤、智能交通等領域得到廣泛應用[2?4]。

多尺度變換是圖像融合最常用的方法，包括金字塔變換、離散小波變換、非下采樣輪廓波變換等[5?8]，將原始圖像分解為不同尺度的高頻和低頻圖層，根據其不同特點采用不同的融合策略進行融合，能夠取得良好的融合效果，但特殊條件下，尤其是目標隱蔽條件下，融合圖像的目標可視性不高。

隨著壓縮感知技術的興起，基于稀疏表示的方法[9?11]在一定程度上提高了融合圖像的視覺效果，但其細節信息保留能力及捕獲全局能力不足。為有效地提取源圖像的互補信息，文獻[12]提出了一種基于視覺顯著性的圖像融合方法，但僅使用顯著性檢測算法，無法解決融合過程中微小目標不清晰和可見光源圖像對比度差的問題。

針對上述問題，本文提出一種基于分割增強與顯著性檢測的紅外可見光圖像融合算法。為保證小目標在融合圖像中的清晰度，引入迭代閾值法分割出紅外圖像的目標區域，同時對可見光圖像進行Retinex增強，提高其可視性；二尺度分解得到紅外背景圖像和增強可見光圖像的基礎層和細節層，采用不同融合策略對基礎層和細節層進行融合；最后加入紅外目標區域，以達到突出小目標，保留更多原始信息的目的。

1" 紅外圖像分割與可見光圖像增強

1.1" 迭代閾值法分割紅外圖像

紅外圖像目標區域與背景具有較強的對比度，且目標區域內部灰度值比較均勻，使用閾值分割法分割目標區域效果較好[13]。閾值分割技術的關鍵在于尋找合適的灰度閾值，將圖像的灰度級分為幾個部分，屬于同一個部分的像素是同一物體。其中迭代閾值法是比較有效的分割方法，通過迭代的方式求出分割的最佳閾值，具有一定的自適應性。迭代閾值分割步驟如下：

1） 求出圖像的最大灰度值[Zmax]和最小灰度值[Zmin]，令初始閾值[T0=（Zmax+Zmin）2]；

2） 根據閾值[T]將圖像分割為前景區域和背景區域，分別求出兩者的平均灰度值[Zt]和[Zb]；

3） 求出新閾值[T=（Zt+Zb）2]；

4） 當兩個灰度值[Zt]和[Zb]不再變化（或[T]不再變化），[T]即為閾值，否則轉步驟2）繼續迭代。

輸入三組不同的紅外圖像，分割處理后得到的目標圖和背景圖如圖1所示。

1.2" Retinex增強可見光圖像

Retinex算法常用于圖像增強，其核心思想是在保留圖像細節信息的基礎上，調整圖像的對比度和亮度[14]。

Retinex模型不同于傳統的只能增強圖像某一類特征的方法，其可以在動態范圍壓縮、邊緣增強和顏色恒長三個方面達到平衡，對底照環境下可視性差的可見光圖像具有較好的增強效果。

Retinex理論認為圖像由反映物體入射分量的照度圖像[P（x，y）]和反映物體反射信息的反射圖像[Q（x，y）]組成：

[I（x，y）=P（x，y）*Q（x，y）] （1）

同時，由于對數形式與人類在感知亮度的過程中屬性相似，因此將公式（1）轉換到對數域進行處理，即：

[i（x，y）=p（x，y）+q（x，y）] （2）

在Retinex理論中，單尺度Retinex（SSR）是一種基于中心環繞的算法，其計算公式為：

[q（x，y）=logQ（x，y）=logI（x，y）-logP（x，y）=logI（x，y）-log[G（x，y）*I（x，y）]] （3）

式中“*”表示輸入圖像與高斯函數的卷積。

高斯函數表達式為：

[G（x，y）=γexp-x2+y22σ2] （4）

標準差[σ]對圖像增強效果有著顯著影響，[σ]較小時，增強圖像能夠保持較好的邊緣細節，但色彩較差；[σ]較大時，能夠保持較好的色彩平衡，但圖像細節較差，因此選擇合適的[σ]是SSR算法的關鍵。公式（4）中，[γ]須滿足以下條件：

[G（x，y）dxdy=1] （5）

SSR算法步驟如下：

1） 確定標準差[σ]，根據公式（5）確定[γ]；

2） 根據公式（3）求出[q（x，y）]；

3） 將[q（x，y）]由對數域轉換到實數域，得到[Q（x，y）]；

4） 對輸出圖像進行亮度調整，以增強對比度和細節。

對于三組不同場景的可見光圖像，增強后的結果如圖2所示。

2" 融合框架

本文所提融合框架如圖3所示，將增強的可見光圖像和紅外背景圖像分別分解為基礎層和細節層，基礎層采用加權平均融合規則，細節層采用顯著性檢測融合規則，獲得的融合基礎層和融合細節層與紅外目標圖像進行重構，得到最終的融合圖像。

2.1" 二尺度圖層分解

本文通過平均濾波器分解出紅外背景圖像[Ir_B]和增強的可見光圖像[h_Iv]的基礎層[Ir_B_b]和[h_Iv_b]：

[Ir_B_b（x，y）=Ir_B（x，y）*ω（x，y）h_Iv_b（x，y）=h_Iv（x，y）*ω（x，y）] （6）

式中：[ω]表示窗口大小為[k1×k1]的平均濾波器；“[*]”表示卷積。根據基礎層得到紅外背景圖像和增強可見光圖像的細節層[Ir_B_d]和[h_Iv_d]：

[Ir_B_d（x，y）=Ir_B（x，y）-Ir_B_b（x，y）h_Iv_d（x，y）=h_Iv（x，y）-h_Iv_b（x，y）] （7）

2.2" 顯著性檢測融合規則

視覺顯著性檢測[12]具有模擬人類視覺系統快速定位感興趣目標的能力，本文引入這種視覺注意力機制以提取圖像中的重要信息。HOU Xiaodi從信息論角度提出了一種基于譜殘差提取圖像顯著信息的方法，由于大量圖像的log振幅譜接近于一條直線，因此可利用圖像的log振幅譜與平均log振幅譜的差值表示圖像的顯著部分，單幅灰度圖像的殘差譜可表示為：

[R（x，y）=In（x，y）-In（x，y）*μ（x，y）] （8）

式中：[In（x，y）]為對輸入圖像進行二維離散傅里葉變換，再對幅值取對數后得到的log譜；[μ]表示窗口大小為[k2×k2]的平均濾波器。最終圖像的空間域顯著性映射可表示為：

[S（x，y）=G（x）*[iFFT（exp（R（x，y）+iA（x，y）））2]] （9）

式中：[S（x，y）]為圖像的顯著圖；[G（x）]為高斯卷積核；[FFT]表示二維離散傅里葉變換；[A（x，y）]表示原圖像的相位譜。

由于紅外和可見光圖像提供同一場景的互補信息，融合過程中需要將來自兩幅源圖像的視覺顯著部分集成到單個圖像中，因此需要通過構建權重圖為不同圖像的不同信息分配權重，達到融合目標。紅外背景區域的權重圖[φ1x，y]和增強可見光圖像的權重圖[φ2x，y]由式（10）給出：

[φ1x，y=S1x，yS1x，y+S2x，yφ2x，y=S2x，yS1x，y+S2x，y] （10）

紅外背景和增強可見光圖像的顯著圖和權重圖如圖4所示。

與圖像的基礎層信息相比，人類視覺系統對圖像的細節層信息更為敏感，因此，本文通過將權重圖[φ1]和[φ2]分別與細節層[Ir_B_d]和[h_Iv_d]相乘的方式，將紅外背景和可見光圖像細節層的重要信息整合到一張圖像中。

[Dx，y=φ1x，yIr_B_dx，y+φ2x，yh_Iv_dx，y] （11）

式中[Dx，y]為融合細節層。對于紅外背景和可見光圖像基礎層，采用加權平均融合：

[Bx，y=12Ir_B_bx，y+h_Iv_bx，y] （12）

式中[Bx，y]為融合基礎層。

3" 實驗結果與分析

為驗證本文提出的基于分割增強和視覺顯著性的紅外可見光圖像融合方法的融合質量，基于Matlab平臺進行大量實驗，現列出其中三種不同場景的紅外和可見光圖像進行說明。本文融合部分的參數設置如下：Retinex增強算法中的高斯濾波器標準差[σ=250]；二尺度分解和譜殘差法中的平均濾波器窗口大小分別為[k1=35]，[k2=3]。選擇基于潛在低秩表示（LatLRR）的融合、基于顯著性的融合、基于對比度增強與多尺度邊緣保持融合和基于引導濾波的融合作為對比實驗。

本文先從主觀上通過視覺觀察比較融合結果，不同方法融合的實驗結果如圖5～圖7所示。

圖5c）中的紅外小目標輪廓不清晰；顯著性方法的結果中圖像對比度不高；圖5e）整體清晰度不高，丟失了部分細節；采用引導濾波算法小目標輪廓的清晰度有所提高，但圖像整體偏暗；本文方法得到的融合圖像小目標輪廓更清晰，整體對比度有所提高，且細節保留較完整。其他兩種場景結果與圖5類似，說明本文方法在視覺效果方面優于其他方法。

為更客觀科學地驗證本文方法的有效性，采用信息熵、結構相似度和相關性三種評價指標對融合結果進行分析，上述評價指標的值越大算法性能越好。評價結果如表1所示。由于結構相似度和相關性依賴于輸入圖像，本文輸入圖像在融合前經過了增強，因此上述兩種指標的結果不如其他方法，但從視覺效果方面表現出較好的性能。融合圖像的信息熵較其他方法有較大提高，表明本文所提方法的融合結果保留了更多源圖像信息。

4" 結" 論

本文將紅外圖像分割與可見光圖像增強相結合，較好地提取紅外微小目標的同時更好地挖掘了可見光圖像偏暗區域的細節信息，利用視覺注意力機制融合細節層，充分保留了紅外和可見光圖像的互補信息，融合后視覺效果更好。實驗結果表明，本文所提出的方法與其他融合方法相比，能夠更好地突出紅外目標，提供更豐富的背景細節和更高的清晰度，在視覺效果方面優于其他傳統算法，具有一定的理論意義與實用價值。

參考文獻

[1] 潘瑜，鄭鈺輝，孫權森，等.基于PCA和總差變模型的圖像融合框架[J].計算機輔助設計與圖形學學報，2011，23（7）：1200?1210.

[2] 陳天明，王俊琦，張星祥，等.基于特征提取的紅外與可見光圖像融合[J].激光與紅外，2016，46（3）：357?362.

[3] 楊桄，童濤，陸松巖，等.基于多特征的紅外與可見光圖像融合[J].光學精密工程，2014，22（2）：489?496.

[4] BILODEAU G A， TORABI A， MORIN F. Visible and infrared image registration using trajectories and composite foreground image [J]. Image and vision computing， 2011， 29（1）： 41?50.

[5] SCOTT J， PUSATERI M A. Laplacian based image fusion [C]// 39th IEEE Applied Imagery Pattern Recognition Workshop （AIPR）. New York： IEEE， 2010： 1?7.

[6] KIM Y， LEE C， HAN D， et al. Improved additive?wavelet image fusion [J]. IEEE geoscience and remote sensing letters， 2011， 8（2）： 263?267.

[7] XIONG J T， TAN R J， LI L C， et al. Image fusion algorithm for visible and PMMW images based on curvelet and improved PCNN [J]. IEEE 11th International Conference on Signal Processing （ICSP）. New York： IEEE， 2012： 903?907.

[8] LIU K， GUO L， CHEN J S. Contourlet transform for image fusion using cycle spinning [J]. Journal of systems engineering and electronics， 2011， 22（2）： 353?357.

[9] WANG R， DU L F. Infrared and visible image fusion based on random projection and sparse representation [J]. International journal of remote sensing， 2014， 35（5/6）： 1640?1652.

[10] WANG J， PENG J Y， FENG X Y， et al. Fusion method for infrared and visible images by using non?negative sparse representation [J]. Infrared physics amp; technology， 2014， 67： 477?489.

[11] LU X Q， ZHANG B H， ZHAO Y， et al. The infrared and visible image fusion algorithm based on target separation and sparse representation [J]. Infrared physics amp; technology， 2014， 67： 397?407.

[12] BAVIRISETTI D P， DHULI R. Two?scale image fusion of visible and infrared images using saliency detection [J]. Infrared physics amp; technology， 2016， 76： 52?64.

[13] 劉艷.紅外圖像中的閾值分割中算法研究[J].數字技術與應用，2013（8）：114.

[14] 李紅，吳煒，楊曉敏，等.基于主特征提取的Retinex多譜段圖像增強[J].物理學報，2016，65（16）：61?76.

作者簡介：楊" 寧（1997—），女，河北邢臺人，碩士研究生，主要研究方向為紅外與可見光圖像融合。

張玉華（1978—），女，河北石家莊人，教授，博士生導師，主要研究方向為圖像融合、目標檢測。