基于改進FT 顯著性檢測的NSCT 紅外和可見光圖像融合

王賢濤，趙金宇

（1. 中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；2. 中國科學院大學，北京 100049）

1 引 言

圖像融合技術可以充分利用兩幅或多幅源圖像的優勢，按照合理的規則將其在時間或空間上的互補信息融合，獲得一個能更豐富、更全面、更精確地對場景進行一致性解釋和描述的綜合圖像［1］。圖像融合技術在現代應用和計算機視覺中發揮著越來越重要的作用，已廣泛應用于多聚焦圖像、醫學圖像、紅外可見光圖像和遙感圖像等圖像領域［2］。在眾多應用領域中，紅外和可見圖像由于具有非常好的普遍性和互補性，因此已成為行業主流研究熱點，其中目標識別、檢測、圖像增強、視頻監視和遙感等都是紅外和可見光圖像融合的典型應用［3-4］。

針對紅外和可見光圖像融合，目前已經衍生出了很多種方法，其中基于像素級的多尺度分解（MST）是目前公認的最有效且實用的方法［5］。常用的多尺度變換工具主要有拉普拉斯金字塔變換（LP）、小波變換（WT）、輪廓波變換（CT）、非下采樣輪廓波變換（NSCT）、非下采樣剪切波變換（NSST）等［6-7］。文獻［8］對多尺度分解工具在圖像融合領域的應用進行了對比分析，結果顯示，NSCT 具有多尺度、多方向的性質，還具有平移不變性，變換后能量更加集中，其融合效果最好，應用最廣泛。除了多尺度變換工具的選擇，融合規則的設定也是影響融合圖像質量的關鍵因素。傳統的融合方法主要采用“像素平均法”或者“絕對值取大法”來處理或者利用修正拉普拉斯算子和（SML）、空間頻率（SF）、熵、區域能量、區域方差、對比度、梯度等這些常用的單一活動水平度量獲得的度量值來獲得融合子帶系數［9］。由于沒有充分考慮像素之間的聯系，簡單的處理導致最終的結果不是很理想。

基于視覺顯著性檢測的方法根據人眼視覺特性提取人眼感興趣的部分同時對背景進行抑制，融合后的圖像具有目標突出保留更多背景信息的優勢。該方法已被成功應用在圖像融合領域并取得了較好的融合效果。目前針對紅外可見光圖像的顯著性檢測方法主要分為兩類，一類是只針對紅外圖像的顯著性區域提取算法。文獻［10］提出一種基于改進基于全局對比度（LC）圖像顯著性檢測灰度能量差異性的顯著目標提取算法，對顯著圖進行sin 函數拉伸變換。文獻［11］利用L0 范數改進FT 顯著性檢測算法，對紅外顯著圖進行S 型曲線拉伸變換。文獻［12］采用WLS 濾波改進最大對稱環繞（MSS）顯著性檢測算法，對得到的顯著圖進行改進伽馬校正。另一類是對紅外和可見光圖像都做顯著圖提取。文獻［13］采用改進LC 算法有效實現了對可見和紅外圖像顯著圖提取。文獻［14］提出一種基于視覺顯著性的閾值優化融合規則。文獻［15］通過平均濾波輸出和中值濾波輸出的差異來獲得顯著圖。文獻［16］根據相位一致性計算IR 和VIS 圖像的顯著圖，隨后采用引導過濾生成加權圖。兩類方法都存在局限性，第一類方法雖然可以減少無用的紅外背景信息提取，但只能針對少數圖像有很好的紅外目標提取；第二類方法雖然提取快且不受圖像復雜度影響，但是顯著圖中除了提取的紅外目標外還包含了太多無用的紅外背景信息。

為了克服上述問題，進一步提高目標和背景之間的對比度，保留更多的目標信息和細節信息，本文提出了一種基于改進的FT 顯著性檢測的NSCT 紅外與可見光融合方法。首先為了提取較好的紅外顯著圖，進行了限制灰度范圍、高斯濾波換為引導濾波、灰度能量和對比度拉伸函數增強處理來瞄準紅外圖像，用于從背景中區分目標。然后使用NSCT 對紅外圖像和可見光圖像進行高低頻子帶的分解，利用計算得到的紅外顯著權重圖對低頻子帶系數進行指導融合，可以很好地保留目標和背景之間的對比度；對于高頻部分，采用局部加權能量的規則進行融合然后再通過WLS 優化，可以獲得更多的細節信息和減小噪聲影響。最后對融合后的高頻系數和低頻系數進行NSCT 逆變換得到最終的融合圖像。

2 相關工作

2.1 非下采樣輪廓波變換

NSCT 由非下采樣金字塔濾波器組（NSPFB）和非下采樣方向濾波器組（NSDFB）構成。簡單來說，NSCT 過程首先使用NSPFB 分解源圖像得到低頻和高頻系數，完成多尺度分解過程，接著采用NSDFB 分解NSPFB 每個階段的高頻子帶，完成多方向性分析過程。與Contourlet 變換不同，NSCT 通過在多尺度分解濾波器和方向濾波器中執行上采樣，而不是對圖像信號執行采樣操作，因此具備平移不變性，消除了Contourlet 變換存在的偽吉布斯現象。經過N級NSCT 分解后的原圖像最終可以得到與輸入的源圖像大小一致的子帶圖像（lj是尺度j下的方向分解級數）。圖1 展示了NSCT 分解結構框圖。

圖1 NSCT 分解框架圖Fig.1 NSCT decomposition frame diagram

2.2 Frequency-tuned 顯著性檢測

FT 算法采用頻域濾波進行顯著性檢測。它有4 點要求：（1）強調突出大的顯著目標而不是小的顯著區域；（2）突出整體的顯著性區域；（3）突出顯著性區域的邊界；（4）忽略紋理或噪聲偽影成分。

為實現上述要求，FT 算法濾波選擇采用高斯差分濾波方法，該過程中的高斯核尺寸為5×5，頻率范圍為（0，π/2.75］。對于一幅輸入圖像I，其顯著性圖獲取的公式如式（1）所示：

式中：Iμ為輸入圖像I的灰度平均值，Iwhc(x，y)為輸入圖像在經過高斯濾波后對應位置的灰度值。||·||為L2 范式。

2.3 引導濾波器

高斯模糊由于對任意圖像都是采用相同的操作，因此在平滑圖像細節的同時也使得圖像邊緣變得模糊。而引導濾波器（GF）是一種經典的邊緣保持濾波器，既能平滑圖像細節又能較好地保持圖像邊緣，可以滿足FT 算法中突出顯著性區域邊界的要求。GF 是一個局部線性移變濾波器。設輸入圖像為p，引導圖像為I，濾波器輸出圖像為q，其中引導圖像I可以是其他圖像也可以是待濾波圖像本身。圖像引導濾波的計算公式如式（2）所示：

通過線性回歸，令最小二乘法擬合函數的輸出值與真實值之間的差距最小，得到線性函數的系數值如式（3）、式（4）所示：

其中：μk、σ2k分別是I在窗口w中的平均值和方差，N是窗口w中像素的數量，pˉk是待濾波圖像p在窗口w中的均值。

2.4 改進FT 算法的紅外圖像顯著圖提取

由于在灰度圖像中像素點的值只表示亮度，因此不用將圖像轉換到Lab 色彩空間。改進FT算法主要包括以下4 個方面：（1）將FT 算法中的高斯差分濾波器換為引導濾波器；（2）對FT 顯著性檢測算法做暗抑制處理，增強明亮區域；（3）采用基于灰度能量的方式計算灰度距離，突出顯著目標；（4）對得到的紅外顯著圖利用對比度拉伸函數進行拉伸處理。

圖像I在（x，y）處的DSFT 顯著性值為：

式中：count(i)表示圖像灰度值為i的個數，dis(Iμ)為灰度值為Iμ的灰度距離總和表示歸一化處理，IGF(x，y)為圖像I經過引導濾波后在像素（x，y）處的灰度值。SGF(x，y)表示相應的紅外顯著性圖。獲取顯著性圖SGF(x，y)后，首先進行歸一化處理得到Snom(x，y)：

其 中：SGF|min、SGF|max分 別 為SGF的最小和最大 灰度值；Snom(x，y)表示歸一化顯著圖，灰度范圍為［0，1］。接著，使用S 型曲線對比度拉伸變換函數對Snom(x，y)進行增強處理，突出顯著性圖里的紅外目標并弱化背景信息，從而提高顯著性圖的整體質量。得到的對比度增強的顯著性圖Sehance(x，y)如式（7）所示：

式中：Senhance為進行改進伽馬校正后的顯著性圖；w為≥1的常數，經過多次實驗運算，w=2 融合性能較優。最后對Senhance在做一次歸一化處理得到Smap。

最后，選擇4 組數據庫圖像，5 種經典的顯著性檢測算法，分別是LC 算法、改進LC 算法［13］、文獻［10］方法、FT 算法、文獻［11］算法提取的紅外顯著圖與本文方法提取的顯著圖進行對比實驗，并對顯著性檢測的結果進行主觀評價，實驗結果如圖2 所示。

圖2 不同算法紅外顯著圖的提取結果對比Fig.2 Comparison of infrared saliency map extraction results by different algorithms

從4 幅紅外圖像的顯著圖提取對比結果可以發現：其他方法可能只是針對某幾個圖像有很好的顯著提取，而本文的顯著性提取算法的目標在顯著性圖像中獲得了良好的對比度，將人眼感興趣的目標提取出來并且非目標區域保持清潔，有效抑制了背景信息。

3 本文融合策略

本文提出的基于改進FT 顯著性檢測算法的NSCT 紅外和可見圖像融合方法的總體框架示意圖如圖3 所示。首先通過改進的FT 的目標檢測算法突出表征紅外圖像的目標特征。然后采用NSCT 將紅外和可見光圖像分解為基礎層和細節層。接著將紅外顯著性圖指導低頻子帶融合，得到融合后的低頻子帶。對于高頻部分，采用加權局部能量取大和最小二乘優化處理得到融合后的低頻子帶系數。最后對融合后的低頻、高頻子帶系數進行合并，然后通過NSCT 逆變換處理。

圖3 紅外、可見圖像融合總體框架圖。Fig.3 Overall frame diagram of infrared and visible image fusion

3.1 低頻子帶融合規則

低頻子帶為源圖像的近似成分。為了充分突出紅外目標的特征同時保留可見光圖像的細節信息，給出了低頻融合框架圖，如圖4 所示。

圖4 低頻子帶融合框架圖Fig.4 Low frequency subbands fusion frame diagram

3.2 高頻子帶融合規則

高頻子帶代表源圖像的細節成分。采用簡單的絕對值取大規則易使融合圖像混雜許多無效信息，因此本文使用加權局部能量取大和WLS 優化相結合的規則來融合高頻部分系數，如式（10）所示，融合框架圖如圖5 所示。

圖5 高頻子帶融合框架圖Fig.5 High frequency subbands fusion frame diagram

式中，WLE(x，y)表示某像素處的高頻部分區域能量大小，如式（11）所示：

其中：W是大 小 為(2s+1)×(2s+1)的權重矩陣，s為半徑，W內的元素值為22s-d，d為中心4 鄰域距離。本文選擇半徑s=1，則W的大小為3×3，對應數值為：

對得到的權重圖加權求和獲得第j級近似融合細節層Mj，如式（13）所示：

為了進一步提取更多紅外和可見的細節信息，可以通過WLS 以下代價函數來獲得第j級的理想融合細節層Dj：

將可見和紅外細節層分別表示為d1j和d2j、d2j和做兩次WLS 得到對應理想融合細節層和，接著通過絕對值最大規則，得到最終細節 圖 像：

4 實驗結果與分析

為了驗證所提方法的有效性和準確性，本文主要從兩方面進行驗證實驗：第一是顯著性檢測算法之間的對比，通過客觀評價指標平均梯度（AG）、信息熵（IE）、空間頻率（SF）、互信息（MI）進一步驗證本文顯著性算法提取的有效性；第二是驗證本文最終方法具有更好的融合效果，包括算法組合參數的尋優、測試圖像的選擇、MSD 具有代表性的融合算法之間的比較。實驗結果的評價選擇基于人眼視覺的主觀評價和客觀評價兩種方式。所有圖像來自http：//www.imagefusion. org/和TNO 數據庫中的配準圖像，所有實驗都建立在matlab2016a 平臺上。

(4) 為保障施工質量和優化支護設計，確保鋼拱架受壓變形可控，還需進行圍巖變形監測，施工監測每天不得少于1次，在拱架變形嚴重、圍巖過渡段、注漿前后等特殊時期每日檢測不得少于2次。

4.1 顯著性檢測算法的有效性驗證

本文的顯著性提取算法在主觀上的視覺效果更好。為了進一步驗證本文顯著性方法的優劣，本節主要通過對比一些顯著性檢測方法得到的客觀評價指標來進一步驗證算法的有效性。

測試數據集如表1 所示。采用NSCT 分解，NSCT 選擇“v k”濾波器組，塔式濾波器選擇“9-7”，分解層數為4 層，方向分解數分別為4，4，8，8，高頻采用局部能量最大方法，低頻子帶融合選擇對應文章的顯著性檢測方法。實驗圖像采用表1 中9 幅測試圖像，數據采用9 幅圖像的4 個指標AG、IE、SF 和MI 的平均值來快速判斷，如圖6所示。

表1 實驗所用數據集Tab.1 Source image used for experimental verification

圖6 9 幅圖像的客觀評價結果Fig.6 Objective evaluation results of 9 image

因為前面的一些改進方法對有些圖的融合結果有嚴重失真，所以刪除了一些方法，選擇了5 種顯著性檢測方法來對比，分別是基于LC 的方法［17］、文獻［13］的方法、文獻［14］方法、文獻［10］方法和本文方法。從圖6 可以看出，本文方法的4 個指標的平均值最大，說明本文方法的綜合性能最好。

4.2 組合參數的選擇

本文融合算法中存在3 個自由參數，分別是引導濾波器窗口半徑r、模糊度參數τ以及WLS優化中的參數λ。為了確定這3 個自由度參數的影響，利用AG、IE、SF、MI 對測試數據集在不同參數組合下進行客觀評價。依然采用4 個指標的平均值這種簡單快速方式作為評價結果，采用控制變量的方法進行擇優選擇，由于數據量太大，只展示最終數據處理結果，如圖7 所示。從圖7 可見，在τ=0.01 以及λ=0.01 時轉折點都有最好結果。此外通過計算，由于窗口大小對數值影響很小且沒有轉折點，決定選擇r=8。最終3 個自由度的取值分別為r=8、τ=0.01、λ=0.01。

圖7 本文方法在不同參數下的影響曲線Fig.7 Influence curves of the method in this paper under different parameters

4.3 最終對比實驗

實驗圖像：選擇表1 數據集中4 組圖像對，如圖8 所示，分別簡稱為“Camp”、“House”、“Trench”和“Kaptein”紅外與可見圖像對。

圖8 本文算法驗證所用源圖像Fig.8 Source images used in the algorithm verification in this paper

實驗參數：NSCT 選擇“v k”濾波器組，塔式濾波器選擇“9-7”，分解層數為4 層，方向分解數分別為4、4、8、8。r=8，τ=0.01，w=2，λ=0.01。

4.3.1 主觀性能評估

圖9～12 所示分別為本文方法和另外5 種方法在4 組圖像上的實驗結果對比圖。其中（a）～（f）分別為基于DWT 的低頻子帶加權平均、高頻選擇最大（DWT_avg）方法和低頻選擇區域能量、高頻選擇局部加權修正拉普拉斯算子和方法（DWT_WSML）［18］，基于NSCT 的低頻子帶加權平均、高頻選擇最大（NSCT_avg）方法，基于NSCT 的低頻選擇最大平方熵、高頻選擇拉普拉斯算子的方法（NSCT_SML）［19］，基于視覺顯著性LC 的融合方法（NSCT_LC）［13］以及本文方法的融合結果，下面對各算法的融合結果進行分析評價。

圖9 不同融合算法對“Camp”的處理結果Fig.9 Processing results of “Camp” by different fusion algorithms

圖9 是本文算法和對比算法在“Camp”圖像組上的實驗結果。從圖9 可以看出，不管是采用DWT 還是NSCT 工具進行多尺度分解，采用簡單的平均和絕對值取大方法（圖9（a）和圖9（c）），融合圖像雖然基本包含了兩種圖像的特點，但是不管是背景信息還是目標人物整體亮度偏暗，不夠顯著，視覺效果差，分辨率低。采用DWT_WSML 和NSCT_SML（圖9（b）和圖9（d）），目標人物非常顯著，亮度有很大提升，但是融合圖像包含了太多的紅外信息，導致左下角的景物失真以及屋頂的目標人物邊緣輪廓以及柵欄細節模糊，可見細節部分提取能力不夠。采用NSCT_LC 與本文方法（圖9（e）和圖9（f）），融合后的圖像人物目標顯著，圖像中的樹木，道路等紋理清晰，但是本文方法的圖像灰度分布黑白分明，更加有層次感，視覺效果更好。

圖10 展示了不同算法對“House”圖像的處理結果。圖10（a）和圖10（c）方法得到的融合圖像存在亮度和對比度降低的問題。圖10（b）和圖10（d）的目標人物雖然對比度有顯著提升，但是人物輪廓模糊，建筑物和樹木細節信息提取不夠，在地面和房屋附近出現嚴重的光暈偽影現象，不利于觀看和后續場景描述。圖10（e）和圖10（f）（本文方法）目標和背景之間的對比度高，建筑物視覺效果好，房屋、樹木以及地面紋理細節清晰詳細。

圖10 不同融合算法對“House”的處理結果Fig.10 Processing results of “House” by different fusion algorithms

圖11是對溝壑里的士兵圖像的處理結果。從圖11（a～e）可以看出，DWT_avg、NSCT_avg 方法存在目標和背景之間的對比度低，紅外目標不顯著的問題，DWT_WSML、、NSCT_SML 方 法存在不同程度上邊緣模糊，背景不自然，樹木細節丟失嚴重的問題。NSCT_LC 方法的整體視覺較好。與上述5 種方法的結果相比，本文方法具有較好的結果（圖11（f）），目標信息層次分明、辨識率高，可見光圖像中的樹木，草地、溝壑的邊緣以及紅外圖像中的人物的輪廓都得到了較好的保留。

圖11 不同融合算法對“Trench”的處理結果Fig.11 Processing results of “Trench” by different fusionalgorithms

不同算法對“Kaptein”圖像的融合結果如圖12所示。與前3 幅場景一致，DWT_avg、NSCT_avg方法雖然基本上包含了紅外和可見的大部分信息，但是整體圖像偏暗，目標背景對比度低。DWT_WSML 和NSCT_SML 方法存在過于提取紅外信息，導致融合圖像包含很多噪聲和無關信息。NSCT_LC 方法的目標比較顯著，同時可見信息提取完整、層次感強，但是本文方法與NSCT_LC相比，在路燈上方左上角保留了更多的可見光像中的細節紋理。

圖12 不同融合算法對“Kaptein”的處理結果Fig.12 Processing results of “Kaptein” by different fusion algorithms

綜合上述4 幅場景圖像的融合結果，從主觀評價上來看，本文方法在突出紅外目標、提高目標和背景之間的對比度、增強目標信息的辨識率以及保留較多的可見光像中的細節紋理方面具有優勢。為了避免人眼直接觀察導致的誤差影響到融合圖像的評價，本文使用客觀條件指標對融合圖像進一步評價。

4.3.2 客觀性能評估

為了進一步定量分析圖像質量，選擇AG、IE、SF、MI 作為指標進行評價［20］，表2 展示了本文方法與幾種傳統融合方法對上述4 組圖像在4 個客觀評價指標上的實驗結果。4 個指標都是值越大表示融合結果越好。4 幅圖的評價指標結果如圖13 所示，其中最佳結果數值標注在對應柱狀圖上。

表2 不同算法對“ Trench ”和“ Kaptein ”的客觀評價結果Tab.2 Objective evaluation results of “Trench” and “Kaptein” by different algorithms

圖13 不同算法對“Camp”、“House”、“Ship”和“Jeep”的客觀質量評價結果。Fig.13 Objective quality evaluation results of different algorithms for “Camp”，“House”，“Ship” and “Jeep”.

（1） 平均梯度（AG）

AG 用來度量圖像中的梯度變化，其值的大小體現了圖像的變化率、對應細節差異和紋理變化，因此可以用來表示圖像的清晰程度，其定義如式（16）所示：

（2） 信息熵（IE）

IE 用來度量圖像中所包含信息量的多少，是反應圖像信息是否豐富的重要標準。公式如式（17）所示：

其中：L表示灰度等級值，pl表示融合圖像中相應灰度值的歸一化直方圖數值。

（3） 空間頻率（SF）

SF 反映圖像灰度的變化率，反映了一幅圖像在空間域內的總體活躍程度，因此空間頻率越大，圖像融合性能越好。SF 具體值由空間行頻率（RF）和空間列頻率（CF）計算得到，如式（18）～式（20）所示：

（4） 互信息（MI）

MI 表示融合圖像與源圖像之間的關聯程度，反映融合圖像從源圖像中獲得信息量的多少，定義如式（21）所示：

式中：MIA，F和MIB，F分別表示融合結果從紅外和可見光源圖像中獲得的信息量大小，其中pX(x)、pF(f)和pX，F(x，f)分別表示源圖像x、融合圖像f的灰度直方圖以及聯合直方圖分布情況。

從表2 可以看出，本文方法的融合結果在AG、IE、SF、MI 四項評價指標上均有提升。本文融合算法的4 個指標的提高說明本文方法相比于其他算法的融合圖像更活躍，保留了更多的源圖像信息，細節描述能力也優于其他算法。綜上所述，本文方法的性能更佳，采用本文方法獲得的圖像效果最好，與主觀評價得到的結果一致。

5 結 論

為了克服傳統算法以及基于顯著性檢測算法存在的問題，進一步提高圖像融合質量，本文提出了一種基于改進的FT 顯著性檢測的NSCT紅外與可見光融合方法。為了可以更好地保留目標和背景之間的對比度，首先采用改進的顯著圖提取算法瞄準紅外圖像，用于從背景中區分目標。其次，利用計算得到的紅外顯著權重圖對NSCT 分解的低頻子帶系數進行指導融合；同時為了獲得更多的細節信息和減小噪聲影響，對高頻部分采用局部加權能量的規則進行抉擇，再通過WLS 優化處理。最后，進行NSCT 逆變換得到最終的融合圖像。實驗結果表明，通過與不同顯著性檢測算法的對比，本文的顯著性檢測算法的紅外目標提取準確，背景得到了有效抑制，客觀指標選擇的AG、IE、SF、MI 4 個指標的平均值也處于最佳結果，說明本文提出的改進FT 算法是有效的。通過這種快速判斷方法進行參數尋優，本文的最終方法通過4 組圖像與其他算法的實驗對比結果發現，主觀上，本文方法的目標突出，細節提取豐富，邊緣偽影現象消除明顯，視覺效果更好，在4 個單獨客觀評價指標平均梯度（AG）、信息熵（IE）、空間頻率（SF）、互信息（MI）上都是處于最好的狀態。與5 種對比方法指標的對比結果表明，其平均值在AG、IE、SF、MI 上分別提高了8.19%、5.34%、8.54%、68.18%，圖像質量得到明顯改善，說明這種快速判斷的方法是可行的，所提出方法具有魯棒性強的優點。