基于多判斷和加權最小二乘優化的NSCT紅外和可見圖像融合

王賢濤 ， 趙金宇

（1.中國科學院 長春光學精密機械與物理研究所， 吉林 長春130033；2.中國科學院大學， 北京 100049）

1 引 言

圖像融合技術可以將一個或多個傳感器獲得的同一個場景的多個圖像進行融合，獲得一個更豐富、更全面，從而能準確描述場景的綜合圖像。因此，融合技術在現代應用和計算機視覺中發揮著越來越重要的作用［1-4］。紅外傳感器得到的圖像可以根據輻射差異將目標與其背景區分開來，在全天候和全天/夜條件下都能很好地工作。而可見圖像以符合人類視覺系統的方式提供具有高空間分辨率和清晰度的紋理細節，與其他融合對象相比，更具有普遍性和互補性，目前已廣泛應用于目標識別、檢測、圖像增強、監視和遙感等領域［5-8］。

基于多尺度分解（MST）圖像融合方法是目前完成紅外與可見光圖像融合任務最有力和最常用的工具［9］。基于多尺度變換融合方案的關鍵在于多尺度分解方法和融合規則的選擇。常用的MST方法包括拉普拉斯金字塔變換（LP）、小波變換（WT）、輪廓波變換（CT）、非下采樣輪廓波變換（NSCT）、基于邊緣保持濾波器的分解方法以及其他多尺度分解方法［10-15］等。然而，LP、WT只能捕獲有限數量的邊緣方向信息，不能正確有效地表示直線和曲線的不連續性。CT雖然具有多分辨率、多方向性和各向異性等性質［16］，但是由于對圖像進行上采樣和下采樣，缺乏平移不變性，在融合結果中容易產生吉布斯現象。NSCT作為CT的平移不變性版本，在變換域表現出更好的性能。相對于其他MST方法，NSCT具有多尺度、多方向的性質，還具有平移不變性質，變換后能量更加集中［17-18］。

除了MST方法的選擇，不同子帶的融合規則也是影響融合性能的另一個因素。基于單像素的融合規則的最常見的方法是“絕對最大選擇”、“像素平均”方案。簡單的平均或者取大可能會導致圖像對比度降低，引入噪聲且使重構圖像不夠自然［19］。基于窗口的融合規則根據當前像素的活動水平合并不同子帶的系數，并通過考慮窗口中像素之間的關系來度量活動水平。目前通常使用單一特征來描述圖像的屬性。然而，單個特征通常是對圖像的部分描述，不能獲得全面的信息。常用的活動水平度量包括絕對值取大、修正拉普拉斯算子和（SML）、空間頻率（SF）、熵、對比度、局部區域能量、局部區域方差、局部對比度、局域梯度等［20］。基于區域最具代表性的方法是基于顯著區域的方法［1，3，8］。它可以提取圖像的視覺顯著區域，符合人眼視覺特性，但是針對復雜的紅外圖像一方面仍沒有特別好的方法，另一方面都是對低頻子帶提取，然后通過平均或者加權平均來處理，雖然從全局出發，但是可能效果不如基于窗口的方法。

為了解決基于MST的方法所面臨的這些問題，更好地提取圖像信息，在NSCT領域提出了一種新的融合方案。與傳統方法相比，本文所提出的方法在設計融合規則時考慮了局部結構、對比度信息、清晰度信息和亮度信息等底層特征重要性，對于不同子帶的融合方案，選擇多個互補的低層特征來設計。為了獲取更多的視覺細節和邊緣信息，采用一種加權最小二乘（WLS）優化方案來融合細節層。實驗結果表明，該算法具有適應性強的優點，改善了傳統方法的一些缺陷。

2 相關工作

2.1 非下采樣輪廓波變換

NSCT是在CT的基礎上產生的。NSCT由非下采樣金字塔濾波器組（NSPFB）和非下采樣方向濾波器組（NSDFB）構成［10］。簡單來說，NSCT過程首先使用NSPFB分解源圖像得到低頻和高頻系數，接著采用NSDFB分解NSPFB每個階段的高頻子帶，NSCT通過在多尺度分解濾波器和方向濾波器中執行上采樣，而不是對圖像信號執行采樣操作，經過N級NSCT分解后的原圖像最終可以得到和輸入的源圖像大小一致的子帶圖像（lj是尺度j下的方向分解級數），這也印證了NSCT的平移不變性［21］。NSCT分解框架圖如圖1所示。NSPFB和NSDFB都是一個雙通道的濾波器，其結構如圖2所示。

圖1 NSCT分解框架圖Fig.1 Frame diagram of NSCT decomposition

圖2 NSCT二通道非下采樣金字塔濾波器組和非下采樣方向濾波器組Fig.2 NSCT two-channel NSPFB and NSDFB

NSDFB中所有濾波器都是由單個的扇形濾波器得到的，每下一層的新方向濾波器都是對上一層扇形濾波器I0(z)、I1(z)采用梅花矩陣Q=執行上采樣來獲得。兩者的重構條件都滿足Bezout恒等式，如公式（1）所示：

式中：E0(z)、E1(z)為 NSPFB的低通、高通分解濾波器，F0(z)、F1(z)為 NSPFB的低通、高通重構濾波器，同理I0(z)、I1(z)為低NSPFB的低通、高通分解濾波器，J0(z)、J1(z)為低NSPFB的低通、高通重構濾波器。

2.2 加權最小二乘擬合

受文獻［22］優化框架的啟發，Ma等人提出了一種改進的加權最小二乘擬合（WLS）優化方案來融合細節層［23］。通過WLS代價函數來獲得第j級理想融合細節層Dj，如式（2）所示：

其中：是采用對應規則得到的第j級融合細節層。其中P表示像素的空間位置，ε是一個小常數（通常為0.0 001），防止除0。ωP是一個以像素P為中心的正方形窗口，尺寸為7×7，是產生滿意融合結果的良好選擇。λ是一個全局控制這兩項之間權衡的參數。我們將式（2）改寫為矩陣形式：

其中Dj、Mj、以向量形式表示，Aj是包含所有像素的權重的對角矩陣，T是矩陣轉置符號。使式（3）最小的向量Dj的解由線性系統唯一確定：

本文采用多判斷規則得到細節層和、和分別代表紅外細節層和可見細節層，各做一次WLS優化，得到對應理想融合細節層和。接著通過絕對值取大規則，得到最終細節圖像。融合圖像如圖3所示。

從圖3可以看出，假設和分別代表紅外細節層和可見細節層，在細節層包含有用紅外特征信息的區域，通常對比度更高，尺度更粗，所以值更大，權重將變得相對較小，所以絕大多數紅外信息由Mj轉移到融合的細節層Dj中。而對于細節層其他區域，灰度值很低，在這種情況下ε將變得很小，相應的權重aj非常大，從而可見的細節全是由轉移到融合的細節層Dj中，因此優化的結果在保證可見信息的完全提取外，對于可見的其他區域也有很好的提取。反之調換d1j和d2j，得到的圖像在紅外特征信息包含的前提下也獲得了可見信息，將兩次得到的細節圖像通過絕對值取大的規則得到的圖像，可以獲得更多的視覺細節信息和邊緣紋理信息，從而在視覺上更令人愉悅，更適合人類感知。

3 針對不同子帶提出的融合方案

基于多判斷和加權最小二乘優化的NSCT紅外和可見圖像融合方法的框架示意圖如圖4所示。首先采用NSCT將紅外和可見光圖像分解為基礎層和細節層，接著將基于NSCT的多判斷融合規則應用到低通和高通子帶的融合，最后對融合后的低通、高通子帶進行合并，通過NSCT做逆變換處理。所提出方法的細節如圖4所示。

圖4 紅外和可見圖像融合總體框架圖Fig.4 Overall frame diagram of infrared and visible image fusion

3.1 低頻子帶融合

低頻子帶是原始圖像的平滑版本，它代表圖像的輪廓。當分解層數較高時，低頻子帶主要包含原始圖像的大部分信號能量和少量細節。為了更好地保留低頻能量，獲取少量結構細節信息，選擇局部平方熵P（x，y）和SML相互補充，如式（5）所示：

其中：η是調整兩者之間的參數，P（x，y）和 SML如式（6）、（7）所示：

初始融合決策圖通過選擇最大組合方案獲得，即選擇具有最大活動度量的系數，如式（8）所示：

為了使合成MSD中的相鄰系數屬于同一源圖像以克服噪聲的影響，保證融合圖像的均勻性，在7×7窗口中使用多數濾波操作，通過一致性驗證生成最終的融合決策圖(x，y)。最后，使用最終低頻融合決策圖(x，y)來計算融合后的低頻子帶系數IL(x，y)，具體計算如式（9）、（10）所示：

3.2 高頻子帶融合

高通子帶融合的關鍵是增強每個源圖像的細節特征。為了提高高通子帶圖像的信息量，構建了一個新的活動水平度量NAM2，如式（11）所示。選擇相位一致性（PC2）、局部加權改進拉普拉斯算子和（WSML）、局部加權能量（WLE）相互補充，作為高頻子帶的活動度量；接著選擇絕對值最大規則得到權重圖，生成近似融合細節Mj；最后通過最小二乘優化獲得最終融合細節層Dj。

式中，α、β和γ是用于調整PC2、WSML和WLE的參數。位置（x，y）處圖像的 PC2、WSML、WLE可通過式（12）～（14）計算：

其中：W是大小為(2s+1)×(2s+1)的權重矩陣，s為半徑，W內的元素值為22s-d，d為中心4鄰域距離。本文選擇半徑s=1，則W的大小為3×3，對應數值為：

當獲得NAM2時，可根據公式（16）中提出的規則得到權重圖。

對得到的權重圖加權求和獲得第j級近似融合細節層Mj，如式（17）所示：

接下來，為了進一步提取更多細節信息，通過以下WLS代價函數來獲得第j級理想融合細節層Dj。

4 實驗結果與分析

本文從兩個方面來驗證所提方法的有效性。一是驗證多判斷相互補充的有效性，可以提取更多信息。采用控制變量的方法，在經過NSCT分解后，通過與高頻、低頻單一活動水平度量的對比得到的評價指標數值結果來驗證本文高頻、低頻子帶多判斷策略的有效性。二是驗證高頻子帶在經過多判斷策略后再通過最小二乘優化后的最終方法的有效性和適應性。在光照均勻性和目標類別條件下選擇4組不同類型特點的紅外和可見光圖像進行實驗驗證，選擇5種基于MST的具有代表性的融合算法進行比較。實驗結果評價選擇基于人眼視覺的主觀評價和客觀評價兩種方式來對融合圖像進行有效評價。

本文所有圖像來自http：//www.imagefusion.org/和 https：//figshare.com/articles/TNO_Image_Fusion_Data set/1008029數據庫。所有實驗都建立在matlab2016a平臺上，NSCT選擇“vk”濾波器組，塔式濾波器選擇“9-7”，分解層數為4層，方向分解數分別為 4、4、8、8，α、β、γ、η的值分別為0.005、1、1、2。

4.1 實驗驗證1

4.1.1 低頻子帶策略驗證

實驗所需源圖像如表1所示。通過NSCT分解后，高頻子帶選擇“絕對值最大”原則，低頻子帶選擇單一活動水平度量平均值、閾值能量、熵與本文低頻子帶方法對比，實驗采用信息熵IE，平均梯度AG， 空間頻率SF，互信息MI來評價，數據值如表2所示。

表1 實驗驗證1所用源圖像Tab.1 Source image used for experimental verification 1

表2 高頻選擇“絕對值最大”原則及低頻選擇不同方法對“Camp”和“House”的實驗結果Tab.2 Experimental results of “Camp” and “House” using different methods for high-frequency selection and “maximum absolute value” principle and lowfrequency selection

4.1.2 高頻子帶策略驗證

α、β、γ組合參數的選擇參照文獻［20］的思想，給出了α的一個值。本文采用控制變量的方法，在保證低頻參數不變并且β、γ都取值為1的前提下，通過改變α的值，根據兩幅圖像的4個客觀評價指標：平均梯度（Average Gradient，AG）、信息熵（Information Entropy，IE）、空間頻率（Spatial Frequency，SF）、互信息（Mutual Information，MI）求和的平均值大小來尋找最優參數，如圖5所示，α、β、γ最終取值為0.005、1、1。

圖5 本文融合方法在不同參數α下的客觀評價結果Fig.5 Objective evaluation results of the fusion method in this paper under different parameters α

在低頻子帶融合都選擇本文策略方法的前提下，高頻選擇PC、SML、方差、閾值能量與本文高頻多判斷方法對比，實驗數據值如圖6所示。

從表2和圖6的實驗數據值可以看出，基于多判斷的組合方法的數值基本都是最好的結果，說明采用多判斷相互補充的方式是有效的，提取到了更多信息從而可以彌補單一特征提取信息量的不足。

圖6 低頻選擇“本文低頻”原則，高頻選擇不同方法對“Camp”和“House”的實驗結果。縱坐標代表數值，橫坐標1、2、3、4、5代表使用方法依次是高頻選擇PC、SML、方差、閾值能量和本文高頻多判斷的方法。Fig.6 Principle of “low frequency of this article” is selected for low frequency， and the experimental results of “Camp”and “House” by different methods are selected for high frequency.The ordinate represents the numerical value， and the abscissa 1，2，3，4，5 represents the used method in order of high-frequency selection PC， SML， variance，threshold energy and the method of high-frequency multi-judgment in this paper.

4.2 實驗驗證2

4.2.1 主觀評價

如圖7和圖8所示，本文展示了6種不同融合方法對4組圖像的處理結果，分別是基于DWT的低頻子帶加權平均、高頻選擇最大（記作DWT_avg）方法和低頻選擇區域能量、高頻選擇局部加權修正拉普拉斯算子和方法［4］（記作DWT_WSML），基于NSCT的低頻選擇最大熵、高頻選擇拉普拉斯算子的方法［18］（記作 NSCT_SML），基于PC的多特征融合方法［21］（記作NSCT_PC），低頻像素平均、高頻選擇最大方法（記作NSCT_avg）以及本文方法。

圖7 不同融合算法對“Camp”和“House”的處理結果Fig.7 Processing results of “Camp” and “House” by different fusion algorithms

如圖7所示，第一個場景拍攝內容是聯合國存放物資的營地，人在紅外圖像中清晰可見，但背景信息卻極其模糊。在可見光圖像中看不到人物目標，但背景相對清晰，建筑物、樹、道路和柵欄等細節都清楚可見。第二個場景為建筑物煙霧圖像，人物在紅外圖像中清晰可見，但背景信息只能顯現大致輪廓。可見光圖像場景中的天空、樹林、地面都很清楚，建筑物呈現清晰的輪廓細節，但人物目標不易辨認。對于兩個場景，低頻采用簡單的平均和高頻采用絕對值取大方法，融合后的圖像整體對比度低，目標人物也不能夠明顯凸顯，視覺效果差。

對于第一個場景，采用DWT_WSML方法的人物目標顯著，但是圖像左下角的景物失真明顯，細節描述能力不夠。NSCT_SML和NSCT_PC方法的人物目標顯著，圖像中的樹木、道路等可以較好地顯示。但是屋頂的目標物邊緣輪廓以及柵欄細節模糊。

對于第二個場景，基于DWT_WSML的方法目標任務雖然有顯著提升，但是人物輪廓模糊，建筑物亮度信息提取不夠，地面細節方面提取較差，甚至出現光暈。基于NSCT_PC方法的建筑物視覺效果好，紋理細節清晰，但是目標人物不顯著。綜合兩個場景，本文方法得到的結果是最清晰的，圖像的灰度對比度高，邊緣、輪廓和紋理等線條豐富清晰。

為進一步判斷本文方法的適應性和通用性，選擇光照均勻和不均勻的海上和陸地目標進一步驗證，如圖8所示。

圖8 不同融合算法對“Ship”和“Jeep”的處理結果Fig.8 Processing results of “Ship” and “Jeep” by different fusion algorithms

第三個場景是白天拍攝的海平面上的游船。采用DWT_WSML方法的整體視覺效果有所提升，但是周圍的海平面也比較模糊，船桿模糊而且不顯著，而且在對輪船窗口的融合方面，DWT_WSML和NSCT_SML方法沒有好的提取。NSCT_PC方法雖然對窗口有好的提取，但是紋理不是很清晰。

第四個場景是夜晚拍攝的值班士兵和吉普車。可見圖像的光照不均勻、整體灰度低；紅外圖像的目標人物、汽車和房屋顯著，細節很模糊。采用DWT_WSML方法的對比度高、目標顯著，而且對天空噪聲有很好的消除，但是對房屋窗口局部紋理提取效果很差。而NSCT_SML和NSCT_PC雖然對窗口有提取但是窗口紋理模糊，而且在房屋邊緣出現少量光暈現象。

因此，綜合4種不同類型和特點的場景，從主觀融合結果上看，本文方法的目標顯著、背景清晰、視覺效果好而且適應性強。為了避免人眼直接觀察導致的誤差影響到融合圖像的評價，本文還需要使用客觀條件指標來對融合圖像進行評判。

4.2.2 客觀評價

為了進一步定量比較各種融合方法，本節給出了融合結果的客觀評估。采用平均梯度（Average Gradient，AG）、信息熵（Information Entropy，IE）、空間頻率（Spatial Frequency，SF）、互信息（Mutual Information，MI）作為評價指標［2］。具體計算公式如下所示，4個指標都是值越大表示融合結果越好。

（1）平均梯度

平均梯度（AG）衡量圖像中的梯度變化，即表征圖像的邊緣精細程度，因此可以表示圖像的清晰程度，其定義如式（20）所示：

（2）信息熵

信息熵（IE）用來度量圖像中所包含信息量的多少，是衡量圖像信息豐富度的重要標準，其定義為：

其中L表示灰度級的數量，pl表示融合圖像中相應灰度級的歸一化直方圖。

（3）空間頻率

空間頻率（SF）是一種基于梯度的圖像質量指數，即水平和垂直梯度，分別稱為空間行頻率（RF）和列頻率（CF）。SF度量可以有效地測量圖像的梯度分布，從而揭示圖像的細節和紋理。其定義為：

（4）互信息

互信息（MI）用于度量融合圖像與源圖像之間的相似性，反映融合圖像從源圖像中獲得信息量的多少，MI的定義如下：

其中：pX(x)和pF(f)分別表示源圖像x和融合圖像f的灰度直方圖，pX，F(x，f)表示源圖像x和融合圖像F的聯合直方圖。較大的MI度量意味著大量信息從源圖像傳輸到融合圖像，表明融合性能良好。

如表3和表4所示，最佳結果采用加粗展示。接著將4幅圖的評價指標通過柱狀圖的方式展示，其中最佳結果標注在對應圖上，如圖9所示。從表3表4和圖9的數據可以看出，與其他5種融合方法相比，在平均梯度（AG）、信息熵（IE）、空間頻率（SF）3個指標上，本文提出的方法都處于一個最好的值，尤其是對北約營地的AG和SF的提升。對于第四個指標MI，雖然本文的方法并沒有達到最大，但是始終保持一個較好的數值。因此，綜上所述，本文方法的性能更好，采用本文方法獲得的圖像效果最好，與主觀評價得到的結果一致。

圖9 不同算法對“Camp”、“House”、“Ship”和“Jeep”的客觀質量評價結果。Fig.9 Objective quality evaluation results of different algorithms for “Camp”， “House”， “Ship” and “Jeep”.

表3 不同算法對“Camp”和“House”的客觀評價結果Tab.3 Objective evaluation results of “Camp” and “House” by different algorithms

表4 不同算法對“Ship”和“Jeep”的客觀評價結果Tab.4 Objective evaluation results of “Ship” and “Jeep” by different algorithms

5 結 論

為了克服傳統融合方法和單一特征融合目標信息不夠突出，細節、紋理缺失嚴重的問題，進一步提高目標和背景之間的對比度，抑制噪聲，增強目標信息的辨識率，同時盡可能完整地保留可見光圖像中的細節紋理，本文提出了一種基于多判斷和加權最小二乘優化的NSCT紅外和可見圖像融合融合方法。針對低頻、高頻子帶，選擇多個底層特征相互補充的方式，可以在突出目標的同使獲得更多細節信息，通過WLS優化和一致性檢測的方式來提取更多的邊緣紋理信息和減少噪聲等無關細節。實驗結果表明，本文所提出的方法在主觀上的能量保持、細節保留、圖像對比度上保留了更多的目標信息和細節信息，視覺效果也更好。在4個客觀評價指標平均梯度（AG）、信息熵（IE）、空間頻率（SF）、互信息（MI）中，在保證MI指標比較好的前提下，其他3個指標都處于最好的狀態，尤其對光照均勻的“Camp”圖像，AG和SF為3.076 4和6.641 3，與最好的數值相比，提高了6.9%和4.8%，從而驗證了本文所提方法具有較好的有效性和適應性。