基于熱輻射信息保留的圖像融合算法

錢震龍，陳 波

（西南科技大學 計算機科學與技術學院，四川 綿陽 621010）

0 引言

如今，紅外熱成像技術在各領域都得到了很好的運用和發展。紅外圖像的獨有特征是熱輻射信息，但因其成像原理，紅外圖像難以避免地存在對比度不足、圖像邊緣不明顯、細節信息不足等問題。可見光圖像具有較為豐富的紋理信息和清晰的邊緣，具有較強的對比度，可以很好地與紅外圖像互補。將紅外圖像和可見光圖像的特征信息提取融合，可以得到信息更加豐富的圖像，并能改善單一紅外圖像對人類視覺不友好這一問題，使融合后的圖像不僅有紅外圖像的熱輻射信息，還能體現出可見光豐富的紋理和輪廓。因此，使用合理的圖像信息提取方法來將可見光圖像中的細節紋理信息同紅外圖像中的熱輻射信息進行結合，是提升融合性能的關鍵[1]。

近年來，很多學者對紅外與可見光圖像融合算法展開了研究并得到了相應的成果。常見的圖像融合算法包括以多尺度變換為策略的離散小波變換[2]、平穩小波變換[3]、輪廓波變換（Contourlet）[4]、拉普拉斯金字塔變換[5]、非下采樣輪廓波變換（NSCT）[6]、非下采樣剪切波變換（non-subsampled shearlet transform，NSST）[7]，以及近幾年發展起來的以卷積神經網絡為策略的深度學習[8]、自適應融合[9]等融合方法。這些方法雖然在紅外與可見光圖像融合上都取得了較好的視覺效果，但由于它們在研究過程中更關注如何突出顯著目標、增強圖像融合對比度及細節信息，而忽視了紅外熱輻射信息，故在保留紅外熱輻射信息上并沒有取得顯著的效果，融合后的圖像不能很好地體現出場景熱輻射分布，這將限制紅外與可見光圖像融合技術在工業檢測、體表溫度篩查監控等社會領域的應用。在當今世界范圍抗擊新冠病毒疫情中，保留熱輻射信息的紅外可見光圖像融合技術會是防止疫情擴散的一大助力。

針對上述問題，本文提出一種基于熱輻射信息保留的圖像融合算法，利用NSCT變換將圖像分解為高頻和低頻子帶，對低頻部分使用拉普拉斯算子提取特征并進行融合，高頻部分使用基于點銳度和細節增強的融合規則進行融合，使融合后的圖像不僅具有可見光圖像的細節信息，同時還能完好保留紅外圖像整體上的熱輻射強度和分布信息，最后通過逆NSCT 變換得到最終的融合圖像。

1 非下采樣輪廓波變換

NSCT不僅具備Contourlet 變換的多尺度性和各向異性，同時還具有平移不變特性，有效避免了融合中出現的Gibbs現象，確保了融合圖像的質量。結構上，NSCT 由非下采樣塔式濾波器組（non-subsampled py ramid filterbank，NSPFB）以及非下采樣方向濾波器組（non-subsampled directionalfilter bank，NSDFB）兩部分組成。NSCT 首先通過NSPFB對圖像進行多尺度變換得到多個子帶，再經NSDFB對每個子帶進行多方向變換，過程如圖1所示。

圖1 NSCT變換示意圖Fig.1 NSCT transf ormation diagr am

非下采樣金字塔（Non-Subsampled Pyramid，NSP）包含分解濾波器{H0(z),H1(z)}和合成濾波器{G0(z),G1(z)}，要使變換能完全重構，就需要滿足如下關系：

NSCT每級分解中使用的分解濾波器都是對前一級分解中的分解濾波器進行采樣得到的，采樣用到的矩陣為而NSP變換后，所得到的是和源圖像尺寸一致的1＋k個子帶圖像，即一個低通子帶和多個帶通子帶圖像。式(2)為NSPFB的濾波器數學表達式：

經過NSP變換后得到的子帶，進一步進行l級的方向分解，可以得到2l個方向帶通圖像。對分解后的低頻子帶圖像和方向帶通圖像進行需要的處理后，再通過逆NSCT變換，可以完成圖像的相關處理。

2 保留熱輻射信息的融合方法

首先，分別對可見光圖像和紅外圖像進行NSCT變換，得到各自的低頻子帶和高頻子帶，然后分別對低頻子帶和高頻子帶采取不同的融合策略進行融合。其中低頻子帶使用基于拉普拉斯算子特征提取的方法進行融合，高頻子帶通過基于點銳度和細節增強的方法進行融合，得到所有的融合子帶后，再經NSCT反變換，即得到最終的融合圖像。整體的融合框架如圖2所示。

圖2 整體融合框架Fig.2 Integrated framewor k

2.1 基于特征提取的低頻融合

要保留紅外圖像的熱輻射信息，關鍵是在低頻部分的合成中，盡可能不破壞紅外低頻子帶的整體結構，同時將可見光低頻子帶中的關鍵結構信息與紅外低頻子帶進行融合。現有的低頻子帶融合方法，如平均值融合[10]、基于視覺顯著性融合[11]、加權平均融合、基于像素特征能量的加權融合、鄰域特征結合IDCSCM（improved dual-channel spikingcortical model）融合[12]等方法旨在提高圖像的視覺效果，但都在很大程度上犧牲了紅外圖像的熱輻射信息，無法滿足本文所提到的需求。使用拉普拉斯算子進行可見光低頻子帶信息提取，可以使其中的非關鍵信息值接近零值，減小低頻融合過程中對紅外低頻信息的改變，且因拉普拉斯算子是一個線性、位移不變的算子，經算子處理后的子帶具有零平均灰度[13]，確保了低頻部分的融合不會改變紅外低頻子帶的平均灰度，滿足需求。故本文提出一種基于拉普拉斯算子的特征提取低頻融合方法，表達式如下：

式中：FN為融合子帶；AN為紅外圖像低頻子帶；BN為可見光圖像低頻子帶經拉普拉斯特征提取后得到的特征系數；α為特征增益因子。由式可見，可通過調整α的大小來擴大或減小可見光低頻特征系數對融合后低頻子帶系數的作用強弱，其值過小時，融合后圖像的低頻系數中可見光低頻部分的結構信息體現不足，α過大時會破壞紅外低頻部分的結構信息，影響融合圖像的質量和視覺效果。為了使α對于不同圖像都能取得合適的數值，使用下式進行自適應取值：

式中：H為輸入圖像I在坐標(i,j)處取灰度值；l和w分別為輸入圖像的橫向像素寬度和縱向像素寬度。為了保持紅外圖像低頻部分的平均強度不變，BN還應滿足：

為獲取BN，需要對可見光圖像低頻子帶使用拉普拉斯算子進行卷積運算，以完成作為其特征的邊緣檢測。邊緣檢測是提取圖像特征的可行方法，并已被廣泛應用到眾多領域[13]。拉普拉斯算子是一個二階微分算子，相比Sobel和Prewitt 等常用的邊緣檢測算子，拉普拉斯算子無方向性，這一特性使其能對各種方向的邊緣都有相同的增強作用，但其不具備平滑功能，對噪聲響應敏感，而圖像的低頻部分相當于已對圖像進行過低頻濾波，適合采用拉普拉斯邊緣檢測來提取可見光圖像低頻部分的特征。

式(6)為二維拉普拉斯變換的定義[14]：

離散式可表示為：

根據離散表達式，可以得到拉普拉斯卷積核的結構：

或：

本文選用式(9)拉普拉斯卷積核，通過與可見光低頻系數卷積，得到的可見光低頻特征系數BN不僅能反映出可見光低頻部分的紋理變化程度，同時能在一定程度上體現出其明暗分布信息。

得到的BN并不能直接用于低頻融合運算中，還需經過中心化和歸一化，再按照融合規則進行低頻融合。中心化和歸一化分別如下所示：

2.2 基于點銳度的高頻融合

因低頻融合部分是以保留熱輻射整體信息為前提，故不可避免地會導致融合后的圖像在局部輪廓和邊緣上的對比度有所下降，為此需要一種帶細節增強的高頻融合以進行圖像質量損失補償。對此，本文提出一種基于點銳度[15]與細節增強的高頻融合規則，其中點銳度的數值大小能反映出鄰域灰度相對于中心點灰度的變化程度，其值越大，則表明局部變化越劇烈，圖像也越清晰，可作為融合度量。算法表達式如下：

式中：FKL為融合后NSCT變換第K層的L方向上的高頻子帶；AKL與BKL為同層同方向的紅外與可見光高頻方向子帶；i，j為子帶系數矩陣中的坐標，G為本文的高頻融合算法。算法首先需要對AKL和BKL計算點銳度：

式中：m，n為子帶系數矩陣中局部范圍的長和寬；df為像素灰度變化幅值；dx為單位像素距離增量，可以看出，求取某點的點銳度即是在以該點為中心的鄰域范圍內，對鄰域點與中心點作差，對差值取絕對值后進行加權均值運算，本文使用各點到中心點的距離作為權值高低依據，即距離中心點越近，權值越大。根據計算出的點銳度，采取以下高頻方向子帶融合規則：

式中：β為融合增益因子，其增益比重參照紅外和可見光高頻方向子帶在局部細節變化程度的相似程度來定值，其計算方式為：

可以看出，當紅外高頻子帶與可見光高頻子帶的點銳度相似時，會有較大的融合增益，即對融合后圖像的主要輪廓進行增強，對細節紋理進行適量補足，以增強視覺效果，確保融合后的圖像質量。

3 實驗結果與分析

為驗證所提出的融合算法的效果，本文將對融合后的圖像質量和對紅外圖像信息的保留程度兩方面進行算法對比實驗，對實驗結果的分析評價則從主觀和客觀兩方面進行評價，并在對比實驗后對紅外源圖像和融合圖像進行偽彩色實驗，以驗證算法的實際可行性。

對比實驗數據均取自TNO數據集，選擇小波變換（discrete wavelet transform，DWT）、非下采樣輪廓波變換（NSCT）、拉普拉斯金字塔變換（laplacian pyramid，LP）、非下采樣輪廓波變換同脈沖耦合神經網絡結合（non-subsampled contourlet transform-pulse coupled neural network，NSCT-PCNN）4種圖像融合算法進行對比實驗，偽彩色實驗數據使用取自實驗室的數據集，以上實驗均在MATLABR2015b中進行，操作系統為Windows10，CPU為IntelCore i5-7200U，內存8GB。

3.1 對比實驗

3.1.1 主觀評價

通過直觀的視覺感受對圖像融合的質量優劣進行評判，是圖像評價中一種重要的參考，圖像作為視覺信息，其好壞最終將反饋給人的視覺，這種直觀判斷也是圖像分析的重要方法之一。圖3、4、5、6是各種不同算法的融合結果。

圖3 Kaptein_1123的融合結果Fig.3 Fusion results of Kaptein_1123

圖5 MMeting003 的融融合結果Fig.5 Fuusion results of Meting003

圖6 MManinhuis 的融融合結果Fig.6 Fuusion results of Maninhuis

可以看出出，幾種融合合方法都在不同程度上融合合了可可見光細節，整體上看，除本文的方法外，其它方方法視視覺上給人的的映像更加偏偏向于可見光圖像，從細節節上看看，DWT 和LLP 的可見光光細節部分融融合得較多，但但高熱熱源對象的熱熱輻射整體體強度明顯降降低，NSCTT 和NNSCT-PCNN的高熱源對對象熱輻射信息變化不大，，但對對偏向于背景景的低熱源部部分的熱輻射射進行了大幅幅改變變，而從本文文提出算法得得到的圖像可以明顯看出，，其局局部和整體熱熱輻射強度與與紅外圖像的熱輻射強度高高度一一致，相較于于紅外圖像的的細節不足，所提方法融合合得到到的圖像很好好地將可見光光圖像的紋理細節與結構同紅外外圖像融合，并并具有可見光光圖像中的立立體感和層次次感，很很大程度上改改善了視覺效效果，同時基本保持了紅外外圖像像所具有的熱熱輻射強度和和分布，而其它幾種算法對對熱輻輻射信息的保保留明顯不足足，體現出本算法的優越性性。

3.1.2 客觀評評價

為客觀評評估各算法的的性能，本文文選用平均梯梯度（aveerage gradiennt，AG）、信信息熵（entroopy，EN）、空間頻頻率（spatial frequency，SF）對各算算法的圖像融融合質量量進行考量，用結構相似似性（structuual similarityy，SSIMM）、互信息息（mutual infformation，MMI）、視覺信息保真真度（visualinformation ffidelity，VIFF）考量融合后圖像像與源紅外圖圖像的近似程程度，總計6項評價指標標對融合合效果進行客客觀評價。其其中，AG可可反映圖像細節和紋紋理的變化程程度，EN 表表明圖像中信信息量的大小，SF能能體現圖像在在頻率上的信信息豐富的程程度，SSIM是對處處理后的圖像像相較處理前前圖像的失真真程度和損失進行評評估，MI 可衡衡量兩變量間間的依賴性，用來度量融融合圖像像與源紅外圖圖像在灰度分分布上的相似似程度，VIF是基于于人類視覺失失真模型的一一種判據。以以上6 種指標標在數值值上越大，則則圖像的融合合質量越好。表1和表2分別對對應圖3、圖44的評價指標標數值，表3為為從TNO（TThe TNOO Image Fussion Dataset））中抽取10組紅外和可可見光源源圖像進行融融合后得到的的指標算數平平均值。

圖4 Kaamtein_1654的的融合結果Fig.4 Fusiion results of Kamtein_1654

表1 圖3各算法評評價指標Table 1 Fig.3 Evvaluation indexees of each algorrithm

表2 圖4各算法評評價指標Table 2 Fig.4 Evvaluation indexees of each algorrithm

表3 平均評價指標Table 3 Average evaluation indexes

從評價指標數據中可以看出，本文算法在AG、SF上占優，表明得到的融合圖像在細節上的清晰度和紋理的豐富度上優于其它算法；SSIM 和MI 則反映出本文算法對紅外圖像熱輻射信息的保留程度大于其它對比算法。雖然在EN 上不如NSCT 和NSCT-PCNN，但它們是以破壞紅外熱輻射整體結構信息為代價得到的，而NSCT-PCNN 在圖4指標和平均指標中的VIF上高于本文算法，但由于VIF 對圖像的結構信息沒有反映，單憑此項無法說明NSCT-PCNN 對紅外熱輻射保留程度高于本文。因此，綜合各評價指標來看，本文所提出的融合算法是更加有效的。

3.2 偽彩色實驗

使用實驗室的紅外熱像儀進行紅外圖像采集，成像溫寬會根據場景自動調節。由圖7、圖8可見，紅外圖像與融合圖像均能在視覺上反映出熱輻射分布信息，相較于紅外圖像，融合圖像融合了可見光細節信息，在保留熱輻射分布信息的基礎上，帶來了更好的視覺體驗，證明了本文算法的可行性。

圖7 偽彩色效果圖AFig.7 Pseudo-color rendering A

圖8 偽彩色效果圖BFig.8 Pseudo-color rendering B

4 結論

對于現有融合算法無法很好地保留紅外圖像熱輻射這一問題，本文提出了一種基于熱輻射保留的紅外與可見光圖像融合算法，使用NSCT 將圖像分解為高頻部分和低頻部分，并將拉普拉斯算子和點銳度分別應用到低頻和高頻融合中，且在高頻融合過程中作適當增強予以補償視覺損失，最后通過逆NSCT 得到融合圖像。融合后的圖像不僅很好地保留了紅外熱輻射信息，還具有清晰的細節輪廓，相較LP 算法在AG、SF 上分別提高了18.32%和15.10%，確保了融合圖像的質量，且在偽彩色變換后具有良好的視覺體驗，驗證了本文算法的可行性，為拓寬紅外可見光圖像融合技術的應用范圍提供了依據。