葉坤濤,李 文,舒蕾蕾,李 晟
〈圖像處理與仿真〉
結合改進顯著性檢測與NSST的紅外與可見光圖像融合方法
葉坤濤,李 文,舒蕾蕾,李 晟
(江西理工大學 理學院,江西 贛州 341000)
針對當前基于顯著性檢測的紅外與可見光圖像融合方法存在目標不夠突出、對比度低等問題,本文提出了一種結合改進顯著性檢測與非下采樣剪切波變換(non-subsampled shearlet transform, NSST)的融合方法。首先,使用改進最大對稱環繞(maximum symmetric surround, MSS)算法提取出紅外圖像的顯著性圖,并進一步通過改進伽馬校正進行增強,同時應用同態濾波增強可見光圖像。然后,對紅外圖像與增強的可見光圖像進行NSST分解,利用顯著性圖指導低頻部分進行融合;同時設定區域能量取大規則指導高頻部分融合。最后,通過NSST逆變換重構融合圖像。實驗結果表明,本文方法在平均梯度、信息熵、空間頻率和標準差上遠優于其他7種融合方法,可以有效突出紅外目標,提高融合圖像的對比度和清晰度,并保留可見光圖像的豐富背景信息。
圖像融合;顯著性檢測;非下采樣剪切波變換;最大對稱環繞;同態濾波
圖像融合技術可以表述為將同一場景下捕捉的兩幅或多幅傳感器圖像合成一幅組合了互補信息源、對場景信息描述更準確的圖像,紅外與可見光圖像融合則是多源傳感器信息融合領域中一個較為重要的分支[1]。它將紅外圖像的目標區域與可見光圖像的細節信息相結合,形成一幅描述場景信息更全面的融合圖像,能夠克服紅外傳感器與可見光傳感器各自成像時的缺陷,如紅外圖像的細節信息缺失、對比度和分辨率低,可見光圖像易受反射光等外界環境的干擾,目標信息難提取等。當前,紅外與可見光圖像融合技術已廣泛應用于紅外夜視、資源勘探和生物醫學等領域[2]。
NSST(non-subsampled shearlet transform)為一種近期較流行的多尺度變換方法,它具備較優的多分辨率性、各向異性及平移不變性等,能夠克服圖像邊緣處的偽吉布斯現象[3]?;贜SST的圖像融合方法表現良好,融合效果優于先前提出的小波變換、輪廓波變換以及非下采樣輪廓波變換(non-subsampled contourlet transform, NSCT)等多尺度變換方法[4]。
近年來,隨著視覺顯著性檢測的興起,諸多顯著性檢測模型已被國內外學者先后提出[5],同時視覺顯著性檢測也被成功應用在圖像融合領域,并取得了較好的融合效果[2,6-8]。文獻[6]利用引導濾波改進頻率調諧(frequency-tuned, FT)顯著性檢測算法[9],獲取的融合圖像突出了紅外目標、保留了較多的可見光背景信息,但對比度提升不夠明顯且目標處可能存在偽影現象。文獻[7]中,首先利用L0范數改進FT算法,其次對紅外顯著性圖進行S型曲線拉伸變換,同時使用對比度受限的自適應直方圖均衡化算法增強可見光圖像,獲取的融合圖像中可見光細節信息豐富、紅外目標區域突出,但該方法易使紅外目標偏暗,還丟失了部分可見光背景信息。文獻[8]提出暗抑制思想改進最大對稱環繞(maximum symmetric surround, MSS)顯著性檢測算法[10],并利用顯著性圖構成不同的規則來融合基礎層和細節層,獲取的融合圖像的效果較優,紅外目標突出,沒有區域污染的現象,但其對比度與清晰度仍有待提高。文獻[2]提出二維經驗模態分解改進FT算法,并用灰度因子增強紅外圖像,該方法的紅外目標亮度適用、融合圖像清晰度較高,但融合圖像對比度偏暗,還丟失了部分可見光背景細節。
針對上述問題,本文采用改進MSS算法提取出紅外圖像的顯著性圖并通過改進伽馬校正進一步增強,同時用同態濾波增強可見光圖像,結合NSST的各向異性、平移不變性等,提出了一種結合改進顯著性檢測與NSST的紅外與可見光圖像融合方法。實驗結果表明,相比于其他7種圖像融合方法,本文方法在主觀視覺分析和客觀指標評估上均取得最優。
MSS算法屬于FT算法的改進版本,通過像素點與圖像邊緣之間的距離來改變圖像邊界附近中心環繞的濾波帶寬[8]。MSS算法不僅繼承了FT算法的優勢,還具有準確性高、速度快等特點,但易使圖像背景處顯著性降低。
MSS算法采用高斯差分濾波方法,該過程中高斯核尺寸為5×5,高頻截止頻率為p/2.75。對于一幅輸入圖像,其顯著性圖獲取的公式表示為:



式中:表示輸入圖像中的某個區域,S表示區域的面積。的范圍由式(3)表示;S的大小由式(4)表示:


式中:0與0取值范圍可分別表示為0=min(,-),0=min(,-),其中與為輸入圖像的寬與高。
加權最小二乘(weighted least squares, WLS)濾波為一種經典的邊緣保持性算法,屬于非線性濾波[11]。通過WLS濾波,平滑的結果圖像與輸入圖像近似,并與邊緣部分信息保持著一致,結果圖像表示為:

式中:下標p表示像素位置,為正則化參數;a,p、a,p為平滑權重系數。(p-p)2的作用是使平滑圖像與輸入圖像更相似。


伽馬校正又稱冪次變換,是一種灰度非線性增強方法,通過改變圖像對比度達到細節增強,從而改善輸出圖像的整體視覺效果[12]。通常的伽馬校正表示為:

式中:out(,)表示原始圖像伽馬校正后對應像素;in(,)表示原始圖像的各處像素,像素范圍為[0,1];為常數;為伽馬系數。
若<1,高灰度值區域的動態范圍變小,低灰度值區域的動態范圍變大;>1,與之相反。通過設定多個值,可以有效地調整圖像的對比度和清晰度。
為了較好地解決經典MSS算法在進行高斯模糊濾波時易引起圖像邊緣模糊、細節信息丟失等問題,同時提高顯著性圖的質量,本文提出利用具有較強的邊緣保持、和細節增強能力的加權最小二乘法濾波器代替經典MSS算法中的高斯模糊濾波器,形成改進MSS算法來獲取紅外圖像的顯著性圖,即:

式中:wls(,)表示輸入圖像經過加權最小二乘濾波后在像素(,)處的灰度值;wls(,)表示相應的顯著性圖。
獲取顯著性圖wls后,本文提出使用改進伽馬校正法來突出顯著性圖里的紅外目標,并弱化背景信息,從而提高顯著性圖的整體質量。
首先,對wls進行歸一化處理,得到歸一化顯著性圖,表示為:

其次,對nom進行改進伽馬校正。以紅外圖像的整體像素均值m作為標準,若顯著性圖wls內某點像素值wls(,)大于m的平方,可稱該點為高灰度區域點,否則稱為低灰度區域點。為了提高顯著性圖nom的整體對比度,更好地突出紅外目標,弱化背景細節??梢詫︼@著性圖nom內的低灰度區域進行壓縮,同時對其高灰度區域進行擴展,增強低高灰度區域之間的差異性,從而獲取對比度增強的顯著性圖,表示為:

式中:gam(,)為進行改進伽馬校正后的顯著性圖;0為較小常數,避免式(11)出現0值的情況,本文取0=0.00001,1、2為自適應的伽馬因子,為了有效地提高紅外圖像顯著性圖的對比度,需保證1>1、2<1。經過多次實驗運算,當1、2可自適應地取為式(12)和式(13)時,本文方法的融合性能較優,即:
1=1.4+0.5×nom(12)
2=0.6-0.5×nom(13)
最后,將3種經典的顯著性檢測算法,即LC(luminance contrast)算法[13]、FT算法、MSS算法提取的紅外顯著性圖以及本文方法中顯著性圖wls、gam進行對比實驗,并對顯著性檢測的結果進行主觀評價,本文以紅外圖像“Camp”為例,5種顯著性圖的結果對比如圖1所示。

圖1 紅外圖像的顯著性圖
從人眼的主觀視覺效果上觀察圖1,發現本文方法提取出的顯著性圖wls和gam的人物目標更清晰且突出,同時顯著性圖gam的背景信息最少,人物目標的寬度更接近于原始的紅外圖像,其邊緣輪廓最清晰、亮度效果最佳。表明了顯著性圖gam在wls的基礎上,進一步地抑制了紅外圖像的山坡、灌木等背景信息。通過前面的主觀視覺分析可知,本文方法提取出的紅外顯著性圖優于LC算法、FT算法和MSS算法所提取的紅外顯著性圖。
由于可見光圖像常存在著因光照不足或清晨、夜間拍攝等原因造成圖像整體偏暗,背景細節的清晰度不夠高。本文決定對NSST分解前的原可見光圖像進行預處理,適當地提高圖像的整體亮度,同時增強背景細節的清晰度。圖像預處理的常見方法有直方圖均衡化法、中值濾波以及同態濾波等。
直方圖均衡化法簡單有效,對圖像進行均勻變換,但對于圖像中過亮或過暗區域無法實現有效的增強。中值濾波能夠有效地抑制圖像中的噪聲,強調出圖像細節部分,但易造成圖像模糊。同態濾波是一種基于傅里葉變換的頻域增強算法,它將圖像空域特征與頻域特征相結合,通過動態壓縮圖像的灰度值范圍來調整圖像的照射和反射強度,能在不丟失圖像亮區細節的同時增強圖像暗區細節,提升圖像的整體對比度,從而提高非均勻光照條件下的圖像質量[14]。本文綜合考慮多種可見光圖像的預處理方法后,決定采用優勢較為明顯的同態濾波,并對增強后的可見光圖像進行歸一化處理。
圖2為分別應用直方圖均衡化法、中值濾波法以及同態濾波法對可見光圖像“Camp”進行增強的結果對比。

圖2 可見光圖像的增強結果
觀察圖2,發現圖2(b)中的圖像整體過亮,對比度過高,背景細節偏模糊,增強過度;圖2(c)中的圖像整體對比度較低,背景細節不清晰,邊緣輪廓較模糊,增強效果一般;圖2(d)中的圖像整體視覺效果最佳,其對比度適中,邊緣輪廓和背景細節清晰度最高,符合人眼的視覺特性,這表明經過同態濾波后的可見光圖像有更優的增強效果。

NSST分解后的子帶圖像與源圖像尺寸相同,且具有高稀疏性、準確表征融合信息的性能。源圖像經過3級NSST分解過程如圖3所示。

圖3 源圖像的3級NSST分解過程
2.3.1 融合流程
本文提出的結合改進顯著性檢測與NSST的紅外與可見光圖像融合方法的流程框圖如圖4所示,具體融合步驟分為以下5步:
步驟1),輸入已配準的紅外圖像IR和可見光圖像VIS;
步驟2),利用改進MSS算法提取出紅外圖像IR的顯著性圖,再使用改進伽馬校正進行增強,同時利用同態濾波法對可見光圖像VIS進行增強;
步驟3),將紅外圖像IR和增強后的可見光圖像VIS進行NSST分解,獲取相應的低頻子帶IR(,)、VIS(,)和高頻子帶D,lIR(,)、D,lVIS(,),其中為分解尺度,為尺度上的方向數;
步驟4),利用增強的紅外顯著性圖指導低頻子帶融合,采用區域能量取大規則指導高頻子帶融合,獲取融合后的低頻子帶F(,)和高頻子帶D,lF(,);
步驟5),對F(,)、D,lF(,)進行NSST逆變換,獲取融合圖像F并輸出。
2.3.2 融合規則
低頻子帶為源圖像的近似成分,為了充分突出紅外目標特征,并保留可見光圖像的細節信息,本文利用基于改進MSS算法提取出的紅外圖像顯著性圖指導低頻部分系數進行融合,融合規則為:


高頻子帶代表源圖像的細節成分,常見的絕對值取大規則易使融合圖像混雜許多無效信息,因此本文使用區域能量取大的規則來融合高頻部分系數,表示為:

式中:E,l(,)表示某像素處的高頻部分區域能量大小,表示為:

式中:M和N為區域窗口測度,表示區域窗口大小為(2M+1)×(2N+1),本文取為3×3;w為窗口掩膜矩陣,越靠近中心點表明其權值相對越大,本文取。
為了檢驗本文方法的有效性,將本文方法與LP[16]、CVT[17]、NSCT[18]、NSST-PCNN[4]、NSST- PAPCNN[19]、NSST-FT(低頻采用FT算法獲取的顯著性圖指導融合、高頻采用區域能量取大規則指導融合的NSST方法)和文獻[6]方法進行圖像融合實驗對比,實驗中采用6組經典的紅外與可見光圖像,其中前5組來源于TNO數據集[20],第6組為常規的輪船圖像。6組圖像已經過嚴格地圖像配準,分別記為“Camp”、“Kaptein”、“Tree”、“APC”、“Marne”和“Steamboat”圖像。
實驗相關環境設置為:Intel Core i7-9750H,CPU主頻為2.60GHz,內存為16GB,選用Windows10操作系統和Matlab2019a軟件仿真平臺。本文方法的實驗中相關參數設置:NSST分解中,選擇“maxflat”為NSST分解濾波器,分解方向數為{8,8,16,16};加權最小二乘濾波中,=0.7,=0.6;同態濾波中,銳化參數=2.0,高頻增益為H=3.2,低頻增益為L=0.75,截止頻率為0=80。則6組經典紅外與可見光圖像在8種融合方法下的融合結果如圖5~10所示。

圖5 “Camp”圖像的融合結果

圖6 “Kaptein”圖像的融合結果

圖7 “Tree”圖像的融合結果

圖8 “APC”圖像的融合結果

圖9 “Marne”圖像的融合結果

圖10 “Steamboat”圖像的融合結果
首先,本文對6組圖像融合結果進行主觀視覺評價。觀察上圖5~10,發現8種融合方法都基本實現了紅外目標和可見光細節的提取,但LP、CVT及NSCT三種傳統方法的融合圖像對比度和清晰度較低、邊緣輪廓模糊,同時紅外目標過暗,存在著明顯的偽影現象。NSST-PCNN和NSST-PAPCNN方法的融合圖像整體過亮,存在著紅外目標與邊緣輪廓模糊現象,NSST-PCNN方法丟失了較多的可見光背景細節,僅在“APC”圖像上獲取較好地融合效果,而NSST-PAPCNN方法在“Tree”、“Marne”和“Steamboat”圖像上存在著嚴重的區域污染,直接降低了融合圖像的質量。NSST-FT、文獻[6]及本文方法的融合圖像整體較清晰,對比度適中,優于3種傳統方法、NSST-PCNN及NSST-PAPCNN方法獲取的融合圖像,但NSST-FT和文獻[6]方法在“Camp”圖像上存在偽影現象,樹木、塵土等背景信息偏暗,使得融合圖的對比度和清晰度弱于本文方法,在“Marne”圖像的天空上方區域存在全黑的污染現象,同時“Steamboat”圖像上的紅外目標較暗。
本文方法的6組融合圖像對比度適中,清晰度高,具有豐富的背景細節信息,例如林木、塵土和煙霧信息,這些背景信息邊緣輪廓清晰且亮度適中,更符合人眼視覺系統對灰度圖像信息的認知特性,紅外目標突出;“Camp”圖像中的人物目標清晰且周圍無偽影,灌木、圍欄等背景細節信息十分豐富;“Kaptein”圖像中的人物目標特征突出,樹木信息豐富;“Tree”圖像中的視野信息保真度最高,整幅圖像有明顯地“去霧”效果,有效突顯了林木圖像的原始特征;“APC”圖像中的紋理細節豐富,邊緣輪廓清晰;“Marne”圖像中,無任何天空區域污染現象,樹木細節清晰;“Steamboat”圖像中的人物目標亮度最佳,輪船和水面細節清晰。綜上分析,本文方法的融合結果在主觀視覺評價上表現最佳。
其次,本文選用互信息(mutual information, MI)、平均梯度(average gradient, AG)、信息熵(information entropy, IE)、空間頻率(spatial frequency, SF)以及標準差(standard deviation, SD)共5項指標對6組圖像的融合結果進行客觀評價[7]。5項客觀指標均為正項指標,其值越大表明融合效果相對更好。表1~2為選用5項客觀指標的評價結果。
由表1~2可知,相比于其他7種融合方法,本文方法在5項客觀指標值上有明顯提升,這與主觀視覺評價的結果相一致。對于前4組圖像,本文方法在5項指標上均為最佳值,并在“Kaptein”、“Tree”圖像上,本文方法的5項指標值與其他7種方法之間差距尤為明顯。在“Marne”圖像上,本文方法的MI低于NSST-PAPCNN方法;在“Steamboat”圖像上,本文方法的MI低于NSST-PCNN方法,而其余4項指標均仍為最佳值。通過利用上述5項指標融合結果的客觀評價,表明了本文方法的所獲取融合圖像所含信息量更豐富,同時融合圖像的反差更大、清晰度和對比度更高。

表1 前三組融合圖像的客觀評價結果

表2 后三組融合圖像的客觀評價結果
通過主觀視覺評價以及客觀指標評價,充分證實了本文提出的改進方法融合性能優異,勝于另外7種傳統、流行及基于顯著性檢測的融合方法。
本文在經典的MSS算法基礎上進行改進,同時考慮到可見光圖像因成像機制存在偏暗的問題,提出了一種結合改進顯著性檢測與NSST的紅外與可見光圖像融合方法。在經典的MSS算法中混入加權最小二乘法濾波,提取出紅外圖像的顯著性圖,并進一步通過改進伽馬校正增強顯著性圖,可以有效突出顯著性圖中的紅外目標,同時抑制紅外背景信息;利用同態濾波對可見光圖像進行預處理,提高可見光圖像的整體亮度,增強其背景細節清晰度;然后依據NSST分解原理,使用增強后的顯著性圖指導低頻部分融合,同時使用區域能量取大規則指導高頻部分融合。實驗結果表明本文方法能夠有效地應用于紅外與可見光圖像融合領域,屬于一種實用性高、可行性強的紅外與可見光圖像融合方法。
[1] CHEN J, LI X, LUO L, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]., 2020, 508(1): 64-78.
[2] 崔曉榮, 沈濤, 黃建魯, 等. 基于BEMD改進的視覺顯著性紅外和可見光圖像融合[J]. 紅外技術, 2020, 42(11): 1061-1071.
CUI Xiaorong, SHEN Tao, HUANG Jianlu, et al. Infrared and visble image fusion based on BEMD and improved visual saliency[J]., 2020, 42(11): 1061-1071.
[3] CHENG B, JIN L, LI G. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]., 2018, 310(10): 135-147.
[4] 鄭偉, 趙成晨, 郝冬梅. NSST和改進PCNN相結合的甲狀腺圖像融合[J]. 光電工程, 2016, 43(10): 42-48,55.
ZHENG Wei, ZHAO Chengchen, HAO Dongmei. Thyroid image fusion based on NSST and improved PCNN[J]., 2016, 43(10): 42-48, 55.
[5] Borji A, Itti L. State-of-the-art in visual attention modeling[J]., 2013, 35(1): 185-207.
[6] 傅志中, 王雪, 李曉峰, 等. 基于視覺顯著性和NSCT的紅外與可見光圖像融合[J]. 電子科技大學學報, 2017, 46(2): 357-362.
FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]., 2017, 46(2): 357-363.
[7] 林子慧, 魏宇星, 張建林, 等. 基于顯著性圖的紅外與可見光圖像融合[J]. 紅外技術, 2019, 41(7): 640-645.
LIN Zihui, WEI Yuxing, ZHANG Jianlin, et al. Image fusion of infrared and visible images based on saliency map[J]., 2019, 41(7): 640-645.
[8] 安影, 范訓禮, 陳莉, 等. 結合FABEMD和改進的顯著性檢測的圖像融合[J]. 系統工程與電子技術, 2020, 42(2): 292-300.
AN Ying, FAN Xunli, CHEN Li, et al. Image fusion combining with FABEMD and improved saliency detection[J]., 2020, 42(2): 292-300.
[9] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.
[10] Achanta R, Susstrunk S. Saliency detection using maximum symmetric surround[C]//, 2010: 2653-2656.
[11] 馮維, 吳貴銘, 趙大興, 等. 多圖像融合Retinex用于弱光圖像增強[J]. 光學精密工程, 2020, 28(3): 736-744.
FENG Wei, WU Guiming, ZHAO Daxing, et al. Multi images fusion Retinex for low light image enhancement[J]., 2020, 28(3): 736-744.
[12] 吳京輝, 唐林波, 趙保軍. 局部特征與全局信息聯合的自適應圖像增強算法[J]. 北京理工大學學報, 2014, 34(9): 955-960.
WU Jinghui, TANG Linbo, ZHAO Baojun. Local-to-global adaptive image enhancement algorithm[J]., 2014, 34(9): 955-960.
[13] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//14, 2006: 815-824.
[14] DONG S, MA J, SU Z, et al. Robust circular marker localization under non-uniform illuminations based on homomorphic filtering[J]., 2021, 170(1): 108700.
[15] 焦姣, 吳玲達, 于少波, 等. 混合多尺度分析和改進PCNN相結合的圖像融合方法[J]. 計算機輔助設計與圖形學學報, 2019, 31(6): 988-996.
JIAO Jiao, WU Lingda, YU Shaobo, et al. Image fusion method using multi-scale analysis and improved PCNN[J]., 2019, 31(6): 988-996.
[16] Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]., 1983, 31(4): 532-540.
[17] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.
[18] ZHANG Q, GUO B. Multifocus image fusion using the nonsubsampled contourlet transform[J]., 2009, 89(7): 1334-1346.
[19] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.
[20] Figshare. TNO Image Fusion Dataset[EB/OL]. [2014-04-26]. https:// figshare. com/articles/TNO_Image_Fusion_Dataset/1008029.
Infrared and Visible Image Fusion Method Based on Improved Saliency Detection and Non-subsampled Shearlet Transform
YE Kuntao,LI Wen,SHU Leilei,LI Sheng
(,,341000,)
To address the problems in the current infrared and visible image fusion method wherein targets are not prominent and contrast is low based on saliency detection, this paper proposes a fusion method by combining improved saliency detection and non-subsampled shearlet transform (NSST). First, the improved maximum symmetric surround algorithm is used to extract the saliency map of an infrared image, the improved gamma correction method is utilized to enhance the map, and the visible image is enhanced through homomorphic filtering. Second, the infrared and enhanced visible images are decomposed into low-and high-frequency parts through NSST, and the saliency map is used to guide the fusion of the low-frequency parts. Simultaneously, the rule of maximum region energy selection is used to guide the fusion of the high-frequency parts. Finally, the fusion image is reconstructed using the inverse NSST. The experimental results show that the proposed method is far superior to other seven fusion methods in terms of average gradient, information entropy, spatial frequency, and standard deviation. Thus, proposed method can effectively highlight the infrared target, improve the contrast and definition of fused images, and preserve rich background information of visible images.
image fusion,saliency detection,non-subsampled shearlet transform,maximum symmetric surround,homomorphicfiltering
TP391.41
A
1001-8891(2021)12-1212-10
2021-04-02;
2021-04-13.
葉坤濤(1972-),男,博士,副教授,碩士生導師,目前研究方向有MEMS、信號處理等。E-mail:mems_123@126.com。
江西省教育廳科學技術研究項目(GJJ170526)。