平穩小波變換和模糊數學的紅外與可見光圖像融合?

平穩小波變換和模糊數學的紅外與可見光圖像融合?

李嬋飛鄧奕

（漢口學院武漢430200）

提出了一種基于平穩小波變換（SWT）和模糊數學的圖像融合算法，該算法具有較好的方向選擇性與平移不變性，更適合人類在主觀上的視覺認知。先用SWT對原圖像進行分解獲取低、高頻分量，對低頻分量采取基于紅外、可見光圖像不同特性的模糊數學融合準則，高頻采用模值取大法融合。實驗結果表明，論文算法能更好地改善圖像視覺效果，標準差、信息熵和互信息等客觀指標都有所提高。

圖像融合；SWT變換；模糊數學

Class NumberTP751.1

1 引言

圖像融合［1］是指把同一傳感器對相同場景下不同時間點的多幅圖像或多個傳感器對同一場景的相似圖像，利用圖像間的互補或冗余信息進行集合的過程。它使得新圖像滿足圖像處理中的分割、特征信息提取、目標識別的需要。圖像融合現被廣泛應用于軍事、遙感處理、醫學和安全防衛等領域。

傳統的圖像融合方法有金字塔（LPT）［2］、小波（DWT）［3］和非下采樣輪廓波變換（NSCT）［4］。LPT變換會產生大量的冗余信息［5］，不能很好地體現原圖像的方向信息；DWT變換沒有平移不變性［6］，會在融合后的圖像局部區域產生一定程度的振鈴抖動效應；NSCT變換雖具備平移不變性［7］，但實時性差。SWT［8］變換擁有較好的方向選擇性、平移不變性和較高的處理速率，在圖像融合領域具備較大優勢。該變換不僅可以對圖像特征信息點進行精確定位、描述，還可以克服小波變換的振鈴效應，有利于提升圖像融合效果。

模糊數學［9］主要是基于隸屬程度的思想，運用模糊統計的方法處理不確定性問題，易于理解，且具有靈活、包容性強的特點。將模糊數學應用到融合過程不確定的圖像融合勢必會取得較好的效果。

鑒于紅外和可見光圖像融合存在的問題，本文在SWT域內提出了基于SWT和模糊數學融合方法。提出的算法能較好地保持紅外圖像的灰度輪廓目標特征和可見光圖像的場景細節信息，標準差、信息熵和互信息等指標都有所提高。

2 平穩小波變換

SWT變換［10］是繼小波變換后的一種有效信號處理工具，具有多分辨率特性和平移不變性。正是平移不變性，使得它能夠克服DWT變換在圖像融合過程中引起的振鈴效應問題。

SWT變換主要包括正、逆變換兩部分。

SWT正變換過程如下：

其中，h(n)和g(n)分別為低、高通濾波器，A(j-1)和A(j)分別表示被分解圖像在尺度2j-1和2j下的低頻分量，H(j)、V(j)、D(j)分別表示被分解圖像在尺度2j下的水平、垂直和對角方向的高頻細節分量。

對平穩小波正變換的系數直接在變換域進行處理融合得到融合后的平穩小波系數，再進行逆變換獲得融合圖像。

平穩小波逆變換具體過程如下：

3 模糊數學

模糊數學是利用模糊集合和隸屬函數等精確數學語言來描述模糊概念的方法，主要是基于隸屬程度的思想，它擁有易于理解，靈活和包容性強的特性。

模糊集合和隸屬函數的定義如下：

設在定義域X上定義了一個映射μA:X→[0,1]，x→μA(x)∈[0,1]，則A是X上的模糊集合，μA是A的隸屬函數，μA(x)是x對A的隸屬度，即有A={(x,μA(x))|x∈X}。顯然，μA可以充分描述模糊集合A。

模糊邏輯主要有以下幾個性質：

1）補集：μAE(x)=1-μA(x)；

2）交集：uA∩B(x)=min{μA(x),μB(x)}；

3）并集：uA∪B(x)=max{μA(x),μB(x)}。

建立符合實際的隸屬函數是應用模糊數學建立圖像融合數學模型關鍵之處，其中指派法、主觀經驗法、模糊統計法和二元相比排序法是比較常用的方法。模糊統計法是一種客觀方法，它首先進行模糊統計試驗，然后在試驗結果基礎上依據隸屬度的客觀性去創建μA。

4 融合準則

SWT和模糊數學的紅外與可見光圖像融合將原圖像運用SWT分解獲取低、高頻部分，再針對紅外、可見光圖像低、高頻不同特性對其采用不同融合準則融合獲得融合后圖像的低、高頻部分，最后運用SWT逆變換得到融合圖像。

4.1低頻融合準則

圖像低頻子帶主要包括源圖像的近似特性，占有圖像的大部分能量，因此低頻子帶融合準則好壞直接影響融合圖像質量。紅外圖像含有的灰度信息較多，信息分布不均勻，可選取灰度值和空間頻率［11～12］作為隸屬函數。而可見光圖像能較好地描述場景細節信息，灰度信息較豐富，可選取灰度值和梯度［13］作為隸屬函數。

1）空間頻率

其中：RF和CF分別是空間域的行、列頻率，SF是空間域頻率，F(i,j)是圖像在像素點(i,j)處的灰度值，M,N是圖像的尺寸。

2）梯度

其中：fx和fy分別表示圖像在x、y方向進行差分運算的結果，M,N是圖像尺寸。

由此，可得到各特性的隸屬函數：

其中：abs(x)和max(abs(A))分別表示對圖像A低頻子帶系數進行取模運算和模值最大值；SF為圖像A在某像素點空間域頻率，max(A(SF(x)))表示圖像A低頻系數各像素點對應頻率的最大值；GD為圖像A在某像素點梯度，max(A(GD))表示圖像A低頻系數各像素點對應子帶系數的梯度最大值。

根據模糊數學原理，可得紅外和可見光圖像的隸屬函數：

從而得到低頻子帶融合準則為

4.2高頻融合準則

圖像的高頻子帶主要承載源圖像的細節特性，反映圖像高頻部分細節信息，高頻子帶的融合準則是模值取大法，即

5 實驗結果

5.1圖像融合評價方法

圖像融合質量的優劣主要通過主、客觀評價兩類方法進行評價的［14］。主觀評價是依靠人眼對融合后圖像進行觀察評判，優點是方便、直觀，但易受主觀因素影響。客觀評價是通過一些數學指標衡量圖像融合的質量，文中運用標準差、信息熵和互信息［15～16］三指標進行評價。

5.2圖像融合實驗結果與分析

為了驗證方法的有效性，文中通過LPT、DWT、SWT、NSCT和本文方法對比。其中LPT、DWT、NSCT、SWT的低頻子帶選取均值法融合，高頻子帶選擇模值取大法融合。不同方法融合后圖像如圖1和圖2所示，評價指標如表1所示。

圖1 源圖像1及不同方法的融合結果

圖2 源圖像2及不同方法的融合結果

表1 圖像融合結果客觀評價指標

從圖1、2和表1可以得出以下信息：

1）LPT、DWT、NSCT和SWT的融合圖像整體輪廓和對比度不高，紅外圖像目標人物特征模糊不清，而本文融合算法獲得的融合圖像目標信息比較清晰，道路、山頭等細節信息也得到了更好體現，且包含了更多源圖像信息；

2）本文算法的融合后圖像標準差、信息熵和互信息均有較大幅度提高。

綜合上面信息可得到結論：

本文算法能較好地保持紅外圖像的灰度輪廓目標特征信息和可見光圖像的場景細節特征信息，從主觀和客觀都可以更好地改善融合圖像質量。

6 結語

本文將SWT和模糊數學相聯合應用于紅外與可見光圖像融合過程中。用SWT對原圖像進行分解后，運用基于紅外、可見光圖像不同特性的隸屬函數相對應的低頻子帶融合規則對低頻進行融合，可以更好地保持紅外圖像灰度輪廓目標特征信息和可見光圖像場景細節信息，融合后圖像的標準差、信息熵和互信息均有較大幅度提高，是一種有效的融合算法。

［1］揚揚.基于多尺度分析的圖像融合算法研究［D］.長春：中國科學院大學博士學位論文，2013.

YANG Yang.Research on Image Fusion Algorithm based on Multiresolution Analysis［D］.Changchun：Doctoral Dis?sertation of Chinese Academy of Sciences，2013.

［2］朱瑞輝，萬敏，范國濱.基于金字塔變換的圖像融合方法［J］.計算機仿真，2007，24（12）：178-180.

ZHU Ruihui，WAN Min，FAN Guobin.Image Fusion Meth?od based on the Pyramid Transform［J］.Journal of Comput?er Simulation，2007，24（12）：178-180.

［3］王昕，李瑋琳，劉富.小波域CT/MRI醫學圖像融合新方法［J］.吉林大學學報，2013，43（S1）：25-28.

WANG Xi，LI Weilin，LIU Fu.A New Fusion Method for CT/MRI Medical Images in Wavelet Domain［J］.Journal of Jilin University，2013，43（S1）：25-28.

［4］陳天華，林雨辰.基于NSCT變換的紅外與可見光圖像融合方法［J］.北京交通大學學報，2013，37（6）：18-21.

CHEN Tianhua，LIN Yuchen.Infrared and Visible Light Image Fusion based on Nonsubsampled Contourlet Trans?form［J］.Journal of Beijing Jiaotong University，2013，37（6）：18-21.

［5］羅鴻斌.基于拉普拉斯金字塔的數字圖像融合研究［J］.自動化與儀器儀表，2014，173（3）：27-30.

LUO Hongbin.Research on Digital Image Fusion based on Laplacian Pyramid［J］.Automation and Instrumentation，2014，173（3）：27-30.

［6］葉明，唐敦兵.區域清晰度的小波變換圖像融合算法研究［J］.電子測量與儀器學報，2015，29（9）：1328-1333.

YE Ming，TANG Dunbing.Image Fusion Algorithm Utiliz?ing Regional Definition in Wavelet Transform［J］.Journal of Electronic Measurement and Instrument，2015，29（9）：1328-1333.

［7］Huanxi Liu，Tianhong Zhu，Jiajia Zhao.Infrared and Visi?ble Image Fusion based on Region of Interest Detection and Nonsubsampled Contourlet Transform［J］.Journal of Shanghai Jiaotong University，2013，18（5）：526-534.

［8］韓亮，李嬋飛，蒲秀娟.圖像分割與平穩小波變換法融合紅外與可見光圖像［J］.重慶大學學報，2013，36（6）：112-118.

HAN Liang，LI Chanfei，PU Xiujuan.Image Fusion Meth?od for Infrared and Visible Light Images Utilizing Image Segmentation and Stationary Wavelet Transform［J］.Jour?nal of Chongqing University，2013，36（6）：112-118.

［9］Timothy J.Ross著，錢同惠，沈其聰，葛曉濱等譯.模糊邏輯及其工程應用［M］.北京：電子工業出版社，2010.

Timothy J.Ross，QIAN Tonghui，SHEN Qicong，KE Xiao?bin.Fuzzy Logic and Its Application in Engineering［M］. Beijing：Publishing House of Electronics Industry，2010.

［10］Nason G P，Silverman B W.The Stationary Wavelet Transform and Some Statistical Applications in Wavelet and Statistics［J］.Lecture Notes in Statistics，1995，103：281-299.

［11］王琰.基于多尺度分解的圖像融合研究［D］.北京：北京郵電大學，2013.

WANGYan.ImageFusionResearchbasedon Multi-scale Decomposition［D］.Beijing：Beijing Univer?sity of Posts and Telecommunications，2013.

［12］Q.Li，J.Du，F.Song，C.Wang，H.Liu，C.Lu.Region-based Multi-focus Image Fusion Using the Local Spatial Fre?quency［C］//Control and Decision Conference（CCDC），2013 25th Chinese，Guiyang，3792-3796.

［13］楊桄，童濤，陸松巖.基于多特征的紅外與可見光圖像

融合［J］.光學精密工程，2014，2（22）：489-496. YANG Huang，TONG Tao，LU Songyan.Fusion of Infra?red and Visible Light Images based on Multi Features［J］.Optical Precision Engineering，2014，2（22）：489-496.

［14］Liang Han，Chanfei Li，Xiujuan Pu.Image Fusion Meth?od for Infrared and Visible Light Images Utilizing Entro?

LI Weiping，YANG Jie.Recommended stochastic gradi?ent algorithm based on matrix decomposition Social Net?work［J］.Application Research of Computers，2014，31（6）：1654-1656.

［12］惠淑敏.基于影響強度的社會網絡搜索算法研究［J］.圖書情報工作，2012，56（2）：111-115.

HUI Shumin.Search Algorithm Based on the strength of social networks［J］.Library and Information Service，2012，56（2）：111-115.

［13］俞琰，邱廣華.基于局部隨機游走的在線社交網絡朋友推薦算法［J］.系統工程，2013（2）：47-54.

YU Tan，QIU Guanghua.Recommendation algorithm based on online social network friends locally random walk［J］.Systems of Engineering，2013（2）：47-54.

［14］張紅宇，王堅強，馬華.結合社會網絡分析和多維特征聚類的學習小組劃分方法［J］.計算機應用研究，2013，30（3）：732-735.

ZHANG Hongyu，WANG Jianqiang，MA Hua.Study group partitioning systems engineering combined with so?cial network analysis and multidimensional clustering feature［J］.Application Research of Computers，2013，30（3）：732-735.

［15］劉亮，邱曉剛，陳彬，等.人工社會中社會網絡構建研究［J］.系統仿真學報，2014，26（10）：2258-2263.

LIU Liang，QIU Xiaogang，CHEN Bing，et al.Artificial Social Construction of Social Network［J］.System Simula?tion，2014，26（10）：2258-2263.

［16］強小強，何小衛，韓建民，等.基于譜約束的隨機化社會網絡多點擾動方法［J］.計算機工程，2011，37（9）：98-100.

QIANG Xiaoqiang，HE Xiaowei，HAN Jianmin，et al. Multi-perturbation method based on spectral constraint randomization social networks［J］.Computer of Engineer?ing，2011，37（9）：98-100. py of the Histogram and Stationary Wavelet Transform［J］.Journal of Computational Information Systems，2013，9（10）：3883-3892.

［15］田秀華，興旺.基于NSCT變換的醫學圖像融合研究［J］.計算機應用與軟件，2013，30（4）：287-290.

TIAN Xiuhua，XING Wang.Research on Medical Image Fusion based on NSCT Transform［J］.Computer Applica?tion and Software，2013，30（4）：287-290.

［16］張小鳳.可見光和紅外圖像融合質量評價研究［D］.武漢：華中科技大學，2007.

ZHANG Xiaofeng.Research on the Quality Evaluation of Visible Light and Infrared Image Fusion［D］.Wuhan：Huazhong University of Science and Technology，2007.

Image Fusion Method for Infrared and Visible Light Images Based on SWT and Fuzzy Mathematics

LI ChanfeiDENG Yi
（Hankou University，Wuhan430200）

A novel fusion method based on stationary wavelet transform and fuzzy mathematics is proposed in this paper.The technique is more suitable for human vision with good directional selectivity and shift-invariance.The original images are decom?posed by SWT.According to the different features of the infrared and visible light image，the different membership functions with fuzzy mathematics are utilized as fusion rule for low frequency subband coefficients.And the absolute value is adopted as fusion rule for high frequency subband coefficients.The gray contour target information for infrared image and scene detail information for visi?ble light image are better protected.The experimental results show that the visual effect of fused image is improved efficiently.Be?sides，the standard deviation，comentropy and mutual information are increased significantly.

image fusion，stationary wavelet transform，fuzzy mathematics

TP751.1

10.3969/j.issn.1672-9722.2017.05.018

2016年11月3日，

2016年12月27日

李嬋飛，女，碩士研究生，講師，研究方向：圖像處理。鄧奕，女，博士研究生，副教授，研究方向：智能控制技術。