基于區域平均梯度與區域能量的圖像融合

鞏稼民, 楊　瀟, 楊　萌, 孟令賀, 徐嘉馳

(1. 西安郵電大學 電子工程學院, 陜西 西安 710121；　2. 西安郵電大學 通信與信息工程學院， 陜西 西安 710121)

基于區域平均梯度與區域能量的圖像融合

鞏稼民1, 楊瀟2, 楊萌1, 孟令賀1, 徐嘉馳1

(1. 西安郵電大學 電子工程學院, 陜西 西安 710121；2. 西安郵電大學 通信與信息工程學院， 陜西 西安 710121)

摘要:同時引入區域平均梯度和區域能量，給出一種改進的小波圖像融合算法。對圖像進行小波分解，得到各自的低頻分量和高頻分量，對低頻部分采用區域平均梯度取大的規則進行融合，對高頻部分以區域能量取大的規則進行融合，然后經小波重構得到融合圖像。針對多聚焦圖像進行的仿真實驗結果顯示，所給融合算法可改進基于區域平均梯度和基于區域能量的小波圖像融合算法的性能，融合圖像的模糊現象在視覺效果上有所改善，其峰值信噪比和互信息也有所提高。

關鍵詞:圖像融合；小波變換；多聚焦圖像；區域平均梯度；區域能量

光學傳感器對一個場景進行成像時，由于焦距范圍有限，很難對場景中不同距離上的目標都清晰成像。解決這個問題的有效方法就是多聚焦圖像融合[1]，即利用圖像融合技術，對同一場景中不同目標分別聚焦的多幅圖像進行融合，提取其清晰部分，綜合形成一幅各個目標都清晰聚焦的新圖像。多聚焦圖像融合有利于后續對目標進行檢測、識別或跟蹤，被廣泛應用于數碼成像、機器視覺等領域[2]。

多聚焦圖像融合主要有基于金字塔變換的圖像融合方法和基于小波變換的圖像融合方法。與金字塔變換相比，小波變換具有方向性和非冗余性，且擁有與人眼視覺系統相符合的層次結構，在圖像處理領域應用更廣[3]。

按照考察對象的差異，基于小波變換的圖像融合算法主要分為基于單個像素的融合方法和基于區域的融合方法[4]。加權平均法和系數取絕大值法是兩種基于單個像素的經典小波圖像融合算法，與這兩種算法相比，基于區域平均梯度和基于區域能量的小波圖像融合方法考慮了小波分解之后系數區域特性，降低了對邊緣的敏感程度，能獲得視覺效果較好的融合圖像[5]。

小波分解得到的高低頻系數反映了圖像不同的特性，各融合策略在對源圖像細節特征的表達上側重點往往有所差異，在圖像融合時，對高低頻分量用同一種融合規則進行處理，只單一地考慮圖像的一種特性，而忽略其他特性，難免會影響融合效果[6]。平均梯度側重于圖像的細節、紋理特征，卻忽視了圖像的整體效果，以區域平均梯度作為高低頻分量的融合規則時，雖然融合圖像的邊緣、區域輪廓清晰，但會出現輪廓與非輪廓區域之間模糊現象，影響視覺效果。區域能量雖然可以反映圖像明顯的亮度突變，但又忽略了微小的細節變化，以區域能量作為高低頻分量融合規則時，雖然融合圖像的整體效果較好，但圖像的背景比較模糊，造成清晰度下降和信息熵減小。

低頻部分包含了圖像主要的背景信息，是圖像變化緩慢的部分，決定著融合的整體效果的好壞[7]。平均梯度可以反映圖像中的微小的細節差異和紋理變化，若以其作為低頻系數融合的準則，則可保留低頻分量的細節信息，使融合圖像的背景更加清晰[8]。高頻部分包含了圖像的邊緣、紋理等特征信息，是圖像信息最為豐富的部分，體現在視覺上，即為亮度突變的部分。區域能量是描述圖像的亮度特征的指標，用于評價圖像信息的豐富程度，若以其作為高頻系數選取的準則，則可保留圖像的邊緣和紋理等特征信息，使圖像中的目標物體輪廓清晰，還能夠保證圖像信息的豐富性[9]。

本文擬同時引入區域平均梯度和區域能量，改進小波圖像融合算法，即對低頻部分采用區域平均梯度取大的規則進行融合，對高頻部分采用區域能量取大的規則進行融合。

1改進的圖像融合算法

1.1基于小波變換的圖像融合

小波變換能夠將圖像分解到不同尺度的多個頻帶上，圖像融合過程在各個尺度的各個子帶上分別進行[10-11]。小波變換的圖像融合過程如圖1所示。

圖1　基于小波變換的圖像融合過程

基于小波變換的圖像融合步驟可描述如下。

步驟1選取合適的小波基，對源圖像A、B進行多層小波分解，分別得到低頻近似圖像和各個尺度及各個方向上的高頻細節圖像。

步驟2采取相應融合規則,對低頻部分和高頻部分進行融合，高頻子帶需要在各個尺度有及各個方向上分別進行融合。

步驟3由融合后的低頻分量和融合后的各高頻分量，經小波逆變換，重構出最終的融合圖像F。

1.2圖像融合規則改進

融合規則決定著融合算法性能的好壞。改進算法對低頻部分采用基于區域平均梯度的融合規則，而對高頻部分則采用基于區域能量的融合規則。

1.2.1基于區域平均梯度的低頻融合規則

區域能量反映的是圖像明顯的亮度突變，而低頻部分是圖像變化緩慢的部分，所以會造成低頻細節信息的丟失，導致融合圖像清晰度下降、信息熵減小。平均梯度反映的是圖像微小的細節差別，捕捉源圖像細節信息的能力優于區域能量。因此，針對基于區域能量的小波圖像融合算法產生的融合圖像背景模糊現象，選擇源圖像區域平均梯度大的低頻系數作為融合后的低頻系數。

設待融合圖像為A和B，融合后的圖像為F，以j表示小波分解層數，則在以點(x,y)為中心，大小為M×N的區域w范圍內，待融合圖像A和B的第j層低頻分量的平均梯度分別為[12]

Gj,A(x,y)=

Dj,A(x+1,y)]2+

Gj,B(x,y)=

Dj,B(x+1,y)]2+

式中，Dj,A(x,y)和Dj,B(x,y)分別表示待融合圖像A和B的第j層低頻分量在點(x，y)的小波系數值。

融合規則設定：若Gj,A(x,y)≥Gj,B(x,y),則

Dj,F(x,y)=Dj,A(x,y)；

若Gj,A(x,y)

Dj,F(x,y)=Dj,B(x,y)。

1.2.2基于區域能量的高頻融合規則

平均梯度在反映圖像的細節、紋理特征的同時，沒有兼顧圖像的整體效果，造成融合圖像出現區域性的斑塊和模糊現象，而基于區域能量的小波圖像融合算法在整體效果上表現良好。針對基于區域平均梯度的小波圖像融合方法所產生的，融合圖像輪廓與非輪廓區域間的模糊現象，選擇源圖像區域能量大的高頻系數作為融合后的高頻系數。

設j為小波分解層數，k=h,v,d分別表示水平、垂直和對角3個方向，則在以點(x,y)為中心，大小為M×N的區域w范圍內，待融合圖像A和B的第j高頻分量在方向k上的能量分別為[13]

2實驗結果及分析

2.1實驗參數及結果

選取2幅已配準的多聚焦圖像[13]，用Matlab進行仿真實驗,以驗證改進算法的有效性。為了使結果更具對比性，將加權平均、系數絕對值取大、基于區域能量、基于區域平均梯度的融合算法和改進算法的融合結果進行比較。實驗采用bior.2.4小波基對圖像進行4層分解，融合時使用 3×3的區域模板。聚焦點在左側的圖像和聚焦點在右側的圖像，以及參考標準圖像如圖2所示。

圖2　源圖像

各算法的融合結果如圖3所示。為了更直觀地比較融合效果，分別截取基于區域能量、基于區域平均梯度和改進算法所得融合圖像的一個相同區域，進行局部放大顯示，如圖4所示。

圖3　融合結果

圖4　局部放大

2.2視覺效果

實驗結果顯示，與基于單個像素的2種算法相比，3種基于區域的算法融合結果清晰度更高，細節更突出，亮度及對比度更高，圖像整體效果明顯更好。由基于區域能量的融合算法所得融合結果整體效果較好，沒有明顯斑塊和區域模糊現象，但圖像的背景具有輕微磨砂感，一些微小的細節信息不太清晰。由基于區域平均梯度的融合算法所得融合結果雖然重點比較突出，圖像的邊緣、區域輪廓等明顯特征比較清晰，但卻引入了輪廓與非輪廓區域的模糊現象的問題，圖像背景出現了明顯的斑塊，邊緣處產生的偽輪廓現象比較嚴重，影響視覺效果。改進算法明顯改善了基于區域能量與基于區域平均梯度的2種融合算法所產生的問題，其融合結果的整體效果較好，亮度及對比度較高，邊緣、區域輪廓等明顯特征比較清晰，且圖像背景沒有出現明顯的斑塊，輪廓與非輪廓區域的模糊現象得到了改善,圖像邊緣處產生的偽輪廓明顯減少。

2.3客觀評價

為了更客觀地評價改進算法的有效性，選取熵(Entropy，E)、標準差(StandardDeviation，SD)、平均梯度(AverageGradient，AG)、均方根誤差(RootMeanSquareError，RMSE)、峰值信噪比(PeakSignaltoNoiseRation，PSNR)和互信息(MutualInformation，MI)，從不同方面對融合圖像進行定量評價[14]。各算法的性能對比如表1所示，其中算法1指其于加權平均的融合算法，算法2指基于系數絕對值取大的融合算法，算法3指基于區域能量的融合算法，算法4指基于區域平均梯度的融合算法。

表1　不同融合算法的性能對比

改進算法的指標明顯優于算法1、算法2和算法3。與算法4相比，雖然改進算法的信息熵、標準差以及平均梯度都略有下降，但降幅不多，說明融合圖像保留了源圖像的細節信息，包含有豐富的信息，且清晰度良好。另外，改進算法的均方根誤差減小很多，且峰值信噪比和互信息得到很大提高，說明融合圖像與標準圖像更為接近。總體上，改進算法的融合結果與標準圖像的差異最小，其信息豐富度與清晰度雖然介于算法3和算法4之間，但與最好的算法4之間差異較小。

3結語

同時基于區域平均梯度和區域能量，改進后的小波圖像融合算法綜合考慮了小波分解所得高低頻系數的特性以及平均梯度和區域能量的特點，分別對低頻系數采用了區域平均梯度的融合策略，對高頻系數采用了區域能量的融合策略。應用于多聚焦圖像融合的實驗結果表明，改進算法可以改善僅基于區域能量或基于區域平均梯度的小波圖像算法所產生的問題，既能保留圖像的細節信息，又能保證融合圖像信息的豐富性和融合的整體效果。

參考文獻

[1]孟強強,楊桄,童濤,等. 基于小波變換的多聚焦圖像融合算法[J/OL].國土資源遙感,2014,26(2):38-42[2015-11-13].http://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201402007.htm.DOI: 10. 6046/gtzyyg.2014.02.07.

[2]任真堃,魏維.基于拼接思想的小波域多聚焦圖像融合[J/OL]. 西安郵電大學學報,2012,17(2):84-87[2015-11-13].http://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201202020.htm.DOI: 10.13682/j.issn.2095-6533.2012.02.020.

[3]陳浩,王延杰. 基于小波變換的圖像融合技術研究[J/OL]. 微電子學與計算機,2010,27(5):39-41[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-WXYJ201005011.htm.

[4]王正林.基于對比度的小波圖像融合算法研究[J/OL]. 激光與紅外,2014,38(9):1042-1044[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201409020.htm.

[5]趙青,何建華,溫鵬.基于平均梯度和方向對比度的圖像融合方法[J/OL]. 計算機工程與應用,2012,48(24):165-168[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201224037.htm.DOI: 10.3778/j.issn.1002-8331.2012.24.037.

[6]程塨,郭雷,趙天云,等. 一種基于小波變換的多聚焦圖像融合方法[J/OL]. 計算機工程與應用,2012,48(1):194-196[2015-11-19].http://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201201055.htm.DOI:10.3778/j.issn.1002-8331.2012.01.055.

[7]楊莎莎,田小平,吳成茂. 基于小波變換的多聚焦圖像自適應融合[J/OL]. 西安郵電大學學報, 2012, 17(3):24-29[2015-11-19].http://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201203007.htm.DOI: 10.13682/j.issn.2095-6533.2012.03.019.

[8]曾立慶,蔣年德.基于鄰域內相關系數與平均梯度的圖像融合方法[J/OL].計算機工程與設計,2010,31(7):1533-1539[2015-11-20].http://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201007039.htm.

[9]龔昌來.基于局部能量和小波系數相位特征的圖像融合方法[J/OL].計算機應用與軟件, 2009, 26(10):228-230[2015-11-20].http://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ200910073.htm.

[10] 陶冰潔,王敬儒,許俊平.基于小波分析的不同融合規則的圖像融合研究[J/OL].紅外技術,2006,28(7):431-434[2015-11-21].http://www.cnki.com.cn/Article/CJFDTOTAL-HWJS200607013.htm.

[11] 龔昌來.基于局部能量的小波圖像融合新方法[J/OL].激光與紅外,2008,38(12):1266-1269[2015-11-22].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW200812026.htm.

[12] 李瑩,朱文艷,袁飛,等.基于形態學和平均梯度的小波圖像融合算法[J/OL].南京師范大學學報：工程技術版, 2013,13(4):76-81[2015-11-22].http://www.cnki.com.cn/Article/CJFDTOTAL-NJSE201304015.htm.

[13] 羅南超,向昌成.基于低頻邊緣特征和能量的多聚焦圖像融合方法[J/OL].重慶工學院學報:自然科學版,2009,23(8):168-171[2015-11-21].http://www.cnki.com.cn/Article/CJFDTOTAL-CGGL200908037.htm.

[14] 張小利,李雄飛,李軍.融合圖像質量評價指標的相關性分析及性能評估[J/OL].自動化學報,2014,40(2):306-315[2015-11-23].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW200812026.htm.DOI: 10.3724/SP.J.1004.2014.00306.

[責任編輯:瑞金]

AnImagefusionalgorithmbasedonregionaveragegradientandregionenergy

GONGJiamin1,YANGXiao2,YANGMeng1,MENGLinghe1,XUJiachi1

(1.SchoolofElectronicsEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China；2.SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:The concepts of regional average gradient in company with regional energy are introduced together to improve the wavelet image fusion algorithm. decompose the images with wavelet analysis to get their low frequency components and high frequency components, fuse the the low frequency components in accordance with taking the larger values of regional average gradient, and fuse the high frequency components on the basis of taking the larger values of regional energy, then, reconstruct the fusion image with the method of wavelet transform. the improved algorithm is used on fusing some multi-focus images, and the results show that, its performance is better than wavelet image fusion algorithms based on regional average gradient or regional energy only, the blurred phenomenon of the fusion image is improved on the visual effect, the peak signal to noise ratio and the mutual information are improved as well.

Keywords:image fusion, wavelet transform, multi-focus image, region averge gradient, region energy

doi:10.13682/j.issn.2095-6533.2016.03.008

收稿日期：2015-12-23

基金項目：西安郵電大學研究生創新基金資助項目(CXL2014-31)

作者簡介：鞏稼民(1962-)，男，教授，博士，從事光纖光學與圖像處理研究。E-mail:gjm@xupt.edu.cn 楊瀟(1992-)，女，碩士研究生，研究方向為光通信與光信息技術。E-mail:yangxiaomm1000@163.com

中圖分類號：TP391

文獻標識碼：A

文章編號：2095-6533(2016)03-0054-05