基于多特征的多聚焦圖像融合算法

候佳康，賀長秀

（1.四川大學計算機學院，成都　610065；2.中國人民解放軍63615部隊，庫爾勒　841001）

基于多特征的多聚焦圖像融合算法

候佳康1，賀長秀2

（1.四川大學計算機學院，成都610065；2.中國人民解放軍63615部隊，庫爾勒841001）

針對基于小波變換的傳統圖像融合算法在融合規則上考慮特征單一的問題，提出基于多特征的多聚焦圖像融合方法。首先對源圖像進行N層小波分解，得到高頻系數和低頻系數。然后對高頻系數提出一種綜合考慮方差，梯度，能量因素進行融合的方法，對低頻系數采用傳統的加權平均融合方法。仿真實驗結果表明，提出的融合方法與傳統的圖像融合方法對比，無論是從主觀視覺效果還是客觀指標（信息熵、空間頻率、標準差、平均梯度）都有一定程度提高。關鍵詞：

0　引言

圖像融合技術是多源信息融合的一個重要的應用方向。近幾年來，已經成為信息處理領域的研究熱點。圖像融合是將多個圖像按照一定的融合算法合成一個新的圖像，使融合后的新圖像具有更高的清晰度，更多的信息量和更好的可理解性［1］。

在多聚焦圖像融合算法中，目前主要有兩種：一種是基于金字塔分解的方法，還有一種是小波變換方法。基于塔式分解的圖像融合方法［2-4］，可以有效地改善圖像融合的效果，提高清晰度，但由于各個圖像的分解層信息具有相關性，會造成信息的冗余［5］。小波變換［6-8］和塔式分解方法相比，除了同樣具有多尺度，多分辨率分析的特點，還具有方向性，不會造成信息的冗余。如今，小波變換方法已經廣泛的應用在圖像融合方法中。

圖像經過N層小波變換，分解為1個低頻子圖像和3N個高頻子圖像。高頻子圖像分別是水平、垂直、對角三個不同方向的子圖像。對于高頻子圖像，傳統的融合方法有基于單個像素點的的加權平均法和像素值取大法，還有基于區域特征的區域方差法、平均梯度法和區域能量法。但傳統的融合方法僅僅是基于單個特征進行融合，而忽略了其他的特征。在圖像的某個區域，某個特征可能很接近，但其他的特征可能相差很大。本文針對傳統方法只考慮單一特征的缺陷，提出了綜合考慮多項特征的圖像融合算法。對于低頻圖像，采用傳統的加權平均法進行融合。

仿真實驗表明，本文的算法相較于傳統的基于小波變換的圖像融合方法，在主觀視覺效果和客觀評價指標上都有一定程度的提高，是一種有效的多聚焦圖像融合方法。

1　基于多特征的圖像融合算法

1.1圖像融合算法流程

本文所提出的基于多特征的圖像融合算法的流程框架如下圖所示。

（1）首先對兩幅或者多幅圖像進行配準，然后分別進行N層小波變換，得到分解后的高頻系數圖像和低頻系數圖像。

（2）然后對高頻系數，采用基于多特征的融合規則，對多種反映圖像質量的區域特征綜合考慮，得到融合后的高頻系數。

（3）對于低頻系數，采用傳統的加權平均的融合規則，得到融合后的低頻系數。

（4）對融合后的高頻系數和低頻系數進行小波逆變換，得到融合后的圖像。

圖1　算法流程圖

1.2高頻系數的融合規則

圖像經小波變換分解得到的高頻系數主要包含了圖像的邊緣，區域邊界等大量的細節信息。本文根據傳統的基于區域特征的融合規則，提出了基于多特征的高頻系數融合規則，將更能反映圖像質量的細節信息保留了下來，提高了融合后圖像的清晰度。

①基于區域能量的融合規則

區域能量反映了圖像紋理信息的均勻程度，區域能量值越大，越能反映出紋理信息分布越均勻，圖像的清晰程度越高。

圖像區域能量的定義為：

E（x，y）表示高頻系數矩陣中大小為m×n，以x，y為中心的區域能量。D（x，y）代表高頻系數矩陣中坐標在x，y的矩陣值。

融合規則：

EA（x，y），EB（x，y）分別代表圖像A，圖像B在x，y處的區域能量。DA（x，y），DB（x，y）分別代表圖像A，圖像B在x，y處的高頻矩陣系數。

②基于區域平均梯度的融合規則

圖像的平均梯度反映了圖像微小細節反差變化的速率，表征圖像的相對清晰程度。即平均梯度越大，圖像的清晰程度越高。

圖像平均梯度的定義為：

其中G表示圖像的平均梯度，D（x，y）代表高頻系數矩陣中坐標在x，y的矩陣值。

融合規則：

GA（x，y），GB（x，y）分別代表圖像A，圖像B在坐標x，y處的區域平均梯度，DA（x，y），DB（x，y）分別代表圖像A，圖像B在x，y處的高頻矩陣系數。

③基于區域標準方差的融合規則

圖像的平均方差反映了圖像的像素值的離散程度，標準方差越大，圖像的像素值越分散，圖像的清晰程度越高。

圖像區域標準方差的定義為：

其中D（x，y）代表高頻系數矩陣系數，u代表區域m×n中的平均像素值，S代表圖像在m×n的標準方差。

融合規則：

其中SA（x，y），SB（x，y）分別代表圖像A，圖像B在坐標x，y處的標準方差，DA（x，y），DB（x，y）分別代表圖像A，圖像B在x，y處的高頻矩陣系數。

在大多數圖像融合的高頻系數融合規則中，僅僅考慮了上述特征的某一種，沒有考慮圖像的綜合特征。通過某一種特征進行融合的圖像可能會丟失圖像的細節信息。例如，圖像的某個區域標準方差相差很小可忽略不計，但區域能量相差比較大，基于區域標準方差的融合規則考慮不到區域能量因素，可能會選擇區域能量小的區域作為融合后圖像的區域。進而使圖像丟失很多細節信息。為了解決基于單一特征進行融合的缺陷，本文提出了基于多特征的融合規則。算法描述過程如下：

①利用公式（1）（3）（5）分別計算圖像A，圖像B每個點（x，y）的區域能量EA（x，y），EB（x，y），區域平均梯度GA（x，y），GB（x，y），區域標準方差SA（x，y），SB（x，y）。

②分別對三個區域特征數據進行歸一化，方便比較。

其中E'A（x，y），E'B（x，y）分別代表歸一化后的圖像A，圖像B的區域能量。

其中G'A（x，y），G'B（x，y）分別代表歸一化后的圖像A，圖像B的區域平均梯度。

③計算圖片A，圖片B在三種特征之間的差值百分比，據此判斷哪種特征為兩幅圖片間的主要差別特征。

區域能量差值百分比：

區域平均梯度差值百分比：

區域標準方差差值百分比：

④融合規則：

1.3低頻系數的融合規則

圖像A和圖像B的低頻系數融合采用傳統的加權平均融合規則：

其中DA（i，j），DB（i，j）分別代表圖像A，圖像B經N層小波分解后的低頻矩陣系數，w1，w2為權值，其中w1+ w2=1。

2　實驗結果和分析

在本文的實驗中，選用了多聚焦圖像Clock A和Clock B，如圖2中的（a），（b）所示。在Clock A中左邊的鐘表模糊，右邊的鐘表清晰。在Clock B中，正好相反。對兩幅圖像進行小波分解，得到高頻系數和低頻系數。小波分解的層數N=3，小波基選擇的是“db4”。

低頻系數采用加權平均融合規則，權值w1=0.5，w1= 0.5。高頻系數采用本文提出的多特征融合規則，本文中鄰域窗口的大小為3×3。并與傳統的高頻系數融合規則進行對比，例如平均法、絕對值取大法、區域方差法等。

實驗中采用的客觀評價指標為信息熵、標準差、平均梯度、空間頻率。信息熵反映了圖像包含的平均信息量的多少，即圖像的豐富程度。信息熵越大，圖像包含的信息量越大，圖像融合的效果越好。平均方差反映了圖像的像素值的離散程度，標準方差越大，圖像的像素值越分散，圖像的清晰程度越高。平均梯度反映了圖像微小細節反差變化的速率，表征圖像的相對清晰程度。即平均梯度越大，圖像的清晰程度越高。空間頻率反映了圖像空間的總體活躍程度。

圖2中的（c）采用高頻低頻均用均值法融合。（d）采用低頻加權平均，高頻系數取大法融合。（e）采用低頻加權平均，高頻根據區域方差融合。（f）采用低頻平均，高頻根據區域平均梯度進行融合。（g）采用低頻加權平均，高頻采用本文所提算法進行融合。（c）融合后的圖像模糊現象明顯，細節丟失嚴重。（d）融合后圖像出現明顯失真。（e）和（f）融合圖像效果較好，但與（g）相比，（e）融合后的圖像色彩整體偏暗。（f）在鐘表數字區域不夠銳利，較模糊。（g）融合后的圖像細節更豐富，色彩明亮。從主觀效果來看，本文所提算法較傳統融合方法有一定程度提高。

圖3　融合效果對比

表1是幾種融合方法的客觀評價指標比較。從表1中可以看出，本文算法所得到融合圖像的各項指標相較于其他傳統融合方法均有一定程度提高，融合圖像在所含信息量及細節表現均優于其他方法。

表1　不同方法客觀評價指標比較

3　結語

本文提出了一種基于小波變換和多特征的圖像融合算法。圖像經小波變換分解得到低頻系數和高頻系數，低頻系數采用加權平均的融合規則，高頻系數采用基于多特征的融合規則。針對傳統的高頻系數圖像融合方法考慮特征單一，忽略了其他特征的問題，多特征的融合規則綜合考慮了多項特征對圖像高頻系數進行融合。實驗結果表明，本文算法所得到的融合圖像在清晰度方面有一定程度的提高，色彩明亮，細節表現度好，客觀評價指標好于傳統的融合算法，是一種有效的多聚焦圖像融合算法，有著更好的融合效果。

［1］Pohl C，Van Genderen J L．Multisensor Image Fusion in Remote Sensing：Concepts Methods and Applications［J］．Remote Sensing，1998，19（5）：823－854．

［2］Toet A．Image Fusion by a Ratio of Low-Pass Pyramid［J］．Pattern Recogniton Letters，1989，9（4）：245－253．

［3］Toet A，Ruyven L J，Valeton J M．Merging Thermal and Visual Images by a Contrast Pyramid［J］．Optical Engineering，1989，28（7）：789－792．

［4］Burt P J.A Gradient Pyramid Basis for Pattern Selective Image Fusion［C］.Proceedings of the Society for Information Display Conference.San Jose：SID Press，1992：467－470．

［5］Do M N，Vettefli M．Framing Pyrarmds［J］．IEEE Trans on Signal Processing，2003，51（9）：2329－2342．

［6］Li S，Kwok J T，Wang Y．Using the Discrete Wavelet Frame Transform to Merge Landsat TM and Spot Panchromatic Images［J］．Inf Fusion，2002（3）：17－23．

［7］Wang Z J，Li D R，Li Q Q．Fusion of SPOT-P and TM Multispectral Image by M-band Wavelet Theory［J］．Geomatics and Information Science of Wuhan University，2001，26（1）：24－28．

［8］Lemeshewsky G P．Multispectral Multisensory Image Fusion Using Wavelet Transforms［C］.Part of the SPIE Conference on Visual Information Processing VIII．Oriando，Florida，1999，3716：214－222．

Multi-Focus Image Fusion Method Based on Multi-Feature

HOU Jia-kang1，HE Chang-xiu2
（1．College of Computer Science，Sichuan University，Chengdu 610065；2.Unit 63615，PLA，Korla 841001）

The traditional image fusion algorithm is based on wavelet consider the single feature.Therefore，proposes a multi-focus image fusion method based on multi-feature.Firstly，decomposes N layer wavelet of the source image，and obtains the high-frequency coefficients and low-frequency coefficients.Secondly，for high frequency coefficients，proposes a new method for the fusion，which is a comprehensive consideration of the variance，the gradient and the energy.For the low-frequency coefficients，uses the weighted average algorithm.Simulation experiment results show that，compared with the traditional image fusion method，the proposed fusion method has a certain degree of improvement in both subjective and objective indicators.

Wavelet Transform；Image Fusion；Multi-Feature；Algorithm；Image Evaluation

1007-1423（2016）26-0043-05DOI：10.3969/j.issn.1007-1423.2016.26.011

候佳康（1992-），男，河北保定市人，在讀研究生，研究方向為多源信息融合與圖像處理

2016-06-21

2016-09-10

小波變換；圖像融合；多特征；算法；圖像評價

國家自然科學基金（No.61071162）

賀長秀（1981-），女，四川射洪人，碩士，工程師，研究方向為多信息源數據融合在多目標跟蹤系統中實時精確定位應用技術