基于小波變換的圖像融合算法及性能評價

劉 輝，趙輝煌

（衡陽師范學(xué)院 計算機(jī)科學(xué)系，湖南 衡陽 421008）

基于小波變換的圖像融合算法及性能評價

劉 輝，趙輝煌

（衡陽師范學(xué)院 計算機(jī)科學(xué)系，湖南 衡陽 421008）

在闡述小波圖像融合算法的基礎(chǔ)上，針對小波分解后各頻域融合算子和融合規(guī)則的選擇，提出一種新的基于FPGA動態(tài)可重構(gòu)的圖像融合算法。該方法對小波分解后的圖像低頻子帶采用平均融合算子處理，在高頻子帶的融合中依據(jù)小波系數(shù)樹狀結(jié)構(gòu)特點提出了一種新的自適應(yīng)融合方法，最后經(jīng)過小波逆變換得到融合圖像。核心算法集成到一片F(xiàn)PGA中實現(xiàn)，提高算法的實時性，降低系統(tǒng)的實際功耗，有效地減少融合圖像的失真。對多組圖像進(jìn)行實驗，實驗結(jié)果表明，該方法是有效的。

圖像融合；小波變換；小波樹

0 引 言

圖像融合（Image Fusion）是數(shù)據(jù)融合的一種特殊情形，其信息均是以圖像的形式表達(dá)，它對人的視覺產(chǎn)生作用。圖像融合是根據(jù)某一算法，將從不同傳感器（或同一傳感器在不同時間或不同觀測角度）得到的同一場景的多幅圖像經(jīng)過綜合處理，從而得到一幅新的、滿足某種要求的、對目標(biāo)或場景的描述更為精確、更為全面、更為可靠的圖像，以便于人眼的觀察和計算機(jī)的進(jìn)一步處理。它的主要目的是綜合各類圖像數(shù)據(jù)的優(yōu)點，提高圖像的解譯能力［1］。正是由于這些特點，圖像融合技術(shù)已廣泛地應(yīng)用于軍事、遙感、計算機(jī)視覺和醫(yī)學(xué)等領(lǐng)域。

圖像的融合過程可以發(fā)生在信息描述的不同層。根據(jù)信息表征層次的不同，圖像融合一般可分為像素級融合、特征級融合和決策級融合三大類。由于像素級圖像融合是基礎(chǔ)且比較直觀，在圖像融合領(lǐng)域最受關(guān)注。基于小波變換的圖像分解方法其具有非冗余性、方向性以及與人眼視覺相吻合的分層結(jié)構(gòu)［2］，在眾多的像素級融合方法中，基于小波變換的融合方法具有良好的效果，并已成為現(xiàn)今研究的一個熱點。

圖像融合的關(guān)鍵就是將融合算法硬件實現(xiàn)［3］。FPGA器件為實現(xiàn)圖像處理提供了一種數(shù)據(jù)處理算法的硬件實現(xiàn)的一個理想的平臺。FPGA器件集成度高，體積小，通過用戶編程實現(xiàn)專門應(yīng)用的功能。它允許電路設(shè)計者利用基于計算機(jī)的開發(fā)平臺，經(jīng)過設(shè)計輸入、仿真、測試和校驗達(dá)到預(yù)期的結(jié)果，減少了開發(fā)周期［4］。目前FPGA的產(chǎn)品以Xi1inx公司和Altera公司的產(chǎn)品系列為主。

1 基于提升小波變換的融合算法

1.1 提升小波變換

基于小波變換的圖像融合方法的基本處理步驟為［5］：首先對圖像進(jìn)行多尺度空間小波分解，然后依據(jù)小波分析的方向信息選擇合適的融合策略依次融合，最后，對小波分量進(jìn)行重構(gòu)，所得的圖像即為融合圖像，融合圖像質(zhì)量主要取決于小波變換算法的選擇和融合規(guī)則的設(shè)計。

由Sweldens等提出的提升算法［6］是在空間域中構(gòu)造緊支集雙正交小波的一種新方法，被稱為“第二代小波”。它不僅可以包容所有傳統(tǒng)小波，并且相比Mallat算法具有原位快速計算、可實現(xiàn)整數(shù)小波等優(yōu)點。因此，在處理信息量大，效率要求高的應(yīng)用中具有獨特的優(yōu)勢。其實現(xiàn)思想非常簡單，分解過程（如圖1所示）通過分裂（Split）、預(yù)測（Predict）和更新（Update）三個步驟即可以實現(xiàn)：

圖1 提升算法實現(xiàn)小波分解

（1）分裂（Split）：將輸入信號（si）分成兩個互不相交的集合，通常通過奇、偶抽樣來獲得信號的偶序列集合和奇序列集合，稱為懶（Lazy）小波分解；

（2）預(yù)測（Predict）：利用信號局部相關(guān)性強(qiáng)的特點用去盡量精確地預(yù)測并把與預(yù)測值的差作為信號的高頻細(xì)節(jié)進(jìn)行保存：

（3）更新（Update）：對信號能量進(jìn)行適當(dāng)調(diào)整，用高頻細(xì)節(jié)di－1對進(jìn)行更新，并作為下一級變換的輸入：

在本文介紹的融合算法中，我們利用整數(shù)可逆雙正交小波變換CDF（2，2）來實現(xiàn)圖像分解及合成，其濾波器系數(shù)見表1。

表1 CDF（2，2）可逆雙正交小波濾波器系數(shù)

1.2 融合規(guī)則

規(guī)則的選擇在融合過程中非常重要，也是目前圖像融合領(lǐng)域中的一個研究熱點和難點。由于小波系數(shù)的絕對值越大，對應(yīng)于原始圖像中像素值更為尖銳的變化。因此，在像素級的融合規(guī)則設(shè)計中一個主要的原則就是判斷小波系數(shù)的絕對值的大小。目前比較常見的融合規(guī)則一般采用對低頻系數(shù)的加權(quán)平均和高頻系數(shù)取最大值及一些改進(jìn)算法，這些算法充分考慮了圖像不同子帶的頻率特征，但是忽略了小波圖像具有的天然樹狀結(jié)構(gòu)的特點。這里我們針對多聚焦圖像的融合提出一種新的融合規(guī)則：

（1）低頻系數(shù)采用平均算子處理：分解層次適當(dāng)增大或通過計算低頻子圖像的均方誤差來確定分解層次；

（2）高頻系數(shù)依據(jù)小波樹狀結(jié)構(gòu)分層進(jìn)行融合：首先，依據(jù)小波圖像高頻子帶中的每個像素點在空間位置上都對應(yīng)于其相鄰分辨率下高頻子帶的四個像素點的特點，將待融合的兩幅圖像按頻帶從低到高的順序構(gòu)造高頻系數(shù)的四叉樹，如圖2的三級小波變換樹結(jié)構(gòu)：

圖2 三級小波變換高頻系數(shù)的樹結(jié)構(gòu)圖

根據(jù)小波分解的特點，樹型結(jié)構(gòu)中四個子節(jié)點是對父節(jié)點同一方向高頻邊緣細(xì)節(jié)的補(bǔ)充［7］。融合過程中如果能保證四個子節(jié)點取值來源的一致性就能對邊緣細(xì)節(jié)信息提供更好的保護(hù)，這樣就可以減少融合圖像斑塊和拼接現(xiàn)象的出現(xiàn)。很顯然，只考慮取值的一致性會不可避免地導(dǎo)致部分高頻率信息的丟失如文獻(xiàn)［8］提出的基于區(qū)域特征法。比較好的方法是折中考慮這兩方面的影響：

首先，計算待融合的兩幅圖像相應(yīng)位置四個子節(jié)點的值ai和bi的絕對值和計為V1、V2，如（1）：

然后，利用（2）完成融合圖像節(jié)點值ci的取值：

其中：wi為權(quán)值，利用（3）進(jìn)行自適應(yīng)選取：

1.3 算法的實現(xiàn)

2 基于FPGA的數(shù)字圖像融合

根據(jù)擬采用的融合算法運算量大，需要大量的存儲空間，故選用了Altera公司的CycloneII系列FPGA作為算法實現(xiàn)的芯片。該系列產(chǎn)品帶有高性能的內(nèi)部存儲器結(jié)構(gòu)，采用完全的雙口存儲器結(jié)構(gòu)，最多可提供1Mb以上的塊存儲器資源，具有多達(dá)68K的LE（Logic Elements：邏輯單元）和1百萬個以上的邏輯門，同時專用的18位×18位乘法器模塊最多可達(dá)150個，能工作在250MHz，同時它還具有先進(jìn)的外部存儲器接口，通過專用的DDRII以及QDRII接口電路，可以獲得高達(dá)668Mbps的性能。此外，可嵌入高性能、低資源占有率的NiosII軟核處理器，都為其實現(xiàn)高性能的融合系統(tǒng)提供了有力保障。

在圖3的FPGA內(nèi)部，主要設(shè)計了實現(xiàn)融合算法的圖像分解、融合重構(gòu)等模塊［9］。其中圖像分解部分包括A和B兩個模塊。分別對A，B兩個通道輸入的圖像進(jìn)行IHS圖像分解和小波圖像分解；融合重構(gòu)模塊對每幅圖像的小波對應(yīng)級進(jìn)行融合，得到融合小波序列；最后對融合小波序列進(jìn)行重構(gòu)運算，得到最終融合圖像數(shù)據(jù)輸出。電源和時鐘模塊與外部為FPGA提供電源和時鐘的器件相連接。配置接口用來下載與FPGA相關(guān)的配置文件。SRAM模塊是在考慮到FPGA內(nèi)部存儲資源不夠用的情況下而預(yù)留的。邏輯控制模塊主要完成FPGA內(nèi)部和外部的一些邏輯控制。

圖3 基于FPGA的圖像融合框圖

3 仿真實驗與評價

仿真環(huán)境是在Windows下用VC＋＋開發(fā)的的融合實驗系統(tǒng)。對絕對值最大法（方法1）、基于區(qū)域特征法（方法2）以及本文提出的方法（方法3）分別進(jìn)行仿真實驗，結(jié)果如圖4：

圖4 仿真實驗結(jié)果

本文用熵和平均梯度兩項指標(biāo)對三種方法的融合性能進(jìn)行比較，結(jié)果見表2。

表2 三種方法性能比較

同時，我們提取圖像中人頭部分，從主觀視覺角度了解三幅圖像局部斑塊效應(yīng)和模糊現(xiàn)象，如圖5。

綜合客觀量化指標(biāo)和主觀視覺評價可以得出：方法1雖然能很好地保留圖像的高頻細(xì)節(jié)，但圖像局部斑塊效應(yīng)嚴(yán)重，主觀視覺效果差。本文提出方法3不但有效地減小了融合圖像的失真度，而且相比于方法2能更好地保留圖像高頻細(xì)節(jié)信息，是一種實用的多聚焦圖像融合方法。

圖5 融合圖像局部顯示

4 結(jié) 論

本文提出一種基于FPGA動態(tài)可重構(gòu)的圖像融合算法。它有效地利用了小波圖像樹狀結(jié)構(gòu)的特點，依據(jù)不同子帶的頻率特征實現(xiàn)多聚焦圖像的融合，核心的算法集成到一片F(xiàn)PGA中實現(xiàn)，提高算法的實時性，降低系統(tǒng)的實際功耗，仿真實驗表明該方法取得了較好的融合效果。同時本文提出的算法也局限于小波樹中同一方向高頻子節(jié)點相關(guān)性的研究，更深入的工作應(yīng)集中在研究小波樹高頻子帶的三個不同方向系數(shù)的相關(guān)性，設(shè)計出更適合人眼視覺的融合算法。

［1］PIELLA G.A general framework formultiresolution image fusion：from pixels to regions［J］.Information Fusion，2003，68（4）：259－280.

［2］AMOL INS K，ZHANG Yun，DARE P.Wavelet－based image fusion techniques：an introduction，review and comparison［J］.Photogram Metry ＆Remo te Sens ing，2007，62（5）：249－263.

［3］冉曉強(qiáng)，汶德勝，滿鋒.基于FPGA的亞像元圖像融合系統(tǒng)的設(shè)計與實現(xiàn)［J］.光子學(xué)報，2007，36（6），274－277.

［4］Herbert Walder，Christoph Steiger，Marco Platzner.Fast online task placement on FPGAs：Free space partitioning and 2D－Hashing In：2003IEEE Proceedings of the International Parallel and Distributed Processing Symposium［C］.（IPDPS’03），2003.

［5］PAJARES G.A wavelet－based image fusion tutorial［J］.Pattern Recognition，2004，37：1855－1872.

［6］焦鉻，易小波，李仁發(fā)，等 .一種基于FPGA動態(tài)可重構(gòu)的圖像合算法［J］.科學(xué)技術(shù)與工程，2009，9（17）：5200－5204.

［7］於時才，呂艷瓊 .一種基于小波變換的圖像融合新算法［J］.計算機(jī)應(yīng)用研究，2009，26（1）：390－391.

［8］藍(lán)偉，劉玉樹，杜志歧.二代小波及其在圖像融合中的應(yīng)用［J］.計算機(jī)應(yīng)用，2005，25（12）：2832－2834.

［9］孫穎力.圖像融合算法的研究及可重構(gòu)FPGA實現(xiàn)［D］.西安：西北工業(yè)大學(xué)，2007.3.

Image Fusion Algorithm and Performance Evaluation Based on Wavelet Transform

LIU Hui，ZHAO Hui－h(huán)uang
（Department of Computer Science，Hengyang Normal University，Hengyang Hunan 421002，China）

Expounding the wavelet image fusion algorithm，as to frequency domain fusion operators and fusion rules of choice of wavelet decomposition，a new dynamical reconfigurable image fusion algorithm based on FPGA was proposed.The decomposed low frequency sub－band is fused by mean operator，and the high frequency sub－bands use a new adaptive method which considered the tree characteristic of wavelet coefficients.Finally，the fusion image date is obtained by taking the inverse wavelet transform.The core of the algorithm was integrated into a FPGA，improved the real－time of algorithm and reduced the system actual consumption.So it reduced fusion image distortion effectively.For multigroup image experiment，the experimental results show that the method is effective.

image fusion；lifting wavelet transform；wavelet tree

TP391

A

1673－0313（2011）06－0085－05

2011－05－20

湖南省教育廳科研項目（11C0179）；衡陽市科技局項目（2009KG23）；衡陽師范學(xué)院科學(xué)基金項目（10A50）

劉 輝（1980－），男，漢族，湖南長沙人，講師，碩士研究生，主要研究方向：嵌入式系統(tǒng)、軟件構(gòu)造技術(shù)；

趙輝煌（1982－），男，漢族，湖南衡山人，講師，博士，主要研究方向：圖像處理，模式識別.