基于FPGA的IHS和提升小波變換的圖像融合實現

常亮亮，王廣龍，高鳳岐，喬中濤，張姍姍

(1.軍械工程學院導彈工程系，河北 石家莊 050003;2.上海市計量測試研究院在線通用所，上海 200230)

隨著軍事偵查、遙感測控領域對圖像質量的要求不斷提高，人們迫切希望一種能夠克服目前各種圖像傳感器不能按要求提供完整可靠信息的處理方法，圖像融合因此成為該領域的研究熱點。圖像融合是指將多個不同模式的圖像傳感器所獲得的同一場景多幅圖像，或同一傳感器在不同時刻獲得的同一場景的多幅圖像，采用一定的算法將各圖像數據中所包含的信息優勢或互補性有機地結合起來產生新圖像的技術［1］。

圖像融合方法主要有加權平均法、IHS變換融合法及小波變換融合法等。加權平均法最簡單，但效果較差;IHS變換大大提高了融合圖像的空間信息表現能力且計算量小，但光譜失真嚴重;小波變換融合在獲得高分辨力的同時較好地保持了圖像的原始光譜信息，但在一般的小波變換融合算法中，小波分解的層數對融合結果影響很大，階數過低或過高都會影響到結果圖像的細節表現能力和光譜特性的保持［2］。為了將多種融合算法有機結合，文獻［3－4］提出了將小波變換和IHS變換結合的方法，文獻［5］提出了采用提升小波技術的圖像融合方法。研究普遍認為，小波變換與IHS變換相結合的融合方法能得到比較滿意的圖像。

目前，小波變換與IHS變換融合算法多采用軟件實現，本文提出了一種基于FPGA的IHS變換與提升小波變換相結合的實時圖像融合算法，使得算法的運算量極大減少，有效地提高了圖像處理的時效性。

1 IHS變換和提升小波變換

1.1 IHS 變換

圖像處理中經常應用的彩色坐標系統有RGB模型和IHS模型，兩種坐標系統具有各自不同的特點，其中IHS空間中三分量I，H，S具有較強的獨立性并能準確定量地描述顏色特征。在圖像融合處理中，經常需要建立RGB系統和IHS系統之間的轉換關系。通常把圖像RGB模型變換到IHS模型稱為IHS正變換，而由I，H，S變換為R，G，B稱為IHS逆變換。

盡管不同IHS變換法模型在運算速度、復雜度上有所不同，但是變換得到的I，H和S分量圖像基本相同。RGB系統與HIS系統的轉換公式如下所示。

1)正變換

式中:ν1，ν2為中間變量。

2)反變換

1.2 提升小波變換

提升小波變換是基于提升方案的小波變換，與傳統小波變換相比，提升小波算法簡單、運算量低、逆變換簡單、邊界處理容易，因而被廣泛應用于圖像處理領域。如圖1所示，提升方案首先將輸入數據分為去相關的偶數序列x(2n)和奇數序列x(2n+1)，然后用偶數序列預測奇數序列得到預測誤差d(n)，最后用預測誤差來更新偶數序列，得到低頻分量c(n)。

圖1 提升小波結構框圖

2 IHS和小波變換圖像融合算法

2.1 算法步驟

IHS和小波變換融合算法的基本思想是將IHS變換法與提升小波變換法結合起來。如圖2所示，首先對圖像A進行IHS正變換，獲得該圖像的亮度分量I，H，S;對圖像A的亮度分量I和圖像B進行提升小波正變換;將圖像B小波提升分解后的系數疊加到圖像A亮度分量I的分解系數上，而后對亮度分量I進行提升小波逆變換，然后對新的小波系數進行提升反變換以獲得新的亮度分量I';將新的亮度分量和第一步IHS正變換得到的H，S進行IHS逆變換以獲得融合圖像C。

2.2 融合規則

為了便于硬件實現，本文采用的融合規則如式(5)所示，主要是將高分辨力圖像小波分解后的系數c2_h與低分辨力圖像亮度分量I的c1_h相加后再乘以一個加權系數得到融合圖像系數

圖2 IHS和小波變換圖像融合示意圖

3 融合算法的FPGA實現

3.1 IHS變換算法分析及FPGA實現

由RGB系統與IHS系統的轉換公式知:在IHS變換中，盡管H，S的求取含有開放和求反正切的非線性運算，但是I，ν1，ν2分量的獲得是通過加乘運算實現的。在融合算法中，僅需要I分量及中間量ν1，ν2，并通過新的I'和原 ν1，ν2，進行逆變換可得 R，G，B 值。

本模塊是要把RGB格式的圖像數據轉換成IHS格式的數據，由式(1)可得

由于上面的計算涉及浮點數乘法，為了便于用Verilog語言在FPGA上實現，需要首先對系數進行放大轉換，即

式(7)只涉及整數加乘法，只需將運算結果右移即可得I，ν1，ν2，從而進一步可用 FPGA 實現 IHS變換。仿真結果如圖3所示，由圖可以看出，對于輸入的8 bit RGB信號(159，61，82)，經轉換后得到放大的 I，ν1，ν2(174，22，69)，與理論值相同。IHS逆變換的實現與正變換類似。

圖3 RGB到IHS變換仿真圖(截圖)

3.2 小波提升變換的FPGA實現

采用IHS和小波變換相結合的融合方法處理圖像時，必須考慮小波分解層數對融合圖像質量的影響。研究表明:IHS和小波變換相結合的融合方法明顯地改善了影像的質量，融合圖像質量對小波分解層數的敏感性較強，在小波分解層數為2，3或4時，都能獲得高質量的融合圖像［6－7］。本文在二維提升小波變換基礎上設計了基于FPGA的多級提升小波變換，以滿足圖像融合質量和小波分解層數的合理匹配。

3.2.1 一維提升小波正變換的FPGA實現

一維變換的行變換預測為

更新運算為

式中:小波基選用可完全重構的5/3提升小波，x(2n)為圖像輸入數據的偶數序列;x(2n+1)為奇數序列;d(n)為分解后的高頻分量;c(n)為分解后的低頻分量。

行變換預測的具體實現如圖4所示，R1，R2，R3，R4，R5均為寄存器，MUX1，MUX2為多路選擇器。由式(1)可知，預測過程中d(n)的值需要x(2n+1)減去相鄰2個偶數數據的平均值，所以至少要用3個寄存器，因此，R1，R2，R3被用于寄存當前數據及其左右相鄰的數據。MUX1的選擇信號在非邊界數據時對R1選通，邊界數據時對R3選通，用來完成邊界數據的對稱延拓。由于輸入數據是串行逐個輸入，故R4寄存器內數據為(x(2n)+x(2n+2))與(x(2n－1)+x(2n+1))，通過多路選擇器2，選通(x(2n)+x(2n+2))與R3寄存器運算，運算結果存入R5寄存器，再輸出。

圖4 行變換預測硬件實現框圖

行變換更新的實現與預測基本類似。對一維提升小波變換的仿真如圖5所示，其中S為輸入數據，approximation表示低頻分量，detail表示高頻分量。

圖5 一維提升小波正變換的仿真(截圖)

3.2.2 二維提升小波變換的FPGA實現［8－10］

如圖6所示，在一維變換的基礎上，對于一幅存儲在RAM2的二維圖像，首先執行一維行變換，行提升小波變換完成后，再對每一列數據進行提升小波變換;列變換的方式和行變換的方式基本相同，最終的小波系數存儲在RAM2中，即可完成二維提升小波正變換。將提升正變換過程中列變換和行變換模塊分別用于反變換過程行方向和列方向的小波變換模塊，就可以得到二維提升小波反變換。

圖6 二維提升小波變換的FPGA實現

3.2.3 多層小波提升變換的實現方法

在二維提升小波變換的基礎上，通過多級變換控制就可以完成多層小波二維提升變換，如圖7所示。小波多級分解控制由狀態機實現，狀態轉換如圖8所示，系統復位后，提升小波變換進入S0狀態，首先置當前分解級數為0，然后設置小波變換的行數、列數和分解的總級數，啟動小波變換后由S0狀態轉向S1進行行變換，行變換結束后由S1狀態轉向S2進行列變換，列變換完成后當前分解級數增1，如果當前分解級數小于設定的分解總級數，由S2狀態轉向S1進行下一級分解，否則S2狀態轉向S0以結束多級小波提升分解。

4 實驗結果及分析

為了驗證本設計實現的有效性，選用了多光譜圖像和高分辨力圖像進行融合，采用了圖9所示的實驗方案。

圖9 實驗方案

1)將測試圖像轉換為仿真的激勵信號，分別利用ModelSim軟件、MATLAB軟件工具進行IHS和提升小波變換圖像融合，并分別記錄輸出的二進制圖像數據。ModelSim仿真數據同MATLAB計算結果之間最大誤差為3，誤差為0的像素平均占95%，表明了FPGA實現了該算法。

2)利用MATLAB將1)中記錄的二進制數據轉換為圖像信息，如圖10所示，可見本文方法融合圖像與軟件融合結果比較接近，部分區域的模糊是由于運算過程中數值取舍誤差所致。

圖10 融合算法處理結果

5 結論

本文在分析IHS和提升小波變換圖像融合算法原理的基礎上，給出了一種基于FPGA的該圖像融合算法的實現設計，重點給出了IHS變換算法分析及圖像二維提升小波變換的FPGA實現，實驗結果表明，該設計在誤差允許的范圍內，實現了融合算法的實時處理，并得到了較好的融合效果。該設計方法可以滿足遙感測控微型化、時效性的需求，具有較好的應用前景。

［1］李朝鋒，曾生根.遙感圖像智能處理［M］.北京:電子工業出版社，2007:190－191.

［2］羅智勇，楊武年.基于梯度權重規則的IHS變換與小波變換結合算法［J］.光電工程，2007，34(10):102－107.

［3］王紅梅，李言俊.一種改進的遙感圖像融合方法［J］.光電工程，2007，34(7):50－53.

［4］唐國良.一種基于IHS和小波變換的彩色圖像融合算法［J］.計算機應用研究，2006(10):174－176.

［5］趙高鵬.基于提升小波的紅外和可見光圖像融合方法［J］.計算機工程與設計，2009，30(7):1697－1699.

［6］龔建周，劉彥隨，夏北成，等.IHS和小波變換結合多源遙感影像融合質量對小波分解層數的響應［J］.中國圖象圖形學報，2010，15(8):1269－1277.

［7］孫穎力.圖像融合算法的研究及可重構FPGA實現［D］.西安:西北工業大學，2007.

［8］崔巍，汶德勝，馬濤.二維提升小波變換的FPGA結構設計［J］.計算機工程，2007，33(15):261－263.

［9］薛堅.提升小波變換的應用與硬件實現［D］.南京:南京航空航天大學，2008.

［10］劉桂華，馮全源.圖像的二維提升小波變換的FPGA實現［J］.電子技術應用，2008(3):108－110.