一種新的多光譜和全色圖像的融合算法*

李龍澍，朱 超（安徽大學 計算機科學與技術學院，安徽 合肥 230601)

遙感圖像融合是一種通過數字圖像處理技術來融合兩個或者兩個以上遙感圖像的技術。多光譜和全色圖像的融合是遙感圖像融合的一個特殊應用領域。一般地，圖像融合可分為像素級融合、特征級融合和決策級融合。目前,很多圖像融合方法都是在像素級融合方法基礎上發展起來的,如HIS變換[1]、拉普拉斯金字塔變換和離散小波變換[2-3]等。

由于HIS變換融合方法計算簡單，能極大地提高多光譜圖像的空間分辨率，因而得到廣泛的應用[1]。離散小波變換融合方法[2]直接舍棄了全色圖像的低頻分量,容易出現分塊效應。平移不變離散小波變換克服了小波變換在分解信號時先濾波后抽樣，重建信號時先插值后濾波的弊端，使得融合后的圖像降低了偏差系數，提高了清晰度和空間分辨率[4-5]。本文結合了平移不變離散小波變換和HIS變換的優點，對多光譜圖像的HIS變換的分量與全色圖像進行SIDWT分解，然后高低頻子圖采用基于鄰域特征值的融合規則，選取對應高低頻系數，最后將SIDWT逆變換的結果進行HIS逆變換轉換到RGB空間，得到最終的圖像融合結果。

1 HIS變換和SIDWT變換

1.1 HIS變換

HIS反映了人的視覺系統感知色彩的方式，以色調(H)、飽和度(S)和強度(I)3種基本特征量來感知顏色,而且這三要素相關性很低。

式(1)、式(2)、式(3)為 HIS正變換公式，通過 HIS正變換可將圖像變換到HIS空間中，得到H、S和I分量；式(4)是HIS逆變換公式，通過逆變換可將圖像從 HIS空間轉換到RGB空間。

1.2 SIDWT變換

SIDWT正變換就是在小波變換時將輸入序列分解為平移不變的小波來表示。SIDWT的每一步都將輸入圖像分解成小波序列 wi(n)和尺度序列 si(n)。將 wi(n)存儲起來，而si(n)作為下一層分解的輸入。分解公式為：

其中，s0(n)=f(n)。相對于標準的 DWT分解框架，SIDWT丟棄了一個高度冗余小波表示的子采樣。通過在濾波器原型g(k)和 h(k)的序列間插入合適的 0值，即可得到第i 層的高通濾波器 g(2i·k)和低通濾波器 h(2i·k)。

SIDWT的逆變換是將具有平移不變性的小波序列wi(n)和尺度 序列 si(n)分別與合適的重 構濾 波器g?(2i·k)和h?(2i·k)求卷積，SIDWT 的逆變換公式為：

通過式(7)可實現重構輸入序列f(n)。對于二維圖像，其分解方法可以通過一維的分解方式分別在圖像的行和列上連續進行得到。

2 基于鄰域特征的圖像融合新方法

HIS顏色空間的I分量是圖像的強度表現，SIDWT能保留圖像的邊緣、輪廓和紋理等結構信息。因此，將HIS變換后的I分量與全色圖像進行SIDWT變換，得到分解后的第j層低頻部分和高頻部分、、分別對低頻和高頻部分采取對應的融合規則,最終獲取融合結果。

2.1 融合規則

在像素級融合中，融合規則一般采取對單個像素進行計算，使圖像的每個像素點都孤立起來，沒有考慮到區域結構的相似性，丟失了與周圍像素點的相關性。因此，本文采取基于鄰域像素特征的規則，這種規則是使用一個像素的一些鄰域特征來指導該位置的系數選擇。

2.1.1 低頻部分的融合規則

本文采用參考文獻[6]的融合規則和邊緣分割的融合規則，以一個像素點為中心點的3×3窗口來考慮每個像素點。低頻系數F(x,y)的融合公式為：

對于權重系數 λ1、λ2，對區域采用 Sobel邊緣檢測算子進行圖像分割的方法來確定。假設B(x,y)為經過Sobel算子求得的像素點(x,y)的邊緣特性值。對于檢測結果中的孤立點，可能是由噪聲引起的，可忽略不記。因此，去除孤立點的公式為：

其中，B(x,y)為通過Sobel邊緣檢測算子檢測圖像的邊緣特征值。

根據整合后的分割結果來匹配兩個子圖的邊緣信息，分為4種情況：

對于情況(1)和情況(2)，像素點只是其中一幅子圖的邊緣特征值，故分別是多光譜圖像和全色圖像所占的權重系數大；對于情況(3)，像素點均是兩幅子圖的邊緣特征值，故兩者所占的比例相同;情況(4)像素點均不是兩幅子圖的邊緣特征值。因此，設置融合權重系數如下：情 況 (1)取 λ1=0.25，λ2=0.75； 情 況 (2)取 λ1=0.75，λ2=0.25；情況(3)取 λ1=0.5，λ2=0.5；情況(4)的權重選擇采用對應兩幅圖像的平均梯度的比重作為權重系數的處理方法。本文通過計算兩幅逼近圖像的鄰域平均梯度來確定權重系數，平均梯度計算公式為：

其中，M、N分別為區域窗口大小的長度和寬度，這里采用3×3的窗口。而權重系數的計算公式為：

2.1.2 高頻部分的融合規則

高頻部分包含了圖像的顯著細節特征，在高頻部分的融合規則中，計算像素領域的方差來確定高頻系數的選擇。

2.2 融合步驟

本文算法的融合步驟如下。

(1)將多光譜圖像進行HIS分解,得到H、S和I分量。

(2)按分量I對全色圖像的加權灰度圖像進行直方圖匹配，即將加權灰度圖像映射到分量I的直方圖空間，得到與 I相似直方圖的 I1。

(3)將分量I和匹配后的I1按照一定的融合規則,進行SIDWT融合，得到融合結果Inew。

(4)將 H、S、Inew進行 HIS逆變換轉換到 RGB空間，得到融合后的圖像。

融合的流程圖如圖1所示。

3 實驗結果與分析

3.1 多光譜和全色圖像的融合結果

采用已配準的某場景低分辨率多光譜圖像和高分辨率全色圖像作為源圖像實驗數據進行融合，結果如圖2所示。

從圖2可以看出，HIS變換算法雖然分辨率得到了提高，但是產生了不同程度的光譜畸變；DWT算法由于在低頻處理時丟失了全色圖像的低頻信息，導致融合圖像中僅體現了較好的光譜信息，但是全色圖像的分辨率沒有有效地提高；SIDWT算法提高了圖像的細節輪廓信息；使用本文算法得到的融合圖像充分利用了多光譜圖像的光譜信息和全色圖像的細節信息。

3.2 融合結果質量評價

本文采用了均值、標準差、信息熵、平均梯度、空間頻率和互信息常用的幾種客觀評價指標,對實驗結果進行統計，結果如表1所示?？梢钥闯鯯IDWT方法的標準差、信息熵、平均梯度和空間頻率這些指標統計值優于HIS和DWT方法，但是均值和互信息方面沒有得到有效提升；而本文方法在標準差、信息熵、平均梯度和空間頻率方面高于其他方法的融合結果，而不足之處就是互信息的統計值低于HIS變換。

表1 本文圖像不同融合算法的融合質量評價結果

本文結合了平移不變離散小波變換和HIS變換的優點，對多光譜圖像的HIS變換的I分量與全色圖像進行SIDWT分解，然后對得到的低頻部分按照區域信息量、邊緣信息和區域梯度等特征進行低頻部分的融合，而對于高頻部分采用局部方差最大的原則選取高頻系數，最后將HIS逆變換轉換到RGB空間，得到最終的圖像融合結果。通過對比實驗可以看出，本文方法的融合結果較理想，獲得的融合圖像綜合了多光譜與全色遙感圖像的互補性信息，在信息量、清晰度方面更優，豐富了光譜信息。

[1]黃金,潘泉,皮燕妮.基于區域特征加權的 HSI圖像融合方法[J].計算機工程與應用,2005,41(6)：39-41.

[2]晁銳,張科,李言俊.一種基于小波變換的圖像融合算法[J].電 子 學 報 ,2004,32(5)：750-753.

[3]任青,韓焱.基于小波鄰域信息量的圖像融合[J].微型機與 應 用,2010,29(4)：62-64.

[4]ROCKINGER O.Image sequence fusion using a shift-invariant wavelet transform[C].Processings of IEEE International conference on Image Processing,1997.

[5]余連生,文貢堅,李智勇.基于 SIDWT的遙感圖像融合算法[J].計 算 機 工 程 ,2011,37(17)：197-199.

[6]TIAN J,CHEN J,ZHANG C.Multispectral image fusion based on fractal feature[C].Prosceedings of SPIE,2004,5308：824-832.