IHS與多尺度變換結合遙感影像融合質量對分解層數的響應

方芳，張一平，趙琛琛，李勁澎，鄧國臣

(1.66240部隊，北京 100042；2.95806部隊，北京 100076；3.信息工程大學 地理空間信息學院，鄭州 450052；4.中國測繪科學研究院，北京 100039)

1 引 言

日益發展的遙感系統為用戶提供了同一地區多空間分辨率、多光譜分辨率、多時間分辨率的海量遙感數據[1]。然而，受技術層面的制約，影像獲取時影像的空間分辨率和光譜分辨率常常不可兼得，因此，亟需通過影像融合的方式獲取高空間分辨率的多光譜影像。融合影像綜合了原有影像各自的優勢，減少了信息冗余，為后續影像信息的分析和應用提供了保證[2]。

目前常用的影像融合方法主要有3類：①直接對影像進行代數運算的方法，如加權融合方法、高通濾波方法、比值融合方法等；②基于空間變換的方法，如IHS、HSV、lαβ等色彩空間變換以及主成分變換等；③基于多尺度變換的方法，如基于影像的拉普拉斯金字塔分解與重建的方法，基于小波變換分解與重建的方法等[3]。其中，基于空間變換的融合方法能很好地提高影像的空間分辨率，但是會扭曲原有光譜信息；基于多尺度變換的融合方法將多分辨率分析應用于融合過程空間信息的提取，該方法對光譜信息的保持優于基于空間變換的融合方法，但會造成一定程度的影像的失真。對此，一些專家學者提出了基于IHS變換與多尺度變換結合的融合方法，徐建達等提出基于IHS變換和小波變換的遙感影像融合[4]，張一平等提出了基于IHS變換和NSCT的影像融合[5]。實驗表明，IHS變換與多尺度變換相結合的融合方法能夠取得比單一融合方法更好的融合效果。

多尺度變換的分解層數是影響融合效果的重要因素，分解層數越多，融合的頻率范圍越豐富，融合影像所包含的空間細節信息越來越豐富，然而并不是分解層數越多影像融合的質量就越高。邢素霞對基于小波變換影像融合的分解層數進行了分析探討[6]，但未討論與IHS結合的效果及論文最佳分解層數的適應性。本文圍繞該問題，分別對IHS變換與3種多尺度變換相結合的融合方法及融合效果與分解層數的關系進行了探討。

2 融合原理與方法

2.1 基于IHS變換的融合方法

IHS色彩空間采用相關性很低的強度(I)、色度(H)和飽和度(S)3個分量表示顏色，將影像的強度分量和光譜信息分離，更加有利于影像的融合。該方法的思想是先將高光譜影像由RGB空間變換到IHS空間，然后用處理過的高空間分辨率影像替換高光譜影像的I分量，最后將融合后的影像變換回RGB空間。

2.2 基于多尺度分解的融合方法

該方法的思想是將高空間分辨率的全色影像和多光譜影像分別進行多尺度分解，實現影像高低頻信息的分離，再分別進行融合處理，把多光譜影像所不具有的空間細節信息盡可能的注入到融合影像中，從而在保證融合影像光譜信息的條件下盡可能提升空間分辨率。本文對拉普拉斯金字塔變換、提升小波變換、非下采樣Contourlet變換等多尺度分解方法進行了討論。

(1)拉普拉斯金字塔變換

拉普拉斯金字塔變換是一種常用的影像多尺度分析方法，它由高斯金字塔中相鄰兩層影像相減得到的近似影像構成，可以突出表示不同尺度的影像細節。拉普拉斯金字塔的每層分別保留了不同尺度的高頻信息，能很好的突出影像細節，對于影像進一步分析和處理具有重要意義。

(2)提升小波變換

提升小波變換繼承了傳統小波時頻局部化等特性，具有計算速度快、節省內存空間、容易實現反變換等優點，可以通過整數小波變換，精確的重構原始信號，非常有利于影像的各種處理。與拉普拉斯金字塔每層分解只能得到1個近似低頻分量和1個高頻分量相比，提升小波變換能夠得到1個近似低頻分量和3個方向的高頻分量。因此，提升小波變換分離影像高低頻信息的效能較拉普拉斯金字塔變換好，理論上利用其進行影像融合的效果也更好。

(3)NSCT(非下采樣Contourlet變換)

NSCT由非下采樣金字塔結構和非下采樣方向濾波器組構成，非下采樣金字塔將輸入的圖像分解為低頻子帶和高頻子帶，實現圖像的多分辨率分解；利用非下采樣方向濾波器組，將高頻子帶分解為2n個方向子帶；每一層的低頻子帶重復上述操作。NSCT是Contourlet變換的一種改進，有效解決了Contourlet變換因下采樣而產生的平移性和頻譜混淆問題，克服了小波變換在面臨線或面奇異處理時的不足。

2.3 IHS變換與多尺度變換結合的融合方法

IHS變換與多尺度變換結合的融合過程如下：

①通過IHS變換將多光譜影像從RGB空間轉換到IHS空間；

②將多光譜影像的亮度分量I與全色影像分別進行相同級數的多尺度變換，分解得到各影像不同層次、不同方向的高頻和低頻分量；

③采用不同的融合策略分別對分解得到的不同尺度的高低頻子帶影像進行融合處理；

④對融合后的高低頻子帶影像進行影像重建，得到新的亮度分量Inew；

⑤用新的亮度分量Inew替換原始影像的亮度分量I，將其與原始多光譜影像的H、S分量一起變換到RGB空間，得到融合影像。

低頻子帶融合規則：設兩幅影像經多尺度變換后的低頻部分別為IA和IB，在融合時，采用式(1)給定的權值融合法，權值大小由低頻子帶的區域能量自適應來確定：

IL(x，y)=wAIA(x，y)+wBIB(x，y)

(1)

其中，wA和wB分別表示權值大小，由式(2)計算得到

(2)

式中，E(x，y)=∑m，n∈SM×N(I(x+m，y+n))2代表區域能量，SM×N表示區域窗口大小，本文采用的區域窗口大小為3×3。

高頻子帶融合規則：高頻子帶主要反映圖像的細節信息，為了突出影像局部的對比度，充分考慮中心像素與周圍像素的相關性，采用高頻系數與其鄰域系數的8個方向的梯度變化作為像素選取的閾值。設融合后影像的各層、各方向高頻系數為Ij，k(以NSCT為例，其中Ij，k表示的是NSCT分解后第j層，k方向的高頻子帶)，則有：

(3)

式中T(x，y)定義為：

(4)

融合過程步驟②中多尺度變換給出的分解層數決定了融合處理所處的分解層，直接影響融合的效果，下面對不同分解層數的融合效果進行分析。

3 融合實驗與分析

本文對多組遙感影像進行了相應實驗，為了便于直觀展示，選取其中一組QuickBird全色影像和多光譜影像進行說明，圖像大小為像素512×512像素，如圖1所示。

圖1 QuickBird全色影像和多光譜影像

3.1 融合質量綜合評價指標

公式(5)為平均梯度的計算式，ΔxZ(i,j)、ΔyZ(i,j)分別是圖像在行、列方向的灰度差。

(5)

平均梯度可以反映影像對微小細節反差的表達能力，可用來評價影像的清晰度，平均梯度越大，影像灰度變換率越大，影像越清晰，即影像對微小細節的表達能力越強。

公式(6)給出了標準差的定義，其中的μ為影像所有像元亮度值的算術平均值。

(6)

標準差描述了像元值與影像均值的離散程度，可以用來評價影像的反差大小，標準差越大，說明影像灰度級分布越分散，影像的反差越大；標準差越小，影像的反差越小。

(7)

UIQI是一種綜合評價指標，它從相關信息損失、輻射值扭曲以及對比度扭曲幾個方面來評價融合影像與原多光譜影像的相似程度。UIQI取值范圍為[0，1]，其值越大，表示融合影像與原多光譜影像光譜信息越接近，融合效果越好。

分析可得，平均梯度、標準差和UIQI 3項指標越大，融合影像的空間分辨率越高，光譜扭曲越小，融合效果越好。

3.2 融合結果及質量分析

利用本文提到的3種融合方法分別對影像進行1～6層多尺度分解后的融合實驗，圖2為3項客觀評價指標隨層數增長的走勢。

圖2 融合的評價指標對多尺度分解層數的響應曲線圖

通過指標分析(圖2)和對實驗結果(圖3～圖5)的觀察，可得到以下結果：

圖3 IHS變換與拉普拉斯金字塔變換的融合效果。

圖4 IHS變換與提升小波變換的融合效果。

圖5 IHS變換與NSCT變換的融合效果。

①對基于拉普拉斯金字塔變換融合方法分解的3項融合質量客觀評價參數，第1層與其他4層走勢大不相同，通過目視觀察融合影像可以發現，這是因為用拉普拉斯金字塔變換融合方法對影像進行1層分解的融合影像出現了明顯的分塊現象，使得融合影像嚴重失真(如圖3(a)所示)，導致客觀評價參數可靠性降低，出現了跳躍性變化。而當分解層數逐步增加時，其平均梯度波動較小，而標準差和綜合指標UIQI均呈現穩步上升的趨勢，這說明隨著分解層數的上升，其融合質量越來越好，到第5層時，趨于平穩，在第6層分解時，達到較好的融合效果。但總體來說，其融合效果不如基于提升小波變換和NSCT的方法。

②對于基于提升小波變換的融合方法，平均梯度第2層時達到峰值，在前3到5層分解時變化比較穩定，而標準差隨著分解層數的增加呈現出穩步增長的趨勢，這說明分解層數越多，融合影像的標準差越大，影像的反差越大。而UIQI指數則是隨著分解層數的增加呈逐漸遞減的趨勢，說明融合影像隨著分解層數的增加，光譜失真越大。綜合空間分辨率和光譜信息兩方面考慮，對基于提升小波變換的方法，分解層數為2時，能相對取得較好的融合效果。

③對于基于NSCT的融合方法，在1到3層分解時，其平均梯度隨著層數的增加而不斷增加，到第3層達到最大值。其后隨著分解層數的增加，平均梯度趨于穩定，而沒有像基于小波變換的融合方法那樣出現較大波動，這是由于NSCT具有平移不變特性，其不會隨著分解層數的增加而產生嚴重的頻譜混疊現象。其標準差和UIQI指數的走勢與基于小波的融合方法大致相同，但是其標準差整體上不如小波變換，而UIQI指數則在整體上優于小波變換，這說明雖然基于NSCT的融合方法得到的融合影像的標準差不如小波變換，但它比小波變換具有更好的光譜保持能力，因此，選取3層分解比較適合影像的融合處理。

4 結束語

本文針對單一融合方法存在的不足，研究了IHS變換與拉普拉斯金字塔變換、提升小波變換和NSCT 3種多尺度變換方法相結合的融合方法，概要分析了3種融合方法的優缺點，詳細研究了多尺度分解層數對融合效果的影響，得到了對于影像融合相對合適的多尺度分解層數。實驗證明，IHS變換與提升小波變換相結合的方法以及IHS變換與NSCT相結合的方法明顯優于IHS變換與拉普拉斯金字塔變換相結合的融合方法；基于拉普拉斯金字塔變換的融合方法在6層分解時為最佳融合效果；基于提升小波變換的融合方法在分解層數為兩層時，能取得較好的融合效果；對于NSCT變換，在3層分解比較適合影像的融合處理；而IHS變換與NSCT相結合的方法能在提高融合影像空間分辨率的同時，更好地保留原多光譜影像的光譜信息，與其他兩種方法相比，該方法獲得的融合影像色彩自然，邊緣清晰，綜合融合效果更好。

參考文獻：

[1] 姜蕓，臧淑英，王軍.多源遙感影像數據融合技術研究[J].測繪與空間地理信息，2005，32(2)：46-50.

[2] 張麗俠，張力，艾海濱.改進HIS變換的圖像融合方法研究[J].測繪科學，2011，36(6)：149-151.

[3] 徐青，張艷，耿則勛.遙感影像融合與分辨率增強技術[M].北京：科學出版社，2007：75.

[4] 徐建達，王洪華.基于HIS變換和小波變換的遙感影像融合[J].測繪學院學報，2002，19(3)：198-199.

[5] 張一平，龔志輝，胡玲，等.基于非下采樣Contourlet變換的遙感影像融合[J].測繪科學技術學報，2012，29(3)204-208.

[6] 邢素霞.多光譜圖像融合中小波分解層數研究[J].微電子學與計算機，2011，28(1)：176-179.