基于訓練字典的遙感圖像融合

劉婷，程建

電子科技大學電子工程學院，成都 611731

基于訓練字典的遙感圖像融合

劉婷，程建

電子科技大學電子工程學院，成都 611731

1 引言

遙感圖像融合的目的就是利用數據間的互補性和冗余性，將多光譜圖像和全色圖像進行融合，使融合后的圖像在保持原始光譜特性的同時盡可能地增加圖像的空間細節信息，從而獲得目標場景的最大信息描述，這樣不但提高了遙感圖像的質量，而且更有利于遙感圖像的分類和目標識別等后續處理[1-2]。現有的方法，如IHS變換、PCA變換以及小波變換等[3]，都能提高融合后圖像的空間分辨率，然而IHS融合方法扭曲了原始的光譜特性，產生了光譜退化現象或彩色畸變；PCA融合方法同樣會導致光譜退化；小波變換不能有效捕獲圖像的任一方向的信息，并且缺乏平移不變性，造成重構圖像的尖銳邊緣附近的均勻局部區域出現抖動。

稀疏表示是當前非常有效的信號和圖像處理工具。稀疏模型也被廣泛應用于信號和圖像處理等領域，該模型通過基或字典中極少量元素線性組合的形式來描述信號[4-5]。Hu等[6]提出基于稀疏表示和IHS變換的遙感圖像融合，這種方法雖然較好地保持了光譜信息，空間細節信息也有所提高，但由于選取的是DCT字典，不能很好地對邊界結構信息進行稀疏表示，很難適應結構復雜的遙感圖像；而且選擇的是稀疏系數絕對值取大的融合規則，沒有很好地利用全色圖像和亮度分量的局部信息。

針對上述不足，本文利用訓練字典具有更好的稀疏性和自適應能力的特性，提出了基于訓練字典的融合算法。通過對樣本進行學習得到訓練字典，對圖像進行稀疏表示，對IHS變換后的亮度分量進行亮度平滑濾波（SFIM）[7]，很好地保持了多光譜圖像的光譜特性，并在一定程度上有提高空間細節信息的作用，對稀疏系數采用空間頻率取大的融合規則，很好地利用了圖像間的相關性。實驗分別采用IKONOS和Quickbird數據，融合結果的目視效果和客觀評價表明，該算法能提高融合后圖像的空間細節信息，并且能很好地保留多光譜影像的光譜信息。

2 稀疏表示基本理論

稀疏表示以CS（Compressed Sensing，壓縮傳感）理論為基礎，尋找信號在一組字典下的最稀疏表示。圖像的稀疏模型要求將圖像表示為一組字典中少數幾個典型原子的線性組合，基本思想是假設自然信號能由預定義原子中極少數原子進行線性表示[8]。

稀疏表示問題可以由如下的數學形式進行表示：

其中，α為x的稀疏表示系數，D={d1，d2，…，dN}∈RM×N(M＜N)為過完備字典，||·||0為l0范數，表示非零元素的個數，ε為逼近誤差容限。

當字典D為冗余字典時，求解稀疏表示最優化問題成為一個NP-hard問題，目前常用的方法有：基追蹤法（Basis Pursuit，BP）[9]，是將l0范數轉換為l1范數進行求解的線性規劃問題；匹配追蹤（Matching Pursuit，MP）[10]、正交匹配追蹤（Orthogonal Matching Pursuit，OMP）[11]及其改進算法。其中，OMP算法克服了BP算法計算復雜度高和MP算法迭代次數多的問題，是目前應用最廣泛的稀疏分解方法。本文采用OMP算法進行稀疏分解。OMP算法的核心思想是在每次迭代過程中，選擇與當前殘留量最相關的原子，然后重新計算殘留量，循環上述過程，直到停止條件滿足。

3 訓練字典

在信號與圖像的稀疏分解和稀疏表示中，字典具有決定性的作用。字典的過完備性決定了稀疏分解過程的計算復雜度，也決定了稀疏分解結果稀疏表示的稀疏性，字典中原子的選擇也對圖像表示的稀疏性有著重要的影響。通常有兩種方法構造字典[12-13]：第一種是預先定義字典數學表達式的方法，常用的字典有DCT、小波、曲線波（Curvelets）、輪廓波（Contourlets）等，這些都是預先定義數學表達式的字典，雖然計算復雜度低，但是對圖像的幾何特征過于依賴，僅僅只對圖像的一種或某些特征能有較好的稀疏表示。例如，DCT字典空域局部性差，對邊界等結構信息稀疏表示能力差；小波字典對圖像的輪廓特征不能有很好的稀疏表示；輪廓波字典雖然能夠很好地表示圖像的輪廓特征，但缺乏周期性，對紋理圖像稀疏表示能力差。另一種是基于學習的方法，它是通過對樣本數據進行訓練得到的。基于學習的字典能夠更準確地從樣本數據中提取復雜的圖像特征，對圖像的各種特征有更好的稀疏表示，具有更好的自適應性。因此，對于擁有復雜特征的遙感圖像，本文選取訓練字典對其進行稀疏表示。

從選擇的樣本圖像中隨機提取K張子圖像，構成訓練樣本集F={fi}Ki=1，目標是從這些樣本集中訓練得到能夠很好地稀疏逼近樣本塊的字典[14]。假設f∈Rn為訓練樣本，D={d1，d2，…，dK}為待構造的過完備字典，di為Rn空間的原子，對于訓練樣本F∈Rn×K，構造目標函數如下：

其中，αi為樣本fi所對應的稀疏表示系數，每個樣本列向量fi對應于一個訓練圖像塊。

4 基于訓練字典的遙感圖像融合

4.1 SFIM算法

SFIM算法[7]基本思想是去掉高分辨率影像的光譜和地形信息，將剩余的紋理信息直接添加到多光譜影像中。SFIM運算公式如下：

其中，Msi為原始多光譜圖像的第i波段，Pan為全色圖像，Panmean為全色圖像經過均值濾波后圖像，Ms(fusion)i為融合后第i個波段圖像。SFIM模型能夠很好地保持光譜特征，并加人多光譜圖像中缺失的空間細節信息。

4.2 空間頻率

圖像的空間頻率是衡量圖像空間的整體活躍程度的一個重要指標，反映了圖像的邊緣化程度，能很好地描述圖像的灰度突變信息。定義為：

其中，RF為空間行頻率，CF為空間列頻率，空間頻率越大則圖像越清晰、越活躍。

4.3 融合算法

Hu等[6]提出基于稀疏表示和IHS變換的遙感圖像融合，基本思路是對多光譜圖像進行IHS變換后，對I分量和全色圖像進行稀疏表示，之后用絕對值取大的融合規則對其稀疏系數進行融合，重構I分量，最后進行IHS逆變換，得到融合圖像。這種方法雖然較好地保持了光譜信息，空間細節信息也有所提高。但由于選取的是DCT字典，不能很好地對邊界結構信息進行稀疏表示，很難適應結構復雜的遙感圖像；而且選擇的是稀疏系數絕對值取大的融合規則，沒有很好地利用全色圖像和I分量的局部信息。

本文選擇對遙感圖像有更好的稀疏表示能力，并且自適應能力強的訓練字典。由于不同的衛星傳感器反應不同的光譜特性，因此選取與實驗圖像有相同傳感器的遙感圖像作為樣本數據，通過隨機采樣樣本圖像塊來構造訓練字典。此外，為了很好地保持光譜特性，并提高空間細節信息，本文將SFIM算法與IHS變換相結合，對與光譜特性不相關的I分量進行SFIM運算，將空間細節信息加入到I分量中，這樣能盡可能少地影響光譜信息，并通過SFIM模型能將空間細節信息合理、有效地調制到多光譜圖像亮度分量中。然后對進行SFIM運算后的亮度分量和全色圖像進行稀疏表示，得到稀疏表示系數。文獻[6]選擇絕對值取大的融合規則，沒有考慮到圖像的局部信息，最終融合圖像空間細節信息增強也有限。因此本文選擇空間頻率取大的融合規則，充分利用了圖像中像素間局部特征，有效地提高了融合圖像的空間細節信息。

假設全色圖像與多光譜圖像已經配準成功，全色圖像的大小為M×N，本文融合算法步驟如下：

（1）將多光譜圖像重采樣到與全色圖像同樣大小，對多光譜圖像進行IHS變換，分別得到I、H和S分量。

（2）對全色圖像Pan選取窗口大小為5×5的均值濾波，然后和I分量執行SFIM得到新的I分量：

其中，Panmean表示對Pan均值濾波后的圖像，Inew表示最后得到的新的I分量。

（3）用窗口大小為n×n遍歷圖像Inew和Pan，將每一個塊按列優先方式轉換為大小為n2×1的向量，再按照遍歷順序將這些列向量排列為大小為n2×((M-n+1)·(N-n+1))的矩陣，最后分別利用OMP算法以及訓練字典計算出稀疏表示系數為AI和APan。

（4）分別計算Inew分量和全色圖像每個塊的空間頻率SFI和SFPan，選擇空間頻率大的稀疏系數為融合后的稀疏表示系數[15]：

（5）根據IF=DAF從融合的稀疏系數重構出圖像塊，這時原圖像中同一像素位置可能出現在多個塊中，將所有塊按其原來位置進行放置，然后進行加權平均，從而得到融合的I分量，結合H分量和S分量進行IHS逆變換，得到融合圖像。

5 實驗結果與分析

針對本文提出的融合算法，進行了兩組仿真實驗：第一組采用Quickbird衛星的多光譜圖像和全色圖像為研究對象；第二組采用IKONOS衛星的多光譜圖像和全色圖像為研究對象。采用的Quickbird數據集包含空間分辨率為2.4 m的多光譜圖像和0.6 m的全色圖像，IKONOS數據集包含空間分辨率為4 m的多光譜圖像和1 m的全色圖像。兩組圖像都經過幾何校正、圖像配準等預處理步驟，選擇圖像大小為256×256，進行分塊的窗口大小為8×8，SFIM方法使用的卷積核大小為5×5。通過隨機采樣樣本圖像塊來構造字典，由于不同的衛星傳感器反應不同的光譜特性，因此選取與實驗圖像有相同傳感器的遙感圖像作為樣本數據。從樣本圖像中隨機選取50 000張大小為8×8的圖像塊，字典大小為64×256，其冗余因子為4。如圖1所示為DCT字典，樣本數據為Quickbird的訓練字典以及樣本數據為IKONOS的訓練字典。

圖1 用于實驗的相關字典

Atrous小波算法[16]就是把圖像分解為低頻圖像和各高頻小波面，即

其中，Cn(k)為低頻子圖像，wj(k)為各高頻小波面。Atrous小波算法可以很容易擴展到二維空間。在二維空間其算法類似于用卷積核對影像進行濾波，由于B3對不規則樣本數據具有很好的插值型，通常被選擇作為尺度函數，其二維卷積核為：

5.1 評價指標

融合圖像與多光譜圖像的相關系數CC定義如下：

標準差std定義如下：

其中，M、N表示圖像的大小，F(i，j)表示圖像在(i，j)處的像素值，u為其均值。標準差反映了圖像灰度相對于平均亮度的離散情況，標準差越大，則灰度級分布越分散。

平均梯度grad定義如下：

其中，ΔxF(i，j)、ΔyF(i，j)分別為F(i，j)在x、y方向上的一階差分。平均梯度反映了圖像的清晰程度，同時還反映出圖像中微小細節反差和紋理變換特征。平均梯度越大，圖像層次越多，也越清晰。

圖2 逼近誤差對Quickbird圖像融合質量的影響

結構相似度SSIM定義[17]如下：

SSIM值越大表示兩幅圖像越相似。

圖像峰值信噪比PSNR定義[3]如下：

其中，Gmax表示圖像中的最大灰度。PSNR值越大，說明噪聲越小，圖像融合的效果越好。

5.2 實驗結果

逼近誤差反應了稀疏分解的逼近程度，不同的逼近誤差實驗的結果也不相同，所需的計算時間也不相同，把不同的逼近誤差下對實驗結果的影響進行比較，圖2和圖3為選取不同的逼近誤差下，各個指標的折線圖。相關系數隨著逼近誤差的減少逐漸變小，這是由于逼近誤差越小，稀疏表示系數的非零元素越多；平均梯度隨著逼近誤差的減少而增大，最終趨于平滑，是由于非零元素增多后，其表示細節的能力更強，且融合規則選用的是空間頻率取大的原則，也能增加圖像的細節信息。隨著逼近誤差的減少，所需運算時間越大。由圖2和圖3可以看出，Quickbird和IKONOS融合實驗中，選取逼近誤差均為0.02時，融合效果較好，本文選擇逼近誤差為0.02做融合實驗。同時，對多光譜圖像大小為256×256和全色圖像大小為1 024×1 024的Quickbird和IKONOS也進行了仿真。本文算法利用Matlab 7編程實現，運行環境Pentium Dual-Core E5300，2.6 GHz CPU，2 GB內存，操作系統Windows XP。

圖3 逼近誤差對IKONOS圖像融合質量的影響

為了驗證融合算法的有效性，對來自不同場景、不同衛星的多光譜圖像和全色圖像進行了融合實驗，所用圖像都已經經過精確的幾何校正、圖像配準等預處理技術。

圖4給出了Quickbird多光譜圖像和全色圖像的融合結果，從目視效果可以看出各種融合結果與原始多光譜圖像相比較，空間分辨率均有增強，如公路、植被、建筑等空間細節信息有明顯的提高。IHS變換在亮度分量的替代過程中丟失了部分原始多光譜特征，雖然融合結果空間細節信息比較清晰，但是光譜失真嚴重，如植被的顏色明顯變淺；atrWT和contourlet融合結果光譜特征失真較小，空間細節信息豐富；本文算法與文獻[6]的方法相比，融合圖像光譜失真更小，細節信息更豐富，融合效果更好。

表1列出了Quickbird數據下各種融合算法的客觀評價指標，可以看出IHS算法的相關系數、結構相似度以及峰值信噪比最小，說明光譜失真最嚴重，清晰度最小；atrWT算法的梯度和方差最小，說明圖像的空間細節信息在一定程度上有較大的損失；contourlet算法和文獻[6]的方法有較高的相關系數和結構相似度，但是梯度較小，說明圖像的光譜失真較小，但是空間細節信息有一定的損失；本文算法的結構相似度略低于contourlet，其他指標均比contourlet高，說明本文算法和contourlet算法都能很好地保持光譜特征，而且本文算法融合圖像的紋理細節信息最豐富，清晰度最好。

表1 Quickbird數據融合結果的客觀評價指標

圖4 Quickbird圖像及融合結果

圖5 IKONOS圖像及融合結果

圖6 全色圖像大小為1 024×1 024的Quickbird圖像及融合結果

圖7 全色圖像大小為1 024×1 024的IKONOS圖像及融合結果

圖5給出了IKONOS多光譜圖像和全色圖像的融合結果，從目視效果可以看出，本文算法融合結果視覺效果最好，光譜特征保持最好，空間細節信息最豐富，圖像最清晰。和atrWT變換、contourlet相比，本文算法融合結果更加清晰，細節特征更加明顯；相比IHS變換和文獻[6]的方法，本文方法光譜失真最少，視覺效果最好。

表2列出了IKONOS數據下各種融合算法的客觀評價指標，可以看出本文算法的平均梯度、方差和峰值信噪比明顯高于contourlet，僅結構相似度和相關系數略低于contourlet算法，說明本文算法和contourlet算法都能很好地保持光譜特征，而且本文算法能更好地提高圖像細節信息。本文算法與其他三種方法相比，具有最高的相關系數、結構相似度、平均梯度、方差和峰值信噪比，說明融合結果既保留了豐富的光譜信息又提高了空間細節信息。

表2 IKONOS數據融合結果的客觀評價指標

表3給出了本文算法和其他四種算法的執行時間，由于在進行稀疏分解時耗時較大，所以本文算法執行時間高于傳統算法。雖然執行時間較傳統算法高，但本文算法能較好地保持圖像的光譜特征，并提高融合結果的清晰度以及空間細節信息，更有利于圖像的分類和目標識別等后續處理。

表3 運行時間s

圖6和圖7分別給出了多光譜圖像大小為256×256和全色圖像大小為1 024×1 024的Quickbird和IKONOS多光譜圖像和全色圖像融合結果。表4和表5分別列出了Quickbird和IKONOS數據下各種融合算法的客觀評價指標，從目視效果和融合評價指標可以看出，本文算法融合圖像最清晰，空間細節信息更豐富，光譜特征保持的最好。

表4 全色圖像大小為1 024×1 024的Quickbird數據融合結果的客觀評價指標

表5 全色圖像大小為1 024×1 024的IKONOS數據融合結果的客觀評價指標

6 總結

在遙感圖像融合中，很難得到分辨率高，光譜畸變小的融合圖像。本文將稀疏表示理論用于遙感圖像融合，采用訓練字典，有效地利用了訓練字典的自適應性，對圖像有著更好的稀疏表示；為了提高融合結果的空間細節信息，對IHS變換后的亮度分量進行SFIM運算，能有效地保留多光譜圖像的光譜特征并增加空間細節信息；選取的空間頻率取大的融合規則也很好地利用了圖像的局部信息，與文獻[6]中取絕對值大的融合規則相比較，能很有效地增強融合結果的空間細節信息。為了證明算法的有效性，對Quickbird和IKONOS兩組不同數據類型進行了實驗和分析，結果證明，本文算法比IHS變換、contourlet、atrWT變換以及文獻[6]的方法有更好的光譜保持能力和增強空間細節的能力，從而得到了融合質量更高的圖像。

[1]Simone G，Farina A，Morabito F C，et al.Image fusion techniques for remote sensing applications[J].Information Fusion，2002，3（1）：3-15.

[2]Pohl C，Genderen J L.Multisensor image fusion in remote sensing：concepts，methods，and applications[J].International Journal of Remote Sensing，1998，19（5）：823-854.

[3]敬忠良，肖剛，李振華.圖像融合——理論與應用[M].北京：高等教育出版社，2007：1-262.

[4]石光明，劉丹華，高大化，等.壓縮感知理論及其研究進展[J].電子學報，2009，37（5）：1070-1081.

[5]石慧，宋仁旺，王鋼飛.OFDM系統稀疏信道估計研究.[J].計算機工程與應用，2011，47（33）：98-100.

[6]Hu Jianwen，Li Shutao，Yang Bin.Remote sensing image fusion based on IHS transform and sparse representation[C]//Proceedings of the 2010 Chinese Conference on Pattern Recognition（CCPR），2010：1-4.

[7]Liu J G.Smoothing filter-based intensity modulation：a spectral preserve image fusion technique for improving spatial details[J]. Int J Remote Sensing，2000，20（18）：3461-3472.

[8]Yang Bing，Li Shutao.Multifocus image fusion and restoration with sparse representation[J].IEEE Transaction on Information Theory Instrumentation and Measurement，2010，59（4）：884-892.

[9]Donoho D，Elad M.Optimally sparse representation in general（non-orthogonal）dictionaries via l1 minimization[J].Proc Nat Aca Sci，2003，100：2197-2202.

[10]Mallat S，Zhang Z.Matching pursuits with time-frequency dictionaries[J].IEEE Transactions on Signal Processing，1993，41（12）：3397-3415.

[11]Pati Y，Rezaiifar R，Krishnaprasad P.Orthogonal matching pursuit：recursive function approximation with applications to wavelet decomposition[C]//Proceedings of the 27th Annual Asilomar Conference on Signals，Systems，1993，1：40-44.

[12]Rubinstein R，Zibulevsky M，Elad M.Double sparsity：learning sparse dictionaries for sparse signal approximation[J].IEEE Transactions on Signal Processing，2009，58（2）：1553-1564.

[13]Yang J，Wright J，Huang T，et al.Image super-resolution via sparserepresentation[J].IEEETransactiononImageProcessing，2010，19（11）：2861-2873.

[14]Wang J，Zhu S，Gong Y.Resolution enhancement based on learning the sparse association of image patches[J].Pattern Recognition Letters，2010，31（1）：1-10.

[15]Li S，Kwok J T，Wang Y.Combination of images with diverse focuses using the spatial frequency[J].Information Fusion，2001，2（3）：169-176.

[16]Chibani Y.Radar and panchromatic image fusion by means of the atrous algorithm[J].SPIE，2004，5238：543-550.

[17]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13（4）：600-612.

LIU Ting,CHENG Jian

School of Electronic Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China

An image fusion algorithm is presented based on sparse representation and training dictionary in order to improve the fusion quality of multi-spectral image and panchromatic image.A new intensity component is firstly obtained by taking the method of smoothing filter-based intensity modulation on the original intensity component of the multi-spectral image.The panchromatic image and intensity component are obtained for their sparse coefficient through training dictionary which generated by randomly sampling raw patches.Then,the fused coefficient is obtained by the fusion rule which choosing spatial frequency maximum. Finally,the fused results are obtained through reconstruction and IHS inverse transformation.The improved algorithm has been tested on various multi-spectral and panchromatic satellite remote sensing images for different areas.The experimental results prove that the proposed method can improve the spatial resolution and better maintain the spectral characteristics.

image processing;image fusion;sparse representation;training dictionary

為了提高多光譜圖像與全色圖像的融合質量，利用稀疏表示理論，提出了一種基于訓練字典的融合算法。該算法對多光譜圖像的亮度分量進行亮度平滑濾波（SFIM）得到新的亮度分量，利用圖像塊隨機采樣學習得到的訓練字典對全色圖像和新的亮度分量進行稀疏表示，采用空間頻率取大的融合規則對稀疏系數進行融合，通過重構和IHS逆變換得到融合結果。對不同場景、不同衛星的多光譜圖像和全色圖像進行實驗，結果表明，該方法能在提高空間分辨率的同時更好地保持光譜特性。

圖像處理；圖像融合；稀疏表示；訓練字典

A

TP751

10.3778/j.issn.1002-8331.1112-0650

LIU Ting,CHENG Jian.Remote sensing image fusion based on training dictionary.Computer Engineering and Applications,2013,49（19）：135-140.

教育部高等學校博士學科點專項科研基金（No.20100185120021）；國家重點基礎研究發展計劃（973）（No.2007CB714406）；電子科技大學中央高校基本科研業務費項目（No.ZYGX2009Z005）；電子科技大學青年科技基金重點項目（No.JX0804）。

劉婷（1989—），女，碩士，主要研究領域為遙感圖像處理，稀疏表示；程建（1978—），男，博士后，副教授。E-mail：liutinglady@163.com

2012-01-06

2012-04-13

1002-8331（2013）19-0135-06

CNKI出版日期：2012-05-28http://www.cnki.net/kcms/detail/11.2127.TP.20120528.1612.002.html