一種尺度感知型遙感圖像融合新方法

李 旭，高雅楠，Shigang Yue

(1. 西北工業大學電子信息學院，西安 710129；2. 林肯大學計算機科學學院，林肯 LN6 7TS)

一種尺度感知型遙感圖像融合新方法

李 旭1，高雅楠1，Shigang Yue2

(1. 西北工業大學電子信息學院，西安 710129；2. 林肯大學計算機科學學院，林肯 LN6 7TS)

針對在高分辨率星載遙感圖像融合中容易出現的空間或光譜信息失真問題，提出一種基于滾動導向濾波的多光譜與全色光圖像融合新方法。該方法采用主成分分析(PCA)設計融合模型，利用具有尺度感知特性的滾動導向濾波器準確地提取出多光譜圖像第一主成分的大尺度結構信息和全色光圖像的小尺度細節信息，然后將細節信息與結構信息相結合，經過主成分分析反變換得到融合結果。本文采用GeoEye-1衛星數據進行試驗，主觀分析與客觀評價表明,該方法能夠在保持圖像光譜信息的同時顯著提高融合圖像的空間分辨率，且融合質量優于現有的幾種融合方法。

滾動導向濾波器；圖像融合；全色光圖像；多光譜圖像

0 引 言

隨著星載成像傳感器的快速發展，許多在軌衛星，例如ZY-3、GeoEye-1和WorldView-3等能夠同時捕獲高分辨率的全色光和多光譜圖像[1-2]。由于傳感器設計的物理局限，全色光(Panchromatic, PAN)圖像覆蓋較寬的光譜范圍(通常從可見光到近紅外)，具有高的空間分辨率；相反地，多光譜(Multispectral, MS)圖像具有較高的光譜分辨率，但是空間分辨率較低。可以通過圖像融合技術將多光譜圖像和全色光圖像進行融合，充分利用它們之間的互補性，從而提高多光譜圖像的空間分辨率。目前針對高分辨率星載多光譜與全色光圖像的融合研究仍是遙感信息處理領域的熱點問題[3-4]。

近年來，邊緣保持型濾波器開始被應用于遙感圖像融合的研究中，有效地克服了光譜失真的問題。2014年Kaplan等[5]提出了一種基于多尺度雙邊濾波的多光譜圖像融合方法(Multiscale bilateral filter，MBF)；2015年Li等[6]利用歸一化非局部均勻濾波(Normailzed nonlocal means，NNLM)設計出一種新型融合方法；2016年Yin等[7]提出了一種基于彩色導向濾波的圖像融合方法(GF-based CS with multispectral version，GFCS-M)。邊緣保持型濾波器的邊緣感知過程是在保持高對比度邊緣的同時去除低對比度的變化。然而，邊緣保持的方法不能夠從細節中分離出結構，不利于遙感圖像的空間細節準確提取。Zhang等[8]在2014年提出了一種具有尺度感知能力的滾動導向濾波器(Rolling guidance filter，RGF)，該濾波器能夠感知不同尺度的結構，從而在尺度的衡量下完全平滑細節，保留結構信息。2016年Lillo-Saavedra等[9]針對農業分塊應用首先提出了利用滾動導向濾波分解圖像以獲取其細節信息的遙感圖像融合方法(Pansharpening based on rolling guidance filter，PSRGF)，但是該方法局限于輸入圖像的場景內容，僅適用于具有大尺度結構邊緣或對象的農業遙感圖像。

由于PAN圖像和MS圖像具有不同的空間分辨率，場景中的各種目標和結構是以不同的尺寸而顯示。PAN圖像中的小尺寸細節通常不會出現在MS圖像中，而MS圖像中的大尺度結構則描述了緩慢的空間顏色轉換與平坦區域。為了從PAN圖像和MS圖像中準確地提取空間信息，分離出不同尺度的結構是一個關鍵問題，最終會影響融合圖像的質量。本文利用滾動導向濾波對輸入圖像進行分解，得到結構信息圖像和紋理細節圖像，并將包含MS圖像主要特征的大尺度結構信息和包含PAN圖像主要特征的小尺度紋理細節結合，通過主成分分析(Principal component analysis，PCA)構建融合模型。

1 滾動導向濾波

滾動導向濾波能夠通過快速迭代去除細小結構的同時保持較大的結構。滾動導向濾波分為兩步進行：細小結構的移除和邊緣的恢復。圖1為滾動導向濾波流程圖。

第一步：細小結構的移除

第一步使用高斯濾波器移除細小的結構。假定輸入圖像與高斯濾波輸出圖像分別為P和G。σs表示模糊空間尺度。高斯濾波器的尺寸決定了結構的尺度，所以根據尺度空間理論[10],圖像中尺度小于σs的結構將會被移除。該濾波器由下式表示:

(1)

第二步：邊緣的恢復

該步驟利用迭代算法來恢復圖像的邊緣。其中，圖像J作為不斷迭代更新的指導圖像，P是與第一步相同的輸入圖像。J1為第一步的輸出圖像，即圖像G，Jt+1為第t次迭代的結果，其值由以下聯合雙邊濾波操作得出

(2)

該過程可以理解為根據圖像Jt的結構來平滑圖像P，這個迭代算法可以匹配各類聯合濾波器。鑒于導向濾波器可以避免雙邊濾波器產生的梯度翻轉效應，本文選擇導向濾波器[11]替換聯合雙邊濾波器并且將Fσs,σr,t(P)表示滾動導向濾波算法，其中P表示輸入圖像，參數σs和σr分別表示濾波模糊空間尺度和灰度相似度，參數t表示迭代次數。

2 基于滾動導向濾波的融合方法

1) 選擇國際上常用的雙三次插值法將原始MS圖像的N個波段上采樣到與原始全色光圖像P(見圖3(a))相同尺寸，可得到低分辨率的上采樣MS圖像(見圖3(b)真彩色合成)，記為Mi，其中i=1,…,N。

2) 為了減少上采樣得到的Mi各個波段的信息交叉和信息冗余，對N個Mi波段作PCA正變換，獲取N個獨立的成分圖像Ci。第一主成分圖像包含了多光譜圖像的絕大多數地物信息，因此以下步驟只考慮第一主成分。

3) 與全色光圖像P相比，第一主成分圖像C1(見圖3(c))較為模糊，主要以大尺度結構信息為主，缺乏豐富的紋理細節信息。為使其大尺度結構特征信息更為凸出，將C1作為滾動導向濾波輸入圖像進行濾波處理，由式(3)得到C1的大尺度結構層圖像L1(見圖3(d)),可觀察到C1經過濾波后消除了塊效應且平滑了邊緣

L1=Fσs,σr,t(C1)

(3)

4) 由下式計算出強度分量I：

(4)

為盡可能提取P的空間細節，本步驟采用直方圖匹配法將P與I進行匹配處理得到P′，使之與強度分量具有相同的均值和方差

(5)

式中：μP與μI分別為P和I所有像素的均值，σP與σI分別為P和I的所有像素的標準差，A是與P相同尺寸的全一矩陣。

5) 為了提取P′的空間細節，首先將P′作為滾動導向濾波輸入圖像進行濾波處理，得到P′的大尺度結構層圖像L2，再由P′和L2提取小尺度細節層D。由圖3(e)可知，D基本提取了P′中的空間信息，圖像的細節、紋理清晰度較高

L2=Fσs,σr,t(P′)

(6)

D=P′./L2

(7)

式中：“./”定義為兩個矩陣對應元素相除。

6) 將全色光圖像的細節信息D以乘性方式注入至第一主成分邊緣層L1得到更新后第一主成分圖像C1new(見圖3(f))，觀察到更新后的圖像清晰度有了明顯地提高

C1new=D*L1

(8)

式中：“*”定義為兩個矩陣對應元素相乘。

7) 將更新后的第一主成分圖像C1new與經PCA變換得到的其他N-1個成分圖像Ci(i=2,…,N)作PCA反變換得到N波段融合結果Si。

3 試驗結果與評價

3.1 試驗數據

3.2 融合結果分析

3.2.1主觀分析

與原始的多光譜圖像相比，六種融合結果的空間分辨率均有不同程度的提高。對于草坪與植被區域，PCA方法(見圖4(d))存在明顯的顏色失真，與原始彩色圖像相比顏色變為淺綠。MBF方法(見圖4(e))與MGF方法(見圖4(g))光譜保持能力比PCA方法好，但依然存在缺陷。對于圖像中心的白色與草坪相接區域，PCA方法的融合圖像十分清晰，邊緣保持較好，但MBF方法、GFCS-M方法(見圖4(f))與Meng方法(見圖4(h))都產生了塊效應，可能是由于空間細節注入過量造成的。MGF方法則出現了較明顯的光譜扭曲現象，圖像中的高亮白色區域偏暗。觀察發現本文方法(見圖4(c))不僅提高了原始多光譜的空間分辨率，能夠較好地保持圖像的邊緣信息，而且圖像整體的亮度分布與原始多光譜圖像接近，視覺效果為最優。

3.2.2客觀分析

本文采用以下幾種常用的客觀評價指標對各種融合結果進行評價[15-16]。

1) 相關系數：融合圖像和參考圖像在各個波段上的相關系數，記為C。數值越大，說明融合圖像的光譜信息保持越好，其理想值為1。

2) 通用圖像質量指數：衡量圖像的相關性失真、亮度失真以及對比度失真情況，記為U。其結果越接近于1，融合結果質量越好。

3) 相對全局維數綜合誤差：衡量融合圖像所有波段的光譜扭曲程度，記為E。數值越小，融合圖像的光譜扭曲程度越小，其理想值為0。

4) 質量評價指標Q4：衡量四波段多光譜融合質量的綜合指標，記為Q。數值越大，說明融合圖像的空間分辨率與參考圖像越接近，光譜失真度越小，其理想值為1。

5) 無參考圖像評價指標(Quality with no reference, QNR)：QNR指標可以同時測定融合圖像的空間信息丟失情況和光譜特征扭曲情況，記為D。該值越接近1，融合質量越高。

表1列出了這四種方法融合結果的客觀評價，其中C和U分別表示四個波段計算結果的平均值。整體看來，客觀評價結果與主觀分析一致。PCA方法測得的C，E和D指標為最差，MGF方法測得的U和Q為最差，說明這兩種方法融合結果相對不理想。MBF方法優于PCA和MGF方法，其中C，U和E數值有較大的提升。GFCS-M與Meng方法測得的指標數值接近，說明融合結果相似，并且相對其他三種方法較好。對于這些指標，本文方法都是最優值，說明本文提出的融合方法在細節增強和光譜信息完整度的保持方面優勢更大。

表1 GeoEye-1衛星融合結果的客觀評價Table 1 Quality scores of the GeoEye-1 satellite pansharpened results

4 結 論

針對高分辨率星載全色光和多光譜圖像的融合，本文介紹了一種尺度感知型圖像融合新方法。由于空間分辨率的差異，PAN圖像和MS圖像包含不同尺度的地物目標，因此本文利用滾動導向濾波器的尺度感知性能對PAN圖像和MS圖像進行信息分解，根據PAN圖像細節信息較為豐富而MS圖像大尺度結構信息較為突出的特點，將PAN圖像的細節信息注入到MS圖像中，并結合PCA變換構建出融合模型。融合試驗采用GeoEye-1衛星圖像進行試驗驗證，并與PCA、MBF、GFCS-M、MGF和Meng等五種方法進行主觀和客觀分析比較。試驗結果表明，本文方法在保持MS圖像的光譜信息和大尺度邊緣結構的同時，又能提高其空間細節信息，取得了高質量的融合結果。濾波器的參數選擇對融合質量的影響將是后續研究工作的內容之一。

[1] 李旭. 一種用于WorldView-2遙感圖像的波段分組融合方法[J]. 宇航學報, 2015, 36(3): 324-329. [Li Xu. Grouped band based fusion method for WorldView-2 satellite images [J]. Journal of Astronautics, 2015, 36(3): 324-329.]

[2] 王力彥, 趙冬, 陳建平. 基于光譜響應函數的ZY-3衛星融合算法研究 [J]. 宇航學報, 2014, 35(8): 938-945. [Wang Li-yan, Zhao Dong, Chen Jian-ping. Study on ZY-3 image fusion algorithms based on spectral response function[J]. Journal of Astronautics, 2014, 35(8): 938-945.]

[3] Ghassemian H. A review of remote sensing image fusion methods [J]. Information Fusion, 2016, 32: 75-89.

[4] Li S T, Kang X D, Fang L Y, et al. Pixel-level image fusion: a survey of the state of the art [J]. Information Fusion, 2017, 33: 100-112.

[5] Kaplan N H, Erer I. Bilateral filtering-based enhanced pansharpening of multispectral satellite images [J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 11(11): 1941-1944.

[6] Yin H, Li S T. Pansharpening with multi-scale normalized non-local mean filter: a two-step approach [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(10): 1-12.

[7] Liu J M, Liang S L. Pan-sharpening using a guided filter [J]. International Journal of Remote Sensing, 2016, 37(8): 1777-1800.

[8] Zhang Q, Shen X Y, Xu L, et al. Rolling guidance filter [C]. 2014 European Conference on Computer Vision, Zurich, Switzerland, September 6-12, 2014.

[9] Lillo-Saavedra M, Gonzalo-Martin C, Garcia-Pedrero A, et al. Scale-aware pansharpening algorithm for agricultural fragmented landscapes [J]. Remote Sensing, 2016, 8(10): 1-19.

[10] Lindeberg T. Scale-space theory: a basic tool for analyzing structures at different scales [J]. Journal of Applied Statistics, 1994, 21(2): 225-270.

[11] He K M, Sun J, Tang X O. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[12] Wu J, Liu J, Tian J W, et al. Wavelet-based remote sensing image fusion with PCA and feature product [C]. IEEE International Conference on Mechatronics and Automation, Orlando, USA, May 15-19, 2006.

[13] Upla K P, Joshi S, Joshi M V, et al. Multiresolution image fusion using edge-preserving filters [J]. Journal of Applied Remote Sensing, 2015, 9: 1-26.

[14] Meng X C, Li J, Shen H F, et al. Pansharpening with a guided filter based on three-layer decomposition [J]. Sensors, 2016, 16(7): 1-15.

[15] Kallel A. MTF-adjusted pansharpening approach based on coupled multiresolution decompositions [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53 (6): 3124-3145.

[16] Vivone G, Alparone L, Chanussot J, et al. A critical comparison among pansharpening algorithms [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53 (5): 2565-2586.

ANovelScale-AwarePansharpeningMethod

LI Xu1, GAO Ya-nan1, Shigang YUE2

(1. School of Electronics and Information, Northwestern Polytechnical University, Xi’an 710129, China;2. School of Computer Science, University of Lincoln, Lincoln LN6 7TS, UK)

To reduce the spatial and spectral distortions occurring in fusing remote sensing images, a novel pansharpening method using rolling guidance filter is proposed. The fusion model is designed with principal component analysis (PCA). In order to extract the small-scale detail information from a panchromatic image and large-scale structure information from the first component of a multispectral image, the scale-aware capability of a rolling guidance filter is employed. Then the detail information and structure information are combined. Through the inverse PCA transformation, the pansharpened result is obtained. The experiment is carried out on GeoEye-1 satellite data. The subjective analysis and objective evaluation show that the proposed method can greatly improve the clarity of the fused image while maintaining the spectral information, which is superior to some existing pansharpening methods.

Rolling guidance filter; Image fusion; Panchromatic image; Multispectral image

2017- 06- 09;

2017- 09- 29

國家自然科學基金(61301195)；歐盟H2020-ULTRACEPT(778062)；西北工業大學研究生創意創新種子基金(Z2017138)

TP751

A

1000-1328(2017)12- 1348- 06

10.3873/j.issn.1000- 1328.2017.12.012

李旭(1979-)，男，博士，副教授，主要從事多傳感器信息獲取與處理方面的研究。

通信地址：西安市碑林區友誼西路127號西北工業大學電子信息學院(710072)

E-mail: nwpu_lixu@126.com