利用融合方法提升WorldView短波紅外影像分辨率

趙 展，盧 瑩，夏 旺，閆 利

(武漢大學測繪學院，湖北 武漢 430079)

利用融合方法提升WorldView短波紅外影像分辨率

趙 展，盧 瑩，夏 旺，閆 利

(武漢大學測繪學院，湖北 武漢 430079)

WorldView衛星在8個可見光-近紅外多光譜波段的基礎上，新增加的8個短波紅外(簡稱SWIR)影像，大大提高了地物信息提取能力。但短波紅外影像分辨率與多光譜影像相比分辨率過低，影響應用效果。本文提出了一種結合主分量變換和非下采樣小波變換的影像融合方法來提升WorldView短波紅外影像的空間分辨率。定量指標和目視評價證明本文提出的融合方法具有較好的融合效果，能夠在顯著提升短波紅外影像空間分辨率的同時很好地保持原始光譜特性。

影像融合；短波紅外影像；小波變換；主分量變換

WorldView-3、4衛星是目前最先進的高分辨率民用遙感衛星，其在繼承WorldView-2的8個多光譜波段的基礎上，又增加了8個短波紅外(short wave infrared，SWIR)波段。相比于原有的8個“可見光—近紅外”范圍的多光譜影像(簡稱多光譜影像)，短波紅外波段的波長更長，不僅能夠反映這一波段范圍內地物的獨特反射特性，而且受大氣的散射作用小，穿透霧、煙塵能力強，能夠顯著提高精細提取地物信息能力[1-3]。但WorldView短波紅外影像的原始分辨率為3.75 m，而且由于政策原因在國內只出售7.5 m產品，分辨率與多光譜影像(1.2 m)差距較大，限制其應用效果。因此，本文展開WorldView多光譜影像和短波紅外影像融合研究，利用多光譜影像的空間信息提高短波紅外影像的空間分辨率。

影像融合是提高影像空間分辨率的有效技術手段，其融合關鍵在于如何提高融合影像空間分辨率的同時盡量保持原始光譜特性。早期融合方法往往在提高分辨率的同時帶來較嚴重的光譜畸變[4]。目前多尺度分析是常用的減少光譜畸變方法，利用小波變換、Contourlet變換等多尺度分析方法將影像高頻信息和低頻信息分離，通過分別融合高低頻信息減少對整體光譜的影響。不同學者提出了各種不同的分解系數融合方法[5-6]。近年來，稀疏表達開始被應用于遙感影像融合，該方法將融合問題變成稀疏約束下的最優化復原問題，融合圖像可以從訓練字典中重建，減少光譜畸變[7]，其關鍵在于字典對的建立和空間約束條件確定[8-10]。基于稀疏表達的方法在論文試驗中具有較好的融合結果，但其問題是約束模型對融合效果影響較大，當約束模型與物理實際過程并不完全一致時，融合質量有可能急劇下降[11]。另外，這些方法還有明顯的缺陷即計算高度復雜性[11]。有的研究者將多尺度分析方法和稀疏表達方法結合使用，取得了較好效果[12-13]。此外，還有其他一些融合方法被提出，如Liu等利用引導濾波方法提取空間信息進行融合，能夠較好地減少光譜畸變[14]。

傳統的影像融合大多是同一衛星傳感器的全色影像和多光譜影像融合，二者波長范圍大致相同。最近也有研究者開始關注異源影像的融合，Song等提出了一種基于稀疏表達和字典學習的多尺度融合方法[15]，利用SPOT多光譜影像提升TM影像的分辨率，二者來自不同的傳感器，但成像波段基本是一一對應的。Wang等提出了一種基于克里金插值的方法[16]，能夠利用MODIS第1、2波段影像(250 m)將3～7波段影像分辨率從500 m提升至250 m。本文中，多光譜影像和短波紅外影像是不同傳感器成像，具有完全不同的波長范圍，而且多光譜影像除分辨率更高外還具有豐富的光譜特征。其融合問題具有特殊性，需要首先提取多光譜影像的高分辨率空間信息，然后融合過程中盡量減少對短波紅外影像光譜信息的影響。針對此，本文提出一種結合主分量變換和小波變換的融合方法提高短波紅外影像的空間分辨率。利用主分量變換提取兩種影像的空間信息，利用小波變換僅將多光譜影像的高頻細節信息融合到短波紅外影像中，在提高短波紅外影像空間分辨率的同時保持光譜特性。

1 結合小波變換和主分量變換的融合方法

一般的遙感影像融合過程是將全色影像的高分辨率空間細節信息融合到多光譜影像中，在提高多光譜影像的空間分辨率的同時盡量減少光譜畸變。諸多研究表明，當全色影像的波長范圍與多光譜的波長范圍之和接近時，光譜畸變相對較小；當兩者差異較大時，融合過程易于造成更大光譜畸變。另外，在融合過程中盡量將光譜信息和空間信息分離，有助于減少光譜畸變。WorldView多光譜影像和短波紅外影像的融合問題更加復雜，不僅二者的成像波段的波長范圍完全不同，而且多光譜影像本身包含豐富的光譜信息，在融合過程中并不希望多光譜影像的光譜信息影響短波紅外融合影像的光譜信息。因此，在本文融合過程中首先分別對多光譜影像和短波紅外影像做主分量變換分離光譜信息和空間信息。

主分量變換是遙感應用中常用的影像變換方法，是均方誤差最小的最佳正交變換，能夠將原始多波段影像中的信息盡量集中到少數變換特征波段中。其中變換后的第一分量集中了原始影像的大部分空間信息(如對8波段的多光譜影像，第一主分量的信息量約占66%;對于8波段的短波紅外影像，第一主分量的信息量約占89%),可以認為原始影像變換后的第一分量主要包含了原始影像的空間信息，而其他分量包含光譜信息，從而將空間信息和光譜信息分離。在本文方法中，分別對多光譜影像和短波紅外影像做主分量變換，然后提取各自的第一主分量進行融合，將多光譜影像的空間細節信息融合到短波紅外影像第一主分量中，最后將融合后的第一主分量和原始其他分量作反主分量變換，得到融合圖像。

多光譜影像和短波紅外影像的成像波段的波長范圍完全不同，它們各自變換后的第一主分量影像反映的是不同成像波段下的地物空間信息，差異較大。采用常見的替換法或加權計算法進行信息融合容易改變第一分量圖像的灰度范圍和整體分布，在融合影像上造成較大的光譜畸變。實際上融合的目的是將多光譜影像的局部空間細節信息融合到短波紅外影像。因此，本文采用小波變換提取第一主分量圖像的空間細節信息，只將空間細節信息融合到短波紅外影像上，從而在提高短波紅外影像清晰度的同時不改變整體光譜灰度值分布情況，減少光譜畸變。

小波變換能夠很好地在多尺度下分解影像的高低頻信息，如式(1)所示，原始影像F可以分解為低頻近似影像FN和多尺度的高頻分解系數wj(F)(j表示尺度)[17]，影像是二維信號，分解后每一級的wj(F)包含水平高頻系數、垂直高頻系數和對角線高頻系數，通過多尺度和不同方向上的分解,能夠有效地提取影像上的空間細節信息。小波變換有非常多的種類，根據分解過程中是否進行抽樣過程可以將小波分為下采樣小波和非下采樣小波，下采樣小波采用對分解后高頻信號進行抽樣操作，盡管其反變換也可以無損地恢復信號，但應用于融合過程時，被融入高分辨率影像的高頻信息后，原始信號中的部分空域特性不能很好地保留，容易造成融合影像出現顏色斑塊效應。而非下采樣小波變換不進行下采樣過程，得到的分解系數與原始影像的尺寸一致，即式(1)中wj(F)與F的大小相等，其變換是冗余的，更有利于在融合過程中保留細節信息，而且具有位移不變性，能更好地抵抗噪聲影響[18]。因此，本文中采用非下采樣小波分別對多光譜和短波紅外的第一主分量影像做多級小波分解。

(1)

在已有融合方法中，往往將融合影像不同頻率的系數根據信息量進行加權融合等處理方式。但對于本文數據來說，短波紅外影像的分辨率與多光譜影像相差倍數較大。將短波紅外影像的分辨率重采樣到與多光譜影像同樣大小后，其馬賽克現象嚴重(如圖2所示)，高頻信息相對較少。因此，在本文融合方法中直接利用多光譜影像的高頻信息和短波紅外影像的低頻信息得到融合影像。通過將多光譜影像的多級高頻信息和短波紅外影像的低頻信息做反小波變換，實現將多光譜影像的高分空間細節信息融合到短波紅外影像中。整個融合方法的流程如圖1所示。

2 試驗與分析

本文使用的試驗數據為武漢市東西湖區的WorlView-3影像，東西湖區是武漢市“工業倍增”計劃的示范區，試驗影像上地物類型豐富，有河流、池塘、農田、林地、公路、廠房、居民地等。試驗影像的成像時間為2015年8月15日，多光譜影像分辨率為1.2 m，大小為3200×2400像素；短波紅外影像的分辨率為7.5 m，在融合之前重采樣到1.2 m分辨率。多光譜影像和短波紅外影像各有8個波段，其中，短波紅外影像采用123波段組合顯示，如圖2(a)所示。多光譜影像采用532波段組合的真彩色顯示方式，如圖2(b)所示。圖2的(c)、(d)是二者的左上角部分的局部放大圖，從圖中可以很明顯地看出短波紅外影像清晰度遠低于多光譜影像，重采樣到1.2 m分辨率后地物邊緣出現明顯的鋸齒現象。

圖2 試驗影像數據

使用本文方法對試驗數據進行融合，其中小波變換的小波基選擇雙正交小波(bior2.4)函數，小波分解的層數為3層，融合后的影像如圖3(a)所示。作為對比，本文中同時采用Gram-Schmidt(簡稱GS)融合方法[19]作為對比。G-S融合方法是通過利用數學上的GS變換進行的，具有較好的光譜保真性，并且計算比較簡單，因此被廣泛應用[16]。原始的GS方法是針對單波段全色圖像和多光譜圖像進行融合。而本文數據中，分辨率高的多光譜影像有多個波段，在試驗中采用了兩種方式，GS方法一是利用多光譜影像的第一主分量進行融合，GS方法二是利用多光譜影像中波長與短波紅外最接近的第8波段進行融合，其結果分別如圖3(b)和圖3(c)所示(仍然是123波段的顯示方式)。從圖中可以看出兩種GS融合方法都存在明顯的光譜畸變現象，除水體外各類地物的光譜顏色失真都非常嚴重；而本文方法體現出比較好的光譜保真性，目視觀察對比圖2(a)和圖3(a)，融合前后地物的光譜顏色十分一致。然后通過對比局部區域，分析融合過程對影像空間分辨率的提高，圖4是融合前后短波紅外影像的局部截圖，從圖中可以看出，相比于原始短波紅外影像，3種融合方法均顯著提高了影像的實際分辨率，影像的清晰程度有較大的提升，但與本文方法相比，兩種GS方法存在較大的光譜畸變。

圖3 融合結果

圖4 融合結果與原始影像對比局部圖

為了進一步評價融合影像的效果，本文采用定量指標評價融合影像的光譜保真度和真實空間分辨率。所采用的定量評價指標包括熵、偏差指數、相關系數、光譜角SAM、全局誤差ERGAS和圖像質量指數Q等，具體計算公式見參考文獻[12，20]。其中熵能夠衡量融合后影像的信息量，其數值越大，表明融合影像空間細節信息提升程度越高；偏差指數、相關系數、全局誤差ERGAS和光譜角SAM能夠評價融合影像和原始短波紅外影像的相似程度，特別是光譜角SAM能夠衡量二者的光譜相似度，其數值越小說明光譜保真性越好。圖像質量指數Q則是綜合考慮融合影像的空間信息和光譜信息，圖像質量指數Q數值越大，表示融合影像質量越好。計算本文方法和兩種GS方法融合結果的各種定量評價指標，結果見表1，其中光譜角SAM、全局誤差ERGAS對8波段圖像計算得到一個指標值，而熵、偏差指數、相關系數、圖像質量指數Q分別對每個波段計算，表中給出8波段的平均值。從表1中可以看出，3種融合方法影像的熵都明顯高于原始影像，說明均有效增加了短波紅外影像的空間細節信息，提高了空間分辨率，這與目視結果一致；對比本文的方法與兩種GS方法，本文方法的熵高于兩種GS方法，說明本文方法在提高空間細節方面優于GS方法。兩種GS方法融合結果與原始短波紅外影像的相關系數很低，這與其光譜失真嚴重的目視效果是一致的。而對比偏差指數、光譜角、全局誤差等衡量光譜保真度的定量指標，本文方法明顯優于GS方法，特別是本文融合方法的偏差指數和光譜角均明顯小于兩種GS方法，說明在光譜保真方面顯著優于GS方法，這也與目視觀察結果一致。而對于圖像質量指數Q這一綜合指標，本文方法也明顯優于兩種GS方法。總的來說，通過目視觀察和定量指標評價證明，本文提出的融合方法在顯著提升短波紅外影像空間分辨率的同時，能夠很好地保持原始光譜特性。

3 結 語

本文提出了一種結合主分量變換和非下采樣小波變換的影像融合方法，以提升WorldView短波紅外影像的空間分辨率。在該方法中，利用主分量變換分離影像的空間信息和光譜信息，利用非下采樣小波變換分離低頻近似圖像和高頻空間細節信息，只將多光譜圖像的空間細節信息融合到短波紅外影像中，從而在顯著提升短波紅外影像空間分辨率的同時很好地保持了原始光譜特性。試驗證明本文提出的融合方法具有較好的融合效果，目視觀察效果和定量評價指標均優于對比方法。

表1 融合結果定量評價

[1] PACIFICI F.On the Predictive Value of the WorldView3 VNIR and SWIR Spectral Bands[C]∥In Geoscience and Remote Sensing Symposium (IGARSS).[S.l.]：IEEE，2016：898-901.

[2] ASADZADEH S，FILHO C R D S.Investigating the Capability of WorldView-3 Superspectral Data for Direct Hydrocarbon Detection[J].Remote Sensing of Environment，2016，173:162-173.

[3] WARNER T A，SKOWRONSKI N S，GALLAGHER M R. High Spatial Resolution Burn Severity Mapping of the New Jersey Pine Barrens with WorldView-3 Near-infrared and Shortwave Infrared Imagery[J].International Journal of Remote Sensing，2017，38(2):598-616.

[4] PUSHPARAJ J，HEGDE A V.Comparison of Various Pan-sharpening Methods Using Quickbird-2 and Landsat-8 Imagery[J].Arabian Journal of Geosciences，2017，10(5):119-125.

[5] 劉軍，李德仁，邵振峰.利用快速離散Curvelet變換的遙感影像融合[J].武漢大學學報(信息科學版)，2011，36(3):333-337.

[6] 王阿川，陳舒暢，王學良.結合HIS和小波變換的自適應遙感影像融合[J].光電工程，2016，43(8):76-83.

[7] GHAHREMANI M，GHASSEMIAN H.A Compressed-Sensing-Based Pan-Sharpening Method for Spectral Distortion Reduction[J].IEEE Transactions on Geoscience & Remote Sensing，2016，54(4):2194-2206.

[8] UPLA K P，JOSHI M V，KHATRI N.A Regularized Pan-sharpening Approach Based on Self-similarity and Gabor Prior[J].International Journal of Remote Sensing，2017,38(4)：949-984.

[9] WANG J，PENG J，JIANG X，et al.Remote-sensing Image Fusion Using Sparse Representation with Sub-dictionaries[J].International Journal of Remote Sensing, 2017，38(12):3564-3585.

[10] LIU P，XIAO L，TANG S.A New Geometry Enforcing Variational Model for Pan-Sharpening[J].IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing，2016,14:1-14.

[11] GARZELLI A.A Review of Image Fusion Algorithms Based on the Super-Resolution Paradigm[J].Remote Sensing, 2016，8(10):797-806.

[12] 許寧，肖新耀，尤紅建,等.HCT變換與聯合稀疏模型相結合的遙感影像融合[J].測繪學報，2016，45(4):434-441.

[13] LI H，LIU F，YANG S，et al.Refined Pan-Sharpening with NSCT and Hierarchical Sparse Autoencoder[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016，12:1-11.

[14] LIU Junmin，LIANG Shunlin.Pan-sharpening Using a Guided Filter[J].International Journal of Remote Sensing，2016,8:37-38.

[15] SONG H，HUANG B，LIU Q，et al.Improving the Spatial Resolution of Landsat TM/ETM+ Through Fusion with SPOT5 Images via Learning-Based Super-Resolution[J].IEEE Transactions on Geoscience & Remote Sensing，2015，53(3):1195-1204.

[16] WANG Q，SHI W，ATKINSON P M.Area-to-point Regression Kriging for Pan-sharpening[J].ISPRS Journal of Photogrammetry & Remote Sensing，2016，114:151-165.

[17] CHIBANI Y.Additive Integration of SAR Features into Multispectral SPOT Images by Means of theTrous Wavelet Decomposition[J].ISPRS Journal of Photogrammetry & Remote Sensing，2006，60(5):306-314.

[18] AMOLINS K，ZHANG Yun，DARE P.Wavelet Based Image Fusion Techniques——An Introduction，Review and Comparison[J].ISPRS Journal of Photogrammetry and Remote Sensing，2007，62:249-263.

[19] 張濤，劉軍，楊可明,等.結合Gram-Schmidt變換的高光譜影像諧波分析融合算法[J].測繪學報，2015，44(9):1042-1047.

[20] 郭云開，曹小燕，謝瓊,等.一種基于NSCT和方向信息測度的GF1影像融合方法[J].測繪通報，2016(12):28-32.

ImprovingSpatialResolutionofWorldViewSWIRImageryBasedonImageFusion

ZHAO Zhan，LU Ying， XIA Wang，YAN Li

(School of Geodesy and Geomatics，Wuhan University，Wuhan 430079，China)

A new short wave infrared sensor，which can provide eight bands of SWIR imagery，is carried in the WorldView satellite，in addition to previous visible and near-infrared sensor that can acquire eight bands of visible and near-infrared imagery. But the spatial resolution of SWIR imagery is much lower than multispectral imagery，which affects its application. A new image fusion method based on non-subsampled wavelet transform and principal component transform is presented for improving the spatial resolution of SWIR imagery. The experiment shows the mothed can gain good fusion image，with spatial resolution significantly improved and original spectral property well maintained，in terms of visual observation and quantitative measures.

image fusion；short wave infrared image；wavelet transformation；principal component transformation

2017-06-19；

2017-09-04

國土資源部公益性行業科研專項經費(201511009)

趙 展(1984—)，男，博士，講師，主要從事遙感影像融合、分類等方面的研究。E-mail:zhzhao@sgg.whu.edu.cn

趙展，盧瑩，夏旺，等.利用融合方法提升WorldView短波紅外影像分辨率[J].測繪通報，2017(12)：16-20.

10.13474/j.cnki.11-2246.2017.0371.

P237

A

0494-0911(2017)12-0016-05