一種結合結構與能量信息的全色與多光譜圖像融合方法

宋加文，朱大明，左小清，付志濤，陳思靜

一種結合結構與能量信息的全色與多光譜圖像融合方法

宋加文，朱大明，左小清，付志濤，陳思靜

（昆明理工大學 國土資源工程學院，云南 昆明 650093）

分量替換是遙感圖像融合中的一種經典方法，其具有良好的空間保真度，但容易產生光譜失真，為此本文提出一種結合結構與能量信息的全色與多光譜圖像融合方法。方法首先通過超球面顏色空間變換分解多光譜圖像的空間和光譜信息。其次，通過聯合雙邊濾波引入了兩層分解方案。然后，將全色圖像和強度分量分解為結構層和能量層。最后，提出結構層通過鄰域空間頻率策略融合，強度分量的純能量層用作預融合圖像的能量層。強度分量定義顏色的強度，通過將預融合結構層與強度分量的能量層結合，可以有效地結合源圖像的空間和光譜信息，從而減少全色銳化圖像的光譜失真。本文在Pléiades和QuickBird數據集上進行大量實驗，并對實驗結果進行定性和定量分析，結果表明所提方法與現有先進方法相比具備一定優越性。

全色銳化；超球面色彩空間；聯合雙邊濾波；空間頻率；全色圖像；多光譜圖像

0 引言

由于衛星傳感器、星載存儲和帶寬傳輸的限制，遙感圖像中多光譜（multispectral，MS）圖像具有多個波段，光譜分辨率高，但空間分辨率較低。全色（panchromatic，PAN）圖像為單波段，空間分辨率高，但缺少光譜信息[1]。全色銳化是指MS圖像和PAN圖像融合，生成具有高空間分辨率和高光譜分辨率的MS圖像[2]，如圖1所示。并且，隨著高分辨率MS圖像在目標識別、變化檢測和城市區域分類等領域需求越來越高，全色銳化技術已成為遙感領域的一個重要而熱門的問題[3-4]。

現有的全色銳化方法大致可歸為4類，即分量替換方法（component substitution，CS）、多分辨率分析（multi-resolution analysis，MRA）方法、基于變分優化（variational optimization-based，VO）方法和機器學習（machine learning，ML）方法[5]。其中MRA方法光譜信息保持較好，但容易產生空間失真[6]。VO和ML方法目標是實現高質量的融合結果，但這通常會增加算法的復雜性以及計算量[7-8]。CS方法是一種經典的全色銳化方法，許多開創性的全色銳化技術都屬于CS類。CS方法是將MS圖像轉換到一個新顏色空間，從而分離空間和光譜信息，并將空間信息部分或完全替換為PAN圖像的空間信息，以提高MS圖像的空間分辨率[9]。例如強度-色調-飽和度（intensity-hue-saturation，IHS）和主成分分析法（principal component analysis，PCA）等。CS方法簡單高效，如果算法設計得當，也可以獲得具有競爭力的結果[10]，但大多數CS方法存在光譜失真的問題。

目前，大量基于IHS變換或者YUV變換的CS方法被提出。這些方法通常先對MS圖像進行IHS變換或者YUV變換提取強度分量I或亮度分量Y，從而分離MS圖像的空間和光譜信息。其次對PAN圖像和MS圖像的分量進行分解，然后設計相應規則融合，最后逆變換實現融合。文獻[11-13]提出將PAN圖像和MS圖像的分量通過非下采樣剪切波變換（non-subsampled shearlet transform，NSST）得到高頻子帶和低頻子帶，并設計高頻和低頻融合策略對高頻和低頻子帶進行融合。此類方法在保持圖像空間和光譜信息方面取得一定效果，但方法受MS圖像的波段限制，并且NSST分解會增加算法的復雜度和時間成本。干等人[14]提出一種使用滾動導向濾波雙尺度分解遙感圖像的融合方法，由于將圖像雙尺度分解使得方法計算效率較高，但因其基于YUV變換，所以也受MS圖像波段數限制，并且YUV變換以及低頻融合策略會使融合圖像的植被等區域出現明顯光譜失真。

針對以上問題，我們提出一種結合結構與能量信息的全色與多光譜圖像融合方法。首先引入超球面色彩空間（hyperspheric color space，HCS）變換來實現大于3波段的遙感圖像進行顏色空間變換。然后，圖像通過聯合雙邊濾波（joint bilateral filter，JBF）分解為結構層和純能量層，兩層分解使得方法具備較高的計算效率。最后，為有效結合圖像的結構和能量信息，提出結構層通過鄰域空間頻率策略融合，MS圖像強度分量的純能量層作為融合圖像能量層，融合策略可以減少融合圖像的光譜和空間失真。

圖1 降分辨率數據全色銳化示例

1 本文方法

1.1 HCS變換

目前大多數MS圖像不僅包括紅綠藍（Red, green and blue，RGB）波段，還包括近紅外等波段。但常見的顏色空間變換方法只能應用于RGB圖像。HCS變換[15]與IHS等顏色空間變換類似，但HCS變換可以自由選擇波段，并且支持大于3波段的遙感圖像進行顏色空間變換。它是將圖像從原顏色空間變換到超球形顏色空間，輸入一個波段圖像，可以在超球面空間得到的1個強度分量和－1個角度變量。角度變量定義顏色或色調，而強度分量定義顏色的強度，強度可以縮放而不改變顏色。

以下方程給出了從原始顏色空間到HCS的一般變換過程：

對應的逆HCS變換可表示為：

1＝cos1(5)

2＝sin1cos2(6)

－1＝sin1sin2…sin－2cos－1(7)

＝sin1sin2…sin－2sin－1(8)

式中：是輸入MS圖像的波段；是強度分量；1,2,…,－1是－1個角度變量。

1.2 圖像分解

全色銳化的目標是結合PAN圖像的空間信息與MS圖像的光譜信息，如何有效分解圖像之間的互補信息就成為實現全色銳化的首要問題。我們提出一種通過JBF分解遙感圖像的方法。方法將強度信息和結構信息作為圖像的兩個重要特征，設計了一種分解圖像結構和能量信息的方案，方法包括全局模糊和邊緣恢復兩個步驟。

1.2.1 全局模糊

為將輸入圖像的細節信息最大限度地傳播到結構層，我們通過高斯濾波對圖像進行整體平滑。如下所示：

＝*(9)

式中：是輸入圖像；(,)為方差＝2的高斯濾波，為標準差下的平滑結果。此過程會將輸入圖像的細節保留在結構層中。

然后，全局模糊圖像使用加權平均高斯濾波生成：

式中：和分別表示輸入圖像和輸出圖像。和表示像素坐標；()為的相鄰像素集合；s表示標準差；Z表示歸一化運算。

1.2.2 邊緣恢復

由于公式(11)在去除小結構的同時破壞了大尺度結構（大于s的結構），大尺度結構在一定程度上保留在能量層中。因此，我們引入了JBF來恢復圖像的大結構，JBF類似于滾動制導濾波器，但只有一次迭代[16-17]。同時，在此過程中將獲得能量層：

式中：d表示空間距離函數；r表示強度范圍函數，計算如下：

式中：s和r分別控制雙邊濾波器的空間權重和范圍權重。

1.3 融合規則與圖像重構

PAN圖像和分量通過以上JBF濾波過程得到能量層1和2，然后通過差分計算得到結構層1和2。

1.3.1 結構層融合

圖像的結構層包含邊緣、紋理和拐角等活躍信息，反映圖像的主要細節信息。鄰域空間頻率（Neighborhood Spatial Frequency, NSF）可以有效地檢測細節特征。故結構層通過鄰域空間頻率策略融合，并且融合的結構層可以通過以下公式獲得：

其中NSF定義如下：

1.3.2 能量層融合

通過1.2節的分解過程，純能量層圖像中不包含結構信息。由于分量的能量層決定圖像顏色的強度，因此提出分量的純能量層用作預融合圖像的能量層，從而減少因分量能量層的變化造成融合圖像的顏色變化，進而實現較高的光譜質量：

F＝2(21)

式中：F表示預融合圖像的能量層。

1.3.3 圖像重構

將F,t與F結合得到￠：

￠＝F,t＋F(22)

￠替換MS圖像分量并進行逆HCS變換得到最終融合圖像。

1.4 融合流程

方法首先通過HCS變換將多光譜圖像分解為分量和角度變量。其次，通過JBF將PAN圖像和分量分解為結構層和能量層。然后，結構層通過鄰域空間頻率策略融合，強度分量的純能量層用作融合圖像的能量層。將強度分量的純能量層和融合結構層結合，并與角度變量逆HCS變換即可得到融合圖像。本文提出的融合方法的流程如圖2所示，具體步驟如下：

1）MS圖像上采樣至PAN圖像像素尺寸；

2）對MS圖像進行HCS變換，得到強度分量和角度變量1,2,3；

3）根據分量對PAN圖像進行直方圖調整；

4）PAN圖像分量和通過JBF分解，得到結構層(1,2)與能量層(1,2)；

5）結構層1和2通過鄰域空間頻率融合策略得到融合結構層F,t；

6）分量的能量層2作為預融合圖像的能量層F；

7）F,t和F取和得￠；

8）將￠和角度變量1,2,3逆HCS變換，得到最終融合圖像。

2 實驗細節

本節將介紹實驗的數據集、評價指標、參數設置和實驗環境。然后在Pléiades和QuickBird傳感器數據集上進行降分辨率實驗，并從視覺效果、定量評價方面將所提方法與對比方法比較。對比方法包括：波段相關空間細節方法（band-dependent spatial-detail，BDSD）[18]、基于波段物理約束的波段相關空間細節方法（band-dependent spatial-detail with physical constraints, BDSD-PC）[19]、霧度校正優化的Brovey變換方法（optimized Brovey transform with haze correction, BT-H）[20]、基于上下文自適應局部參數估計的Gram-Schmidt方法（context-based Gram-Schmidt adaptive with local parameter estimation exploiting clustering，C-GSA）[21]、GS[22]、GSA[23]、Indusion[24]，具有調制傳遞函數匹配濾波器的廣義拉普拉斯金字塔與基于全尺度回歸的注入模型（generalized Laplacian Pyramid with modulation transfer function-matched filters with a full scale regression-based injection model, MTF-GLP-FS）[25]，具有調制傳遞函數匹配濾波器和高通調制注入模型的廣義拉普拉斯金字塔以及具有基于初步回歸的光譜匹配相位方法（generalized Laplacian Pyramid with modulation transfer function-matched filters and high-pass modulation injection model with a preliminary regression-based spectral matching phase, MTF-GLP-HPM-R）[26]和基于PCA和小波的模型融合方法（model-based fusion using PCA and wavelets, PWMBF）[27]。

圖2 本文融合方法

2.1 實驗數據集

本文使用21組Pléiades圖像和16組QuickBird圖像制作實驗數據集，實驗圖像包括建筑、道路、植被等各種典型場景，部分圖像如圖3所示。Pléiades數據集由單波段PAN圖像和4波段MS圖像組成，PAN圖像空間分辨率為0.5m，MS圖像空間分辨率為2.0m，輻射分辨率為12位。QuickBird數據集是由4波段MS圖像和一個單波段PAN圖像組成，PAN圖像空間分辨率為0.61m，MS圖像空間分辨率為2.44m，輻射分辨率為11位。實驗數據集細節可見表1。

圖3 數據集圖像示例

表1 實驗數據集細節

2.2 評價指標

在定量評價中，我們選取光譜角映射器（spectral angle mapper，SAM）[28]、無量綱綜合全局誤差（dimensionless global error in synthesis，ERGAS）[29]、空間相關系數（spatial correlation coefficient，SCC）[30]、波段平均的通用圖像質量指數（universal image quality index averaged over the bands，QAVE）[31]和Q2n[32]指標（4波段MS圖像對應Q4）作為評價指標。

2.3 參數設置

本文方法中有2個自由參數需要設置，即JBF的高斯標準差s和r。通過測試發現，當s值較小時圖像模糊，當s值較大時也會對視覺效果產生不好的影響。結合圖4點線趨勢，將s設置為3。由于r的不同值并不影響融合圖像質量，因此將r設置為默認值0.05。

2.4 實驗環境

文中所有方法都在相同的軟件和硬件平臺上運行。軟件為MATLAB（R2017b）和Windows10操作系統。硬件為：AMD Ryzen 7 4700U with Radeon Graphics 2.00 GHz處理器，16GB RAM。

3 實驗結果與分析

3.1 定性分析

在圖5中：BT-H方法存在明顯光譜失真，圖像存在黃顏色偽信息；C-GSA、GS、GSA、Indusion、MTF-GLP-FS和MTF-GLP-HPM-R方法在圖像中植被區域由于空間細節注入過多，雖然空間細節清晰，但圖像顏色較淺，與地面真實（ground truth，GT）圖像的光譜信息不一致；PWMBF方法圖像顏色較淺，光譜信息丟失嚴重；BDSD、BDSD-PC和本文方法的圖像在空間和光譜信息方面與GT最為接近，取得較好視覺效果。在圖6中：GS和Indusion方法在圖像中道路區域顏色較淺，其余方法的融合圖像均取得較好視覺效果，均有效提升了MS圖像的空間分辨率，但本文方法融合圖像與GT圖像色調更為一致。為進一步比較方法性能，對圖6中所有圖像求殘差，殘差圖像如圖7所示。在圖7中可以明顯看出BT-H和所提方法圖像的殘差信息更少，與GT圖像更接近，證明所提方法有效結合了MS和PAN圖像的空間與光譜信息。

圖4 參數ss對圖像質量影響分析。(a) QuickBird數據集 (b)Pléiades數據集

圖5 QuickBird圖像融合結果

圖6 Pléiades圖像融合結果

圖7 圖6殘差圖像

3.2 定量分析

表2和表3是數據集中全部圖像定量評價的平均值，本文方法的Q4、QAVE、SAM、ERGAS和SCC定量指標值均為最優，方法運行所用的平均時間在所有方法中也較少。這表明本文方法的融合圖像質量較高，空間和光譜信息被有效結合，算法簡單高效，與上述定性評價的分析結果趨于一致。其中平均運行時間較少是由于方法雙層分解圖像，并且結構層與能量層融合使用的融合策略簡單高效。而定量指標最優是由于所提出的結構層與能量層的融合策略有效結合源圖像信息，使得融合圖像失真小質量高。

表2 QuickBrid數據集融合結果定量評價

表3 Pléiades數據集融合結果定量評價

4 結論

在本文中，為減少光譜失真我們提出了一種結合HCS變換與JBF的遙感影像融合方法。首先，通過HCS變換可以實現了對任意波段的MS影像進行顏色空間變換。其次，通過聯合雙邊濾波有效分解了源圖像之間的互補信息。最后，提出一種通過鄰域空間頻率策略融合結構層，強度分量的能量層作為預融合圖像能量層的融合策略。方法可以有效結合源圖像的光譜和空間信息，減少光譜和空間信息失真。實驗將所提方法與10種優秀的方法進行對比，結果表明所提方法在視覺感知和定量評價方面具有更好的性能表現。

[1] 朱衛東, 王虎, 邱振戈, 等. 自適應多尺度幾何分析的全色和多光譜圖像融合方法研究[J]. 紅外技術, 2019, 41(9): 852-856.

ZHU Weidong, WANG Hu, QIU Zhenge, et al. Fusion of panchromatic and multispectral images based on adaptive multiscale geometric analysis method[J]., 2019, 41(9): 852-856.

[2] Vivone G, Dalla Mura M, Garzelli A, et al. A new benchmark based on recent advances in multispectral pansharpening: revisiting pansharpening with classical and emerging pansharpening methods[J]., 2021, 9(1): 53-81.

[3] LIU P, XIAO L, LI T. A variational pan-sharpening method based on spatial fractional-order geometry and spectral–spatial low-rank priors[J]., 2018, 56(3): 1788-1802.

[4] 王歐, 羅小波. 基于細節信息提取的全色與多光譜圖像融合方法[J]. 紅外技術, 2022, 44(9): 920-928.

WANG Ou, LUO Xiaobo. Panchromatic and multispectral images fusion method based on detail information extraction[J]., 2022, 44(9): 920-928.

[5] XIAO J, HUANG T, DENG L, et al. A new context-aware details injection fidelity with adaptive coefficients estimation for variational pansharpening[J]., 2022, 60: 1-15.

[6] WU Z, HUANG T, DENG L, et al. VO+Net: an adaptive approach using variational optimization and deep learning for panchromatic sharpening[J]., 2022, 60: 1-16.

[7] YANG Z, FU X, LIU A, et al. Progressive pan-sharpening via cross-scale collaboration networks[J]., 2022, 19: 1-5.

[8] WU Z, HUANG T, DENG L, et al. A new variational approach based on proximal deep injection and gradient intensity similarity for spatio-spectral image fusion[J]., 2020, 13: 6277-6290.

[9] Deng L, Vivone G, Paoletti M, et al. Machine learning in pansharpening: a benchmark, from shallow to deep networks[J]., 2022, 10(3): 279-315.

[10] ZHANG Z Y, HUANG T Z, DENG L J ,et al. Pan-sharpening via rog-based filtering[C]//2019-2019, 2019:2790-2793. DOI: 10.1109/ IGARSS. 2019.8899330.

[11] 侯昭陽, 呂開云, 龔循強, 等. 一種結合低級視覺特征和PAPCNN的NSST域遙感影像融合方法[J]. 武漢大學學報: 信息科學版, 2023, 48(6): 960-969. DOI: 10.13203/j.whugis20220168.

HOU Zhaoyang, Lü Kaiyun, GONG Xunqiang, et al. Remote sensing image fusion based on low-level visual features and PAPCNN in NSST domain[J]., 2023, 48(6): 960-969. DOI: 10.13203/j.whugis20220168

[12] 呂開云, 侯昭陽, 龔循強, 等. 一種基于ASR和PAPCNN的NSCT域遙感影像融合方法[J]. 遙感技術與應用, 2022, 37(4): 829-838.

LUY Kaiyun, HOU Zhaoyang, GONG Xunqiang, et al. A remote sensing image fusion method based on ASR and PAPCNN in NSCT domain [J]., 2022(4): 829-838.

[13] 白鑫, 衛琳. 基于IHS變換與自適應區域特征的遙感圖像融合算法[J]. 電子測量與儀器學報, 2019, 33(2): 161-167.

BAI Xin, WEI Lin. Remote sensing image fusion algorithm based on ihs transform and adaptive region features[J]., 2019, 33(2): 161-167.

[14] 干林杰, 譚榮建. 一種雙尺度分解的高分辨率遙感影像融合方法[J]. 通信技術, 2022, 55(2): 174-180.

GAN Linjie, TAN Rongjian. A method for fusion of high-resolution remote sensing images based on Dual-Scale decomposition[J]., 2022, 55(2): 174-180.

[15] Padwick C, Deskevich M, Pacifici F, et al. Worldview-2 pan-sharpening[C]//2010, 2010: 1-14.

[16] ZHANG Qi, SHEN Xiaoyong, XU Li, et al. Rolling guidance filter[C]//(ECCV), 2014: 815-830.

[17] LI X, ZHOU F, TAN H, et al. Multimodal medical image fusion based on joint bilateral filter and local gradient energy[J]., 2021, 569: 302-325.

[18] Garzelli A, Nencini F, Capobianco L. Optimal MMSE pan sharpening of very high resolution multispectral images[J]., 2008, 46(1): 228-236.

[19] Vivone G. Robust band-dependent spatial-detail approaches for panchromatic sharpening[J]., 2019, 57(9): 6421-6433.

[20] Lolli S, Alparone L, Garzelli A, et al. Haze correction for contrast-based multispectral pansharpening[J]., 2017, 14(12): 2255-2259.

[21] Restaino R, Dalla Mura M, Vivone G, et al. Context-adaptive pansharpening based on image segmentation[J]., 2017, 55(2): 753-766.

[22] MENG X, XIONG Y, SHAO F, et al. A large-scale benchmark data set for evaluating pansharpening performance: overview and implementation[J]., 2021, 9(1): 18-52.

[23] Aiazzi B, Baronti S, Selva M. Improving component substitution pansharpening through multivariate regression of MS+Pan Data[J]., 2007, 45(10): 3230-3239.

[24] Khan M M, Chanussot J, Condat L, et al. Indusion: fusion of multispectral and panchromatic images using the induction scaling technique[J]., 2008, 5(1): 98-102.

[25] Vivone G, Restaino R, Chanussot J. Full scale regression-based injection coefficients for panchromatic sharpening[J]., 2018, 27(7): 3418-3431.

[26] Vivone G, Restaino R, Chanussot J. A regression-based high-pass modulation pansharpening approach[J]., 2018, 56(2): 984-996.

[27] Palsson F, Sveinsson J R, Ulfarsson M O, et al. Model-based fusion of multi- and hyperspectral images using PCA and wavelets[J]., 2015, 53(5): 2652-2663.

[28] Roberta H. Yuhas A F H G. Discrimination among semi-arid landscape endmembers using the spectral angle mapper (SAM) algorithm[J].3rd, 1992(1): 147-149.

[29] Alparone L, Wald L, Chanussot J, et al. Comparison of pansharpening algorithms: outcome of the 2006 GRS-S data-fusion contest[J]., 2007, 45(10): 3012-3021.

[30] Otazu X, Gonzalez-Audicana M, Fors O, et al. Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods[J]., 2005, 43(10): 2376-2385.

[31] ZHOU Wang, A C Bovik. A universal image quality index[J]., 2002, 9(3): 81-84.

[32] Alparone L, Baronti S, Garzelli A, et al. A global quality measurement of pan-sharpened multispectral imagery[J]., 2004, 1(4): 313.

A Panchromatic and Multispectral Image Fusion Method Combining Energy and Structural Information

SONG Jiawen，ZHU Daming，ZUO Xiaoqing，FU Zhitao，CHEN Sijing

(Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kumming 650093, China)

Component substitution is a classical method for remote-sensing image fusion that has good spatial fidelity but is prone to spectral distortion. Therefore, a panchromatic and multispectral image fusion method that combines structural and energy information is proposed. First, the method decomposes the spatial and spectral information of multispectral images by hyperspherical color-space transformation. Second, a two-layer decomposition scheme is introduced through joint bilateral filtering. The panchromatic image and intensity components are then decomposed into structural and energy layers. Finally, the structural layer is fused by the neighborhood spatial frequency strategy, and the pure energy layer of the intensity component is used as the energy layer of the pre-fusion image. The intensity component defines the color intensity. By combining the pre-fused structural layer with the energy layer of the intensity component, the spatial and spectral information of the source image can be effectively combined, thereby reducing the spectral distortion of the pansharpened image. In this study, several experiments were conducted on the Pléiades and QuickBird datasets, and the experimental results were qualitatively and quantitatively analyzed. The results show that the proposed method has certain advantages over existing methods.

pansharpening; hypersphere color space; joint bilateral filter; spatial frequency; panchromatic image; multispectral image

TP751

A

1001-8891(2023)07-0696-09

2023-04-14；

2023-06-20.

宋加文（1997-），男，山東蘭陵人，碩士研究生，主要研究方向為遙感圖像融合。E-mail：717802899@qq.com。

朱大明（1970-），男，貴州安順人，博士，副教授，主要研究方向為3S集成、融合及應用等。E-mail：634617255@qq.com。

國家自然科學基金（41961053）；云南省重大科技專項（202202AD080010）。