小波系數(shù)指導(dǎo)的全色銳化網(wǎng)絡(luò)

摘要：針對現(xiàn)有全色銳化網(wǎng)絡(luò)無法同時兼顧空間信息與光譜信息保留的問題，提出一種基于小波系數(shù)指導(dǎo)的由融合網(wǎng)絡(luò)和指導(dǎo)網(wǎng)絡(luò)組成的全色銳化網(wǎng)絡(luò)。融合網(wǎng)絡(luò)分別提取PAN和MS圖像的多級特征，并在同一級別進行特征的選擇和融合，融合后的特征分別用于指導(dǎo)后一級別特征的提??；指導(dǎo)網(wǎng)絡(luò)用于學(xué)習(xí)HRMS與已知的輸入圖像的小波系數(shù)之間的映射關(guān)系，并利用學(xué)習(xí)到的映射對融合網(wǎng)絡(luò)的輸出提供額外的監(jiān)督。實驗結(jié)果表明，該方法能夠在保留MS圖像光譜信息的同時恢復(fù)盡可能多的空間信息。在模擬數(shù)據(jù)集和真實數(shù)據(jù)集上的對比實驗也表明，該方法融合效果優(yōu)于其他傳統(tǒng)方法和深度學(xué)習(xí)方法，具有一定的實用價值。

關(guān)鍵詞：遙感圖像融合；全色銳化；深度學(xué)習(xí)；小波變換

中圖分類號：TP3文獻標志碼：A

文章編號：1001-3695（2023）01-051-0304-05

doi：10.19734/j.issn.1001-3695.2022.04.0226

Pan-sharpening network guided by wavelet coefficients

Pan Xiaohang，F(xiàn)ang Faming

（Dept. of Computer Science amp; Technology，East China Normal University，Shanghai 200000，China）

Abstract：

To tackle the problem that existing pan-sharpening networks cannot preserve spatial information and spectral information simultaneously，this paper proposed a pan-sharpening network guided by wavelet coefficients，which consisted of fusion network and guidance network.The fusion network extracted the multi-level features of PAN and MS images respectively，and performed feature selection and fusion at the same level.The fused features guided the extraction of features at the next level.The guidance network learned the mapping relationship between the wavelet coefficients of the input LRMS/PAN images and HRMS image，and provided extra supervision for the output of the fusion network.Experimental results show that the proposed network can recover as much spatial information as possible while preserving the spectral information of MS images.Comparison experiments on simulated datasets and real datasets also show that the fusion effect of the proposed method is better than other traditional methods and deep learning methods，which has certain value in practice.

Key words：remote sensing image fusion；pan-sharpening；deep learning；wavelet transform

0引言

由于物理限制，大部分常見衛(wèi)星，如國外的IKONOS、QuickBird、WorldView系列和國產(chǎn)的高分系列等，僅能提供同一場景的高空間分辨率（HR）的全色（PAN）圖像和低空間分辨率（LR）的多光譜（MS）圖像。這兩類圖像都無法滿足后續(xù)高級圖像處理任務(wù)對高空間分辨率和高光譜分辨率的一致需求，因此研究者們提出了全色銳化技術(shù)，將PAN圖像包含的空間信息與LRMS圖像包含的光譜信息進行融合，得到高空間分辨率的多光譜（HRMS）圖像。相比較LRMS圖像和PAN圖像，HRMS圖像可以作為很多遙感圖像處理任務(wù)的高質(zhì)量輸入，因此全色銳化也成為了遙感圖像領(lǐng)域重要的預(yù)處理步驟，是近些年來的研究熱點［1］。

傳統(tǒng)的全色銳化方法可以分成成分替代法、多分辨率分析法和基于模型優(yōu)化的方法［2］三大類。成分替代法一般對MS圖像進行某種變換使其空間信息和光譜信息分離，然后由直方圖匹配后的PAN圖像取代MS圖像的空間信息，最后再執(zhí)行反變換得到最終的結(jié)果。常見的成分替代方法有亮度—色度—飽和度（IHS）［3］、主成分分析（PCA）［4］、Gram-Schmidt （GS）變換［5］等。這類方法操作簡單，能夠較好地保留PAN圖像的空間信息，但是會造成部分光譜信息的丟失。多分辨率分析法將PAN和MS圖像分解成不同級別，然后在特定的級別將PAN圖像的空間信息注入同級別的MS圖像中，最后通過反變換得到最終的結(jié)果。常見的多分辨率分析方法有拉普拉斯金字塔變換［6］、抽取小波變換（DWT）［7］、curvelet變換［8］等。相比較成分替代方法，多分辨率分析方法在光譜信息的保留方面有所提升。基于模型優(yōu)化的方法將全色銳化看成一個優(yōu)化問題，結(jié)合遙感圖像的先驗信息構(gòu)建能量方程，方程的最優(yōu)解即對應(yīng)待求的HRMS圖像。表現(xiàn)較好的基于模型的全色銳化方法有P+XS［9］、SIRF［10］以及基于圖像卡通—紋理分解的模型［11］等。一般來說，合適的建?？梢砸欢ǔ潭壬蠝p少空間和光譜失真，獲得更好的融合效果。但是，基于模型的全色銳化方法中的最優(yōu)融合能量函數(shù)的設(shè)計嚴重依賴于先驗知識，對于具有不同分布和退化的圖像，模型并不魯棒。 此外，求解正則化模型通常需要迭代計算，耗時且可能導(dǎo)致偶然誤差，尤其是對于大尺寸的圖像，因此無法滿足遙感圖像全色銳化對高效的需求。

近些年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，其強大的特征學(xué)習(xí)能力和非線性擬合能力使得其逐漸成為計算機視覺領(lǐng)域的研究熱點，基于深度學(xué)習(xí)的全色銳化方法開始出現(xiàn)。這類方法通常設(shè)計一個端對端的卷積神經(jīng)網(wǎng)絡(luò)（CNN），利用大量的數(shù)據(jù)學(xué)習(xí)已知的LRMS/PAN圖像與未知的HRMS圖像之間的映射關(guān)系，雖然訓(xùn)練過程需要大量數(shù)據(jù)且比較耗時，但是訓(xùn)練好的模型在進行測試時的運行速度基本能夠接近或達到實時標準。Masi等人［12］直接借鑒自然圖像超分辨（SR）的三層網(wǎng)絡(luò)結(jié)構(gòu)（PNN）用于全色銳化，后續(xù)利用殘差連接和MAE損失函數(shù)對網(wǎng)絡(luò)進行改進，并提出了一種自適應(yīng)的訓(xùn)練方式用以提升網(wǎng)絡(luò)遷移到新的數(shù)據(jù)集上的性能（A-PNN）［13］?；谌J化的光譜信息和空間信息保持兩大目標，Yang等人［14］提出了PanNet網(wǎng)絡(luò)，將上采樣后的LRMS圖像通過殘差連接到網(wǎng)絡(luò)輸出來盡可能保留MS圖像的光譜信息，然后通過高通濾波提取PAN和LRMS的高頻信息作為網(wǎng)絡(luò)的輸入，促使網(wǎng)絡(luò)學(xué)習(xí)到更多的細節(jié)信息。Yuan等人［15］提出了一種多尺度且多深度的CNN模型（MSDCNN）用于全色銳化。類似的多尺度網(wǎng)絡(luò)結(jié)構(gòu)也被應(yīng)用在文獻［16］中。Wang等人［17］提出了一種顯式的光譜到空間卷積（SSconv），將光譜特征聚合到空間域中來執(zhí)行上采樣操作，可以獲得比直接上采樣更好的性能。將SSconv嵌入到多尺度 U-Net中，提出了MUCNN網(wǎng)絡(luò)，以充分利用MS圖像的多光譜信息。Cai等人［18］提出了一種由深度SR卷積神經(jīng)網(wǎng)絡(luò)引導(dǎo)的新型全色銳化算法SRPPNN，包括SR過程、漸進式全色銳化過程和高通殘差模塊三個步驟。具體來說，SR過程提取存在于多光譜圖像中的內(nèi)部空間細節(jié)，然后利用漸進式全色銳化進行信息融合，高通殘差模塊則通過直接注入PAN圖像的空間細節(jié)來提供更精確的融合結(jié)果。Ma等人［19］提出了一種無監(jiān)督的全色銳化網(wǎng)絡(luò)，利用光譜判別器和空間判別器與生成器進行博弈從而確保最大限度地保留LRMS圖像的光譜信息和PAN圖像地空間信息。其他比較出色的基于深度學(xué)習(xí)的全色銳化網(wǎng)絡(luò)還有文獻［20～24］。總的來說，現(xiàn)有基于深度學(xué)習(xí)的全色銳化模型能夠以較快的速度取得較好的融合結(jié)果，但是大部分方法僅使用真實標簽數(shù)據(jù)對模型的輸出進行圖像域的監(jiān)督，沒有充分利用輸入圖像包含的豐富的光譜和空間信息。

針對上述基于深度學(xué)習(xí)的全色銳化方法存在的問題，本文提出了一種基于小波系數(shù)指導(dǎo)的全色銳化網(wǎng)絡(luò)（WGPNN），該網(wǎng)絡(luò)由融合網(wǎng)絡(luò)和指導(dǎo)網(wǎng)絡(luò)構(gòu)成。融合網(wǎng)絡(luò)利用兩個子網(wǎng)絡(luò)分別提取PAN和MS圖像不同級別的特征，并將同一級別的特征進行融合后指導(dǎo)下一級別特征的提取，最終將提取出的特征進行重建得到融合后的結(jié)果。為了使特征能夠充分融合且能自適應(yīng)地提取出有效的特征用于指導(dǎo)后續(xù)特征的提取，本文設(shè)計了一個選擇性特征融合模塊用于融合同一級別分別來自PAN和MS圖像的特征。指導(dǎo)網(wǎng)絡(luò)用于學(xué)習(xí)HRMS圖像與輸入的LRMS圖像以及PAN圖像的小波系數(shù)之間的映射關(guān)系，并利用學(xué)習(xí)到的映射關(guān)系對融合網(wǎng)絡(luò)的輸出進行額外小波變換域的監(jiān)督，確保網(wǎng)絡(luò)能夠充分保留輸入MS圖像的光譜信息以及PAN圖像的空間細節(jié)信息。

1小波系數(shù)指導(dǎo)的全色銳化網(wǎng)絡(luò)

本文提出的WGPNN的總體結(jié)構(gòu)如圖1所示。融合網(wǎng)絡(luò)輸入為插值上采樣后的LRMS （UsMS）以及PAN圖像，輸出預(yù)測的HRMS圖像。指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)HRMS與輸入圖像對小波系數(shù)之間的映射關(guān)系并指導(dǎo)融合網(wǎng)絡(luò)的學(xué)習(xí)。下面分別對本文提出的融合網(wǎng)絡(luò)和指導(dǎo)網(wǎng)絡(luò)的主要結(jié)構(gòu)以及損失函數(shù)進行介紹。

1.1融合網(wǎng)絡(luò)

融合網(wǎng)絡(luò)分成特征提取和融合子網(wǎng)絡(luò)以及重建子網(wǎng)絡(luò)兩個模塊，總體結(jié)構(gòu)如圖2所示。在特征提取和融合階段，首先利用四個級聯(lián)的殘差模塊RB分別對PAN和UsMS圖像進行不同級別特征的提取，每個級別提取出來的特征由選擇性特征融合模塊 （SFFM）進行融合并將融合后的特征再分別送入下一個RB模塊用于指導(dǎo)更高級的特征的提取。然后將最高級別的特征進行堆疊后送入重建子網(wǎng)絡(luò)。重建子網(wǎng)絡(luò)主要由conv-ReLU模塊、殘差密集模塊RDB（網(wǎng)絡(luò)結(jié)構(gòu)同文獻［25］）以及輸出的卷積層組成。選擇性特征融合模塊SFFM是一種改進的通道注意力模塊，用來將同一級別的分別來自PAN和MS圖像的特征進行選擇性地融合，其主要結(jié)構(gòu)見圖3。該模塊的輸入為同一級別的PAN和MS圖像的特征，兩組特征堆疊之后先經(jīng)過1×1卷積將通道數(shù)降低到原始輸入特征大小，然后經(jīng)過一個全局的均值池化和兩個獨立的全連接層得到分別對應(yīng)于MS和PAN特征的通道注意力，最后的輸出特征是各自通道注意力與輸入特征乘積的和。

1.2指導(dǎo)網(wǎng)絡(luò)

指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)的是HRMS圖像的小波系數(shù)與輸入圖像對的小波系數(shù)之間的映射。一階離散小波變換可以將一張圖像的每一個通道都分解成一個低頻分量和三個不同方向的高頻分量，如圖4所示，其中低頻分量主要反映的是輸入圖像的近似信息，可以將其看成光譜信息，而高頻分量反映的是輸入圖像的空間細節(jié)信息。由于HRMS圖像的光譜信息主要由LRMS圖像提供，而空間信息主要包含在PAN圖像中，所以這里指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)HRMS圖像的低頻分量與UsMS圖像的低頻分量之間的映射以及高頻分量與PAN圖像的高頻分量之間的映射，如圖5所示。由于映射關(guān)系比較簡單，所以不需要復(fù)雜的網(wǎng)絡(luò)即可進行學(xué)習(xí)，指導(dǎo)網(wǎng)絡(luò)的主體部分由三個級聯(lián)的殘差塊RB組成。

1.3損失函數(shù)

首先定義幾個變量：UsMS圖像用X表示，PAN圖像用Y表示，HRMS圖像用Z表示。下面分別介紹指導(dǎo)網(wǎng)絡(luò)和融合網(wǎng)絡(luò)的損失函數(shù)。

a）指導(dǎo)網(wǎng)絡(luò)。指導(dǎo)網(wǎng)絡(luò)的損失函數(shù)LG由低頻損失LLF和高頻損失LHF兩部分組成。

LG=LLF+ηLHF（1）

其中：η為控制高頻損失項的權(quán)重參數(shù)。低頻損失和高頻損失分別定義為

LLF=1N∑N1‖G（Euclid Math OneWApLF（Z））-Euclid Math OneWApLF（Z）‖1（2）

LHF=1N∑N1‖G（Euclid Math OneWApHF（Z））-Euclid Math OneWApHF（Y）‖1（3）

其中：N表示訓(xùn)練數(shù)據(jù)的總數(shù)量；G（·）表示指導(dǎo)網(wǎng)絡(luò)；Euclid Math OneWApHF（·）和Euclid Math OneWApLF（·）分別表示小波變換的高頻分量和低頻分量部分。

b）融合網(wǎng)絡(luò)?，F(xiàn)有基于深度學(xué)習(xí)的全監(jiān)督全色銳化方法基本都采用的圖像域的單一監(jiān)督方式，即利用常見的MSE或者MAE損失函數(shù)對網(wǎng)絡(luò)估計的HRMS與真實標簽數(shù)據(jù)的相似性進行約束。提出的融合網(wǎng)絡(luò)也采用了圖像域的MAE損失，即

Limg=1N∑N1‖F(xiàn)（X，Y）-Z‖1（4）

其中：F（·）表示融合網(wǎng)絡(luò)。但是，如果僅僅依靠該圖像域損失項，仍然無法獲得滿意的結(jié)果，一方面因為空間信息保持沒有直接有效的約束，使得學(xué)習(xí)到的殘差不合理；另一方面對真實標簽過度依賴，模型泛化性較差。因此，引入訓(xùn)練好的指導(dǎo)網(wǎng)絡(luò)來指導(dǎo)殘差的優(yōu)化，并定義小波變換域的損失：

LWV=Lspectral+ηLspatial（5）

其中：Lspectral與Lspatial分別為光譜損失與空間損失，分別對應(yīng)小波變換的低頻分量和高頻分量。定義與指導(dǎo)網(wǎng)絡(luò)損失函數(shù)中的低頻損失和高頻損失類似，此處將指導(dǎo)網(wǎng)絡(luò)G（·）換成融合網(wǎng)絡(luò)F（·）即可，即利用小波變換域損失對融合網(wǎng)絡(luò)的輸出一致性進行約束，確保輸出結(jié)果與輸入圖像的光譜和空間信息都產(chǎn)生聯(lián)系，網(wǎng)絡(luò)能夠?qū)W習(xí)到更精確的融合結(jié)果。綜上，融合網(wǎng)絡(luò)的損失函數(shù)定義為

LF =Limg+ γLwv（6）

2實驗

2.1實現(xiàn)細節(jié)

實驗中采用MS通道數(shù)為4的QuickBird衛(wèi)星數(shù)據(jù)集和MS通道數(shù)為8的WorldView-2衛(wèi)星數(shù)據(jù)集分別進行了模型的訓(xùn)練和測試。所采用的兩個衛(wèi)星數(shù)據(jù)集的詳細信息見表1。對于原始分辨率的PAN和MS圖像，本文采用Wald協(xié)議［26］對圖像進行采樣率為4的下采樣從而得到訓(xùn)練集，下采樣采用的退化濾波器與衛(wèi)星的調(diào)制傳遞函數(shù)（MTF）相匹配［27］，原始分辨率的MS圖像作為真實標簽數(shù)據(jù)對模型進行監(jiān)督。對于QuickBird和WorldView-2衛(wèi)星圖像，通過對大尺寸圖像進行裁剪分別構(gòu)建了10 596/9 118對大小為16×16/64×64的MS/PAN數(shù)據(jù)集，其中90%/10%用于訓(xùn)練/測試。實驗中設(shè)置超參數(shù)η=0.1，γ=0.1。

所有本文涉及的深度學(xué)習(xí)模型的訓(xùn)練和測試都使用的PyTorch框架，所使用的計算機裝載有兩張Nvidia GTX 2080ti GPU。訓(xùn)練過程中的參數(shù)設(shè)置為：權(quán)重衰減=1×10-4，動量=0.9，學(xué)習(xí)率=1×10-3且每50個epoch學(xué)習(xí)率降低為原來的1/2。訓(xùn)練總共設(shè)置為200個epoch，故學(xué)習(xí)率一共降低了3次。此外，訓(xùn)練使用ADAM優(yōu)化算法獲取最優(yōu)解。

2.2實驗結(jié)果及分析

為了驗證本文WGPNN的有效性，選取了七種經(jīng)典的全色銳化方法進行定性和定量的比較。這七種方法分別是基于成分替代的IHS［3］、GSA［28］，基于多分辨率分析的AWLP［29］、Indusion［30］以及基于深度學(xué)習(xí)的PNN［12］、MSDCNN［16］，以及SRPPNN［18］。其中前四個傳統(tǒng)方法的MATLAB代碼由文獻［31］給出，基于深度學(xué)習(xí)的模型均按照原文提供的參數(shù)用同樣的數(shù)據(jù)集在PyTorch框架下重新訓(xùn)練。為了更好地體現(xiàn)全色銳化的優(yōu)點，也考慮了直接對LRMS圖像進行插值上采樣的EXP方法。

全色銳化的模型評估一般有兩種思路：a）基于模擬數(shù)據(jù)的降分辨率分析，即將原始的MS和PAN圖像在Wald協(xié)議［25］的基礎(chǔ)上進行下采樣得到輸入圖像對，將原始的MS圖像看成待恢復(fù)的HRMS，那么一個好的全色銳化模型應(yīng)當(dāng)能夠輸出與HRMS盡可能接近的結(jié)果；b）基于真實數(shù)據(jù)的原分辨率分析，即直接將處于原分辨率的衛(wèi)星圖像作為網(wǎng)絡(luò)輸入，這也是衡量該全色銳化模型能否成功運用于實際應(yīng)用的必要測試。下面分別給出所選取的幾種對比方法在降分辨率和原分辨率分析時與本文方法的對比結(jié)果。

2.2.1降分辨率分析

首先在模擬數(shù)據(jù)集上對所有模型進行比較。實驗中，分別隨機選取了49對來自QuickBird和World-View2衛(wèi)星的大小為64×64/256×256的LRMS/PAN圖像對作為實驗對象。表2、3分別給出了不同方法在所選取的49對測試圖像上進行測試的平均指標。這里采用的評估指標為QAVE［32］、SAM［33］、ERGAS［34］和SCC［35］，每個指標的理想值都顯示在第二行?？梢钥闯觯腥J化方法都比直接的上采樣（EXP）效果更好，基于深度學(xué)習(xí)的方法要普遍比傳統(tǒng)方法的指標結(jié)果更好，本文WGPNN在QuickBird測試集上所有指標都優(yōu)于其他方法，而在World-View2測試集上除了ERGAS略差于MSDCNN［16］，其他三個指標也都是所有方法中最接近理想值的。

為了直觀地分析，圖6給出了不同方法對于其中一對QuickBird測試衛(wèi)星圖像的融合結(jié)果，并且在結(jié)果圖像下方顯示了該圖像與真實圖像GT之間的誤差圖。為了更好地對比，所有的誤差圖都是將差值加上0.5然后進行顯示。從圖6可以看到，相比較參考圖像，傳統(tǒng)方法均有一定程度的空間信息丟失，IHS［3］和Indusion［30］的視覺效果最差，光譜失真特別嚴重，AWLP［29］的細節(jié)較為模糊。四種深度學(xué)習(xí)方法視覺上看起來都跟參考圖像很接近，沒有明顯的空間失真，從誤差圖可以看出，所提WGPNN能夠生成更接近參考圖像的融合結(jié)果，這點跟指標比較的結(jié)果相一致，都說明了所提網(wǎng)絡(luò)的有效性。

2.2.2原分辨率分析

為了驗證本文WGPNN網(wǎng)絡(luò)在真實數(shù)據(jù)集上的表現(xiàn)，同樣隨機選取了49對原始分辨率的大小為64×64/256×256的LRMS/PAN圖像對進行測試。表4顯示了不同方法在分別來自QuickBird和World-View2衛(wèi)星的49對測試圖像對上進行測試的平均指標結(jié)果。這里采用的指標為QNR［36］以及它的兩個分量Dλ和DS，分別用來衡量光譜和空間失真。在進行原分辨率分析時EXP作為衡量光譜失真的標準所以其指標結(jié)果不作參考。

從表4、5可以看到，基于深度學(xué)習(xí)的方法無論在光譜還是空間信息保持上都略勝一籌，但是優(yōu)勢不像降分辨率分析時那么明顯，且Indusion［30］在某些指標已經(jīng)非常接近甚至超過深度學(xué)習(xí)方法。本文WGPNN在兩個數(shù)據(jù)集上的Dλ以及QNR指標都排在首位，DS指標也跟最好的結(jié)果相差無幾，總體來看仍然是所有傳統(tǒng)方法和深度學(xué)習(xí)方法中表現(xiàn)最好的。

圖7給出了不同方法對于其中一對World-View2測試衛(wèi)星圖像的融合結(jié)果。同樣地，所有方法得到的HRMS都比直接上采樣效果更好。比較圖像的整體灰度，可以看出IHS［3］和GSA［28］的融合結(jié)果有比較輕微的光譜失真，Indusion［30］和AWLP［29］生成的HRMS有較嚴重的細節(jié)丟失，部分邊緣出現(xiàn)模糊。基于深度學(xué)習(xí)方法的融合效果總體上細節(jié)恢復(fù)都比較完整，本文WGPNN在微小細節(jié)保持上有輕微優(yōu)勢。因此綜上所述，WGPNN在真實數(shù)據(jù)集上仍然能夠取得比其他對比方法更好地融合效果。

2.3消融實驗

與其他方法的對比實驗驗證了本文WGPNN網(wǎng)絡(luò)的有效性，之所以有效，一方面在于提出了選擇性特征融合模塊SFFM將MS圖像包含的光譜信息與PAN圖像包含的光譜信息進行充分且有選擇地融合，另一方面在于指導(dǎo)網(wǎng)絡(luò)對融合結(jié)果提供的更魯棒的監(jiān)督。本節(jié)通過一些簡單的消融實驗來說明這兩種策略的有效性。這里同樣運用降分辨率分析時的QuickBird測試數(shù)據(jù)集進行實驗，相關(guān)指標結(jié)果顯示在表6，其中Net1在WGPNN的基礎(chǔ)上去除了SFFM模塊，即只將最后一級特征進行堆疊并卷積得到重建模塊的輸入，前三級特征并不進行特征的交互和融合；Net2的融合網(wǎng)絡(luò)只利用圖像域的損失函數(shù)不依賴小波變換域的損失函數(shù)，即令γ=0，而Net0則兩種策略均不使用。從實驗結(jié)果可以看出，相比較Net0，Net1與Net2的融合效果都有一定提升，這充分說明了這兩種策略的有效性。而WGPNN結(jié)合了這兩種策略，進一步提升了模型的融合效果。

3結(jié)束語

本文提出一種基于小波系數(shù)指導(dǎo)的全色銳化網(wǎng)絡(luò)，由融合網(wǎng)絡(luò)和指導(dǎo)網(wǎng)絡(luò)構(gòu)成。融合網(wǎng)絡(luò)利用兩個子網(wǎng)絡(luò)分別提取PAN和MS圖像不同級別的特征，并將同一級別的特征進行融合后指導(dǎo)下一級別特征的提取，并將提取的特征進行重建得到融合結(jié)果。為了使特征能夠充分融合且能自適應(yīng)地提取出有效的特征用于指導(dǎo)后續(xù)特征的提取，設(shè)計了一個選擇性特征融合模塊SFFM用于融合同一級別分別來自PAN和MS圖像的特征。指導(dǎo)網(wǎng)絡(luò)用于學(xué)習(xí)HRMS圖像與輸入的LRMS和PAN圖像的小波系數(shù)之間的映射關(guān)系，并利用學(xué)習(xí)到的映射關(guān)系對融合網(wǎng)絡(luò)的輸出進行額外的小波變換域的監(jiān)督，確保網(wǎng)絡(luò)能夠充分保留輸入MS圖像的光譜信息以及PAN圖像的空間細節(jié)信息。大量的實驗表明，提出的全色銳化模型在模擬數(shù)據(jù)集和真實數(shù)據(jù)集上表現(xiàn)都優(yōu)于傳統(tǒng)方法和其他深度學(xué)習(xí)方法。針對全監(jiān)督全色銳化網(wǎng)絡(luò)泛化性較差的問題，未來工作將集中在探索半監(jiān)督或者無監(jiān)督的全色銳化網(wǎng)絡(luò)的設(shè)計，提高全色銳化網(wǎng)絡(luò)在真實數(shù)據(jù)集上的融合效果。

參考文獻：

［1］

Javan F D，Samadzadegan F，Mehravar S，et al.A review of image fusion techniques for pan-sharpening of high-resolution satellite imagery［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2021，171：101-117.

［2］Vivone G，Dalla Mura M，Garzelli A，et al.A new benchmark based on recent advances in multispectral pansharpening：revisiting pansharpe-ning with classical and emerging pansharpening methods［J］.IEEE Geoscience and Remote Sensing Magazine，2020，9（1）：53-81.

［3］Chavez P S，Sides S C，Anderson J A.Comparison of three different methods to merge multiresolution and multispectral data：Landsat TM and SPOT panchromatic［J］.Photogrammetric Engineering and Remote Sensing，1991，57（3）：265-303.

［4］Kwarteng P，Chavez A.Extracting spectral contrast in Landsat thematic mapper image data using selective principal component analysis［J］.Photogrammetric Engineering and Remote Sensing，1989，55（3）：339-348.

［5］Laben C A，Brower B V.Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening：US，6011875A［P］.2000-01-04.

［6］Burt P，Adelson E.The Laplacian pyramid as a compact image code ［J］.IEEE Trans on Communications，1983，31（4）：532-540.

［7］Mallat S.A theory for multiresolution signal decomposition：the wavelet representation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1989，11（7）：674-693.

［8］Starck J L，F(xiàn)adili J，Murtagh F.The undecimated wavelet decomposition and its reconstruction［J］.IEEE Trans on Image Processing，2007，16（2）：297-309.

［9］Ballester C，Caselles V，Igual L，et al.A variational model for P+XS image fusion［J］.International Journal of Computer Vision，2006，69（1）：43-58.

［10］Chen Chen，Li Yeqing，Liu Wei，et al.Image fusion with local spectral consistency and dynamic gradient sparsity［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2014：2760-2765.

［11］Tian Xin，Chen Y，Yang Changcai，et al.Variational pansharpening by exploiting cartoon-texture similarities［J］.IEEE Trans on Geoscience and Remote Sensing，2022，60：1-16.

［12］Masi G，Cozzolino D，Verdoliva L，et al.Pansharpening by convolutional neural networks ［J］.Remote Sensing，2016，8（7）：594.

［13］Scarpa G，Vitale S，Cozzolino D.Target-adaptive CNN-based pansharpening［J］.IEEE Trans on Geoscience and Remote Sen-sing，2018，56（9）：5443-5457.

［14］Yang Junfeng，F(xiàn)u Xueyang，Hu Yuwen，et al.PanNet：a deep network architecture for pan-sharpening［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：1753-1761.

［15］Yuan Qianqiang，Wei Yancong，Meng Xiangchao，et al.A multiscale and multidepth convolutional neural network for remote sensing imagery pan-sharpening［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2018，11（3）：978-989.

［16］Hu Jianwen，Hu Pei，Kang Xudong，et al.Pan-sharpening via multiscale dynamic convolutional neural network［J］.IEEE Trans on Geoscience and Remote Sensing，2020，59（3）：2231-2244.

［17］Wang Yudong，Deng Liangjian，Zhang Tianqing，et al.SSconv：explicit spectral-to-spatial convolution for pansharpening［C］//Proc of the 29th ACM International Conference on Multimedia.2021：4472-4480.

［18］Cai Jianjun，Huang Bo.Super-resolution-guided progressive panshar-pening based on a deep convolutional neural network［J］.IEEE Trans on Geoscience and Remote Sensing，2020，59（6）：5206-5220.

［19］Ma Jiayi，Yu Wei，Chen Chen，et al.Pan-GAN：an unsupervised pan-sharpening method for remote sensing image fusion［J］.Information Fusion，2020，62：110-120.

［20］Deng Liang Jian，Vivone G，Jin Cheng，et al.Detail injection-based deep convolutional neural networks for pansharpening［J］.IEEE Trans on Geoscience and Remote Sensing，2020，59（8）：6995-7010.

［21］Zhang Hao，Ma Jiayi.GTP-PNet：a residual learning network based on gradient transformation prior for pansharpening［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2021，172：223-239.

［22］雷大江，杜加浩，張莉萍，等.聯(lián)合多流融合和多尺度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)遙感圖像融合方法［J］.電子與信息學(xué)報，2022，44（1）：237-244.（Lei Dajiang，Du Jiahao，Zhang Liping，et al.Multi-stream architecture and multi-scale convolutional neural network for remote sensing image fusion［J］.Journal of Electronics amp; Information Technology，2022，44（1）：237-244.）

［23］陳毛毛，郭擎，劉明亮，等.密集卷積殘差網(wǎng)絡(luò)的遙感圖像融合［J］.遙感學(xué)報，2021，25（6）：1270-1283.（Chen Maomao，Guo Qing，Liu Mingliang，et al.Pan-sharpening by residual network with dense convolution for remote sensing images［J］.National Remote Sensing Bulletin，2021，25（6）：1270-1283.）

［24］吳蕾，楊曉敏.改進的基于通道注意力反饋網(wǎng)絡(luò)的遙感圖像融合算法［J］.計算機應(yīng)用，2021，41（4）：1172-1178.（Wu Lei，Yang Xiaomin.Improved remote sensing image fusion algorithm based on channel attention feedback network［J］.Journal of Computer Applications，2021，41（4）：1172-1178.）

［25］Zhang Yulun，Tian Yapeng，Kong Yu，et al.Residual dense network for image super-resolution［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.2018：2472-2481.

［26］Wald L，Ranchin T，Mangolini M.Fusion of satellite images of diffe-rent spatial resolutions：assessing the quality of resulting images［J］.Photogrammetric Engineering and Remote Sensing，1997，63（6）：691-699.

［27］Aiazzi B，Alparone L，Baronti S，et al.An MTF-based spectral distortion minimizing model for pan-sharpening of very high resolution multispectral images of urban areas［C］//Proc of the 2nd GRSS/ISPRS Joint Workshop on Remote Sensing and Data Fusion over Urban Areas.Piscataway，NJ：IEEE Press，2003：90-94.

［28］Aiazzi B，Baronti S，Selva M.Improving component substitution pansharpening through multivariate regression of MS+Pan data［J］.IEEE Trans on Geoscience and Remote Sensing，2007，45（10）：3230-3239.

［29］Otazu X，Gonzalez-Audicana M，F(xiàn)ors O，et al.Introduction of sensor spectral response into image fusion methods.Application to wavelet-based methods［J］.IEEE Trans on Geoscience and Remote Sensing，2005，43（10）：2376-2385.

［30］Khan M M，Chanussot J，Condat L，et al.Indusion：fusion of multispectral and panchromatic images using the induction scaling technique［J］.IEEE Geoscience and Remote Sensing Letters，2008，5（1）：98-102.

［31］Vivone G，Alparone L，Chanussot J，et al.A critical comparison among pansharpening algorithms［J］.IEEE Trans on Geoscience and Remote Sensing，2014，53（5）：2565-2586.

［32］Wang Zhou，Bovik A C.A universal image quality index［J］.IEEE Signal Processing Letters，2002，9（3）：81-84.

［33］Yuhas R H，Goetz A F H，Boardman J W.Descrimination among semia-rid landscape endmembers using the spectral angle mapper（SAM） algorithm［C］//Proc of the 3rd Annual JPL Airborne Geoscience Workshop.1992：147-149.

［34］Alparone L，Wald L，Chanussot J，et al.Comparison of pansharpening algorithms：outcome of the 2006 GRS-S data-fusion contest［J］.IEEE Trans on Geoscience and Remote Sensing，2007，45（10）：3012-3021.

［35］Zhou J，Civco D L，Silander J A.A wavelet transform method to merge Landsat TM and SPOT panchromatic data［J］.International Journal of Remote Sensing，1998，19（4）：743-757.

［36］Alparone L，Aiazzi B，Baronti S，et al.Multispectral and panchromatic data fusion assessment without reference［J］.Photogrammetric Engineering and Remote Sensing，2008，74（2）：193-200.

收稿日期：2022-04-23；修回日期：2022-07-04基金項目：國家自然科學(xué)基金項目（61871185）；上海市科學(xué)基金項目（20ZR416200）

作者簡介：潘曉航（1989-），男，山東煙臺人，碩士，主要研究方向為遙感圖像處理（71194506039@stu.ecnu.edu.cn）；方發(fā)明（1987-），男，安徽安慶人，教授，博導(dǎo)，博士，主要研究方向為計算機視覺、圖像處理.