基于雙通道多尺度特征提取和注意力的SAR與多光譜圖像融合

種法亭，董張玉,3，楊學志，曾慶旺

基于雙通道多尺度特征提取和注意力的SAR與多光譜圖像融合

種法亭1,2，董張玉1,2,3，楊學志2,3，曾慶旺1,2

（1. 合肥工業大學 計算機與信息學院，安徽 合肥 230031；2. 工業安全與應急技術安徽省重點實驗室，安徽 合肥 230031；3. 智能互聯系統安徽省實驗室，安徽 合肥 230031）

圖像融合的根本任務是提取圖像特征，由于合成孔徑雷達（Synthetic Aperture Radar，SAR）圖像和多光譜（Multi Spectral，MS）圖像存在通道差異，針對現有算法難以充分提取和利用SAR圖像的高頻細節信息和多光譜圖像的低頻光譜信息，融合圖像存在細節丟失和光譜失真問題。本文提出了一種基于雙通道多尺度特征提取和混合注意力的圖像融合算法。首先采用雙通道網絡提取SAR和多光譜圖像的多尺度高頻細節特征和低頻光譜特征，并連續使用不同空洞率的擴張卷積擴大感受野。然后將提取的特征映射到混合注意力模塊中進行特征增強，再將這些增強特征與上采樣的多光譜圖像疊加。同時構建了基于光譜角度距離的損失函數，可以進一步緩解細節丟失和光譜失真。最后通過解碼網絡重建圖像，得到高分辨率的融合圖像。實驗結果表明，本文算法達到了領先水平，并且融合圖像在細節和光譜上保持了較好的平衡。

SAR圖像融合；擴張卷積；多尺度提取；殘差網絡；注意力機制

0 引言

合成孔徑雷達是一種微波有源主動成像雷達，具有全天時、全天候、多極化、多角度、地表穿透力強等特點，使得SAR衛星廣泛地應用于農業、林業、海洋、災害監測等領域。

SAR衛星能夠穿透云層以及地表覆蓋的自然植被，可以詳盡地繪制地形地貌，獲得高分辨率且細節清晰的地表圖像，MS傳感器可以提供地表不同波段的光譜信息，但MS圖像缺少細節和紋理信息。因此將來自不同傳感器的信息進行互補整合，得到融合圖像。融合圖像可以保留MS圖像的光譜信息和SAR圖像的細節信息，同時具有高分辨率。

傳統的圖像融合方法包含以下3類。①主成分替換法：主要包括的方法有（Intensity Hue Saturation，HIS）變換[1]、主成分分析（Principal Component Analysis，PCA）變換[2]、施密特變換（Gram Schmid，GS）以及Brovey變換[3]等，該類算法直接融合源圖像的像素特征。此類算法簡單易實現，但需要較大的計算量，是其它融合算法的基礎。融合后的圖像包含顯著的SAR圖像細節信息，但由于兩種圖像的光譜信息和細節信息存在較大差異，融合后的圖像會產生較嚴重的光譜失真；②多尺度變換法：主要包括的方法有拉普拉斯金字塔多尺度變換法[4]、小波變換法[5]、非下采樣剪切波變換[6]和非下采樣輪廓波變換[7]。該類算法可以在較好保持光譜特征的同時，加入SAR圖像的細節信息，它在一定程度上緩解光譜失真，但是會造成較嚴重的空間扭曲；③混合法：首先采用主成分分析法分解圖像，得到圖像的特征信息，然后采用多尺度分析法融合圖像的特征信息，最后采用逆變換得到融合圖像。雖然該類算法能夠更好保留源圖像的細節和光譜信息，但隨著場景的復雜度提高，該算法求解過程緩慢，且無法保證精度。

基于深度學習的算法：相較于傳統算法，卷積神經網絡有著強大的特征提取和表達能力，廣泛應用于圖像融合領域。例如，Masi等設計了一種基于深度學習的遙感圖像融合算法（CNN-based Pan-sharpening Neural Network，PNN），在融合效果上，相較于傳統算法有較大提升，由于兩種圖像存在通道差異，算法難以在高分辨率全色圖像和低分辨率高光譜圖像之間建立聯系[8]。Wei等提出了一種基于殘差網絡的遙感圖像融合算法DRPNN（Deep Residual Pan-Sharping Neural Network）[9]，可以解決訓練時出現的梯度消失現象，提升模型的魯棒性，但采用單一的卷積核，限制了網絡的特征提取能力。Yang等為提取更加豐富的圖像特征，提出了基于CNN的雙通道圖像銳化網絡（PanNet）[10]，使用雙通道網絡提取多光譜圖像和全色圖像的光譜特征和細節特征，并采用殘差來改善特征連接。但在特征提取時，每個通道的特征被同等對待，不能專注于更有用的特征。吳佼華等[11]使用的雙分支網絡結構極大程度保留了SAR和MS圖像的細節特征和光譜特征，但是不能充分利用原始圖像的上下文信息，導致感受野受限。Xu等人設計了一種無監督的圖像融合網絡U2Fusion[12]，可以在無參考圖像的情況下建立統一的融合模型，但模型無法分辨聚焦區域和散焦區域。Liu Q.等提出一種基于注意力機制的遙感圖像融合算法HANet[13]，注意力能夠充分利用特征圖的通道和空間之間的關系，增強關鍵特征并抑制光譜通道和空間位置中干擾特征，但融合圖像難以在光譜和細節上實現平衡。許道禮[14]等提出一種基于雙分支多尺度殘差融合嵌套的SAR和多光譜圖像融合算法，該算法使用多尺度殘差融合網絡，增強多尺度的表達能力，并采用嵌套連接解碼器融合不同尺度的特征，但算法未關注不同注意力機制對圖像融合結果的影響，融合效果有待進一步提升。

基于以上問題，在前人研究的基礎上，本文提出了一種基于雙通道多尺度特征提取和注意力的SAR與多光譜圖像融合算法，網絡使用多種不同尺度的卷積提取特征，可以有效構建SAR和MS圖像之間的關系；加入擴張卷積關注全局上下文信息，擴大感受野的同時不增加計算量；使用混合注意力增強網絡的特征提取能力，提取隱藏在復雜背景中的SAR圖像特征，并抑制無關特征；使用SAD（Spectral Angle Distance，SAD）函數[15]構建損失，進一步平衡融合圖像在光譜和細節之間的關系。

1 原理及方法

1.1 模型建立

1.2 網絡框架

本文在PanNet[10]和雙分支[11]網絡架構的基礎上，結合多尺度特征提取、擴張卷積、注意力機制和殘差網絡，提出了一種基于雙通道多尺度特征提取和注意力的SAR與多光譜圖像融合算法，算法使用細節保持和光譜保持兩個支路，在細節和光譜上同時提升。網絡遵循“特征提取-特征融合-解碼器”結構，并含有跳線連接，算法的網絡框架如圖1所示。

1.3 雙通道模塊

雙通道模塊包含細節保持模塊（Detail Preservation Block，DPB）和光譜保持模塊（Spectral Preservation Block，SPB）兩部分。

1.3.1 細節保持模塊

由圖1可以看出，細節保持模塊由2組擴張卷積模塊（Dilated Convolution Block，DCB）、6組多尺度特征提取模塊（Multi scale feature extraction block，MFEB）和3組混合注意力模塊（Mixed Attention Block，MAB）構成。

圖1 本文算法網絡框架

“較小尺度的特征對較小尺寸的卷積做出反應，較粗糙的結構傾向于被較大尺寸的卷積提取”[16]，本文采用不同尺寸的卷積核分別提取SAR和MS圖像特征。主要步驟如下：①為了保持原始SAR圖像和MS圖像結構，首先將預處理后SAR圖像和MS圖像通過高通濾波器提取高頻分量。②然后采用小尺度3×3卷積核提取細節信息豐富的SAR圖像，采用較大尺度9×9卷積核提取分辨率較低的MS圖像，得到兩種圖像淺層特征。③其次將得到的淺層圖像特征通過擴張卷積擴大其感受野，再分別使用3種不同尺度的MFEB模塊，提取圖像的深層特征，將提取的深層特征分別映射到3組混合注意力機制模塊。④最后將上一步輸出的特征按照同尺度疊加，得到細節保持模塊的輸出(S, MS)。詳細運算流程如下：

1）淺層特征提取。h表示原始SAR圖像通過高通濾波器后的圖像，-MSh表示原始MS圖像通過高通濾波器后并3倍上采樣后的圖像。hp表示用3×3的卷積提取的經過高通濾波器后的SAR圖像的淺層特征，-MShp表示用9×9的卷積提取上采樣后并通過高通濾波器的MS圖像的淺層特征。淺層特征提取如公式(1)和(2)所示。

hp＝3×3(h) (1)

-hp＝9×9(-h) (2)

2）深層特征提取。將淺層特征依次通過擴張卷積模塊（DCB）和多尺度特征提取模塊（MFEB），在MFEB中使用大小為3×3、5×5和7×7的3種尺度卷積核，提取SAR和MS圖像深層特征，深層特征用S和M表示，其中表示深層特征提取，＝3,5,7。如公式(3)和(4)所示。

S＝×i(hp) (3)

M＝×i(-hp) (4)

圖2分別展示了3種尺度大小為3×3、5×5和7×7的多尺度特征提取模塊。

圖2 3種不同尺度的MFEB

3）特征重構。將上一步提取的SAR圖像深層特征S和MS圖像深層特征M，按照同尺度進行像素疊加，此操作可以將SAR圖像中的高分辨率細節特征融入MS圖像中，F表示按照同尺度像素疊加的特征，過程如公式(5)所示。然后將3組疊加后的特征F通過注意力機制模塊MAB進行特征重構，得到重構后的多尺度特征F，代表注意力模塊的特征重構過程。如公式(6)所示。

F＝S＋M(5)

F＝(F) (6)

4）特征融合。最后將3種不同尺度的重構特征F進行通道疊加，得到最終的細節保持模塊輸出(S, MS)。過程如公式(7)所示：

1.3.2 光譜保持模塊

在光譜保持模塊中，采用跳線連接細節保持模塊的輸出和3倍上采樣后的MS圖像，即MS圖像的光譜信息傳遞到融合圖像中，得到了SAR與MS圖像最終的融合結果。光譜特征融合的過程如圖3所示。

圖3 細節特征與光譜特征疊加流程圖

圖3中(S, MS)表示細節保持模塊的輸出，-表示按照雙三次插值法進行3倍上采樣后的MS圖像。

1.4 擴張卷積模塊

在對圖像提取的過程中，可以通過增加卷積核的大小和網絡深度，來擴大感受野獲取更豐富的上下文信息，但是以上操作會增加網絡參數和網絡的復雜度，不利于網絡的訓練。擴張卷積可以增加感受野，能夠讓卷積核更好地捕捉到輸入圖像的特征信息，提高網絡對圖像的理解能力，并且擴張卷積不會改變輸入和輸出的大小，可以無縫地集成到現有網絡架構中[17]。擴張卷積中含有可以修改的“空洞率”（Dilation Rate，DR），使用不同的空洞率可以獲得不同的感受野，即在卷積核中插入空洞來實現這種操作。擴張卷積雖然可在不損失特征圖尺寸的情況下增大感受野，但卷積核具有間隔，會造成卷積中心點不連續，在疊加相同或成倍數的空洞率的擴張卷積層時尤為嚴重，為避免這一問題，將空洞率分布設為“鋸齒狀”，依次為1、2、3，如圖4(c)所示，這樣卷積中心的分布便不再有遺漏。圖4展示了不同分布方式的擴張卷積感受野。

標準卷積可以看作空洞率為1的擴張卷積，其感受野的計算公式如公式(8)和(9)所示。

￠＝＋(－1)×(－1) (8)

式中：p為擴張卷積的卷積核大小；d是空洞率，d－1代表卷積核點的間隔數量；p￠是其等價卷積核大小；Sp表示第p層卷積的步長（stride）；Rp+1表示當前層的感受野；Rp表示上一層感受野。結合圖4和公式(8)(9)可知，擴張卷積可以保持與標準卷積一致的分辨率并在不增加額外參數的情況下擴大感受野。

1.5 混合注意力模塊（MAB）

在網絡中，所有輸入的特征都被平等地看待，但實際上一些特征對結果的貢獻更加重要，因此引入注意力機制可以讓模型在學習過程中自動地關注那些更重要的特征，提高模型的精度[18]。但在構建更深的網絡時，通過逐層的非線性變換提取輸入數據的高層次特征，這種逐層的變換可能會導致梯度在反向傳播過程中逐漸變小，從而使訓練過程變得非常困難，甚至無法收斂。在ResNet[19]網絡中，通過引入殘差連接，可以讓梯度更容易地在網絡中傳遞，從而避免梯度消失和梯度爆炸問題，使訓練變得收斂。

基于文獻[18]、[19]本文設計一種混合注意力模塊（Mixed Attention Block，MAB）。混合注意力模塊由殘差連接（Residual Network，ResNet）、通道注意力模塊（Channel Attention Block，CAB）和空間注意力模塊（Spital Attention Block，SAB）組合而成，MAB不僅可以在通道層面提高運行效率，還可以增強目標特征和抑制無關特征，例如增強SAR圖像中的紋理信息和MS圖像中的光譜信息，抑制SAR圖像中的噪聲信息和MS圖像中的粗糙紋理。MAB的結構如圖5所示。

圖5 MAB結構

1.5.1 通道注意力模塊（CAB）

對于傳統的通道注意力SENet來說，Wang等認為捕獲所有通道間的依賴關系是低效率且不必要的，并且一維卷積具有良好的跨通道特征獲取能力[20]。設計的通道注意力模型如圖6所示。

F＝W×X(12)

式中：GAP(X)表示對X做全局平均池化處理；表示使用Sigmoid函數激活。

1.5.2 空間注意力模塊（SAB）

因為SAR圖像經過預處理后仍存在一些噪聲和無關特征，我們采用了空間注意力模塊SAB讓網絡更加專注于更多有用信息的特征，例如，SAR圖像的高頻紋理和邊緣輪廓特征，并且SAB可以加強網絡對SAR圖像噪聲的抑制能力，從而獲得出色的細節保持效果。受文獻[21]啟發，為了關注空間信息和減少計算參數，在SAB中，本文采用一個卷積核大小自適應變化的卷積層進行空間信息融合，其中通道壓縮比設置為6。卷積核大小隨著多尺度卷積的大小變化而變化：＝0.5(＋1)，＝3,5,7，并且由于最大池化操作減少了信息的傳遞，與傳統的空間注意力相對比，本文刪除了最大池化，更加有利于信息的流動，且結構更輕量。所構建的空間注意力模塊如圖7所示。

圖6 通道注意力模塊

圖7 空間注意力模塊

CAB的輸入F，通過SAB后其大小與尺寸保持不變，即：

式中：代表sigmoid函數；f×k和3×3分別表示使用×和3×3的卷積核運算，最后與CAB的輸入F相乘得到最終的輸出(F)。

1.6 解碼模塊

在解碼模塊中，本文參照一種端到端的網絡模型SRCNN[22]（Super Resolution Convolutional Neural Network）設計解碼模塊，將融合后的特征進行圖像超分辨。SRCNN模型由3個大小分別為9×9、1×1和5×5的卷積層組成，每個卷積層都包含許多濾波器，學習低級特征（如邊緣和紋理）到高級特征的映射，然后將這些高級特征重建為高分辨率圖像。在本文的解碼模塊中，第一層使用9×9的卷積層，將特征由128通道降至64通道；第二層使用1×1的卷積層，將特征由64通道降至32通道；最后一層使用5×5的卷積層將通道維度降至3維，獲得清晰的高分辨率融合圖像。SRCNN的結構如圖1中的解碼模塊所示。

1.7 損失函數

損失函數（Loss Function）是影響圖像融合的重要因素，本文采用L損失函數對網絡進行優化，L損失函數由損失函數1和損失函數2構成。1中的||表示的范數，它表示生成的融合圖像與參考圖像之間的平均絕對誤差。由公式(15)確定，損失函數1如公式(16)所示：

光譜角度距離（Spectral Angle Distance，SAD）[15]是用于計算兩個光譜向量之間相似性的指標。在遙感圖像處理中，每個像素都可以表示為一個光譜向量，該向量包含不同波段的反射率或輻射值。SAD使用光譜向量之間的夾角來度量它們之間的相似性，兩個光譜向量之間的夾角越小，則它們的SAD值越小，表示它們越相似。本文使用光譜角度距離SAD構建損失函數2，假設有兩個光譜向量和，它們的長度相等，它們之間的SAD可以計算為它們之間的夾角的反余弦值，即：

式中：||||2和||||2分別表示向量和向量的長度。SAD的值通常在0～0.5p之間，值越小表示兩個向量越相似。

損失函數2表示測量MS圖像和融合圖像之間的差異，F表示第張融合圖像，損失函數2可由公式(18)表示：

最終的損失函數L可定義為1和倍的2相加，經過實驗測試，將2的系數設為0.1，融合的圖像可以在光譜和細節保持較好的平衡。計算過程如公式(19)所示：

2 實驗與分析

2.1 實驗設置

試驗區選取的圖像位置為天津市郊區，地物信息豐富。研究數據包括Sentinel-1W GRD級SAR圖像（10m分辨率）和Landsat 8 MS圖像（30m分辨率），分別從阿拉斯加衛星數據中心（Alaska Satellite Facility，ASF）和美國Earth Explorer網站下載。考慮到時序變化問題，兩種圖像的成像時間差控制在1周以內，Sentinel-1W GRD數據采集時間為2020年4月17日，Landsat 8數據采集時間為2020年4月22日。Sentinel-1 SAR數據選取其中VH極化方式成像的圖像，Landsat 8 MS數據選取30m分辨率波段中的2、3、4（藍、綠、紅）波段，將3個波段疊加形成30m分辨率RGB圖像。

選取兩組地物信息豐富且感興趣的區域，第一組實驗數據包含船只、河道與港口等明顯的地物信息。第二組實驗數據包含耕地、住宅區、河道與廠房等。兩組實驗數據如圖8和圖9所示。

圖8 第1組實驗數據

圖9 第2組實驗數據

本文實驗環境為64位Windows 10操作系統，搭載RTX 2060顯卡，在TensorFlow和Python3.7的框架下搭建的卷積神經網絡系統。采用Adam算法自適應優化網絡模型。初始學習率設置為0.001，有利于加速收斂過程，每迭代3000次時，學習率下降一半，能夠減少反復震蕩，提高訓練精度，模型全部迭代次數為30000次。

從預處理后的SAR和MS圖像裁剪出了12000組圖像用于模型訓練，大小分別為180×180和60×60，按照9:1的比例，10800組圖像作為訓練集，1200組圖像作為驗證集，訓練集總大小為4.5GB。最后裁剪2組大小900×900的SAR圖像和300×300的MS圖像驗證實驗。將原始的MS圖像設為Ground Truth，然后將裁剪好的SAR圖像、MS圖像和Ground Truth打包送入訓練網絡。

2.2 評價指標

在圖像融合實驗部分，本文選擇相關系數（Correlation Coefficient，CC）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）、光譜映射角度（Spectral Angle Mapping，SAM）[23]、空間相關系數（Spatial Correlation Coefficient，sCC）[24]、通用圖像質量指標（Universal Image Quality Index，UIQI）[25]這5種評價指標用于評估融合結果。本文還采用了QNR（the Quality with No Reference Index）[26]以及QNR的光譜分量和空間分量D，這3種不需要參考圖像的客觀指標來客觀評價融合圖像的質量。QNR＝(1－)(1－D)，其中和的取值為1。

2.3 算法對比實驗

為了驗證本算法在圖像紋理細節以及光譜保持上的提升，評估網絡性能，本文選取了9種對比實驗算法。其中包含傳統算法：（Principal Component Analysis）PCA[2]、NSCT-SM-PCNN[27]，以及基于深度學習的算法：（Remote Sensing Image Fusion Network）RSIFNN[28]、（Deep Residual Pan-Sharping Neural Network）DRPNN[9]、（Pan-sharpening Network）PanNet[10]、（Double Branch）雙分支[11]、（Unified Unsupervised Fusion）U2Fusion[12]、（Hybrid Attention Network）HANet[13]和（Double-branch Multiscale Residual-fusion Nested-connections Net）DMRN-Net[14]。對比實驗中的參數設置全部按照原始論文中的參數進行設置。

從主觀視覺評價和客觀定量評價兩個方面來評估分析不同算法的融合效果。主觀視覺評價是根據融合圖像和參考圖像光譜特征和細節特征的相似程度，來判斷融合算法的優劣。客觀定量評價是根據評價函數，從空間域和光譜域定量評價算法優劣。在實驗結果中，主觀視覺評價是依據融合后圖像的光譜信息與原始的MS圖像的光譜信息對比，如果光譜信息越接近，則光譜保持效果越好，細節信息與SAR圖像對比，越接近效果越好。

2.3.1 主觀視覺評價

在Sentinel-1B和Landsat 8的數據上選取兩組數據做實驗。實驗結果如圖10、圖11所示。客觀評價指標的結果如表1、2、3和4所示，最優的結果已加粗。

圖10 第1組對比實驗融合結果。(a) PCA; (b) NSCT_SM_PCNN; (c) RSIFNN; (d) DRPNN; (e) PanNet; (f)雙分支; (g) U2Fusion;(h) HANet; (i) DMRN-Net; (j)本文算法

圖11 第2組對比實驗融合結果。(a) PCA; (b) NSCT_SM_PCNN; (c) RSIFNN; (d) DRPNN; (e) PanNet; (f) 雙分支; (g) U2Fusion; (h) HANet; (i) DMRN-Net; (j)本文算法

從第一組實驗結果圖10來看，傳統算法PCA雖然在MS圖像中加入了SAR圖像的細節信息，但是光譜失真現象十分嚴重，得到的圖像局部變藍，并且非常模糊。傳統算法NSCT_SM_PCNN在光譜上有一定程度提升，但與參考圖像對比，空間分辨率較低，如圖10(a)和(b)中的藍色房頂，整體的清晰度較低。從總體來看，深度學習算法在空間細節提升和光譜保持方面優于傳統算法。在放大的區域中，RSIFNN（圖10(c)）融合算法顯著增強了MS圖像的細節信息，但由于加入過多的SAR圖像信息，出現了十分嚴重的光譜失真，在建筑物中體現最為明顯。DRPNN、PanNet、雙分支和本文算法，整體上都保持了多光譜圖像的光譜特征，同時也改善了圖像的細節信息。但是DRPNN算法整體上出現了振鈴效應，在放大部分出現偽影。PanNet算法融合圖像的輪廓和邊緣保持較好，但是在光譜保持方面弱于本文算法。雙分支算法光譜保持較好，但加入的SAR圖像信息較少，導致局部細節不明顯。U2Fusion算法在光譜保持方面弱于本文算法，且圖像放大后較為模糊，源于算法網絡不能充分提取圖像特征。HANet算法能夠很好地保持光譜特征，但是在放大區域可以看到紅色屋頂粘連到一起，并且光譜保持能力較差，不利于后期的圖像識別（如圖10(h)）。DMRN-Net算法（如圖10(i)）從局部區域來看，目標的細節信息沒有本文清晰，但結構和輪廓優于其它對比算法。本文算法融合后的圖像既不會因為SAR圖像信息加入過多，造成光譜失真，也不會在邊緣出現偽影，所提出的方法在光譜保持和細節提升方面取得了平衡，從主觀評價來看本文算法優于其它算法。第二組實驗圖11效果與第一組實驗大致相同。

2.3.2 客觀定量評價

對于參考的評價指標，當CC、PSNR、sCC和UIQI較大而SAM較小時，圖像融合算法更好。對于非參考評價指標，當和D較小而QNR的值較大時，圖像融合的效果更好。從表1～表4可以看出，本文算法在CC、PSNR、sCC和QNR取得了最大值，而在SAM、和D取得了最小值，以上這些指標取得最優值。

從光譜評價指標CC、UIQI和SAM來看，傳統算法PCA表現的融合效果最差，相關系數僅為0.4373；RSIFNN也因為加入了過多的SAR圖像信息導致光譜扭曲，與參考圖像相關性僅為87.34%，低于傳統算法NSCT_SM_PCNN。DRPNN和PanNet融合算法在光譜上有明顯的改善；傳統算法NSCT_SM_PCNN與PCA對比，各種指標有明顯提高，但仍有提升空間。從空間細節評價指標PSNR和sCC來看，PCA和RSIFNN算法對比于其它算法表現較差，是因為這兩種融合算法中存在嚴重的光譜畸變和色彩失真，這與主觀評價結果一致；PanNet和雙分支算法較于以上兩種算法在光譜和細節上有明顯提升；U2Fusion和HANet在CC上相較于其它算法有較大提升，但是在指標PSNR和SAM上遠不如本文算法，源于在特征提取上沒有將光譜和細節分開。從光譜評價指標SAM來看，DMRN-Net與本文算法有較大差異，因此在光譜保持上弱于本文算法，同時從空間細節評價指標PSNR來看，本文算法與DMRN-Net相比也有明顯提升，因此本文算法在細節保持上也取得不錯效果。本文構建了基于光譜角度距離的損失函數，因此在評價指標SAM上相對于其它算法有較大提升。在表1中，本文算法與最優的對比算法DMRN-Net相比，從指標CC、PSNR、sCC、UIQI來看，分別高了0.22%、4.76%、0.64%和0.87%，從指標SAM來看，降低了0.72%，因此本文算法在5種評價指標CC、PSNR、SAM、sCC、UIQI上取得最優值，說明本文算法在光譜保持和細節提升上均取得較好的效果。

表1 第1組不同算法實驗數據

表2 第2組不同算法實驗數據

從算法運行時間來看，PCA方法最簡單，所用的時間最短，NSCT_SM_PCNN所用的時間最長。RSIFNN、DRPNN、PanNet、雙分支、U2Fusion、HANet和本文算法采用的是基于深度學習的方法，使用的測試集相同。本文算法的訓練時間為7h左右，測試時間為0.78s，DMRN-Net算法測試時間為0.84s，該算法采用嵌套連接的融合方式能夠實現特征復用和緩解梯度消失，但由于嵌套連接需要進行通道疊加，網絡需要加深且頻繁讀取內存，導致運行效率低于本文算法。本文算法運行時間遠小于傳統的多尺度分解法的80.6s，更適合處理海量的遙感數據。

綜上所述，本文所提出的圖像融合算法在保持光譜特征的基礎上，有效改善了MS圖像的空間細節，在視覺上更接近MS圖像，并且所用的時間相對較少。

表3 第1組無參考客觀實驗數據

2.4 消融實驗

為了驗證本文所構建的模塊會對實驗產生怎樣的影響，本小節設計了3種不同的組合架構來驗證算法的有效性，分別是：(a)加入多尺度特征提取模塊和混合注意力模塊。(b)加入多尺度特征提取模塊、混合注意力模塊和擴張卷積模塊。(c)加入多尺度特征提取模塊、混合注意力模塊、擴張卷積模塊和損失函數。方法(c)也就是本文所提出的算法，可以用下列組合表示(a)MFEB＋MAB；(b)MFEB＋MAB＋DC；(c)MFEB＋MAB＋DC＋loss。選擇使用上述的兩組SAR和MS圖像，分別按照上述組合架構依次做實驗。實驗結果如圖12和圖13所示。

表4 第2組無參考客觀實驗數據

圖12 第1組消融實驗結果。(a1)MFEB+MAB；(b1)MFEB+MAB+DC；(c1)MFEB+MAB+DC+loss；(a2)、(b2)和(c2)分別為它們的區域放大圖

圖13 第2組消融實驗結果。(a1)MFEB+MAB；(b1)MFEB+MAB+DC；(c1)MFEB+MAB+DC+loss；(a2)、(b2)和(c2)分別為它們的區域放大圖

通過表5和表6來看，對比3種構架方式，可以看出方法(c) MFEB＋MAB＋DC＋loss（本文算法）的實驗效果最好，方法(a) MFEB＋MAB的效果最差。從表5中可以看出，方法(c)在5個評價指標CC、PSNR、SAM、sCC和UIQI上均取得最優值，分別為0.9947、32.8233、1.6073、0.8387和0.9921。從圖12和圖13中(a1)、(b1)、(c1)局部區域圖，可以看出融合圖像的細節逐漸清晰，紋理逐漸豐富，可以看出本文所提出的模塊，對本章算法起到較為明顯的提升。

表5 第1組消融實驗數據

表6 第2組消融實驗數據

3 總結與展望

本文提出一種基于雙通道混合注意力的SAR和MS圖像融合算法。將雙通道多尺度特征提取模塊和混合注意力用于圖像的特征提取。最后采用Sentinel-1B SAR圖像和Landsat 8 MS圖像（SAR與MS圖像分辨率之比為3）驗證實驗，具體結論如下：

1）本文設計的雙通道多尺度模塊有著不俗的特征提取能力，用來分別提取SAR圖像的細節特征和MS圖像的光譜特征，可以有效改善細節丟失和光譜失真現象，同時在光譜和細節上保持了較好的平衡。

2）本文構建的混合注意力模塊，可以有效加強特征提取能力，并且通過對不同部分的輸入特征進行加權，使網絡更加關注有用信息，提高特征的表示能力。

3）構建基于SAD的損失函數，通過度量融合圖像與原始MS圖像之間的光譜角距，進一步緩解融合圖像的光譜失真和細節丟失現象。

因為缺少相關的數據源，本文算法只在Sentinel-1B和Landsat 8圖像上驗證實驗，未來可考慮在分辨率更高的遙感圖像上做進一步研究，例如，高分3號SAR圖像和高分1號MS圖像，獲得更加清晰的融合圖像，提高算法的適用性。

[1] TU T M, HUANG P S, HUNG C L, et al. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery[J]., 2004, 1(4): 309-312.

[2] Pal S K, Majumdar T J, Bhattacharya A K. ERS-2 SAR and IRS-1C LISS III data fusion: A PCA approach to improve remote sensing based geological interpretation[J]., 2007, 61(5): 281-297.

[3] TU T M, LEE Y C, CHANG C P, et al. Adjustable intensity-hue-saturation and Brovey transform fusion technique for IKONOS/QuickBird imagery[J]., 2005, 44(11): 116201.

[4] Burt P J, Adelson E H.[M]. Readings in Computer Vision. Morgan Kaufmann, 1987: 671-679.

[5] Ranchin T, Wald L. The wavelet transform for the analysis of remotely sensed images[J]., 1993, 14(3): 615-619.

[6] GUO K, Labate D, Lim W Q. Edge analysis and identification using the continuous shearlet transform[J]., 2009, 27(1): 24-46.

[7] DA Cunha A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[8] Masi G, Cozzolino D, Verdoliva L, et al. Pansharpening by convolutional neural networks[J]., 2016, 8(7): 594.

[9] WEI Y, YUAN Q, SHEN H, et al. Boosting the accuracy of multispectral image pansharpening by learning a deep residual network[J]., 2017, 14(10): 1795-1799.

[10] YANG J, FU X, HU Y, et al. PanNet: A deep network architecture for pan-sharpening[C]//, 2017: 5449-5457.

[11] 吳佼華, 楊學志, 方帥, 等. 基于雙分支卷積神經網絡的SAR與多光譜圖像融合實驗[J]. 地理與地理信息科學, 2021, 37(2): 22-30. WU J H, YANG X Z, FANG S, et al. SAR and multispectral image fusion experiment based on dual branch convolutional neural network [J]., 2021, 37(2): 22-30.

[12] XU H, MA J, JIANG J, et al. U2Fusion: A unified unsupervised image fusion network[J]., 2020, 44(1): 502-518.

[13] LIU Q, HAN L, TAN R, et al. Hybrid attention based residual network for pansharpening[J]., 2021, 13(10): 1962.

[14] 董張玉, 許道禮, 張晉, 等. 基于雙分支多尺度殘差融合嵌套的SAR和多光譜圖像融合架構與實驗[J]. 地理與地理信息科學, 2023, 39(1): 23-30. DONG Z Y, XU D L, ZHANG J, et al. Architecture and experiments of SAR and multispectral image fusion based on double-branch multiscale residual-fusion nesting[J]., 2023, 39(1): 23-30.

[15] MIN A, GUO Z, LI H, et al. JMnet: Joint metric neural network for hyperspectral unmixing[J]., 2021, 60: 1-12.

[16] 郭彭浩. 基于卷積神經網絡和貝葉斯理論的遙感圖像Pansharpening算法研究[D]. 南京: 南京信息工程大學, 2021. GUO P H. Research on Pansharpening Algorithm of Remote Sensing Image Based on Convolution Neural Network and Bayesian Theory[D]. Nanjing: Nanjing University of Information Engineering, 2021.

[17] 申興成, 楊學志, 董張玉, 等. 結合擴張卷積的殘差網絡SAR圖像去噪[J]. 測繪科學, 2021, 46(12): 106-114. SHEN X C, YANG X Z, DONG Z Y, et al. Residual network combined with dilated convolution for SAR image denoising[J]., 2021, 46(12): 106-114.

[18] 黃玲琳, 李強, 路錦正, 等. 基于多尺度和注意力模型的紅外與可見光圖像融合[J]. 紅外技術, 2023, 45(2): 143-149. HUANG L L, LI Q, LU J Z, et al. Infrared and visible image fusion based on multi-scale and attention model[J]., 2023, 45(2): 143-149.

[19] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//, 2016: 770-778.

[20] WANG Q, WU B, ZHU P, et al. Supplementary material for ‘ECA-Net: Efficient channel attention for deep convolutional neural networks[C]//2020, 2020: 13-19.

[21] LIU Y, SHAO Z, Hoffmann N. Global attention mechanism: retain information to enhance channel-spatial interactions[J/OL]., 2021, https://arxiv.org/abs/2112.05561.

[22] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]., 2015, 38(2): 295-307.

[23] LI P, LEE S H, HSU H Y, et al. Nonlinear fusion of multispectral citrus fruit image data with information contents[J]., 2017, 17(1): 142.

[24] ZHOU J, Civco D L, Silander J A. A wavelet transform method to merge Landsat TM and SPOT panchromatic data[J]., 1998, 19(4): 743-757.

[25] WANG Z, Bovik A C. A universal image quality index[J]., 2002, 9(3): 81-84.

[26] CHENG J, LIU H, LIU T, et al. Remote sensing image fusion via wavelet transform and sparse representation[J]., 2015, 104: 158-173.

[27] WANG X L, CHEN C X. Image fusion for synthetic aperture radar and multispectral images based on sub-band-modulated non-subsampled contourlet transform and pulse coupled neural network methods[J]., 2016, 64(2): 87-93.

[28] SHAO Z, CAI J. Remote sensing image fusion with deep convolutional neural network[J]., 2018, 11(5): 1656-1669.

SAR and Multispectral Image Fusion Based on Dual-channel Multi-scale Feature Extraction and Attention

CHONG Fating1,2，DONG Zhangyu1,2,3，YANG Xuezhi2,3，ZENG Qingwang1,2

(1. College of Computer and Information, Hefei University of Technology, Hefei 230031, China;2. Anhui Province Key Laboratory of Industry Safety and Emergency Technology, Hefei 230031, China;3. Anhui Province Laboratory of Intelligent Interconnection System, Hefei 230031, China)

The fundamental task of image fusion is to extract image features. Because of the channel differences between synthetic aperture radar (SAR) images and multispectral (MS) images, existing algorithms have difficulty in fully extracting and utilizing the high-frequency detail information of SAR images and low-frequency spectral information of multispectral images, and the fused images have problems with detail loss and spectral distortion. In this study, an image fusion algorithm based on dual-channel multiscale feature extraction and hybrid attention is proposed. First, a dual-channel network is used to extract multi-scale high-frequency detail features and low-frequency spectral features of SAR and multispectral images, and successively expand the perceptual field using dilated convolution with different void rates. The extracted features are then mapped to the hybrid attention module for feature enhancement, and these enhanced features are superimposed on the upsampled multispectral images. A loss function based on the spectral angular distance was also constructed, which could further alleviate the problems of detail loss and spectral distortion. Finally, the image is reconstructed using a decoding network to obtain a high-resolution fused image. The experimental results show that the proposed algorithm achieves thebest performance and that the fused image maintains a good balance of details and spectra.

SAR image fusion, dilated convolution, multiscale extraction, residual network, attention mechanism

TP391

A

1001-8891(2024)01-0061-13

2023-03-08；

2023-05-18 .

種法亭（1997-），男，碩士研究生。主要研究方向：遙感圖像融合。Email：fatingchong@163.com。

董張玉（1986-），男，副教授，碩士生導師。主要研究方向：遙感圖像處理、數字信號處理。Email：dzyhfut@hfut.edu.cn。

安徽省重點研究與開發計劃項目（202004a07020030）；安徽省自然科學基金項目（2108085MF233）；中央高校基本科研業務費專項（JZ2021HGTB0111）。