基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的SAR與多光譜圖像融合實(shí)驗(yàn)

吳 佼 華，楊 學(xué) 志，方 帥，董 張 玉，4

(1.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009；2.工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230009；3.合肥工業(yè)大學(xué)軟件學(xué)院，安徽 合肥 230009；4.智能互聯(lián)系統(tǒng)安徽省實(shí)驗(yàn)室，安徽 合肥 230009)

0 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)具有全天時(shí)、全天候、穿透力強(qiáng)等特點(diǎn)[1]，其獲取的高空間分辨率SAR圖像中地物目標(biāo)的反射特性受微波頻率、反射角和極化方式影響，導(dǎo)致相同物體表現(xiàn)形式不同[2]，不利于圖像的解譯；而多光譜(Multi-Spectral，MS)圖像則可以反映地物目標(biāo)的輪廓和光譜信息，但MS衛(wèi)星傳感器完全依賴于發(fā)光源，不能在夜間成像且易受惡劣天氣影響，導(dǎo)致MS圖像部分明顯目標(biāo)信息丟失。因此，對(duì)SAR和MS圖像進(jìn)行融合，能充分利用兩者的互補(bǔ)信息，在保持光譜信息的基礎(chǔ)上，增強(qiáng)MS圖像的空間細(xì)節(jié)信息和目標(biāo)的特征信息，融合圖像可更好地用于災(zāi)害監(jiān)測(cè)、地物分類、目標(biāo)識(shí)別等后續(xù)任務(wù)。

傳統(tǒng)的SAR和MS圖像融合算法可分為3類：1)成分替換(Component Substitution，CS)法，主要有主成分分析(PCA)、IHS變換和Brovey等；該類算法實(shí)現(xiàn)簡(jiǎn)單，融合結(jié)果中SAR圖像細(xì)節(jié)信息明顯，但由于SAR圖像與MS圖像譜段范圍存在較大差異，簡(jiǎn)單地將SAR圖像替換為MS圖像的主成分分量，融合結(jié)果會(huì)產(chǎn)生嚴(yán)重的光譜失真。2)多尺度分析(Multi-Resolution Analysis，MRA)法，包括小波(wavelet)法、金字塔變換、非下采樣輪廓波變換(NSCT)、非下采樣剪切波變換(NSST)等。例如：宋建社等[3]應(yīng)用小波變換法融合SAR和MS圖像，融合后圖像的光譜得到改善，但存在偽影和邊緣鋸齒；蘇志淵等[4]充分利用NSCT的平移不變性、多尺度性、多方向性和較強(qiáng)的輪廓信息表達(dá)能力，提出基于NSCT的SAR和MS圖像融合算法,明顯提高了融合效果。相比CS法，MRA法能有效抑制SAR圖像的噪聲，減少光譜畸變，但易受圖像配準(zhǔn)的影響，產(chǎn)生混疊和邊緣偽影。3)混合法(hybrid method)，即利用CS法分離MS圖像的強(qiáng)度信息和光譜信息，應(yīng)用MRA法將SAR和MS圖像的強(qiáng)度分量融合以獲得新的分量，最后逆變換新的分量和光譜信息得到融合圖像，如Mercer等[5]采用基于混合IHS變換和小波變換的SAR和MS圖像融合算法，將經(jīng)過(guò)小波分解后的SAR圖像的近似分量替換MS圖像強(qiáng)度分量中的近似分量，以增強(qiáng)多光譜的空間細(xì)節(jié)信息；該算法能夠獲得更好的空間和光譜信息，但其中CS法僅限于能夠進(jìn)行空間變換的融合方法(如PCA和IHS)[6]。相對(duì)于傳統(tǒng)算法，卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)具有強(qiáng)大的特征提取和特征表達(dá)能力[7]，因此，基于CNN的超分辨圖像融合算法相繼被提出。例如：Masi等[8]首次應(yīng)用超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)[9]進(jìn)行圖像全色銳化(pan-sharpening)，結(jié)果明顯優(yōu)于傳統(tǒng)算法；Yang等[10]提出了PanNet網(wǎng)絡(luò)，將圖像融合任務(wù)拆分成光譜保持和空間保持兩部分，實(shí)現(xiàn)融合圖像光譜和空間質(zhì)量的提升；Shao等[11]提出了RSIFNN網(wǎng)絡(luò)并基于該網(wǎng)絡(luò)實(shí)現(xiàn)圖像全色銳化，分別對(duì)多光譜和全色圖像進(jìn)行特征提取，然后融合提取的深層特征并采用殘差學(xué)習(xí)方式得到融合結(jié)果。基于以上研究，本文引入“特征提取—融合—重建”的空間細(xì)節(jié)融合方案，提出一種基于雙分支CNN的SAR和MS圖像融合算法，以期有效改善MS影像的空間信息，并與其他算法進(jìn)行對(duì)比分析，探索深度學(xué)習(xí)在SAR和MS圖像融合方面的優(yōu)勢(shì)。

1 研究方法

1.1 網(wǎng)絡(luò)框架

SAR圖像與MS圖像的成像機(jī)理和覆蓋波段有所差異，圖像信息相關(guān)性弱，甚至局部會(huì)出現(xiàn)負(fù)相關(guān)，通常的細(xì)節(jié)注入融合方法所得融合圖像往往會(huì)出現(xiàn)顏色畸變。本文參考PanNet[10]的網(wǎng)絡(luò)框架，提出一種基于雙分支CNN的SAR和MS圖像融合算法，將SAR和MS圖像融合的任務(wù)拆分成細(xì)節(jié)提升分支和光譜保持分支(圖1)。

圖1 本文算法的網(wǎng)絡(luò)框架

(1)細(xì)節(jié)提升分支。參考蔡婉婷[12]耦合多尺度網(wǎng)絡(luò)的結(jié)構(gòu)，將細(xì)節(jié)提升分支分為編碼器、特征融合層和解碼器3個(gè)模塊，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。1)將原始SAR和MS圖像經(jīng)過(guò)高通濾波器得到圖像的高頻信息，并將MS圖像高頻信息上采樣到SAR圖像高頻信息的同等分辨率；在編碼器模塊中，設(shè)計(jì)兩個(gè)不同的特征提取網(wǎng)絡(luò)，分別提取SAR和MS圖像高頻信息的深層特征。考慮到“具有較小尺度的特征會(huì)對(duì)較小尺寸的卷積核作出反應(yīng)，而較粗糙結(jié)構(gòu)傾向于被更大的卷積核提取”[12]，本文采用不同尺寸的卷積核分別提取兩幅圖像高頻信息的淺層特征。SAR圖像的分辨率高，細(xì)節(jié)比MS圖像豐富，對(duì)于SAR圖像高頻信息，本文使用3×3的卷積核提取小尺度的淺層特征，對(duì)于MS圖像高頻信息，則采用9×9卷積核提取大尺度的淺層特征；然后將淺層特征經(jīng)過(guò)多尺度特征提取塊(采用卷積分解[13]方式，將n×n的卷積核分解為1×n和n×1兩個(gè)卷積核，以減少卷積計(jì)算量)，得到多尺度的深層特征。2)在特征融合層模塊中，對(duì)不同源圖像的深層特征進(jìn)行融合。先將編碼器模塊輸出的不同尺度深層特征按同尺度特征進(jìn)行像素相加，從而將SAR圖像細(xì)節(jié)信息疊加到MS圖像中，再將疊加融合后的所有特征圖進(jìn)行通道級(jí)聯(lián)，作為解碼器的輸入，其過(guò)程如式(1)、式(2)所示。多尺度特征提取塊和特征融合模塊如圖2所示。3)在解碼器模塊中，采用SRCNN[9]網(wǎng)絡(luò)結(jié)構(gòu)，將融合后的特征圖映射回圖像的空間信息。第一層是9×9卷積核，第二層是1×1卷積核，最后一層是5×5卷積核，經(jīng)過(guò)三層卷積將特征通道維度降至3維。解碼過(guò)程如式(3)所示。

表1 細(xì)節(jié)提升分支網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

φFi(Shp,↑MShp)=φSi(Shp)⊕φMSi(↑MShp)

(1)

φF(Shp,↑MShp)=C(φFi(Shp,↑MShp))

(2)

式中：φSi(Shp)和φMSi(↑MShp)分別表示采用i×i(i=3、5、7)卷積核通過(guò)卷積操作提取的SAR和MS圖像的深層特征；⊕表示特征像素級(jí)疊加操作；φFi(Shp，↑MShp)表示采用像素疊加方式融合得到的特征圖；C(·)表示特征圖通道級(jí)聯(lián)操作；φF(Shp，↑MShp)表示最終融合后的特征圖。

Fhp=G(φF(Shp，↑MShp))

(3)

式中：Fhp表示細(xì)節(jié)提升分支輸出的空間細(xì)節(jié)信息；G(·)表示解碼器解碼操作。

(2)光譜保持分支。采用跳線連接方式，將細(xì)節(jié)提升分支輸出的細(xì)節(jié)信息疊加到上采樣的MS圖像，將MS圖像的光譜信息傳遞到融合圖像F中，得到最終的融合結(jié)果。其實(shí)現(xiàn)過(guò)程如下：

F=Fhp⊕↑MS

(4)

圖2 多尺度特征提取塊與特征融合模塊

1.2 損失函數(shù)

本文的損失函數(shù)ltotal包括光譜損失lspectral和細(xì)節(jié)損失lspatial(式(5))，lspectral為融合圖像F和參考圖像GT的L2 范數(shù)，lspatial為細(xì)節(jié)提升分支輸出的細(xì)節(jié)信息Fhp與SAR圖像的高頻信息Shp之間的L2范數(shù)。

(5)

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)區(qū)及數(shù)據(jù)

實(shí)驗(yàn)區(qū)為天津市郊區(qū)，地物類型豐富(包括農(nóng)田、居民點(diǎn)、港口等)。研究數(shù)據(jù)包括從地理空間數(shù)據(jù)云[14]下載的Landsat8_OLI_TIRS衛(wèi)星多光譜數(shù)據(jù)和哥白尼數(shù)據(jù)開(kāi)放中心[15]下載的哨兵-1B GRD級(jí)別的SAR數(shù)據(jù)(表2)。實(shí)驗(yàn)前利用ENVI的自動(dòng)配準(zhǔn)工具進(jìn)行SAR和MS圖像配準(zhǔn)，配準(zhǔn)誤差在1個(gè)像元內(nèi)；SAR圖像存在明顯的相干斑噪聲，采用BM3D[16]濾波方法對(duì)其進(jìn)行降噪處理。

選取兩組地物信息豐富且各具特點(diǎn)的感興趣區(qū)域(圖3、圖4)進(jìn)行算法有效性驗(yàn)證。第一組為天津樂(lè)樂(lè)島附近，包含城市建筑、湖水、裸地、耕地等多類易混淆地物；第二組為渤海港口附近，包含大量農(nóng)作物和橋梁建筑等地物，且SAR圖像中含有MS圖像中無(wú)法覺(jué)察的顯著目標(biāo)信息(如圖4中的橋梁)。另外，由于不存在SAR和MS圖像融合后的理想圖像，為使本文的實(shí)驗(yàn)結(jié)果同時(shí)在光譜和細(xì)節(jié)方面有一個(gè)更好的參照，加入感興趣區(qū)域的哨兵-2A多光譜數(shù)據(jù)(分辨率為10 m)作為參考MS圖像。

表2 衛(wèi)星數(shù)據(jù)參數(shù)

圖3 第一組實(shí)驗(yàn)數(shù)據(jù)

圖4 第二組實(shí)驗(yàn)數(shù)據(jù)

2.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)環(huán)境為Window 10，64位操作系統(tǒng)，NVIDIA Quadro M2000-4G顯卡，在tensorflow框架下搭建雙分支卷積神經(jīng)網(wǎng)絡(luò)。訓(xùn)練批大小為100，迭代次數(shù)為30 000次，優(yōu)化器選擇Adam，學(xué)習(xí)率為0.001，動(dòng)量衰減系數(shù)為0.9。從預(yù)處理后的SAR和MS影像中裁剪出9 600組大小分別為90×90和30×30的影像對(duì)用于網(wǎng)絡(luò)訓(xùn)練，按照9∶1的比例選擇8 640對(duì)作為訓(xùn)練集，960對(duì)作為驗(yàn)證集；裁剪2組大小分別為900×900和300×300的SAR和MS圖像對(duì)作為測(cè)試集。網(wǎng)絡(luò)訓(xùn)練開(kāi)始時(shí)，訓(xùn)練數(shù)據(jù)經(jīng)過(guò)Wald[17]協(xié)議進(jìn)行預(yù)處理：原始MS圖像作為參考圖像GT，同時(shí)將原始SAR和MS圖像對(duì)以雙三次插值方式進(jìn)行3倍上采樣，得到S和MS圖像對(duì)，最后將GT(30×30×3)、S(30×30×1)、MS(10×10×3)3組數(shù)據(jù)一起輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，平均訓(xùn)練時(shí)長(zhǎng)為3.5 h。

2.3 參數(shù)λ實(shí)驗(yàn)

式(5)中的平衡參數(shù)λ對(duì)計(jì)算損失函數(shù)具有重要意義，故評(píng)價(jià)不同λ取值情況下，訓(xùn)練和驗(yàn)證階段的損失函數(shù)隨迭代次數(shù)增加的收斂情況(圖5、圖6,彩圖見(jiàn)封3)。可以看出，隨著λ值減小，總損失值(圖5a、圖6a)和光譜損失值(圖5b、圖6b)均減小，但λ值較小導(dǎo)致細(xì)節(jié)損失值(圖5c、圖5c)較大，為兼顧光譜損失和細(xì)節(jié)損失，該文選擇λ值為1.0。

圖5 訓(xùn)練階段總損失、細(xì)節(jié)損失和光譜損失曲線

圖6 驗(yàn)證階段總損失、細(xì)節(jié)損失和光譜損失曲線

進(jìn)一步引入相關(guān)系數(shù)CC、均方根誤差RMSE(評(píng)價(jià)融合結(jié)果的光譜質(zhì)量)、空間相關(guān)系數(shù)sCC[19](評(píng)價(jià)融合圖像與SAR圖像空間細(xì)節(jié)的相似性)和互信息MI[18](評(píng)價(jià)融合圖像與源圖像的相似程度)，定量評(píng)價(jià)不同λ取值對(duì)于融合結(jié)果在空間信息改善和光譜保持方面的影響。由表3可以看出：隨著λ值減小，CC、RMSE和MIMF結(jié)果較好，表明融合圖像中包含更多的MS圖像信息且MS圖像的光譜信息保持較好，但sCC、MISF減小，表明融合圖像中包含更少的SAR圖像信息且SAR圖像的細(xì)節(jié)信息保持較差，與圖5和圖6分析結(jié)果一致。當(dāng)λ取值1.0時(shí)，CC、RMSE次優(yōu)，光譜能基本保持，同時(shí)sCC增大，能注入更多的SAR圖像細(xì)節(jié)信息，這時(shí)融合圖像能兼顧光譜保持和細(xì)節(jié)提升。

表3 不同λ實(shí)驗(yàn)結(jié)果對(duì)應(yīng)的指標(biāo)

2.4 特征圖可視化

為驗(yàn)證網(wǎng)絡(luò)框架的有效性，深入分析網(wǎng)絡(luò)的細(xì)節(jié)特征提取和特征融合效果，將SAR和MS圖像提取的紋理特征圖以及融合后的特征圖進(jìn)行可視化，圖7為編碼器階段多尺度提取塊中3×3卷積核尺度下輸出的部分深層特征圖，通道數(shù)為20。從所有通道特征圖可以看出：SAR和MS圖像的深層特征得到融合；從第18通道的深層特征圖可以看出：SAR圖像深層特征圖中的局部特征清晰(左部分的耕地和右部分的島嶼輪廓)，使得融合后特征圖在這些局部區(qū)域的細(xì)節(jié)信息得到增強(qiáng)。

注：φMSi、φSi分別表示MS和SAR提取的紋理特征圖，φFi表示融合后的特征圖；數(shù)字表示特征圖的序號(hào)。

2.5 不同融合方法比較

為驗(yàn)證本文算法在光譜保持和紋理提升方面的有效性，與傳統(tǒng)算法IHS[21]、wavelet、IHS_NSST_SR[22]、NSCT_AVG[6]及深度學(xué)習(xí)算法RSIFNN[11]進(jìn)行比較，對(duì)比算法的參數(shù)全部按照原始論文中的參數(shù)設(shè)置。

2.5.1 定性評(píng)價(jià) 由融合結(jié)果(圖8)可以看出，相比原始上采樣的MS圖像，所有方法融合圖像的空間細(xì)節(jié)都有所提升，但融合結(jié)果有所不同。以第一組實(shí)驗(yàn)數(shù)據(jù)為例：IHS算法(圖8a)和RSIFNN融合算法(圖8b)顯著增強(qiáng)了MS圖像的細(xì)節(jié)信息，但SAR圖像細(xì)節(jié)信息加入過(guò)多，導(dǎo)致整體顏色失真，特別是圖中島嶼和放大區(qū)域的建筑失真更為明顯。wavelet、NSCT_AVG、IHS_NSST_SR及本文算法(圖8c-圖8f)都具有較好的光譜保持能力，但從感興趣區(qū)域看，各方法的空間細(xì)節(jié)提升程度不同。wavelet方法融合圖像細(xì)節(jié)信息有一定改善，但整體鋸齒現(xiàn)象很明顯，不利于后期目標(biāo)結(jié)構(gòu)與輪廓的提取；NSCT_AVG方法的高、低頻融合規(guī)則選取不具普適性，耕地邊界存在偽影，建筑區(qū)域細(xì)節(jié)模糊，融合不自然；IHS_NSST_SR方法在建筑區(qū)域紋理整體塊狀明顯，且耕地的邊界比本文算法模糊。本文基于多尺度CNN網(wǎng)絡(luò)有效提取了SAR和MS圖像的深層特征，并設(shè)計(jì)細(xì)節(jié)損失函數(shù)和光譜損失函數(shù)監(jiān)督網(wǎng)絡(luò)訓(xùn)練，通過(guò)學(xué)習(xí)的方式將SAR圖像的細(xì)節(jié)信息平滑注入MS的各個(gè)波段中，在光譜保持和空間細(xì)節(jié)提升方面，既沒(méi)有因注入SAR圖像細(xì)節(jié)信息過(guò)多而產(chǎn)生顏色失真，也不存在邊緣偽影和紋理呈現(xiàn)塊狀，融合圖像增強(qiáng)了細(xì)節(jié)信息和目標(biāo)顯著信息(如放大區(qū)域兩屋頂?shù)倪吔?。第二組實(shí)驗(yàn)數(shù)據(jù)的融合結(jié)果(圖9)與上述結(jié)果基本相同。

2.5.2 定量評(píng)價(jià) 進(jìn)一步選取CC、RMSE、峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)[18](二者用于評(píng)價(jià)融合結(jié)果的空間細(xì)節(jié)質(zhì)量)、相對(duì)平均光譜誤差ERGAS[22](用于評(píng)價(jià)融合圖像的整體效果)及算法測(cè)試時(shí)間對(duì)不同算法的融合結(jié)果進(jìn)行對(duì)比(表4、表5)。從光譜評(píng)價(jià)指標(biāo)CC和RMSE可以看出，IHS方法表現(xiàn)最差，表明主成分替換方法對(duì)于多源傳感器圖像融合存在明顯的顏色失真；RSIFNN方法提取的SAR圖像細(xì)節(jié)信息過(guò)多，也導(dǎo)致顏色扭曲；wavelet和NSCT_AVG方法在光譜質(zhì)量方面有明顯改善，但仍有提升空間；IHS_NSST_SR方法在光譜質(zhì)量方面表現(xiàn)較好。從空間質(zhì)量評(píng)價(jià)指標(biāo)PSNR和SSIM可以看出，IHS和RSIFNN方法的PSNR較差，表明這兩種方法融合結(jié)果中存在明顯的圖像失真；wavelet方法受小波變換方向約束，融合結(jié)果呈現(xiàn)鋸齒狀，在SSIM指標(biāo)方面較差；NSCT_AVG和IHS_NSST_SR方法在細(xì)節(jié)信息保持方面有明顯改善。從圖像空間和光譜質(zhì)量整體評(píng)價(jià)指標(biāo)ERGAS可知，IHS和RSIFNN方法結(jié)果較差，源于兩種方法中存在顏色畸變和圖像失真現(xiàn)象，這與主觀評(píng)價(jià)結(jié)果一致；wavelet和NSCT_AVG方法有顯著提升，IHS_NSST_SR方法充分結(jié)合多分辨率分析和成分替換方法的優(yōu)勢(shì)，進(jìn)一步提升整體評(píng)價(jià)質(zhì)量。算法效率方面，IHS方法最簡(jiǎn)單，所用時(shí)間最短；本文算法和RSIFNN方法是深度學(xué)習(xí)方法，數(shù)據(jù)集數(shù)量和輸入訓(xùn)練方式相同，訓(xùn)練時(shí)間(3.5 h左右)相當(dāng)，但二者的測(cè)試時(shí)間明顯小于傳統(tǒng)的多尺度分析方法，適合海量衛(wèi)星遙感數(shù)據(jù)融合處理。綜上，本文算法在保持光譜信息的基礎(chǔ)上，有效增強(qiáng)了MS圖像的空間細(xì)節(jié)信息，提升了運(yùn)算效率。

圖8 第一組實(shí)驗(yàn)數(shù)據(jù)的融合結(jié)果

圖9 第二組實(shí)驗(yàn)數(shù)據(jù)的融合結(jié)果

表4 第一組實(shí)驗(yàn)數(shù)據(jù)不同算法的評(píng)價(jià)結(jié)果

表5 第二組實(shí)驗(yàn)數(shù)據(jù)不同算法的評(píng)價(jià)結(jié)果

3 結(jié)論

為改善傳統(tǒng)融合算法中存在的空間細(xì)節(jié)模糊和顏色失真問(wèn)題，本文提出一種雙分支CNN網(wǎng)絡(luò)的SAR和MS圖像融合算法，其特點(diǎn)為： 1)在網(wǎng)絡(luò)結(jié)構(gòu)方面，細(xì)節(jié)提升分支對(duì)圖像的高頻成分進(jìn)行處理，增強(qiáng)了細(xì)節(jié)信息，光譜保持分支對(duì)MS圖像進(jìn)行上采樣，保持和傳遞了光譜特性；2)在融合算法方面，利用CNN網(wǎng)絡(luò)對(duì)SAR和MS圖像的高頻信息進(jìn)行多尺度空間細(xì)節(jié)特征提取、融合和重建，得到清晰的細(xì)節(jié)信息，將兩分支中的細(xì)節(jié)信息和光譜信息融合，得到高空間分辨率MS圖像；3)在損失函數(shù)方面，光譜損失和細(xì)節(jié)損失能夠有效監(jiān)督網(wǎng)絡(luò)訓(xùn)練，控制SAR圖像細(xì)節(jié)信息平滑注入，實(shí)現(xiàn)光譜保持和空間細(xì)節(jié)提升之間的平衡。但本文算法只對(duì)哨兵-1B和Landsat8兩種衛(wèi)星數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)，未來(lái)可考慮其他SAR和MS實(shí)驗(yàn)數(shù)據(jù)集，以提高算法的普適性。