雙分支動(dòng)態(tài)感受野的SAR與可見(jiàn)光融合算法

摘 要：針對(duì)合成孔徑雷達(dá)（SAR）與可見(jiàn)光圖像融合算法中特征提取不全、紋理細(xì)節(jié)丟失等問(wèn)題，提出一種雙分支動(dòng)態(tài)感受野的融合算法。首先，利用雙分支分別提取SAR和可見(jiàn)光圖像特征。其次，針對(duì)可見(jiàn)光分支引入可學(xué)習(xí)的權(quán)重選擇單元指導(dǎo)融合。最后，引入了結(jié)構(gòu)相似性損失與改進(jìn)的峰值信噪比損失函數(shù)，更好地保留了SAR和可見(jiàn)光的結(jié)構(gòu)紋理信息。實(shí)驗(yàn)結(jié)果顯示，該算法在主觀視覺(jué)方面表現(xiàn)出色，細(xì)節(jié)信息豐富且人眼辨識(shí)度高，同時(shí)在客觀評(píng)價(jià)指標(biāo)（包括GD、SF、PSNR、SSIM及STD）上也實(shí)現(xiàn)了顯著的提升。

關(guān)鍵詞：條件生成對(duì)抗網(wǎng)絡(luò);雙分支;動(dòng)態(tài)感受野;殘差網(wǎng)絡(luò);圖像融合

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

圖像融合技術(shù)是一種將兩個(gè)或更多圖像傳感器所捕獲的補(bǔ)充或多余信息進(jìn)行融合的方法，生成的圖像既清晰又富含信息[1]，為后續(xù)的圖像目標(biāo)定位、識(shí)別、檢測(cè)等提供了有力支持。由于合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）成像不需要陽(yáng)光照射，因此在能見(jiàn)度極低的氣象條件下也能獲得高分辨率的圖像。然而，由于SAR圖像采用側(cè)視成像方式，具有相干性特性，因此常常帶有明顯的噪聲，對(duì)圖像清晰度以及對(duì)人肉眼的判斷有明顯的影響。相比之下，可見(jiàn)光圖像盡管細(xì)節(jié)豐富，但是其依賴(lài)于物體反射光的成像特性，因此在照明條件欠佳時(shí)難以捕捉到清晰圖像。將SAR圖像與可見(jiàn)光圖像融合，可以顯著提升目標(biāo)的清晰度和紋理細(xì)節(jié)的可識(shí)別度，從而增強(qiáng)對(duì)場(chǎng)景的解讀，有助于對(duì)目標(biāo)的準(zhǔn)確識(shí)別，并確保系統(tǒng)能夠在各種光照條件下穩(wěn)定運(yùn)行。本文提出一種雙分支動(dòng)態(tài)感受野的SAR與可見(jiàn)光融合算法。首先，使用雙分支提取不同模態(tài)圖像的特征，針對(duì)可見(jiàn)光分支引入殘差結(jié)構(gòu)和動(dòng)態(tài)感受野機(jī)制，使得網(wǎng)絡(luò)能夠根據(jù)不同輸入動(dòng)態(tài)調(diào)整，以捕捉不同尺度的特征信息。其次，使用融合模塊融合雙分支提取的特征送給解碼器進(jìn)行圖像重建。最后，加入結(jié)構(gòu)相似性損失與峰值信噪比損失得到最后的融合圖像。該算法模型針對(duì)不同尺度與不同模態(tài)的圖像，具有更好的特征提取能力與圖像重建能力。

1 相關(guān)工作（Relatedwork）

在傳統(tǒng)融合方法方面，空間域融合方法中的IHS變化、Brovey變換、Gram-Schmidt光譜銳化方法和加權(quán)平均法，以及變換域方法中的多尺度變換，如脊波變換、金字塔變換[2]、曲波變換、小波變換[3]、非下采樣剪切波變換[4]、非下采樣輪廓波變換[5]等方法，在影像融合領(lǐng)域得到快速發(fā)展和廣泛應(yīng)用?？臻g域融合方法以其直觀且快速的特點(diǎn)，非常適用于實(shí)時(shí)處理場(chǎng)景。然而，簡(jiǎn)單的像素疊加可能會(huì)降低影像的精度，并引起光譜扭曲，通常和其他方法一起使用，可以提升融合圖像的質(zhì)量和準(zhǔn)確性。相比之下，變換域算法提供的多尺度分解系數(shù)特征具有平移不變性和多方向性，在計(jì)算成本和實(shí)現(xiàn)復(fù)雜度方面存在一定的局限性。

在深度學(xué)習(xí)方面，利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）實(shí)現(xiàn)的自動(dòng)融合流程簡(jiǎn)化了光學(xué)和SAR影像的融合工作。此外，基于AlexNet改進(jìn)的13層深網(wǎng)絡(luò)自動(dòng)提取影像特征，消除了手動(dòng)特征提取的需求，使得影像融合過(guò)程更加智能化。SCHMITT等[6]的研究通過(guò)自動(dòng)編碼器和混合密度網(wǎng)絡(luò)從Sentinel-2 的影像數(shù)據(jù)中學(xué)習(xí)，為Sentinel-1圖像進(jìn)行彩色化提供了新途徑，這對(duì)解決SAR影像缺乏顏色信息的問(wèn)題具有重要意義。JUNG等[7]引入了一種輕量級(jí)且無(wú)監(jiān)督的深度學(xué)習(xí)方法，用于影像融合，簡(jiǎn)化了融合過(guò)程。HE等[8]結(jié)合使用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）和PatchGAN網(wǎng)絡(luò)[9]，有效提高了多時(shí)相數(shù)據(jù)融合后光學(xué)影像的仿真質(zhì)量。YIN等[10]針對(duì)現(xiàn)有算法提取特征不全面、網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定等問(wèn)題，提出了拉普拉斯金字塔GAN，構(gòu)建了一個(gè)由淺層特征提取模塊、拉普拉斯金字塔模塊及重構(gòu)模塊組成的生成器。此外，解碼器中配備了注意力模塊，可以有效解碼顯著特征。同時(shí)，采用兩個(gè)判別器分別對(duì)融合圖像和兩種不同的模態(tài)進(jìn)行判別。然而，現(xiàn)有的基于Pix2pix的圖像融合方法仍存在一些局限性，例如不同模態(tài)數(shù)據(jù)特征的針對(duì)性提取不夠精準(zhǔn)、紋理細(xì)節(jié)丟失以及訓(xùn)練穩(wěn)定性有待提升等。

因此，本文提出了一種雙分支動(dòng)態(tài)感受野的SAR與可見(jiàn)光融合算法，不僅解決了手動(dòng)設(shè)計(jì)濾波器的問(wèn)題，而且還使得融合后的圖像更易于人眼識(shí)別，提升了圖像的視覺(jué)效果。

2 本文方法（Methodology）

2.1 總體融合網(wǎng)絡(luò)框架

雙分支動(dòng)態(tài)感受野的SAR與可見(jiàn)光融合算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。網(wǎng)絡(luò)以SAR與可見(jiàn)光圖像對(duì)作為輸入，產(chǎn)生融合后的圖像作為輸出。生成網(wǎng)絡(luò)中的編碼器采用了雙分支結(jié)構(gòu)，用于分別處理SAR與可見(jiàn)光圖像。這種多分支結(jié)構(gòu)有助于有效融合不同模態(tài)的信息，從而得到更優(yōu)質(zhì)的融合結(jié)果。鑒別網(wǎng)絡(luò)完全由卷積層構(gòu)成。它的功能是區(qū)分實(shí)際的可見(jiàn)光圖像和生成的融合圖像，促使生成網(wǎng)絡(luò)生成在細(xì)節(jié)和紋理方面與實(shí)際可見(jiàn)光圖像更相似的融合圖像。

2.2 生成器網(wǎng)絡(luò)框架

本文設(shè)計(jì)的雙分支生成器結(jié)構(gòu)創(chuàng)新性地融合了普通下采樣生成器分支與并行CNN增強(qiáng)的殘差連接生成器分支，并配備了權(quán)重選擇單元和特征融合策略模塊。在信息傳遞過(guò)程中，傳統(tǒng)卷積網(wǎng)絡(luò)或全連接網(wǎng)絡(luò)通常會(huì)遇到信息損失與冗余問(wèn)題，并且在層數(shù)較多的情況下容易引發(fā)梯度消失或梯度爆炸，從而阻礙網(wǎng)絡(luò)的訓(xùn)練。為了解決上述問(wèn)題，本文采用了殘差連接和U形網(wǎng)絡(luò)相結(jié)合的方法，對(duì)生成器網(wǎng)絡(luò)的架構(gòu)進(jìn)行優(yōu)化改進(jìn)。生成器的編碼部分由兩個(gè)分支構(gòu)成，分別負(fù)責(zé)處理SAR圖像和可見(jiàn)光圖像，生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

第一個(gè)分支是普通下采樣生成器分支，負(fù)責(zé)處理SAR圖像輸入。該分支中的每個(gè)下采樣模塊都包含卷積層、實(shí)例標(biāo)準(zhǔn)化層及LeakyReLU層。第二個(gè)分支是并行CNN增強(qiáng)的殘差連接分支，負(fù)責(zé)處理可見(jiàn)光圖像輸入。并行CNN網(wǎng)絡(luò)通過(guò)不同的卷積核大小來(lái)提取不同尺度的特征信息。同時(shí)，加入殘差連接機(jī)制，有效促進(jìn)特征的重用，不僅提升了網(wǎng)絡(luò)的性能與潛力，而且還構(gòu)建了易于訓(xùn)練、具有高參數(shù)效率的緊湊模型，進(jìn)一步挖掘了深層特征。生成器中上采樣和下采樣的詳細(xì)結(jié)構(gòu)如圖3所示。

經(jīng)過(guò)兩個(gè)分支進(jìn)行特征提取后，將特征提取的結(jié)果經(jīng)過(guò)融合策略送入上采樣部分，同時(shí)將并行CNN網(wǎng)絡(luò)的結(jié)果通過(guò)權(quán)重選擇單元（Weight Selection Unit，WSU）跳躍連接到上采樣塊。其中，WSU單元是一個(gè)可學(xué)習(xí)權(quán)重的網(wǎng)絡(luò)，它能夠接收不同感受野分支的信息，通過(guò)全連接層和Softmax層計(jì)算不同層特征信息的貢獻(xiàn)度，將進(jìn)行加權(quán)平均得到的輸出結(jié)果送給上采樣塊，使得網(wǎng)絡(luò)能夠更好地利用不同感受野的特征信息，從而保留更多可見(jiàn)光的細(xì)節(jié)信息。WSU的詳細(xì)結(jié)構(gòu)如圖4所示。

本文采取的融合策略是加權(quán)平均，其中SAR與可見(jiàn)光的權(quán)值分別為φ₁和φ₂;圖2中的Strategy塊表示該融合策略。

2.3 判別器網(wǎng)絡(luò)框架

本文采用的判別器網(wǎng)絡(luò)結(jié)構(gòu)是基于PatchGan修改的網(wǎng)絡(luò)結(jié)構(gòu)，用于在局部圖像塊的規(guī)模上懲罰結(jié)構(gòu)。判別器包括5個(gè)卷積塊，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。判別器的前4層各含有一層卷積，運(yùn)用批量歸一化對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，并采用LeakyReLU函數(shù)進(jìn)行激活;最終層則通過(guò)卷積層產(chǎn)生一個(gè)特征圖，該圖表征了每個(gè)局部區(qū)域是真實(shí)樣本的可能性。

2.4 損失函數(shù)

本文使用的損失函數(shù)包含生成器的損失函數(shù)LG和判別器的損失函數(shù)LD兩個(gè)部分，二者共同作用保證了對(duì)SAR和可見(jiàn)光圖像信息的提取與保留。

2.4.1 生成器損失函數(shù)

本文需要保留光學(xué)圖像的輪廓信息和SAR圖像的紋理細(xì)節(jié)。因此，生成器的損失函數(shù)主要考慮4個(gè)部分，如公式（1）所示：

Ｌ_G=L_GAN "（ G） +αL_L1（G）+βL_SSIM（G）+γL_PSNR（G） （1）

其中：L_GAN （G）為對(duì)抗損失，L_L1（G）為內(nèi)容損失，L_{SSIM （}G）為結(jié)構(gòu)相似性損失，L_PSNR（G）為峰值信噪比損失，α、β 和γ 是用于平衡以上4個(gè)損失函數(shù)的系數(shù)。對(duì)于對(duì)抗損失，為了避免生成的結(jié)果完全朝向可見(jiàn)光圖像，生成器在訓(xùn)練時(shí)，其希望判別器對(duì)于生成的假數(shù)據(jù)輸出的置信度目標(biāo)值被設(shè)定為[?，1]的隨機(jī)數(shù)。對(duì)于結(jié)構(gòu)相似性損失，使用SAR圖像與生成的假圖像進(jìn)行計(jì)算;對(duì)于峰值信噪比損失，分別計(jì)算SAR圖像和可見(jiàn)光圖像與生成圖像之間的損失。為了平衡兩種待融合圖像的不同貢獻(xiàn)度與自適應(yīng)不同圖像對(duì)中像素的不同占比，使用每一對(duì)圖像的像素占比作為權(quán)重。損失函數(shù)如表1所示。

2.4.2 判別器損失函數(shù)

GAN通過(guò)引入判別器，實(shí)現(xiàn)了生成器和判別器的相互競(jìng)爭(zhēng)與協(xié)作，推動(dòng)了模型的學(xué)習(xí)和優(yōu)化過(guò)程，使得生成器生成的樣本越來(lái)越逼真。判別器的損失函數(shù)包含兩個(gè)部分：一部分是生成器和判別器之間的對(duì)抗損失LGAN（D），另一部分是結(jié)構(gòu)相似性損失，總的損失如公式（2）所示：

L_D=L_GAN" （D ） +βL_SSIM（D） （2）

其中，β 為結(jié)構(gòu)相似損失的權(quán)重。對(duì)于對(duì)抗損失，同樣使用了區(qū)間[0，?]和區(qū)間[?，1]之間的隨機(jī)數(shù)代替了判別為假的樣本和判別為真的樣本的目標(biāo)值。為了更好地保留SAR圖像中豐富的紋理信息，在判別器中也引入結(jié)構(gòu)相似性損失。具體計(jì)算方式與前文所述的在生成器中的相關(guān)計(jì)算保持一致。

3 實(shí)驗(yàn)（Experiments）

本文使用的數(shù)據(jù)全部來(lái)自數(shù)據(jù)集SEN1-2，該數(shù)據(jù)集包含了由哨兵一號(hào)和哨兵二號(hào)衛(wèi)星所匹配的SAR與光學(xué)圖像塊。

首先，從數(shù)據(jù)集中隨機(jī)選擇1200對(duì)光學(xué)和SAR圖像對(duì)進(jìn)行訓(xùn)練與預(yù)測(cè)。其中，1140對(duì)用于訓(xùn)練，60對(duì)用于進(jìn)行定性和定量分析。使用Adam優(yōu)化器持續(xù)提高網(wǎng)絡(luò)性能，直到達(dá)到最大訓(xùn)練次數(shù)。在本文中，訓(xùn)練參數(shù)設(shè)定如下：批處理圖像的尺寸設(shè)置為16，訓(xùn)練迭代進(jìn)行20次，判別器的訓(xùn)練步幅設(shè)置為2。此外，采用Adam優(yōu)化器，其超參數(shù)β₁與β₂分別設(shè)置為0.500和0.999，權(quán)重的衰減系數(shù)設(shè)定為0.0001，α 設(shè)置為100，β 設(shè)置為10，γ 設(shè)置為100，φ₁和φ₂均設(shè)置為0.5，?設(shè)置為0.3，?設(shè)置為0.7，學(xué)習(xí)率設(shè)置為10^-4?？梢?jiàn)光的編碼器部分有3個(gè)分支，卷積核大小分別為3、5和7。本文進(jìn)行的所有實(shí)驗(yàn)均在Ubuntu20.04.3系統(tǒng)、4090顯卡、Intel（R）Xeon（R）Platinum8375C的CPU上運(yùn)行。

3.1 評(píng)價(jià)指標(biāo)

本文采用了一系列客觀的評(píng)價(jià)指標(biāo)定量分析融合圖像的質(zhì)量，包含熵（Entropy，EN）、梯度（Gradient，GD）、空間頻率（Spatial Frequency，SF）、峰值信噪比（PeakSignal-to-NoiseRatio，PSNR）、結(jié)構(gòu)相似性指數(shù)（Structural" SimilarityIndex，SSIM）、相關(guān)系數(shù)（Correlation Coefficient，CC）及標(biāo)準(zhǔn)差（Standard Deviation，STD）。

3.2 對(duì)比實(shí)驗(yàn)

為了有效地評(píng)估本文提出的光學(xué)和SAR圖像融合算法的性能，本文將其與其他4種代表性的圖像融合方法進(jìn)行了比較，包括離散小波變換（Discrete Wavelet Transform，DWT）、循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)（Cycle-Consistent Generative" Adversarial Networks，CycleGAN）、Pix2Pix及DenseFuse融合方法。其中，DWT是基于變換域的代表性方法，DenseFuse 是基于卷積神經(jīng)網(wǎng)絡(luò)的方法，而CycleGAN和Pix2Pix是基于生成對(duì)抗網(wǎng)絡(luò)的方法，不同的方法有不同的融合效果。實(shí)驗(yàn)中，隨機(jī)選定3組SAR與可見(jiàn)光圖像對(duì)，不同算法的融合結(jié)果如圖6所示。

從圖6中的融合結(jié)果可以看出，基于離散小波變換的融合方法所得到的融合結(jié)果雖然保留了SAR圖像的部分特征，但是光譜信息并未能很好地從可見(jiàn)光圖像上保留下來(lái)。Pix2Pix 與CycleGAN模型對(duì)可見(jiàn)光特征的保留比較完整，但是在紋理細(xì)節(jié)及圖片清晰度方面存在不足。本文提出的方法很好地保留了圖像的光譜信息，融合結(jié)果接近可見(jiàn)光圖像，更加符合人眼的視覺(jué)感受，圖像清晰度高，并且SAR圖像的紋理細(xì)節(jié)和輪廓也保留得較好。

此外，為了進(jìn)一步比較不同算法獲得的融合結(jié)果的性能，對(duì)上述3對(duì)圖像通過(guò)Canny算法進(jìn)行邊緣檢測(cè)，結(jié)果如圖7所示。其中，從左到右的縱列依次展示了可見(jiàn)光圖像、融合圖像、可見(jiàn)光圖像的邊緣檢測(cè)結(jié)果以及融合圖像的邊緣檢測(cè)結(jié)果。

本文計(jì)算了60對(duì)圖像在多個(gè)客觀評(píng)價(jià)指標(biāo)上的平均值，并與不同算法模型進(jìn)行比較。對(duì)比實(shí)驗(yàn)客觀結(jié)果如表2所示。

觀察表2中的數(shù)據(jù)得知，本文提出的雙分支動(dòng)態(tài)感受野的SAR與可見(jiàn)光融合算法在多個(gè)指標(biāo)上均達(dá)到了最高水平，與性能較好的Pix2Pix模型相比，該算法在GD、SF、PSNR、SSIM、STD等指標(biāo)上分別提升了7.63%、16.97%、17.10%、23.13%、12.27%，特別是在PSNR、SSIM 和SF上的提升尤為顯著，這意味著融合圖像的重建質(zhì)量較高，細(xì)節(jié)表現(xiàn)豐富且圖像噪聲較低。在圖像融合效果方面，該算法表現(xiàn)出了較高的目標(biāo)對(duì)比度，這一優(yōu)勢(shì)可以增強(qiáng)目標(biāo)的突出程度，對(duì)目標(biāo)檢測(cè)產(chǎn)生了積極影響。同時(shí)，背景區(qū)域的紋理細(xì)節(jié)保留得更好。無(wú)論是從主觀的視覺(jué)評(píng)價(jià)，還是從客觀的評(píng)價(jià)指標(biāo)來(lái)看，本文提出的算法均取得了較好的結(jié)果。

3.3 消融實(shí)驗(yàn)

在Pix2Pix模型的基礎(chǔ)上，引入不同的網(wǎng)絡(luò)結(jié)構(gòu)以及不同的損失函數(shù)進(jìn)行消融實(shí)驗(yàn)，其客觀結(jié)果如表3 所示。將Pix2Pix、雙分支結(jié)構(gòu)（表3的前兩行）、只使用SSIM 損失以及同時(shí)使用兩種損失函數(shù)（表3的后兩行）進(jìn)行了對(duì)比，評(píng)估了不同結(jié)構(gòu)對(duì)于模型性能的影響。隨后，討論了具有不同損失函數(shù)的網(wǎng)絡(luò)的融合效果。

由表3中的數(shù)據(jù)可以看出，相較于基準(zhǔn)模型，采用雙分支結(jié)構(gòu)后，模型在SF、PSNR、SSIM、CC和STD等指標(biāo)上均有所提升，這表明該結(jié)構(gòu)在提升圖像質(zhì)量和結(jié)構(gòu)相似性方面的有效性。加入損失函數(shù)后，所有指標(biāo)均有所提升，特別是在GD、SF、PSNR和SSIM 等指標(biāo)上均有顯著提升，表明本文提出的模型在圖像質(zhì)量、結(jié)構(gòu)相似性以及圖像的細(xì)節(jié)和紋理特征方面均有不錯(cuò)的表現(xiàn)。

4 結(jié)論（Conclusion）

本文基于條件生成對(duì)抗網(wǎng)絡(luò)，提出一種雙分支動(dòng)態(tài)感受野的SAR與可見(jiàn)光融合算法，與目前主流的SAR與可見(jiàn)光圖像融合算法進(jìn)行對(duì)比，本文所提方法在提取不同尺度信息和保留完整的邊緣細(xì)節(jié)方面具有顯著的優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明，本文所提方法在信息熵、梯度、空間頻率、標(biāo)準(zhǔn)差、峰值信噪比和結(jié)構(gòu)相似性等客觀評(píng)價(jià)指標(biāo)上具有明顯的優(yōu)勢(shì)，主觀評(píng)價(jià)具有較好的可視性，有利于后續(xù)開(kāi)展目標(biāo)識(shí)別和檢測(cè)等任務(wù)。下一階段的研究重點(diǎn)將放在制定更加有效的融合策略上，并對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行輕量化改進(jìn)，以提高模型的訓(xùn)練速度并減少開(kāi)銷(xiāo)。

作者簡(jiǎn)介：

王程遠(yuǎn)（1997-），男（漢族），寶雞，碩士生。研究領(lǐng)域：深度學(xué)習(xí)，圖像處理。

劉立群（1982-），女（漢族），天水，教授，碩士。研究領(lǐng)域：智能計(jì)算，深度學(xué)習(xí)。本文通信作者。