基于深度學(xué)習(xí)的SAR 圖像質(zhì)量提升方法研究

劉艷芳，李春升，楊 威

（北京航空航天大學(xué)電子信息工程學(xué)院，北京 100191）

0 引言

合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）是一種主動式微波傳感器，通過發(fā)射電磁波并接收地面目標(biāo)的反射信號，對其進(jìn)行成像處理來獲取目標(biāo)的高分辨率圖像，能夠?qū)崿F(xiàn)全天時、全天候成像。由于SAR 圖像的微波成像機(jī)理，SAR圖像中存在著一些明顯區(qū)別于光學(xué)圖像的特征，質(zhì)量也明顯弱于光學(xué)圖像。SAR 圖像的關(guān)鍵特征主要體現(xiàn)在以下方面：1）SAR 圖像可以有效反映目標(biāo)的散射信息、結(jié)構(gòu)信息等，但缺乏光譜信息，在視覺效果上弱于光學(xué)圖像。SAR 圖像的解譯存在一定難度。2）SAR 圖像的分辨率受信號帶寬影響。由于系統(tǒng)設(shè)計的限制，SAR 圖像的分辨率有極限。SAR 圖像對目標(biāo)特征的刻畫能力受分辨率影響。3）地面散射物的反射信號之間存在相干干擾，使得SAR 圖像中存在特有的斑點噪聲，大大降低了SAR圖像質(zhì)量。4）SAR 圖像的模糊函數(shù)為二維Sinc 函數(shù)，其圖像中存在不可忽視的旁瓣問題。

SAR 圖像中存在的諸多問題，使得后續(xù)的SAR圖像處理和解譯存在一定困難。SAR 圖像質(zhì)量提升是SAR 圖像處理中的一個重要研究內(nèi)容。SAR 圖像質(zhì)量的提升主要是圖像輻射質(zhì)量的提升與圖像可判讀性的提升。SAR 圖像輻射質(zhì)量的主要評價指標(biāo)為信噪比、信雜比、輻射分辨率和等效視數(shù)等。SAR 圖像可判讀性主要的評價標(biāo)準(zhǔn)為圖像有效信息的保留及增強(qiáng)效果。圖像中的旁瓣信息為冗余信息，去除旁瓣信息，可以有效提升SAR圖像的判讀性。而圖像的超分辨處理同樣能夠增強(qiáng)圖像的有效信息，增強(qiáng)SAR 圖像的視覺效果。

近幾年，深度學(xué)習(xí)理論飛速發(fā)展，深度學(xué)習(xí)技術(shù)廣泛應(yīng)用于各個研究領(lǐng)域。在SAR 圖像處理中，同樣取得了重大進(jìn)步。深度學(xué)習(xí)由于其智能化、自主學(xué)習(xí)的特征，可擺脫傳統(tǒng)方法對信號建模帶來的性能限制，為SAR 圖像質(zhì)量增強(qiáng)提供了新的思路。深度學(xué)習(xí)在光學(xué)圖像處理上的成功也為SAR 圖像質(zhì)量提升提供了強(qiáng)有力的支撐。在SAR 圖像質(zhì)量智能增強(qiáng)領(lǐng)域，深度學(xué)習(xí)的未來發(fā)展前景可觀。

本文重點對深度學(xué)習(xí)中的典型神經(jīng)網(wǎng)絡(luò)及其在SAR 圖像質(zhì)量提升中的關(guān)鍵應(yīng)用進(jìn)行了綜述。從SAR 圖像質(zhì)量提升中的旁瓣抑制、超分辨和圖像融合3 個方面，分別介紹深度學(xué)習(xí)在其中的應(yīng)用，并展示了處理結(jié)果。對深度學(xué)習(xí)在SAR 圖像質(zhì)量提升領(lǐng)域的進(jìn)一步研究方向進(jìn)行了展望。

1 典型網(wǎng)絡(luò)

深度學(xué)習(xí)中的典型網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）和生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）等，其中在SAR 圖像質(zhì)量提升中，以CNN 與GAN 為典型代表。

1.1 CNN

CNN是目前最為常用的神經(jīng)網(wǎng)絡(luò)，其關(guān)鍵特征在于使用卷積層核和池化層進(jìn)行自主的信息/特征提取，并利用提取后的重要信息，通過訓(xùn)練構(gòu)建輸入輸出間的非線性映射。CNN 主要由卷積、激活、池化3 種操作完成從輸入到輸出的映射，其結(jié)構(gòu)如圖1 所示。

圖1 CNN 結(jié)構(gòu)Fig.1 Structure of CNN

1.1.1 卷積

卷積操作是CNN 中的核心操作，其主要作用為提取圖像特征信息。通過多個卷積核，可以分別提取圖像的多個特征。同樣地，也可以采用多個卷積層，實現(xiàn)不同感受野和不同尺度信息的提取，獲取圖像的底層信息。

1.1.2 激活

激活是CNN 能夠解決非線性問題的關(guān)鍵，類似于神經(jīng)元的“激活”。激活操作的主要作用在于完成非線性映射，實現(xiàn)非線性建模。

1.1.3 池化

池化操作的主要作用是減少參與運算的像素點。通過一個小尺寸的濾波器，保留主要像素點，剔除冗余信息，實現(xiàn)非線性降采樣。

1.2 GAN

GAN 由GOODFELLOW 等提出，其原理思想來源于博弈相對論。典型的GAN 如圖2 所示，其主要由生成器和判別器組成。生成器的目標(biāo)與作用是生成盡可能接近于真實的圖像，而判別器的目標(biāo)與作用則是盡可能有效地判別圖像的真假。生成器與判別器之間相互對抗與博弈，不斷優(yōu)化各自的性能，最終達(dá)到納什平衡。在實現(xiàn)時，采用先固定一方，優(yōu)化另一方的方式實現(xiàn)功能。在最大化判別器判別能力時，固定生成器；同樣，在最小化生成器輸出圖像與真實圖像的差別時，固定判別器。迭代地優(yōu)化生成器和判別器，使其相互促進(jìn)，從而達(dá)到性能的最優(yōu)。

圖2 GAN 結(jié)構(gòu)Fig.2 Structure of GAN

2 深度學(xué)習(xí)在SAR 圖像質(zhì)量提升中的應(yīng)用

2.1 基于深度學(xué)習(xí)的SAR 圖像旁瓣抑制方法研究

旁瓣抑制問題是SAR 圖像中的一個關(guān)鍵問題，也是一個典型的逆問題。SAR 圖像的點擴(kuò)散函數(shù)為一二維Sinc 函數(shù)，其旁瓣眾多，且其強(qiáng)度以周期性振蕩的方式遞減。對于強(qiáng)點目標(biāo)，其旁瓣能量將會在圖像中漫延，甚至掩蓋弱點目標(biāo)。旁瓣信息在SAR 圖像中屬于無效信息，需剔除以增強(qiáng)SAR 圖像質(zhì)量。理想的旁瓣抑制方法是既能有效抑制旁瓣能量，又能保持主瓣的寬度與能量。但在傳統(tǒng)的旁瓣抑制方法中，兩者是矛盾的。傳統(tǒng)旁瓣抑制方法通常以主瓣分辨率或主瓣能量為代價，獲取良好的旁瓣抑制性能。圖像的分辨力抑或是圖像的能量損失，均為后續(xù)的SAR 圖像應(yīng)用造成一定困難。

深度學(xué)習(xí)為SAR 圖像旁瓣抑制問題的解決提供了一種新的思路。將深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合，提出一種基于深度學(xué)習(xí)的旁瓣抑制方法。利用空間變跡法（Spatially Variant Apodization，SVA）方法消除目標(biāo)的旁瓣，同時，利用CNN 來恢復(fù)主瓣能量，從而實現(xiàn)“理想”的SAR 圖像旁瓣抑制。首先利用魯棒空間變跡法（Robust Spatially Variant Apodization，RSVA）方法得到預(yù)處理后的SAR 圖像。預(yù)處理的SAR 圖像的旁瓣得到有效抑制，但其主瓣能量損失，圖像能量損失。對比預(yù)處理圖像和原始圖像，篩選出目標(biāo)的主瓣像素。最后，利用CNN 對目標(biāo)的主瓣能量進(jìn)行增強(qiáng)，有效地恢復(fù)目標(biāo)的強(qiáng)度信息。采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。網(wǎng)絡(luò)由4 個卷積層、1 個全連接層和1 個作為輸出的神經(jīng)元組成。激活函數(shù)為線性整流函數(shù)（Rectified Linear Unit，ReLU）。采用L2 正則化的損失函數(shù)，并通過基于梯度下降優(yōu)化的反向傳播算法訓(xùn)練數(shù)據(jù)。訓(xùn)練數(shù)據(jù)集為仿真生成的767 232 組僅包含主瓣信息的數(shù)據(jù)組成。

圖3 基于CNN 的旁瓣抑制方法網(wǎng)絡(luò)結(jié)構(gòu)［6］Fig.3 Structure of the sidelobe suppression network based on CNN［6］

為了驗證該方法的有效性，對TerraSAR-X 滑動聚束模式SAR 圖像進(jìn)行處理。圖像中存在大量的建筑物，包含大量的散射強(qiáng)點，有明顯的旁瓣問題。處理結(jié)果如圖4 所示。對比RSVA 方法處理結(jié)果和原始圖像，可以明顯看出旁瓣信息被抑制，但是圖像的強(qiáng)度整體下降，表明主瓣能量同樣大量流失。為進(jìn)一步對比RSVA 方法和基于CNN 的方法的處理結(jié)果，提取圖像中的3 個區(qū)域進(jìn)行放大，如圖5 所示。對比結(jié)果表明，2 種方法的旁瓣抑制性能相近。對于孤立目標(biāo)，如圖5（b）所示，2 種方法的結(jié)果也相近。但對雜亂區(qū)域中的目標(biāo)，如圖5（c）所示，基于CNN 的方法有效增強(qiáng)了目標(biāo)強(qiáng)度，目標(biāo)能量得到有效恢復(fù)。

圖4 SAR 圖像旁瓣抑制處理結(jié)果Fig.4 Sidelobe suppression results of SAR images

圖5 圖4 框選區(qū)域的局部放大圖Fig.5 Partial enlarged images of the selected rectangle areas in Fig.4

本文研究方法展現(xiàn)了一種深度學(xué)習(xí)應(yīng)用的典型思路，繼承了傳統(tǒng)方法的強(qiáng)大理論支撐，并借助深度學(xué)習(xí)實現(xiàn)了性能上的提升，有效發(fā)揮了深度學(xué)習(xí)的優(yōu)勢；以基于模型驅(qū)動的方法為基礎(chǔ)，也有效規(guī)避了基于深度學(xué)習(xí)方法中對數(shù)據(jù)集及網(wǎng)絡(luò)結(jié)構(gòu)等的限制，降低了對深度學(xué)習(xí)方法的要求，方法的穩(wěn)定性得以保證，方法的處理思路值得借鑒。

2.2 基于深度學(xué)習(xí)的SAR 圖像超分辨方法研究

目前，基于深度學(xué)習(xí)的超分辨技術(shù)已經(jīng)在自然圖像上取得較好的效果。將深度學(xué)習(xí)應(yīng)用于SAR 圖像的超分辨處理同樣是研究熱點。SAR 圖像的分辨率有限，對地面目標(biāo)的細(xì)節(jié)信息刻畫能力不足。同時，SAR 圖像中受斑點噪聲干擾，與光學(xué)圖像相比，其圖像質(zhì)量及目標(biāo)的可視化效果較弱。SAR 圖像和光學(xué)圖像間的差異，使得基于光學(xué)圖像的超分辨方法無法直接應(yīng)用于SAR 圖像處理中。由于SAR 圖像特征，實現(xiàn)SAR 圖像的超分辨更具挑戰(zhàn)性。

2017 年，王振等利用卡通紋理分解方法和聚類聯(lián)合回歸器的思想實現(xiàn)了低分辨率SAR 圖像的高分辨率重建。基于聯(lián)合學(xué)習(xí)的策略，使所有圖像塊的總誤差達(dá)到最小，已實現(xiàn)更為準(zhǔn)確的高分辨率重建。2018 年，WANG 等將生成對抗網(wǎng)絡(luò)應(yīng)用于SAR 圖像超分辨率重建中，在重建精度上實現(xiàn)了新突破。2019 年，GU 等利用了深度生成對抗網(wǎng)絡(luò)（Deep Generative Adversarial Network，DGAN）來重建偽高分辨率（High Resolution，HR）SAR 圖像。通過采用更為優(yōu)越的網(wǎng)絡(luò)結(jié)構(gòu)和引入對抗目標(biāo)函數(shù)來進(jìn)一步提升重建性能，使重建結(jié)果更為自然，并可恢復(fù)更多的紋理信息。LUO 等通過構(gòu)建低分辨率圖像和高分辨率圖像的映射關(guān)系，并將結(jié)構(gòu)相似性指數(shù)引入快速超分辨率CNN 中，實現(xiàn)了基于浮點數(shù)的SAR 圖像超分辨率，其性能明顯優(yōu)于傳統(tǒng)的CNN 方法。

超分辨率生成對抗網(wǎng)絡(luò)（Super-Resolution Generative Adversarial Network，SRGAN）是光學(xué)圖像的超分辨處理中的經(jīng)典網(wǎng)絡(luò)。在SAR 圖像處理中，也可引入SRGAN 網(wǎng)絡(luò)實現(xiàn)超分辨（Super Resolution，SR）。SRGAN 網(wǎng)絡(luò)包含生成器與判別器2 個部分，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。SRGAN 網(wǎng)絡(luò)使用SRResNet 網(wǎng)絡(luò)作為生成器。SSResNet 網(wǎng)絡(luò)包含卷積層、批規(guī)范層（Batch Normalization，BN）、16 個殘差塊以及2個子像素亞采樣層。每個殘差塊均包括了卷積核、批規(guī)范層以及殘差運算層。其激活函數(shù)為PReLU 函數(shù)。判別器包含了8個卷積層，并采用LeakyReLU 函數(shù)作為激活函數(shù)。判別器的最終輸出需通過1 個Sigmoid 函數(shù)，以得到最終的概率輸出。在SRGAN 網(wǎng)絡(luò)中，將內(nèi)容損失函數(shù)代替常規(guī)的MSE引入到生成損失函數(shù)中，與對抗損失函數(shù)共同組成生成損失函數(shù)，以促使網(wǎng)絡(luò)學(xué)習(xí)圖像中的細(xì)節(jié)信息。判別器的損失函數(shù)則為二分類交叉熵?fù)p失函數(shù)。

圖6 SRGAN 結(jié)構(gòu)圖［16］Fig.6 Structure of SRGAN［16］

SAR 圖像的特性導(dǎo)致其直接應(yīng)用SRGAN 網(wǎng)絡(luò)的效果并不理想，其主要影響因素為SAR 圖像的斑點噪聲。斑點噪聲與圖像的高頻特征信息類似，在處理時，易將斑點噪聲錯認(rèn)為特征信息進(jìn)行增強(qiáng)，圖像的超分辨結(jié)果出現(xiàn)塊狀或條紋狀的噪聲。因此，在超分辨處理前，需對低分辨率（Low Resolution，LR）SAR 圖像中的斑點噪聲進(jìn)行預(yù)處理，輸出相對干凈圖像制作為數(shù)據(jù)集。

同時，由于SAR 圖像相對于自然圖像，其有更多的目標(biāo)結(jié)構(gòu)細(xì)節(jié)，為了能達(dá)到更好的細(xì)節(jié)保持效果，則考慮引入SSIM 指標(biāo)作為損失函數(shù)的一部分，來鼓勵網(wǎng)絡(luò)學(xué)習(xí)到更好的邊緣結(jié)構(gòu)目標(biāo)細(xì)節(jié)。基于SRGAN 的SAR 圖像超分辨處理流程如圖7所示。

圖7 SAR 圖像超分辨處理流程Fig.7 Flow chart of SR processing for SAR images

為驗證方法的超分辨率性能，利用TerraSARX 衛(wèi)星SAR 圖像產(chǎn)品進(jìn)行實驗。對不同角度的SAR 圖像進(jìn)行濾波處理和降采樣處理，生成同一場景的多組高分辨率圖像和低分辨率圖像的樣本對。對樣本對進(jìn)行隨機(jī)裁剪、翻轉(zhuǎn)和旋轉(zhuǎn)以適配不同的場景模型，增強(qiáng)網(wǎng)絡(luò)性能。利用數(shù)據(jù)集訓(xùn)練SRGAN 網(wǎng)絡(luò)模型，再將測試SAR 圖像輸入到網(wǎng)絡(luò)中，得到相應(yīng)的超分辨率結(jié)果，如圖8 所示。低分辨率圖像和超分辨率結(jié)果的對比，證明方法能有效地實現(xiàn)超分辨，道路線條、房屋建筑等目標(biāo)輪廓清晰，細(xì)節(jié)保持良好，重建結(jié)構(gòu)及細(xì)節(jié)逼近真實圖像。

圖8 SAR 圖像的超分辨處理結(jié)果Fig.8 SR processing results of SAR images

2.3 基于深度學(xué)習(xí)的SAR 圖像與光學(xué)圖像融合方法研究

SAR 圖像能夠全天時、全天候成像，但是由于光譜信息的單一，SAR 圖像的視覺效果不佳。而光學(xué)圖像則與SAR 圖像相反，具有豐富的光譜信息，其視覺效果也與人眼視覺效果一致。但是，成像條件苛刻，夜晚及云雨天氣無法成像，無法滿足實時的任務(wù)響應(yīng)與觀測需求。SAR 圖像和光學(xué)圖像間優(yōu)勢互補(bǔ)，將SAR 圖像與受影響的光學(xué)圖像融合，可以提高圖像的視覺可讀性，減弱SAR 圖像解譯難度，便于SAR 圖像的后續(xù)處理。因此，對SAR 圖像和光學(xué)圖像的融合的研究具備重要意義。

近年來，深度學(xué)習(xí)在圖像融合領(lǐng)域得到了快速的發(fā)展，在融合中充分發(fā)揮了其“自主學(xué)習(xí)”的特點，實現(xiàn)了更優(yōu)的融合結(jié)果。2019 年，LIN 等分別從像素級、特征級和決策級3 個層面進(jìn)行光學(xué)圖像和SAR 圖像的融合。通過多級融合，有效提升融合圖像的質(zhì)量。同年，LUO 等提出了一種基于非下采樣輪廓波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)的SAR 圖像與紅外圖像的融合方法。通過脈沖耦合神經(jīng)網(wǎng)絡(luò)綜合考慮不同圖像的特征信息，自動配置參數(shù)，實現(xiàn)了更好的融合效果。2020 年，HUANG等利用條件生成對抗網(wǎng)絡(luò)（Conditional Generative Adversarial Network，CGAN）實現(xiàn)了RGB 圖像和SAR 圖像的特征級融合，有效生成了無霧的圖像。

簡化型脈沖耦合神經(jīng)網(wǎng)絡(luò)（Simplified Pulse Coupled Neural Network，SPCNN）是脈沖耦合神經(jīng)網(wǎng) 絡(luò)（Pulse Coupled Neural Network，PCNN）的一種改進(jìn)形式，其基于脈沖皮質(zhì)模型（Spiking Cortical Model，SCM）來實現(xiàn)參數(shù)的自動化設(shè)置。SPCNN 具有耦合性質(zhì)，神經(jīng)元間可實現(xiàn)信息傳遞。同時，網(wǎng)絡(luò)不需要預(yù)先的訓(xùn)練及練習(xí)，因此非常適用于圖像融合。另外，SPCNN 可綜合考慮不同圖像的特征信息，自動配置參數(shù)，可以實現(xiàn)更好的融合效果。將SPCNN 與傳統(tǒng)的非下采樣輪廓波變換（Non-subsampled Contourlet Transform，NSCT）以及稀疏表示方法相結(jié)合，借助SPCNN 來有效融合高頻特征信息，同時利用稀疏表示的方式來處理低頻信息，可以實現(xiàn)光學(xué)圖像和SAR 圖像的有效融合。算法的流程如圖9 所示。

圖9 基于NSCT 的SPCNN-SR 圖像融合流程Fig.9 Flow chart of the image fusion process based on NSCT and SPCNN-SR

首先利用色度強(qiáng)度飽和度（Hue-Intensity-Saturation，HIS）變換獲取光學(xué)圖像的亮度分量，并分別對光學(xué)圖像的亮度分量和SAR 圖像進(jìn)行NSCT 變換，獲取其相應(yīng)的低高頻系數(shù)。利用SPCNN、稀疏表示處理高頻分量和低頻分量，并依據(jù)各自的融合規(guī)則進(jìn)行融合，以得到融合后的高低頻分量。最后，進(jìn)行逆NSCT 變換，獲取融合后的亮度分量。將其與光學(xué)圖像的分量和分量進(jìn)行JIS 逆變換得到最終的融合圖像。

選取2 組數(shù)據(jù)驗證方法的有效性。第1 組圖像為美國奧馬哈區(qū)域高分系列衛(wèi)星的經(jīng)過精配準(zhǔn)后的圖像，SAR 圖像和光學(xué)圖像如圖10（a）、圖10（b）所示。第2 組圖像為中國北京市區(qū)域高分系列衛(wèi)星的經(jīng)過精配準(zhǔn)后的圖像，SAR 圖像和光學(xué)圖像如圖11（a）、圖11（b）所示。SAR 圖像均為高分三號衛(wèi)星數(shù)據(jù)，光學(xué)數(shù)據(jù)為高分二號數(shù)據(jù)。從圖10（c）可以看出，SAR 圖像能夠為圖像提供更多的細(xì)節(jié)特征，同時，光學(xué)圖像也使得最終的融合結(jié)果具備較好的視覺效果，融合后的結(jié)果在邊緣細(xì)節(jié)及色彩信息上有了一定提升，更易于圖像的解譯。圖11（c）表明了SAR 圖像能夠彌補(bǔ)光學(xué)圖像在特殊氣候下的成像效果。

圖10 美國奧馬哈區(qū)SAR 圖像與光學(xué)圖像的融合結(jié)果Fig.10 Fusion results of SAR and optical images of Omaha，U.S.A.

圖11 北京市區(qū)域SAR 圖像與光學(xué)圖像的融合結(jié)果Fig.11 Fusion results of SAR and optical images of Beijing

3 結(jié)束語

本文對深度學(xué)習(xí)在SAR 圖像質(zhì)量提升中的關(guān)鍵應(yīng)用進(jìn)行了研究，從SAR 圖像旁瓣抑制、超分辨和圖像融合分別驗證了深度學(xué)習(xí)方法的優(yōu)越性能。可以預(yù)見，深度學(xué)習(xí)在SAR 圖像質(zhì)量提升領(lǐng)域?qū)⒌玫介L足的發(fā)展。深度學(xué)習(xí)在SAR 圖像質(zhì)量提升領(lǐng)域的進(jìn)一步研究方向包括：

1）目前應(yīng)用于SAR 圖像質(zhì)量提升中的深度學(xué)習(xí)網(wǎng)絡(luò)，大多基于光學(xué)圖像進(jìn)行開展，其卷積核、激活函數(shù)或是損失函數(shù)大多是針對于光學(xué)圖像處理的。針對于SAR 圖像特征特有的處理或是核心函數(shù)較少。因此，研究由SAR 圖像特征啟發(fā)的核心處理是未來深度學(xué)習(xí)在SAR 圖像處理領(lǐng)域中的關(guān)鍵問題，也是重點研究方向。

2）深度學(xué)習(xí)方法與傳統(tǒng)方法的結(jié)合將是未來的研究方向。在傳統(tǒng)方法的理論支撐下，利用深度學(xué)習(xí)方法突破理論極限，能夠達(dá)到更優(yōu)的性能。

3）樣本數(shù)據(jù)量的多少一直是深度學(xué)習(xí)網(wǎng)絡(luò)中的關(guān)鍵問題。相比于光學(xué)圖像，SAR 圖像樣本集較少，方法的性能受到一定影響。因此，針對小樣本集的深度學(xué)習(xí)網(wǎng)絡(luò)模型優(yōu)化也是一個關(guān)鍵問題。