基于特征復用的膨脹-殘差網絡的SAR圖像超分辨重建

李 萌 劉 暢

①(中國科學院空天信息創新研究院 北京 100190)

②(中國科學院電子學研究所 北京 100190)

③(中國科學院大學 北京 100049)

1 引言

合成孔徑雷達(Synthetic Aperture Radar,SAR)具有的全天時、全天候特性使得SAR圖像被廣泛應用于各個領域，如目標檢測、地物分類和變化檢測等。圖像分辨率作為評價SAR圖像質量的一個重要指標，分辨率越高的圖像會攜帶更多的語義信息，在后續的高級視覺任務中，能夠產生更好的處理效果。然而由于經濟因素的限制，以及SAR成像系統的本身硬件設備限制，大批SAR圖像來自于低端圖像采集設備或者未經過無損的保存，導致采集到的SAR圖像數據多以低分辨率的形式存在，嚴重限制了后期的應用需求，因此需要進行SAR圖像分辨率的提高。

SAR圖像分辨率提高通常有3種途徑：其一是改進和更新硬件，如通過增大系統的發射帶寬和合成大孔徑來提高系統理論分辨率；其二是如現代譜估計法[1]和數據外推法[2]等在成像階段對SAR成像系統采集的原始回波數據進行處理，但它們對信號模型的依賴性很強，且計算量十分龐大；其三為圖像超分辨重建(Super Resolution,SR)方法，即對成像后的SAR圖像運用圖像處理方法，從而實現分辨率提高。受限于SAR相干成像原理，并且改進和更新硬件所需的周期長、成本高，圖像超分辨重建算法的運行成本低，而可行性好，具有重要意義。

插值作為最傳統的SAR圖像超分辨重建算法，其計算簡單、復雜度低，結果計算十分迅速，能夠滿足實時任務需求。最常用的插值方法為最近鄰插值法[3]、雙線性插值方法[4]和雙三次插值[5]，但由于插值法只利用了圖像鄰域之間的相關信息，因此重建得到的圖像精度很低。相較于插值法，Yang等人[6]提出的基于稀疏表示的圖像重建方法ScSR(Super-Resolution Via Sparse Representation)可以得到效果較好的超分辨重建結果。其利用圖像塊的稀疏性訓練得到高低分辨率圖像塊之間的一對字典，實現了高低分辨率圖像映射關系的自主學習，然而由于訓練集樣本受限，因此使用范圍較窄。相較于傳統的SAR圖像超分辨重建算法，卷積神經網絡(Convolutional Neural Network,CNN)能夠自適應地捕獲特征，聯合特征網絡訓練上采樣模塊，通過圖像庫直接訓練低分辨率(Low Resolution,LR)圖像到高分辨率(High Resolution,HR)圖像的端對端的映射函數，具有更好的操作性和靈活性，因此能夠得到更加準確的超分結果，是目前運用最廣并且效果最好的超分辨重建算法。

目前，CNN已被廣泛運用到SAR圖像超分辨重建領域。例如，Dong等人[7]設計的SRCNN(Super-Resolution Convolutional Neural Network)方法使用前饋的3層卷積神經網絡做非線性映射，首次將CNN應用至超分辨領域，但該算法需要對原始高分辨率圖像進行兩次采樣操作來生成輸入圖像，導致時間開銷很大；由于輸入的低分辨率圖像和輸出的高分辨率圖像在很大程度上是相似的，也就是低分辨率圖像攜帶的低頻信息與高分辨率圖像的低頻信息相近，訓練時帶上低頻信息部分會多花費大量的時間，Kim等人[8]提出的VDSR(Very Deep Super Resolution)模型將He等人[9]提出的殘差結構添加進超分辨模型，在提升效率的同時進而解決了之前網絡結構比較深時無法訓練的問題；Wang等人[10]使用生成式對抗網絡(Generative Adversarial Networks,GAN)來實現SAR圖像超分辨重建；Li等人[11]進一步探索了基于反饋機制即權重共享的CNN在超分任務中的運用。

在算法精度方面，全卷積超分辨算法[8-10]均選擇普通殘差結構作為特征提取模塊。然而普通殘差單元的感受野較小，因此對微小細節并不敏感，導致小目標的超分效果不夠精細，甚至信息無法重建；為增加網絡感受野，許多網絡結構[12-14]會使用數量龐大的殘差塊結構，由于網絡層數多、結構復雜，以致訓練網絡十分困難，難以快速達到收斂。而膨脹卷積(Dilated CNN)[15]通過存在空洞的卷積核實現尺寸不變的輸出特征圖，既能實現特征的快速提取，又能保持微小目標的信息重建。因此本文基于一種膨脹-殘差卷積神經網絡(Dilated-Resnet CNN,DR-CNN)來提升分類效率。該結構實質上是將殘差單元中的普通卷積更替為膨脹卷積，因此很容易實現和遷移推廣到復雜的網絡結構中。

另外，考慮到全卷積超分辨網絡作為一個編碼-解碼框架，低等級的特征圖包含更多的簡單信息，比如邊界、顏色，而高等級的特征圖則可以捕獲更抽象且強語義的高維特征，因此本文采用把不同等級上具有相同尺度的特征圖疊加后再送入下一步的卷積操作，即特征復用[16]。這種設計可以使特征提取模塊同時利用不同尺度上的低級特征和高級特征，從而來捕獲更多空間上下文語義特征，進一步提升DR-CNN模型的超分辨精度，文中稱該算法為特征復用的膨脹-殘差卷積神經網絡(Feature Reuse Dilated-Resnet CNN,FRDR-CNN)。同時，在網絡中引入感知損失，以此克服SAR圖像斑點噪聲的干擾，實現了高精度的SAR圖像圖像重建。

綜上，后文的結構安排如下：第2節介紹卷積和感知損失等相關理論；第3節詳細介紹DRCNN結構以及FRDR-CNN結構；第4節為實驗部分，基于某研究所所提供的某地區兩對不同場景下相同空間分辨率的SAR圖像，驗證了本文采用算法的準確性和可行性。

2 原理介紹

2.1 膨脹卷積

卷積神經網絡通過使用局部操作按階層對不同圖像特征進行抽象，隨后連接非線性激活層對圖像進行去線性化[17]。隨著數據的大規模化和計算機硬件的飛速發展，多層CNN模型展現了極大的優勢。常見的多層CNN特征模型如VGG[18],ResNet[9]和DenseNet[16]等，并已應用于圖像超分辨、圖像降噪、目標檢測與識別、地物分類和分割等諸多研究領域。

膨脹卷積[15]通過設置不同大小的膨脹因子(dilation rate)對普通卷積窗進行空洞填充(hole padding)，填充的元素不會隨著學習做出調整，在不增加卷積核參數量的情況下使卷積核的感受野擴大。膨脹卷積的計算方式與普通卷積相同，卷積核逐像素滑動，當滑動至某個像素點后，計算該像素點的鄰域像素矩陣與卷積核模板的滑動內積。膨脹卷積的感受野大小和產生的特征圖分辨率計算公式為

其中，d為膨脹因子，k,k′分別表示原始卷積核和膨脹后的卷積核尺寸，h,h′分別表示輸入和輸出特征圖的分辨率大小，p表 示邊緣填充尺寸，s為滑動步長。

圖1為卷積核大小為3×3時，不同膨脹因子所對應的膨脹卷積核感受野大小示意，其中圖1(a)對應膨脹因子為1的3×3卷積核，簡記為1-Dilated conv，其感受野為3×3；類似地，圖1(b)圖對應2-Dilated conv，膨脹因子為2，雖然卷積核大小只有3×3，但感受野已擴大至5×5；圖1(c)圖對應5-Dilated conv，膨脹因子為5，感受野擴大至11×11。不難發現，當膨脹因子為1時，膨脹卷積等價于普通卷積。

膨脹卷積能夠在不增加卷積核參數量的情況下擴大卷積核的感受野，因此，不需要通過池化操作降低特征圖的分辨率，便可獲取到比較高級的語義信息，從而能夠有效避免特征圖分辨率降低帶來的圖像局部細節信息損失嚴重的問題；另外，不同大小的膨脹因子的使用，能夠形成不同尺寸的卷積感受野，從而注意到不同尺度的圖像特征。

2.2 殘差網絡

卷積神經網絡通過一系列網絡層學習層次性特征，隨著網絡層數的加深，提取細節與抽象能力越豐富，語義信息越完整。因此，理論上深層網絡模型的特征提取能力將優于淺層模型。但實際層數迭代的增加也極大地增加了網絡權值的訓練時間，而且容易出現梯度爆炸或梯度彌散，從而造成訓練結果的準確率飽和甚至下降。針對以上問題，He等人[9]提出了殘差網絡ResNet，其利用擬合殘差函數的思想，在保證網絡結構足夠深的同時，實現了訓練過程的優化，有效克服了退化問題，結構如圖2(a)所示。

簡單而言，殘差網絡通過卷積神經網絡學習殘差函數F(x)，并與輸入的特征圖x相加，從而得到輸出函數H(x)，可以表示為

圖1 膨脹卷積原理圖Fig.1 Dilated convolution schematic

圖2 殘差單元結構Fig.2 Structure of residual unit

2.3 感知損失

利用卷積神經網絡對圖像進行超分辨重建時，基本都是通過最小化輸出的重建圖像和原始高分辨圖像之間的平均平方誤差(Mean Square Error,MSE)來衡量兩者的相似性，這種基于像素點的損失函數雖能得到不錯的超分辨率結果，但也會導致超分辨重建中細節等高頻信息很難較好地恢復，感知質量較差。JOHNSON等人[19]提出了一種基于特征的損失函數，感知損失(perceptual loss)。在超分網絡的后端接入一個權重不更新的VGG16網絡[18]，利用訓練好的VGG16的某層輸出作為高維抽象特征學習器，將VGG16提取的特征作為目標函數，通過對比重建圖像和原始高分辨圖像的特征值，從而判斷超分辨率重建結果是否符合自然圖像分布規律。感知損失的定義為

值得注意的是，使用不同層的特征輸出作為損失函數，將會產生不同的超分辨重建結果，選擇低層的特征圖，會導致感知損失無法提取到高級的特征，從而影響損失函數的判別結果。若單純使用高層的特征，則會嚴重降低訓練速度。針對超分任務，文獻[19]在實驗中證明使用VGG16中relu2_2特征圖輸出作為感知損失計算層時超分結果最佳，本文沿用該準則，將感知損失加入SAR圖像超分辨重建的目標函數，期望重建圖像在高層次的語義特征層面和原始高分辨率圖像更加逼近。

3 特征復用的膨脹-殘差卷積神經網絡

本節將詳細地介紹基于特征復用的膨脹-殘差卷積神經網絡(FRDR-CNN)。本文的主要思想與文獻[14]類似，設計了一種膨脹-殘差單元結構(DR-CNN)，并利用DR-CNN為主體框架，構造FRDR-CNN網絡作為超分辨生成式對抗網絡中的生成網絡。鑒于生成式對抗網絡的難以解釋性，本文只使用生成模型來完成SAR圖像的超分任務。

3.1 膨脹-殘差單元

圖像超分辨問題是一個相對來說比較低級的圖像語義問題，特征提取模塊決定了圖像超分辨效果的上界。作為最常用的特征提取網絡，提升感受野通用的方式為增加網絡層數，但會帶來計算量的激增。另外，將原始圖像輸入到傳統的Res-Net網絡模型[9]經過特征提取后，特征圖的分辨率會縮小為輸入圖像的1/32，導致圖像大量局部細節信息損失，嚴重影響圖像邊緣等微小結構信息的保留能力，這與超分辨任務的初衷是違背的。針對此問題，參考文獻[20]的思路，本文設計了一種膨脹-殘差單元結構，如圖2(b)所示。通過膨脹卷積限制特征圖分辨率的嚴重損失，有效保留更多的細節信息，同時改善了感受野與中低層網絡不能并存的矛盾。

DR-CNN結構拋棄傳統殘差單元中的普通卷積，使用膨脹卷積進行殘差塊的構建，為保證結構中卷積核的連續性，設計原則應滿足混合膨脹卷積框架設計原則(Hybrid Dilated Convolution,HDC)[21]。

本文選擇采用Dilation rate分別為[1,2,5]，配合3×3大小的卷積核作為DR-CNN的構成元素，對比傳統的殘差單元，根據式(1)、式(2)，可以計算出，DR-CNN使得一個殘差單元的感受野由普通的5×5擴大至15×15。DR-CNN單元可以被視作獨立的模塊，因此能夠很容易地加入各種全卷積神經網絡中，具有很強的可遷移性。

3.2 特征復用的膨脹-殘差卷積神經網絡

DR-CNN作為變種的殘差單元結構，單純增加殘差單元的個數，不能最大化利用不同尺度上的低級特征和高級特征，提取特征的效率較低。為了提升DR-CNN提取特征的精確度，本文將不同層級的DR-CNN對應的卷積層加入跳線連接結構，將兩部分具有同樣尺寸的特征圖做相加操作后再輸入到下一個卷積層，實現了高低維特征的特征復用，稱為FRDR-CNN，結構圖如圖3所示。該結構能夠讓反向傳播信號直接傳遞到底層，一定程度上解決梯度消失的問題，同時能夠實現不同層級的特征最大化利用，從而大幅度提升SAR圖像超分辨重建精度。

為加深網絡層數，本文在設計的特征提取模塊中引入了16個DR-CNN單元。圖3中的k表示卷積核大小，s表示卷積步長，n表示卷積核的通道數。為了保證特征復用時跳躍連接的可行性，FRDR-CNN網絡要求DR-CNN單元內部的所有膨脹卷積核的邊緣填充模式均使用“SAME”模式，且特征圖數量和殘差塊中的特征圖通道數均為64，也因此實現了經過FRDR-CNN網絡的特征提取部分后輸出特征圖與輸入圖像尺寸一致。

SAR圖像超分辨任務中的上采樣方式有許多種，例如插值(interpolating)、像素重組(pixel shuffle)[22]、轉置卷積(deconvolution)[23]等。為保證重建過程參數的可訓練性，同時實現信號復原，在FRDR-CNN模型的后端，接入轉置卷積作為FRDR-CNN的上采樣模塊，以此建立LR圖像到HR圖像端到端的超分辨過程。為了減弱轉置卷積帶來的棋盤格效應，需要保證卷積核的尺寸大小可以被步長整除，本文采用的卷積核尺寸為4×4，步長為1，通道數為64。

FRDR-CNN網絡中首端的普通卷積負責將輸入的LR圖像進行初級特征提取，并進行通道擴增至64；末端的普通卷積對經過轉置卷積實現尺寸放大后的特征圖進行通道壓縮，將輸出置為單通道，即可得到最終的SAR圖像超分辨重建結果。將輸出結果與真實HR圖像送入訓練好的VGG16[18]網絡，計算二者在高維特征上的均方誤差，通過反向傳播修正FRDR-CNN網絡的參數。

另外，FRDR-CNN中的所有激活函數均使用ReLU[24]，為節省位置在結構圖中并未畫出。其具體形式為

其中，I表示輸入圖像，S表示經ReLU激活后圖像。FRDR-CNN模型的最后一層不使用激活函數。

4 實驗結果和分析

為了驗證FRDR-CNN模型的超分辨重建能力，本節選擇傳統重建算法雙三次插值(bicubic)[5]、基于稀疏編碼的重建算法(ScSR)[6]、參數規模相當的SRResNet[14]與膨脹-殘差卷積DR-CNN和采用特征復用后的FRDR-CNN進行對比試驗，并嘗試在實驗中選擇是否使用感知損失計算重建誤差。本實驗所用計算機配置為Intel(R)Xeon(R)CPU X5650@ 2.67 GHz，內存為16 GB RAM,GPU為NVIDIA GEFORCE GTX 1070Ti，顯存為8 G，實驗環境為Pytorch深度學習框架。

4.1 實驗數據介紹

本章實驗用到的數據來自某研究所提供的某地區兩對不同分辨率的機載SAR圖像，圖像空間分辨率為0.5 m，圖像大小為8192×16384，圖像中有農田，道路以及少量建筑，包含的信息比較豐富，典型場景如圖4所示。

圖3 聯合感知損失的FRDR-CNN網絡結構Fig.3 Structure of Feature Reuse Dilated-Resnet CNN(FRDR-CNN)with perceptual loss

圖4 數據集中的典型場景圖Fig.4 Typical scene graphs in the dataset

和光學圖像超分辨的數據處理過程相同，參考Wang[25]的實驗過程，本文將原始SAR圖像視作高分辨圖像(HR)，使用三次方插值(bicubic)將HR的物理寬和高分辨率均縮小至1/4大小，以此作為低分辨數據(LR)。這種策略能夠彌補SAR圖像數據不足的缺陷，另外也解決了HR與LR嚴格配準難度大的問題。將一整幅HR的SAR圖像裁剪為256×256像素的小圖像作為標簽圖像，同樣對應的LR的SAR圖像裁剪為64×64像素的小圖像，為擴充數據量，采用0,90,180和270°的圖像旋轉，圖像翻轉以及圖像鏡像等操作進行數據增廣(data augmentation)。共生成6000對數據集，選取其中5對作為測試圖像，其余數據作為訓練數據。其中測試圖像含有樹木，河流、耕地等不同場景，以測試算法模型的魯棒性。

4.2 SAR圖像超分辨評價指標

為了對SAR圖像超分辨算法效果進行客觀評價，本文選取峰值信噪比(Peak Signal to Noise Ratio,PSNR)[26]、結構相似性指數(Structural SIMilarity index,SSIM)[27]和邊緣保持系數(Edge Preservation Degreebased on the Ratio Of Average,EPD-ROA)[28]作為重建圖像質量的客觀評價指標。

PSNR由均方誤差決定，以原始的高分辨率圖像作為基準，定量對超分辨重建后的結果進行評價，其計算如式(6)所示

其中，MSE(x,y)表示x,y兩幅圖像之間的均方誤差，L為圖像的灰度級。PSNR值越大，表示兩幅圖像的相似度越高。

SSIM可以有效反映圖像整體結構相似性，其定義如式(7)所示其中，x,y分別代表原始圖像和超分辨重建圖像，l(x,y)表征亮度對比，s(x,y)表征結構信息對比，c(x,y)表征對比度對比，而α,β和γ 3個指數用來調節亮度、結構信息及對比度3部分在SSIM指標中所占的比例大小。SSIM值越接近1，表示超分辨重建圖像與原始圖像的結構相似度越強。

EPD-ROA的HD和VD計算值可以反映重建圖像在水平和垂直方向的邊緣保持度，有利于超分重建算法對邊界等高頻信息的恢復效果。其定義為

其中，m為選定區域內的像素總數，X1(i),X2(i)代表重建圖像沿水平和垂直方向上的兩個相鄰像素，Y1(i),Y2(i)代表原始高分辨圖像中與X1(i),X2(i)相鄰的兩個像素。EPD-ROA的分子表示測試圖像的邊緣總量，分母表示真實的邊緣總量，其值越接近1，表示超分辨重建圖像的邊緣保持性越好。

4.3 實驗結果與分析

圖5和圖6給出了兩幅SAR測試圖像的4倍超分辨結果及局部放大圖，其中下方小圖為上方大圖對應顏色框部分的細節放大展示。其中，圖5(a)與圖6(a)為LR圖像，圖5(b)與圖6(b)為原始的HR圖像，圖5(c)與圖6(c)為Bicubic重建結果，圖5(d)與圖6(d)為ScSR的超分辨結果，圖5(e)與圖6(e)為SRResNet超分結果，圖5(f)與圖6(f)為DR-CNN超分結果，圖5(g)與圖6(g)為采用特征復用結構后的FRDR-CNN超分辨結果，圖5(h)與圖6(h)為聯合感知損失的FRDR-CNN的超分結果。

主觀上，從圖5和圖6可以看出，Bicubic和ScSR的結果整體上十分模糊，邊緣細節的恢復效果較差，如圖5(c)和5(d)中的耕地界限。DRCNN與SRResNet超分算法的視覺效果比較接近，這兩種方法均比傳統算法得到的結果線條更為銳利，且能夠恢復較多的小目標信息，如圖6(f)紅框中的樹木。從圖5(g)和圖6(g)可以看出，采用了特征復用結構后視覺效果提升十分明顯，極大地增強了圖像的紋理重建效果。聯合了感知損失后的FRDRCNN層次感比較分明，整體更加明朗，同時細節更為清晰，點線目標的保持性較好，在圖5(h)和圖6(h)都有所體現。總體上，針對4×放大任務，本文提出的基于感知損失的FRDR-CNN與HR圖像的差異性最小，在視覺上具有最理想的SAR圖像重建效果。

圖5 場景1的SAR圖像超分結果及局部放大圖Fig.5 Super resolution results and partial enlargement images of scene 1

選擇峰值信噪比PSNR[26]、結構相似性指數SSIM[27]和邊緣保持系數EPD-ROA[28]作為圖像質量的客觀評價指標。與圖5和圖6對應的兩個場景的超分客觀指標由表1給出。

由表1結果可以看出，基于卷積神經網絡的超分辨算法在指標上領先Bicubic方法很多；DR-CNN表現明顯優于SRResNet，證明了膨脹-殘差網絡的有效性；采用特征復用結構后，使得FRDR-CNN算法的PSNR較DR-CNN提高了約0.80 dB，而SSIM和EPD-ROA計算值則提高了1.7%；感知損失的加入將FRDR-CNN算法的PSNR指標計算值提升了1.0 dB，而SSIM和EPD-ROA指標計算值分別提升了約0.010和0.015，這與圖5和圖6的主觀感受是一致的。

為對所有場景進行客觀評價，探討模型的穩定性和魯棒性，并進行算法的時間消耗評估，圖7展示了6種算法對應的5張測試圖像的平均PSNR，SSIM與EPD-ROA值。為便于展示，圖7中將PSNR值除以了100。

從5組測試集的評估圖中可以看出，基于特征復用的膨脹-殘差網絡在聯合了感知損失后，PSNR均值為33.5023 dB,SSIM均值為0.5127,EPD-ROA(HD)均值為0.4243,EPD-ROA(VD)均值為0.4373,4個指標均為6種算法最高，說明該方法與原始HR圖的相似度和邊緣保持能力都達到了最優。基于特征復用的膨脹-殘差網絡能學習更多的上下文語義特征，并具有超大感受野，從而提升了微小目標和細節的超分效果。同時，感知損失由于使用了高級語義特征，能夠根據像素的空間關聯信息判斷圖像之間的相似度，使得FRDR-CNN的超分效果實現了進一步提升，在圖像全局和邊緣細節上都有最好表現。綜上，上述實驗驗證了基于特征復用的膨脹-殘差網絡模型能夠實現高精度的SAR圖像超分辨重建。

圖6 場景2的SAR圖像超分結果及局部放大圖Fig.6 Super resolution results and partial enlargement images of scene 2

表1 場景1和場景2的SAR圖像重建結果表Tab.1 SAR image reconstruction results table of scene 1 and 2

5 結論

本文通過聯合了感知損失的FRDR-CNN算法實現了精準的SAR圖像超分辨重建。該算法首先提出一種膨脹-殘差單元結構，在保留邊緣結構信息的情形下仍可獲得超大感受野；通過特征復用，實現了不同層級的特征最大化利用，以此捕獲更多上下文強語義特征，進而提升小物體的超分精度；引入感知損失來約束超分辨率結果，實現了邊緣信息的精準重建。實驗表明，相較于Bicubic和普通殘差超分辨網絡，DR-CNN在主觀感受和客觀指標均取得了精度上的大幅度提升，同時，DR-CNN作為一種獨立的單元模塊，也具有很強的遷移性。使用特征復用結構構成的FRDR-CNN進一步提高了DR-CNN算法的精度，聯合了感知損失的FRDRCNN算法得到了更為逼真和準確的超分辨重建結果，因此具有很強的實用性。

圖7 5張測試圖像的平均SSIM與EPD-ROA值Fig.7 Average SSIM and EPD-ROA values for five test images