基于多尺度交互結構卷積神經網絡的SAR圖像相干斑抑制方法

申仕煜, 葉曉東, 王 昊, 陶詩飛

(南京理工大學電子工程與光電技術學院, 江蘇 南京 210094)

0 引 言

合成孔徑雷達(synthetic aperture radar,SAR)憑其固有的全天時、全天候特性被廣泛應用于軍事和民用領域。然而,SAR成像過程中經常受相干斑噪聲影響[1],嚴重破壞了SAR圖像質量。因此,相干斑噪聲抑制成為后續SAR圖像解譯的一個不可或缺的預處理步驟。傳統SAR圖像相干斑抑制方法中最先發展起來的是基于空間域的濾波方法[2],但此類方法普遍存在邊緣及細節信息過度平滑問題。基于小波變換的SAR圖像抑斑方法[3-4]在相干斑抑制性能上優于空間域的濾波方法,但此類方法仍然無法有效保存圖像的紋理細節。之后,基于非局部抑斑方法[5-7]應用于SAR圖像抑斑任務。其基本思想是自然圖像具有自相似性,并且在整個圖像中存在大量的相似塊。基于非局部抑斑方法較為經典的有PPB(probabilistic patch-based)方法[6]以及用于SAR圖像去噪的3D塊匹配濾波(block-matching and 3D filtering for SAR image despeckling,SAR-BM3D)方法[7],并且都取得不錯的抑斑效果,但相似塊的搜索使其計算量增加,提高了計算復雜度。

近年來,已有很多基于深度學習的去噪方法應用于SAR圖像抑斑任務中。Chierchia等人[8]通過對數變換將乘性噪聲轉變為加性噪聲并利用前饋去噪卷積神經網絡(denoising convolutional neural networks, DnCNN)[9]的思想提出SAR-CNN方法,實現了SAR圖像相干斑抑制。同年,Wang等人[10]針對乘性噪聲提出了一種類似殘差策略的ID-CNN (image despeckling CNN)方法,該方法利用噪聲圖像除以網絡學習到的相干斑噪聲分布得到抑制后的圖像。期間,也出現了通過改進網絡結構來提升性能的方法[11-13],如用于SAR圖像去噪的深度殘差網絡(dilated residual network for SAR image despeckling, SAR-DRN)[12]、用于SAR圖像去噪的深度雙域卷積神經網絡(dilated densely connected network for SAR image despeckling,SAR-DDCN)[13]等。除了單純地改進網絡結構外,也有將傳統方法與神經網絡相結合的算法,如非局部思想與神經網絡結合[14],基于引導濾波的圖像融合算法[15]與神經網絡結合[16]等。盡管深度學習在SAR圖像相干斑抑制領域取得了非常好的性能,但隨著性能的提升,網絡深度不斷增加導致了計算資源的大量占用。此外,隨著網絡參數量的不斷增加,很容易出現網絡過擬合的現象。

受GoogLeNet[17]以及ResNeXt[18]啟發,提出一種基于多尺度交互卷積神經網絡的SAR圖像相干斑抑制方法。該網絡結構中采用了1×1卷積、密集連接[19]以及跳躍連接[20]等網絡結構,使得網絡在含相干斑噪聲圖像及對應的干凈圖像之間建立起非線性映射關系。實驗結果表明,本文方法相比于ID-CNN方法不僅節省了計算資源,而且還取得了更好的抑斑性能。

1 相干斑噪聲模型

與自然界中常見的加性高斯白噪聲不同,SAR圖像質量下降的主要原因是乘性的相干斑噪聲。而相干斑噪聲是由于SAR成像系統的特性造成的,SAR圖像乘性噪聲模型[21]可以描述為

Y=XF

(1)

式中:Y表示含有相干斑噪聲的SAR圖像;X表示對應的干凈圖像;F表示相干斑噪聲且噪聲的強度信號,其服從Gamma分布[21]

(2)

式中:L表示等效視數(equivalent number of looks, ENL);Γ(·)表示Gamma分布的函數。

2 深度學習的SAR圖像抑斑算法

2.1 網絡結構

本文設計的深度學習網絡結構如圖1所示。在該網絡結構中,L1層包含卷積層和激活函數(Relu)層,L2～L6層均為圖2所示的多尺度交互特征提取模塊(multi-scale interactive feature extraction module, MIFEM)模塊,L7層為一個卷積層。在L2～L6之間,使用簡化的密集連接方式來搭建5個MIFEM模塊,c表示通道拼接。該網絡的所有卷積操作步長設為1。最后,將最初輸入的SAR圖像與該網絡估計的相干斑噪聲進行減法操作,得到相干斑抑制后的SAR圖像。

圖1 網絡結構Fig.1 Network structure

2.2 MIFEM模塊

如圖2所示,MIFEM模塊由兩個1×1卷積層、兩個5×5卷積層、兩個3×3卷積層以及跳躍連接組成。其中,兩個1×1卷積分別用于降維和升維。5×5卷積與3×3卷積構成一個多尺度卷積組,共搭建兩個,主要用于獲得不同感受野以提高網絡的泛化性能。此外,在該模塊中,添加跳躍連接操作[20]以防止出現梯度消失問題同時加快網絡收斂速度。

如圖3(a)所示,跳躍連接是將某一層的特征值直接傳遞至后面某一網絡層進行加法操作,可由下式表示:

xi+1=F(x)+xi

(3)

式中:xi及xi+1分別表示跳躍連接結構的輸入與輸出;F(x)表示跳躍連接結構內進行的卷積操作及非線性變化。該模塊所有卷積層都包含一個非線性激活函數層。除右側1×1卷積核個數為64外,所有卷積核個數為16。卷積操作過程中步長設為1。

圖2 多尺度交互特征提取模塊Fig.2 Multi-scale interactive feature extraction module

圖3 兩種模塊結構圖Fig.3 Two module structure diagrams

2.3 簡化的密集連接

密集連接是Huang等人[19]針對緩解反向傳播過程中梯度消失問題首次被提出的方法,并且該方法在圖像分類任務中也取得了優異的效果。然而,密集連接的每個層都會聚合前面所有層的特征致使運算效率低且存在特征冗余。

針對這一問題,本節利用文獻[22]的思想來簡化密集連接方式,其結構如圖3(b)所示。將淺層特征進行一次性的聚合不僅提高了網絡的運算效率,還因特征的重復利用減少了網絡特征的冗余。以圖3為例,簡化密集連接塊中的每層輸入，可以表示為

(4)

式中:Hl(·)表示卷積及非線性變化的組合操作;xl表示第l層輸入;[x0,x1,x2,x3]表示對前3層得到的特征圖進行拼接。

簡化密集連接塊除最后一層的輸入與密集連接塊相同外,其前面的所有層都只將上一層的輸出作為本層的輸入,以此減少了大量參數。

3 實驗預處理

3.1 數據增強

本文實驗使用NWPU-RESISC45數據集[23]來進行網絡訓練和測試。在該數據集中選擇400張尺寸為256×256的圖片作為訓練集以及10張尺寸為256×256的圖片用來測試,其測試圖片如圖4所示。

圖4 10張測試圖片Fig.4 10 images used for testing

為了提高網絡的泛化能力,在訓練前對訓練集進行數據增強操作。該操作首先對選取的400張訓練集分別按比例1,0.9,0.8,0.7進行縮放,圖像塊大小設為40×40并以步長為10來提取縮放圖像的圖像塊。然后將獲取的圖像塊進行翻轉、90°旋轉以及翻轉并旋轉操作,得到547 584個圖像塊。最后將這些圖像塊與相干斑噪聲通過公式(1)合成得到合成SAR圖像。

3.2 網絡參數設置

整個網絡結構模型的參數設置如表1所示,其中MIFEM模塊參數在第2.2節已有介紹。網絡訓練前,初始學習率設為0.001,而后每經過30輪次訓練乘一個衰減系數0.1,共訓練60輪次。網絡的優化方式采用Adam[24]優化方法,損失函數采用歐式損失與總變差損失的組合,其公式定義如下:

(5)

(6)

表1 網絡模型結構參數

此外,本文實驗基于pytorch框架搭建而成,計算機系統為Win10 64位系統,使用的硬件設備配置為Intel Core CPU 3.7 GHz 以及NVIDIA RTX 2080 GPU。

為進一步分析本文方法在降低計算參數方面所帶來的優勢,與ID-CNN方法[10]中的網絡參數設置進行比較。由表2可知,相比于ID-CNN方法,所提的方法在網絡計算參數量上節省了約32.83%。

表2 網絡參數量比較

4 實驗結果

為驗證本文方法在減少參數量的同時保持性能不下降的有效性,本文采用PPB[6]、SAR-BM3D[7]以及ID-CNN[10]方法與本文方法比較。在進行仿真實驗過程中分別設置了視數為1、2、4、10這4種不同強度噪聲來進行比較。其中,在合成SAR圖像實驗下,由于存在無噪聲樣本圖像,故采用圖像質量評價指標峰值信噪比(peak signal to noise ratio,PSNR)及結構相似(structural similarity index,SSIM)來評估相干斑噪聲抑制效果。在真實SAR圖像實驗對比中,不存在無噪聲SAR圖像樣本,故采用ENL指標來評估抑斑性能。PSNR、SSIM及ENL分別如下所示:

(7)

(8)

(9)

4.1 合成SAR圖像實驗

將圖4的測試圖片與相干斑噪聲根據式(1)進行合成得到合成SAR圖像。如表3所示,相比于其他3種方法,本文方法測試得到的平均PSNR及平均SSIM值在4種不同強度噪聲情況下都是最大的,而且隨著噪聲強度的增加,本文方法與其他3種方法的指標差值越來越大。同時可以看出,基于神經網絡的方法在4種不同強度噪聲下都比傳統方法效果要好,ID-CNN與本文方法在訓練過程中測試的平均指標結果如圖5所示。

表3 各方法測試圖像取得的平均PSNR與平均SSIM結果比較

圖5 兩種方法的測試結果對比(L=10)Fig.5 Comparison of test results for two methods (L=10)

圖6展示了飛機場測試圖像在噪聲強度L=4的情況下各種方法測試結果對比,可以清楚看到PPB方法抑制后的圖像變得過于平滑,而且在較細節較明顯處出現紋理失真。使用SAR-BM3D方法得到的抑制圖像在保留細節方面優于PPB方法,但紋理細節的保留仍不夠理想。相比于PPB及SAR-BM3D,基于神經網絡的去噪方法在視覺上都具有較好的效果。從圖6右下角的放大圖來看,相比于PPB與SAR-BM3D,ID-CNN及本文方法保留的白線細節較全。

圖6 各種方法測試結果對比(L=4)Fig.6 Comparison of test results of various methods(L=4)

4.2 真實SAR圖像實驗

如圖7所示,本文使用AIRSAR拍攝Flevoland地區、Deathvalley地區以及San Francisco地區的SAR圖像來驗證本文算法同時將這些圖像大小裁剪為600×600。以圖7為例,PPB方法的抑制圖像雖然在相干斑抑制方面取得了不錯的效果,但在特征較為明顯的物體邊緣產生了紋理失真而且明顯存在過度平滑現象。SAR-BM3D方法雖然沒有PPB抑制圖像存在的問題,但仍包含大量的殘余噪聲從而導致相干斑的抑制效果并不理想。ID-CNN與本文方法在相干斑抑制及紋理細節保留方面都取得了較好的視覺效果。同樣,圖8和圖9在主觀視覺上都取得了較好的可視效果。除視覺上人為主觀判斷外,本節實驗使用ENL指標來衡量本文方法在測試真實SAR圖像上抑制的效果。如表4所示,本節實驗在圖7～圖9的兩個框內的同質區域測得的ENL值最大。綜合來看,相比于其他3種方法,本文方法的抑斑能力最好。

圖7 Flevoland地區的測試結果對比Fig.7 Comparison of test results of the Flevoland

圖8 Deathvalley地區的測試結果對比Fig.8 Comparison of test results of the Deathvalley

圖9 San Francisco地區的測試結果對比Fig.9 Comparison of test results of the San Francisco

表4 ENL指標結果比較

5 結束語

本文提出了一種基于多尺度交互結構卷積神經網絡的SAR圖像相干斑抑制方法。該方法通過1×1卷積的作用以及密集連接的簡化結構來減少參數量,同時使用跳躍連接并引入殘差學習策略以加快網絡的收斂速度。在合成SAR圖像以及真實SAR圖像實驗測試中,相比于其他3種方法,本文方法不僅在主觀視覺上取得了更好的效果,而且還通過圖像質量評價指標的定量分析得到最好的相干斑抑制性能。