基于SCUNet的阻燃材料炭渣掃描電鏡圖像降噪

樂 威， 楊 雷， 趙曉芳， 魯思薇

（1.東莞理工學院a.計算機科學與技術學院；b.國際微電子學院，廣東 東莞 523808；2.深圳大學電子與信息工程學院，廣東 深圳 518060）

0 引言

掃描電鏡（SEM）的基本原理是：利用聚焦很窄的高能電子束掃描物體，在物體表面形成具有一定能量的電子束，然后將各個方向的電子束收集起來形成一張反映物體形貌的亮暗不同的圖像［1］。對于阻燃材料煅燒后形成的炭渣，由于炭渣與空氣形成的孔隙的明暗程度不同，因此可以通過分割圖像中的炭渣與孔隙來分析阻燃材料的阻燃性能，這要求阻燃材料SEM圖像更加清晰且易于分割。然而，在實際應用過程中往往受環境因素和儀器自身存在的電子噪聲等因素的影響，拍攝出來的圖像存在一定的噪聲，這使得后續的圖像分割不精準，所以對SEM圖像進行降噪處理是十分必要的。

在SEM成像過程中，噪聲的影響是客觀存在的，通過調整SEM自身的參數得到清晰無噪的圖像從原理上來講是不可行的［1-2］，所以需要采用降噪技術來實現對SEM圖像的去噪處理。李曉瑜［3］以小波分析為基礎設計了模極大值去噪、相關性去噪以及閾值去噪來實現對SEM 圖像的去噪處理。張蕾等［4］以非局部均值（NLM）算法為基礎提出了一種自適應邊緣相似度的NLM圖像去噪方法，對自身像素與相鄰像素賦予權值來估算中心像素，從而構成去噪圖像。Dabov等［5］提出了一種非局部圖像建模、主成分分析與局部形狀適應性各向異性估計的圖像去噪方法，通過縮減相似圖像塊的三維變換頻譜將噪聲分開。Zhang 等［6］通過研究前饋去噪神經網絡，結合批歸一化和線性修正單元設計了一個深度的網絡架構，并利用殘差學習來提升去噪性能。Guo等［7］利用更真實的噪聲模型和真實世界的噪聲-清潔圖像對訓練卷積盲去噪網絡（CBDNet），并在網絡中嵌入一個具有不對稱學習的噪聲估計子網絡來糾正去噪結果。從運算時間、計算消耗與去噪效果等方面綜合考慮，以上去噪算法不適用于阻燃材料炭渣SEM圖像的去噪。

基于以上分析，本文采用基于SCUNet（Swin-Conv-UNet）的降噪網絡處理阻燃材料的SEM 圖像，并與小波變換、NLM、三維塊匹配濾波（BM3D）和DnCNN（denoising convolutional neural network）等經典的降噪方法相比較，驗證該降噪網絡的有效性。

1 SCUNet圖像處理

1.1 SCUNet架構

SCUNet［8］是蘇黎世聯邦理工學院工作室提出的一種新型降噪網絡。將5 個SC（Swin-Conv）塊作為UNet的主要構建模塊，在每一個SC 塊中輸入圖像并通過1 ×1 卷積將圖像分為2 個特征圖組，2 個特征圖組經過處理后與輸入進行殘差連接并輸出。SC 塊中的Rconv 塊受啟發于Devalla 等［9］在2018年提出的DRUNET，將局部殘差卷積塊合并到UNet中檢測重雜波的真實紅外圖像，取得了最優表現，而SC 塊中的SwinT塊繼承了同工作室在2021年提出的SwinIR 網絡模型核心思想［10］。SCUNet 架構將殘差卷積的局部建模能力與SwinT 塊的非局部建模能力相結合，成了當時最先進的降噪模型［8］。SCUNet流程如圖1 所示。

圖1 SCUNet流程

SCUNet的骨干網絡有4 個尺度，每個尺度都有一個用于降尺度的2 ×2 步幅卷積的殘差連接和一個用于升尺度的2 ×2 的轉置卷積。具體來講，含噪圖像輸入模型后經過3 ×3 卷積生成特征向量X，隨后在SC塊中經過1 ×1 卷積運算，被平均分成2 個特征圖組［8］，這個過程可以表述為

式中：Split表示把圖像X平均分割為兩部分X1和X2；Conv表示對圖像X進行1 ×1 卷積運算。然后，X1和X2被送入SwinT 塊和Rconv 塊，這個過程可以表述為

式中：Concat 表示把2 張圖像合并為1 張圖像；SwinT表示圖像經過SwinT 塊；Rconv 表示圖像經過殘差連接塊。Y1和Y2經過1 ×1 卷積后輸入X 進行殘差連接，最后輸出Z，這個過程可以表述為

式（1）～（3）表示1 張輸入圖像經過SC塊所要進行的運算［8］。式（3）中的輸出Z還需進行1 個殘差連接以及4 個SC塊和1 個3 ×3 卷積運算后得到去噪圖像。

1.2 數據集

噪聲一般被分為加性噪聲與乘性噪聲。加性噪聲是一直存在的系統背景噪聲，普遍以加性高斯白噪聲（AWGN）為代表。AWGN 是目前使用最廣泛的去噪假設，盡管與大多數自然界實際產生的噪音不符，但是依然可以用于評價去噪模型的好壞［11］。乘性噪聲普遍存在于實際圖像中，與信號是相乘關系，隨信號的存在而存在。相比于加性噪聲，乘性噪聲更符合實際成像，對圖像的污染也更加嚴重。

對阻燃材料炭渣SEM圖像進行去噪處理，圖像中的噪聲呈雪花狀，如圖2 所示。

圖2 阻燃材料炭渣SEM圖像

為使模型的去噪效果更好，數據集的擴充是有必要的。使用Matlab在真實SEM 圖像上添加不同噪聲水平的AWGN與乘性噪聲，作為訓練集。選取500 張分辨率為1 200 ×960 的SEM圖像，并以該500 張圖像為原始圖像添加不同噪聲水平的噪聲來擴充數據集。該500 張圖像由掃描電鏡在真實實驗室環境中拍攝得到。以擴充后的數據集為訓練集，添加AWGN與乘性噪聲進行訓練，經過大約20 000 次的迭代后得到當前最優模型參數。由去噪圖像與原始圖像計算得到峰值信噪比（PSNR）與結構相似性（SSIM）。

1.3 模型訓練

由于原始SCUNet模型過于龐大而無法在單GPU中訓練，因此對該模型進行修改以適應顯存較小的機器。在輸入到SC 塊之前的第1 個1 ×1 卷積中，將原始輸出通道縮小4 倍，同時由于SEM 圖像為灰度圖，因此輸入通道數修改為1。為了加快收斂速度，使用DIV2K［12］和Flick2K［13］數據集上的預訓練模型參數，并修改相關通道以適應修改后的模型架構。采用Adam優化器使lL1損失函數最小化，lL1損失函數可以表述為

式中：yi表示訓練目標值；f（xi）表示估計值；lL1表示目標值與估計值的差值絕對值累加最小化［14］。設置初始學習率為10-3，為防止過擬合，權重衰減設置為10-5。使用cosineAnnealingLR策略更新學習率［15］，在每一輪訓練結束后進行調整。經過20 次學習率調整完成1／4 個cosine周期。學習率的更新可表述為

式中：ηt表示更新后的學習率；ηmin表示學習率的最小值，默認為0，本研究中設置為10-5；ηmax表示學習率的最大值，也是初始值，設置為10-3；Tcur表示已經迭代的次數；Tmax表示學習率從初始值降到最小值所需要的迭代次數，本研究中設置為20，即1／4 個cosine 周期需迭代20 次。

patch和batch 分別設置為128 ×128 和4。首先對添加噪聲水平為25 的數據集進行訓練，訓練過程中每迭代200 次計算驗證集損失值，若當前損失值小于上次計算所得損失值則保存當前模型，否則繼續迭代。每迭代1 000 次就輸出驗證集中隨機5 張圖片的去噪效果圖。所有實驗都在PyTorth 1.13.0 上實現，在NVIDIA RTX 4000 GPU上訓練一個模型需要40 h。

2 實驗結果與分析

2.1 實驗結果

為驗證方法的有效性，根據訓練出的模型隨機選取100 張圖像進行去噪測試，噪聲水平為25。去噪后的圖像較含噪圖像更加清晰，明暗對比更加明顯，如圖3 所示。

圖3 含噪圖像與去噪圖像對比

值得注意的是，圖3（a）～（f）并非圖像實際尺寸，而是經過裁剪后得到的，目的是為了更加直觀地看到去噪與含噪圖像的對比。

從圖3 可以看到，去噪后炭渣與孔隙之間分界明顯，有利于后續的分割。圖4 為同一張圖像在添加不同噪聲水平后的去噪效果對比。圖4（b）～（d）中，σ表示噪聲水平，σ ＝0 表示未手動添加噪聲。為體現對比效果，模型對噪聲水平分別為0、15 和30 的圖像進行處理。可以看出，σ ＝0 時去噪效果最好，σ ＝30 時去噪效果最差。因此，訓練集擴充添加噪聲的圖像能夠為模型帶來更好地去噪表現。

圖4 不同噪聲水平下去噪圖像對比

2.2 去噪方法對比

對比了幾種經典且較為常用的去噪方法，包括小波變換［3］、NLM［4］、BM3D［5］和DnCNN［6］。通過峰值信噪比與結構相似性2 種衡量指標比較噪聲水平為25 時各個方法的性能，如表1 所示。

表1 各方法的峰值信噪比和結構相似性對比

表1 中的數據為100 張隨機測試圖像的平均值。可以看到，所提出的去噪方法比小波變換、NLM 和BM3D等在峰值信噪比與結構相似性指標上有著明顯的提升。本方法比DnCNN 在峰值信噪比上提升0.326 5 dB，增幅約為1.1%；在結構相似性上提升0.009 9，增幅約為1.3%。

圖5 為不同噪聲水平下各方法去噪性能，所得數據均為隨機選取的100 張圖像去噪后的平均值。可以看到，在噪聲水平較小時，DnCNN 與BM3D 的去噪效果比NLM 差。本方法無論在低噪聲水平還是高噪聲水平都優于其余去噪方法。

圖5 不同噪聲水平下各方法去噪性能對比

圖6為隨機選取的圖像在噪聲水平為25 時使用不同方法測試的結果。從圖6 可以看到，利用小波變換去噪的圖像基本模糊，NLM去噪后的圖像產生了其他形狀的噪聲紋理，BM3D 生成的圖像較前2 種方法表現稍好，但也存在一定的模糊現象。本方法與DnCNN 去噪能力最好，而本方法生成的圖像比DnCNN更加平滑，明暗對比更加明顯。

圖6 不同方法測試結果對比

3 結語

利用SCUNet 對阻燃材料炭渣SEM 圖像降噪處理，并與幾種經典的去噪方法在峰值信噪比與結構相似性2 種衡量指標上進行對比。結果表明，所提出的降噪方法在峰值信噪比與結構相似性上均優于小波變換、NLM、BM3D和DnCNN等，更有利于阻燃材料炭渣SEM圖像分割。