空洞卷積神經網絡低劑量CT圖像去噪

周曉杰

(四川大學計算機學院，成都 610065)

0 引言

計算機斷層成像(CT)技術的發展對醫學診斷水平的進步產生了巨大的影響，隨著CT技術在醫學輔助診斷方面的影響越來越大，CT技術的研究也越來越受重視。在眾多醫學影像技術中，CT圖像的去噪和重建一直以來都備受關注。為了減少CT成像過程中X射線對人體存在的潛在危害，低劑量CT應運而生，為了提高成像質量，低劑量CT去噪方法引起了國內外學者的研究興趣。目前看來，CT圖像去噪的傳統方法主要是將圖像信息在空間域以及頻率域進行濾波操作，而后再采取反濾波進行圖像重建以達到去噪的目的，很多傳統方法在去除噪聲的同時容易造成圖像信息的丟失，因此去噪效果并不理想。以梯度下降流對圖像進行平滑處理的全變分(TV)[1]去噪模型，以及以非局部均值思想為基礎的BM3D算法[2-3]在圖像去噪問題上取得了較好的效果，并隨之而來出現了各種基于TV和BM3D的改良算法。近年來，卷積神經網絡的出現給圖像去噪算法研究帶來了新的方向，一系列經典的網絡模型和架構相繼被提出，其中Chen等人提出了RED-CNN[4]模型，在低劑量CT去噪方面表現出色。受RED-CNN啟發，本文結合近年來在計算機視覺領域表現出色的各種網絡模型，利用空洞卷積能夠通過膨脹操作擴大卷積核感受野的特性，提出了一種輕量級的低劑量CT卷積神經網絡去噪模型，并通過實驗對比，證實了其可行性。

1 網絡結構設計

1.1 函數模型

假設X代表低劑量CT圖像，Y代表正常劑量的CT圖像，假定低劑量CT圖像到正常劑量CT圖像的映射可以表示為：

X=σ(Y)

(1)

其中σ代表造成低劑量CT圖像噪聲的各種因子。

(2)

可以看到，處理這類問題是神經網絡所擅長的。

1.2 空洞卷積

空洞卷積[5-7]的作用是通過設置膨脹系數使輸出變得更稠密，在不增加計算量的同時增大卷積核的感受野，其原理就是經過膨脹補零操作使卷積核尺寸增大，假設原卷積核尺寸為m×m，膨脹系數為n，那么經過膨脹補零操作后的卷積核尺寸為n(m-1)+1；但同時空洞卷積也會帶來負面效果，這里主要是柵格效應(The Gridding Effect)[8]，單層空洞卷積提取信息時是必然會造成大量信息丟失的，而當多層疊加的空洞卷積各膨脹系數有大于1的公約數時，同樣會造成信息丟失，不能有效避免和消除柵格效應，因此在膨脹系數的選擇上要非常慎重；基于空洞卷積的以上特性，提出通過3層空洞卷積的疊加來提取特征，另外將第一層到第三層膨脹系數分別設為1、2、3，以卷積核尺寸大小為3×3為例，則相當于卷積核尺寸分別為3、5、7的卷積層疊加。理論上講，這種設計可以在多尺度提取特征的同時有效抑制柵格效應。

1.3 跳躍連接

在本文網絡模型中，采用了跳躍連接[9-10]的方式提高網絡性能。為了盡可能保留圖像細節，受He等人提出的ResNet啟發[11]，采用了跳躍連接的方法，目的是通過跳躍連接使網絡的學習內容由圖像信息變為噪聲殘差信息，在去噪過程中更好地保存圖像信息，減少有用信息的丟失。如圖1所示，假定輸入為含噪圖像X，輸出為消除噪聲的圖像Y，經過網絡處理過的X為F(X)，沒有跳躍連接時，Y=F(X)；而添加跳躍連接后則有Y=X+F(X)，即F(X)=Y-X，這樣網絡的訓練過程就轉化為學習噪聲殘差的過程，在提高網絡學習效率的同時還能夠更好地保留有效信息。

圖1 殘差結構示意圖

1.4 網絡模型

如圖2所示，本文提出了一種基于空洞卷積的多尺度特征提取編碼-解碼網絡模型，網絡共有十層，對于CT圖像來說，細節特征尤其重要，因此在網絡1到3層采用了不同膨脹系數的空洞卷積，在不增加計算量的情況下增大了卷積核感受野，能夠提取到多尺度的圖像特征；針對卷積神經網絡在處理圖像去噪的過程中造成的細節信息丟失問題，增加了跳躍連接(skip-connection)以更好保留圖像細節和紋理特征；由于圖像處理中上采樣和下采樣過程會導致部分細節信息丟失，因此在編碼和解碼的過程中，始終保持特征圖尺寸不發生變化，以此來減少采樣操作；通過對比tanh以及PReLU，確定ReLU作為本文模型的激活函數。網絡訓練的優化器采用Adam。

圖2 網絡結構示意圖

2 實驗過程設計及實現

2.1 實驗數據獲取

實驗使用的數據來自Mayo診所建立并授權的數據和圖像，在選取正常劑量CT圖像的基礎上經仿真處理后得到三個不同劑量等級(分別為正常劑量的2.5%、5%和10%)的低劑量CT圖像，經處理后得到三組圖像尺寸大小為256×256的數據，數據中低劑量CT圖像和正常劑量CT圖像相互對應，成對組成，每組包含500對數據，將其中400對作為訓練集數據，100對作為測試集數據。

2.2 訓練參數設置

實驗中關于參數的設置，采取以下方案：前三層卷積核采取3×3的空洞卷積，膨脹系數分別為1、2、3，相當于卷積核尺寸分別為3、5、7，前三層padding分別為1、2、3，后面層的卷積核尺寸均采取5×5，并設置padding為2，所有卷積步長均設置為1，卷積核采取隨機的方式進行初始化。第一層輸入和最后一層輸出通道數為1外，其他通道數全都設置為96。網絡的訓練過程學習率設置為10-4。

2.3 網絡運行實現

實驗采用Python語言編寫程序代碼并通過PyTorch3.8框架運行，PC硬件基礎配置為AMD Ryzen7 4800H處理器和NVIDIA GeForce GTX 1650TI顯卡，后期的數據處理在MATLAB R2019b上實現。

實驗選取了TV、BM3D和RDE-CNN三種去噪模型作為對比算法，TV(全變分模型)是一種被廣泛應用的經典去噪模型，BM3D是圖像去噪發展歷程中影響深遠的算法之一，也是目前應用較為廣泛的算法之一，而RED-CNN則是近年來在卷積神經網絡處理低劑量CT圖像去噪中表現較為出色的網絡模型，這三種算法無論在去噪效果上還是在現實應用中都有較好的魯棒性。

在實驗結果評價上，通常情況下去噪處理后圖像的質量采取視覺效果加參數對比的方式來進行評價，本文按照慣例，選取了峰值信噪比和結構相似度兩個指標，并結合圖片的視覺效果來對實驗結果進行分析。

3 實驗結果及對比

3.1 視覺效果對比

實驗分別以2.5%劑量、5%劑量和10%劑量的CT圖像對應正常劑量CT圖像對網絡模型進行訓練，劑量越低則噪聲強度越高，圖3展示了不同去噪模型對于低劑量CT圖像的去噪效果，該圖為在測試集中隨機選取的一張2.5%劑量的腹部CT圖像，其中(a)為低劑量CT圖像，也就是需要處理的數據；(b)為正常劑量CT圖像，即的目標數據；(c)為采用TV方法得到的處理結果；(d)為BM3D算法去噪結果；(c)為RED-CNN網絡模型得出的結果；(d)為本文方法得出的結果。從整體效果來看，四種方法都能夠有效去除噪聲，但相比目標圖像，(c)和(d)在視覺效果上較(e)和(f)有比較明顯的差距。(d)和(c)的問題主要表現在局部過于平滑，細節特征丟失比較明顯等方面，這類問題在腹腔的軟組織位置表現尤其突出；相比而言，(e)和(f)在整體視覺效果上表現相當，保留了大部分的細節信息。

圖3 2.5%劑量CT圖像去噪效果對比圖

其中(a)低劑量圖像；(b)正常劑量圖像；(c)TV；(d)BM3D；(e)RED-CNN；(f)本文方法。

在圖3中紅色方框區域和箭頭指示的邊緣位置四幅去噪圖像均出現了不同程度的模糊現象，為了更好地查找問題，把該區域進行了放大處理，圖4展示了該區域的放大效果圖，由(a)到(f)的展示順序參照圖3，通過放大處理，可以看到在紅色圓圈內(b)中的特征只有(f)有部分保留，(c)、(d)和(e)三張圖片中該特征基本完全消失，但是在藍色箭頭所示區域，四幅去噪圖像均不能較好還原(b)中的邊緣信息，(c)效果略差，(e)和(f)表現相當，稍好于(d)，可以看到，在上述對比中，本文提出的網絡模型較TV和BM3D存在明顯優勢，效果略好于RED-CNN。5%劑量和10%劑量圖像的去噪效果與2.5%劑量情形類似，這里不再過多展示。

圖4 局部區域放大圖

3.2 峰值信噪比和結構相似度

表1給出了實驗中采用的三個不同劑量等級的低劑量CT圖像，在經過不同去噪方法處理后得到的去噪圖像的峰值信噪比(PSNR)和結構相似度(SSIM)，這兩項指標可以看作是圖像質量的客觀表現，從表1展示的數據來看，本文提出的去噪模型較TV和BM3D在去噪效果上均有大幅度提升，與RED-CNN相比數據上領先不夠明顯，但可以看到的是在三種不同劑量等級，本文方法都能夠取得一定優勢，說明此方法具有一定的魯棒性，這也和我們通過觀察圖像所評判的結果基本吻合。

表1 不同方法在三種劑量等級CT圖像處理的指標表現

4 結語

本文提出了一種采用疊加空洞卷積層的低劑量CT圖像處理輕量級網絡模型，使用Mayo診所的公開數據集進行訓練和驗證，旨在能夠貼近實際，使所研究的網絡模型更加具有魯棒性和實用價值；深度學習以及卷積神經網絡在醫學圖像處理中的應用將越來越廣泛，開展這一方向的研究也將越來越有意義。