基于深度學習的低劑量CT 去噪研究

劉 紅 張世杰

(1、四川大學視覺合成圖形圖像技術國防重點學科實驗室，四川 成都610064 2、江蘇一影醫療設備有限公司，上海200000)

CT(Computed Tomography)，即電子計算機斷層掃描，它是利用精確準直的X 線束、γ 射線、超聲波等，與靈敏度極高的探測器一同圍繞人體的某一部位作一個接一個的斷面掃描，具有掃描時間快，圖像清晰等特點，可用于多種疾病的檢查[1]。然而，CT圖像在拍攝的過程中會產生高劑量的輻射，這會對病人的身體健康產生極大的威脅，因此目前通常會通過減少拍攝劑量來降低對病人身體的傷害。但研究發現采用低劑量拍攝到的CT 圖像通常都會有噪聲，噪聲的產生會影響到CT 圖像的質量，這會嚴重影響到醫生對病人病情的診斷。因此低劑量CT 去噪就成為了目前重要的研究方向，而降低了拍攝劑量會導致CT 圖像帶有明顯的噪聲和偽影。目前，領域內的研究者們針對出現的這些問題也提出了一些方法，主要包括投影域處理方法、迭代重建方法和后處理方法。

投影域處理方法，對探測器接收到的投影數據進行去噪處理，然后通過濾波反投影進行CT 圖像的重建。這種方法效率高，適合臨床應用，但是同時又對設備的依賴性高。

迭代重建方法根據投影圖像的統計特性，利用函數關聯投影圖像和重建圖像，通過在目標函數中融入先驗信息，采用迭代的方式進行圖像重建。迭代法圖像重建算法通過對此迭代計算獲得人體每個部位CT 值，獲得的圖像質量較好。

后處理算法直接對設備拍攝得到低劑量CT 圖像進行操作，去噪后可以得到標準劑量CT 圖像，所以它的目的主要是去除圖像中的偽影與噪聲。雖然通過處理后，CT 圖像的質量能夠得到良好的改善，但是在圖像中仍然存在著過渡平滑和誤差的問題。由于CT 圖像的噪聲都是分布不均與的，所以這些問題還需要很好的解決。

近年來，深度學習在圖像處理領域取得了顯著成就，如人臉識別，圖像去噪等，這給低劑量CT 圖像去噪提供了很好的解題新思路。目前已有多種深度學習低劑量CT 去噪方法，如Hu Chen 等提出的RED-CNN[2]是一種基于殘差連接的編解碼網絡，對臨床數據和公開集數據均取得較好效果，Qingsong Yang 等提出WGAN-VGG[3]，利用生成對抗網絡（GAN[4]）WGAN[5]理念及VGG[6]作為感知損失進一步提升低劑量CT 去噪效果。這些性能優異的深度學習方法均需要利用對齊的低劑量CT 數據和標準劑量CT 數據進行訓練（成對的低劑量CT 數據和標準劑量CT數據必須具有除噪聲外完全相同的結構，如圖1），對于頭部等剛性部位對齊數據相對容易獲取，而對于胸腹部，由于呼吸心跳的影響很難得到對齊的數據。

1 相關工作

目前幾種深度學習低劑量CT 去噪方法的提出證明了深度學習方法對低劑量CT 去噪的有效性，目前的方法大多只能采用對齊數據進行訓練，這大大限制了深度學習方法的應用范圍，CycleGAN[7]是一種風格轉換網絡，采用了兩組生成器和判別器，可以利用非對齊數據進行訓練。由于CT 數據是一種醫學高精度數據，原始的CycleGAN 無法完成低劑量CT 去噪。

圖1 (a) (b)為對齊數據和(c)(d)非對齊數據

本文提出了一種基于CycleGAN 深度學習生成對抗網絡的低劑量CT 去噪網絡，采用CycleGAN[7]架構，通過設計選用更加高效的生成器、判別器、損失函數獲得新的深度學習卷積神經網絡，實現了采用非對齊的低劑量CT 數據和標準劑量CT 數據進行訓練的目標。

2 方法介紹

本研究通過收集臨床數據，設計深度學習卷積神經網絡并提出新的損失函數，再利用收集到數據驗證提出方法的有效性。

2.1 數據收集及處理

實驗采用胸腹部數據對方案驗證研究，胸腹部數據包括11個人胸腹部不同部位數據。其中低劑量CT 數據數量為658，標準劑量CT 數據數量為657，所有數據分辨率均為512×512，其它參數如Thickness 均為5，低劑量CT 數據的Kvp 為50，標準劑量CT 數據的Kvp 為240 等。訓練隨機選取其中10 人作為訓練集，剩余1 人作為測試集。

醫學圖像采用高精度的dcm 格式進行保存，具有16 位65536 階灰度。為了保證圖像精度并適應深度學習卷積神經網絡的數據需求，將數據歸一化并轉為16 位mat 格式。

由于CT 圖像集數量較小，通過對原始圖像從左到右，自上而下滑動切割出尺寸為64*64 圖像作為訓練集，為保證切割出圖像為有效人體部位而非黑色背景，切割時距離上下邊界均為64 像素的中間部位，滑動間隔為32 像素。滑動切割后得到99495 對低劑量CT 數據和標準劑量CT 數據并輸入網絡訓練。

2.2 深度學習網絡

2.2.1 生成器

圖2 生成器結構圖

生成器用于將低劑量CT 數據去噪重建生成標準劑量數據，生成器的性能直接決定了生成圖像的質量。研究選用生成器采用8 層3*3*64，步長為1，padding 為VALID 卷積層和8 層3*3*64，步長為1，padding 為VALID 的反卷積層構成，從每兩層卷積層與其對應反卷積層進行殘差連接。如圖2 所示。

2.2.2 判別器

圖3 判別器結構圖

判別器用于判斷生成器生成的數據質量好壞，并對生成器進行反饋，生成器根據反饋實時調節生成方向。判別器與生成器相輔相成，如果判別器性能過于強大，對生成器生成的數據每次都評價很低，生成器可能會將正確的方向誤認為錯誤，無法正確生成數據；如果判別器性能太弱，對生成器生成的不好數據反饋也會很好，同樣不利于生成器生成圖像，選用適用于生成器的判別器可以提高網絡的新年，研究采用判別器網絡包括6 層卷積層和2 層全連接層。所有卷積層卷積核尺寸均為3×3，利用leakyReLU 函數進行激活，卷積層前兩層CONV a 卷積核數為64，中間兩層CONV b 卷積核數為128，最后兩層CONV c 卷積核數為256。兩個全連接層輸出分別位1024 和1，網絡結構如圖3 所示。

2.2.3 感知損失

感知損失由VGG 網絡改進而來，由13 層卷積層以及緊隨其后的激活層和4 層最大值池化層構成。所有卷積層和池化層padding 均為SAME。前兩層卷積層尺寸為3*3*64，然后采用relu 激活函數激活后通過一個步長為2，尺寸為2*2*64 的最大池化層進行池化。第三、四層卷積層尺寸為3*3*128，然后采用relu 激活函數激活后通過一個步長為2，尺寸為2*2*128 的最大池化層進行池化。第五、六、七層卷積層尺寸為3*3*256，然后采用relu 激活函數激活后通過一個步長為2，尺寸為2*2*256 的最大池化層進行池化。第八、九、十層卷積層尺寸為3*3*512，然后采用relu 激活函數激活后通過一個步長為2，尺寸為2*2*256的最大池化層進行池化。最后三層卷積層尺寸同樣為3*3*512，然后采用relu 激活函數激活。所有卷積層步長均為1。

2.2.4 損失函數

整個網絡由兩個生成器和兩個判別器構成，兩個生成器分別由G 和F 表示，G 代表將低劑量CT 數據生成標準劑量CT 數據的生成器，F 代表將標準劑量CT 數據生成低劑量CT 數據的生成器。兩個判別器分別由DX和DY表示，判別器DX用來判斷數據是否為低劑量CT 數據，DY用于判斷數據是否為標準劑量CT 數據，網絡的整體損失函數如下：

循環損失如下，將通過兩個生成器后的數據與原數據進行比較來檢測兩個生成器性能，網絡添加感知損失進一步加強循環損失。

3 結果

3.1 訓練環境

訓練主要硬件如下：

圖4 測試集效果(A)低劑量CT 數據（LDCT）(B)RED-CNN (C)WGAN-VGG (D)提出的網絡 (E)標準劑量CT 數據（NDCT）

圖5 測試集效果局部效果(a)LDCT (b)RED-CNN (c)WGAN-VGG (d)提出的網絡 (e)NDCT

3.2 效果

由于數據為非對齊數據，無法采用SSIM或PSNR 等傳統評測指標對數據結果進行評估。研究結果由兩名相關醫師進行評估并獲得良好反饋。下面通過幾個不同部分展示深度學習卷積神經網絡的效果，并與RED-CNN 和WGAN-VGG 進行對比，展現算法采用非對齊數據進行訓練時的優勢。

圖5 數據為圖4 數據中紅色矩形截取到數據，從圖中可以看出RED-CNN 生成數據較模糊無法達到理想的去噪效果；WGAN-VGG 仍有明顯噪聲，同樣無法完成去噪任務；提出的網絡生成的圖像噪聲明顯降低，并且與標準劑量CT 數據圖像質量非常接近，達到了采用非對齊數據訓練進行低劑量CT 去噪的目的。

4 討論

CT 作為現代醫學診斷的有效手段，獲得了非常廣泛且成熟的應用。由于CT 拍攝時產生的輻射對人體的傷害也是不可忽視的，并且降低拍攝劑量又帶來圖像質量下降的問題，所以如何提高低劑量拍攝的CT 圖像質量成為熱門研究。

隨著深度學習的發展及其在圖像方面表現出的優異性能，研究人員采用深度學習卷積神經網絡的方法對低劑量CT 去噪進行了一系列研究。其中RED-CNN 和WGAN-VGG 的提出，獲得了良好的低劑量CT 去噪效果，證明了卷積神經網絡進行低劑量CT 去噪的有效性。但是目前網絡仍有問題需要解決，必須采用大量對齊數據進行訓練，現實狀況下這種數據較難獲得。本文提出一種可以利用非對齊數據進行訓練的低劑量CT 去噪網絡, 通過對收集到的臨床11 個人的數據進行訓練和測試，證明了提出的網絡的有效性。

由于提出的網絡結構較為復雜，訓練速度較慢，接下來將通過優化網絡提高訓練速度及對低劑量CT 圖像的去噪效果。