一種基于CycleGAN改進的低劑量CT圖像增強網絡

廖仕敏，劉仰川，朱葉晨，王艷玲，高 欣

一種基于CycleGAN改進的低劑量CT圖像增強網絡

廖仕敏1,2，劉仰川2，朱葉晨2，王艷玲3，高 欣1,2

(1. 徐州醫科大學醫學影像學院，江蘇 徐州 221004；2. 中國科學院蘇州生物醫學工程技術研究所醫學影像技術研究室，江蘇 蘇州 215163；3. 蘇州高新區人民醫院放射科，江蘇 蘇州 215129)

低劑量CT是一種有效且相對安全的胸腹部疾病篩查手段，但圖像中的偽影和噪聲會嚴重影響醫生的診斷。基于深度學習的圖像增強方法中網絡訓練大多依賴于難以獲取的配對數據，即同一患者相同部位像素級匹配的低劑量和常規劑量CT圖像。針對非配對數據，提出了一種基于循環一致性生成對抗網絡(CycleGAN)改進的低劑量CT圖像增強網絡，在生成器前添加淺層特征預提取模塊，增強對CT圖像特征的提取能力；并利用深度可分離卷積替換生成器中的部分普通卷積，減少網絡參數和顯存占用。該網絡使用3 275張低劑量CT圖像和2 790張非配對常規劑量CT圖像進行訓練，另外1 716張低劑量CT圖像進行測試。結果表明，該網絡生成的CT圖像的平均感知圖像質量評價指標(PIQE)為45.53，比CycleGAN的結果降低了8.3%，更遠低于三維塊匹配濾波(BM3D) 31.9%、無監督圖像轉換網絡(UNIT) 20.9%，且在結構細節保持、噪聲和偽影抑制方面均獲得了更好的主觀視覺效果，是一種具有潛在臨床應用前景的低劑量CT圖像增強方法。

低劑量CT；圖像增強；深度學習；非配對數據；循環一致性生成對抗網絡

計算機斷層成像(computed tomography，CT)是一種通過無損方式獲取人體內部解剖信息的成像技術，具有掃描時間短、圖像分辨率高等特點。然而，CT掃描過程中較高的輻射劑量會損害患者健康，甚至誘發癌變。相比于常規劑量CT，低劑量CT在掃描中可有效降低患者所受的輻射劑量，因而廣泛應用于胸腹部(特別是肺部)疾病篩查領域。目前臨床上通常采用降低射線源的管電流或管電壓的方式實現低劑量CT掃描，由此探測器檢測到的光子數也相應變少，投影數據的信噪比降低，導致重建圖像中出現大量的噪聲和偽影，嚴重影響醫生的準確診斷。因此，有效抑制低劑量CT圖像中的噪聲和偽影，提高圖像質量，具有重要的臨床意義。

傳統低劑量CT圖像增強方法可分為基于投影域數據和基于圖像域數據2類，前者可細分為投影域處理方法[1-3]和迭代重建方法[4-5]。投影域處理方法對探測器接收到的投影數據進行濾波去噪，計算過程簡單、耗時短，但容易引起數據過校正，導致重建圖像引入新的偽影。迭代重建方法通過引入先驗知識和約束條件來構建具備特定優化效果的目標函數，并借助迭代最優化方法求解得到高質量CT圖像，但迭代過程計算復雜度高、耗時嚴重，且依賴于優化準則，臨床應用價值受限。此外，投影數據涉及CT機的部分核心技術，因此廠家一般不提供投影數據獲取權限。基于圖像域數據的方法[6]則不依賴投影數據，直接對重建圖像進行增強，具有一定的去噪、去偽影效果，但容易引起圖像過度平滑、細節信息丟失等問題，如三維塊匹配濾波(block-matching and 3D filtering，BM3D)[7]。近年來，隨著深度學習的發展，卷積神經網絡(convolutional neural network，CNN)在計算機視覺領域[8-11]的應用愈加廣泛。劑量感知網絡(dose aware network，DAN)[12]，基于殘差編解碼結構的卷積神經網絡(residual encoder- decoder CNN，REDCNN)[13]，自注意卷積神經網絡(self-attention CNN，SACNN)[14]憑借各自強大的特征提取能力，在低劑量CT圖像去噪、偽影抑制和結構保持方面，表現出比傳統方法更大的優勢。上述網絡均屬于監督學習網絡，依賴于臨床上難以獲取的配對數據，即同一患者相同部位像素級匹配的低劑量和常規劑量CT圖像。部分研究[15]通過仿真獲取配對的CT圖像，但因仿真成像與真實物理成像在射線透射與散射、旋轉掃描、人體模型等方面存在差距，應用價值受限。

近幾年，研究人員提出了多種使用非配對數據進行訓練的無監督網絡，如無監督圖像到圖像轉換網絡(unsupervised image-to-image translation network，UNIT)[16]、循環一致性生成對抗網絡(cycle-consistent generative adversarial network，CycleGAN)[17]、通過解耦表征的多樣化圖像到圖像轉換網絡(diverse image-to-image translation network via disentangled representations，DRIT)[18]、多模態無監督圖像到圖像轉換網絡(multimodal unsupervised image-to-image translation network，MUNIT)[19]等。其中CycleGAN作為最經典的無監督網絡，被廣泛應用于圖像生成任務，也將其應用于低劑量CT圖像增強。朱斯琪等[20]將CycleGAN生成器中特征轉換模塊的殘差連接替換為稠密殘差連接，增強了網絡層間的聯系；TANG等[21]將BM3D增強后的低劑量CT圖像作為先驗信息，進一步約束網絡的訓練過程，2個改進網絡均取得了較好的結果。然而，前者采用的心臟CT數據集因人工截取感興趣區域(region of interest，ROI)導致其缺乏完整性；后者采用的死豬CT數據集缺乏生理運動信息且與人體解剖結構相差較大。本文以非配對臨床胸腹部常規、低劑量CT圖像作為數據集，借助淺層特征預提取模塊和深度可分離卷積(depthwise separable convolution，DSC)[22]改進CycleGAN，并與傳統增強方法BM3D、深度學習網絡UNIT和CycleGAN做對比，驗證改進后的CycleGAN在低劑量CT圖像增強方面的效果。

1 材料和方法

1.1 數據和預處理

本研究所用臨床胸腹部CT影像數據由第四屆圖像計算與數字醫學國際研討會(ISICDM 2020)主辦方提供，訓練集包含10例受試者的低劑量CT圖像3 275張和另外10例受試者的常規劑量CT圖像2 790張，測試集包含另外5例受試者的低劑量CT圖像1 716張，圖像尺寸是512×512。此外，為加快網絡收斂并考慮到人體組織的CT值存在負值，將數據歸一化到[-1, 1]。

1.2 基礎網絡

1.2.1 生成對抗網絡

生成對抗網絡(generative adversarial network，GAN)是CycleGAN[17]的基礎，包含一個生成器和一個鑒別器，生成器的目標是生成能最大程度還原捕捉到的訓練集特征的圖像；鑒別器的作用則是正確區分訓練集中的真實圖像和生成器生成的假圖像，并將分類結果反饋給生成器，使生成器生成更接近真實數據的圖像，由此構成博弈。GAN的對抗損失函數可表示為一個最小-最大化問題，即

其中，為數學期望函數；為真實數據；為隨機噪聲；()為真實數據分布；()為用于隨機噪聲采樣的先驗分布；為生成器；為鑒別器。生成器和鑒別器在博弈過程中，不斷提升自身性能，直至達到納什平衡，即生成器無法再提高生成圖像的逼真程度，鑒別器無法區分真實圖像和生成圖像。

1.2.2 循環一致性生成對抗網絡

在GAN中，生成器為生成逼真的圖像，常常會忽略輸入變量間的差異性，導致模式崩潰，即源域中的不同圖像被生成器轉換成目標域中同一圖像。CycleGAN通過引入循環一致性損失，同時訓練生成器和，確保轉換到目標域中的圖像經生成器可轉換回與原始圖像近似的圖像，從而避免上述問題，如圖1所示。

圖1 CycleGAN原理示意圖

圖1中，和為鑒別器，分別鑒別生成器和生成的圖像是否足夠接近真實圖像。CycleGAN的生成器主要由編碼器、特征轉換模塊和解碼器3部分組成，如圖2所示。

圖2 生成器結構

編碼器包含2層步幅為2的跨步卷積，特征轉換模塊包含9個殘差塊，每個殘差塊由2層普通卷積組成，解碼器包含2層步幅為2的反卷積。

輸入圖像尺寸為1×256×256 (通道數為1，長和寬均為256)，經普通卷積后，得到尺寸為64×256×256的特征圖。再依次由編碼器下采樣，經特征轉換模塊轉換特征，解碼器上采樣，普通卷積融合通道，最終輸出尺寸為1×256×256的圖像。

此外，為進一步約束生成器的訓練過程，CycleGAN還引入了一致性損失，將目標域或源域中的圖像分別輸入生成器或中，生成器輸出的圖像應保持不變。

CycleGAN的損失函數包含循環一致性損失函數L、對抗損失函數L(CycleGAN的對抗損失函數為最小二乘損失)和一致性損失函數L的3部分，即

其中

其中，()為目標域中的數據分布；和為權重系數，平衡網絡的循環一致性損失、對抗損失和一致損失，值分別為10和5。

1.3 改進網絡

為有效抑制低劑量CT圖像中的噪聲和偽影，并保留圖像中的結構細節信息，本文對CycleGAN做如下改進和調整。

1.3.1 深度可分離卷積

生成器由大量的卷積層堆疊而成，因此網絡參數極多，大量參數不僅會降低網絡的訓練速度而且易導致網絡過擬合。使用DSC[22]替換CycleGAN生成器中的部分普通卷積可減少網絡參數，降低訓練過程中顯存的占用。

DSC是文獻[22]在2017年提出的一種應用于移動端視覺的卷積方法，該方法將普通卷積分解為逐通道卷積和逐點卷積，如圖3所示。

輸入特征圖的尺寸為in×in×in，且in，in，in分別為特征圖的寬、高和通道數。DSC首先對輸入特征圖進行逐通道分離，對分離出的通道使用in個尺寸為W×H×1的卷積核進行逐通道卷積，得到尺寸為××的中間輸出，W，H和，分別為卷積核的寬、高和中間輸出的寬、高。最后使用個尺寸為1×1×in的卷積核對中間輸出進行逐點卷積，最終輸出特征圖的尺寸為××。

圖3 深度可分離卷積

不考慮偏置的情況下，上述普通卷積、逐通道卷積和逐點卷積的參數計算公式分別為W×H×in×，W×H×in×1和1×1×in×，因此DSC的參數計算式為W×H×in×1+1×1×in×。

在輸入(in)和輸出通道數()都很大的情況下，DSC的參數量遠小于普通卷積。因此利用其可得到一個參數量更小、訓練速度更快的神經網絡。

1.3.2 淺層特征預提取模塊

通常情況下，自然圖像的數據類型為8位無符號整型，而醫學CT圖像的數據類型為16位有符號整型(數據預處理后為32位有符號浮點型)。面向自然圖像的CycleGAN直接用于醫學CT圖像增強，會因為網絡提取的醫學影像特征不足，導致丟失反應病灶細節的部分信息。淺層特征預提取模塊(shallow feature pre-extraction module，SFEM)可提取含有豐富語義信息的圖像特征，在生成常規劑量CT圖像的生成器前添加該模塊，可增強網絡對CT圖像特征的提取能力，保留圖像中反應結構細節的信息。

淺層特征預提取模塊由7條卷積核尺寸(逐通道卷積中卷積核的尺寸)和卷積層數目均不相同的DSC支路，及2條不同的池化支路組成，為避免網絡深度增加導致梯度消失，除第1條以外的其余6條DSC支路中采用殘差連接。將各支路提取到的多層次淺層特征在通道維度上連接并進行信息融合，最終輸入CycleGAN的生成器，如圖4所示。

1.3.3 激活函數調整

原生成器中的部分激活函數是ReLu (圖5(a))，會導致值域為(-1,0)的數據丟失。因此，本文將原網絡中的ReLu激活函數均替換成Tanh激活函數(圖5(b))。

圖4 淺層特征預提取模塊

圖5 ReLu激活函數曲線和Tanh激活函數曲線((a) ReLu激活函數曲線；(b) Tanh激活函數曲線)

1.4 圖像質量評價指標

通常情況下，生成圖像的質量評價指標是峰值信噪比(peak signal-to-noise ratio，PSNR)和結構相似度(structural similarity，SSIM)，但二者均依賴配對數據進行計算，不適用于本研究中非配對數據的生成圖像評價。感知圖像質量評價指標(perception-based image quality evaluator，PIQE)是VENKATANATH等[23]提出的一種基于人類視覺的無參考自然圖像評價指標，其充分考慮了局部噪聲和顯著失真對整體圖像質量的影響，具有客觀性強、適應性好等優點。而CT圖像中的局部噪聲和偽影有時會嚴重影響臨床醫生的準確診斷，因此本研究引入PIQE定量評估生成CT圖像質量，其計算過程可分為6步：

(1) 計算亮度圖像的去均值對比度歸一化(mean subtracted contrast normalized，MSCN)系數矩陣，即

其中

式(6)中，(,)為自然圖像對應的亮度圖像；C為常數1；(,)和(,)分別為亮度圖像(,)經高斯濾波后得到的加權均值圖像和加權標準差圖像。式(7)中，，和分別代表自然圖像紅、綠、藍3通道。式(8)和式(9)中，K和L均為常數3；為濾波核為7×7像素的高斯濾波函數。由于CT圖像為灰度圖像，故PIQE計算過程中所涉及到圖像的亮度值均由灰度值代替。

(2) 將圖像尺寸分為16×16像素的多個不重疊塊，每個塊在MSCN系數矩陣上對應相同尺寸的區域記為B，如圖6所示。

圖6 多個不重疊塊((a)圖像；(b) MSCN系數矩陣)

塊可分為均勻(uniform，U)塊或空間活躍(spatially active，SA)塊，即

其中，為塊的類別；TU為常數0.1；為塊在MSCN系數矩陣上對應區域B的方差。

(3) 判斷塊是否存在顯著失真。塊對應的B的4條邊(L;?1,2,3,4)均被錯位分成11段(a1,a2,a3,···;?1,2,3,4)，每段長度均為6個像素，彼此錯位1個像素，如圖7所示。

如果B的4條邊中存在任何一段的標準差小于閾值0.1，則表明該B對應的塊存在顯著失真，即

(4) 判斷塊是否存在噪聲。塊對應的B以中心線對稱，尺寸為2×16像素的中心區域(S)和尺寸為14×16像素的外圍區域(S)，如圖8所示。

圖7 判斷空間活躍塊是否存在顯著失真((a) BK和BK的4條邊；(b)將每條邊錯位分成11段)

圖8 BK的中心區域和外圍區域

計算整體區域B、中心區域S、外圍區域S之間數據分布的相似程度為

(5) 根據的失真類型(顯著失真和噪聲)，計算其質量分數為

(6) 通過所有的質量分數D，評估整張圖像的質量，即

其中，C1為常數1；N為的數量。值越大為圖像質量越差。

2 實驗和結果

2.1 實現環境及參數設置

使用深度學習框架PyTorch實現所提出的網絡架構。實驗設備為裝有Nvidia GeForce 2080Ti GPU的Dell P5820X工作站，操作系統為Ubuntu 16.04 LTS。

2.2 實驗結果

2.2.1 定量評價

分別采用傳統方法BM3D、深度學習方法UNIT，CycleGAN和改進后的CycleGAN對測試集中5位受試者的1 716張低劑量CT圖像進行增強(深度學習網絡生成的常規劑量CT圖像視為增強結果)，并計算各增強后圖像的PIQE。此后，以受試者為單位求平均PIQE，結果見表1。

表1 低劑量CT圖像增強前后的平均PIQE

注：加粗數據為同行中最小的PIQE

表1中，與原圖像相比，經BM3D增強后，受試者1～4的平均PIQE均大幅減小，但受試者5的平均PIQE小幅增大。這表明，傳統方法BM3D對低劑量CT圖像具有一定的增強效果，但穩定性較差。經UNIT，CycleGAN和改進后的CycleGAN增強后，所有受試者的平均PIQE均大幅減小，且減小幅度依次提升。這表明，深度學習方法UNIT，CycleGAN和改進后的CycleGAN對低劑量CT圖像的增強效果均優于傳統方法BM3D且性能依次提高，穩定性好。此外，在整個測試集上，改進后的CycleGAN的平均PIQE由CycleGAN的49.65降低為45.53，降幅達8.3%，更遠低于BM3D的31.9%和UNIT的20.9%，驗證了本文改進方法的有效性。

2.2.2 定性評價

觀察4種方法增強結果后發現，雖然原圖像中的噪聲和偽影得到了抑制，但是部分圖像存在新偽影引入、結構細節丟失和灰度值改變的問題。為此，本文采用主觀對比方式對增強圖像進行定性評價。由于骨組織、肺組織、軟組織是胸腹部CT篩查的重要依據，因此從偽影抑制、結構完整性、灰度值保持3個方面，重點考察增強圖像中這3類組織的增強效果，從而主觀評價各方法的性能。圖9為選取的3張可顯著表現這3種組織的對比圖像。

圖9(a)為骨組織，BM3D的增強圖像中，下側骨組織周圍仍存在大量條紋狀偽影(黃箭)。UNIT的增強圖像中，骨組織周圍出現了大量白色斑狀偽影(綠框)；胸廓上側出現了帶狀偽影(綠箭)。CycleGAN的增強圖像中，部分骨組織灰度值降低甚至難以識別(紅箭)。改進后的CycleGAN的增強圖像中，骨組織灰度值雖然輕微降低，但是結構完整且邊界清晰(藍箭)。

圖9(b)為肺組織，BM3D中的肺組織結構丟失嚴重(黃框)。UNIT中的肺腔下側出現了2個扁圓狀偽影、胸廓上側出現了帶狀偽影(綠箭)。CycleGAN中的肺組織結構完整(紅框)，但位于肺腔上側的軟組織丟失了少量結構信息并且胸廓兩側出現了條狀偽影(紅箭)。改進后的CycleGAN中的肺組織增強效果顯著(藍框)。

圖9(c)為軟組織，BM3D中的軟組織平滑嚴重，紋理丟失(黃箭)。UNIT中的軟組織中出現了多個暗色偽影、胸廓上側出現帶狀偽影(綠箭)。CycleGAN中的軟組織偽影抑制良好，但部分空洞丟失(紅框)。改進后的CycleGAN的軟組織空洞保持完整(藍框)。

主觀對比所有受試者的測試結果發現，BM3D過度平滑了圖像，導致結構和紋理丟失，有時不能完全去除原始圖像中條紋狀偽影；UNIT則引入了大量偽影；CycleGAN雖然對各組織均有增強效果，但是會降低部分骨組織灰度值、丟失部分軟組織信息、在圖像邊緣引入少量偽影；改進后的CycleGAN對各組織均有顯著增強效果，在偽影抑制、結構完整性、灰度值保持3方面均有所提升。

圖9 4種低劑量CT圖像增強方法效果對比((a)骨組織；(b)肺組織；(c)軟組織)

2.2.3 消融實驗

為了進一步驗證本文改進網絡的有效性，分別對淺層特征預提取模塊和深度可分離卷積進行消融實驗。將CycleGAN記為Base，CycleGAN生成器中添加淺層特征預提取模塊記為Base+SFEM，CycleGAN生成器中部分普通卷積替換為DSC記為Base+DSC，CycleGAN生成器中添加淺層特征預提取模塊且部分普通卷積替換為DSC記為Base+SFEM+DSC (即本文改進網絡)。

采用與上文中相同的數據和參數對4種網絡進行訓練和測試，在訓練階段記錄生成器的參數量，并在測試后計算增強圖像的平均PIQE，結果見表2。

表2 4種網絡增強效果定量比較

注：Base=CycleGAN；SFEM=淺層特征預提取模塊；DSC=深度可分離卷積；M=百萬

表2中，與Base相比，Base+SFEM的生成器參數量有所增加，增強圖像的平均PIQE增大，表明生成器添加SFEM會引入額外的參數量，不利于網絡訓練，降低了網絡對低劑量CT圖像中噪聲及偽影的抑制能力。Base+DSC的生成器參數量大幅減少，但增強圖像的平均PIQE依舊增大，說明DSC可有效降低生成器參數量，便于網絡訓練，但由于其在空間和通道上的交互更為稀疏，使網絡對圖像的特征提取能力不強，限制了網絡對低劑量CT圖像中噪聲及偽影的抑制效果。Base+ SFEM+DSC的參數量減少，增強圖像的平均PIQE減小，表明SFEM與DSC相結合，在提取豐富語義信息的同時有效降低網絡參數量，進而提升網絡對低劑量CT圖像噪聲及偽影的抑制能力。

為了直觀說明SFEM和DSC相結合的必要性，從實驗結果中選取3張分別對應骨組織(第1，2行)、肺組織(第3，4行)和軟組織(第5，6行)的切片及其ROI放大圖，如圖10所示，主觀評價基礎網絡及模塊組合網絡對低劑量CT圖像的增強效果。

圖10中，4種網絡對低劑量CT圖像中的噪聲均有較好的抑制效果，但在骨組織、肺組織及軟組織保持方面存在差異。與原圖相比，Base的增強圖像中部分骨組織丟失，肺組織灰度值下降，軟組織空洞對比度降低或丟失，表明Base對3種組織的特征提取能力不足；與Base結果相比，Base+SFEM的增強圖像中骨組織、肺組織及軟組織空洞的對比度及輪廓均保持較好，僅部分骨組織周圍仍存在偽影，如圖10(c)綠框所示，表明SFEM增強了Base架構保持組織結構細節的能力，但降低了其抑制偽影的能力；而Base+DSC的增強圖像中骨組織丟失嚴重，肺組織灰度值下降明顯，軟組織空洞對比度上升，以上表明DSC減弱了網絡對骨組織及肺組織的特征提取能力；相比上述3種網絡，Base+SFEM+DSC的增強圖像中骨組織、肺組織、軟組織結構均保持完整，未發生組織信息丟失，且骨組織周圍偽影抑制效果較好，表明SFEM和DSC相結合的策略在組織結構細節保持和偽影抑制兩方面做到了較好的平衡。

以上消融實驗結果表明，SFEM雖然能增強網絡對骨、肺及其軟組織的保持能力，但會限制網絡的去偽影效果。DSC雖然能降低網絡的參數量，但相比普通卷積，對圖像的特征提取能力不足，導致網絡對圖像中的骨、肺及其軟組織的保持能力下降。單獨使用SFEM和DSC均不能有效保留圖像中的結構細節信息，而SFEM和DSC的結合，可在提取豐富語義信息的同時，有效降低網絡參數量，提升網絡對醫學圖像的特征提取能力，從而增強網絡對低劑量CT圖像中偽影和噪聲的抑制能力，并保留圖中的結構細節信息。

圖10 基礎網絡及模塊組合網絡實驗結果主觀對比

3 結 論

本文基于CycleGAN改進的低劑量CT圖像增強網絡，利用DSC替換CycleGAN生成器中部分普通卷積，減少網絡參數，降低訓練過程中的顯存占用，并在生成常規劑量CT圖像的生成器中添加SFEM，利用不同的支路提取不同的淺層特征信息，并進行融合，以此增強生成器對CT圖像特征的提取能力，從而生成高質量的CT圖像。實驗結果表明，本文網絡在骨組織灰度值保持、肺組織信號增強、偽影抑制等方面的主觀評價均優于BM3D，UNIT和CycleGAN，并且該網絡生成的常規劑量CT圖像的平均PIQE下降到了45.53，而其余3種方法中增強效果最好的CycleGAN生成的常規劑量CT圖像的平均PIQE僅下降到了49.65，因此本文網絡是一種性能優越，具有潛在臨床應用前景的低劑量CT圖像增強網絡。

[1] MANDUCA A, YU L F, TRZASKO J D, et al. Projection space denoising with bilateral filtering and CT noise modeling for dose reduction in CT[J]. Medical Physics, 2009, 36(11): 4911-4919.

[2] HSIEH J. Adaptive streak artifact reduction in computed tomography resulting from excessive X-ray photon noise[J]. Medical Physics, 1998, 25(11): 2139-2147.

[3] KACHELRIESS M, WATZKE O, KALENDER W A. Generalized multi-dimensional adaptive filtering for conventional and spiral single-slice, multi-slice, and cone-beam CT[J]. Medical Physics, 2001, 28(4): 475-490.

[4] XU Q, YU H Y, MOU X Q, et al. Low-dose X-ray CT reconstruction via dictionary learning[J]. IEEE Transactions on Medical Imaging, 2012, 31(9): 1682-1697.

[5] ZHANG Y, ZHANG W H, LEI Y J, et al. Few-view image reconstruction with fractional-order total variation[J]. Journal of the Optical Society of America A, 2014, 31(5): 981-995.

[6] ZHANG H, ZENG D, ZHANG H, et al. Applications of nonlocal means algorithm in low-dose X-ray CT image processing and reconstruction: a review[J]. Medical Physics, 2017, 44(3): 1168-1185.

[7] ZHAO T T, HOFFMAN J, MCNITT-GRAY M, et al. Ultra-low-dose CT image denoising using modified BM3D scheme tailored to data statistics[J]. Medical Physics, 2019, 46(1): 190-198.

[8] 黃凱奇, 趙鑫, 李喬哲, 等. 視覺圖靈: 從人機對抗看計算機視覺下一步發展[J]. 圖學學報, 2021, 42(3): 339-348.

HUANG K Q, ZHAO X, LI Q Z, et al. Visual Turing: the next development of computer vision in the view of human-computer gaming[J]. Journal of Graphics, 2021, 42(3): 339-348 (in Chinese).

[9] 林曉, 屈時操, 黃偉, 等. 顯著區域保留的圖像風格遷移算法[J]. 圖學學報, 2021, 42(2): 190-197.

LIN X, QU S C, HUANG W, et al. Style transfer algorithm for salient region preservation[J]. Journal of Graphics, 2021, 42(2): 190-197 (in Chinese).

[10] 任好盼, 王文明, 危德健, 等. 基于高分辨率網絡的人體姿態估計方法[J]. 圖學學報, 2021, 42(3): 432-438.

REN H P, WANG W M, WEI D J, et al. Human pose estimation based on high-resolution net[J]. Journal of Graphics, 2021, 42(3): 432-438 (in Chinese).

[11] 李彬, 王平, 趙思逸. 基于雙重注意力機制的圖像超分辨重建算法[J]. 圖學學報, 2021, 42(2): 206-215.

LI B, WANG P, ZHAO S Y. Image super-resolution reconstruction based on dual attention mechanism[J]. Journal of Graphics, 2021, 42(2): 206-215 (in Chinese).

[12] HUANG Z X, CHEN Z X, CHEN J C, et al. DaNet: dose-aware network embedded with dose-level estimation for low-dose CT imaging[J]. Physics in Medicine and Biology, 2021, 66(1): 015005.

[13] CHEN H, ZHANG Y, KALRA M K, et al. Low-dose CT with a residual encoder-decoder convolutional neural network[J]. IEEE Transactions on Medical Imaging, 2017, 36(12): 2524-2535.

[14] LI M, HSU W, XIE X D, et al. SACNN: self-attention convolutional neural network for low-dose CT denoising with self-supervised perceptual loss network[J]. IEEE Transactions on Medical Imaging, 2020, 39(7): 2289-2301.

[15] 周博超, 韓雨男, 桂志國, 等. 基于VGG網絡和深層字典的低劑量CT圖像去噪算法[EB/OL]. [2022-02-10]. http:// www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060582.

ZHOU B C, HAN Y N, GUI Z G, et al. Low-dose CT image denoising algorithm based on VGG network and deep dictionary[EB/OL]. [2022-02-10]. http://www.ecice06.com/ CN/10.19678/j.issn.1000-3428.0060582 (in Chinese).

[16] LIU M Y, BREUEL T, KAUTZ J. Unsupervised image- to-image translation networks[EB/OL]. [2022-01-10]. https:// arxiv.org/abs/1703.00848v1.

[17] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]// 2017 IEEE International Conference on Computer Vision. New York: IEEE Press, 2017: 2223-2232.

[18] LEE H Y, TSENG H Y, MAO Q, et al. DRIT++: diverse image-to-image translation via disentangled representations[J]. International Journal of Computer Vision, 2020, 128(10-11): 2402-2417.

[19] HUANG X, LIU M Y, BELONGIE S, et al. Multimodal unsupervised image-to-image translation[C]//The 15th European Conference on Computer Vision. Heidelberg: Springer, 2018: 172-189.

[20] 朱斯琪, 王玨, 蔡玉芳. 基于改進型循環一致性生成對抗網絡的低劑量CT去噪算法[J]. 光學學報, 2020, 40(22): 70-78.

ZHU S Q, WANG J, CAI Y F. Low-dose CT denoising algorithm based on improved Cycle GAN[J]. Acta Optica Sinica, 2020, 40(22): 70-78 (in Chinese).

[21] TANG C, LI J, WANG L Y, et al. Unpaired low-dose CT denoising network based on cycle-consistent generative adversarial network with prior image information[J]. Computational and Mathematical Methods in Medicine, 2019(12): 1-11.

[22] HOWARD A G, ZHU M L, CHEN B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL]. [2021-12-20]. https://arxiv.org/abs/1704. 04861.

[23] VENKATANATH N, PRANEETH D, BH M C, et al. Blind image quality evaluation using perception based features[C]// 2015 21st National Conference on Communications. New York: IEEE Press, 2015: 1-6.

An improved low-dose CT image enhancement network based on CycleGAN

LIAO Shi-min1,2, LIU Yang-chuan2, ZHU Ye-chen2, WANG Yan-ling3, GAO Xin1,2

(1. School of Medical Imaging, Xuzhou Medical University, Xuzhou Jiangsu 221004, China; 2. Medical Imaging Department, Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences, Suzhou Jiangsu 215163, China; 3.Department of Radiology, the People’s Hospital of Suzhou New District, Suzhou Jiangsu 215129, China)

Low-dose CT is an effective and relatively safe screening method for thoracic and abdominal diseases, but the artifacts and noise in the image will seriously affect the doctor’s diagnosis. Network training in image enhancement methods based on deep learning mostly relies on paired data that is pixel-level matched low-dose and conventional-dose CT images at the same site of the same patient. An improved low-dose CT image enhancement network based on the cycle-consistent generative adversarial network (CycleGAN) was proposed for unpaired data. A shallow feature pre-extraction module was added in front of the generator to enhance the capability to extract CT images features. In addition, the depthwise separable convolution was used to replace some common convolutions in the generator to decrease network parameters and reduce GPU memory usage. In the proposed network, a total of 3 275 two-dimensional low-dose CT slices and a total of 2 790 two-dimensional unpaired conventional-dose CT slices were used for training, and a total of 1 716 two-dimensional low-dose CT slices were employed for testing. The results show that the averaged perception-based image quality evaluator (PIQE) of CT images generated by the network is 45.53, which is 8.3% lower than that of CycleGAN, 31.9% lower than that of Block-Matching and 3D filtering (BM3D), and 20.9% lower than that of unsupervised image translation network (UNIT). Moreover, the proposed network can produce better subjective visual effects in terms of structural detail preservation, noise and artifact suppression. This shows that the network is a low-dose CT image enhancement method with potential clinical prospects.

low-dose CT; image enhancement; deep learning; unpaired data; cycle-consistent generative adversarial network

30 December，2021；

National Natural Science Foundation of China (81871439, 61801475); Suzhou Institute of Biomedical Engineering and Technology (CAS) Planned Project (Y95K091K05)

LIAO Shi-min (1997–), master student. His main research interest covers medical image processing. E-mail：1255567784@qq.com

TP 391

10.11996/JG.j.2095-302X.2022040570

A

2095-302X(2022)04-0570-10

2021-12-30；

2022-02-16

16 February，2022

國家自然科學基金項目(81871439，61801475)；中科院蘇州醫工所自主部署項目(Y95K091K05)

廖仕敏(1997–)，男，碩士研究生。主要研究方向為醫學圖像處理。E-mail：1255567784@qq.com

高 欣(1975–)，男，研究員，博士。主要研究方向為低劑量錐束CT、基于智能計算的精準醫療、手術導航及機器人。E-mail：xingaosam@163.com

GAO Xin (1975–), researcher, Ph.D. His main research interests cover low-dose cone-beam CT, precision medicine based on intelligent computing, surgical navigation and robot. E-mail：xingaosam@163.com