用于低劑量CT降噪的偽影感知生成對抗網(wǎng)絡(luò)

韓澤芳，張雄，上官宏，韓興隆，韓靜，奉剛，崔學(xué)英

用于低劑量CT降噪的偽影感知生成對抗網(wǎng)絡(luò)

韓澤芳，張雄*，上官宏，韓興隆，韓靜，奉剛，崔學(xué)英

（太原科技大學(xué) 電子信息工程學(xué)院，太原 030024）（ ? 通信作者電子郵箱zx@ tyust.edu.cn）

近年來，生成對抗網(wǎng)絡(luò)（GAN）用于低劑量CT（LDCT）偽影抑制表現(xiàn)出一定性能優(yōu)勢，已成為該領(lǐng)域新的研究熱點。由于偽影分布不規(guī)律且與正常組織位置息息相關(guān)，現(xiàn)有GAN網(wǎng)絡(luò)的降噪性能受限。針對上述問題，提出了一種基于偽影感知GAN的LDCT降噪算法。首先，設(shè)計了偽影方向感知生成器，該生成器在U型殘差編解碼結(jié)構(gòu)的基礎(chǔ)上增加了偽影方向感知子模塊（ADSS），從而提高生成器對偽影方向特征的敏感度；其次，設(shè)計了注意力判別器（AttD）來提高對噪聲偽影的鑒別能力；最后，設(shè)計了與網(wǎng)絡(luò)功能相對應(yīng)的損失函數(shù)，通過多種損失函數(shù)協(xié)同作用來提高網(wǎng)絡(luò)的降噪性能。實驗結(jié)果表明，與高頻敏感GAN（HFSGAN）相比，該降噪算法的平均峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）分別提升了4.9%和2.8%，偽影抑制效果良好。

低劑量斷層掃描成像；圖像降噪；生成對抗網(wǎng)絡(luò)；方向卷積；注意力機(jī)制

0 引言

由于具有操作簡單、密度分辨率高、成像質(zhì)量清晰等優(yōu)點，X射線計算機(jī)斷層掃描成像（Computed Tomography， CT）技術(shù)已經(jīng)被廣泛應(yīng)用于圖像引導(dǎo)介入、灌流成像、放射學(xué)等臨床診療中［1］；然而，CT掃描是主要的醫(yī)源性輻射源，其潛在危害包括新陳代謝異常、癌癥、白血病以及其他遺傳性疾病等［2］，在CT檢查中需要盡可能降低掃描時的輻射劑量。輻射劑量的降低又會引起投影數(shù)據(jù)量子噪聲加大，進(jìn)而導(dǎo)致重建圖像出現(xiàn)明顯的條形偽影和斑點噪聲，影響臨床診斷的準(zhǔn)確性。如何在盡可能低的掃描劑量條件下，獲取與常規(guī)劑量CT（Normal-Dose CT， NDCT）掃描質(zhì)量相近的CT圖像的技術(shù)，即低劑量CT（Low-Dose CT， LDCT）成像技術(shù)已成為研究熱點。

目前，學(xué)者們對LDCT成像算法的研究嘗試主要分為三類：投影域方法、重建方法及后處理方法。由于不依賴原始投影數(shù)據(jù)，具有較強的可移植性，后處理方法成為該領(lǐng)域的研究熱點。早期的后處理方法主要采用信號處理或圖像處理技術(shù)，例如：非局部均值濾波［3］、三維塊匹配（Block-Matching 3D， BM3D）算法［4］、基于字典學(xué)習(xí)［5］與稀疏表示［6］的LDCT降噪算法等。近年，深度學(xué)習(xí)在機(jī)器視覺、語音識別與自然語言處理等領(lǐng)域［7］取得的顯著效果，激發(fā)了研究者利用深度學(xué)習(xí)技術(shù)來解決LDCT偽影抑制問題的興趣。為了提高特征提取豐富性，學(xué)者們設(shè)計了二維卷積神經(jīng)網(wǎng)絡(luò) （Convolutional Neural Network， CNN）［8］、三維CNN［9］、殘差編碼器 / 解碼器CNN（Residual Encoder-Decoder CNN， RED-CNN）［10］和級聯(lián)CNN［11］等網(wǎng)絡(luò)結(jié)構(gòu)；為了提高特征提取的有效性和充分性，提出了基于多尺度編解碼結(jié)構(gòu)的U-Net［12］及其改進(jìn)算法［13］；在損失函數(shù)的設(shè)計方面提出了用于指導(dǎo)降噪網(wǎng)絡(luò)學(xué)習(xí)輸出與目標(biāo)圖像之間像素級差異的像素級L1損失［8］，用于指導(dǎo)降噪網(wǎng)絡(luò)學(xué)習(xí)輸出與目標(biāo)圖像之間語義特征的差異、提高網(wǎng)絡(luò)對低質(zhì)量圖像的特征重構(gòu)能力的感知損失［14］和風(fēng)格損失［15］。得益于CNN強大的特征映射能力，基于CNN的LDCT降噪方案取得了一定效果，然而，實際應(yīng)用中，很難構(gòu)建能夠滿足CNN充足訓(xùn)練的數(shù)據(jù)集，數(shù)據(jù)集較小常會引起訓(xùn)練不充分、網(wǎng)絡(luò)欠擬合等問題。

為了解決上述問題，Goodfellow等［16］提出了由生成器G（Generator）與判別器D（Discriminator）兩部分組成的生成對抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）。該網(wǎng)絡(luò)是一種無監(jiān)督框架，通過G和D的博弈對抗和交替訓(xùn)練，逐步生成能夠逼近真實數(shù)據(jù)的新樣本。由于采用對抗訓(xùn)練的方式來對G和D進(jìn)行訓(xùn)練，原始GAN框架往往缺少穩(wěn)定性，即網(wǎng)絡(luò)訓(xùn)練過程中損失函數(shù)振蕩幅度較大；梯度總體變化趨勢不規(guī)律；網(wǎng)絡(luò)整體降噪性能不佳等。一般地，GAN網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性主要取決于兩個方面：生成器特征提取的有效性和代價函數(shù)的約束。近年，研究人員主要從生成器、判別器及損失函數(shù)這三個方面尋求解決方案來改進(jìn)基于GAN的降噪網(wǎng)絡(luò)的性能。一方面，許多學(xué)者通過從網(wǎng)絡(luò)深度、卷積方式、引入新的功能子網(wǎng)絡(luò)等角度探索改進(jìn)生成器特征提取能力的方案。例如Wolterink等［17］采用7層CNN結(jié)構(gòu)作為生成器，首次實現(xiàn)了GAN在LDCT降噪領(lǐng)域的應(yīng)用；Yi等［18］設(shè)計一種基于U-Net的生成器，該網(wǎng)絡(luò)的多尺度編解碼結(jié)構(gòu)對LDCT圖像的降噪貢獻(xiàn)了積極的作用，這種結(jié)構(gòu)比CNN參數(shù)更少，而特征提取卻更有效。此外，還有基于拉普拉斯金字塔的多尺度漸進(jìn)式生成器［19］、基于兩階段的堆棧式生成器［20］和結(jié)合自注意力機(jī)制的注意力生成器［21］等。上述算法對LDCT圖像偽影抑制有積極作用，然而，這些網(wǎng)絡(luò)并沒有針對CT圖像中噪聲偽影的特殊性進(jìn)行設(shè)計，不僅網(wǎng)絡(luò)計算復(fù)雜度高，而且普遍存在對噪聲偽影描述能力弱的問題。另一方面，也有許多學(xué)者致力于提高判別器對真假樣本的鑒別能力來改善降噪網(wǎng)絡(luò)的性能，Isola等［22］提出了一種PatchGAN網(wǎng)絡(luò)，通過采用分切片的方式對圖像進(jìn)行判決，有效減少了網(wǎng)絡(luò)參數(shù)的數(shù)量；Yang等［23］在GoogleNet的啟發(fā)下提出了一種能夠提取圖像多尺度特征的Inception判別器，提高了網(wǎng)絡(luò)對不同尺寸目標(biāo)的判別能力。由此可以發(fā)現(xiàn)，判別器對特征的描述能力直接影響判別器的性能，而判別器鑒別能力的強弱也間接影響了生成器的學(xué)習(xí)能力。在GAN的設(shè)計過程中應(yīng)該綜合考慮生成器與判別器兩方面因素，提高它們在訓(xùn)練過程中的交互對抗能力，才能取得較好的效果。

此外，也有許多學(xué)者致力于改進(jìn)損失函數(shù)或者增加多種損失函數(shù)來提高網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性。早期評價兩種不同分布之間的差異性常采用KL散度（Kullback-Leibler divergence）或者JS散度（Jensen-Shannon divergence）［24］，然而當(dāng)真實數(shù)據(jù)與生成數(shù)據(jù)分布一致時，采用這兩種損失函數(shù)易導(dǎo)致網(wǎng)絡(luò)在反向傳播過程中出現(xiàn)梯度消失現(xiàn)象。為了解決這一難題，2018年，Arjovsky等［25］提出采用Wassertein距離來衡量真實數(shù)據(jù)與生成數(shù)據(jù)分布的一致性的Wassertein GAN（WGAN），該方法在訓(xùn)練過程中表現(xiàn)相對穩(wěn)定。2018年，Yang等［26］在WGAN的代價函數(shù)中加入了感知損失，將視覺感知知識遷移到LDCT偽影抑制任務(wù)中，取得了一定的降噪效果。Li等［27］將帶有梯度懲罰項的WGAN（WGAN-gradient penalty， WGAN-gp）［28］訓(xùn)練策略應(yīng)用到LDCT降噪任務(wù)中，在不增加網(wǎng)絡(luò)復(fù)雜度的同時改善了CT圖像的質(zhì)量。此外，最小二乘GAN［29］和f-GAN［30］等方法也是通過改進(jìn)目標(biāo)函數(shù)來提高訓(xùn)練穩(wěn)定性的一些嘗試。

針對現(xiàn)有GAN框架用于LDCT降噪仍然存在網(wǎng)絡(luò)計算復(fù)雜度較大、網(wǎng)絡(luò)對噪聲的描述能力較差和網(wǎng)絡(luò)訓(xùn)練過程不穩(wěn)定等問題，本文從提高生成器與判別器特征提取有效性和代價函數(shù)的設(shè)計兩種角度出發(fā)，提出了一種基于偽影感知生成對抗網(wǎng)絡(luò)的LDCT圖像偽影抑制算法。為了降低算法復(fù)雜度，提高生成器對噪聲偽影的注意能力，設(shè)計了偽影方向感知生成器，該生成器在U型殘差編解碼（U-Residual Encoding and Decoding， URED）結(jié)構(gòu)基礎(chǔ)上，增加了偽影方向感知子模塊（Artifacts Direction Sensing Sub-module， ADSS），能夠在不增加網(wǎng)絡(luò)參數(shù)量的同時提高生成器對噪聲偽影方向特征有效描述的能力；設(shè)計了注意力判別器（Attention Discriminator， AttD），該判別器能夠有效抽取圖像中噪聲偽影及其周圍結(jié)構(gòu)的特征，提高判別器對噪聲偽影的鑒別能力。判別器性能的提高反過來又會進(jìn)一步促進(jìn)生成器生成更高質(zhì)量的降噪圖像；此外，采用多種損失函數(shù)共同約束網(wǎng)絡(luò)參數(shù)優(yōu)化過程，進(jìn)一步保障了網(wǎng)絡(luò)的降噪性能。本文在Mayo數(shù)據(jù)集上進(jìn)行了實驗，并與目前主流的降噪算法進(jìn)行了定性比較與定量分析，實驗結(jié)果表明本文算法降噪效果更加顯著。

1 本文算法

1.1　降噪模型

1.2　LDCT圖像降噪網(wǎng)絡(luò)

本文以GAN的博弈對抗思想為指導(dǎo)，將LDCT圖像偽影抑制問題分解為LDCT降噪圖像生成與降噪圖像和NDCT的真假判別兩個子問題，生成器的訓(xùn)練目標(biāo)是抑制LDCT圖像中的噪聲與偽影，生成一幅接近NDCT的能夠以假亂真的降噪結(jié)果，判別器的訓(xùn)練目標(biāo)是對真實NDCT和由LDCT生成的降噪圖像做出盡可能準(zhǔn)確的判斷，并指導(dǎo)生成器生成質(zhì)量更高的圖像。此時的研究目標(biāo)轉(zhuǎn)化為如何提高生成器抑制噪聲偽影的能力和判別器鑒別真假樣本的能力。如圖1所示，本文提出了一種由偽影方向感知生成器與注意力判別器兩部分組成的偽影感知生成對抗網(wǎng)絡(luò)。一方面，為了提高生成器的特征提取能力，增加生成器對LDCT圖像中分布不均勻的偽影和噪聲的敏感度，本文將生成器的主特征提取通道設(shè)計為U型殘差編解碼結(jié)構(gòu)，特別地，在編碼端與解碼端之間嵌入了能夠捕獲噪聲偽影方向特征的偽影方向感知子模塊；另一方面，為了提高判別器對偽影特征的敏感度，本文將判別器設(shè)計為注意力判別器，進(jìn)一步提高了判別器對真假NDCT的鑒別力；此外，本文采用了偽影掩碼損失用來優(yōu)化偽影方向感知子模塊、最小二乘損失用來保證網(wǎng)絡(luò)穩(wěn)定性和像素級L1范數(shù)用來優(yōu)化整體網(wǎng)絡(luò)降噪性能。

圖1　本文降噪算法整體框架

1.2.1偽影方向感知生成器

本文對傳統(tǒng)U-Net進(jìn)行了改進(jìn)，提出了偽影方向感知生成器（如圖1（a）所示），能夠在降低網(wǎng)絡(luò)復(fù)雜度的同時提高網(wǎng)絡(luò)對LDCT圖像的特征提取能力。生成器包括兩個分支，主特征提取分支采用U型殘差編解碼結(jié)構(gòu)，其編碼端包括7層網(wǎng)絡(luò)層，第1層采用卷積核大小為3×3、步長為1的卷積操作，主要用于提取LDCT的邊緣、輪廓等淺層特征；第2層到第7層由3個卷積塊與3個殘差塊交叉連接而成，卷積核的大小均為4×4，步長為2，卷積層后增加了批量歸一化與LeakyReLU激活函數(shù)，殘差塊是由3個卷積層構(gòu)成，卷積核的大小分別為1×1、3×3（空洞率因子為2）與1×1，這種設(shè)計不僅減少了網(wǎng)絡(luò)需要學(xué)習(xí)的參數(shù)量，擴(kuò)大了感受野，而且增加了網(wǎng)絡(luò)特征提取的充分性。解碼端包括7層，第1層到第6層由3個轉(zhuǎn)置卷積塊與3個殘差塊交叉連接而成，卷積核的大小均為4×4，步長為2，卷積層后增加了批量歸一化與LeakyReLU激活函數(shù)，殘差塊是由3個卷積層構(gòu)成，卷積核的大小分別為1×1、3×3（空洞率因子為2）與1×1；第7層采用卷積核大小為3×3、步長為1的卷積操作，用來重構(gòu)降噪結(jié)果。此外，為了提高生成器對偽影噪聲的注意能力，本文在編碼端與解碼端之間增加了3個殘差注意力模塊。不同于普通殘差塊，將卷積核大小分別為1×1、3×3（空洞率因子為2）與1×1的卷積層處理后的特征與偽影方向感知子模塊得到的偽影掩碼圖相乘，輸出噪聲偽影特征圖。

考慮到LDCT中的噪聲偽影是一些具有方向的條紋，而不同的LDCT中的噪聲偽影具有不同的方向特征，因此有必要設(shè)計一個能夠提取噪聲偽影方向特征的網(wǎng)絡(luò)，才能更好地抑制LDCT中的噪聲偽影，進(jìn)而提高降噪圖像的質(zhì)量。為了進(jìn)一步提高網(wǎng)絡(luò)對噪聲偽影方向特征的敏感度，本文設(shè)計了一路專門用來提取噪聲偽影方向特征的偽影方向感知子模塊，該模塊采用偽影掩碼（偽影掩碼的產(chǎn)生過程如下：將LDCT與NDCT相減，得到理想偽影圖；對理想偽影做閾值處理，大于閾值的像素值設(shè)為1，表示該區(qū)域?qū)儆趥斡皡^(qū)，小于閾值的像素值設(shè)為0，表示該區(qū)域?qū)儆跓o噪聲的背景區(qū)）作為約束，包括注意力權(quán)重生成與偽影八方向特征提取2個子模塊。注意力權(quán)重生成模塊由3個卷積層構(gòu)成，前2個卷積層卷積核的大小為3×3，步長為1，旨在進(jìn)行特征提取，第3個卷積層卷積核大小為1×1，卷積核個數(shù)為8，卷積層后增加了Sigmoid激活函數(shù)，用來實現(xiàn)特征降維，輸出8個分別表示圖像的左-右-上-下-左上-左下-右上-右下8個方向特征的不同權(quán)重。偽影八方向特征提取模塊的工作原理具體如下：首先，將前一層網(wǎng)絡(luò)的輸出特征送入卷積核大小為3×3，步長為1的卷積層中進(jìn)行特征提取；其次，采用8個分別向左-右-上-下-左上-左下-右上-右下8個方向移動的獨立的方向卷積對前一層網(wǎng)絡(luò)的輸出進(jìn)行特征提取，輸出8個帶有不同方向信息的特征；然后，將這8個特征與注意力權(quán)重生成模塊所產(chǎn)生的權(quán)重相乘，得到8個能夠比較準(zhǔn)確地描述LDCT圖像方向信息的新特征圖，將這8個特征圖按照通道維度進(jìn)行級聯(lián)，并采用卷積核大小為3×3，步長為1的卷積層進(jìn)行特征降維，得到1個特征圖；重復(fù)八方向卷積操作，進(jìn)一步捕獲LDCT的方向特征；最后，經(jīng)Sigmoid激活函數(shù)后輸出偽影掩碼圖。采用2次八方向卷積結(jié)構(gòu)能夠在8個方向上進(jìn)行特征提取，不斷累積全局上下文信息，不僅擴(kuò)大了特征提取的感受野，而且提高了網(wǎng)絡(luò)對LDCT中噪聲偽影的特征敏感度。

1.2.2注意力判別器

在GAN的設(shè)計中，判別器的作用是通過與生成器博弈對抗，指導(dǎo)生成器輸出高質(zhì)量圖像，因此判別器的設(shè)計也對降噪圖像質(zhì)量的提升起著關(guān)鍵作用。目前針對判別器的設(shè)計仍然面臨著3個主要挑戰(zhàn)：首先，LDCT圖像中被噪聲偽影污染的區(qū)域是未知的；其次，被噪聲偽影污染區(qū)域的背景信息大部分是完全丟失的；最后，由于LDCT中包含豐富的信息，噪聲偽影呈現(xiàn)不同尺度、不同方向、分布不規(guī)則且與組織位置息息相關(guān)的特點，很難將兩者有效分離。為了解決上述問題，如圖1（c）所示，本文設(shè)計了一種能夠更多地關(guān)注偽影及其周圍區(qū)域的注意力判別器，該設(shè)計能更容易評估LDCT降噪?yún)^(qū)域的局部一致性。注意力判別器的結(jié)構(gòu)包含10層：前6層由卷積層、ReLU激活函數(shù)組成的卷積塊構(gòu)成，其中卷積核大小為5×5，步長為1；第7層由卷積核大小為5×5，步長為1的卷積層構(gòu)成，用來生成能夠反映偽影位置信息的特征圖，并將該特征與前一層網(wǎng)絡(luò)的輸出特征相乘，作為下一層網(wǎng)絡(luò)的輸入；第8層和第9層均由卷積核大小為5×5，步長為4的卷積層構(gòu)成，卷積層后增加了ReLU激活函數(shù)；最后一層由2個全連接層和1個Sigmoid激活函數(shù)組成，輸出鑒別概率。

1.3　損失函數(shù)

為了提高網(wǎng)絡(luò)的降噪性能，本文采用不同的損失函數(shù)對網(wǎng)絡(luò)的不同子模塊進(jìn)行約束來優(yōu)化網(wǎng)絡(luò)參數(shù)。具體地：

1） 為了保證網(wǎng)絡(luò)基本降噪功能，定義了像素級L1損失：

其中：表示求數(shù)學(xué)期望，表示輸入的LDCT圖像，表示NDCT圖像，表示偽影方向感知生成器。

3） 為了提高偽影方向感知子模塊提取噪聲偽影特征的能力，本文設(shè)計了一種偽影掩碼損失：

本文整體目標(biāo)函數(shù)為：

2 實驗與結(jié)果分析

在實驗中，本文在人體Mayo數(shù)據(jù)集［31］上進(jìn)行了訓(xùn)練。Mayo數(shù)據(jù)集是由10名匿名患者的2 378對圖像尺寸均為512×512的LDCT-NDCT圖像對構(gòu)成，其中，所有的NDCT圖像是經(jīng)X射線掃描人體而獲得，X射線的劑量服從ALARA（As Low As Reasonably Achievable）準(zhǔn)則［32］，LDCT圖像是通過模擬1/4標(biāo)準(zhǔn)劑量的X射線掃描人體時圖像被噪聲污染的程度而獲得的（即通過在NDCT的投影數(shù)據(jù)中加入泊松噪聲，并運用濾波反投影重建算法重建而得）。在訓(xùn)練與測試過程中，分別隨機(jī)選取1 811對和567對CT圖像作為訓(xùn)練集與測試集。為了評估本文算法的降噪性能，本文從不同角度對比分析了所提出算法與其他五種目前比較流行的降噪算法（傳統(tǒng)降噪算法BM3D［4］、基于編解碼的RED-CNN［10］、基于對抗訓(xùn)練的GAN降噪網(wǎng)絡(luò)的典型代表——pix2pix［22］及其在變換域上的改進(jìn)方法高頻敏感GAN（High-Frequency Sensitive GAN， HFSGAN）［23］和SiameseGAN［33］的實驗結(jié)果。此外，為了分析不同模塊（即本文設(shè)計的URED、ADSS和AttD）對網(wǎng)絡(luò)降噪性能的影響，增加了對以下3種算法降噪性能的分析：1）w/o 注意力判別器網(wǎng)絡(luò)（w/o AttD）；2）w/o 注意力判別器+U型殘差編解碼結(jié)構(gòu)（w/o AttD+URED）；3）w/o 注意力判別器+U型殘差編解碼結(jié)構(gòu)+偽影方向感知子模塊（w/o AttD+URED+ADSS）。

圖2　不同損失函數(shù)的收斂曲線

2.1　對比實驗

為了直觀地呈現(xiàn)網(wǎng)絡(luò)的降噪性能，本文對不同算法的降噪結(jié)果進(jìn)行了可視化。圖3、4（圖5為圖4所示降噪圖像的局部第3個感興趣區(qū)域（Region Of Interest， ROI）ROI3放大圖）和圖6分別為不同算法對帶有低衰減病變、細(xì)節(jié)非常豐富的腹部LDCT和受嚴(yán)重橫條狀偽影污染的胸部LDCT的降噪結(jié)果?？梢园l(fā)現(xiàn)，NDCT中包含豐富的細(xì)節(jié)，LDCT被大量點狀噪聲和條形偽影污染，這些干擾使醫(yī)生很難對具有臨床診斷意義的病變或組織形態(tài)作出準(zhǔn)確判斷。從整體降噪效果來看，6種算法均能夠在一定程度上抑制LDCT中的噪聲偽影。從噪聲偽影的抑制效果、細(xì)節(jié)邊緣的保留程度與降噪結(jié)果的清晰度這3個角度分析，經(jīng)BM3D降噪后的CT圖像中仍然殘留大量條形偽影（如圖6（b）箭頭處示意）和點狀噪聲（如圖4（b）所示），且降噪圖像分辨率不高；盡管RED-CNN能夠有效地抑制LDCT中的噪聲偽影，但是降噪結(jié)果模糊化現(xiàn)象比較嚴(yán)重（如圖3（c）的感興趣區(qū)域（Region Of Interest， ROI）中橢圓虛線框所示），且部分降噪結(jié)果中還存在一些蠟狀偽影（如圖6（c）與圖4（c）所示）；pix2pix、SiameseGAN、HFSGAN與本文算法均有效緩解了圖像過平滑問題，降噪效果良好。

圖3　6種降噪算法對帶有低衰減病變的腹部LDCT圖像的可視化降噪結(jié)果

圖4　6種降噪算法對組織結(jié)構(gòu)非常豐富的腹部LDCT圖像的可視化降噪結(jié)果

為了進(jìn)一步驗證本文算法的優(yōu)越性，本文通過分析降噪結(jié)果與NDCT（或LDCT）的差值圖中偽影噪聲和細(xì)節(jié)邊緣的殘留量來區(qū)分不同算法的降噪性能。其中，降噪結(jié)果-NDCT中的偽影噪聲（或細(xì)節(jié)邊緣）越少，表明降噪結(jié)果與NDCT越接近；LDCT-降噪結(jié)果中的偽影噪聲（或細(xì)節(jié)邊緣）越多，表明降噪過程中抑制的偽影噪聲（或細(xì)節(jié)邊緣）越多。如圖7（a）所示為LDCT與NDCT相減所獲得的差值圖，即為理想偽影噪聲圖，其中包含大量偽影和噪聲。如圖7（b）～（g）與圖8（b）～（g）所示為不同算法降噪結(jié)果與NDCT（或LDCT）的差值圖。

圖5　圖4所示降噪圖像的局部ROI3放大圖

圖6　6種降噪算法對受嚴(yán)重橫條狀偽影污染的胸部LDCT圖像的可視化降噪結(jié)果

圖7　LDCT與6種降噪算法對圖6所示降噪結(jié)果的差值圖

圖8　NDCT與6種降噪算法對圖6所示降噪結(jié)果的差值圖

從圖7、8中可以看出，BM3D抑制噪聲和條形偽影的能力有限；RED-CNN能夠抑制更多的噪聲和條形偽影，但是其代價是平滑了很多邊緣信息；pix2pix與HFSGAN的噪聲偽影抑制能力均優(yōu)于前兩種算法，然而其邊緣保留能力仍然不容樂觀。相較而言，本文算法降噪結(jié)果與NDCT的差值圖中偽影噪聲最少，LDCT與本文算法降噪結(jié)果的差值圖中偽影噪聲最多，本文算法兩種差值圖中細(xì)節(jié)邊緣殘留量均最少，這也從側(cè)面反映了本文算法對偽影抑制能力更強、邊緣細(xì)節(jié)保留更完整。

為了能夠?qū)Σ煌惴ǖ慕翟虢Y(jié)果進(jìn)行更客觀、更全面的評價，本文還分析了不同算法的量化表現(xiàn)。首先，分析了不同算法所有測試結(jié)果的平均PSNR（或SSIM）表現(xiàn)情況。表1和圖9分別展示了不同算法在整個測試集上獲取的降噪結(jié)果的平均PSNR與SSIM值和統(tǒng)計特性。觀察表1中的數(shù)據(jù)可以發(fā)現(xiàn)，pix2pix降噪結(jié)果的平均SSIM、PSNR、VIF和IFC值均是最低的；BM3D、RED-CNN以及HFSGAN降噪結(jié)果的量化指標(biāo)值差異不大；而本文降噪圖像的平均量化指標(biāo)值是6種降噪圖像中最高的，與高頻敏感GAN（HFSGAN）相比，本文算法PSNR和SSIM分別提升了4.9%和2.8%。箱型圖（Box-plot）是統(tǒng)計學(xué)中一種常見的統(tǒng)計數(shù)圖，能夠以圖形形式來概括數(shù)據(jù)分布最重要的統(tǒng)計特征，其中box中間一條線是數(shù)據(jù)的中位數(shù)，代表了樣本的平均水平；box的上下限分別是數(shù)據(jù)的上四分位數(shù)和下四分位數(shù)，意味著box中包含50%的數(shù)據(jù)，因此，箱子的寬度一定程度上反映了數(shù)據(jù)的波動程度；在box的上方和下方又各有一條線，部分情況下代表最大最小值，部分情況下代表一些“異常值”。觀察箱型圖中箱子的寬度以及數(shù)據(jù)的分布范圍可以看出，pix2pix降噪結(jié)果的量化指標(biāo)值波動范圍比較大，BM3D降噪結(jié)果的量化指標(biāo)值存在異常值，而HFSGAN與本文算法降噪結(jié)果的量化指標(biāo)值波動范圍相對較小且不存在異常值，這也從側(cè)面說明HFSGAN與本文算法具有更好的魯棒性；進(jìn)一步地，可以看到box圖中中間直線由低到高排序為：pix2pix< SiameseGAN< HFSGAN< BM3D< RED-CNN< 本文算法，由此可知本文算法降噪結(jié)果的平均量化表現(xiàn)最佳。其次，分析了不同算法降噪結(jié)果在ROI的平均表現(xiàn)（其中ROI的選擇應(yīng)盡可能滿足對臨床診斷具有積極作用的區(qū)域，如圖3給出的是帶有低衰減病變的腹部LDCT，圖3中左下角虛線框示意的是低密度病變區(qū)。），如表2所示?？梢园l(fā)現(xiàn)，不同算法在圖3～6的4個ROI上的平均量化指標(biāo)值由低到高排序為pix2pix

圖9　不同算法在整個測試集上獲取的降噪結(jié)果的箱型圖

表1不同算法在整個測試集上獲取的降噪結(jié)果的平均量化指標(biāo)值統(tǒng)計表（均值±標(biāo)準(zhǔn)差）

Tab.1　Statistical table of average quantization index values of denoised results obtained by different algorithms in whole testing dataset （mean±standard deviation）

表2圖3～6的4個ROI上的平均PSNR和SSIM值（均值±標(biāo)準(zhǔn)差）

Tab.2　Average PSNR and SSIM values on 4 ROIs in Fig. 3 to Fig. 6 （mean±standard deviation）

最后，定量分析了不同算法降噪結(jié)果與NDCT（或LDCT）的差值圖表現(xiàn)情況。圖10給出了圖7和圖8中不同算法降噪結(jié)果與NDCT（或LDCT）的差值圖與理想偽影圖（LDCT與NDCT差值圖）的均方誤差值（Mean Squared Error， MSE）。從圖10可以看出，與其他算法降噪結(jié)果相比，本文算法降噪結(jié)果與LDCT的差值圖和理想偽影的均方誤差值是最小的，而本文算法的降噪結(jié)果與NDCT的差值圖與理想偽影的均方誤差值是最大的，這也從側(cè)面說明本文算法從LDCT中濾除出的噪聲偽影與理想偽影更接近。綜上，從量化角度分析本文算法的降噪效果均是最佳。

圖10　不同算法降噪結(jié)果與NDCT（或LDCT）的差值圖與理想偽影圖的均方誤差值

2.2　消融實驗

與基于GAN的傳統(tǒng)降噪網(wǎng)絡(luò)相比，本文降噪網(wǎng)絡(luò)在生成器部分分別設(shè)計了U型殘差編解碼結(jié)構(gòu)與偽影方向感知子模塊，在判別器部分設(shè)計了注意力判別器。為了評估這些改進(jìn)對降噪網(wǎng)絡(luò)性能的影響，本文增加了一組消融實驗。具體地，分別采用w/o AttD、w/o AttD+URED和w/o AttD+URED+ADSS這3種算法在Mayo數(shù)據(jù)集上進(jìn)行訓(xùn)練，并對本文算法以及消融實驗的測試結(jié)果進(jìn)行了對比。消融算法降噪圖像視覺效果如圖11所示。從圖11可以發(fā)現(xiàn)，與本文算法降噪結(jié)果相比，w/o AttD+URED+ADSS降噪效果明顯下降，降噪圖像中仍然殘留部分噪聲與偽影，且圖像模糊化現(xiàn)象比較嚴(yán)重（如圖11（b）所示）；與w/o AttD+URED+ADSS相比，w/o AttD+URED與w/o AttD降噪效果均有很大提升；進(jìn)一步觀察圖11中ROI放大圖可以發(fā)現(xiàn)，w/o AttD降噪結(jié)果更加明顯；而本文算法降噪圖像分辨率更高，降噪效果更加顯著。表3給出了不同消融降噪算法在整個測試集上降噪結(jié)果的平均PSNR與SSIM值。分析表3中數(shù)據(jù)可以發(fā)現(xiàn)，w/o AttD+URED+ADSS和w/o AttD+URED兩種算法降噪效果差別不大；w/o AttD降噪效果明顯優(yōu)于前面兩種算法；本文降噪算法在整個測試集上量化表現(xiàn)是最佳的。綜合分析，本文所提出的改進(jìn)策略對改善LDCT降噪圖像的質(zhì)量具有積極作用。其中，偽影方向感知子模塊與注意力判別器的改進(jìn)對網(wǎng)絡(luò)性能的提升起到了同等重要的作用，而U型殘差編解碼結(jié)構(gòu)改進(jìn)對網(wǎng)絡(luò)降噪性能的提升影響更加顯著。

表3網(wǎng)絡(luò)結(jié)構(gòu)消融對算法性能的影響

Tab.3　Influence of network structure ablation on algorithm performance

圖11　消融算法降噪圖像視覺效果對比

2.3　運算時間

表4給出了6種算法訓(xùn)練與測試相同數(shù)據(jù)集所需要的時間以及網(wǎng)絡(luò)參數(shù)量?？梢园l(fā)現(xiàn)，RED-CNN訓(xùn)練時間最短，網(wǎng)絡(luò)參數(shù)量最少，這主要是因為RED-CNN網(wǎng)絡(luò)結(jié)構(gòu)比較簡單；pix2pix與HFSGAN訓(xùn)練與測試所需要的時間相差不大，其中HFSGAN網(wǎng)絡(luò)最復(fù)雜，訓(xùn)練過程中需要學(xué)習(xí)的參數(shù)最多；由于網(wǎng)絡(luò)結(jié)構(gòu)相對復(fù)雜，本文算法訓(xùn)練所花費時間較長，但是測試時間僅次于SiameseGAN，且綜合視覺效果和量化指標(biāo)表現(xiàn)來看，本文算法表現(xiàn)最佳。

表46種算法的訓(xùn)練與測試時間比較

Tab.4　Comparison of training and testing time of six algorithms

3 結(jié)語

隨著CT成像技術(shù)在臨床應(yīng)用上的日益增加，CT成像過程中所產(chǎn)生的X射線輻射傷害也引起了人們的廣泛關(guān)注。目前GAN應(yīng)用于LDCT降噪領(lǐng)域存在網(wǎng)絡(luò)對噪聲偽影的敏感度不足、網(wǎng)絡(luò)參數(shù)量與計算量比較大等問題。受注意力思想的啟發(fā)，本文以GAN作為主框架，提出了一種用于低劑量CT圖像降噪的偽影感知生成對抗網(wǎng)絡(luò)。一方面，本文提出一種端到端訓(xùn)練的生成器，在U型殘差編解碼結(jié)構(gòu)基礎(chǔ)上增加了偽影方向感知子模塊，提高了網(wǎng)絡(luò)對噪聲偽影的特征提取能力；另一方面，本文提出一種能夠?qū)υ肼晜斡凹捌渲車鷧^(qū)域進(jìn)行針對性判別的注意力判別器，在不增加網(wǎng)絡(luò)復(fù)雜度的同時提高了判別器對真假樣本的鑒別能力。此外，設(shè)計了偽影掩碼損失與全局損失加強對網(wǎng)絡(luò)各通道的約束，通過生成器和判別器的博弈對抗訓(xùn)練，進(jìn)一步實現(xiàn)了LDCT降噪的目的。針對噪聲偽影難以有效分離的問題，如何設(shè)計結(jié)構(gòu)更加精簡、對噪聲偽影更加敏感的網(wǎng)絡(luò)仍然是今后努力的方向。

[1] 張權(quán).低劑量X線CT重建若干問題研究［D］. 南京：東南大學(xué)， 2015：1.（ZHANG Q. A study on some problems in image reconstruction for low-dose CT system［D］. Nanjing： Southeast University， 2015：1.）

[2] ALIASGHARZADEH A， MIHANDOOST E， MOHSENI M. A survey of computed tomography dose index and dose length product level in usual computed tomography protocol［J］. Journal of Cancer Research and Therapeutics， 2018， 14（3）： 549.

[3] BUADES A， COLL B， MOREL J M. A non-local algorithm for image denoising［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 60-65.

[4] FERUGLIO P F， VINEGONI C， GROS J， et al. Block matching 3D random noise filtering for absorption optical projection tomography［J］. Physics in Medicine and Biology， 2010， 55（18）： No.5401.

[5] 代曉婷，龔敬，聶生東. 基于結(jié)構(gòu)聯(lián)合字典的肺部LDCT圖像降噪［J］. 電子學(xué)報， 2018， 46（6）：1445-1453.（DAI X T， GONG J， NIE S D. Low-dose lung CT image denoising using joint structural dictionary［J］. Acta Electronica Sinica， 2018， 46（6）：1445-1453.）

[6] CHEN W B， SHAO Y L， JIA L N， et al. Low-dose CT image denoising model based on sparse representation by stationarily classified sub-dictionaries［J］. IEEE Access， 2019， 7： 116859-116874.

[7] LIU W B， WANG Z D， LIU X H， et al. A survey of deep neural network architectures and their applications［J］. Neurocomputing， 2017， 234： 11-26.

[8] CHEN H， ZHANG Y， ZHANG W H， et al. Low-dose CT via convolutional neural network［J］. Biomedical Optics Express， 2017， 8（2）： 679-694.

[9] SHAN H M， ZHANG Y， YANG Q S， et al. 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1522-1534.

[10] CHEN H， ZHANG Y， KALRA M K， et al. Low-dose CT with a residual encoder-decoder convolutional neural network［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）： 2524-2535.

[11] WU D F， KIM K， EL FAKHRI G， et al. A cascaded convolutional neural network for X-ray low-dose CT image denoising［EB/OL］. （2017-08-28） ［2021-04-20］.https：//arxiv.org/pdf/1705.04267.pdf.

[12] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[13] LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944.

[14] YANG Q S， YAN P K， KALRA M K， et al. CT image denoising with perceptive deep neural networks［EB/OL］. （2017-02-22） ［2021-04-20］.https：//arxiv.org/pdf/1702.07019.pdf.

[15] LIU H Y， JIANG B， SONG Y B， et al. Rethinking image inpainting via a mutual encoder-decoder with feature equalizations［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12347. Cham： Springer， 2020： 725-741.

[16] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.

[17] WOLTERINK J M， LEINER T， VIERGEVER M A， et al. Generative adversarial networks for noise reduction in low-dose CT［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）：2536-2545.

[18] YI X， BABYN P. Sharpness-aware low-dose CT denoising using conditional generative adversarial network［J］. Journal of Digital Imaging， 2018， 31（5）： 655-669.

[19] DENTON E， CHINTALA S， SZLAM A， et al. Deep generative image models using a Laplacian pyramid of adversarial networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 1486-1494.

[20] ZHANG H， XU T， LI H S， et al. StackGAN： text to photo-realistic image synthesis with stacked generative adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5908-5916.

[21] LI M， HSU W， XIE X D， et al. SACNN： self-attention convolutional neural network for low-dose CT denoising with self-supervised perceptual loss network［J］. IEEE Transactions on Medical Imaging， 2020， 39（7）：2289-2301.

[22] ISOLA P， ZHU J Y， ZHOU T H， et al. Image-to-image translation with conditional adversarial networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976.

[23] YANG L， SHANGGUAN H， ZHANG X， et al. High-frequency sensitive generative adversarial network for low-dose CT image denoising［J］. IEEE Access， 2020， 8： 930-943.

[24] HUANG X S， LI S Z， WANG Y S. Jensen-Shannon boosting learning for object recognition［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 144-149.

[25] ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein GAN［EB/OL］. （2017-12-06） ［2021-04-20］.https：//arxiv.org/pdf/1701.07875.pdf.

[26] YANG Q S， YAN P K， ZHANG Y B， et al. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1348-1357.

[27] LI X L， YE C， YAN Y J， et al. Low-dose CT image denoising based on improved WGAN-gp［J］. Journal of New Media， 2019， 1（2）： 75-85.

[28] GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.

[29] MAO X D， LI Q， XIE H R， et al. Least squares generative adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2813-2821.

[30] PARK H S， BAEK J， YOU S K， et al. Unpaired image denoising using a generative adversarial network in X-ray CT［J］. IEEE Access， 2019， 7：110414-110425.

[31] American Association of Physicists in Medicine. Low dose CT grand challenge［DS/OL］. ［2021-04-20］.http：//www.aapm.org/GrandChallenge/LowDoseCT/.

[32] THOMAS L， SLOVIS M D. The ALARA （as low as reasonably achievable） concept in pediatric CT intelligent dose reduction［J］. Pediatric Radiology， 2002， 32（4）： 219-220.

[33] KANDE N A， DAKHANE R， DUKKIPATI A， et al. SiameseGAN： a generative model for denoising of spectral domain optical coherence tomography images［J］. IEEE Transactions on Medical Imaging， 2021， 40（1）： 180-192.

[34] YAO S S， LIN W S， OOG E P， et al. Contrast signal-to-noise ratio for image quality assessment［C］// Proceedings of the 2005 IEEE International Conference on Image Processing. Piscataway： IEEE， 2005： 1529771.

[35] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[36] SHEIKH H R， BOVIK A C. Image information and visual quality［J］. IEEE Transactions on Image Processing， 2006， 15（2）： 430-444.

[37] SHEIKH H R， BOVIK A C， DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics［J］. IEEE Transactions on Image Processing， 2005， 14（12）： 2117-2128.

[38] KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30） ［2021-04-20］.https：//arxiv.org/pdf/1412.6980.pdf.

HAN Zefang， born in 1996， M. S. candidate. Her research interests include medical image processing.

ZHANG Xiong， born in 1973， M. S.， professor. His research interests include pattern recognition， medical image processing， video object tracking.

SHANGGUAN Hong， born in 1988， Ph. D.， associate professor. Her research interests include pattern recognition， medical image processing.

HAN Xinglong， born in 1995， M. S. candidate. His research interest includes medical image processing.

HAN Jing， born in 1998， M. S. candidate. Her research interests include medical image processing.

FENG Gang， born in 1994， M. S. candidate. His research interests include medical image processing.

CUI Xueying，born in 1978， Ph. D.， associate professor. Her research interests include image processing and reconstruction.

Artifacts sensing generative adversarial network for low-dose CT denoising

HAN Zefang， ZHANG Xiong*， SHANGGUAN Hong， HAN Xinglong， HAN Jing， FENG Gang， CUI Xueying

（，，030024，）

In recent years， Generative Adversarial Network （GAN） has become a new research hotspot in Low-Dose Computed Tomography （LDCT） artifact suppression because of its performance advantages. Due to irregular distribution and strong relevance to the normal tissues of artifacts， denoising performance of the existing GAN-based denoising networks is limited. Aiming at this problem， a LDCT denoising algorithm based on artifacts sensing GAN was proposed. Firstly， an artifacts direction sensing generator was designed. In this generator， on the basis of U-residual encoding and decoding structure， an Artifacts Direction Sensing Sub-module （ADSS） was added to improve the generator’s sensitivity to artifacts direction features. Secondly， the Attention Discriminator （AttD） was designed to improve the ability of distinguishing noise and artifacts. Finally， the loss functions corresponding to the network functions were designed. Through the cooperation of multiple loss functions， the denoising performance of network was improved. Experimental results show that compared to the High-Frequency Sensitive GAN （HFSGAN）， the proposed denoising algorithm has the average Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） improved by 4.9% and 2.8% respectively， and has good artifact suppression effect.

Low-Dose Computed Tomography （LDCT）; image denoising; Generative Adversarial Network （GAN）; orientation convolution; attention mechanism

This work is partially supported by National Natural Science Foundation of China （62001321）， Natural Science Foundation of Shanxi Province （201901D111261）， Graduate Education Innovation Project of Shanxi Province （2020SY417， 2020SY423）.

TP391.41

A

1001-9081（2022）07-2301-10

10.11772/j.issn.1001-9081.2021040700

2021?05?06；

2021?10?08；

2021?10?12。

國家自然科學(xué)基金資助項目（62001321）；山西省自然科學(xué)基金資助項目（201901D111261）；山西省研究生教育創(chuàng)新項目（2020SY417， 2020SY423）。

韓澤芳（1996—），女，山西晉城人，碩士研究生，主要研究方向：醫(yī)學(xué)圖像處理； 張雄（1973—），男，山西神池人，教授，碩士，主要研究方向：模式識別、醫(yī)學(xué)圖像處理、視頻目標(biāo)跟蹤； 上官宏（1988—），女，山西鄉(xiāng)寧人，副教授，博士，主要研究方向：模式識別、醫(yī)學(xué)圖像處理； 韓興?。?995—），男，河南禹州人，碩士研究生，主要研究方向：醫(yī)學(xué)圖像處理； 韓靜（1998—），女，河北衡水人，碩士研究生，主要研究方向：醫(yī)學(xué)圖像處理； 奉剛（1994—），男，四川南充人，碩士研究生，主要研究方向：醫(yī)學(xué)圖像處理； 崔學(xué)英（1978—），女，山西太原人，副教授，博士，主要研究方向：圖像處理與重建。