張曉榮 李菲



摘要:射線計(jì)算機(jī)斷層掃描(CT) 在醫(yī)學(xué)顯像方面性能優(yōu)異,但是CT成像也會(huì)產(chǎn)生輻射等問(wèn)題,而且CT成像質(zhì)量與輻射劑量呈正相關(guān)的關(guān)系,因此提高低劑量CT(LDCT) 圖像的質(zhì)量是醫(yī)學(xué)和工學(xué)學(xué)科共同關(guān)注的課題。通過(guò)兩階段的殘差卷積神經(jīng)網(wǎng)絡(luò)(TS-RCNN) 來(lái)降低噪聲和增強(qiáng)細(xì)節(jié),可以有效提高LDCT圖像質(zhì)量,與其他方法相比,此方法在均方誤差(MSE) 、結(jié)構(gòu)相似度(SSIM) 、峰值信噪比(PSNR) 方面都取得了良好的結(jié)果,在紋理特征和結(jié)構(gòu)特征的實(shí)驗(yàn)比較中同樣展現(xiàn)了良好的性能。
關(guān)鍵詞:低劑量CT;圖像去噪;平穩(wěn)小波變換;殘差神經(jīng)網(wǎng)絡(luò)
中圖分類號(hào):TP305? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2022)25-0082-04
開(kāi)放科學(xué)(資源服務(wù)) 標(biāo)識(shí)碼(OSID) :
1 概述
X射線計(jì)算機(jī)斷層掃描(CT) 是現(xiàn)代醫(yī)學(xué)影像中重要的成像方式之一[1],CT由于其能夠高質(zhì)量呈現(xiàn)人體器官結(jié)構(gòu)信息的特性,在現(xiàn)代臨床醫(yī)學(xué)的病情診斷中被廣泛使用。然而,X射線在穿過(guò)人體時(shí),會(huì)引發(fā)人體內(nèi)的分子與化學(xué)物質(zhì)發(fā)生反應(yīng),對(duì)人體帶來(lái)危害。隨著X射線劑量的減小,CT圖像中的噪聲就會(huì)增加,伴隨噪聲也會(huì)出現(xiàn)更多的偽影。噪聲和偽影會(huì)降低CT圖像的質(zhì)量,導(dǎo)致圖像中的細(xì)節(jié)信息模糊或者丟失,并進(jìn)一步影響醫(yī)生對(duì)于病變區(qū)域的診斷。因此,國(guó)內(nèi)外的學(xué)者與研究人員已廣泛探索并嘗試了在保持CT圖像質(zhì)量的同時(shí),最小化X射線劑量的方法。
2? 國(guó)內(nèi)外研究現(xiàn)狀分析
早在2008年,Viren Jain等人[2]就使用卷積神經(jīng)網(wǎng)絡(luò)在圖像去噪領(lǐng)域做出了嘗試,他們將其提出的方法與傳統(tǒng)的圖像去噪方法作對(duì)比,并取得了更優(yōu)秀的去噪效果。2012年,出現(xiàn)了兩項(xiàng)利用深度學(xué)習(xí)技術(shù)進(jìn)行圖像去噪任務(wù)的優(yōu)秀工作[3-4]。其中,Xie等人利用堆棧自編碼器(Stack Autoencoder) 進(jìn)行圖像去噪的任務(wù),在取得良好圖像質(zhì)量的同時(shí),為后來(lái)的學(xué)者在圖像去噪鄰域提供了新的可能。而Burger等人則提出了多層感知機(jī)模型(Multi Layer Perceptron,MLP) ,在圖像去噪領(lǐng)域達(dá)到了與領(lǐng)域標(biāo)桿方法BM3D不相上下的圖像去噪效果。
Yang等人[6]提出了一種基于2D和3D殘差卷積網(wǎng)絡(luò)的圖像去噪方法,在降低圖像噪聲和抑制CT偽影的同時(shí),保留了人體組織的細(xì)節(jié)。Yin等人[7]提出了一種包含正弦圖域網(wǎng)絡(luò)、濾波反投影和圖像域網(wǎng)絡(luò)的三階段3D殘差卷積網(wǎng)絡(luò),并在模擬和實(shí)際投影數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,在去噪效果上得到了一定提高,這些基于卷積神經(jīng)網(wǎng)絡(luò)的方法,都在LDCT圖像降噪的任務(wù)中表現(xiàn)出相較傳統(tǒng)處理有更好的性能和更小的計(jì)算成本。
3? 低劑量CT圖像質(zhì)量改善模型
3.1 基于紋理去噪的殘差神經(jīng)網(wǎng)絡(luò)模型(第一階段)
基于紋理去噪的殘差神經(jīng)網(wǎng)絡(luò)(簡(jiǎn)稱“紋理去噪RCNN”) 的目標(biāo)是對(duì)LDCT圖像進(jìn)行初步地去噪,其外在表現(xiàn)就是對(duì)LDCT圖像的紋理信息進(jìn)行降噪,為后續(xù)的結(jié)構(gòu)增強(qiáng)RCNN提供良好的基礎(chǔ)。
受wgan-vgg的啟發(fā),本階段網(wǎng)絡(luò)將局部感知損失項(xiàng)與整體誤差損失項(xiàng)相結(jié)合,分別應(yīng)用于圖像噪聲的抑制和紋理的保留。紋理去噪RCNN的訓(xùn)練過(guò)程如圖1所示:
3.2 基于結(jié)構(gòu)增強(qiáng)的殘差神經(jīng)網(wǎng)絡(luò)模型(第二階段)
基于結(jié)構(gòu)增強(qiáng)的殘差神經(jīng)網(wǎng)絡(luò)(下稱“結(jié)構(gòu)增強(qiáng)RCNN”) 的優(yōu)化目標(biāo)是對(duì)已經(jīng)完成初步去噪的LDCT圖像進(jìn)行圖像質(zhì)量的進(jìn)一步提升,使得CT圖像的結(jié)構(gòu)信息不因?yàn)榧?xì)微的噪聲而模糊。
本階段神經(jīng)網(wǎng)絡(luò)的輸入為[SWTy-ftSWTx],其中[y]為NDCT平均模型輸出的圖像,[ftSWTx]為紋理去噪RCNN的輸出結(jié)果;標(biāo)簽為[SWTy-ftSWTx] ,即NDCT圖像與紋理去噪RCNN的輸出進(jìn)行作差所得的圖像,被用作神經(jīng)網(wǎng)絡(luò)的標(biāo)簽。該階段神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程如圖2所示:
4? 實(shí)驗(yàn)結(jié)果與分析
4.1 數(shù)據(jù)集
本文使用了兩種數(shù)據(jù)集:模擬數(shù)據(jù)集和公開(kāi)數(shù)據(jù)集來(lái)驗(yàn)證TS- RCNN的有效性。模擬數(shù)據(jù)集的實(shí)驗(yàn)著重于提高和改善TS-RCNN去噪性能,其中模擬了不同的噪聲強(qiáng)度用于評(píng)估TS-RCNN的魯棒性。同時(shí),通過(guò)在公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),以證明TS-RCNN具有實(shí)際的應(yīng)用價(jià)值。
4.1.1 模擬數(shù)據(jù)集的生成
本文使用來(lái)自3Dircadb的1375張NDCT圖像(共10位患者) 作為模擬數(shù)據(jù)集的標(biāo)簽。為了模擬噪聲圖像在視覺(jué)上更貼近于真實(shí)的LDCT圖像。具體的模擬步驟如下:首先,NDCT圖像進(jìn)行radon變換以獲得相應(yīng)的正弦圖;接下來(lái),將泊松噪聲和高斯噪聲依次添加到正弦圖中;最后,對(duì)噪聲正弦圖進(jìn)行逆radon變換,得到模擬化的LDCT圖像,計(jì)算公式如下:
[LDCTsimulated=iradonInI0I0×exp-radony+Pλ+Gμ,σ2]
(1)
其中,[I0]是從光源發(fā)射的光子數(shù),y是衰減系數(shù)。radon()代表radon變換;對(duì)應(yīng)的,iradon()即代表逆radon變換。[Gμ,σ2]代表以[μ]為均值,方差為[σ2]的高斯分布。[σ]越大,代表圖像中的噪聲點(diǎn)越多。[Pλ]代表泊松分布。在實(shí)驗(yàn)中,通過(guò)調(diào)整高斯函數(shù)的方差系數(shù)[σ]的大小來(lái)控制噪聲的強(qiáng)弱。
4.1.2 公開(kāi)數(shù)據(jù)集
由于無(wú)法量化臨床低劑量CT數(shù)據(jù)的去噪結(jié)果,因此使用公開(kāi)的低劑量CT數(shù)據(jù)集來(lái)驗(yàn)證TS- RCNN的性能。該數(shù)據(jù)集由梅奧診所批準(zhǔn)的用于“2016 NIH- AAPM- Mayo Clinic Low Dose CT Grand Challenge”。本文使用由3毫米厚的medicm核重建的2378幅圖像(10例患者) 。本文將1944幅圖像(8名患者) 用作訓(xùn)練集,210張圖像(1名患者) 用作驗(yàn)證集,224張圖像(1名患者) 用作測(cè)試集。
4.2 圖像評(píng)價(jià)指標(biāo)
4.2.1 圖像質(zhì)量客觀評(píng)價(jià)指標(biāo)
本文使用了以下三種指標(biāo)來(lái)評(píng)價(jià)去噪后CT圖像的整體質(zhì)量:均方誤差(MSE) 、結(jié)構(gòu)相似度(SSIM) 和峰值信噪比(PSNR) 。這三種指標(biāo)的計(jì)算方式如下所示:
[MSE=1m?ni=0m-1j=0n-1yi,j-xi,j2]? ? (2)
[SSIM=2μy?μy+C1?2σyx+C2μ2y?μ2x+C1?σ2y+σ2x+C2]? ?(3)
[PSNR=10?log10MAX2yMSE]? ?(4)
其中,y和x分別代表NDCT圖像和去噪后圖像。m和n代表圖像的寬度和高度,本文中設(shè)為512;[μ]是圖像的像素值的平均值,[σ2]是圖像的方差值,[σyx]是被比較的兩張圖像的協(xié)方差;[MAXy]是NDCT圖像的像素值的最大值。
4.3 低劑量CT圖像去噪實(shí)驗(yàn)
在本小節(jié)中,使用模擬數(shù)據(jù)集進(jìn)行降噪模型的選定,然后將選定模型與BM3D、DnCNN、RED-CNN在公開(kāi)數(shù)據(jù)集下進(jìn)行對(duì)比,通過(guò)多角度對(duì)比體現(xiàn)TS- RCNN的性能。
4.3.1 實(shí)驗(yàn)結(jié)果對(duì)比與分析
在本小節(jié)中,將使用PSNR、SSIM和MSE作為去噪后CT圖像質(zhì)量的客觀評(píng)估指標(biāo),所有方法的圖像去噪效果指標(biāo)都是基于整個(gè)測(cè)試數(shù)據(jù)集進(jìn)行計(jì)算,并取平均數(shù)值進(jìn)行展示,具體結(jié)果如表1所示。
其中,TS-RCNN在PSNR和SSIM的表現(xiàn)最佳,而在MSE中比RED-CNN稍差,位列所有對(duì)比方法的第二名。從結(jié)果的比較中,可以看出TS- RCNN有著相對(duì)好的數(shù)值結(jié)果。
為了進(jìn)一步展現(xiàn)TS-RCNN的去噪性能優(yōu)勢(shì),本文引入“一致性因子”C來(lái)描述去噪后圖像和NDCT圖像之間的灰度值差異。C的計(jì)算方法如式(5) 所示:
[C=1-Di,j256,i,j=1,2,…,512]? ? ? ? ? (5)
其中,[Di,j]代表絕對(duì)值差分圖像中,第i行第j個(gè)像素點(diǎn)處的灰度值,其范圍為[1,256]。根據(jù)兩種不同的差分程度,本文給出了絕對(duì)值差分圖像,即將NDCT與去噪后CT圖像相減,取絕對(duì)值再進(jìn)行展示。其中,共給出了三類圖像,分別是去噪后圖像、C=1的絕對(duì)值差分圖像、C>0.99的絕對(duì)值差分圖像,如圖3所示。
其中,第一列是去噪后圖像,第二列是滿足條件C=1的絕對(duì)值差分圖像,第三列是第二列圖像中紅色框區(qū)域(左上方) 的放大視圖。第四列是滿足條件C>0.99的絕對(duì)值差分圖像,第五列是第四列圖像中紅色框區(qū)域(右下方) 的放大視圖。條件C=1,即代表在該像素點(diǎn)處。
在條件C=1的情況之下,可以明顯看出TS-RCNN的表現(xiàn)最為突出。具體地,在第三列的局部放大圖中,如箭頭所示的區(qū)域,TS-RCNN擁有最清晰且范圍最大的白色像素區(qū)域,即肋骨邊緣,也就是與NDCT圖像完全一致。其他的比較方法中,BM3D的肋骨寬度最小,RED-CNN在肋骨處存在黑色像素點(diǎn),DnCNN則出現(xiàn)了肋骨模糊不清的情況。
而在第四列圖像(C>0.99)中,TS-RCNN依舊取得了最佳的效果。具體地,從第五列的局部放大圖中可以看出,TS-RCNN中的白色像素更多,并且如第五列的紅色箭頭所指向的肋骨區(qū)域可以明顯看出,TS-RCNN在肋骨的邊緣仍然是最清晰且范圍最大的,但是相對(duì)來(lái)說(shuō),DnCNN的差分圖在圖示放大區(qū)域的效果有了一定的提升,但肋骨與其左上方的區(qū)域依舊存在黑色的邊緣,而TS-RCNN幾乎不存在這一邊緣。RED-CNN在這一條件下的表現(xiàn)則不盡如人意,肋骨的邊緣不清晰,而BM3D的效果依舊不理想,由BM3D是針對(duì)自然圖像去噪研發(fā)的方法,其在像素值差異較小的醫(yī)學(xué)圖像上未取得良好的效果是可以預(yù)見(jiàn)的。需要另外說(shuō)明的是,LDCT的絕對(duì)值差分圖的邊緣也很清晰,但可以很清晰地看到,在第二列和第四列圖像中,LDCT在人體器官的部分幾乎沒(méi)有白色的像素點(diǎn),從第三列和第五列的放大圖像也可以證實(shí)這一說(shuō)法,這就意味著LDCT圖像中的噪聲十分明顯。
5 結(jié)束語(yǔ)
CT掃描在現(xiàn)代醫(yī)療體系中有著舉足輕重的地位,但在正常劑量的CT掃描中,所使用的X射線會(huì)給人體的健康帶來(lái)威脅,本文通過(guò)閱讀相關(guān)文獻(xiàn),研究了部分經(jīng)典的低劑量CT圖像降噪方法,提出了用于低劑量CT圖像去噪的兩階段神經(jīng)網(wǎng)絡(luò)模型(TS-RCNN) ,模型通過(guò)紋理去噪和結(jié)構(gòu)增強(qiáng)兩階段對(duì)LDCT圖像的質(zhì)量進(jìn)行改善。TS-RCNN在低劑量CT圖像去噪任務(wù)上,通過(guò)與主流的模型BM3D、DnCNN、RED-CNN在公開(kāi)數(shù)據(jù)集下進(jìn)行對(duì)比,也取得了良好的效果。但是,由于局部感知損失,TS-RCNN還存在著更進(jìn)一步的空間,未來(lái)可以在平均模型存在抑制部分紋理信息的問(wèn)題、低頻紋理信息設(shè)計(jì)獨(dú)立的處理方法這兩方面進(jìn)行改進(jìn),以取得更好的效果。
參考文獻(xiàn):
[1] 吳俊峰,牟軒沁.L1范數(shù)字典約束的感興趣區(qū)域CT圖像重建算法[J].西安交通大學(xué)學(xué)報(bào),2019,53(2):163-169.
[2] Jain V , Seung H S . Natural Image Denoising with Convolutional Networks[C]// Advances in Neural Information Processing Systems 21, Proceedings of the Twenty-Second Annual Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, December 8-11, 2008. Curran Associates Inc., 2008.
[3] Xie J , Xu L , Chen E . Image denoising and inpainting with deep neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012.
[4] Burger H C , Schuler C J , Harmeling S . Image denoising: Can plain neural networks compete with BM3D?[C]// Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.
[5] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM,2017,60(6):84-90.
[6] Yang W,? Zhang H, Yang J, et al, Improving low-dose CT image using residual convolutional network[J].IEEE , 2017 (5) :24698-24705.
[7] Yin X,Zhao Q,Liu J,et al.Domain progressive 3D residual convolution network to improve low-dose CT imaging[J].IEEE Trans Med Imaging,2019,38(12):2903-2913.
[8] Wolterink J M,Leiner T,Viergever M A,et al.Generative adversarial networks for noise reduction in low-dose CT[J].IEEE Transactions on Medical Imaging,2017,36(12):2536-2545.
【通聯(lián)編輯:唐一東】