一種多尺度GAN的低劑量CT超分辨率重建方法

須 穎，劉 帥，邵 萌，岳國棟，安 冬

(1.沈陽建筑大學 機械工程學院，遼寧 沈陽 110168；2.廣東工業大學 機電工程學院，廣東 廣州 510006)

X射線成像是目前應用最廣泛，成本最低的醫療診斷技術之一。CT掃描過程中的高劑量輻射會對人體產生傷害，考慮到不同人群的耐受能力，低劑量CT被廣泛應用在醫學領域以減少對人體的傷害；通過改變CT的掃描參數，如管電壓、管電流、掃描時間等都可以降低對患者的輻射劑量。降低輻射劑量，分辨率會降低，產生條紋偽影等，圖像質量較差，影響診斷性能。為了保證圖像質量來滿足臨床診斷需求，從低分辨率圖像(LR)中重建高分辨率圖像(HR)，可以有效地幫助醫生觀察醫學病變圖像的細節，增加疾病的確診和治療的可能性。因此，超分辨率重建(SR)對醫學圖像處理具有重要意義，與自然圖像超分辨率重建不同，低劑量CT圖像紋理更復雜，細節更豐富，視覺辨識度不如彩色圖像，所以保證病理不變性，紋理細節不丟失是低劑量CT圖像超分辨率重建的關鍵。

近年來，基于深度學習的超分辨率重建技術取得了突破性的進展，大致包括基于傳統的卷積神經網絡(CNN)、基于殘差網絡(ResNet)和基于生成對抗網絡(GAN)的超分辨率重建。對于基于卷積神經網絡的超分辨率重建，文獻[1]首先提出了一種超分辨率卷積神經網絡(SRCNN)，它是一種簡單的三層網絡，雖與傳統方法相比取得了令人滿意的結果，但引入了不必要的噪聲與重影且收斂速度較慢。文獻[2]提出了一種基于像素重排的亞像素卷積神經網絡模型，為圖像超分辨率重建提供了一種靈活調節放大倍數的重構政策。對于基于殘差網絡的超分辨率重建，文獻[3]提出了一種非常深的卷積超分辨率網絡(VDSR)，將差值后的低分辨率圖像加入到網絡，重構效果優于SRCNN，然而VDSR模型僅使用一個跳躍連接，并沒有很有效地減輕梯度消失的問題。文獻[4]提出了一種對稱的編解碼網絡結構用于圖像復原技術，引入密集跳躍連接，有效緩解了梯度消失問題。文獻[5]提出了多尺度殘差網絡模型，該模型從不同的卷積核尺度提取不同的特征，通過像素重排方法實現不同放大倍數的重構圖片。最近，隨著生成對抗網絡的流行，基于生成對抗網絡的超分辨率重建很好地解決了基于卷積神經網絡和ResNet的超分辨率重建結果過于平滑，邊緣輪廓細節不夠清晰的問題。文獻[6]提出的一種基于生成對抗網絡的單張圖片超分辨率重構模型，使得重構圖像盡可能與高分辨率圖像相似。文獻[7]提出利用兩個生成對抗網絡來進行人臉超分辨率重構，將真實圖片的降質過程作為圖像超分辨率重構的一部分，提高圖像超分辨率重構的實際應用價值。文獻[8]提出了一種基于生成對抗網絡(SRGAN)的實景單幅圖像超分辨方法，利用對抗損失使結果更接近真實圖像。文獻[9]提出了一種用于醫學病變分類的生成對抗網絡，采用圖像增強提高網絡性能。文獻[10]提出生成網絡和判別網絡采用完全對稱的編解碼器結構，通過增加更多的網絡節點來穩定網絡訓練。上述研究顯示了生成對抗網絡在圖像超分辨率重建中更有優勢，使訓練結果更加逼近原始高分辨率圖像，產生視覺效果更好的高頻細節信息。

針對醫學圖像對邊緣輪廓、紋理細節的高要求，筆者提出一種基于多尺度殘差生成對抗網絡的低劑量CT圖像超分辨率重建算法，旨在實現高質量、高效的圖像重建。主要貢獻如下：

(1) 設計多尺度殘差生成模型，能充分檢測不同卷積核的圖像特征，建立不同尺度特征間相互依賴的關系，并自適應地校準特征，增強特征的提取和表達；

(2) 將對抗損失和內容損失相結合，兼顧紋理細節和邊緣信息等多方面，提高圖像質量。

1 基于MSRGAN的超分辨率重建

筆者提出一個多尺度殘差生成對抗網絡(MSRGAN)框架，由一個生成模型G和一個判別模型D組成。生成模型G捕捉樣本數據的分布，將低分辨率圖像ILR轉換成一個類似真實數據的超分辨率圖像ISR，效果越接近真實樣本越好；判別模型D是一個二分類器，學習高分辨率圖像IHR和重構圖像ISR之間的差異，并輸出輸入圖像來自高分辨率圖像的概率，輸入樣本越接近真實樣本，概率越大。筆者的目標是訓練生成模型G盡可能生成與真實的高分辨率圖像相似的圖像，最小化lb{1-D[G(ILR)]}，同時訓練D最大化判別正確率，數學表達式為

(1)

其中，D(IHR)為高分辨率圖像通過判別模型被判斷為真實樣本的概率，G(ILR)為生成網絡G生成的樣本，D[G(ILR)]為生成的樣本通過判別模型后，輸出其為真實樣本的概率，D[G(ILR)]越接近1越好。判別模型的目標是讓D(IHR)接近1，D[G(ILR)]接近0。當D(IHR)接近1/2時，生成模型產生接近高分辨率圖像的超分辨率圖像，欺騙判別模型D，使D無法分辨出圖像的真實來源。

1.1 MSRGAN生成模型

在神經網絡中，深度越深，表達的特征越豐富，擁有的性能越出色。然而梯度本身是一個很小的值，隨著深度的增加，梯度越來越小，就會出現梯度消失的現象，導致深層神經網絡無法訓練。因此提出一種多尺度殘差生成網絡，網絡結構如圖1所示，主要由conv+ReLU層，多尺度殘差連接模塊和亞像素卷積層組成。

圖1 MSRGAN生成網絡結構圖

由于采用多尺度殘差連接(MSR)，在相同卷積層時本網絡的連接數遠遠超過直接或簡單跳躍連接的生成對抗網絡，因此本網絡對于高細節紋理要求、內容復雜不均勻的低劑量CT圖像的特征提取提供了更多的可能性，在不深化網絡的情況下生成大量連接節點，避免了網絡太深無法訓練的問題，并且殘差連接可以增強信息共享能力，使參數更有效。

1.1.1 多尺度殘差連接模塊

圖2 殘差網絡示意圖

殘差學習網絡(ResNet)在解決網絡過擬合和欠擬合問題上有很好的效果，解決了網絡深度變深以后的性能退化問題，殘差網絡如圖2所示。

由于豐富映射節點可以更好地表達特征，所以將原本殘差網絡的一維結構進行改進，設計3種不同尺寸的卷積核并行連接，形成多尺度殘差模塊，利用尺度殘差模塊來提取局部和全局的特征。具體結構如圖3所示。多尺度殘差連接由1×1、3×3、5×5這3種不同尺寸的卷積核并行連接，不同于殘差網絡[11]中原來的一維結構，從而可以提取到更多不同的細節信息，在相同的卷積層的情況下，多尺度殘差連接包含的路徑約是常規一維網絡的3倍，因此可以表達更豐富的局部特征。不同尺寸卷積核作卷積運算能夠提取到不同尺度的特征，除了最后1×1的卷積層，多尺度殘差連接每一個卷積層后都添加批量歸一化(Batch Normalization，BN)和ReLU函數，并且使用一個長跳躍連接豐富上下文信息。

對于第1部分，具體由式(2)～(4)實現：

(2)

(3)

(4)

其中，W和b分別代表每個神經元的權重和偏置；*代表卷積算子；下角標代表卷積核大小，上角標代表不同層的位置；Mn-1代表多尺度殘差連接模塊的輸入；U代表每個分支的輸出結果；σ為ReLU激活函數，表示為

σ(x)=max(0，x) 。

(5)

同樣，第2、3部分如式(6)～(15)所描述：

C21=C22=C23=[U11，U12，U13] ，

(6)

(7)

(8)

(9)

C31=[U21，U22，U23] ，

(10)

C32=[U21，U22，U23] ，

(11)

C33=[U21，U22，U23] ，

(12)

(13)

(14)

(15)

其中，C代表全連接特征，式(6)與式(10)～(12)表示全連接運算。

第4部分的實現如下：

C4=[U31，U32，U33] ，

(16)

(17)

其中，C和U與前三部分代表的含義相同，S表示1×1卷積后的輸出，沒有激活函數層。

圖3 多尺度殘差模塊(MSR)結構圖

1.1.2 亞像素卷積

重建過程主要對非線性映射層獲得的特征進行上采樣和聚合，使用亞像素卷積來代替反卷積對特征圖片進行上采樣。文獻[12]已經驗證反卷積會對生成的圖像產生棋盤效應，影響生成圖像質量，然而文獻[13]提出的亞像素卷積能很好解決這個問題。若放大因子為r，卷積核數則為r2，將特征圖像每個像素的r2個通道重新排列成一個r×r的區域，對應高分辨率圖像中一個r×r大小的子塊，從而大小為r2×H×W的特征圖像被重新排列成1×rH×rW的高分辨率圖像。亞像素卷積的卷積部分在低分辨率圖像上進行，可用較小尺寸的卷積，因此卷積運算的效率會較高。所以，筆者使用亞像素卷積來進行像素重排。

1.2 MSRGAN判別模型

由于判別網絡只需要標記生成圖片的真偽，因此可以將判別網絡看成一個可以進行特征提取和線性分類的二元分類器。受文獻[14]基于卷積神經網絡的判別模型啟發，判別網絡由卷積層、激活層、金字塔池化層(SPP)交替組成，如圖4所示。第一個卷積層的卷積核為5×5，步長為2，其他卷積層卷積核都為3×3，步長都為1，金字塔池化不僅對輸入尺寸沒有要求，而且能夠得到更豐富的圖像特征，最后利用全連接層[15]和sigmoid函數[16]將卷積層提取到的圖像特征進行分類組合，獲得樣本分類概率。

圖4 MSRGAN判別網絡結構圖

1.3 損失函數

在醫學圖像領域，基于生成對抗網絡的超分辨率重建方法顯示出巨大潛力[17]。為提高網絡性能，基于生成對抗網絡的超分辨率重建損失函數如下：

(18)

對抗損失促使生成網絡生成紋理細節豐富的醫學圖像，而且能夠約束特征的生成，避免圖像發生病態變化，對抗損失公式如下：

(19)

內容損失通常是為了提高超分辨率圖像的感知質量而設計的。定義內容損失包括3個部分：基于均方差損失(MSE)，感知VGG損失和距離變換損失。

對于圖像超分辨率重建應用最廣泛的就是像素方面基于MSE的損失函數，它反映原圖像與超分辨圖像之間的均方誤差。值越小，與原圖像的相似度越高，基于MSE損失函數的定義如下：

(20)

其中，ILR代表尺寸為H×W×C的低分辨率圖像，IHR代表尺寸為rH×rW×C的高分辨率圖像，r代表比例系數。

基于MSE的優化方案能獲得較高的峰值信噪比(PSNR)，但缺乏高頻細節而導致紋理過于平滑，得不到良好的感知效果。因此，使用VGG損失函數來保持感知相似性，可以表示為

(21)

其中，φi，j(x)表示圖像經過微調的VGG網絡第i個池化層后第j個卷積層的激活值，IHR代表高分辨率圖像，G(ILR)表示生成的超分辨率圖，Wi，j和Hi，j為經過微調的VGG網絡特征圖尺寸。

距離變換損失(Tra)通過計算圖像中像素點到最近零像素點的距離來細化輪廓、尋找質心，可以增強目標區域并且對非目標區域不做任何改變，這樣既不產生額外特征又能細化邊緣信息，如下所示：

(22)

綜上所述，總損失函數被定義為

(23)

其中，α，β，λ代表權重系數。

2 實驗結果與分析

文中的對比算法包括CTF[18]，FSRCNN[19]，RDN[20]，SRGAN，GAN-CIRCLE[21]。CTF為基于模型的超分辨率重建算法；FSRCNN和RDN為基于深度學習的超分辨率重建算法；SRGAN和GAN-CIRCLE可以看做是有代表性的基于生成對抗網絡的超分辨率重建算法。

2.1 實驗數據及仿真環境

選取2 000張不同患者的肺部CT作為訓練數據，500張作為測試數據，圖像尺寸為512×512像素，CT圖像來自廣州醫科大學附屬第一醫院。為生成訓練數據，對高分辨率圖像下采樣得到低分辨率圖像數據集，下采樣因子為4。優化過程選取β1=0.9，β2=0.999的Adam算法，學習速率為10-4，迭代次數為1.5×106。

選用帶有Intel Core i7-9700K CPU @ 3.60 GHz，64 GB RAM和Nvidia GeForce RTX 2080 Ti的Windows工作站來訓練和評估模型。

2.2 評價指標

采用主觀和客觀兩種評價標準對結果進行評價。主觀評價為主觀視覺效果。客觀評價指標首先包括結構相似性(SSIM)、特征相似性(FSIM)和峰值信噪比(PSNR)。結構相似性是從亮度、對比度和結構3方面衡量兩幅圖的相似程度，范圍為0～1，值越大，兩幅圖越相似；特征相似性是用來衡量兩幅圖的特征相似性，值越大，重建效果越好；峰值信噪比是一種基于像素間誤差敏感性的圖像質量評價指標，值越大，圖像失真越小。

為進一步驗證基于GAN的超分辨率重建的有效性，額外引入Sliced Wasserstein distance (SWD)，Inception Score (IS)，Frechet Inception Distance (FID)，3種指標對SRGAN、GAN-CIRCLE和文中算法進行比較。IS是GAN中最常出現的評價指標，在一定程度上反映生成圖片的質量和多樣性，IS值越高越好。為了更好地評價生成網絡，引入FID指標，能有效地計算真實分布與生成樣本之間的距離，FID越小，重建效果越好。SWD是用來衡量兩個分部之間的相似性，距離越小，分布越相近。

2.3 實驗結果分析

主觀分析主要是利用目測法從圖像的紋理細節和整體感觀來觀察圖像的形態問題。圖5為6種方法重建結果，可以看出CTF算法得到的圖像比較模糊，細節過度平滑；相比之下，基于卷積神經網絡和基于GAN的算法在感知上比基于模型的算法更有說服力。FSRCNN和RDN在圖像銳度方面有很大的提升，但還是產生少量偽影，在細節紋理方面的處理仍顯不足。SRGAN和GAN-CIRCLE在圖像銳度和視覺效果方面都有較好的表現，主觀感受和MSRGAN不相上下，但在表2客觀評價指標方面略遜色文中算法。

圖5 重建結果對比圖

圖6 局部重建結果對比圖

圖6為對圖5的HR圖像中圈框部分進行放大得到的對比圖。圖像放大時會丟失部分細節信息，這是醫學診斷中需要克服的一大問題。從圖6可以看出，使用GAN-CIRCLE和MSRGAN算法的結果比其他結果邊緣信息更豐富，紋理細節更清楚。

為了進一步驗證文中算法的準確性和可用性，邀請了8名平均臨床經驗超過5年的放射學醫師對20組重建圖像進行分析。從邊緣和圖像銳度、紋理細節、病理不變性等多方面進行綜合評價，評分從1到5，1表示最差，5表示最好。表1是對20幅圖像評價的平均值，可以看出8名醫師都證實MSRGAN的重建效果最好，平均比CTF約高0.556 3，比FSRCNN約高0.401 3，比RDN約高0.310 0，比SRGAN約高0.195 0，比GAN-CIRCLE約高0.051 3。綜上所述，筆者提出的算法在圖像重建方面有一定的價值。

表1 不同醫師對重建圖像評價對比

客觀分析首先從結構相似性(SSIM)、特征相似性(FSIM)和峰值信噪比(PSNR)方面進行評價，并記錄各算法的耗時，對圖5各算法超分辨率重建之后的圖像進行計算，如表2所示。

表2 超分辨重建算法結果對比

由表2實驗數據可以看出，MSRGAN在3項指標中都有較高的得分，耗時也控制在1.5 s以內。基于深度學習的超分辨率重建算法比基于模型的超分辨率重建效果整體更好，MSRGAN算法在SSIM指標上平均提高約0.047 0，在FSIM指標上平均提高約0.022 8，在PSNR指標上平均提高約1.962 0。

另外，為了驗證基于GAN算法的有效性，文中利用IS，SWD，FID對SRGAN，GAN-CIRCLE和MSRGAN這3種算法進行評估，如表3所示。MSRGAN在IS指標上比SRGAN高1.27，比GAN-CIRCLE高0.21，最接近真實圖像；在FID指標上平均提高約3.48；SWD指標略優于其他算法。由此可見，文中算法不論在主觀視覺效果還是客觀指標上都具有一定的優勢。

為了驗證內容損失的有效性，研究了3種MSRGAN的變化模型：① MSRGAN-m是沒有MSE損失的變體；② MSRGAN-v是沒有感知VGG損失的變體；③ MSRGAN-d是沒有距離變換損失的變體。對比結果如表4所示，MSRGAN相對其變化模型有一定的優勢，SSIM指標平均高出約4.0%，FSIM指標平均高出約3.1%，PSNR指標平均高出約17.4%，說明了文中損失函數能夠提高超分辨率圖像的感知質量。

表3 基于GAN模型實驗結果對比

表4 MSRGAN變化模型對比結果

3 結束語

筆者提出利用多尺度殘差連接改進生成對抗網絡框架，旨在從低分辨率CT圖像中重建出清晰的高分辨率CT圖像。文中引入多尺度殘差模塊，提取圖像多種特征，增強特征的提取和表達，恢復圖像高頻紋理信息；此外，訓練過程中將對抗損失和內容損失相結合，銳化邊緣信息，增強紋理結構的表達，提高圖像質量。解決了醫療診斷中圖像細節不清晰的問題；通過實驗，進一步驗證了文中方法在恢復重建圖像的感知質量方面的良好性能。

下一步將在保證精度的同時簡化模型，降低運行時間。