基于GAN 的肺部CT 影像超分辨率重建研究

姜茜，呂玉超，徐英豪，朱習軍

（青島科技大學信息科學技術學院，山東青島 266061）

肺癌是對人類生命健康威脅最大的一種惡性腫瘤，研究表明，早期肺癌的診斷和治療可以讓患者5 年的生存率提高到55.5%[1],CT 目前是肺癌早期臨床篩查的主要影像方法，但其分辨率受制于成像設備、X 射線劑量等條件，會出現復雜、不均勻的噪聲，這使圖像的原始尺寸及質量無法滿足醫生在閱片時的診斷需要。因此提高CT 影像的分辨率，使其在放大后依然保持著清晰的紋理細節是目前研究的主要任務。近年來，隨著深度學習的發展，基于生成對抗網絡（Generative Adversarial Networks，GAN）[2]的重建模型大大改進了傳統超分辨率圖像重建的效率與質量[3]，SRGAN 穩定的網絡結構具有較好的重建效果和魯棒性，因此，其被頻繁用于醫學圖像重建[4-7]。盡管醫學圖像重建相關研究已經取得了長足的發展，但受制于肺部CT 影像紋理細節、邊緣梯度復雜[8]的特點，超分辨率重建工作仍存在瓶頸，出現放大倍數受限[9]、重建后丟失邊緣信息和微小焦點[10]等問題。

1 RUAGAN模型研究與設計

針對上述問題，該文提出了RUAGAN 模型對肺癌數據集進行分辨率重建，使重建后的CT 圖像在4x 放大因子上依然保持清晰的細節，同時減少邊緣信息的丟失，保證圖像的真實性，滿足醫生的觀測需求。

1.1 生成器

RRDB 為生成器的基本塊，采用了兩層殘差結構，主干部分由三個密集殘差塊(Residual Dense Block,RDB)構成，將主干網絡的輸出與殘差邊相疊加，通過密集連接卷積層充分提取局部特征，不僅可以提高特征提取的能力，還能夠有效避免模型過深導致的性能退化問題。使用RRDB 作為生成器的基本塊，結合了多層殘差網絡和跳躍鏈接，這樣的結構有利于特征充分提取與特征重用[11]，充分挖掘圖像中抽象特征與紋理細節的同時增加網絡容量。生成器模型結構如圖1 所示。

圖1 生成器結構

重建醫學圖像需要充分的高頻信息。大部分重建模型存在丟失高頻信息的問題，導致重建后的圖像紋理細節不清晰，甚至出現斑塊。為提高高頻特征的提取特征，該文在生成器后半部分加入局部注意力模塊，其結構如圖2 所示。

圖2 局部注意力模塊結構

對張量塊T使用平均池化進行下采樣操作，得到張量塊TD，輸出張量塊TD的通道數與高度為張量塊T的二分之一，其值越高，子區域的判別信息就越豐富，對TD使用pixelShuffle 進行上采樣得到和T相同尺寸的、平滑的深層特征塊T′。這時，用T減去T′得到該局部的高頻信息TH：

式中，利用激活函數ReLU 來增強二者之間的動態差異范圍，得到的TH中的每一個插值都代表了該部分區域與平均水平的插值。再將高頻信息疊加到T中得到Tout，公式如下：

其中，β是超參數，用于平衡注意模塊的影響。此時Tout中突出了圖像局部的高頻信息，達到了區分判別信息注意優先級的目的，有助于生成器對高頻信息的提取。

1.2 帶有實例歸一化的U-Net鑒別器

CT 圖像具有噪聲紛亂復雜、邊緣信息模糊、紋理細節復雜等特點。傳統GAN 模型中使用的相對鑒別器[12]忽略了圖像的真實性，對該文的醫學數據集并不適用。所以在處理CT 圖像時使用對像素梯度更敏感、鑒別能力更加強大的U-Net 網絡作為鑒別器[13]。鑒別器結構如圖3 所示。

圖3 鑒別器結構

在U-Net 的編碼部分，通過對輸入的圖片進行卷積和降采樣，得到不同尺寸的特征圖，在解碼過程中進行上采樣，上采樣后的特征圖與解碼過程中對應的特征圖進行通道上的拼接。因U-Net 網絡結構更深，深層卷積側重全局信息，淺層卷積關注紋理細節，提供了更好的特征提取能力，跳躍連接可兼顧全局信息與紋理細節，使用concat 進行特征拼接有助于還原降采樣所帶來的信息損失，避免了邊緣特征的丟失。U-Net 網絡作為鑒別器，輸出為每個像素的真實值，向生成器提供詳細的逐像素反饋，為肺部圖像重建提供更加強大的鑒別能力。

U-Net 網絡相比于普通鑒別器網絡，結構更加復雜、網絡層更深，在訓練深度網絡時，網絡隱藏層參數更新會導致數據分布發生偏移，為了保持數據分布的一致性，在U-Net 中對每個特征圖進行實例歸一化(Instance Normalization,IN)。IN 可以保持每個圖像實例之間的獨立，并加速模型收斂、穩定訓練，此外，在U-Net 中添加IN 有助于緩解在生成對抗過程中引入的過于尖銳的偽信號。

1.3 組合損失函數

多數基于GAN 的重建模型中，通常以峰值信噪比為導向，使用MSE 作為損失函數，容易丟失高頻信息，導致圖像過于平滑。為解決上述問題，并在考慮人類視覺感知的前提下提高圖像分辨率，針對醫學圖像的觀測需求，文中把對抗損失、SSIM損失與感知損失[14]三者結合在一起，將損失函數定義為：

LGAN為對抗損失，功能是幫助生成器，使生成圖像盡可能接近真實圖像，從而欺騙判別器。通過計算生成圖像與目標圖像之間的差值，可提高圖像的真實度，提高生成圖像的視覺效果。LGAN公式為：

其中，ILR和IHR分別為LR圖像和對應的HR圖像。G和D分別表示模型的發生器和鑒別器，δ為sigmoid 函數。

SSIM(Structural Similarity Index)為結構相似度指數，從圖像組成的角度將結構信息定義為獨立于亮度、對比度的、反映場景中物體結構的屬性。使用SSIM 損失充分考慮人類的視覺感知，比使用L1 損失得到更多細節。SSIM 損失公式為：

其中，l(ILR,IHR)為亮度相似度，c(ILR,IHR)為對比度相似度，s(ILR,IHR)為結構相似度。

為提取圖像的高頻信息，在損失函數中加入感知損失，利用卷積層抽象高層特征的能力，從高維度更接近人的思維的層次來感知圖像。感知損失提供了清晰的邊緣和更具有視覺體驗的結果。感知損失公式如下：

其中，Ci、Hi、Wi分別表示第i層特征映射的通道大小、高度和寬度，φi表示訓練網絡第i層的激活情況。

2 實驗

實驗環境包括硬件環境和軟件環境，硬件設備為一臺搭載GPU NVIDIA GeForceRTX 3090 的服務器，軟件設備為PyTorch 1.11 CUDA ToolKit 11.2，Python3.7。在實驗中batch-size 設為8，生成器中RRDB 的個數設置為23。使用Adam 優化器促使損失函數收斂到最小，以不斷更新網絡參數，初始學習率設置為2×10-4，衰減率為0.1。

2.1 數據準備

實驗中采用美國國家肺癌中心數據集，使用MicoDicom 軟件遍歷數據集，從中挑選出清晰度相對高、紋理細節復雜的3 000 張圖像，并將其裁剪為512×512 像素大小，然后，使用Bicubic 以4x 比例因子下采樣得到128×128 像素大小的低分辨率圖像，經過預處理后低分辨率圖像與原圖組成數據對，輸入到RUAGAN 模型中進行訓練。

2.2 對比實驗

為體現改進后的模型在該數據集上的表現，將其與兩種插值算法，兩種基于CNN 的重建算法和四種基于GAN 的重建算法進行比較。其中算法為雙線性(Bilinear)插值法、雙三次(Bicubic)插值法、SRCNN、ESPCN[15]、RACN、SRGAN、ESRGAN 與BSRGAN[16]。為驗證模型的泛化能力，將數據集分為訓練集與測試集，分別輸入到這幾個模型中進行訓練。為充分體現算法的處理效果，選取了數據集中兩個不同部位的重建結果，如圖4 所示。

圖4 各模型超分辨率效果

2.3 評價指標

該文使用的評價指標為峰值信噪比、結構相似性與平均梯度（Average Gradient）。峰值信噪比與結構相似性常作為圖像重建后評價圖像質量的評價指標，其中峰值信噪比反映的是像素間的誤差。而結構相似性側重于人眼的視覺感知。平均梯度常用于衡量圖像的清晰程度，可以認為平均梯度越大，圖像清晰度越好，重建質量越好，公式如式（7）所示：

其中，M和N為圖像的長和寬，和分別表示圖像水方向和垂直方向的梯度。

各模型評價指標如表1 所示。

表1 各模型評價指標值對比

從圖4 和表1 的實驗結果來看，在對醫學圖像進行分辨率重建時，兩種插值算法簡單快速，但由于插值算法的局限性，清晰度很低，重建效果與深度學習方法有一定差距。基于CNN 網絡的SRCNN 和ESPCN 模型重建效果較插值算法更好，圖像更清晰，ESPCN 模型的PSNR 值與SSIM 值較Bicubic 算法分別提高了2%與11%，但重建后的圖像紋理過于平滑，平均梯度分別為5.238 與5.167，清晰度低。RCAN 在三個基于CNN 網絡的重建模型中效果最好，卻忽略了對CT 圖像中病變區域的關注側重，雖然其PSNR 數值達到29.474，高于文中用于對比的三個GAN 模型，但紋理不自然，低頻信息較其他模型更少。該文使用的局部注意力機制更適合CT 影像，PSNR 與SSIM 值較RCAN 算法分別提高了0.024 與1.425。基于GAN 的SRGAN 模型與ESRGAN 重建后紋理不清晰，對高頻信息的挖掘不夠深入。ESRGAN 與BSRGAN 重建過程涉及復雜的退化過程，對于肺部CT 圖像進行了一系列的退化后再重建，重建后圖像在亮度、對比度等方面的視覺效果較RUAGAN差，SSIM 值為0.866 與0.833。而該文模型在PSNR、SSIM 和AG上表現更好，分別為31.98、0.974 和7.725，略高于其他模型，且視覺上紋理細節豐富，邊緣清晰。

3 結論

該文對醫學圖像進行分辨率重建RUAGAN，針對醫學圖像區別于自然圖像的特點，在生成器部分加入局部注意力機制，并使用帶有實例歸一化的UNet 網絡作為鑒別器，提升重建后圖像的質量。實驗結果表明，改進后的模型在AG、PSNR 和SSIM 上表現較好，PSNR 與SSIM 分別達到29.075 與0.901，相較于Bicubic、SRGAN、ESRGAN 算法都有提高，重建效果更好。整體視覺效果的提升有助于提高醫生的閱片效率，也可用于醫學圖像分割、檢測等實際應用中。但模型的泛化能力有待提高，下一步的研究工作將探尋提高模型泛化能力的方法，在保證重建效果的同時提高重建效率。