基于生成對(duì)抗網(wǎng)絡(luò)的醫(yī)學(xué)圖像超分辨率重建

陳勝娣

摘要： 針對(duì)醫(yī)學(xué)圖像分辨率低導(dǎo)致視覺效果差的問題，提出一種基于生成對(duì)抗網(wǎng)絡(luò)的醫(yī)學(xué)圖像超分辨率重建方法。使用生成對(duì)抗網(wǎng)絡(luò)架構(gòu)，由生成器重建高分辨率圖像，再將生成器生成的高分辨率圖像送入判別器判斷真?zhèn)巍Ｍㄟ^實(shí)驗(yàn)驗(yàn)證了該方法的有效性，在視覺效果和數(shù)值結(jié)果上都有所提高。

關(guān)鍵詞： 生成對(duì)抗網(wǎng)絡(luò); 超分辨率重建; 殘差網(wǎng)絡(luò); 醫(yī)學(xué)圖像

中圖分類號(hào)：TP391.41? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2021）10-15-05

Super-resolution reconstruction of medical image using

generative adversarial networks

Chen Shengdi

（College of Computer Engineering， Maoming Polytechnic， Maoming， Guangdong 525011， China）

Abstract： Because of the low-resolution medical image has poor visual effects， this paper propose a super-resolution reconstruction method with generative adversarial networks to generate clearer medical image. Using the generation countermeasure networks， the high-resolution images are reconstructed by the generator， and then the images are sent to the discriminator to judge the authenticity. The experimental results show that the proposed method is effective， and both the visual effect and numerical results are improved.

Key words： generative adversarial networks; super-resolution reconstruction; residual network; medical image

0 引言

高分辨率的醫(yī)學(xué)圖像可以提供更加清晰的病灶信息，方便醫(yī)生更加精準(zhǔn)判別病變的部位，輔助醫(yī)生進(jìn)行醫(yī)療診斷。受到現(xiàn)有的醫(yī)療成像環(huán)境和成像系統(tǒng)的局限性影響，直接獲取高分辨率醫(yī)學(xué)圖像的設(shè)備成本高[1]。圖像超分辨率重建技術(shù)是從低分辨率圖像重建出高分辨率圖像的技術(shù)[2]。因此，可以借助超分辨率重建技術(shù)來提高圖像分辨率，改善圖像質(zhì)量。

目前超分辨率重建技術(shù)主要有基于插值、基于重建和基于學(xué)習(xí)三類方法[3]。基于插值的方法一般是通過基函數(shù)估計(jì)相鄰像素點(diǎn)之間的像素值，如：雙線性插值、雙三次插值。這類方法性能穩(wěn)定、計(jì)算復(fù)雜度低，但是難以重建得到圖像的高頻信息，重建圖像存在偽影、模糊等現(xiàn)象，重建效果較差。基于重建的方法一般是利用圖像自相似性特點(diǎn)加以約束，重建圖像降質(zhì)過程中丟失的高頻信息[4]，如：凸集投影法、迭代反投影法，這類方法高度依賴先驗(yàn)知識(shí)且重建的圖像缺乏細(xì)節(jié)紋理信息。基于學(xué)習(xí)的方法是學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的映射關(guān)系，該類方法克服了前兩類方法的局限性，重建圖像質(zhì)量更好[5]。

Ledig等人[6]首次將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于圖像超分辨率重建領(lǐng)域，提出了生成對(duì)抗網(wǎng)絡(luò)超分辨率重建模型SRGAN（Super-Resolution Generative Adversarial Network），使用感知損失和對(duì)抗損失聯(lián)合恢復(fù)圖像的紋理細(xì)節(jié)。Wang等人[7]在SRGAN的基礎(chǔ)上提出增強(qiáng)的超分辨率生成對(duì)抗網(wǎng)絡(luò)，使用殘差密集塊代替原始生成器中的殘差塊且使用相對(duì)判別器進(jìn)一步提高了重建圖像的質(zhì)量。呂之彤[8]也使用同樣的方法針對(duì)不同類型的醫(yī)學(xué)圖像進(jìn)行超分辨率重建。Muqeet等人[9]構(gòu)建了混合殘差注意力網(wǎng)絡(luò)使用了空洞卷積保持網(wǎng)絡(luò)參數(shù)不增加的條件下擴(kuò)大網(wǎng)絡(luò)感受野，改進(jìn)了多層次特征融合的方式。高媛等[10]設(shè)計(jì)深度可分離寬殘差網(wǎng)絡(luò)對(duì)部分醫(yī)學(xué)圖像進(jìn)行超分辨率重建。吳磊等[11]使用了多尺度殘差網(wǎng)絡(luò)對(duì)部分醫(yī)學(xué)CT圖像進(jìn)行了重建。Qin等人[12]提出了一種多尺度自融合殘差網(wǎng)絡(luò)，從網(wǎng)絡(luò)廣度探索圖像特征提高超分辨率重建圖像的質(zhì)量。Liu等人[13]設(shè)計(jì)了殘差蒸餾網(wǎng)絡(luò)RFDN（Residual Feature Distillation Network）在不引入額外網(wǎng)絡(luò)參數(shù)的條件下利用淺層殘差模塊對(duì)特征通道進(jìn)行分離蒸餾操作，該網(wǎng)絡(luò)輕量靈活。

本文基于生成對(duì)抗網(wǎng)絡(luò)框架，將改進(jìn)的殘差結(jié)構(gòu)作為生成器的基礎(chǔ)單元，判別器網(wǎng)絡(luò)借鑒了馬爾可夫判別器[14]的思想，將輸出圖像映射為矩陣而非單一數(shù)值，引導(dǎo)生成器生成更高質(zhì)量的圖像。

1 模型結(jié)構(gòu)

保留了SRGAN的高級(jí)體系結(jié)構(gòu)設(shè)計(jì)，低分辨率圖像輸入生成器網(wǎng)絡(luò)，先通過殘差塊提取特征再經(jīng)過亞像素卷積層進(jìn)行上采樣操作，最后將重建的高分辨率圖像輸入判別器判斷圖像的真?zhèn)巍?/p>

1.1 生成器網(wǎng)絡(luò)

批歸一化層BN（Batch Normalization）是沿著通道針對(duì)每批次的樣本計(jì)算均值和方差對(duì)特征進(jìn)行歸一化，當(dāng)輸入分布改變時(shí)，之前計(jì)算的數(shù)據(jù)分布也可能改變，會(huì)導(dǎo)致訓(xùn)練網(wǎng)絡(luò)的每一層權(quán)重不一致[15]。樣本歸一化層IN（Instance Normalization）是沿著通道計(jì)算每一張輸入圖像的均值和方差進(jìn)行歸一化[16]。Nah等人[17]在圖像去模糊中證明了刪除BN層可以提高網(wǎng)絡(luò)性能并降低計(jì)算復(fù)雜度。相對(duì)本文所提的網(wǎng)絡(luò)，通過實(shí)驗(yàn)觀察到去除歸一化層，網(wǎng)絡(luò)難以訓(xùn)練，同時(shí)由于訓(xùn)練圖像間差異較大，因此本文選用IN層作為歸一化層，以實(shí)現(xiàn)穩(wěn)定的訓(xùn)練、提高網(wǎng)絡(luò)表達(dá)能力。

為了進(jìn)一步提高SRGAN重建圖像的質(zhì)量，本文主要對(duì)生成器網(wǎng)絡(luò)結(jié)構(gòu)做了兩個(gè)方面的改進(jìn)：①使用IN層代替BN層;②改進(jìn)的殘差單元代替原始的殘差單元，如圖1所示。

改進(jìn)的殘差單元結(jié)構(gòu)如圖1所示（右圖），由IN層、ReLU激活層、3?3卷積層重復(fù)組合而成。生成器殘差塊由16個(gè)殘差單元串聯(lián)而成，前面層輸出的特征以級(jí)聯(lián)的方式傳遞給后面的層，將淺層學(xué)習(xí)到的特征疊加，增強(qiáng)特征的傳播。

使用亞像素卷積層對(duì)輸入的低分辨率特征圖進(jìn)行上采樣操作。維度為[H×W×C]的低分辨率特征圖期望放大[r]倍，則先通過卷積層將特征維度調(diào)整為[H×W×r2C]，再利用亞像素卷積層對(duì)特征圖重排列成[rH×rW×C]，最后重建輸出[r]倍放大的超分辨率圖像。生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2所示，卷積層的卷積核大小都為3?3、特征通道數(shù)都為64、步長(zhǎng)都為1。低分辨率圖像先經(jīng)過二個(gè)卷積層學(xué)習(xí)圖像的淺層特征，然后將運(yùn)算得到的特征圖輸入16個(gè)殘差單元（Residual Block）提取圖像特征，最后在網(wǎng)絡(luò)的末端使用亞像素卷積進(jìn)行四倍上采樣操作重建出高分辨率圖像。

1.2 判別器網(wǎng)絡(luò)

判別器網(wǎng)絡(luò)設(shè)計(jì)為九層的全卷積神經(jīng)網(wǎng)絡(luò)，選用卷積核大小為3?3，步幅為1、2交替的卷積層組成。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

借鑒PatchGAN的思想，將輸入為96?96的圖像映射為6?6的矩陣M，M的每個(gè)元素（i，j）都對(duì)應(yīng)輸入圖像中某個(gè)特定的圖像塊（patch）的判定，最后的判別結(jié)果為M的均值，通過關(guān)注重建圖像的高頻信息來引導(dǎo)局部圖像特征提取，有利于促進(jìn)生成器生成更加逼真的圖像，提高重建質(zhì)量。判別器網(wǎng)絡(luò)的詳細(xì)參數(shù)如表1所示。其中c表示卷積核，f表示濾波器，s表示步長(zhǎng)。

1.3 損失函數(shù)

使用內(nèi)容損失和對(duì)抗損失聯(lián)合訓(xùn)練生成器網(wǎng)絡(luò)，整體損失函數(shù)[LG]如下：

[LG=μLCont+LGen]? ⑴

其中[LCont]為內(nèi)容損失函數(shù);[μ]為加權(quán)系數(shù)，經(jīng)過多次實(shí)驗(yàn)觀察到取值為400時(shí)網(wǎng)絡(luò)性能相對(duì)最優(yōu);[LGen]為對(duì)抗損失函數(shù)。

[L1]損失（Mean Absolute Error）用于表示預(yù)測(cè)值與真實(shí)值之差的絕對(duì)值之和。[L2]損失（Mean Square Error）定義為預(yù)測(cè)值與真實(shí)值之差的平方和。已有研究表明，在使用同樣優(yōu)化算法的前提下，[L1]損失比[L2]損失更能脫離局部極值點(diǎn)所在凸域的束縛，但也存在在全局最小值附近震蕩的可能;[L2]損失相比[L1]損失更容易陷入局部極值點(diǎn)[18]。[L1]損失對(duì)任意大小的異常值均使用固定的懲罰，受到離群點(diǎn)的影響較小，因此，選擇[L1]損失作為內(nèi)容損失函數(shù)，公式如下：

[LCont=Ex～Pdata（x）Gx-y1]? ⑵

其中[E]表示數(shù)學(xué)期望，[x～Pdata（x）]表示輸入數(shù)據(jù)[x]來源于低分辨率訓(xùn)練數(shù)據(jù)集，[y]表示數(shù)據(jù)來自原始高分辨率數(shù)據(jù)集（Ground-truth），[G（x）]表示低分辨率圖像經(jīng)過生成器生成的重建高分辨率圖像。

一般地，生成對(duì)抗網(wǎng)絡(luò)的對(duì)抗損失函數(shù)定義如下。

[LGen=Ey～Pdata（y）log（D（y））+Ex～Pdata（x）log（1-D（G（x）））] ⑶

其中[G]表示生成器，[D]表示判別器。

受到文獻(xiàn)[19]的啟發(fā)，使用均方誤差作為對(duì)抗損失函數(shù)，網(wǎng)絡(luò)訓(xùn)練更穩(wěn)定。因此生成器的優(yōu)化目標(biāo)為最小化[Ex～Pdata（x）（DGx-1）2]，判別器的優(yōu)化目標(biāo)為最小化[Ey～Pdata（y）Dy-12+Ex～Pdata（x）D（G（x））2]。

2 實(shí)驗(yàn)

在CPU為Intel core i5-8400@2.80GHZ，GPU為NVIDIA GeForce GTX1060，16GB內(nèi)存的主機(jī)上進(jìn)行。使用Ubuntu20.04操作系統(tǒng)，PyTorch1.7深度學(xué)習(xí)框架。

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)所用數(shù)據(jù)集來自癌癥影像檔案TCIA（The Cancer Imaging Archive）網(wǎng)站公開醫(yī)學(xué)影像資料TCGA-COAD數(shù)據(jù)集。該數(shù)據(jù)集包含胃腺癌、結(jié)腸腺癌等癌癥系列醫(yī)學(xué)圖像，部分圖像的示意圖如圖4所示。

參考文獻(xiàn)[10]數(shù)據(jù)處理方法，將醫(yī)學(xué)影像轉(zhuǎn)為PNG格式的圖像用于實(shí)驗(yàn)，尺寸為96?96，數(shù)據(jù)集共包含有5241幅圖像。將圖像分為三個(gè)部分，其中訓(xùn)練集為4444幅，驗(yàn)證集為397幅，測(cè)試集為400幅。使用雙三次插值算法進(jìn)行4倍下采樣處理獲取尺寸為24?24的低分辨率圖像作為生成器網(wǎng)絡(luò)的輸入數(shù)據(jù)。

2.2 參數(shù)設(shè)置

生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)都使用Adam優(yōu)化器且參數(shù)設(shè)置為[β1=0.9]，[β2=0.999]。批大小（batch-size）設(shè)置為8，epoch為1200。初始學(xué)習(xí)率設(shè)置為[5×10-4]，并伴隨訓(xùn)練的過程進(jìn)行微調(diào)，一段時(shí)間訓(xùn)練后觀察損失函數(shù)，當(dāng)損失函數(shù)趨于平穩(wěn)時(shí)，降低學(xué)習(xí)率繼續(xù)訓(xùn)練，如此循環(huán)直至學(xué)習(xí)率降至原來的1/1000時(shí)，模型基本收斂。

2.3 客觀評(píng)價(jià)標(biāo)準(zhǔn)

在PyTorch中導(dǎo)入skimage.metrics模塊的peak_signal_noise_ratio和structural_similarity函數(shù)計(jì)算峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM作為重建高分辨率圖像的客觀評(píng)價(jià)標(biāo)準(zhǔn)。

2.4 實(shí)驗(yàn)結(jié)果與分析

將本文方法與Bicubic、SRGAN、RFDN算法進(jìn)行了比較。圖5、圖6、圖7分別展示了SRGAN算法、RFDN算法和本文方法在四倍放大時(shí)訓(xùn)練迭代次數(shù)和PSNR值的收斂曲線。

圖5所示是SRGAN在驗(yàn)證集中的四倍放大重建訓(xùn)練收斂曲線，在10000epoch之后，網(wǎng)絡(luò)基本趨于穩(wěn)定，共訓(xùn)練20000個(gè)epoch。

圖6是RFDN算法對(duì)輸入低分辨率圖像直接進(jìn)行4倍重建時(shí)在驗(yàn)證集上的收斂曲線，初始學(xué)習(xí)率為[5×10-4]，每迭代200epoch學(xué)習(xí)率減半，且在1000epoch之后損失函數(shù)由L1損失改為L(zhǎng)2損失，學(xué)習(xí)率調(diào)整為[10-5]微調(diào)網(wǎng)絡(luò)。

圖7為本文算法在驗(yàn)證集四倍重建的訓(xùn)練曲線，初始學(xué)習(xí)率為[5×10-4]在 1100epoch之后學(xué)習(xí)率下降10倍，繼續(xù)訓(xùn)練20epoch之后學(xué)習(xí)率再次下降100倍繼續(xù)訓(xùn)練直至穩(wěn)定，共訓(xùn)練了1200個(gè)epoch。

⑴ 客觀指標(biāo)測(cè)試

對(duì)本文構(gòu)建的網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)測(cè)試，并將測(cè)試結(jié)果與Bicubic、SRGAN、RFDN算法在四倍重建下進(jìn)行比較，結(jié)果如表2所示。相比SRGAN、RFDN，本文算法的平均PSNR值大約提升了0.8359dB、2.9311dB;在SSIM值方面也分別提高了0.0163、0.0082。實(shí)驗(yàn)驗(yàn)證了本文算法的有效性。

⑵ 主觀視覺效果測(cè)試

將不同算法在四倍放大下的重建圖像進(jìn)行對(duì)比，結(jié)果如圖8所示。Bicubic重建的圖像比較模糊;本文方法與SRGAN、RFDN相比，主觀效果更貼近真實(shí)的圖像，紋理更加清晰，細(xì)節(jié)也更加豐富。

3 結(jié)束語(yǔ)

本文基于生成對(duì)抗網(wǎng)絡(luò)構(gòu)建了醫(yī)學(xué)圖像超分辨率重建的網(wǎng)絡(luò)模型。利用改進(jìn)的殘差網(wǎng)絡(luò)單元級(jí)聯(lián)構(gòu)建生成器，借鑒PatchGAN網(wǎng)絡(luò)的思想設(shè)計(jì)判別器，以對(duì)抗的方式不斷優(yōu)化網(wǎng)絡(luò)，重建高質(zhì)量的高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，該模型重建的醫(yī)學(xué)圖像平均PSNR和平均SSIM比Bicubic、SRGAN、RFDN算法都有所提高。但是在速度方面，本文方法不及RFDN算法優(yōu)秀。因此，未來可以在提升網(wǎng)絡(luò)運(yùn)算速度方面進(jìn)行深入研究。

參考文獻(xiàn)（References）：

[1] Gao Y， Li H， Dong J， et al. A deep convolutional network for medical image super-resolution[C]//2017Chinese Automation Congress （CAC）. 2017. IEEE，2017：5310-5315

[2] Haris M， Shakhnarovich G， Ukita N.Deep Back-Projection

Networks for Single Image Super-resolution[J/OL].arXiv，2020.https：//arxiv.org/pdf/1904.05677v2.pdf.

[3] 段友祥，張含笑，孫歧峰等.基于拉普拉斯金字塔生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建算法[J/OL].計(jì)算機(jī)應(yīng)用，2020.https：//kns.cnki.net/kcms/detail/51.1307.TP.20201021.0852.002.html.

[4] ZIWEI L，CHENGDONG W，DONGYUE C，et al. Overview on image super resolution reconstruction [C]// CCDC 2014：Proceedings of the 26th Chinese Control and Decision Conference.Washington，DC：IEEE Computer Society，2014：2009-2014

[5] 黃陶冶，趙建偉，周正華.雙層可變形卷積網(wǎng)絡(luò)的超分辨率圖像重建[J].計(jì)算機(jī)應(yīng)用，2019.39（S2）：68-74

[6] Ledig C， Theis L， F Huszar， et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J].2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2017：105-114

[7] WANG X，YU K，WU S，et al. ESRGAN：enhanced super resolution generative adversarial networks[C]//ECCV 2018：Proceedings of the 15th European Conference on Computer Vision. Berlin：Springer，2018：63-79

[8] 呂之彤. 基于深度學(xué)習(xí)的醫(yī)學(xué)圖像超分辨率重建[D].山東師范大學(xué)碩士學(xué)位論文，2020.

[9] Muqeet A， Iqbal M T B， Bae S. HRAN： Hybrid Residual Attention Network for Single Image Super-Resolution[J].IEEE Access，2019.7： 137020-137029

[10] 高媛，王曉晨，秦品樂等.基于深度可分離卷積和寬殘差網(wǎng)絡(luò)的醫(yī)學(xué)影像超分辨率重建[J].計(jì)算機(jī)應(yīng)用，2019.39（9）：2731-2737

[11] 吳磊，呂國(guó)強(qiáng)，趙晨等.基于多尺度殘差網(wǎng)絡(luò)的CT圖像超分辨率重建[J].液晶與顯示，2019.34（10）：1006-1012

[12] Qin J， Huang Y， Wen W. Multi-scale feature fusion residual network for single image super-resolution[J].Neurocomputing，2020.379：334-342

[13] Liu J， Tang J， Wu G. Residual Feature Distillation Network for Lightweight Image Super-Resolution[C]. ECCV， 2020， https：//arxiv.org/pdf/2009.11551.pdf.

[14] LAN Z，LIN M，LI X，et al. Beyond Gaussian pyramid：Multi- skip feature stacking for action recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington，2015：204-212

[15] Ioffe S， Szegedy C. Batch Normalization： Accelerating Deep Network Training by Reducing Internal Covariate Shift[J].arXiv，2015.https：//arxiv.org/pdf/1502.03167.pdf.

[16] D Ulyanov， Vedaldi A， Lempitsky V. Instance Normaliza-tion： The Missing Ingredient for Fast Stylization[J/OL]. arXiv， 2017.https：//arxiv.org/pdf/1607.08022v3.pdf.

[17] NAH S， KIM T H， LEE K M. Deep multi-scaleconvolutional neural network for dynamic scene deblurring[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，2017：257-265

[18] 黃荔.基于深度學(xué)習(xí)的3D磁共振圖像超分辨率重建算法研究[D].電子科技大學(xué)碩士學(xué)位論文，2020.

[19] Zhu J Y， Park T， Isola P， et al. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks[C] //Proceedings of the IEEE International Conference on Computer Vision，2017：1125-1134