生成對抗網絡在醫學圖像處理中的應用

李祥霞，謝 嫻，李 彬，尹 華，許 波，鄭心煒

1.廣東財經大學 信息學院，廣州510320

2.華南理工大學 自動化科學與工程學院，廣州510641

醫學圖像處理是計算機視覺領域的一個熱門研究問題之一，醫學圖像是開展與醫學相關問題研究的基礎，其中對圖像數據的處理和有效分析更是直接影響到醫生對患者所患疾病的判斷和治療。近年來，隨著醫學成像技術和設備的不斷發展，大量的包含豐富病理相關影像信息的醫學數字圖像隨之產生，因此需要處理的數據量也越來越大。面對龐大且復雜的醫學影像數據，如何實時且有效地對醫學影像大數據做進一步處理、分析和挖掘，如何從這些圖像中提取出潛在有用的特征，是研究者們亟待處理的問題。

傳統的圖像處理方法通常是通過放射科醫生從醫學圖像中手工提取有用的影像信息，這不僅耗時費力，還有著個人主觀性，易出現誤診、漏診的現象[1]。因此，這種方式已經不能滿足現階段的醫療需求，為此出現了大量的圖像處理的新技術。深度學習（Deep Learning，DL）近年來已經在醫學圖像處理范疇中取得了突飛猛進的發展[2]。從現階段的研究觀察到卷積神經網絡（Convolutional Neural Network，CNN）是應用于圖像處理范疇上較為成功的深度學習模型之一，其通過構造CNN，對數據采用層層訓練，利用各層的特征表達，來自動提取對高層特征，有效地解決了人為提取圖像特征所造成的問題，因此能夠提升診斷的效率和準確率[3]。但是，CNN模型由于具有結構復雜度高、參數規模龐大等特點，往往需要大量的有標簽數據來訓練模型，而這些標簽數據獲取是非常耗時費力且易產生誤差，同時數據又不斷進行更新，導致模型出現過擬合或欠擬合問題[4]。在醫學影像圖像中，標簽數據的獲取嚴重依賴于放射科醫生的主觀經驗、專業水平，也易受到影像質量影響，因此有標簽影像數據獲取更難，極易造成數據稀少、注釋稀缺和類別嚴重不平衡等問題[5]，極大地限制了其廣泛應用，這也是醫療領域是否能得以發展的重要問題之一。

數據增強可以用來擴大原本不足的數據集。傳統的數據增強方法有很多，可以通過提高圖像的質量，校正圖像的亮度或者對比度等，或是通過旋轉、縮放、變形等幾何變換方式對數據進行擴充，但這些方法都與原始數據密切相關，因此它們所產生的影響作用是非常局限的[6]。此外，還可以采用調整閾值、過采樣和欠采樣方法對不足的數據進行擴充。在醫學影像數據中，樣本數據本身即為小樣本數據，調整閾值方法不能起到關鍵性的作用。欠采樣是一種數據重構方法，對數據量多的類樣本進行裁剪，實現樣本的均衡，極易造成類別訓練樣本的重要信息丟失問題。過采樣則是針對數據量較少的那類數據采用重復的采樣，最終不同標簽的數據數量達到均衡，很容易樣本重要信息缺失或樣本空間重疊而造成嚴重的過擬合現象。

生成對抗網絡（Generative Adversarial Networks，GANs）因具有非常出色數據合成的能力而一直受到工業界和學術界的廣泛關注[7]。在醫學影像領域中，通過使用GANs來生成醫學圖像樣本數據，對數據進行增強，可以仿真出大量的難以獲得的醫療影像數據，有效地緩解了因數據樣本稀缺而對醫學大數據分析造成的影響。雖然GANs是作為無監督學習的生成模型，但是其在半監督學習、強化學習等方面也展現出很大的潛力。

首先概述了GANs的基礎理論和組成結構，然后分析了幾種典型的在GANs基礎上做出改進的模型，闡述了GANs模型在圖像生成、圖像分割等應用領域上的研究現狀。最后，在研究現狀和問題基礎上進行了深入分析，進一步總結和討論了生成對抗模型在醫學圖像處理領域中未來發展的趨勢和所面臨的挑戰。

1 生成對抗網絡介紹

2014年，Goodfellow等[8]提出了一個采用對抗過程估計生成模型的新網絡，即生成對抗網絡（GANs）模型，其由生成器G（Generator，G）和判別器D（Discriminator，D）組成[9]。G的目的是合成出盡量與逼真的圖像相似的數據，而D則是推斷圖像是來自生成器所產生的還是真實的[10]。提出模型的想法來自于博弈論中的二人零和博弈[11]，在博弈中由G和D在對抗訓練的過程中進行迭代優化，不斷地更新各自網絡參數，最后達到納什平衡狀態[12]，GANs模型的結構如圖1所示。

圖1 GANsFig.1 GANs

GANs的目標函數定義為：

GANs的目標函數優化采用最大最小化的方式，當G能夠完全地學習到真實圖像的近似概率分布，并能從中采樣出逼真的圖像，而判別器無法準確地判別出圖像來源時，此時模型達到最優化。生成器G接收到一個服從高斯分布的隨機噪聲z后，生成盡可能服從真實圖像x的概率分布Pdata的圖像G(z)。然后，將圖像G(z)輸入到判別器D中，經過計算，判別器D會輸出被推斷為真實圖像的概率。概率越接近于1，則證明生成樣本G(z)越逼真于真實樣本，否則G(z)為虛假樣本[13]。

與傳統的生成模型相比，如變分自編碼器（Variational AutoEncoder，VAE）、自回歸模型（Autoregressive Model）等，GANs巧妙地結合了G和D，采用兩者相互的動態對抗，達到互利共贏的特性，可以極大地去處理傳統的生成模型不能處理的復雜問題。GANs使用無監督的學習方式，不需要大量的人工標注圖像，實現了真正意義上的“智能”模式[14]。此外，GANs采用誤差反向傳播（Back Propagation，BP）方法進行訓練，不需要使用馬爾可夫鏈，因此不用對隱變量進行推測，可以更快速地產生圖像。GANs不需要事先建模，而是直接對真實數據進行采樣，因此所生成的圖像能夠更加逼真。盡管GANs有很多優勢，但其自身也留有以下諸多缺點：（1）現實中GNAs難以維持納什平衡狀態；（2）GNAs易出現退化現象，一直生成相同的數據，無法再繼續學習，最終出現模式崩塌的現象；（3）在訓練過程中GNAs易發生梯度消失現象；（4）GNAs模型自由度大，難以把控[15]。因此，GANs廣泛應用仍存在著一定程度的局限性。

2 GANs變體模型

為了處理上述存在的缺陷，研究者們基于GANs已經做了許多的優化，并產生了一些GANs的變體模型。在基于GANs框架的基礎上，不斷對此進行改進和優化，使得所生成的圖像細節更加完善，在圖像生成、圖像分類等圖像處理方面均有著重大的作用。本章主要介紹了幾種典型GANs的變體模型。

2.1 CGANs模型

2014年，Mirza等[16]提出了基于條件的生成式對抗網絡（Condition Generative Adversarial Nets，CGANs），使得GANs的無監督的訓練方式變成有監督的訓練方式。在原始GANs的基礎上，增加額外信息c，使得GANs可以根據圖像與對應的標簽進行訓練，并在測試訓練階段根據給定標簽來合成出特定圖像。圖2是CGANs模型結構。

圖2 CGANs Fig.2 CGANs

CGANs模型的目標函數公式為：

GANs模型未預先建模，其自由度較大，難以把控，而CGANs模型將原本無條件概率變成有條件概率，添加了“隱編碼”進行監督學習，從而解決了GANs自由度較大的問題，讓圖像的生成更具方向性。盡管CGANs在一定程度上增加了訓練過程中的穩定性，降低了模型訓練所需要的時間，但最終生成的圖像數據質量并不高，且由于需要大量的人工標注的標簽，所以CGANs需要較高的成本。

2.2 DCGANs模型

2015年，Radford等[17]提出了深度卷積生成對抗網絡（Deep Convolutional GANs，DCGANs），將CNN與GANs相結合，充分結合了CNN的結構信息預測能力和GANs對抗策略優化能力的優勢，DCGANs模型結構如圖3所示。

圖3 DCGANs Fig.3 DCGANs

DCGANs模型利用了CNN來替代GANs模型的多層感知機，其主要體現為：（1）DCGANs模型去除了池化層（Pooling Layer）和全連接層（Fully-connected layer）；（2）在生成器中采用了分數跨步卷積來替換上采樣層，而判別器則采用了跨步卷積來替換下采樣層[18]；（3）在生成器和鑒別器中使用批量歸一化（Batch Normalization），避免初始化敏感的問題；（4）去除了全連接的隱藏層以獲得更深層次的體系結構；（5）生成模型中輸入層和隱藏層使用ReLU激活函數，而輸出層使用tanh激活函數，在判別器中則使用LeakyReLU函數[19]，提高了訓練的穩定性。

DCGANs模型將CNN與GANs進行結合，在生成器還是判別器中無論在物體的組成部分還是場景方面都充分地學習到了深度高級特征，能夠更豐富地表達原始數據，從而提高了最終合成出的圖片質量。DCGANs模型具有一定的體系結構約束，這些約束條件使它們在許多情況下都能達到穩定的訓練。由于DCGANs是一種非監督表示學習模型，不使用標簽，因此模型訓練的成本較低。但是，DCGANs只是改進了原始GANs模型的結構，并未從底層去解決GANs模型所存在的不穩定的現象，且需要維持生成器和判別器的訓練次數的均衡，極大地制約了DCGANs模型的廣泛使用。

2.3 InfoGANs模型

2016年Chen等[20]提出InfoGANs模型，通過信息最大化的GANs進行可解釋表示的學習，類似于無監督CGANs模型。將輸入的噪聲信息z分為兩個部分：一是不可壓縮的普通噪聲z，二是可解釋的隱變量c[21]。InfoGANs模型結構如圖4所示。

圖4 InfoGANsFig.4 InfoGANs

通過約束c和生成數據的關系，讓c中帶有對生成數據的可解釋信息，根據最大化隱變量c與生成數據x的互信息I(c;x)來生成數據。在InfoGANs目標函數中加入了正則項，如公式（3）所示：

其中，參數λ表示的是正則化的懲罰程度[22]。最大化I(c;G(z,c))是一件很難的任務，需要用到后驗概率p(c|x),對此可以通過一個輔助分布來解決，引入q(c|x)來逼近p(c|x)，從而獲得互信息的下界，于是InfoGAN的目標函數變為：

傳統的GANs模型無約束，且對網絡輸入的噪聲也不好解釋，在CGAN中通過給噪聲合并一些類別數據，改變其輸出的形式，可以訓練出指定類別的數據，具有一定程度的解釋，但是解釋性不強。InfoGANs讓網絡可以學到更多可解釋的特征，網絡訓練結束之后，可以通過設定輸入生成器的隱含編碼來控制生成數據的特征，大大減少了所需成本，極大地限制了模型的自由度。但是，InfoGANs模型降低了生成數據的多樣性，并且需要和隱變量求互信息，根據互信息更新生成器和判別器，增大了計算量。

2.4 WGANs模型

GANs模型會有梯度消失、不穩定和模式崩潰等現象[23]。為了解決這個問題，2017年Arjovsky等[24]提出了Wasserstein距離優化的生成式對抗網絡（Wasserstein GANs，WGANs）。作者們采用Wasserstein距離來代替原來的JS距離，以此來衡量生成樣本和真實樣本二者存在的距離，通過縮小這個距離來拉近二者的分布。WGANs的目標函數為：

對D加上了1-Lipschitz的約束，表示要求D(x)的增量不大于x增量的1倍，這可以限制D(x)的增長速度，不至于過快，從而達到一個平滑的特性。相對于GANs模型，WGANs模型做了如下的改進：（1）判別模型的輸出層不再采用sigmoid函數；（2）對于生成模型和判別模型的損失函數不使用log；（3）對于判別模型的權重更新，每次都截取到一定的范圍內；（4）優化算法采用RMSProp或者SGD，不采用Adam。

WGANs很大程度上解決了GANs中存在的模式崩潰，從而避免了生成數據種類較少的情況，由于采用Wasserstein距離來取代GANs的JS距離，在理論上可以解決GANs存在的梯度消失的情況。但是實際上，由于WGANs對判別模型的參數更新使用暴力的權重剪枝（weight clipping），即設置一個閾值c，將參數限制在(-c,c)之間，從而間接符合了Lipschitz條件，但會讓這些梯度都集中在邊界值上，閾值如果過大會產生梯度爆炸，過小會產生梯度消失，此外，權重剪枝的更新方法會使得訓練模型變得困難，導致模型收斂變慢，甚至存在收斂失敗的風險。

2.5 WGAN-GP模型

為了避免WGANs模型中可能存在的梯度消失現象，Gulrajani等[25]提出了WGAN-GP模型。WGAN-GP不再使用權重剪枝方法來暴力地限制參數，而是采用更溫和的方法，即梯度懲罰（gradient penalty）來滿足Lipschitz條件[26]。WGAN-GP的目標函數為：

梯度懲罰就是采用一個額外的懲罰項將梯度和Lipschitz條件中的K值進行關聯。

WGAN-GP是WGANs的升級版，通過在原WGANs上進行改進，采用梯度懲罰來更新參數，解決了WGANs在實際中存在的梯度消失或梯度爆炸的問題，加快了網絡的收斂，從而增加了模型的穩定性，但由于所需參數多，規模大，因此訓練模型所消耗的成本較高。

2.6 BigGANs模型

Brock等[27]提出BigGANs（Large Scale GANs），是一個大規模的GANs，是目前生成圖片質量最好的一個網絡模型。BigGANs模型主要做了如下改進：（1）增加了2~4倍的參數量以及8倍的batch尺寸；（2）對輸入z規定一個閾值來進行適當的截斷，舍棄高于這個范圍的值再進行重采樣以滿足這個范圍；（3）在生成模型和判別模型中都采用了正則化的思想。

BigGANs可以大規模地用來生成更加逼真的圖像數據，通過“截斷技巧”可以增加模型的訓練穩定性，從而生成種類繁多的圖像數據。此外，訓練的不穩定性還來自生成器和判別器的相互對抗過程，因此采用正則化思想也能增加模型的穩定性。但是，由于增加了參數量和batch尺寸，使得訓練模型的成本增加。

2.7 其他GANs變體模型

Zhang等[28]提出了StackGANs模型，由于CGANs無法生成高分辨率的圖像，StackGANs在CGANs上做出了改進，采用分段式方法進行訓練：第一階段用以合成粗略的較低分辨率的圖像；第二階段把前一階段的輸出圖像數據作為輸入，對此增加更多紋理細節來生成高分辨率的圖像數據。此外，StackGANs還可以將文本的內容轉換為圖片的形式，是一個比較新穎的突破，但StackGANs存在著生成數據失敗的風險。Zhu等[29]提出了CycleGANs模型，具有循環機制，主要的思想是將圖像從一個域變成另一個域，該模型由兩個對稱的GANs結合，從而形成一個環，每個GANs同享兩個生成模型和自身擁有一個判別模型，可以使得訓練不依賴于一對一的成對圖像，從而具有更好的適應性[30]。CycleGANs對訓練的數據要求較低，由于進行無監督學習，所需訓練模型的成本較低，但模型訓練不穩定，導致生成的圖像數據質量和分辨率都較低，甚至有生成數據失敗的風險。

雖然許多改進的GANs已經被提出，但還沒能很好地解決GANs留有的缺點。表1顯示了生成對抗網絡模型的各種變體的對比。

表1 改進的生成對抗網絡模型的對比Table 1 Comparison of improved generative adversarial networks model

通過分析各類GANs變體模型，可以得知原始GANs一般基于以下兩點做出優化：（1）損失函數；（2）網絡結構。CGANs加入額外信息，很大程度解決了模型自由度大的缺點，但模型成本較高，如后來出現的ACGAN、TACGAN等模型均以CGANs為基礎網絡做出各自的改進。DCGANs將深度學習算法引入到GANs模型中，用CNN來提取原始圖像的特征，使模型更好地進行特征學習，采取分步幅卷積、整步幅卷積、BN層等對模型進行改進，使生成的圖像數據更具豐富性，但不適用于處理文本數據。InfoGANs通過信息最大化進行學習，生成的數據具有可解釋性，訓練成本低，但由于需要計算互信息，增大了模型的計算量。WGANs從損失函數方面對GANs進行改進，采取Wasserstein距離替換JS距離，理論上可以避免梯度消失或爆炸，加快模型收斂速度，但實際上由于采用權重截斷還是會有梯度消失或爆炸的現象。而WGAN-GP采用溫和的梯度懲罰代替WGANs的權重截斷，避免會出現梯度消失或爆炸的現象，模型收斂速度明顯增加，訓練更加穩定，但參數量大、訓練成本較高。BigGANs是目前生成圖像數據質量較好的模型，但模型參數量和規模較大，所需成本也比較高。StackGANs可以生成出高分辨率的圖像，還可以將文本內容轉變成圖像數據，但會存在生成數據失敗的情況。CycleGANs通過兩個對稱的GANs形成環，可以將圖像的風格進行轉換，但生成的圖像數據質量和分辨率都較低。

3 GANs在醫學圖像處理中的應用

監督學習是目前較為先進的技術，但是需要大批的帶標簽的數據集來對模型進行訓練，在醫學領域內，由于數據的特殊性，符合不了監督學習對訓練數據集的要求，因此提出了生成對抗網絡模型及其變體，生成與原始數據分布一致的數據，可以有效地緩解醫學領域內數據少、類別不平衡等問題。GANs自2014年第一次提出以來，就成為一個熱門話題，其在圖像生成、圖像分割等醫學圖像處理方面均取得了不錯的效果。

3.1 圖像生成

GAN用于樣本的生成是最為廣泛的，它可以從大量的無標簽數據中生成數據來對訓練數據進行擴充，可以很好地解決醫學圖像數據量緊缺的問題。研究者們將傳統的數據增強方法和GANs做了對比，在對比結果中可以得知用GANs生成的醫學圖像具有很高的可信度。

Zhao等[31]提出Tub-GANs和Tub-SGANs模型來合成視網膜和神經元圖像，結果表明可以從相同的管狀結構注釋中合成各種圖像，有助于改善圖像的分割性能；Plassard等[32]提出DCGANs模型，將DCNN和GANs結合，生成了擁有高信噪比的數據；Bowles等[33]提出WGANs模型，用Wasserstein距離來替換原來的JS距離，可以減少生成圖像的錯誤；Mok等[34]提出CBGAN模型，將生成圖像階段分為粗生成和細生成，可以生成邊界更加清晰的腦瘤圖像；Sun等[35]提出ANT-GANs模型，不僅可去除圖像中的病變區域，而且可以生成含病變區域的圖像；姚哲維等[36]基于CycleGANs做出了改進，引入Wasserstein距離作為正則化項（W-CycleGANs）對血管內超聲圖像進行增強，可以加快收斂，性能明顯高于CycleGANs；Diaz-Pinto等[37]提出DCGANs模型來合成新型圖像，最終能生成逼真的視網膜圖像；Gihyun等[38]使用自動編碼GAN合成3D腦MRI圖像，可以從一小組訓練數據中成功生成各種類型和形式的3D全腦體積；Kansal等[39]利用了GAN模型生成數據集，利用這些合成數據來彌補訓練數據的不足，從而進一步提高CNN的分類性能；Baydoun等[40]結合Resnet、UNet和CGANs模型合成了胸部CT圖像，其在MAPE和均方根誤差上均有較好的結果；Hamghalam等[41]提出CycleGANs模型，擴充了HTC MR圖像，可以更好地提高腫瘤的分割性能。生成對抗模型在圖像合成中的應用如表2所示。

表2 生成對抗網絡模型在圖像合成中的應用Table 2 Application of generative adversarial networks model in image synthesis

3.2 圖像分類

每個GANs都各自擁有判別器，GANs可以用于聯合分類，不僅可以對原始圖像分類，也可以對生成的圖像分類，因此GAN可以執行較繁瑣的分類任務。

Joseph等[42]將CycleGANs應用在腦圖像分類上，該模型可以生成高質量的圖像，但是其在健康與病灶區的腦圖像分類上具有一定的誤差；劉寧等[43]提出條件深度卷積GANs（CDCGANs）對抑郁癥進行分類，分類正確率明顯提高；商顯震等[44]將GANs和樸素貝葉斯的多分類方法結合起來對皮膚病問題進行判斷，提高了準確率和召回率；Rubin等[45]使用預訓練的GANs（TOP-GANs）進行無污染癌細胞的分類，通過在無污點成像流式細胞儀中可以實現快速、自動和準確的分類；劉坤等[46]采用半監督GANs（SSGANs）對X光圖像進行分類，與其他半監督分類方法相比具有較優越的性能；Das等[47]提出SGANs模型，對有限的標記數據進行自動診斷，通過對抗建立通用的分類器，在臨床級OCT圖像的分類上，準確度有較大的提高；Yu等[48]提出將GANs和拉曼光譜結合起來進行分類，該方法不僅提高分類的準確性，還解決了數據不足的問題；He等[49]提出帶標簽平滑GANs（LSGANs）來對視網膜圖像進行分類，在實際的OCT數據集上該方法有明顯的優勢。Ghassemi等[50]用DCGANs來對腫瘤進行分類，經過驗證，該模型獲得了較高的準確率。Wang等[51]將GANs和CNN結合來對肺腺癌分類，采用GANs來擴大數據集，使得CNN分類的準確性有顯著的提高。Ma等[52]將DCGANs和ResNet結合在一起來對白細胞圖像分類，該模型有較好的分類準確性。生成對抗模型在圖像分類中的應用如表3所示。

表3 生成對抗網絡模型在圖像分類中的應用Table 3 Application of generative adversarial networks model in image classification

3.3 圖像分割

圖像分割是把圖像分為多個區域，并把需要的區域從圖像中抽取出來，是圖像處理到圖像分析的關鍵一步。

蔣蕓等[53]采用條件深度卷積GANs（CDCGANs）對視網膜血管圖像進行分割，在DRIVE和STARE上進行驗證，發現準確率和敏感度均有所提高；何俊等[54]提出多尺度判別GANs對MRI圖像進行分割，分割準確性和魯棒性較高，達到了實時分割的要求；Shi等[55]使用DCGANs分割腦部MR圖像中的海馬體區域，與基于CNN等的其他方法相比，該方法有更好的性能；Liu等[56]采用半監督生成對抗網絡（SSGANs）進行青光眼圖像的分割，在數據集ORIGA上所達到的效果明顯高于傳統模型，可以有效地輔助青光眼的診斷；Shen等[57]引入CGANs模型進行X射線乳房腫塊分割，其分割性能有所提高。Han等[58]提出用于處理大規模乳房超聲的GAN（BUS-GANs），在內部測試數據集和公共數據集上獲得了較高的分割精度；Rammy等[59]提出基于補丁的GANs模型（CPGANs），可以迭代地學習視網膜圖像中的粗細血管，大幅度地提高了分割的性能；Park等[60]提出M-GANs，通過堆疊的深度完全卷積網絡平衡損失來進行分割，其在精度、IOU、F1和MCC上均取得較好的結果；Lei等[61]提出帶有雙重鑒別器的GANs模型，在ISIC皮膚病變挑戰數據集上進行評估，獲得了較好的分割性能；Ruan等[62]通過多分支特征共享GANs（MBFSGANs）對CT圖像的腎臟腫瘤進行分割，獲得了較高的精確度；Vivek等[63]提出基于CGANs模型，對乳腺腫瘤進行分割，其在DICE和IOU指標上均有所提高；Li等[64]提出GANs模型由3D U-Net和分類網絡組成，在BraTS2017腦腫瘤MRI圖像上進行實驗，獲得了較高的準確性。生成對抗模型在圖像分割中的應用如表4所示。

表4 生成對抗網絡模型在圖像分割中的應用Table 4 Application of generative adversarial networks model in image segmentation

3.4 目標檢測

在醫學領域，圖像目標檢測是診斷和治療的必要條件，通過判別模型輸出的概率可以對病變等異常位置進行一個檢測。

李明等[65]結合GANs和Faster R-CNN來對圖像進行檢測，可提高檢測的效率；Chen等[66]提出基于GANs模型的方法，幫助計算機實現無監督的方式下檢測病變區域，在AUC指標上獲得了較高的結果；Avi等[67]將GANs和完全卷積網絡（FCN）結合，從而改善自動病變檢測，在每例圖像中，平均假陽性率均有所降低；唐賢倫等[68]采用DCGANs對圖像進行檢測，該模型可以很有效地提升檢測的精確度；張文勇等[69]提出增強型半監督GANs對糖尿病視網膜病變進行檢測，實現了更高的檢測精度和泛化能力；Schlegl等[70]提出f-AnoGANs模型能快速地進行無監督異常檢測，該模型有著較高的異常檢測精度；龍勝春等[71]采用GANs來檢測彩色眼底圖像硬性滲出，在e-ophtha EX和DIARETDB1數據集上的平均靈敏度等均有所提高；Bisneto等[72]提出CGANs模型來自動地對青光眼進行檢測，取得了較好的結果；Swiderski等[73]提出自動編碼器GANs（AGANs）來對乳房X射線圖像的腫瘤進行檢測，在準確性、AUC等評價指標上均獲得了較高的結果；Hai等[74]提出基于注意力編碼器和多分支結構的GANs（AMD-GANs）對眼底疾病進行檢測，該模型對病變區域獲得了較好的檢測性能；Zhao等[75]提出基于三方GANs（Tripartite-GANs）來改善腫瘤檢測，該模型檢出腫瘤的準確性較高；Rui等[76]采用消息重要性度量（MIM）的指數形式代替原始GANs的對數形式，在異常檢測方面達到了較好的性能。生成對抗模型在圖像目標檢測中的應用如表5所示。

3.5 圖像超分辨率重建

圖像的超分辨率重建（Super Resolution Image Reconstruction，SRIR）的目的是恢復低分辨率（Low Resolution，LR）圖像的紋理信息或高頻信息等，從而合成出高分辨率圖像（High Resolution，HR），是目前圖像重建所研究的熱點，應用范圍十分廣泛，如衛星成像[77]、醫學圖像等多個范疇。到目前為止，有三種常用的方法用于圖像的超分辨率中：（1）基于插值[78]；（2）基于重建[79]；（3）基于學習[80]。而基于學習的方法是主流的方法。在采用GANs之前已經出現了許多方法被應用在圖像的超分辨率重建中，如Dong等[80]提出三層卷積網絡（SRCNN），實現簡單，但由于模型層數不夠深，不能很好地學習到圖像紋理特征，泛化性能較差，因此不能達到很好的重建效果；Shi等[81]在模型中加入亞像素卷積層，可以減少模型的計算量，加快模型的收斂；Kim等[82]增加網絡層數，從而去得到較深層的圖像特征，并采用殘差網絡來避免梯度消失；Lim等[83]去除了BN層；由于單尺度提取特征容易遺漏一些圖像的細節且隨著網絡模型不斷增加容易出現梯度消失的情況，應自爐等[84]提出多尺度殘差網絡模型，不僅可以充分學習到圖像的特征還能加強特征的傳播。以上基于深度卷積的方法雖有很高的峰值信噪比（Peak Signal-to-Noise Radio，PSNR），但最終的圖像質量較低，因此，研究者開始將GANs用于圖像超分辨率重建中來。

Ledig等[85]采用GANs對圖像進行超分辨率重建中（SRGANs），利用生成器和判別器之間的相互對抗學習方式，來對圖像進行重建，恢復細節后的圖像在視覺上有所提升；Wang等[86]在GANs中引入殘差塊，并去除了BN操作，提出了一個增強型SRGANs（ESRGANs），重建后的圖像質量明顯提高，且有著更逼真的細節紋理信息；Shamsolmoali等[87]采用漸進式GANs（G-GANISR），判別器采用最小二乘損失函數替換交叉熵，提高訓練的穩定性，與原始GANs進行比較得出，該方法在效率和穩定性上均有所提升；Guan等[88]提出了一種新模型（SRDGANs），在GMSR數據集上進行驗證，實驗表明該模型可以有效地進行細節的恢復和圖像去噪；李誠等[89]提出殘差密集GANs來改善卷積網絡對于特性利用率較低的問題，該模型在Set5等數據集上進行驗證，實驗表明該模型可以加快收斂速度的同時提升對細節紋理的恢復和圖像的質量；王冬冬等[90]采用一種改進的GANs算法，利用Wasserstein距離和殘差塊，并去除BN層，在加快模型收斂的同時減少計算量，該模型在PSNR和SSIM上均有所提升；彭晏飛等[91]目標函數采用hinge損失，Charbonnier損失替換L2損失，避免圖像產生偽影，去除BN層，采用譜歸一化（Spectral Normalization，SN）來減小計算量，從而減少訓練成本，提高模型的穩定性，實驗證明該模型在PSNR和SSIM上都有提高，測試時間明顯降低，圖像質量也有提高；Zhao等[92]提出拉普拉斯金字塔GANs（LSRGANs）用于圖像重建，實驗表明，該模型可以避免產生的假細節，從而生成更高質量的圖像，PSNR和SSIM上的得分都有提升。生成對抗模型在圖像超分辨率重建中的應用如表6所示。

表6 生成對抗網絡模型在圖像超分辨率重建中的應用Table 6 Application of generative adversarial networks model in super resolution image reconstruction

根據上述對GANs在各個領域的列舉，可以知道GANs在醫學圖像中應用十分廣泛，特別是在圖像合成中，可以將少量的數據集進行擴充；由于每個GANs都自帶一個判別器，GANs可以進行聯合分類，不僅可以將原始圖像進行分類，生成的圖像也可以進行分類，因此GANs也被用于圖像分類中；對于現有的很多分割模型，都是對每個像素進行預測，而忽略了像素領域對其的影響，這會導致分割精確度下降，因此可以將GANs的生成模型換成語義分割模型，分割模型與判別模型進行對抗學習，使得空間上更具一致性，最終可以輸出分割后的圖像，此外還能降低過擬合；GANs在目標檢測領域也有其優勢，對于較小的區域，可能會存在丟失紋理信息等問題，直接進行檢測會導致結果有所偏差，GANs的生成網絡可以將圖片進行重建，將低分辨率的圖片變為高分辨率的圖像，恢復其紋理信息，再用判別網絡對圖像的真假做出判斷，可以提高小目標檢測的精確度；GANs也逐漸開始應用在圖像超分辨率重建領域，可以恢復圖像的紋理細節、高頻信息等，因此該應用可以給其他應用做基礎，如為圖像分割、目標檢測等提供一個高分辨率的圖像來作為判別網絡的輸入，從而提高分割、檢測的精確度。

4 總結與展望

本文首先簡述了GANs模型的理論和組成結構；然后介紹了幾種典型的變體模型，闡述了GANs模型在圖像生成、圖像分割等應用領域上的研究進展及現狀，并進行了總結。最后，深入分析研究現狀和問題，進一步總結和討論了深度學習在醫學圖像處理范疇中未來發展的趨勢和所面對的挑戰。自2014年提出GANs至今，其被廣泛地應用在醫學圖像處理中，醫學數據十分稀缺，標注不清晰，人工標注會浪費人力且容易出現錯診、漏診現象，但用監督學習通常需要大規模的數據集來訓練模型，根據表2可知，GANs被廣泛地應用在圖像合成方面，以此來彌補圖像不足的問題。此外GANs在圖像分類、圖像分割等方面也可以發揮很好的效果。與CNN相比之下，GANs的主要優點是注重原始圖像的潛在概率密度分布，從而發現數據的分布信息，雖然GANs取得了一定的成果，但也暴露了許多不足之處，具體表現如下：

（1）生成的數據多樣性不足

GANs在醫學圖像的合成中發揮著重要的作用，原始的GANs結構較為單一，只能學習到部分圖像特征合成出小批圖像數據，研究者們對此提出了改進，如CGANs增加條件信息指定生成的圖像、DCGANs聯合GANs與CNN學習到更深層的特征來使得合成的數據更具豐富性。但仍受許多因素的制約，如：圖像的尺寸、加深模型帶來更多計算量問題等。此外，在實際中，生成模型和判別模型很難維持納什均衡，而一旦性能差距過大就會出現模型退化現象，生成同樣的圖像數據，造成了數據種類較少的問題。

（2）梯度消失

GANs運用BP傳播算法，越靠近輸入層，梯度越小，越易出現梯度消失現象，WGANs利用Wasserstein距離替換JS距離，理論上可以避免梯度消失，但實際上卻做不到，而WGAN-GP采用溫和的梯度懲罰，雖然可以避免梯度消失，加快收斂，但隨之而來的是計算量大，訓練的成本增加。

（3）模型訓練效率過低

主要是由于模式崩潰以及模型結構復雜所引起。由于G生成的數據給D進行推斷的時候，如果D不能給出一個相對正確的評價，就會導致結果缺失了一些重要的信息，最終導致模式崩潰，降低模型的訓練效率；此外，由于模型結構過于復雜，模型訓練時間增加也會導致效率過低。

（4）GANs應用領域較為局限

GANs雖然在圖像生成、圖像分類等方面均有所應用，但GANs一般只能用于圖像數據的處理中，而對于文本數據的處理則較為局限，因此GANs在自然語言處理（Natural Language Processing，NLP）等領域中發展較為緩慢。

（5）模型訓練成本高

對于原始GANs，許多研究者做出了各自的改進，雖然解決了原始GANs的一些不足之處，但隨之而來的是增大了模型的計算量，將模型結構變得更加復雜，導致訓練成本增加，如WGAN-GP、BigGANs等。

根據對GANs及其變體的分析，本文對GANs進行總結，得出解決以下挑戰是GANs能夠進一步發展的關鍵：

（1）注重算法的改進，理論進行突破。要避免GANs生成數據多樣性不足的問題，可以從算法進行改進，添加合理的約束信息，結合其他深度學習算法的優點來進行改進，此外在實際中，生成網絡和判別網絡二者難以維持納什均衡，可以從理論上進行研究，分析二者在實際中難以維持納什均衡的原因。

（2）從算法進行突破，增大GANs的應用范圍。GANs對連續型數據的處理有著較高效的算法，但對于離散型數據的算法性能卻較低，因此可以對算法進行改進，讓GANs也能高效地處理離散型數據，從而廣泛地應用在其他領域中。

（3）探索GANs底層傳播機制。梯度消失、模型訓練效率過低很大程度上會阻止GANs很好地應用在醫學圖像領域，導致GANs對數據的處理速度過慢甚至是失敗，因此可以合理地借助工具去了解GANs的底層BP傳播機制，從而對GANs進行改進。

（4）維持GANs能和成本相對平衡。雖然有些GANs變體模型可以生成高質量的圖像數據，如BigGANs，但該模型需要多個GPU進行訓練，計算量大，因此成本相對較高，增大模型的訓練時間，降低效率。能夠維持GANs性能和成本的平衡，是將模型更好地應用在醫學圖像處理的關鍵一步。

將GANs模型應用在醫學領域是目前研究的熱點，許多高性能的優化模型也相繼提出，相信在未來，GANs模型可以更廣泛地應用在醫學圖像處理中。