生成對抗網絡在肝臟腫瘤圖像分割中的應用綜述

張 穎，仇大偉，劉 靜

山東中醫藥大學 智能與信息工程學院，濟南 250355

原發性肝癌是中國第四位高發的惡性腫瘤，其死亡率位居第二[1]。肝癌的發病率與致死率不斷升高，其嚴重威脅著人們的生命安全，并且給醫療衛生領域帶來了極大的挑戰。為了應對愈發嚴峻的肝臟癌癥挑戰，越來越多的研究者圍繞肝癌輔助診斷展開深入研究，尋求肝癌預防、治療與預后的輔助診斷技術的突破。

近年來，隨著醫療大數據應用的快速發展，深度學習在肝臟腫瘤輔助診斷技術的研究中發揮著至關重要的作用。尤其是隨著電子計算機斷層掃描（computed tomography，CT）、超聲成像技術（ultrasound）以及磁共振成像（magnetic resonance imaging，MRI）技術的逐步發展，給應用深度學習技術進行肝臟腫瘤疾病輔助診斷創造了條件。肝臟腫瘤圖像分割是肝臟腫瘤疾病輔助診斷研究中特別重要但又極其困難的一個步驟。由于肝臟腫瘤區域的結構和紋理等特征復雜，傳統的肝臟腫瘤分割方法多數依賴人工設計特征的方法進行分割。例如，Mostafa等人[2]提出利用區域生長法對肝臟進行分割。Li等人[3]提出了一種融合區域競爭、圖像梯度與先驗信息的統一水平集模型對肝臟腫瘤圖像進行分割。雖然傳統分割方法實現了對肝臟腫瘤圖像的分割，但是分割效率以及分割精度還存在很大的上升空間。目前卷積神經網絡（convolutional neural network，CNN）[4]成為應用在肝臟腫瘤分割上的主流深度學習模型。2015年，Long 等人[5]提出了全卷積神經網絡（fully convolutional network，FCN）的概念，首次將傳統神經網絡中的全連接層替換為卷積層。Ben-Cohen等人[6]首次將FCN應用于肝臟與肝臟腫瘤的分割中。FCN 在圖像分割上表現出的效果很好，但是FCN 在醫學圖像分割方面不夠完美。2015 年，Ronneberger 等人[7]提出UNet 主要應用于醫學圖像的語義分割，并且UNet 在醫學圖像的分割中達到了很好的效果。因此，很多基于UNet 網絡改進的分割模型出現。UNet網絡雖然在醫學圖像處理上表現很好，但是在分割細節處理上依舊不是很好。

2014年，Goodfellow等人[8]借鑒博弈論的觀點，提出一種基于概率和統計理論的生成對抗網絡（generative adversarial networks，GAN）。Luc等人[9]首次將GAN應用到圖像分割中，GAN 在圖像分割上表現出良好的性能，分割的準確率也很高。由于涉及患者隱私以及專業性較強的現實問題，醫學圖像中信息標注問題一直是困擾研究者的一大難題。生成對抗網絡是一種通過對抗訓練的方式學習真實數據分布的無監督學習模型。通過改進生成對抗網絡這一無監督學習的網絡模型，使得它在半監督學習模型與全監督模型上也可以表現出很好的性能。因此，生成對抗網絡可以很好地解決標注的醫學圖像數據集獲取困難的問題。此外，一些深度學習模型并不能很好地學習到訓練集中的數據特征，容易忽略分割圖像的一些細節信息。而且在深度學習的訓練中，GAN 一般假設訓練數據與測試數據服從相同的數據分布，而模型在訓練集與測試集的準確率上會存在一定的偏差。當把生成對抗網絡用于分割時，傳統的網絡（FCN、UNet等）可以作為生成網絡，即作為生成對抗網絡的生成器。不同于其他深度學習網絡的單網絡結構，生成對抗網絡的兩個網絡結構可以提高分割的精度和性能，同時也可以很好地保留細節信息。

首先，基于生成對抗網絡模型，介紹了生成對抗網絡模型的理論以及網絡結構，討論了幾種典型的生成對抗網絡的衍生模型，重點總結分析了生成對抗網絡在肝臟腫瘤圖像分割中的應用。然后，在已有的研究基礎之上深入分析，進一步總結和討論了生成對抗網絡在肝臟腫瘤圖像分割領域中所面臨的挑戰與未來發展的趨勢。

1 生成對抗網絡

1.1 網絡結構

生成對抗網絡是復雜分布中一種無監督學習的深度學習模型。生成對抗網絡最基本的網絡框架包含兩個模塊，分別是生成器（generator）和判別器（discriminator）。生成對抗網絡借鑒博弈論的思想，用深度學習網絡實現數據樣本的生成[10]。生成對抗網絡的生成和判別的函數只要求是能夠擬合的函數，不要求生成對抗網絡的生成器和判別器都是神經網絡。目前生成對抗網絡的生成器與判別器一般采用神經網絡。生成對抗網絡通過生成器與判別器進行博弈學習可以產生很好的輸出。對于生成對抗網絡的訓練，本質上是尋找零和博弈的一個納什均衡解。最終，生成器能夠產生與真實數據擁有相同分布的偽數據，也即學習到了真實數據的潛在分布[11]。GAN模型結構圖如圖1所示，生成器G輸入隨機噪聲，經過不斷學習數據分布，輸出生成數G(z)。判別器將生成數據與真實數據進行鑒別并判別真偽。最后，將判別結果的誤差反向傳遞給兩個模型，兩個模型根據反饋信息不斷訓練，進而提高生成能力與判別能力。模型經過不斷的優化，最終兩個模型達到納什均衡狀態。

圖1 生成對抗網絡Fig.1 Generative adversarial network

生成對抗網絡模型的目標函數實際上是一個最大值最小值優化函數[12]，其定義為：

式（1）中包含兩項，前一項代表優化判別網絡D，輸入真實數據樣本分布x，期望輸出值越大越好，即真實樣本的預測結果越接近1越好。對于公式的第二項，隨機噪聲z輸入生成器，生成器產生偽數據分布G(z)，期望假樣本數據D(G(z))產生的判別結果越小越好。在同一個公式中兩項分別求最大值與最小值會產生矛盾，為了形式統一，將后一項結果也統一為最小值優化。

1.1.1 生成網絡

生成的模型實質上是一個可生成特定數據分布的極大似然估計模型。生成器的輸入是一個隨機變量，隨機變量一般采用噪聲或者高斯變量，經過生成器生成輸出一個假樣本數據分布。對于輸入變量的維度并沒有嚴格限制，這里一般采取100維的隨機向量。對于已有的訓練數據集，生成網絡可以學習到訓練數據集內部數據的分布，進而生成網絡產生以假亂真的數據。通過將參數轉換為極大似然估計值，將訓練偏向轉換為指定分布的樣本，從而轉換原始輸入信息的分布[13]。

1.1.2 判別網絡

判別模型本質上是一個二分類問題，會對生成器生成的數據進行判斷，判斷是否符合真實數據分布。判別模型的輸入由兩部分組成，分別是生成模型生成的數據與真實數據。對于生成模型生成的數據作為判別器的輸入，這一部分期望結果是接近0 的數值，而生成器對這一部分的輸出結果是接近1 的數值。對于真實數據采樣樣本x作為判別器的輸入，判別器輸出一個0 至1的概率值。輸出結果表示x屬于真實數據樣本的概率，盡量將概率值訓練接近1。最終，這兩部分經過足夠的訓練，達到納什平衡[14]。

1.2 生成對抗網絡的特點

相比較其他網絡模型而言，生成對抗網絡有其特有的特點，主要體現在以下幾個方面：

（1）生成對抗網絡不同于傳統的深度學習模型，它不是一個單一網絡，而是由兩個網絡構成的模型，并且訓練方式是對抗訓練。

（2）生成對抗網絡采用的是一種無監督的學習訓練方式訓練，可以被廣泛應用在無監督學習與半監督學習領域。

（3）GAN的框架是可以變化的，一般卷積神經網絡（CNN）、循環神經網絡（recurrent neural network，RNN）等深度網絡與GAN結合逼近可微函數。此外任何損失函數與約束條件都可以加入GAN 模型，有利于設計不同的優化方法解決不同的設計任務。

（4）GAN不適合離散形式的數據，不要求對數據預設分布，但理論上可以生成與真實數據分布相似的數據分布。

（5）GAN的生成過程自由且不受限制，訓練比較不穩定，訓練過程中常常出現梯度消失、模式崩潰的問題。

（6）GAN生成質量評價缺乏統一有效的標準，不能保證GAN訓練達到納什均衡。

2 生成對抗網絡的衍生模型

生成對抗網絡具有很多優點，在計算機視覺領域有著特別廣泛的應用，但生成對抗網絡不可避免地存在模型訓練不穩定、梯度消失以及模式崩潰的種種問題。為了克服目前生成對抗網絡存在的各種不足和缺陷，并且提高生成對抗網絡的性能，涌現了基于生成對抗網絡的各種衍生模型，例如CGAN、WGAN、WGAN-GP、Pix2PixGAN、EBGAN 和SGAN 等改進模型，通過不斷地優化改進，使得生成對抗網絡在肝臟腫瘤圖像處理中表現得更加完善。本文將重點介紹幾個經典的生成對抗網絡的衍生模型。

2.1 CGAN

當數據集中圖像數據規模大，圖像內容復雜，生成對抗網絡在實現圖像生成的過程中過于自由且難以控制。為控制生成器的生成內容，Mirza 等人[15]提出條件生成對抗網絡（conditional GAN，CGAN）。即將約束條件作為條件變量加入到生成器與判別器中，其中條件變量c可以是任意信息，例如類別信息或者其他模態的數據。條件變量可以是監督信息，而生成對抗網絡屬于一種無監督模型。因此，條件生成對抗網絡可以看作一種有監督模型，可以通過條件變量一定程度上控制生成的圖像。CGAN對數據集的要求較高，而且CGAN只是增加了約束條件，CGAN訓練不穩定的問題依然存在。條件生成對抗網絡的模型與生成對抗網絡的模型一致，條件生成對抗網絡除了輸入隨機噪聲z與真實數據x外，還增加條件變量c，如圖2所示。在目標函數中表現為條件概率代替無條件概率。

圖2 條件生成對抗網絡Fig.2 Conditional generative adversarial network

2.2 WGAN與WGAN-GP模型

生成對抗網絡訓練中會出現訓練過程困難復雜、梯度消失、生成器與判別器的損失無法指示訓練的進程以及生成樣本缺乏多樣性的問題。生成數據分布與真實數據分布的相似度衡量JS 散度是一個固定值，這就造成了生成器在一個低維隨機噪聲中采樣編碼向量生成高維樣本的訓練過程中會出現梯度消失現象，從而造成模型訓練失敗。基于此，Arjovsky 等人[16]提出采用Wasserstein距離（又稱EM（Earth-Mover）距離）代替JS散度表示真實數據分布與生成數據分布之間的相似度的方法，該模型稱為Wasserstein 生成對抗網絡（Wasserstein GAN，WGAN）。

Wasserstein距離相比JS散度來說，不僅可以很好地度量距離的遠近，而且平滑的優越特性很好地解決了梯度消失的難題。Wasserstein 生成對抗網絡能展現出良好的性能，體現了出色的魯棒性，并且它不需要再費力解決平衡生成器與判別器訓練程度的問題，進而網絡訓練的穩定性得到有效的提高。除此之外，GAN 的生成器與判別器的損失無法指示訓練進程，交叉熵、準確率可以作為展現訓練進度的定性指標。但是WGAN僅僅在理論上能夠解決梯度爆炸或梯度消失的問題，在實驗時還是可能會存在梯度消失和梯度爆炸的問題。

為了避免WGAN 模型中可能存在的梯度消失現象，Gulrajani 等[17]提出了WGAN-GP 模型。WGAN-GP不再使用權重剪枝方法來暴力地限制參數，而是采用更溫和的方法。它利用梯度懲罰（gradient penalty）來滿足Lipschitz條件梯度懲罰，也就是采用一個額外的懲罰項將梯度和Lipschitz條件中的K值進行關聯。WGANGP 是WGAN 的升級版，通過在原WGAN 上進行改進，采用梯度懲罰來更新參數，這解決了WGAN 在實際中存在的梯度消失或梯度爆炸的問題，加快了網絡的收斂，從而增加了模型的穩定性，但由于所需參數過多，訓練模型所消耗的成本較高。

2.3 Pix2PixGAN模型

圖像作為一種交流媒介，有多種表達方式，比如灰度圖、彩色圖和梯度圖等。這些圖像之間的轉換稱為圖像翻譯，這是一種圖像生成任務。為了實現圖像翻譯并得到指定的輸出圖像，Pix2PixGAN[18]可以將輸入圖像作為條件，學習從輸入圖像到輸出圖像之間的映射。生成器采用的是UNet 架構，對于判別器采用卷積Patch-GAN 分類器。生成器實現一個場景輸出另一個場景，輸入與輸出雖表面形式不同，但兩者之間需要共享一些信息，因此輸入中的結構與輸出中的結構要設計得大致對齊。Pix2PixGAN采用PatchGAN結構，即通過多個卷積層，得到N×N×1 的判別層，其中每個元素代表對應感受野的真偽判定結果，整個輸入的真偽判定結果就是這N×N個元素的均值。

Pix2PixGAN 的整個框架基于CGAN 模型，實現了將一個場景轉換為另一個場景的功能。Pix2PixGAN計算量小，訓練成本低，但是Pix2PixGAN對數據集要求比較高，要求數據是配對的，一定程度上增加了訓練的復雜度。

2.4 EBGAN模型

將判別器看作一個能量方程，當生成器生成的數據接近真實的數據流形流域時能量就比較低，若能量值比較高，則證明生成器生成的數據與真實的數據分布是有差距的。將這種改進后的GAN 稱為EBGAN（energybased GAN）[19]。EBGAN改變的只是判別器的結構，將判別器改為一個自編碼器（AutoEncoder）結構。因此，EBGAN中給予GAN一種能量模型的解釋，也就是生成能量值最小的數據樣本是生成器的目的，而對生成的樣本數據賦予較大的能量則是判別器的目的。

EBGAN 在模型的穩定性方面表現良好，它可以生成更加真實的圖像。EBGAN對損失函數與模型結構沒有過多限制，很多結構與損失函數都可以用來訓練GAN結構。EBGAN利用能量函數改進了判別器，這意味著更多的損失函數可以來訓練GAN。但是EBGAN收斂速度特別慢，而且生成的圖像可能會是比較雜亂的。

2.5 SGAN模型

傳統的機器學習分為監督學習與無監督學習，監督學習需要的數據是有標簽的，無監督學習的數據是沒有標簽的。在很多研究中，帶有標簽的數據只是很小的一部分，而大量的數據是沒有標簽的。人工智能絕大部分是監督學習，然而監督學習的訓練需要數據量大而且需要帶有標簽信息。醫學圖像標簽數據集的獲取耗費大量的人力物力而且面臨道德與倫理問題。如若使用有標簽的數據，往往需要人工標注操作，而且無標簽數據的獲取往往比較容易。半監督學習可以對未加標簽的數據進行分類，半監督模型的訓練需要使用大量未加標簽的數據和一小部分標簽數據。半監督學習的生成對抗網絡模型是SGAN（semi-supervised GAN）[20]。在SGAN中，真實數據可以被認為是有標簽的數據，生成器產生的數據被認為是無標簽的數據。判別器不再只是區分真假兩個類的二分類器，而是類似于一個多分類器，它可以分為訓練數據集中的N+1 類。但是SGAN 的判別器的多分類任務增加了，而且也增加了SGAN的網絡架構、訓練過程和訓練目標的復雜性[21]。

2.6 其他GAN衍生模型

一般要實現不同域之間圖像的相互轉化，要求兩個域中具有相同內容的圖像作為訓練數據[22]。但是這種成對出現的數據獲取是特別困難的，循環生成對抗網絡（CycleGAN）[23]卻不需要成對的數據集就可以完成圖片轉換。CycleGAN 是一個環形網絡，本質上是由兩個鏡像對稱的GAN 構成的，由兩個生成器及兩個判別器組成。CycleGAN 是一種通過GAN 架構訓練的無監督圖像翻譯模型的技術，采用來自GAN 兩個不同領域的非成對的圖像集合，可以實現信息從一種表示形式轉換為另一種表示形式。雖然CycleGAN 的循環機制可以保證生成的圖像不會嚴重偏離實際，但是在循環轉換的過程中會丟失圖像信息，從而使得圖像質量不高。

考慮到大部分數據是沒有標簽的，為了更好地利用無標簽數據集，Radford 等人[24]提出了深度卷積神經網絡和無監督學習的GAN結合在一起的深度卷積生成對抗網絡（deep convolutional GAN，DCGAN）。DCGAN的生成器和判別器都舍棄了CNN 的池化層，判別器的池化層使用步幅卷積代替，生成器則是將微步幅卷積替換池化層。在生成器與判別器中使用批處理規范化，有助于處理初始化不良導致的訓練問題，加速模型訓練，提升訓練的穩定性。雖然DCGAN 可以生成的圖像種類比較豐富，但是生成的圖像質量一般，而且模型訓練不穩定的問題仍然沒有解決。

GAN超分辨率重建算法實現了在不失真的前提下利用生成對抗網絡將低分辨率圖像生成高分辨率圖像。例如，Ledig 等人[25]提出的超分辨率生成對抗網絡（super resolution GAN，SRGAN）就是一種生成高分辨率圖像的方法。SRGAN的生成器采用的是參數化的殘差網絡，判別器是VGG網絡，損失函數是采用內容損失和對抗損失的感知損失函數。它可以生成圖像紋理細節較好的圖像，但足夠倍數的放大后可能會出現不存在的紋路。為了實現更加接近真實的圖像，Wang等人[26]提出增強SRGAN（enhanced SRGAN，ESRGAN）。ESRGAN去掉了生成器所有的批量規范化（batch normalization，BN）層，將相對判別器作為判別器，從而讓判別器估計真實圖像相對生成圖像更逼真的概率。ESRGAN 采用一種更適合于超分辨的感知域損失，從而可以克服重建圖像與真實圖像亮度不一致的問題，但在邊緣細節處理上還有進步空間。

表1顯示了生成對抗網絡的各種衍生模型的對比。通過分析生成對抗網絡的各種衍生模型，可以得出生成對抗網絡的衍生模型主要基于以下兩方面進行改進：（1）基于網絡結構改進的GAN；（2）基于損失函數改進的GAN。

表1 生成對抗網絡衍生模型的對比Table 1 Comparison of derivative models of generative adversarial networks

在基于網絡結構改進的GAN 方面，CGAN 引入條件變量來控制生成的內容，有效解決了生成對抗網絡自由不受控制的缺點。但是CGAN對數據集要求比較高，而且僅僅引入條件變量并沒有改變模型訓練不穩定的問題。DCGAN在生成對抗網絡的基礎上加入CNN，可以生成種類豐富的圖像。但是DCGAN 生成的圖像質量一般，而且訓練不穩定[27]。CycleGAN將兩個GAN進行組合構成環形網絡結構，生成的圖像是符合實際的。但是循環轉換過程中，CycleGAN會丟失信息，從而造成生成圖像質量不高。Pix2PixGAN 的生成器采用UNet結構，判別器采用PatchGAN分類器。Pix2PixGAN訓練計算量小，可擴展性強，但是對數據集要求高，增加了訓練的復雜度。EBGAN 的判別器采用自編碼器結構，對模型結構與損失函數限制很少，但是收斂速度特別慢。SGAN實現了生成器與半監督式分類器的同時訓練，達到了對圖像數據集的多分類的效果，更好地實現了對網絡模型的訓練。但是SGAN要求標簽數據集，訓練復雜性比較高。

在基于損失函數改進的GAN 方面，主要是采用不同的損失函數來替換原始GAN中的損失函數。WGAN的損失函數將JS 散度替換為Wasserstein 距離，較好地解決了GAN的梯度消失與梯度爆炸的問題，WGAN-GP在WGAN 的基礎上引入梯度懲罰，進一步解決了這一難題。WGAN只是理論上解決了梯度消失與梯度爆炸問題，實際中并未完全解決。WGAN-GP解決了梯度消失與梯度爆炸問題，但由于參數較多，使得模型訓練成本較高。SRGAN 的損失函數是感知函數，不但可以生成高分辨率的圖像，而且圖像在紋理細節上表現很好。ESRGAN在SRGAN的基礎上進行改進，從而生成更加逼真的圖像。

雖然生成對抗網絡產生了很多的衍生模型，但是生成對抗網絡本身存在的訓練不穩定、梯度消失以及模式崩潰等問題還未有較為完美的解決方案。

3 基于生成對抗網絡的肝臟腫瘤圖像分割

目前卷積神經網絡（CNN）可以通過對輸入圖像中每個像素點的類別標簽的應用來實現對肝臟腫瘤圖像的分割。卷積神經網絡在像素分類時，僅僅針對每一個像素點，沒有考慮周圍其他點的像素類別信息[28]，因此在分類過程中容易造成小目標漏檢與目標邊界分割模糊的問題。生成對抗網絡模型是一種無監督學習模型，該模型可以學習到豐富的數據信息。在醫學圖像處理中，圖像數據集獲取困難，獲得標注信息的圖像數據獲取更加困難。然而生成對抗網絡無需提前知道假設數據分布便可以生成與真實圖像誤差極小的數據分布，從而有效提高數據集的多樣性，緩解了醫學圖像缺乏的需求問題。因此，將生成對抗網絡模型應用于肝臟腫瘤分割是如今的研究熱點問題。但是GAN采取的是對抗訓練的思想，容易出現訓練模型不穩定的問題，研究人員提出了不同的改進策略。在肝臟腫瘤分割任務中，可以將模型改進分為三大類：基于網絡結構改進的GAN 方法、基于生成器或判別器改進的GAN方法和基于GAN的其他改進方法。

3.1 肝臟腫瘤圖像分割評價指標

為了很好地評估各個生成對抗網絡的改進模型在肝臟腫瘤圖像分割上的表現，本文總結了以下幾個分割評價指標：Dice 系數、準確率（accuracy，Acc）、交并比（intersection over union，IoU）、像素精確度（pixel accuracy，PA）、相對體積誤差（relative volume difference，RVD）、相對表面積誤差（RSSD）、召回率（Recall）、體素重疊誤差（volumetric overlap error，VOE）、精確度（precision，Pre）。為了更好地表示模型的評價，引入幾個指標：TP（true positive）表示真正例，FP（false positive）表示假正例，TN（true negative）表示真反例，FN（false negative）表示假反例。

（1）Dice 系數是一種集合相似度度量指標，通常用于計算兩個樣本的相似度。Dice 的取值范圍為[0，1]，值為0 時表示兩樣本之間沒有聯系，值為1 時表示兩樣本完全重合。Dice系數的公式為：

（2）準確率代表正確的樣本數占總樣本數的比例，準確率是一個很常見且直觀的評價指標，值的大小不代表模型的好壞。準確率的公式如下：

（3）交并比計算兩個集合的交集與并集之比，兩個集合分別為真實值和預測值，交并比的取值范圍為[0，1]。公式如下：

（4）像素精確度表示標記正確的像素占總像素的比例，它的取值范圍為[0，1]，該比值越接近1 表明像素的準確率越高。公式如下：

（5）相對體積誤差表示分割結果與標記之間體積的差異，它的取值范圍為0到100%，值越小表示分割結果與標記之間越接近一致。該評價指標影響著治療計劃的制定以及患者術后的預后，具有特別重要的意義。公式如下：

（6）相對表面積誤差表示真實肝臟表面積與預測分割肝臟表面積的差異，它可以表示肝臟表面的粗糙程度，值越接近于0表示兩者之間越接近。公式如下：

（7）召回率又稱查全率，表示被正確判定的正例占總正例的比重。公式為：

（8）體素重疊誤差又稱錯誤率，表示分割結果與實際分割結果的重疊度。公式如下：

（9）精確度表示分割預測對的正例占所有分割預測為正例的樣本的比例。公式如下：

3.2 基于網絡結構改進的GAN方法

生成對抗網絡一般是由生成器與判別器兩個模塊構成，研究者增加其他的深度學習網絡作為組合模塊用于解決肝臟腫瘤圖像分割的問題。本節將詳細闡述基于網絡結構的生成對抗網絡在肝臟腫瘤2D 與3D 圖像分割上的表現。

3.2.1 2D肝臟腫瘤圖像分割

目前已有的腹部CT 圖像語義分割算法雖然在肝臟腫瘤CT 圖像中分割效果好，但基準圖像與分割結果之間空間不一致的問題依舊沒有解決。Xia 等人[29]提出了一種多尺度對抗結合網絡語義分割算法。算法以DeepLab-v3 的基本框架為基礎并引入Pix2Pix 網絡作為生成對抗網絡模型，實現了多尺度對抗網絡語義分割并提升了圖像分割準確率。大量的定性和定量的實驗結果表明，該語義分割算法的性能優于現有算法，可以提高分割效率，同時保證腹部CT 圖像語義分割的空間一致性。除了空間不一致外，肝臟腫瘤分割還存在數據不平衡的問題。Rezaei 等人[30]在生成器與判別器的基礎上，將細化網絡作為額外的組合模塊，提出條件生成細化網絡，有效解決了數據不平衡的問題。數據是深度學習的本質特征，大量的數據訓練才能讓神經網絡學習到數據的深層語義信息。對于醫學圖像的語義分割任務而言，圖像的數據標注是極其困難的，醫學圖像的數據標注費時費力，缺乏專業人士進行專業標注。半監督學習模型介于全監督學習模型與無監督學習模型之間，鄭寒等人[31]利用標注的醫學圖像與未標注的醫學圖像同時訓練模型，提出一個基于對抗學習的半監督醫學圖像分割方法。該方法相較于無監督學習模型，通過一定的有標注的醫學圖像數據穩定了模型參數，確定了模型學習的方向，而且一定程度上緩解了全監督模型帶來的圖像信息標注壓力。肝臟腫瘤的檢測離不開造影劑（contrast agent，CA）注射，在未注射造影劑的情況下，血管瘤（良性腫瘤）與肝臟腫瘤（惡性腫瘤）很難區分，在通過造影劑注射增強MRI后，兩種腫瘤分別擁有了不同的特性，這樣診斷血管瘤和肝臟腫瘤擁有了簡單準確的方法。但是造影劑使用時費時費力且價格昂貴，而且風險系數較高。趙建峰[32]提出了一種無需注射造影劑、無創、省時且廉價的新型的三方生成對抗網絡（Tripartite-GAN）。三方生成對抗網絡首次將檢測器與生成對抗網絡的兩個網絡通過反向傳播實現結合，成功地合成肝臟造影劑增強MRI用于促進肝臟腫瘤檢測，從而提高了肝臟腫瘤檢測的性能。雖然很多基于GAN的改進方法在肝臟腫瘤圖像分割中已經表現出很好的效果，但是還會存在高噪聲和低對比度的問題。為了解決這一難題，Tang 等人[33]提出使用堆疊生成對抗網絡。堆疊生成對抗網絡降低圖像噪聲的同時，生成了具有更高分辨率、增強邊界、更高對比度的高質量圖像。

3.2.2 3D肝臟腫瘤圖像分割

生成對抗網絡除了在二維肝臟腫瘤CT圖像上表現良好之外，在三維空間上也很適用[34]。Wei 等人[35]提出基于增強GAN 和掩膜區域的CNN 架構的肝臟腫瘤圖像自動分割方法。GAN Mask R-CNN在一定程度上提高了序列中每個肝臟腫瘤圖像切片的分割精度和魯棒性。Yang等人[36]利用DI2IN對3D醫學圖像進行自動肝臟分割。DI2IN 方法采用卷積編碼器-解碼器結構實現了多級特征級聯的肝臟腫瘤CT圖像分割。與其他基于深度學習的方法相比，DI2IN一定程度上提高了計算效率并減少了運行時間，然而其在肝臟腫瘤CT 圖像分割的準確度上依舊有很大的提升空間。因此，張澤林等人[37]提出了一種基于條件生成對抗網絡的3D肝臟腫瘤條件生成對抗分割網絡（T3scGAN），同時采用了一個由粗到細的3D 自動分割框架對腫瘤區域實施精準分割。通過不斷的對抗訓練，實驗結果表明由粗到細的腫瘤分割框架以及T3scGAN模型對于肝臟腫瘤圖像在分割精度上面有較大的提高。為了解決分割特大脾臟的空間變異問題，Huo等人[38]提出條件生成對抗網絡（CGAN）結合全局卷積網絡（global convolutional network，GCN）[39]的網絡架構SSNet。在SSNet 中，GCN 被用作生成器，而條件生成對抗網絡（CGAN）被用作鑒別器，通過端對端的訓練進行脾臟腫大圖像分割。實驗結果表明，與基準模型UNet以及GCN相比，SSNet實現了更準確、更魯棒的分割性能。為了很好地保留圖像邊界細節信息，Chen 等人[40]提出了一種基于特征-融合編碼器-解碼器網絡（FED-Net）的二維深度學習模型對肝臟腫瘤圖像進行分割。由于肝臟腫瘤圖像數據集匱乏和GPU限制等問題，利用3D 肝臟腫瘤圖像訓練模型可能會造成過擬合的問題。為了解決此問題，Ma 等人[41]提出一種基于VNet 和WGAN 融合的肝臟分割方法。該方法將改進的VNet 與WGAN 相融合，來獲取3D 肝臟腫瘤圖像的上下文圖像信息，實現端到端的分割。肝臟圖像本身固有的缺陷和CT成像技術的局限性造成了肝臟圖像灰度不均，從而導致肝臟邊界模糊，不利于分割的準確性。He等人[42]在生成敵對網絡框架下嵌入改進的三維UNet網絡，建立了半監督三維肝臟分割優化算法。該半監督三維肝臟分割方法能夠有效提高肝臟分割性能。

綜上所述，基于網絡結構改進的GAN在2D肝臟腫瘤圖像的分割中，改進的模型主要是通過在GAN 的生成器與判別器之上，加入深度學習的模型構建新的分割模型對肝臟腫瘤圖像進行分割。例如，將DeepLab-V3、細化網絡與檢測器等與GAN 相結合，實現對肝臟腫瘤圖像的精準分割。但是改進的模型還是未能解決高噪聲與低對比度等問題。基于網絡結構改進的GAN 在3D 肝臟腫瘤圖像的分割中，通過將不同的深度學習網絡與GAN結合，充分利用圖像的三維信息，實現對肝臟腫瘤圖像的精準分割。但是三維圖像分割對設備的性能要求過高，在臨床實施上受到設備性能的限制[43]?；诰W絡結構改進的GAN方法如表2所示。

表2 基于網絡結構改進的GAN方法總結Table 2 Summary of GAN methods based on network structure improvement

3.3 基于生成器或判別器改進的GAN方法

3.3.1 基于生成器改進的方法

生成對抗網絡的生成圖像模塊是自由且無限制的，在生成訓練的過程中會出現訓練不穩定，甚至會出現訓練崩潰的無效生成。由于深度神經網絡在計算機視覺領域的廣泛發展，越來越多穩定高效的網絡結構涌現，研究者將這些網絡結構結合生成對抗網絡的生成器構造出新的生成器。經過改進，生成對抗網絡模型訓練不穩定性的問題得到了有效的改善。雖然肝臟腫瘤圖像的分割性能有了很大的提升，但是在細節分割方面還不是很好。在肝臟腫瘤的分割研究中邊緣細節信息發揮著至關重要的作用，為了準確地保留邊緣信息，Kim 等人[44]提出一種把多相UNet作為生成器的基于CycleGAN結構的方法?；贑ycleGAN 結構的方法很好地保留了肝臟腫瘤圖像的邊緣細節信息，但是該方法在分割性能方面還有進步的空間。為了捕捉更加精確的肝臟腫瘤特征，Chen 等人[45]提出了敵對的密集連接網絡（adversarial densely connected network，ADCN）與多平面集成網絡（multi-prototype networks，MPNet）[46]級聯的方式對肝臟腫瘤圖像進行分割。首先算法使用多平面集成網絡從三維CT腹部體積分割肝臟組織。然后采用敵對訓練策略，通過開發深度三維密集連接的全卷積神經網絡，提取肝臟區域的腫瘤。使用級聯框架的方式有效降低了腫瘤分割網絡設計的復雜性，而且緊密連接結合對抗訓練策略進一步提高了模型性能。基于造影劑（contrast agent，CA）的肝臟腫瘤圖像分割方法是目前使用比較普遍的方式，但是CA價格高昂，CA在使用中也存在高風險問題，而且時間成本也比較高。為此，Xiao等人[47]將UNet網絡與DenseNet網絡疊加在一起作為生成器，生成器創新地使用密集連接和跳過連接來接收和共享引導信息，提取表征特征。改進生成器后的模型很好地解決了CA處理不好的低對比度區域，并實現了無CA的干預下對肝臟腫瘤圖像的精準分割。

3.3.2 基于生成器與判別器改進的方法

肝臟腫瘤分割的數據不平衡現象是醫學圖像分割中存在的一大難題，已有的傳統分割模型在小型病灶分割上表現得不盡人意。為解決這一現象，武坤[48]創新地提出一種基于條件生成對抗網絡的分割模型，該分割模型的生成器部分采用一個基于編碼器-解碼器網絡的雙UNet 學習模型，判別器引入專門為圖像轉換細節的PatchGAN結構，滿足了醫學圖像高分辨率、高細節保真的要求。該模型很好地解決了肝臟圖像分割中數據不平衡的問題，實現了肝臟腫瘤圖像的精準分割。為了解決數據集類不平衡的問題，Rezaei 等人[49]提出一種Ensemble-GAN 網絡。Ensemble-GAN 網絡由單生成器與判別器變體組成，通過為生成器設計新的體系結構來克服普通條件遺傳算法的典型缺陷，將多個鑒別器組合成單個一致性模型。該算法模型實現了很好的泛化能力，在肝臟腫瘤圖像分割的準確率上表現優異?，F有的卷積神經網絡（CNN）在肝臟腫瘤分割中一般采用輸入圖像中每個像素分配類別標簽來實現分割。但是卷積神經網絡針對像素分類是單像素的，像素周圍區域的其他像素沒有考慮，這樣就造成圖像邊緣分割模糊，也會造成一些小目標遺漏缺失的問題。針對這個問題，閆諳等人[50]提出一種基于能量對抗生成網絡（EBGAN）與條件生成對抗網絡（CGAN）的肝臟腫瘤圖像的分割方法。該條件能量對抗網絡使用一個基于卷積神經網絡的生成器與一個自編碼器作為判別器。將UNet嵌入能量對抗生成網絡（EBGAN）作為模型的生成器，生成器用于學習每個像素的特征信息，進而得到每個像素的所屬類別信息。同時該方法將原始圖像作為約束條件輸入到基于能量理論的判別器中，通過訓練學習像素類別信息之間的高階一致性，從而達到提高小目標區域檢測與目標邊緣檢測的分割精度。鄧鴻等人[51]融合生成對抗網絡與UNet網絡實現對肝臟腫瘤圖像的自動分割。分割模型首先采用UNet 網絡進行肝臟腫瘤圖像的分割，接著采用生成對抗網絡（GAN）進行對抗訓練，這樣輸出結果更加接近于真實結果，同時該方法還利用距離約束函數對分割結果的精確度做了進一步改進。實驗結果表明GAN-UNet 對抗訓練方式不僅提高了肝臟腫瘤圖像分割的精確度，在肝臟腫瘤圖像分割的細節上也表現很好。相較于傳統的UNet 模型，GAN-UNet 雖然有很高的優越性，但是在參數調整上沒有到達最優參數。而且GAN-UNet模型結構有待進一步簡化。為了更好地實現生成對抗網絡對肝臟腫瘤圖像更加高效穩定的分割，Enokiya 等人[52]提出一種基于UNet 網絡與Wasserstein生成對抗網絡（WGAN）相結合的分割網絡。該分割模型的生成器采用改進的UNet，將UNet與WGAN相結合作為判別器。該分割網絡模型穩定性很好，同時也實現了對肝臟腫瘤圖像的精準分割。

基于生成器或判別器改進的GAN 方法，主要是改變生成器或判別器的結構來實現對肝臟腫瘤圖像的分割。GAN的生成器與判別器可以是任意的神經網絡結構。將多相UNet、UNet 與DenseNet 組合、基于編碼器-解碼器網絡的雙UNet 學習模型等作為生成器，對于生成器的改進絕大多數都采用適用于醫學圖像分割的UNet 網絡。將PatchGAN 和多個判別器組合的方式對判別器進行改進。改進后的生成器與改進后的判別器通過對抗學習的方式實現對肝臟腫瘤圖像的精準分割。雖然改進后的模型提高了肝臟腫瘤分割的精度，但是還會存在訓練不穩定以及細節分割不好等問題?；谏善骰蚺袆e器改進的GAN方法如表3所示。

表3 基于生成器或判別器改進的GAN方法總結Table 3 Summary of GAN methods based on generator or discriminator improvement

3.4 基于GAN的其他改進方法

除了基于生成對抗網絡的網絡結構、生成器與判別器改進的模型對肝臟腫瘤圖像進行分割之外，還有仿真數據集擴充等其他改進方法，這些方法在肝臟腫瘤圖像分割中也表現出很好的分割效果。

數據集的大小與數量會影響深度學習模型訓練結果的好壞，但是目前數據集的獲取存在很大的難度。例如，數據集獲取涉及患者隱私和采集患者圖像時會影響到人體健康等，這些問題都會使得研究者難以獲取醫學圖像數據集。因此，將現有的醫學圖像數據集應用仿真數據集擴充，逐漸成為各研究者的研究熱點內容，對于需求量極大的肝臟腫瘤CT 圖像數據集更是迫切需要。為解決這一問題，孟琭等人[53]提出針對肝臟腫瘤CT 圖像的仿真數據集生成深度學習算法。首先肝臟腫瘤圖像經過三維圖像降維度為二維圖像、圖像格式轉換、歸一化等預處理操作，接著對處理后的肝臟腫瘤圖像的病變區域進行標注，然后將其與原始肝臟腫瘤圖像進行配對劃分，最后利用Pix2Pix 生成對抗網絡對圖像進行處理，生成仿真的肝臟腫瘤圖像。該仿真圖像算法實現了生成真實度極高的肝臟腫瘤圖像，體現出良好的仿真效果，有效地解決了應用在深度學習訓練時肝臟腫瘤圖像的數據集難以獲取的難題。Liu等人[54]基于掩蔽注意生成對抗網絡（mask attention generative adversarial network，MAGAN）合成了帶有腫瘤的肝臟CT圖像。結果表明，該方法能夠合成含腫瘤的肝臟CT圖像，而且可以達到平均峰值信噪比（PSNR）64.72 dB，優于其他最先進的方法。PET利用放射性示蹤劑（radiotracers）可提供三維功能成像，顯示動物模型和人體內生物分子活性的空間分布。但用于PET檢測的設備昂貴，而且PET設備具有放射性，會對人體造成傷害。因此，Ben-Cohen 等人[55]提出將CGAN 與FCN 相結合的方法。CGAN 與FCN合成肝臟的PET圖像，實現了高性能的肝臟分割檢測。經過圖像融合技術可以擴大肝臟腫瘤圖像所含有的時間空間信息，減少不確定性，增加可靠性，改進系統的魯棒性能。為此，Ben-Cohen等人[56]結合CGAN與FCN，將其作為基礎模型，基礎模型加入基于金字塔的圖像混合步驟，改進后的模型實現了對肝臟腫瘤的精準分割。Ben-Cohen 等人[57]提出的系統FCN 與CGAN 實現肝臟腫瘤CT 圖像合成肝臟腫瘤PET 圖像，然后對肝臟腫瘤PET 圖像進行分割。該系統的網絡架構消除了對圖像混合步驟的需要，從而節省了時間，并減少了手動定義混合掩膜閾值的需要。同時系統也提高了對肝臟腫瘤圖像分割的性能，而且數據集也得到了實質性的擴展。為了解決域移位使得來自不同目標域的數據在訓練深度模型時表現不佳的問題，Yang 等人[58]提出一種基于CycleGAN的無監督的域自適應方法。該方法實現了跨模態肝臟分割，取得了很好的泛化能力。MR 和CT 圖像固有的結構差異，使得這兩種模態的可變形圖像配準（DIR）在配準性能方面表現不佳。Tanner等人[59]提出了一種完全無監督的MR-CT 圖像模態合成方法，即通過減小CycleGAN 的判別器的感受野來減少提供給判別器的空間信息。在CycleGAN 中加入DIR 確保了合成圖像與真實圖像在空間上實現了一致性，有效提高了配準性能?；贕AN進行的其他方法的改進和研究總結如表4所示。

表4 基于GAN的其他改進方法總結Table 4 Summary of other improved methods based on GAN

4 總結與展望

本文首先介紹了生成對抗網絡的基本模型，然后介紹了典型的生成對抗網絡的衍生模型，接著分別基于網絡結構、生成器、判別器與其他GAN的改進方法三方面總結闡述生成對抗網絡在肝臟腫瘤圖像分割上的應用。其中在網絡結構的改進中，分別又對2D 肝臟腫瘤圖像分割與3D肝臟腫瘤圖像分割進行了總結分析。最后對生成對抗網絡及其在肝臟腫瘤圖像分割的應用進行了總結與展望。

生成對抗網絡在肝臟腫瘤圖像分割的應用領域體現出重要的研究價值，具有重要的研究意義。但是肝臟腫瘤圖像內容較復雜以及生成對抗網絡的訓練不太穩定等問題，使得生成對抗網絡在肝臟腫瘤圖像分割中會存在一些問題，具體如下：

（1）肝臟腫瘤的形狀、大小不一，而且肝臟腫瘤圖像數據集的獲取涉及患者隱私，都會導致數據獲取較為困難[60]。數據集匱乏會導致分割模型出現過擬合現象，嚴重影響肝臟腫瘤圖像的分割精度。

（2）數據是深度學習的本質特征，大量的數據訓練才能讓神經網絡學到數據的深層語義信息，監督學習模型需要標簽數據集的訓練。肝臟腫瘤圖像的標注工作費時費力并且缺乏專業人士的標注。雖然監督式深度學習在肝臟腫瘤圖像分割中取得了很好的效果，然而標簽圖像數據匱乏的問題嚴重阻礙研究者對肝臟腫瘤圖像分割工作的研究。

（3）肝臟腫瘤圖像的分割往往涉及3D分割，這使得訓練分割模型的計算成本變高。因此，3D 圖像的處理以及3D 模型的訓練往往受到設備性能的限制，嚴重影響肝臟腫瘤圖像分割的精度。

（4）應用在肝臟腫瘤圖像分割的生成對抗網絡的相關改進模型沒有完全解決模型訓練不穩定、梯度消失以及模式崩潰的問題，這些問題會影響分割模型對肝臟腫瘤圖像的分割精度。

（5）應用在肝臟腫瘤圖像分割的生成對抗網絡的分割模型多數局限于網絡的結合使用，改進模型的范圍具有局限性。這一定程度上阻礙了生成對抗網絡在肝臟腫瘤圖像分割領域的發展。

生成對抗網絡的廣泛應用與醫學圖像分割精度的高要求使得GAN在肝臟腫瘤圖像分割中快速發展。本文總結分析的肝臟腫瘤分割的未來發展如下：

（1）為解決肝臟腫瘤圖像數據集匱乏的問題，圖像合成與仿真數據集擴充是GAN應用于肝臟腫瘤圖像分割一個很好的發展方向。利用圖像超分辨率技術提升肝臟腫瘤圖像的質量也有助于提高肝臟腫瘤圖像分割的精度。

（2）生成對抗網絡是一種通過對抗訓練學習真實數據分布的無監督學習模型，并且在半監督學習領域中也有很廣泛的發展。未來，生成對抗網絡可能會結合其他網絡對肝臟腫瘤進行研究，充分展現生成對抗網絡在半監督學習領域發展的優越性。

（3）醫學圖像的三維信息比二維信息更加豐富，擁有更多的特征信息，深度學習模型學習到的特征信息越多，分割模型的分割精度就越高。因此，對設備性能要求比較低又能學習到更多特征信息的學習模型是未來用于肝臟腫瘤圖像分割的一個熱門研究方向。

（4）針對應用在肝臟腫瘤圖像分割的生成對抗網絡的相關改進模型沒有完全解決模型訓練不穩定、梯度消失以及模式崩潰的問題，未來研究者可以考慮從生成對抗網絡的基礎網絡結構開始，探究解決這些問題的完美方案。

（5）針對應用在肝臟腫瘤圖像分割中的生成對抗網絡的分割模型多數局限于網絡的結合使用的問題，未來改進模型的范圍應該更加廣泛。例如多個GAN進行組合的模型、GAN 與CNN 組合的模型以及GAN 與RNN組合的模型等。尤其是UNet特別適合小樣本數據集的分割，適合醫學圖像的分割任務[61]。將UNet 作為GAN的生成器對肝臟腫瘤圖像進行分割，既能體現UNet 的優越性，又能充分展現GAN 在半監督學習領域的優越性。因此，將UNet與GAN結合是未來肝臟腫瘤圖像分割一個特別好的發展方向。

總體來說，應用生成對抗網絡對肝臟腫瘤圖像進行分割的研究工作在面臨著巨大挑戰的同時，擁有著無限的潛力。