改進半監督GAN及在糖網病分級上的應用

岳丹陽，羅健旭

(華東理工大學 信息科學與工程學院，上海 200237)

0 引 言

基于深度學習的人工智能醫學圖像分析[1，2]需要大量標注樣本，醫學標注成本較高，很難獲取大量標注樣本。針對糖網病標注樣本少的問題，本文進行基于深度學習的半監督學習算法研究，并將其應用到糖網病場景下的小樣本分類中。

在深度半監督算法中，深度生成模型獲得了最廣泛的應用[3]。常見的生成模型主要有自編碼模型[4]、深度卷積神經網絡[5]和生成對抗網絡(generative adversarial network，GAN)[6]等。由于GAN強大的概率擬合能力，在半監督分類領域中獲得了許多進展。Salimans等對判別器網絡輸出進行調整[7]，同時進行分類和真假判別。Ali-Gombe等提出多任務判別器[8]，對標簽數據進行監督學習，對無標簽數據進行無監督學習。Fu等提出編碼生成對抗網絡用于半監督分類[9]，在GAN中添加一個編碼器提取圖像特征用于分類。基于GAN的半監督方法在醫學領域也取得了許多應用，Li等結合DCGAN和FCM提出一種用于肺結節良惡性分類的半監督學習方法[10]，Li等提出基于GAN的半監督學習模型用于乳腺彩超圖像的良惡性分類[11]。現存的基于GAN的半監督分類方法主要對判別器結構調整，使其共同學習標簽和無標簽數據的分布，但是判別器同時分類和判別真假預測可能不相兼容，分類性能易受GAN穩定性的影響。另外，未考慮GAN生成的數據對分類性能的輔助，也未考慮提升生成性能以提高模型的概率擬合能力。本文基于Triple-GAN[12]算法，使分類網絡與GAN既獨立又對抗訓練，在標簽少的情況下，利用大量無標簽數據和生成數據共同提升分類器的泛化能力。

1 半監督生成對抗網絡Triple-GAN

Triple-GAN算法提出一種引入分類器與生成器和判別器三者共同對抗訓練的方法進行半監督學習。Triple-GAN的模型結構如圖1所示，由3部分組成：分類器C、生成器G、判別器D。C為輸入數據提供標簽信息，主要是從生成配對 (xG,yG)、 真實配對 (xL,yL) 和僅有圖片xC這3種數據中學習數據分布生成標簽信息y，C表征著條件概率分布pC(y|x)， 產生的圖像標簽對 (xC,yC) 服從pC(x,y) 分布。G表征著條件分布pG(y|x)， 負責為輸入一對條件yG和先驗分布z生成圖像標簽對(xG,yG)， 服從pG(x,y) 分布。D唯一作用是判斷圖像標簽對 (x,y) 是否來自于真實數據分布p(x,y)。

圖1 Triple-GAN模型結構

Triple-GAN總的優化目標函數如式(1)所示

(1)

其中，α為常數，平衡C和G之間的相關重要程度，考慮平衡因素，一般設為1/2，E為分布期望。理想中平衡為p(x,y)=pG(x,y)=pC(x,y)， 在實際訓練中難以實現，故在分類器C上增加了一個標準監督損失函數RL和偽判別損失Rp， 如式(2)和式(3)所示

RL=Ex,y～p(x,y)[-logpC(y|x)]

(2)

Rp=EpG[-logpC(y|x)]

(3)

RL計算pC(x,y) 與p(x,y) 分布之間的差異，Rp計算pC(x,y) 與pG(x,y) 分布之間的差異，通過共同對抗訓練使C、G和D互相博弈互相提升。

2 改進的Triple-GAN算法

Triple-GAN的生成性能和分類性能有限，網絡結構比較單一，應用場景有限。本文對Triple-GAN的結構重新設計，提出改進的Triple-GAN算法，其中分類器使用適用性更好的多尺度分類網絡。由于原Triple-GAN模型難以生成大尺度的圖像，提出能夠生成具有大范圍關聯性圖像的生成對抗網絡模型SEDA-GAN，即能提高生成質量，亦能應用在糖網病圖像上。

2.1 多尺度分類網絡

分類器使用殘差網絡ResNet-50作為主干網絡，殘差網絡不僅深度較高，還具有優越的性能，解決了梯度消失和梯度爆炸的問題[13]。殘差網絡的結構如圖2(a)所示，先經過7x7卷積網絡、批歸一化、ReLU和最大池化初步提取淺層特征，然后經過4個由瓶頸結構組成的layer層進行深層次特征提取，再使用平均池化和全連接層輸出結果。

每經過一個layer層，獲取的特征圖包含著更深層次的語義特征，尺度縮小，但低層的特征所包含小目標信息也會隨著下采樣缺失。由于眼底圖像上包含著許多小目標信息，本文提出多尺度分類網絡(multi-scale classification network，MCN)，引入多層特征做預測。MCN結構如圖2(b)所示，去除原來的全連接層，layer2、layer3的特征經過3×3卷積和平均池化后與layer4層輸出的特征進行融合，再經過兩層全連接層進行預測，可以根據3種不同尺度的特征存在的有益信息進行類別預測。

圖2 殘差網絡結構

2.2 生成對抗網絡

在Triple-GAN算法中生成圖像質量越接近于目標數據，生成的圖像標簽對越有益于分類器的泛化能力。本文提出了一種壓縮激活雙注意力生成對抗網絡(squeeze-and-excitation dual-attention generative adversarial network，SEDA-GAN)，以BigGAN[14]模型為基礎，從通道的角度提升GAN的生成性能。BigGAN在生成具有復雜結構的圖像時還存在著一些困難，生成圖像的目標結構分布不自然。SEDA-GAN從通道增強的角度做出兩個方面的改進，詳細如下：

第一，引入壓縮激活[15](squeeze-and-excitation，SE)操作，對BigGAN中卷積塊ResBlock提取的特征進行重校準，提出新的卷積模塊SEResBlock。壓縮激活操作從通道的方向上學習通道關聯性信息，增強特征層中一些作用較強的特征層并削弱一些無用的特征層，使得網絡的中間層特征更具表達能力，進而提升GAN的生成性能。

SEResBlock的結構如圖3所示，圖3(a)、圖3(b)分別為生成網絡和判別網絡中的SEResBlock模塊，SEResBlock模塊在ResBlock結構中增加了壓縮激活操作層SELayer，類別經過批歸一化層共享嵌入到網絡中。SELayer對上層經卷積塊提取的特征M∈C×H×W進行平均池化，得到一個長度為C的壓縮特征向量s。向量s經過由兩個1×1卷積和激活函數ReLU、Sigmoid組成的兩層非線性層學習得到一個長度為C的激活向量w∈(0,1)。 最后w經過通道倍乘對原來的特征M進行重校準得到新特征通道倍乘計算如下

(4)

圖3 SEResBlock模塊結構

第二，引入了雙注意力機制[16](dual-attention，DA)，使GAN的特征能同時從特征的位置和通道空間上捕獲大范圍的結構關聯信息，獲取更加豐富廣泛的上下文語義信息。BigGAN中的自注意力機制[17](也稱位置注意力機制)建立的特征結構信息有限，難以生成復雜結構的圖像。在網絡的高級特征中，結構間的關聯信息與特征通道也有關。DA結構如圖4所示，由位置注意力和通道注意力兩部分構成。其中特征A∈C×H×W同時進行計算得到位置注意力特征S∈C×H×W和通道注意力特征T∈C×H×W， 最后經過兩個3×3卷積J(x) 和K(x) 進行融合，得到具有豐富結構信息的新特征U∈C×H×W， 如式(5)所示

U=J(S)+K(T)

(5)

位置注意力特征S的計算：如圖4的Ⅰ部分所示，特征A經過3個1×1卷積提取，得到尺寸不變通道數為C/8、C/8、C的3個特征B、R、V，B和R重組成二維矩陣 [b1,b2,…,bN]、 [r1,r2,…,rN]， 其中向量b和r長度為C，N為H×W。 重組后的B的轉置與重組的R相乘并經過Softmax運算得到位置特征圖P，P的每個元素值pji的計算如式(6)所示

(6)

圖4 雙注意力機制結構

其中，i,j=1、 2、 …、N，pji建立了bi和rj位置間的關聯信息。然后V重組后的特征 [v1,v2,…,vN] 與位置特征圖P的像素點相乘后重組成維度為C×H×W的特征，再乘以一個學習權重λ與特征A相加便得到了位置注意力特征S，計算過程如式(7)所示

(7)

其中，j=1、 2、 …、N， 可以看出位置注意力特征S的每個位置包含著特征A所有位置間的關聯信息。

通道注意力特征T的計算：如圖4的Ⅱ部分所示，特征A直接進行重組得到二維矩陣A′=[a1,a2,…,aC]， 向量a長度為N。然后A′與其轉置相乘并經過Softmax運算得到通道特征圖Q，Q的每個元素值qji的計算如式(8)所示

(8)

其中，i,j=1、 2、 …、C，qji建立了ai和aj通道間的關聯信息。然后通道特征圖Q的像素值與A′相乘后重組維度為C×H×W的特征，再乘以一個學習權重β與特征A相加便得到了通道注意力特征T，計算過程如式(9)所示

(9)

其中，j=1、 2、 …、C， 其中特征T的每個位置包含著特征A不同通道間的關聯信息。

SEDA-GAN的網絡框架如圖5所示。圖5(a)為生成

圖5 SEDA-GAN網絡框架

模型，輸入為噪聲向量z和類別y，z服從于標準正態分布，y嵌入到SEResBlock的批歸一化層中，ch為64，雙注意力機制DA放在網絡的中后級特征間。圖5(b)為判別模型，判別輸入的RGB圖像和標簽y是否是真的，由SEResBlock和雙注意力機制構成，結構與生成器對稱，最終經過線性變換和標簽y嵌入融合進行判斷輸入圖像-標簽的真假。

2.3 半監督網絡的優化

GAN使用對數損失時， log(1-x) 在優化的后期梯度變化較大，不利于網絡的平衡。使用鉸鏈損失(Hinge Loss)時，梯度計算穩定，網絡收斂速度也比較穩定[17]。改進Triple-GAN使用Hinge損失函數，如下所示：

判別器D的損失

LD=-Ex,y～p(x,y)[min(0,-1+D(x,y))]- (1-α)Ex,y～pG(x,y)[min(0,-1-D(G(z,y),y))]-αEx,y～pC(x,y)[min(0,-1-D(x,y))]

(10)

生成器G的損失

LG=-Ex,y～pG(x,y)D(G(z,y),y)

(11)

分類器C的損失

LC=-αREx,y～pC(x,y)pC(y|x)[min(0,-1-D(x,y))]-RL-αpRp

(12)

LD中α用于平衡生成數據與無標簽數據，一般為0.5。LC中的pC(y|x)[min(0,-1-D(x,y))] 為無標簽數據的離散損失函數，用于學習無標簽數據的分布，源于強化學習算法的離散損失。αR和αp均為權重參數，可根據其對應損失對分類器性能的貢獻調整參數的大小。整個半監督網絡的優化分3個過程，如算法1所示。

算法1：使用最小批量隨機梯度下降算法優化Triple-GAN的訓練

fornumber of training iterationsdo

數據準備:

(1)采樣mD個真實有標簽的圖像-標簽對 (x,y)～p(x,y);

(2)從標準正態分布中采樣mG個噪聲z，使用G生成圖像-標簽 (x,y)～pG(x,y);

(3)采樣mC個真實無標簽數據，使用C生成圖像-標簽 (x,y)～pC(x,y)

優化D：使用梯度下降優化判別網絡D，根據LD計算梯度更新參數θD

優化G：使用梯度下降優化生成網絡G，根據LG計算梯度更新參數θG

優化C：使用梯度下降優化分類網絡C，根據LC計算梯度更新參數θC

endfor

3 實 驗

3.1 評價指標

改進Triple-GAN模型包含分類網絡和生成對抗網絡部分，因此需要衡量分類精度和GAN生成圖像的質量。分類精度常用錯誤率(Error)評估，其計算如式(13)所示

(13)

GAN中常用Fréchet Inception Distance(FID)[18]指標衡量生成數據與目標數據分布之間的差異性來評價生成圖像的質量。FID越小表示生成圖像質量越接近真實圖像質量，FID計算如式(14)所示，生成圖像與真實圖像通過Inception-v3網絡提取得到特征向量，計算得到分布featx和featg， 然后再計算兩種分布之間的Wasserstein-2距離，得到質量評估分數

(14)

3.2 CIFAR-10數據驗證

CIFAR-10是一個用于普通物體識別的數據集，共有60 000張彩色圖像，分辨率為32×32，分10個類，每類6000張圖，50 000張用于訓練，10 000張用于測試。為便于與Triple-GAN模型對比，在CIFAR-10上進行驗證，驗證MCN的分類性能、SEDA-GAN的生成性能和Triple-GAN半監督性能。

3.2.1 MCN性能的驗證

為驗證MCN的有效性，使用相同的數據處理和訓練參數對改進前后的殘差網絡進行實驗對比。在訓練時對數據進行隨機翻轉、旋轉，再標準化處理。訓練的批量數為32，學習率初始為0.001，使用余弦退火學習率衰減策略調整學習率。

實驗結果見表1，改進后的模型比改進前的模型錯誤率下降了2.33%，引入多尺度特征后對分類網絡的性能有著一定的提升。

表1 ResNet-50改進前后分類錯誤率

3.2.2 SEDA-GAN的驗證

為驗證提出的SEDA-GAN的生成性能，與BigGAN在相同的實驗參數下進行對比實驗。SEDA-GAN使用了與BigGAN模型的相同的損失，生成器和判別器的學習率設為0.0002，總迭代1 000 000次，每1000次迭代學習率以0.999的比率衰減，使用了頻譜歸一化[19]穩定網絡訓練。

本部分設計了5組不同的實驗在FID指標上評估，如圖6所示，NA為未使用注意力機制的BigGAN模型，SA為使用自注意力機制的BigGAN模型，SE將SELayer層應用到NA組模型的ResBlock中，DA為應用雙注意力機制的BigGAN模型，SE+DA為應用了SELayer和雙注意力機制的模型SEDA-GAN。通過對比NA和SE組結果可以看出，應用SELayer后模型的收斂速度加快，說明SEResBlock的特征提取能力相比ResBlock更強；對比SA和DA組實驗可以看出，使用了雙注意力機制，模型可以得到更低的FID結果，DA建模的結構關聯性更加豐富；應用了SELayer和雙注意力機制的SEDA-GAN獲得了更好的FID結果。經過多次實驗取均值，結果見表2，提出的方法均帶來了提升，SEDA-GAN模型的FID最低。

圖6 生成對抗網絡FID結果對比

表2 不同組實驗的FID結果

3.2.3 改進Triple-GAN算法的驗證

將改進的Triple-GAN在CIFAR-10上進行實驗，驗證改進模型的分類性能和生成性能。隨機采樣出N=2000和N=4000張數據作標簽數據，剩余數據作無標簽數據。

訓練參數：標簽數據、無標簽數據、生成數據訓練的批量數分別為32、128、128。分類器、生成器、判別器的學習率初始為0.0005、0.0002和0.0002，使用學習率衰減策略維持后期訓練的穩定，衰減率為0.999，1000次迭代衰減一次。損失函數的參數αR和αp初始設為0，迭代10 000次時設為0.2和0.1。GAN訓練的后期會出現模式崩塌，生成的數據質量變差會影響分類性能。為此在訓練過程中增加了FID質量評估機制，使用最優模型的生成數據送入分類器中。

分類性能驗證：在標簽量N=2000和N=4000的情況下進行多次實驗，測得平均錯誤率分別為10.65%和7.62%。原Triple-GAN算法在N=4000時錯誤率為16.99%，改進Triple-GAN的錯誤率降低了9.37%。同樣在N=4000時，將αp一直設為0，去除生成數據的輔助，錯誤率僅為14.40%，可見生成數據的加入對分類網絡的泛化作用較好，對分類性能的提升較高。為了對比改進的Triple-GAN算法在半監督算法中的優勢，在N=2000和N=4000時與當前主流的半監督模型進行對比，結果見表3，改進Triple-GAN在標簽量為2000和4000的情況下均取得最低的錯誤率。

另外，設置了不同標簽量情況下的實驗，見表4。隨著標簽量的增大錯誤率越低，標簽量等于10 000時錯誤率已經比較接近ResNet-50的錯誤率，當使用25 000張標簽數據時，分類的錯誤率比ResNet-50的錯誤率更低。

表3 CIFAR-10數據集上半監督模型分類錯誤率/%

表4 不同標簽數據量下的分類錯誤率

生成性能驗證：如圖7所示，在標簽量N=4000時與原Triple-GAN的生成圖像對比，改進的Triple-GAN生成的圖像更清晰，質量更好，更加具有多樣性，且各類別間差異性比較明顯。與目前一些常見的生成對抗網絡模型進行對比，結果見表5，改進的Triple-GAN與提出的SEDA-GAN模型均獲得較低的FID，改進后模型生成的數據分布與原數據分布更加相似。

圖7 Triple-GAN改進前后生成圖像對比

3.3 糖網病數據上的應用

糖網病，全稱糖尿病視網膜病變，是比較常見的一種糖尿病引起的視網膜微血管并發癥，嚴重可致人失明。國際標準中常將糖網病的嚴重程度分為5級：健康、輕度、中

表5 不同生成對抗網絡FID評分

度、重度、增殖。本文實驗數據由上海社區醫院提供，共8000張圖片，標注了2000張數據，分為dr0～dr4這5個等級。實驗中隨機選取800張作測試集，剩余1200張作訓練集，其余6000例為無標簽數據。

原始圖像尺度規格不統一，進行預處理并截取感興趣區域，調整尺寸為128×128，如圖8所示，從左到右分別對應著dr0到dr4這5個等級的眼底圖像。dr0級為健康的眼底圖像；dr1級為輕度期，出現少量微血管瘤；dr2級為中度期，有一些眼底出血癥狀，視力衰退；dr3級為重度期，患者視力嚴重衰退，眼底出血較多；dr4級為增殖期，患者失明，有增殖血管形成，玻璃體出血。

圖8 糖尿病視網膜眼底病變

由于數據總量較少，對數據隨機水平垂直翻轉進行增強。訓練時標簽、無標簽、生成數據的批量數為16、32、32。分類器、生成器、判別器的初始學習率為0.0005、0.0001、0.0001。同時使用學習率衰減策略，衰減率0.99，每1000次迭代衰減一次。網絡權重使用頻譜歸一化方法以穩定GAN訓練，損失中的αR和αp初始為0，8000次迭代時設為0.2和0.1。

使用改進的Triple-GAN和MCN進行半監督和全監督實驗，MCN的訓練參數與章節3.2.1相同，多次實驗的平均結果見表6。僅用標簽數據進行全監督學習時，MCN的錯誤率為32.00%，改進Triple-GAN模型的錯誤率為12.75%。相比之下，半監督GAN方法利用無標簽數據和生成數據可以大幅度提升分類器的泛化能力。同時在精確率、召回率和F1-score指標上對各類別進行測試，結果見表7，從中可知dr0和dr4級別的分類效果最好，dr2和dr3級的分類存在一些難度，分析病例圖像，dr2和dr3級之間的部分眼底特征變化比較微小。

表6 糖網病數據分類錯誤率

表7 糖網病數據各分類指標評估結果

圖9 隨機生成的眼底圖像

另外，也對改進Triple-GAN生成的眼底圖像質量進行評估，多次測試的FID均值為20.43。圖9給出了隨機生成的眼底圖像，從左到右分別為dr0～dr5級，從中可以看出生成的眼底圖像紋理也比較清晰，圖像質量較好，與原圖質量比較接近。

4 結束語

為提高半監督分類模型在糖網病分級上的精度，本文提出改進的Triple-GAN算法，重新設計網絡結構與損失函數，將其應用到糖尿病眼底圖像數據集上。改進點主要分為3點：①在殘差網絡中引入多尺度特征預測，提升網絡分類性能，作為改進Triple-GAN的分類器；②提出壓縮激活生成對抗網絡SEDA-GAN，提高GAN的生成性能，作為改進Triple-GAN的生成對抗網絡部分；③將對數損失函數換成鉸鏈損失，提升網絡訓練的穩定性。在CIFAR-10上驗證提出方法的有效性，并在糖網病分級上取得了較高的分類精度。