基于循環(huán)一致對(duì)抗網(wǎng)絡(luò)的玉米灰斑病圖像遷移方法研究*

韓燁，侯睿崢，陳霄

(1. 吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長春市，130118； 2. 吉林農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)研究院，長春市，130118)

0 引言

近年來，深度學(xué)習(xí)取得了很大的進(jìn)展，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)分支，其通過組合低層特征實(shí)現(xiàn)對(duì)高層特征的抽象表示，從而更加高效的描述和表示結(jié)構(gòu)化數(shù)據(jù)的特征分布[1]，以此發(fā)現(xiàn)數(shù)據(jù)中有用的宏觀信息。隨著計(jì)算機(jī)視覺在農(nóng)業(yè)病害圖像上的應(yīng)用，病害圖像一系列的處理逐漸也變得成熟起來，伴隨著圖像處理的工具和技術(shù)的發(fā)展[2-3]，在作物病害監(jiān)測(cè)和識(shí)別中發(fā)揮著越來越重要的作用。對(duì)玉米灰斑病圖像的遷移在一定程度上可以推進(jìn)深度學(xué)習(xí)在玉米病害圖像識(shí)別領(lǐng)域的應(yīng)用，并且病害圖像遷移也是圖像風(fēng)格遷移[4]的一個(gè)重要的分支，同時(shí)對(duì)于玉米灰斑病圖像的數(shù)據(jù)量可以起到擴(kuò)容作用。目前，數(shù)據(jù)缺乏仍然是阻礙深度學(xué)習(xí)技術(shù)發(fā)展的重要原因之一，且完備的數(shù)據(jù)集應(yīng)具有大規(guī)模性、多樣性[5]，因?yàn)樵谏疃葘W(xué)習(xí)中，大多數(shù)任務(wù)都是源于基礎(chǔ)數(shù)據(jù)進(jìn)行驅(qū)動(dòng)的，數(shù)據(jù)的多少對(duì)模型的質(zhì)量有著決定性的作用。當(dāng)面臨新的應(yīng)用時(shí)，高質(zhì)量、大批量的數(shù)據(jù)往往是第一需求，但是構(gòu)造所需要的數(shù)據(jù)集需要經(jīng)過一段時(shí)間積累才可以實(shí)現(xiàn)。現(xiàn)如今，玉米灰斑病在我國的分布已經(jīng)越來越普遍，對(duì)我國東北、華北和西南等地區(qū)的玉米生產(chǎn)威脅越來越大，成為玉米生產(chǎn)中繼大斑病、小斑病之后的又一重要葉部病害玉米[6]。灰斑病作為玉米病害中最嚴(yán)重的病害之一，前期病害特征存在不明顯、不突出的問題，獲取圖像具有一定的難度。在數(shù)據(jù)量較少的情況下，深度學(xué)習(xí)的應(yīng)用難以推進(jìn)。

傳統(tǒng)的圖像風(fēng)格遷移是非參數(shù)的，主要基于物理、數(shù)學(xué)模型的繪制和圖像紋理的合成[7]。Efros等[8]提出了一種簡單的紋理算法，通過對(duì)樣本紋理進(jìn)行拼接和重組以合成新的紋理；Hertzmann等[9]在2001年發(fā)表的Image Analogies中提出了一種基于類推思想的方法，通過圖像特征映射關(guān)系合成具有新紋理的圖像；張海嵩等[10]運(yùn)用多層紋理陣列、國畫光照模型、提取輪廓線等模塊實(shí)時(shí)繪3D中國畫效果的山巒場(chǎng)景；錢小燕等[11]提出了一種鄰域一致性度量方法，通過把統(tǒng)計(jì)特性引入相似性度量中來提高圖像匹配點(diǎn)搜索的效率。雖然此類方法在一定程度上取得了不錯(cuò)的效果，但是基于是通過單一的配對(duì)模型對(duì)模型進(jìn)行訓(xùn)練，只能提取圖像的低層特征[12]，結(jié)合依附的數(shù)學(xué)或物理模型對(duì)模型進(jìn)行構(gòu)造，較為復(fù)雜以及耗費(fèi)大量時(shí)間，且對(duì)于復(fù)雜圖像的構(gòu)成較為粗糙，難以符合實(shí)際的需求，因此傳統(tǒng)的非參數(shù)的風(fēng)格遷移近年來發(fā)展緩慢[13]。

隨著深度學(xué)習(xí)[14]的興起，由于非參數(shù)的圖像風(fēng)格遷移方法存在一定的局限性，Gatys等[15]提出了基于神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移算法，通過神經(jīng)網(wǎng)絡(luò)不同層次提取不同特征來分離圖像的內(nèi)容與風(fēng)格。然而這種方法生成的圖像存在噪聲、不清晰、需要大量成對(duì)的訓(xùn)練圖像、需要反復(fù)迭代、訓(xùn)練速度慢、占用極大的內(nèi)存可能導(dǎo)致程序崩潰的問題[16]。2017年，Zhu等[17]結(jié)合GAN和對(duì)偶學(xué)習(xí)的思想提出了CycleGAN (Cycle Generative Adversarial Network)，其思想是使用兩個(gè)生成器和兩個(gè)判別器完成兩種風(fēng)格域之間環(huán)形轉(zhuǎn)換，通過添加循環(huán)一致性損失來保留圖像的內(nèi)容信息。

相對(duì)于經(jīng)典生成模型VAE(變分自編碼)來說，它是由Kingma等[18]于2014年提出的基于變分貝葉斯(Variational Bayes，VB)推斷的生成式網(wǎng)絡(luò)結(jié)構(gòu)。VAE旨在通過對(duì)樣本分布的學(xué)習(xí)，采用估計(jì)分布近似逼近樣本真實(shí)分布，進(jìn)而由估計(jì)分布生成原始樣本的類似樣本[19]。其通過加入隨機(jī)噪聲，經(jīng)過編碼解碼的過程生成對(duì)應(yīng)的圖像，它是直接對(duì)真實(shí)圖片和生成圖片進(jìn)行像素級(jí)別的監(jiān)督，無法更好的關(guān)注全局信息，導(dǎo)致生成的圖片整體模糊。對(duì)于另外一個(gè)生成模型GAN(生成對(duì)抗網(wǎng)絡(luò))來說，它是Goodfellow等[20]在2014年提出的。GAN中的博弈方[21]是一個(gè)生成器和一個(gè)判別器，生成器的目標(biāo)是生成逼真的偽樣本讓判別器無法判別出真?zhèn)危袆e器的目標(biāo)是正確區(qū)分?jǐn)?shù)據(jù)是真實(shí)樣本還是來自生成器的偽樣本。當(dāng)前GAN博弈對(duì)抗[22]過程中，生成器通過判別器與真實(shí)數(shù)據(jù)間接地建立關(guān)系，判別器未利用輸入數(shù)據(jù)一半為真一半為假的先驗(yàn)知識(shí)，導(dǎo)致訓(xùn)練過程穩(wěn)定性不足，翻譯圖像質(zhì)量不佳，且易出現(xiàn)model collapse問題，模式坍塌可以總結(jié)為生成器結(jié)果為真，但是生成的圖像多樣性不足。并且傳統(tǒng)的生成模型VAE、GAN需要一一配對(duì)的數(shù)據(jù)集進(jìn)行模型的訓(xùn)練，數(shù)據(jù)前期的處理需要耗費(fèi)大量的時(shí)間。

因此本文選用CycleGAN網(wǎng)絡(luò)對(duì)玉米灰斑病圖像進(jìn)行遷移，在不需要一對(duì)一配對(duì)數(shù)據(jù)的前提下，通過加入殘差網(wǎng)絡(luò)使得在圖像信息進(jìn)行傳遞時(shí)對(duì)原圖像的部分特征也進(jìn)行了傳遞，使得圖像特征提取時(shí)更加合理。基于玉米灰斑病的程度分為輕微和嚴(yán)重，因此本文對(duì)患病程度不同的灰斑病圖像進(jìn)行了遷移，不僅可以生成病害特征符合與原始灰斑病的圖像，也可以滿足對(duì)玉米灰斑病數(shù)據(jù)集的擴(kuò)容。

1 試驗(yàn)數(shù)據(jù)

1.1 圖像數(shù)據(jù)選取

試驗(yàn)數(shù)據(jù)來源于2018 AI challenger植物病害程度圖片數(shù)據(jù)集，該數(shù)據(jù)是通過官方發(fā)布的兩次數(shù)據(jù)進(jìn)行一個(gè)整合，在整合過程中處理了標(biāo)簽交叉的問題，數(shù)據(jù)大致可以分為，訓(xùn)練圖像總數(shù)為31 718張，驗(yàn)證圖像總數(shù)為4 540張，測(cè)試集A圖像總數(shù)為4 514張，測(cè)試集B圖像總數(shù)為4 513張。總共包括61個(gè)類別(按“物種—病害—程度”分)，10個(gè)物種，27種病害(其中24個(gè)病害有分一般和嚴(yán)重兩種程度)，10個(gè)健康分類。

在本試驗(yàn)中，主要是研究玉米灰斑病圖像遷移問題，因此，選取玉米灰斑病作為訓(xùn)練對(duì)象，對(duì)中間不清晰或者不易分辨的圖像人為進(jìn)行剔除，得到的訓(xùn)練集里健康的玉米圖像370輕微灰斑病的玉米圖像191張，嚴(yán)重灰斑病的玉米圖像167張，所選取的樣本數(shù)據(jù)中包含不同光照強(qiáng)度、背景、拍攝角度下不同玉米病害的圖像，部分玉米圖像如圖1所示。

(a) 健康玉米圖像

1.2 數(shù)據(jù)預(yù)處理

神經(jīng)網(wǎng)絡(luò)模型的精準(zhǔn)度對(duì)于樣本的數(shù)據(jù)量有著很高的要求，828張訓(xùn)練集不足以滿足網(wǎng)絡(luò)的訓(xùn)練，采用順時(shí)針旋轉(zhuǎn)45°、逆時(shí)針旋轉(zhuǎn)45°、垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)的傳統(tǒng)方法對(duì)三個(gè)數(shù)據(jù)集均擴(kuò)容到1 000張采用7∶2∶1的比例將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。由于公共數(shù)據(jù)集中圖像分辨率大小不同，而本模型需要輸入固定維度，因此對(duì)圖像進(jìn)行歸一化處理，將圖像大小統(tǒng)一轉(zhuǎn)化為256像素×256像素，然后才能輸入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。增強(qiáng)后部分玉米圖像如圖2所示。

(a) 玉米原始圖像

(b) 順時(shí)針旋轉(zhuǎn)45°

(c) 逆時(shí)針旋轉(zhuǎn)45°

(d) 水平翻轉(zhuǎn)

(e) 垂直翻轉(zhuǎn)

2 基于循環(huán)一致對(duì)抗網(wǎng)絡(luò)的玉米灰斑病圖像遷移算法

2.1 基于玉米灰斑病遷移的循環(huán)一致對(duì)抗模型

2.1.1 玉米灰斑病的遷移算法

病害遷移是利用遷移學(xué)習(xí)對(duì)病害圖像特征進(jìn)行遷移的一個(gè)過程，健康玉米圖像數(shù)據(jù)集稱之為源域，玉米灰斑病數(shù)據(jù)集稱之為目標(biāo)域，本文要實(shí)現(xiàn)的就是將健康玉米圖像通過循環(huán)一致對(duì)抗模型轉(zhuǎn)化為患有不同程度玉米灰斑病的圖像，在此過程中，會(huì)涉及兩個(gè)特征分布不相同的域，本文采用重建的領(lǐng)域自適應(yīng)方法，實(shí)現(xiàn)不同域之間的轉(zhuǎn)化，并且循環(huán)一致對(duì)抗網(wǎng)絡(luò)是基于對(duì)抗的不同域之間的對(duì)抗過程，并且加入了循環(huán)重建作為約束性條件，對(duì)于圖像轉(zhuǎn)化的質(zhì)量有較好的效果，因此選擇使用CycleGAN算法實(shí)現(xiàn)不同域之間圖像的轉(zhuǎn)化。

2.1.2 玉米灰斑病遷移的網(wǎng)絡(luò)結(jié)構(gòu)圖

在圖3的網(wǎng)絡(luò)結(jié)構(gòu)中，首先，對(duì)健康圖像h1和玉米灰斑病圖像s1的特征進(jìn)行提取；然后，將兩種圖像的特征輸入到生成器Gs中，得到所需要的風(fēng)格遷移圖像Generated_hs；最后通過判別器Dh和Ds分別判別所生成的病害遷移圖像的風(fēng)格和內(nèi)容是否與要求一致，在進(jìn)行訓(xùn)練時(shí)，加入了循環(huán)一致性損失函數(shù)對(duì)生成器Gs進(jìn)行補(bǔ)充，使得兩個(gè)對(duì)抗網(wǎng)絡(luò)達(dá)到一個(gè)循環(huán)的訓(xùn)練狀態(tài)。

圖3 灰斑病病害遷移的CycleGAN結(jié)構(gòu)圖

2.2 循環(huán)一致網(wǎng)絡(luò)結(jié)構(gòu)

CycleGAN是GAN網(wǎng)絡(luò)的一種變體網(wǎng)絡(luò)，它可以學(xué)習(xí)兩個(gè)域之間的兩個(gè)數(shù)據(jù)轉(zhuǎn)換函數(shù)，核心思想是兩個(gè)轉(zhuǎn)換器F和G。CycleGAN使用了兩個(gè)傳統(tǒng)GAN網(wǎng)絡(luò)，該網(wǎng)絡(luò)學(xué)習(xí)如何根據(jù)需要轉(zhuǎn)換數(shù)據(jù)，每個(gè)GAN內(nèi)部都有一個(gè)生成器網(wǎng)絡(luò)，GAN的第一生成器學(xué)習(xí)計(jì)算F，GAN的第二生成器學(xué)習(xí)計(jì)算G。此外，每個(gè)生成器都與一個(gè)鑒別器相關(guān)聯(lián)，該鑒別器學(xué)習(xí)將實(shí)際數(shù)據(jù)y與合成數(shù)據(jù)G(x)區(qū)分開。

圖4 兩組對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)圖

此時(shí)對(duì)于圖4的兩組對(duì)抗來說，其循環(huán)一致?lián)p失滿足

(1)

(2)

模型中循環(huán)一致結(jié)構(gòu)的目的在與輸入的健康玉米圖像和經(jīng)過對(duì)抗重建后生成的健康圖像，兩者盡可能地保持一致，在對(duì)抗的過程中加入了約束條件，對(duì)圖像特征的遷移起到了約束性的作用。

2.3 循環(huán)生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)

CycleGAN的整體結(jié)構(gòu)主要是由生成器和判斷器組成，分別是GeneratorA/B, GeneratorB/A，DiscriminatorA，DiscriminatorB四個(gè)部分。其中生成器是由編碼器、轉(zhuǎn)化器和解碼器構(gòu)成。

2.3.1 生成器結(jié)構(gòu)分析

如圖5所示，首先輸入圖像經(jīng)過編碼器中的卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入圖像中提取特征，將具有高維信息的圖像壓縮為低維特征向量。然后轉(zhuǎn)換器通過組合兩類訓(xùn)練集圖像域中的不相近特征，將健康圖像域中的特征向量分布轉(zhuǎn)換為患病域中的特征向量分布。生成器中各層的參數(shù)如表1所示。

圖5 循環(huán)一致對(duì)抗網(wǎng)絡(luò)生成器結(jié)構(gòu)圖

表1 循環(huán)一致對(duì)抗網(wǎng)絡(luò)生成器結(jié)構(gòu)參數(shù)Tab. 1 Cyclic consistent adversarial network generator structure parameters

如圖6所示，轉(zhuǎn)換器中使用了多層殘差網(wǎng)絡(luò)ResNet模塊。每個(gè) ResNet模塊都是一個(gè)由兩個(gè)卷積層組成的神經(jīng)網(wǎng)絡(luò)層，可以實(shí)現(xiàn)在轉(zhuǎn)換特征的同時(shí)保留原始域中圖像數(shù)據(jù)集的特征的目的。一個(gè)殘差塊用式(3)表示。

xL+1=xL+F(xL，WL)

(3)

式中：xL——L層輸入的數(shù)據(jù)；

WL——在L層時(shí)的權(quán)重參數(shù)；

xL+1——在L層的輸出，即L+1層的輸入。

圖6 ResNet殘差塊結(jié)構(gòu)

在轉(zhuǎn)化器中使用了殘差網(wǎng)絡(luò)，可以避免層數(shù)過多對(duì)于梯度的影響，利用殘差網(wǎng)絡(luò)可以使得在參數(shù)跳躍傳輸時(shí)，信息中包含了一部分為病害遷移的原始圖像信息，對(duì)于生成圖像信息的準(zhǔn)度有了一部分的提升。

編碼器利用三層卷積層級(jí)實(shí)現(xiàn)從圖像中提取出特征向量，解碼器利用三層反卷積層實(shí)現(xiàn)從特征向量中還原出低級(jí)特征的功能，最后得到變換后的近似符合目標(biāo)域數(shù)據(jù)分布的圖像。編碼器的第一層和解碼器最后一層都采用7×7的卷積核，其他層均采用3×3的卷積核，轉(zhuǎn)換器中的殘差網(wǎng)絡(luò)使用Relu作為激活函數(shù)，且都采用IN方法歸一化處理，解碼器的最后一層解碼器的最后一層不做歸一化處理，且采用Tanh作為激活函數(shù)。

2.3.2 鑒別器結(jié)構(gòu)分析

與生成器相對(duì)應(yīng)的是鑒別器模塊，網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，它是將生成的患病圖像和真實(shí)的患病像作為輸入，對(duì)輸入圖像判斷其為原始真實(shí)圖像還是生成的虛假圖像。鑒別器采用五層卷積層，卷積層卷積核的大小均為4×4，CycleGAN網(wǎng)絡(luò)的鑒別器模型能夠?qū)⒁粋€(gè)圖像經(jīng)過卷積后生成1個(gè)一維向量，加上1個(gè)偏置向量后，通過Sigmod函數(shù)根據(jù)概率值完成二分類任務(wù)。CycleGAN網(wǎng)絡(luò)的鑒別器結(jié)構(gòu)的各層參數(shù)如表6所示。

圖7 鑒別器網(wǎng)絡(luò)結(jié)構(gòu)

表2 循環(huán)一致對(duì)抗網(wǎng)絡(luò)生鑒別器結(jié)構(gòu)參數(shù)Tab. 2 Circular consistent adversarial network raw discriminant structure parameters

2.4 模型損失函數(shù)

CycleGAN的損失函數(shù)(L)由兩部分組成：兩個(gè)對(duì)抗損失(Lgan)和兩個(gè)平均絕對(duì)誤差(L1)，整個(gè)CycleGAN框架采用end-to-end方式訓(xùn)練，其公式如式(4)所示。

L(G、F、DX、DY)=Lgan(G、DY、X、Y)+

Lgan(F、DX、Y、X)+λLcyc(G、F)

(4)

式中：Lcyc(G、F)——循環(huán)一致網(wǎng)絡(luò)損失；

λ——權(quán)重系數(shù)。

對(duì)抗損失Lgan使用KL散度計(jì)算兩個(gè)不同域之間分布的差異，計(jì)算公式如式(5)和式(6)所示。

1)G:X→Y的對(duì)抗

Lgan(G、DY、X、Y)=Ey-pdata(y)[logDY(y)]+

Ex-pdata(x)[log(1-DY(G(x)))]

(5)

式中：y——真實(shí)玉米灰斑病圖像；

x——生成玉米灰斑病圖像；

DY(y)——鑒別器判斷輸入為真實(shí)玉米病害葉片圖像的概率；

DY(G(x))——鑒別器判斷輸入為生成玉米病害葉片圖像的概率；

Ey-pdata(y)[logDY(y)]——玉米灰斑病圖像樣本集Y域分布中的樣本y的logDY(y)的期望；

Ex-pdata(x)[log(1-DY(G(x)))]——健康玉米圖像樣本集X域分布中樣本x的log(1-DY(G(x)))的期望。

水土流失量以徑流含沙數(shù)據(jù)反映。根據(jù)1965～2010年資料分析，潛山和石牌站多年平均含沙量分別為0.28 kg/m3和0.13 kg/m3。石牌站多年平均輸沙量6.0×104 t，年際變化、月際變化都很大。含沙量的年內(nèi)和年際波動(dòng)如圖2和圖3所示。

2)F:Y→X的對(duì)抗

Lgan(F、DX、X、Y)=Ed-pdata(d)[logDX(d)]+

Ee-pdata(e)[log(1-DX(F(e)))]

(6)

式中：d——真實(shí)健康玉米葉片圖像；

e——生成健康玉米葉片圖像；

DX(d)——鑒別器判斷輸入為真實(shí)健康玉米葉片圖像的概率；

DX(F(e))——鑒別器判斷輸入為生成健康玉米葉片圖像的概率；

Ed-pdata(d)[logDX(d)]——健康玉米圖像樣本集X域分布中的樣本d的logDX(d)的期望值；

Ee-pdata(e)[log(1-DX(F(e)))]——玉米灰斑病圖像樣本集Y域分布中樣本e的log(1-DX(F(e)))期望。

G的目標(biāo)是講這個(gè)目標(biāo)最小化，而D的目標(biāo)是最大化，因此滿足minGmaxDyLgan(G、DY、X、Y)；F的目標(biāo)是將這個(gè)目標(biāo)最小化，而D的目標(biāo)是最大化，因此滿足minFmaxDxLgan(F、DX、X、Y)。

循環(huán)一致?lián)p失Lcyc采用了L1loss計(jì)算預(yù)測(cè)值與真實(shí)值之間距離的均值，計(jì)算如式(7)所示。

Lcyc(G、F)=Ex-pdata(x)[‖F(xiàn)(G(x))-x‖1]+

Ey-pdata(y)[‖G(F(y))-y‖1]

(7)

式中：G(x)——X→Y的一個(gè)映射；

2.5 模型訓(xùn)練與超參數(shù)設(shè)計(jì)

CycleGAN模型的訓(xùn)練在Tensorflow深度學(xué)習(xí)框架下進(jìn)行，采用GPU進(jìn)行加速。在轉(zhuǎn)換器上使用了殘差塊，解決了深度神經(jīng)網(wǎng)絡(luò)的退化問題，也對(duì)神經(jīng)的收斂速度有一定的提升。模型的整個(gè)訓(xùn)練分為兩個(gè)階段。首先利用小部分自制玉米灰斑病數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練權(quán)重初始化網(wǎng)絡(luò)參數(shù)，然后采用大量的自制玉米灰斑病數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，并結(jié)合Tensorboard模塊對(duì)訓(xùn)練過程進(jìn)行實(shí)時(shí)監(jiān)測(cè)。試驗(yàn)中輸入和輸出的玉米圖像均為256像素×256像素。批量處理batch_size為50，訓(xùn)練次數(shù)為90 000 輪，每1 000輪保存一次權(quán)重，學(xué)習(xí)率初始為0.002，之后每100 000次線性衰減到0。模型采用非線性修正線性單元Relu作為激活函數(shù)，梯度下降采用Adam算法進(jìn)行優(yōu)化。用戶感知評(píng)價(jià)指標(biāo)0.2a1+0.3a2+0.5a3，其中a1判斷遷移后的圖片質(zhì)量是否清晰；a2判斷遷移后的病害圖像其他區(qū)域是否出現(xiàn)病害溢出的現(xiàn)象；a3判斷遷移后的病害圖像特點(diǎn)是否明顯。用戶評(píng)價(jià)指標(biāo)中A為10，B為20，患病程度輕微、嚴(yán)重的情況各自進(jìn)行200組的對(duì)比試驗(yàn)，均方誤差MSE權(quán)重值為0.5，樣本總數(shù)為400。

3 結(jié)果與分析

3.1 主客觀評(píng)價(jià)指標(biāo)

由于玉米灰斑病病害遷移的效果具有主觀性，只使用客觀的量化指標(biāo)來評(píng)測(cè)圖像比較困難。試驗(yàn)中結(jié)合主觀評(píng)價(jià)指標(biāo)和客觀評(píng)價(jià)指標(biāo)，采用三種測(cè)評(píng)指標(biāo)：結(jié)構(gòu)相似、均方誤差、用戶感知評(píng)價(jià)對(duì)CycleGAN模型得到的玉米灰斑病圖像的效果與其他方法進(jìn)行比較。

1) 結(jié)構(gòu)相似SSIM是評(píng)估源健康玉米圖像X與進(jìn)行風(fēng)格遷移后的患病圖像Y數(shù)據(jù)分布相似度的指標(biāo)，如式(8)所示。SSIM的范圍為-1～1，SSIM的數(shù)值越大表示兩幅圖像的分布結(jié)構(gòu)越相似，圖像的質(zhì)量越高。

(8)

式中：μx、μy——X圖像、Y圖像的均值；

σx、σy——X圖像、Y圖像的方差；

σxy——x和y的協(xié)方差。

2) 均方誤差MSE是參數(shù)估計(jì)值與參數(shù)真實(shí)值之間差異程度的一種度量，如式(9)所示。MSE越小表示與原圖像的差距越小。

(9)

w——圖像的權(quán)重值；

θ——圖像的預(yù)期值；

n——樣本的總數(shù)。

3) 用戶評(píng)價(jià)UE是對(duì)病害遷移效果的主觀評(píng)價(jià)指標(biāo)。首先，選擇A個(gè)學(xué)生，從數(shù)據(jù)集中隨機(jī)選擇B張測(cè)試圖像；然后將B張測(cè)試圖像在不同模型輸出的病害圖像提供給用戶進(jìn)行比較；最后統(tǒng)計(jì)學(xué)生對(duì)各個(gè)模型輸出圖像為最佳效果圖的數(shù)量M，得到學(xué)生對(duì)不同模型進(jìn)行圖像遷移效果的感知評(píng)價(jià)，如式(10)所示。

(10)

3.2 基于圖像生成質(zhì)量的對(duì)比試驗(yàn)

為了驗(yàn)證本文提出的方法在玉米灰斑病遷移效果上的有效性和優(yōu)越性，進(jìn)行了一系列的對(duì)比試驗(yàn)，與VAE、GAN圖像生成方法進(jìn)行比較。比較在相同數(shù)據(jù)上不同方法輸出圖像效果的距離相似SSIM、均方誤差MSE、用戶感知評(píng)價(jià)UE。主觀試驗(yàn)如圖8、圖9，客觀試驗(yàn)數(shù)據(jù)如圖10、圖11所示，算法性能分析圖如圖12所示。

主觀上，通過用戶感知評(píng)價(jià)的方法對(duì)3種方法進(jìn)行玉米灰斑病遷移效果的感知評(píng)價(jià)(UE)，如圖8所示，相同的圖像在生成不同患病程度圖像的情況下，視覺效果CycleGAN生成的玉米灰斑病圖像效果更優(yōu)。從圖9可以看出，在不同患病程度的情況下，分析進(jìn)行200組試驗(yàn)，CycleGAN方法遷移生成的輕微、嚴(yán)重玉米灰斑病效果最佳的圖像數(shù)量分別為152張、147張，圖像數(shù)量遠(yuǎn)高于其他兩種方法，證明CycleGAN與其他兩種方法作比較，有效地提升了病害圖像遷移的直觀感受。

(a) 健康 (b) 患病 (c) VAE (d) GAN (e) CycleGAN

圖9 最佳效果圖數(shù)量對(duì)比圖

圖10 玉米灰斑病遷移圖像的MSE值

客觀上，從圖10中的MSE數(shù)據(jù)可以得到，通過CycleGAN、VAE、GAN三個(gè)方法得到的均方誤差值分別為3 674.6、4 218.4、4 063.7，可以看出CycleGAN方法遷移后玉米灰斑病圖像均方誤差值最小，說明用此方法生成的玉米灰斑病圖像與輸入的健康玉米圖像差異程度更小，更可以說明CycleGAN遷移生成的玉米灰斑病患病圖像質(zhì)量是最好的。

在結(jié)構(gòu)相似SSIM的比較下，在各自進(jìn)行400組試驗(yàn)中，VAE、GAN、CycleGAN每張圖像對(duì)應(yīng)的SSIM值大小如圖11所示，可以看出，通過CycleGAN方法得到的折線圖整體高于GAN方法和VAE方法，即CycleGAN網(wǎng)絡(luò)遷移后的玉米灰斑病圖像與原圖像的分布結(jié)構(gòu)更相似，可以說明通過CycleGAN遷移后的圖像質(zhì)量較好。

對(duì)比于圖12(a)來說，遷移后的玉米灰斑病圖12(b)的直觀效果好于圖12(c)、圖12(d)，說明VAE生成玉米灰斑病圖像效果高于GAN和CycleGAN。原因在于VAE模型找到輸入的健康玉米圖像與玉米灰斑病圖像之間的潛向量，會(huì)更加規(guī)律的生成與原圖像更加相近的圖片，雖然VAE是基于局部圖像之間存在規(guī)律性，但是由于兩張圖像的拍攝角度、葉片的大致形狀一致，導(dǎo)致通過VAE生成的玉米灰斑病圖像質(zhì)量較高。此時(shí)的GAN模型發(fā)生了模式坍塌，輸入健康玉米圖片時(shí)，生成的卻是另外一張玉米灰斑病圖像，即是不相關(guān)的圖像。相對(duì)于圖12(e)來說，遷移后的玉米灰斑病圖12(f)的直觀效果好于圖12(g)、圖12(h)，說明GAN生成玉米灰斑病圖像效果高于VAE和CycleGAN。GAN生成玉米灰斑病圖像效果高于VAE和CycleGAN。GAN利用模型中判斷對(duì)整體圖像質(zhì)量的判斷，圖片連續(xù)性加強(qiáng)，未發(fā)生模式坍塌，導(dǎo)致通過GAN生成的患病圖像質(zhì)量較高。通過VAE模型生成的圖像注重圖像的局部特征，到最后生成圖像不清晰。對(duì)兩排圖像進(jìn)行對(duì)比，可以看出通過CycleGAN遷移后的玉米灰斑病圖像都較差，原因在于是因?yàn)閳D片中過多的不相關(guān)信息，除了主葉片以外還有許多干擾信息，導(dǎo)致遷移后的玉米灰斑病其他部位也有生成，在視覺上造成遷移后的玉米灰斑病圖像與原圖像差別較大。

圖11 玉米灰斑病遷移圖像的SSIM值

(a) 原圖像

(b) VAE

(c) GAN

(d) CycleGAN

(e) 原圖像

(f) VAE

(g) GAN

(h) CycleGAN

綜合來說，通過主觀、客觀方法以及差異性分析的對(duì)比下，CycleGAN網(wǎng)絡(luò)在SSIM、MSE、UE三項(xiàng)評(píng)價(jià)指標(biāo)上的數(shù)據(jù)質(zhì)量都優(yōu)于其他兩種方法，在不同的條件下都能表現(xiàn)較好的特性，進(jìn)而得到的圖像質(zhì)量也高于其他兩種方法。

4 結(jié)論

本文使用領(lǐng)重建的領(lǐng)域自適應(yīng)方法，實(shí)現(xiàn)不同域之間的轉(zhuǎn)化，去滿足健康玉米圖像到不同患病程度玉米灰斑病轉(zhuǎn)化，并且使用含有殘差網(wǎng)絡(luò)的CycleGAN網(wǎng)絡(luò)對(duì)玉米灰斑病圖像的特征進(jìn)行遷移，在保證生成圖像的速度和質(zhì)量的情況下，也實(shí)現(xiàn)對(duì)現(xiàn)有少量玉米灰斑病數(shù)據(jù)集的有效擴(kuò)容，進(jìn)而解決玉米灰斑病圖像樣本采集困難的問題。

1) 在試驗(yàn)中，對(duì)患病程度輕微、嚴(yán)重兩種狀態(tài)的病害圖像各自進(jìn)行200組試驗(yàn)，通過直觀效果圖、客觀評(píng)價(jià)指標(biāo)以及差異性分析三個(gè)方面，遷移后輕微、嚴(yán)重灰斑病圖像的可以達(dá)到152張和147張，對(duì)于玉米灰斑病數(shù)據(jù)轉(zhuǎn)化率分別可以達(dá)到76%和73.5%，驗(yàn)證出CycleGAN網(wǎng)絡(luò)在玉米灰斑病圖像遷移上具有優(yōu)勢(shì)。

2) 試驗(yàn)中統(tǒng)計(jì)了CycleGAN、VAE、GAN在輸入800張健康玉米圖像情況下，對(duì)應(yīng)生成800張患有輕微和嚴(yán)重玉米灰斑病圖像所需的時(shí)間，CycleGAN模型在圖像生成時(shí)間上較快，可以節(jié)省一定的時(shí)間成本。

3) 輸入800張健康玉米圖像，通過CycleGAN模型可以得到有效的患有輕微灰斑病圖像612張、患有嚴(yán)重灰斑病圖像591張，有效的擴(kuò)充了原始數(shù)據(jù)集，轉(zhuǎn)換后的圖像分別占擴(kuò)充后數(shù)據(jù)集的76.21%和77.96%，達(dá)到一種以健康玉米圖像生成大量且高質(zhì)量的患病玉米圖像數(shù)據(jù)的作用，有效解決了農(nóng)業(yè)領(lǐng)域玉米灰斑病樣本不足的問題。