基于InceptionV3 的煙草病害識別

張文靜，孫秀朋，喬永亮，白鵬，姜紅花*，王玉軍，杜傳印，宗浩

1 山東農(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，271018；

2 山東農(nóng)業(yè)大學(xué) 植物保護學(xué)院，泰安 271018；

3 悉尼大學(xué) 工學(xué)院，悉尼，2006，澳大利亞；

4 山東科技大學(xué)，泰安 271019；

5 山東濰坊煙草有限公司，濰坊 261205；

6 臨沂煙草公司，臨沂 276003

煙草是我國重要的經(jīng)濟作物，對改變種植地區(qū)經(jīng)濟面貌具有重要的作用[1]。煙草病害問題一直困擾著廣大煙農(nóng)，已成為制約煙草生產(chǎn)的重要因素[2]。明確煙草病害發(fā)生情況，加強煙草病害防治，是保證煙草產(chǎn)量和品質(zhì)、減少煙農(nóng)損失的重要措施[3]。

煙草病害的診斷是煙草病害科學(xué)防治的前提和基礎(chǔ)[4]。目前煙草病害識別主要利用機器學(xué)習(xí)的方法，通過提取病害特征信息構(gòu)建病害識別模型，包括支持向量機（SVM），K-means 聚類算法，卷積神經(jīng)網(wǎng)絡(luò)（Resnet 網(wǎng)絡(luò)、VGG-16 網(wǎng)絡(luò)、InceptionV3 網(wǎng)絡(luò)）等[5,21]。濮永先[6]提出了基于病斑特征融合的煙草病害圖像檢索方法，實現(xiàn)了煙草7 種常見病害的診斷。謝裕睿[7]通過基于SVM 和ResNet 的圖像處理方法診斷5 種常見的煙草病害。王平[8]基于深度模型VGG-16 的遷移學(xué)習(xí)方法構(gòu)建網(wǎng)絡(luò)對煙草病害進(jìn)行識別，準(zhǔn)確率達(dá)87%。王建璽等[9]提出基于圖像處理和模糊模式識別的煙葉病害識別方法，實現(xiàn)了病害的自動識別并表現(xiàn)出較高的識別準(zhǔn)確率。喻勇[10]提出了基于計算機視覺的煙葉病害識別分類方法，選取赤星病和野火病2 種病害6 個病害識別特征參數(shù)，采用基于標(biāo)準(zhǔn)特征庫的模糊模式識別算法對病害進(jìn)行識別分類并取得良好的識別率。基于深度學(xué)習(xí)的煙草病害診斷方法能在一定程度上提高煙草病害的識別準(zhǔn)確率，但煙草病害發(fā)生情況復(fù)雜，相似病害特征容易混淆[11]，容易導(dǎo)致檢測過程中特征提取不完整，從而影響識別的準(zhǔn)確率。

InceptionV3 網(wǎng)絡(luò)是在處理圖像分類任務(wù)時較為常用的深度學(xué)習(xí)網(wǎng)絡(luò)[12]，具有2 個優(yōu)勢：一是采用非對稱卷積結(jié)構(gòu)拆分的方式增加了網(wǎng)絡(luò)深度，在減小計算量的同時，可以處理更多、更豐富的病害特征，增加了病害特征的多樣性，有效解決了病害特征提取不完整的問題；二是采用并行降維結(jié)構(gòu)方式增加了網(wǎng)絡(luò)寬度，保留了大量煙草病害圖像信息，避免了表達(dá)瓶頸問題，大大提升網(wǎng)絡(luò)精度，從而提高識別準(zhǔn)確率。因此，本文提出了一種基于圖像融合技術(shù)的圖像預(yù)處理方法，減少了光照影響，提升了圖像質(zhì)量，并采用InceptionV3 網(wǎng)絡(luò)構(gòu)建煙草病害識別模型，以較高的網(wǎng)絡(luò)精度，提高了煙草病害識別的準(zhǔn)確率和實時性，實現(xiàn)了復(fù)雜環(huán)境下煙草病害的分類。

1 材料和方法

1.1 數(shù)據(jù)采集

本文以煙草花葉病毒病、黃瓜花葉病毒病、煙草赤星病、煙草野火病、煙草氣候性斑點病5 種較為常見的煙草病害為研究對象，采集了大量煙草成苗期病害圖像[13]。采集圖像數(shù)量為每類病害350 張，共計1750 張，其中訓(xùn)練集數(shù)量為1250 張（每種250 張），測試集數(shù)量為500 張（每種100 張）。5 種煙草病害田間發(fā)病癥狀如圖1 所示。

圖1 煙草病害種類示例圖Fig. 1 Image example of the different tobacco diseases

1.2 煙草病害識別方法

針對5 種煙草常見病害，構(gòu)建基于InceptionV3網(wǎng)絡(luò)和遷移學(xué)習(xí)方法的煙草病害識別模型（圖2）。模型由圖像預(yù)處理模塊、特征提取模塊和分類模塊3部分構(gòu)成。圖像預(yù)處理模塊采用了圖像增強方法、MSRCR 算法、Gamma 校正以及圖像融合方法對煙草病害數(shù)據(jù)集進(jìn)行擴充并消除圖像光照影響。特征提取模塊包含了卷積模塊、Inception 模塊以及Inception模塊所連接的池化層和全連接層，其中卷積模塊由卷積層和池化層組成，Inception 模塊由3 個卷積模塊組構(gòu)成。基于所構(gòu)建的病害識別模型，對圖像預(yù)處理構(gòu)建的數(shù)據(jù)集進(jìn)行訓(xùn)練與測試，最終通過分類模塊對特征進(jìn)行分類。

圖2 基于InceptionV3 的煙草病害識別模型Fig. 2 Tobacco disease identification model based on InceptionV3

1.2.1 圖像預(yù)處理

在煙草病害識別模型訓(xùn)練過程中，由于模型層數(shù)過多，使得模型過度學(xué)習(xí)訓(xùn)練數(shù)據(jù)中的細(xì)節(jié)，從而導(dǎo)致模型泛化性能差，出現(xiàn)過擬合現(xiàn)象。為解決訓(xùn)練過程中易出現(xiàn)的過擬合問題，使用圖像預(yù)處理方法擴充數(shù)據(jù)集，通過隨機變換增加樣本量，提高了模型的泛化能力。本文使用的圖像預(yù)處理方法主要有圖像增強、MSRCR 算法、Gamma 校正以及圖像融合等。

1.2.1.1 圖像增強

通過對數(shù)據(jù)集圖像進(jìn)行鏡像翻轉(zhuǎn)、上下翻轉(zhuǎn)和隨機旋轉(zhuǎn)，以及調(diào)節(jié)銳度的方法擴充數(shù)據(jù)。通過銳化操作增強圖像細(xì)節(jié)及對比反差，在增強圖像邊緣的同時添加了噪聲，以消除不同設(shè)備采拍的數(shù)據(jù)集圖像清晰度不一致的問題，有利于后期的目標(biāo)識別。擴充后的數(shù)據(jù)集達(dá)到每種800 張，測試集每種100 張，總計4500 張。本文使用Keras ImageDataGenerator 圖片增強批量生成器方法實現(xiàn)數(shù)據(jù)增強，圖像隨機旋轉(zhuǎn)的角度設(shè)置為順時針旋轉(zhuǎn)90 度，其他參數(shù)均設(shè)置為0.2。增強后的圖像如圖3 所示。原始圖像及銳度增強后圖像對比如圖4 所示。

圖3 圖像增強Fig. 3 Image enhancement

圖4 增大銳度后病害圖像Fig. 4 Tobacco disease image after sharpening

1.2.1.2 彩色恢復(fù)多尺度MSRCR 算法

光照不均影響煙草病害識別的準(zhǔn)確率，常用消除光照不均影響的算法有SSR 或MSR[14]。SSR 算法對于圖像細(xì)節(jié)的保持較差，MSR 算法雖然對細(xì)節(jié)的保持有所提升，但對色彩保持不佳。MSRCR 算法引入了顏色恢復(fù)因子，提升了色彩及細(xì)節(jié)的保持能力，在處理病害圖像時既能保證了病害圖像的灰度，又一定程度地提升了圖像色彩的飽和度[15]，對圖像色彩保持效果最好。因此本文選用MSRCR 算法來處理煙草病害圖像，算法公式如式（1）所示：

式（1）實現(xiàn)過程如圖5 所示。首先對輸入圖像每個尺度進(jìn)行高斯模糊，然后對每個尺度的高斯模糊結(jié)果進(jìn)行加權(quán)平均計算，并分別計算出log[R(x, y)]中R/G/B各通道數(shù)據(jù)的平均值（Mean）以及均方差（Var）。設(shè)置動態(tài)參數(shù)（Dynamic），Dynamic 取值越小，圖像對比度越強，一般來說Dynamic 取值2 ～3 之間能取得較為明顯的增強效果，又能保持圖像的清晰度，本文取Dynamic=2。用式（2）（3）計算出各通道的min 和max 值，對log[R(x, y)]中的每一個值進(jìn)行映射。最后增加一個溢出判斷，即可得到輸出圖像，如圖6（a）所示。

圖5 MSRCR 流程圖Fig. 5 MSRCR flow chart

1.2.1.3 Gamma 校正

考慮到田間光照環(huán)境的影響，本文使用Gamma校正來消除光照影響。Gamma 校正通過對輸入圖像灰度值的非線性操作，校正圖像亮度[16]。首先將煙草病害圖像像素值歸一化處理，使其值域分布在[0, 1]內(nèi)，其次通過給定γ 值對像素值非線性映射。最后通過反歸一化處理使得圖像像素值為[0, 225]之間，輸出校正圖像。為避免圖像過暗或過亮導(dǎo)致圖像失真，取γ=1.5，圖6（b）為Gamma 校正后的圖像。

1.2.1.4 圖像融合

MSRCR 算法可顯著提高圖像暗部區(qū)域的細(xì)節(jié)從而降低光照對圖像的影響，但會出現(xiàn)圖像泛白、顏色失真等問題[22]。Gamma 校正可提高圖像對比度，但會一定程度上降低圖像信息熵[16]。在此基礎(chǔ)上，本文綜合2 種算法的特點，采用加權(quán)平均算法對圖像加權(quán)融合，即對原圖像的像素值取相同權(quán)值，加權(quán)平均得到融合后圖像像素值，并通過多次試驗選定最佳加權(quán)系數(shù)。加權(quán)平均算法公式為：

圖6（a）（b）（c）（d）所示分別為原圖、Gamma 校正圖、MSRCR 處理后圖及圖像融合示例圖。圖7 分別為4 種不同訓(xùn)練集圖像直方圖，原圖像直方圖偏左或偏右或集中在一個較窄的區(qū)域，直方圖的分布現(xiàn)象說明原圖像光照不均，明暗差別較大。采用圖像融合方法對圖像預(yù)處理后，原圖像中亮度過高區(qū)域的亮度得到了衰減，亮度過低區(qū)域的亮度得到了增強，并在一定程度上壓縮了圖像的動態(tài)范圍。該方法具有較好的光照不均校正效果，降低了光照不均對圖像的影響，提高了圖像質(zhì)量。

圖6 4 種不同訓(xùn)練集示例圖Fig.6 Example image of four different training set

圖7 4 種不同訓(xùn)練集圖像直方圖Fig. 7 Image histograms of four different training set

1.2.2 基于InceptionV3 的特征提取模塊

由于Alexnet 網(wǎng)絡(luò)運行速度慢、準(zhǔn)確率低，VGG16 和VGG19 訓(xùn)練時會產(chǎn)生大量參數(shù)，造成內(nèi)存占用，增加了計算量[19-20,23]等問題，本文基于InceptionV3 進(jìn)行特征提取，通過引入Inception 模塊增加了網(wǎng)絡(luò)的寬度和深度。與GoogLeNet 相比，InceptionV3 采用多層的3x3 小卷積核替換5x5 的卷積核，在保持感受野不變的情況下，一定程度上減少了計算量。Inception 模塊同時將2 個輔助分類器變?yōu)?個，在輔助分類器中采用批量歸一化方法增大學(xué)習(xí)率，擴展Inception 模塊中的濾波器組，加速了網(wǎng)絡(luò)訓(xùn)練過程，提升了煙草病害分類準(zhǔn)確率[24]。

1.2.3 分類模塊

本文分類模塊采用基于softmax 的分類函數(shù)，以概率形式表示多分類結(jié)果。該方法在保證各預(yù)測結(jié)果概率為1 的前提下，將InceptionV3 網(wǎng)絡(luò)預(yù)測結(jié)果轉(zhuǎn)化為指數(shù)函數(shù)，保證了概率的非負(fù)性，公式如下：

其中Si為第i 類煙草病害輸入的概率，vi為前一層運算單元的輸出作為Softmax 的輸入，i為特征分類的類別索引，煙草病害類別總數(shù)m=5。

2 遷移學(xué)習(xí)及模型訓(xùn)練

2.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)可緩解小樣本產(chǎn)生的過擬合問題[18]，本文將 ImageNet 數(shù)據(jù)庫中訓(xùn)練好的模型權(quán)重參數(shù)遷移至基于InceptionV3 的煙草病害識別網(wǎng)絡(luò)中，來提升所構(gòu)建模型分類效果。具體做法是保持原始InceptionV3 網(wǎng)絡(luò)最后一層之前各層參數(shù)，刪除網(wǎng)絡(luò)最后一層全連接層，加入一層池化層和全連接層，隨后加入煙草病害數(shù)據(jù)集對模型參數(shù)進(jìn)行微調(diào)，并采用dropout 處理避免模型過擬合。煙草病害分類網(wǎng)絡(luò)激活函數(shù)為ReLU, 分類函數(shù)為softmax，輸出類別個數(shù)為5（不同病害種類）。表1 為基于inceptionV3 的煙草病害識別模型結(jié)構(gòu)。

表1 基于InceptionV3 的煙草病害識別模型結(jié)構(gòu)Tab. 1 InceptionV3 based tobacco disease identification model structure

2.2 損失函數(shù)

訓(xùn)練過程中損失函數(shù)選用交叉熵函數(shù)，用p表示樣本真實標(biāo)記分布，q表示網(wǎng)絡(luò)模型訓(xùn)練后預(yù)測標(biāo)記的分布，交叉熵?fù)p失函數(shù)用來衡量p與q的相似性。函數(shù)公式如（6）所示，類別數(shù)量m=5，p(xij)表示若該類別和樣本i類別相同則為1，否則為0；q(xij)表示測試樣本i對病害類別的預(yù)測概率：

2.3 模型訓(xùn)練與評價指標(biāo)

試 驗 環(huán) 境 為Windows10 操 作 系 統(tǒng)，CPU 為Intel(R) Core(TM) i7-7700，主頻3.6GHz的4核處理器，開發(fā)環(huán)境為TensorFlow1.10.0、Anaconda3。訓(xùn)練過程中Learning rate 設(shè)置為0.001，batch 為32，模型共迭代3000 次。

模型有2 個評價指標(biāo)：一是準(zhǔn)確率，如式（7）所示，即分類正確樣本個數(shù)和總樣本數(shù)的比值。TP表示當(dāng)前病害類別被準(zhǔn)確識別，TN表示非當(dāng)前病害被錯誤識別，F(xiàn)P表示非當(dāng)前病害被正確識別。FN表示當(dāng)前病害沒有被正確識別；二是識別單張數(shù)據(jù)的耗時。

3 結(jié)果與分析

基于InceptionV3 網(wǎng)絡(luò)構(gòu)建煙草病害識別模型，按照8:1 的比例劃分訓(xùn)練集和測試集，訓(xùn)練集用于模型訓(xùn)練，測試集用于最終得出模型的準(zhǔn)確率。對4 種不同訓(xùn)練集進(jìn)行測試從而形成對比實驗，分別為原始訓(xùn)練集（總計1250 張），經(jīng)圖像增強后的數(shù)據(jù)集（總計4500 張），在增強數(shù)據(jù)集上進(jìn)行MSRCR 處理的訓(xùn)練集（總計4500 張）以及圖像融合訓(xùn)練集（總計4500 張）。模型訓(xùn)練時，每類數(shù)據(jù)集訓(xùn)練時參數(shù)不變。

原始數(shù)據(jù)集和圖像增強數(shù)據(jù)集的識別準(zhǔn)確率如表2 所示，增強后數(shù)據(jù)集的病害分類準(zhǔn)確率高于原始數(shù)據(jù)集，對赤星病和黃瓜花葉病毒病的識別準(zhǔn)確率可達(dá)90%。圖像增強擴充了數(shù)據(jù)集，增加了樣本數(shù)量，提高了模型的泛化能力，特別是擴充數(shù)據(jù)集后，黃瓜花葉病預(yù)測標(biāo)簽為赤星病的概率降為0，整體識別準(zhǔn)確率相較于原始數(shù)據(jù)集高了32.35%。

表2 原始數(shù)據(jù)集及圖像增強數(shù)據(jù)集的識別率Tab. 2 Identification rate on original data set and image enhancement data set %

MSRCR 數(shù)據(jù)集及圖像融合數(shù)據(jù)集的識別率如表3 所示，黃瓜花葉病和氣候性斑點病識別準(zhǔn)確率在MSRCR 數(shù)據(jù)集中分別為90%、86%，而在圖像融合數(shù)據(jù)集中分別為94%、89%，準(zhǔn)確率有所提升。MSRCR 數(shù)據(jù)集在提高圖像飽和度的同時可減少光照不均的影響，因此分類效果優(yōu)于圖像增強數(shù)據(jù)集和原始數(shù)據(jù)集。圖像融合數(shù)據(jù)集在降低光照影響的基礎(chǔ)上增強了圖像的對比度，進(jìn)一步增強了圖像的特征信息，使得氣候性斑點病誤判為赤星病與黃瓜花葉病的概率降低。該結(jié)果驗證了本文方法的有效性。

表3 MSRCR 數(shù)據(jù)集及圖像融合數(shù)據(jù)集的識別率Tab. 3 Identification rate on MSRCR training set and image fusion training set %

4 種不同數(shù)據(jù)集的識別準(zhǔn)確率及相應(yīng)的識別時間如表4 所示，經(jīng)圖像預(yù)處理的數(shù)據(jù)集平均識別準(zhǔn)確率高于原始數(shù)據(jù)集。圖像預(yù)處理增加了樣本數(shù)量并在一定程度上抑制了圖像中的無用信息，在訓(xùn)練過程中更利于特征的提取，故準(zhǔn)確率相較于原始數(shù)據(jù)集有顯著提升。因圖像融合在降低光照不均的同時保留了圖像的細(xì)節(jié)特征，避免圖像失真，增強了圖像的色彩保持效果，所以圖像融合數(shù)據(jù)集上的平均識別準(zhǔn)確率最高，為90.80%，比原始數(shù)據(jù)集提高了29.71%。隨著圖像預(yù)處理技術(shù)復(fù)雜程度的增加，平均識別時間相應(yīng)延長0.27 s，雖然圖像預(yù)處理帶來的時間延時略有提高，但提高了29.71%的識別精度，加之煙田機具作業(yè)速度有限，這種輕微的時間延時不會制約田間煙草病害的作業(yè)防治。

表4 4 種不同預(yù)處理數(shù)據(jù)集識別準(zhǔn)確率Tab. 4 The identification accuracy on four different preprocessed data sets

圖像融合數(shù)據(jù)集上的煙草病害正確識別樣例與錯誤識別樣例如圖8 所示，正確識別樣例中（圖8a）煙草赤星病、黃瓜花葉病與野火病的病害特征明顯、病斑顏色與葉片顏色形成較大反差，均能被正確識別。

錯誤識別樣例（圖8b）均為病害發(fā)生初期，野火病發(fā)病初期出現(xiàn)褐色水漬狀小圓點，周圍產(chǎn)生明顯的黃色暈圈，以后病斑逐漸擴大，性狀與赤星病較為相似；氣候性斑點病初期特征為針尖大小的水漬狀灰白色或褐色小點，病害特征不明顯，易與煙草花葉病混淆。故病害性狀相似，病害特征不明顯的圖像分類錯誤率較高，從而影響分類效果。

圖8 煙草病害識別結(jié)果樣例圖Fig. 8 Tobacco disease identification results

4 應(yīng)用前景

本研究構(gòu)建的煙草病害識別模型解決了傳統(tǒng)識別方法識別精度低的問題，對制定合理的煙草病害防治措施，提高煙草產(chǎn)量及品質(zhì)具有重要意義；對節(jié)省煙草病害田間實地診斷成本，研發(fā)煙草智能噴霧機器人提供科學(xué)依據(jù)。該研究成果可應(yīng)用于病害的在線實時準(zhǔn)確識別，從而實現(xiàn)精準(zhǔn)防治，大大提升煙草產(chǎn)量，降低病害造成的經(jīng)濟損失；也有助于豐富數(shù)字煙草研究。目前團隊已經(jīng)構(gòu)建了煙草物聯(lián)網(wǎng)設(shè)備（圖9）及山東省現(xiàn)代煙草輔助決策系統(tǒng)（圖10 和圖11），為后期集成檢測、識別和防治一體化的煙草數(shù)字化智能防治的推進(jìn)奠定了良好的基礎(chǔ)。

圖9 煙草物聯(lián)網(wǎng)設(shè)備Fig. 9 Tobacco IoT devices

圖10 煙草病蟲害查詢Fig. 10 Tobacco pests and diseases query

圖11 煙草病蟲害明細(xì)Fig. 11 Details of tobacco pests and diseases

5 結(jié)論

本文基于深度學(xué)習(xí)網(wǎng)絡(luò)和遷移學(xué)習(xí)方法構(gòu)建了煙草病害識別模型。該方法首先對煙草病害數(shù)據(jù)集進(jìn)行圖像預(yù)處理，綜合MSRCR 算法和Gamma 校正兩種算法特點，提出了一種基于加權(quán)平均的圖像融合方法，對光照不均有較好的校正效果。基于不同預(yù)處理方法獲得圖像增強數(shù)據(jù)集、MSRCR 數(shù)據(jù)集、圖像融合數(shù)據(jù)集3 種不同數(shù)據(jù)集，通過對比試驗可知圖像融合數(shù)據(jù)集上的識別準(zhǔn)確率比原始數(shù)據(jù)集上的識別準(zhǔn)確率提高了29.71%，驗證了基于圖像融合方法的有效性。

利用基于InceptionV3 網(wǎng)絡(luò)和遷移學(xué)習(xí)方法構(gòu)建的煙草病害識別模型對5 種煙草病害進(jìn)行試驗驗證，5 種病害的平均識別準(zhǔn)確率達(dá)90.80%，實現(xiàn)了煙草病害的準(zhǔn)確識別，為煙草病害的科學(xué)防治提供理論基礎(chǔ)與數(shù)據(jù)支撐。

本文算法對特征不明顯的病害圖像識別率仍需進(jìn)一步提高，特別是煙草病害發(fā)病初期的特征不明顯且某些病害特征較為相似，造成煙草病害初期的識別率偏低。針對上述問題，后期將繼續(xù)擴充數(shù)據(jù)集，改進(jìn)InceptionV3 網(wǎng)絡(luò)，增強模型對細(xì)節(jié)特征的把控，提高模型泛化能力，進(jìn)一步降低誤識別率。未來研究將結(jié)合煙草病害識別與防治的實際需要，逐步構(gòu)建并完善煙草病害識別系統(tǒng)，進(jìn)一步優(yōu)化煙草病害的自動化識別，促進(jìn)智能煙田的進(jìn)一步發(fā)展。