基于圖像分割與卷積神經(jīng)網(wǎng)絡的水稻病害識別

萬 穎楊紅云王映龍羅建軍梅 夢

(1.江西農(nóng)業(yè)大學 計算機信息與工程學院,南昌 330045;2.江西農(nóng)業(yè)大學 軟件學院,南昌 330045;3.江西省商務學校 基礎教學部,南昌 330103)

農(nóng)作物病害是中國農(nóng)業(yè)災害之一,也是制約農(nóng)業(yè)可持續(xù)發(fā)展的主要因素之一,不僅對農(nóng)作物生產(chǎn)造成損失,還會對食品安全產(chǎn)生威脅[1-2]。而識別病害則要求鑒定人員具有豐富的專業(yè)知識與實際經(jīng)驗,且鑒定分析過程既費時又費力,因此需要借助計算機和互聯(lián)網(wǎng)技術(shù)來幫助農(nóng)民判斷作物疾病并及時做出預防。自20世紀50年代以來,研究者就利用圖像處理技術(shù)來開展農(nóng)作物病害識別的研究[3-4]。

水稻作為世界主要糧食作物之一,其病害是影響產(chǎn)量的主要因素之一,所以快速、準確的識別與檢測水稻病害并進行有效的防治是非常重要的[5]。在圖像識別方面,傳統(tǒng)的圖像技術(shù)與機器學習過程較為繁瑣,高光譜、紅光譜等技術(shù)[6-7]需獲取水稻病害圖像的光譜信息及圖像信息,傳統(tǒng)機器學習方法如判別分析、支持向量機等,在對圖像病害進行分類識別前需先利用圖像處理技術(shù)提取水稻病害病斑的顏色、紋理、形狀等特征向量,再從中篩選出有效特征[8-13],才可達到對病害較高的識別準確率。

圖像分割是常用的圖像處理技術(shù),根據(jù)像素值大小把一副圖像劃分成若干個相似的區(qū)域,并能用輪廓線區(qū)分,可減少背景等因素的影響[14],常見的分割方法有區(qū)域生長分割、最大類間方差法(OTSU)及分水嶺分割等。

卷積神經(jīng)網(wǎng)絡是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡[15],在農(nóng)作物識別方面有較好的成果[16-17]。樊湘鵬等[18]引入卷積神經(jīng)網(wǎng)絡中Faster-CNN 算法并將其進行適應性改進,經(jīng)試驗對比可知,以VGG16卷積層結(jié)構(gòu)作為特征提取網(wǎng)絡的識別框架,對9種玉米病害的平均識別準確率為97.23%。楊明欣等[19]利用遷移MobileNet V2網(wǎng)絡模型對玉米病害小樣本進行識別分類,結(jié)果表明該模型識別準確率達到97.23%。陳善雄等[20]結(jié)合最大穩(wěn)定極值區(qū)域和卷積神經(jīng)網(wǎng)絡對病害區(qū)域和非病害區(qū)域進行分離,在傳統(tǒng)卷積神經(jīng)網(wǎng)絡框架上加入兩級inception結(jié)構(gòu),最終對8種蕎麥病害圖像的平均識別精準率達97.5%。在水稻病害識別方面,譚云蘭等[21]采用深度卷積神經(jīng)網(wǎng)絡實現(xiàn)對8類水稻病害的識別分類,試驗表明網(wǎng)絡模型得到了較高的識別精度,其中紋枯病的準確率為93%。劉成[22]運用卷積神經(jīng)網(wǎng)絡與機器學習分別對水稻病害圖像進行分類識別,試驗結(jié)果表明卷積神經(jīng)網(wǎng)絡的識別效果更優(yōu),準確率達96.7%。

傳統(tǒng)的圖像技術(shù)和機器學習對圖像特定特征依賴性強,而卷積神經(jīng)網(wǎng)絡可通過大量的訓練樣本自動提取圖像特征,大大降低了模型的局限性。本文以自然狀態(tài)背景下的白葉枯病、赤枯病、胡麻斑病和紋枯病4類水稻病害為對象,結(jié)合圖像分割與卷積神經(jīng)網(wǎng)絡建立病害識別模型,通過比較、分析模型的訓練及測試識別效果,計算評價性能指標,獲得更為有效的模型,為進一步研究更智能化地識別水稻病害提供支持。

1 材料與方法

1.1 樣本材料

以水稻病害為識別對象,并對采集到的圖像進行人工處理后構(gòu)建為本次試驗的數(shù)據(jù)集。為了提高模型的特征學習能力和抗干擾,對原始圖像進行隨機旋轉(zhuǎn)(逆時針5°至順時針5°)、隨機翻轉(zhuǎn)、隨機亮度變換及隨機對比度等數(shù)據(jù)擴充處理,擴充后白葉枯病樣本數(shù)量為450張,赤枯病和紋枯病樣本數(shù)量均為400張,胡麻斑病樣本數(shù)量為350張。設置卷積神經(jīng)網(wǎng)絡的訓練樣本和測試樣本的比例為8∶2,則最終訓練樣本有1 280張,測試樣本有320張。

1.2 圖像分割算法

采用區(qū)域生長、CV 模型和顯著性檢測3 種算法對水稻病害圖像進行分割。

區(qū)域生長法:區(qū)域生長法是將具有相似特征的像素合并為區(qū)域,每個像素種子點都會根據(jù)某種相似性準則將具有相似特征的相鄰像素歸并到種子像素所在的區(qū)域中,當沒有新像素納入?yún)^(qū)域時停止生長,完成分割[23-24]。為得到較好的分割效果,選擇合理的種子點和生長準則,是非常重要的。

CV 模型:CV 模型是由Chan和Vese提出的一種基于區(qū)域的幾何輪廓模型,其引入了水平集函數(shù)來獲取最優(yōu)輪廓,該模型已被運用于多領(lǐng)域的圖像分割,它具有易于處理曲線的拓撲結(jié)構(gòu)變化[25-26]。計算過程是將圖像分為前景和后景后,預估它們的平均像素,在定義域Ω 上,封閉曲線將其分為曲線內(nèi)和曲線外,然后初始化水平集函數(shù),最后將每個像素點進行演化。

顯著性檢測:顯著性檢測是通過自上而下的目標驅(qū)動或自下而上的數(shù)據(jù)驅(qū)動方式,自動地從圖像中提取最突出或最能吸引視覺注意的局部區(qū)域[27-28]。

1.3 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡包含了輸入層、卷積層、池化層(取樣層)、全連接層及輸出層。輸入層也就是整個神經(jīng)網(wǎng)絡的輸入,可以是任意尺寸的圖像。試驗中SIX_CNN 和EIGHT_CNN 的輸入層圖像像素大小分別與LeNet-5、Alex Net經(jīng)典網(wǎng)絡的輸入層大小相同,輸入層圖像通道均為3。

卷積層是卷積神經(jīng)網(wǎng)絡中最為重要的部分,在卷積神經(jīng)網(wǎng)絡中,卷積層的參數(shù)個數(shù)和圖片的大小無關(guān),只和過濾器的尺寸、深度以及當前層節(jié)點矩陣的深度有關(guān)。所以比起全連接網(wǎng)絡層,它大幅度地減少了參數(shù)個數(shù),加快計算深度,所以能夠很好地擴展到更大的圖像數(shù)據(jù)上。池化層中進行矩陣運算時,不會改變矩陣的深度,并通過有效縮小矩陣尺寸來減少后面全連接層的參數(shù)。使用池化層既可以加快速度也可以防止過擬合,且對模型效果的影響不大。本試驗中神經(jīng)卷積網(wǎng)絡的池化類型均為最大池化。

卷積神經(jīng)網(wǎng)絡參數(shù):試驗中的SIX_CNN 包含兩層卷積層、兩層池化層以及兩層全連接層,EIGHT_CNN 中包含三層卷積層、三層池化層以及兩層全連接層。SIX_CNN 與EIGHT_CNN均使用softmax分類器來得到測試圖像各個類別的概率。其中的核大小及步長等參數(shù)如表1所示。

表1 卷積神經(jīng)網(wǎng)絡參數(shù)Table 1 Parameters of the convolutional neural network

1.4 卷積神經(jīng)網(wǎng)絡模型訓練流程

采用3種圖像分割方法對數(shù)據(jù)集進行處理,并將分割后的圖像分別輸入兩個卷積神經(jīng)網(wǎng)絡,經(jīng)過訓練得到6個網(wǎng)絡模型,將原始數(shù)據(jù)輸入較深的卷積神經(jīng)網(wǎng)絡中實現(xiàn)端到端的卷積神經(jīng)網(wǎng)絡訓練,得到1個網(wǎng)絡模型。識別具體流程如圖1所示。

圖1 模型訓練流程圖Fig.1 Flow chart of model training

1.5 基于顯著性檢測與EIGHT_CNN 卷積神經(jīng)網(wǎng)絡的病害識別

輸入圖像I后,就已知圖像中的某個像素Ik,Ik∈[0,255],將輸入圖像轉(zhuǎn)化為灰度圖后,獲取直方圖D就可知像素值An的次數(shù)為Fn,An∈[0,255]。元素D(x,y)=|Ax-Ay|表示像素Ax與像素Ay之間的顏色差距,且因為An∈[0,255],D(x,y)∈[0,255]。此時像素Ik的顯著值Sals(Ik)計算[29]為公式:

神經(jīng)網(wǎng)絡輸入為三維圖像,同時為增強卷積神經(jīng)網(wǎng)絡對圖像的學習,提高識別率,將Sals(Ik)計算后的圖片與原圖的像素進行減法運算,增強對比度,降低復雜背景的影響。圖像進行減運算后的像素值為Zk,范圍為[0,255],計算公式為Zk=Ik-Sals(Ik)。

圖像經(jīng)顯著性檢測分割后,輸入EIGHT_CNN 卷積網(wǎng)絡,為了更好地管理和優(yōu)化神經(jīng)網(wǎng)絡的訓練過程,采用可視化工具Tensorboard。圖2展示了整個神經(jīng)網(wǎng)絡的結(jié)構(gòu),圖中實線表示了計算結(jié)點之間的數(shù)據(jù)傳輸,箭頭方向表達了數(shù)據(jù)傳輸?shù)姆较?且每條邊上標注了張量的維度。由圖可知,三層卷積層處理后得到的張量維度分別為57×57×48,28×28×128,13×13×192,最后一層池化層向第一層全連接層傳輸?shù)木S度為6 912,經(jīng)softmax分類后的維度為4。

圖2 EIGHT_CNN 神經(jīng)網(wǎng)絡結(jié)構(gòu)圖Fig.2 Structure diagram of EIGHT_CNN neural network

試驗中l(wèi)oss_function節(jié)點存放的是計算損失函數(shù)相關(guān)的計算,Train_step節(jié)點存放的是學習率、優(yōu)化方法以及每一輪訓練需要執(zhí)行的操作,該節(jié)點與其他節(jié)點有較多的連接,圖3可較清晰地看出,每一個卷積層、池化層和全連接層均會將數(shù)據(jù)輸入該節(jié)點進行處理,而該節(jié)點無數(shù)據(jù)輸出。moving_average節(jié)點存放的則是處理滑動平均相關(guān)的計算,由圖4可看出,網(wǎng)絡每一層的數(shù)據(jù)都會經(jīng)過滑動平均計算。

圖3 train_step節(jié)點連接示意圖Fig.3 Node connection diagram of train_step

圖4 moving_averge節(jié)點連接示意圖Fig.4 Node connection diagram of moving_averge

2 結(jié)果與分析

試驗中均通過Opencv 軟件庫進行圖像處理,平臺為Visual Studio 2016,神經(jīng)網(wǎng)絡采用基于python語言的Tersorflow 深度學習框架。所用的計算機配置為Inter(R)Core(TM)i5-6500 CPU@3.20 GHz 3.19 GHz,RAM 為8.00 GB,系統(tǒng)為64位操作系統(tǒng)。試驗中每個模型的輸入數(shù)據(jù)大小均為1 600 張彩色圖像,其中隨機的1 280張圖像為訓練樣本,320 張圖像為測試樣本。模型訓練采用批量訓練的方法,每個批次訓練的樣本數(shù)為64。試驗經(jīng)過多次更改迭代次數(shù)、損失函數(shù)、學習率等參數(shù)后,最終卷積神經(jīng)網(wǎng)絡SIX_CNN 與EIGHT_CNN 均 選 擇 了500 次 迭代,而SIX_CNN 中的學習率選擇了0.01,EIGHT_CNN 中的學習率選擇了0.001,SIX_CNN 中卷積層和全連接層的激活函數(shù)均為Relu,EIGHT_CNN 中的卷積層激活函數(shù)為Relu,而全連接層的激活函數(shù)為Sigmoid。

2.1 圖像分割結(jié)果

試驗采用區(qū)域生長法、顯著性檢測和CV 模型對水稻病害圖像進行自動分割,表2展示了各分割方法下4種水稻病害圖像的分割結(jié)果。將分割后得到的水稻病害圖像分別作為本次試驗中兩種卷積神經(jīng)網(wǎng)絡的輸入圖像,將得到6種病害識別模型。

2.2 模型損失值與準確率

交叉熵是判斷一個輸出向量和期望的向量之間的接近程度常用的評判方法之一。它刻畫的是兩個概率分布之間的距離,也是分類問題中使用比較廣的一個種損失函數(shù)。由于交叉熵與softmax回歸一起使用,Tensorflow 對這兩個功能進行了統(tǒng)一封裝。圖5～圖10分別展示了6個模型以迭代次數(shù)為橫軸的訓練損失值和訓練準確率、測試損失值和測試準確率的曲線波動。圖中紅線代表訓練損失曲線,藍線代表測試損失曲線,紫線代表訓練準確率曲線,黑線代表測試準確率曲線。

圖5 Reg_SIX_CNN_model曲線波動Fig.5 Curve fluctuation diagram of Reg_SIX_CNN_model

圖6 Cv_SIX_CNN_model曲線波動Fig.6 Curve fluctuation diagram of Cv_SIX_CNN_model

圖7 Sal_SIX_CNN_model曲線波動Fig.7 Curve fluctuation diagram of Sal_SIX_CNN_model

由圖5～圖10中可看出,SIX_CNN 訓練的3個模型損失值下降得較快,較早開始趨于穩(wěn)定,可知該網(wǎng)絡的收斂速度更快。EIGHT_CNN 網(wǎng)絡中損失值則下降得比較緩慢,最后逐漸趨于穩(wěn)定。各模型的識別準確率見表3。

表3 模型識別準確率Table 3 Accuracy of model recognition

由上可知,卷積神經(jīng)網(wǎng)絡識別結(jié)果均為95%以上。當網(wǎng)絡模型不變時,顯著性檢測處理過的圖像數(shù)據(jù)的識別結(jié)果最高,可知本試驗中顯著性檢測對該數(shù)據(jù)集分割后更有利于圖像的識別。當處理圖像方法不變時,卷積網(wǎng)絡EIGHT_CNN 的識別結(jié)果較高,可知EIGHT_CNN 網(wǎng)絡對該數(shù)據(jù)集的效果更強。綜合看來,Sal_EIGHT_CNN_model模型的識別結(jié)果最高,魯棒性更強。

2.3 評價性能指標

4種水稻病害分類中,可劃分為4種兩分類情況。當以白葉枯病為中心作為正類時,赤枯病、胡麻斑病及紋枯病為負類。那么,實際為白枯病的圖片被判定為白枯病的總數(shù)量為TP1,實際為白枯病的圖片被判定為其他3種病害的總數(shù)量為FN1,實際為其他3種病害的圖片被判定為白枯病的總數(shù)量為FP1。

表4 各模型下4種病害精準率Table 4 Precision values of four diseases of each model

各模型下4種病害的Recall值見表5,綜合精準率和召回率,可知神經(jīng)網(wǎng)絡模型對4種病害的識別情況,如在Cv_EIGHT_CNN_model中,赤枯病的召回率為0.99,可知在赤枯病測試圖像中有99%以上的圖像識別正確,則該病害圖像被預測為其他3種病害的可能性較小,從赤枯病精確率及白葉枯病召回率可看出,其他兩種病害被預測為赤枯病的圖像較多,整體觀察可知,該模型對白葉枯病的識別效果最好。

表5 各模型下4種病害Recall值Table 5 Recall values of four diseases of each model

通過上式的計算,各模型的F1值見表6。結(jié)果可知,當分割方法不變時,EIGHT_CNN 網(wǎng)絡下的模型F1 score較高,當卷積神經(jīng)網(wǎng)絡不變時,顯著性檢測分割后的圖像輸入卷積網(wǎng)絡得到的F1 score較高。結(jié)合各模型精確率、召回率與評價指標F1值,可知Sal_EIGHT_CNN_model該模型在本試驗中識別結(jié)果為最佳。

表6 各模型F 1值Table 6 F 1 score of each model

2.4 Sal_EIGHT_CNN_model模型與端到端的EIGHT_CNN_model網(wǎng)絡模型的對比

為進一步驗證Sal_EIGHT_CNN_model網(wǎng)絡模型在水稻病害的識別能力,將數(shù)據(jù)增強后的水稻病害原圖像輸入EIGHT_CNN 網(wǎng)絡中實現(xiàn)端到端的網(wǎng)絡模型訓練,圖11 展示EIGHT_CNN 模型的訓練損失值和訓練準確率、測試損失值和測試準確率的曲線波動。將圖11 與圖10 Sal_EIGHT_CNN_model曲線波動圖進行對比,可知數(shù)據(jù)經(jīng)顯著性檢測分割后得到的網(wǎng)絡模型比端到端深度學習網(wǎng)絡模型更加穩(wěn)定,較少出現(xiàn)損失曲線或準確率曲線突升或突降的現(xiàn)象。

圖11 EIGHT_CNN_model曲線波動Fig.11 Curve fluctuation diagram of EIGHT_CNN_model

為直觀對比Sal_EIGHT_CNN_model模型與EIGHT_CNN_model模型對病害圖像數(shù)據(jù)的識別結(jié)果,給出了兩個模型的訓練、測試識別準確率和F1值(表7)。

表7 Sal_EIGHT_CNN_model與EIGHT_CNN_model對比Table 7 Comparison ofn Sal_EIGHT_CNN_model andEIGHT_CNN_model

從表7可知,Sal_EIGHT_CNN_model模型比EIGHT_CNN_model模型的訓練準確率高1.07個百分點,測試準確率上提1.30個百分點。F1值對比表明,Sal_EIGHT_CNN_model中將一種病害判定為其他3 種病害的概率低于EIGHT_CNN_model,即Sal_EIGHT_CNN_model模型對4種水稻病害圖像的識別結(jié)果優(yōu)于EIGHT_CNN_model模型。由此可知,將圖像進行顯著性檢測分割后,更有利于卷積神經(jīng)網(wǎng)絡對病斑特征的提取及識別分類,得到最佳的網(wǎng)絡識別模型。

3 討論與結(jié)論

為提高計算機視覺對水稻病害的自覺準確識別率,采用不同的圖像處理方法與卷積神經(jīng)網(wǎng)絡,對水稻的4種病害進行識別分類。由試驗結(jié)果可知,不同的圖像處理得到不同的分割效果,其中顯著性檢測算法對病害圖像的分割效果最好,減少了背景等干擾因素對卷積神經(jīng)網(wǎng)絡識別的影響,表明對數(shù)據(jù)集進行不同的圖像處理會明顯得影響卷積神經(jīng)網(wǎng)絡識別結(jié)果,圖像數(shù)據(jù)的不同對比度、亮度及病斑的不同位置可增強模型的泛化能力。從SIX_CNN 和EIGHT_CNN 的試驗結(jié)果可知,網(wǎng)絡層數(shù)更深的卷積神經(jīng)網(wǎng)絡提取的病斑病理特征更優(yōu),使得softmax 分類器識別的結(jié)果更佳。將圖像分割后得到的網(wǎng)絡模型與端到端卷積神經(jīng)網(wǎng)絡識別模型進行對比后可知,卷積神經(jīng)網(wǎng)絡對水稻病斑特征具有較強的自我學習能力,而經(jīng)過顯著性檢測分割的圖像數(shù)據(jù),降低了背景等噪聲對卷積神經(jīng)網(wǎng)絡的影響,提升了網(wǎng)絡模型的識別能力。試驗對比可知Sal_EIGHT_CNN_model模型的識別準確率最高,測試識別準確率達到99.88%。

對試驗中常見的過擬合[30-31]現(xiàn)象,本研究也采取一系列策略:試驗中通過增加圖像的對比度、亮度及對圖像進行翻轉(zhuǎn)等方法增強數(shù)據(jù),以此來減少模型的過擬合;試驗中卷積神經(jīng)網(wǎng)絡的全連接層均采用了Dropout,因Hinton 等[32]提出的Dropout通過在訓練過程中隨機地忽略一定比例的節(jié)點響應,減輕傳統(tǒng)全連接神經(jīng)網(wǎng)絡的過擬合問題,有效地提高網(wǎng)絡的泛化性能;通過使用批次歸一化來減少過擬合風險[33]。

馬超等[34]對水稻病斑與非病斑的樣本塊提取HOG 特征,將這些特征作為輸入向量代入SVM 分類器進行訓練,最后的研究結(jié)果表明,HOG+SVM 對多種病斑檢測的綜合識別率可達94%以上。牛旭[35]搭建的卷積神經(jīng)網(wǎng)絡對水稻病害平均識別準確率達96%。劉婷婷等[36]建立的CNN 網(wǎng)絡模型對水稻紋枯病的準確識別率達97%。邱靖等[37]搭建的深度卷積神經(jīng)網(wǎng)絡對水稻病害的識別準確率最高可達96.67%。由此可見,目前計算機技術(shù)在水稻病害識別中的應用已取得較好的成果。經(jīng)比較,Sal_EIGHT_CNN_model模型識別率較高,模型有效可行,且具有更強的魯棒性,可降低圖像背景、圖像位置、圖像采光等對識別的影響。為推進推廣運用,研究還有一定的提升空間,后續(xù)需要繼續(xù)進行的試驗方向有以下幾個:增加訓練樣本的種類和數(shù)量,使得智能分類的品種更多;增強對圖像的處理,降低光照角度等拍攝原因?qū)ψR別的影響;訓練更多更優(yōu)的神經(jīng)網(wǎng)絡,提高對更多種類的識別準確率,希望未來也能運用到其他病害的識別。

采用圖像分割結(jié)合卷積神經(jīng)網(wǎng)絡的方法對水稻病害進行識別,減低復雜背景的影響,提高了模型的計算準確率,且本研究提出的7個網(wǎng)絡模型,對白葉枯病、赤枯病、胡麻斑和紋枯病的總識別率均達到95% 以上。其中基于顯著性檢測與EIGHT_CNN 卷積神經(jīng)網(wǎng)絡的模型測試識別率達到99.88%,相比較于其他模型,識別精度更高,魯棒性更強,也可為后續(xù)的病害葉片智能識別提供理論依據(jù)。