基于知識圖譜與深度學習的黃瓜葉部病害識別方法
2023-09-11 07:48:26張會敏謝澤奇
江蘇農(nóng)業(yè)科學 2023年15期
張會敏 謝澤奇
摘要：黃瓜病害識別是病害防治的提前。針對現(xiàn)有作物病害識別方法中存在實體關系交叉關聯(lián)、多源異構(gòu)數(shù)據(jù)聚合能力差、依靠大規(guī)模標注數(shù)據(jù)、缺乏專家經(jīng)驗知識指導等問題，提出一種知識圖譜與深度學習的黃瓜葉部病害識別方法（KGCNN）。該方法通過知識圖譜與實體鏈接消歧嵌入獲取作物病害知識圖譜中的結(jié)構(gòu)化病害知識，并將病害特征詞向量與知識實體向量作為卷積神經(jīng)網(wǎng)絡的多通道輸入，在卷積過程中從知識和語義2個層面表示不同病害類型。與現(xiàn)有的作物葉部病害識別方法相比，該方法充分利用了知識圖譜和CNN分別在知識表示和特征學習方面的優(yōu)勢。在由黃瓜白粉病、斑點病和角斑病的病害葉片及其對應的環(huán)境氣候氣象信息的數(shù)據(jù)集上進行訓練和測試。結(jié)果表明該方法的識別性能優(yōu)于基于CNN及其改進模型和其他病害識別方法。該方法適用于作物初步病害識別，可為其他作物病害的識別提供技術支持。
關鍵詞：知識圖譜；卷積神經(jīng)網(wǎng)絡；作物病害識別；數(shù)據(jù)融合；黃瓜
中圖分類號：TP391.41 文獻標志碼：A
文章編號：1002-1302（2023）15-0173-06
基金項目：國家自然科學基金（編號：62072378）；河南省教育廳高等學校重點科研項目（編號：20A520045）。
作者簡介：張會敏（1981—），女，河南漯河人，碩士，副教授，研究方向為計算機應用與圖像處理。E-mail：513102773@qq.com。
通信作者：謝澤奇，碩士，副教授，研究方向為計算機應用。E-mail：xzq0413@163.com。
黃瓜病害嚴重降低了黃瓜的數(shù)量和質(zhì)量。及時、準確地檢測和識別黃瓜病害具有重要意義。事實上，黃瓜病害的大部分癥狀首先表現(xiàn)在葉片上，不同類型的病害導致不同的葉片癥狀。因此，葉片癥狀是作物葉部病害檢測和識別的主要依據(jù)［1-3］。傳統(tǒng)的黃瓜葉部病害識別方法的性能依賴于提取的手工特征，如顏色直方圖、共現(xiàn)矩陣、尺度不變特征變換（SIFT）、和差直方圖（ISADH）、局部二值模式（LBP）、面向梯度的金字塔直方圖（PHOG）、空間灰度依賴矩陣（SGDM）、顏色結(jié)構(gòu)描述符（CSD）、可擴展的顏色描述符（SCD）和顏色布局描述符（CLD）［4-6］。這些特征不足以準確可靠地描述病害癥狀，因為病害葉片圖像的顏色、形狀和紋理非常復雜，同類病害的不同葉片甚至同一葉片的病害癥狀在不同時期的差異很大，如圖1所示，同類病害葉片和不同類病害葉片的癥狀差異較大，所以傳統(tǒng)基于特征提取的方法的識別率不高、泛化性不強［7-10］。
近年來，卷積神經(jīng)網(wǎng)絡（CNN）及其改進模型在作物葉部病害識別中取得了很高的識別率［11-13］。CNN能夠自動學習病害葉片圖像的分類特征，避免了提取人工設計的特征的主觀性［14-15］。但是，CNN及其改進模型通過大規(guī)模標注樣本訓練模型中的大量參數(shù)，訓練時間很長，而且需要較強的算力［16-17］。為了解決這一問題，有學者將知識圖譜（KG）引入到CNN中，取得了顯著效果［18-19］。KG是大數(shù)據(jù)和人工智能時代興起的一種新型知識組織和管理技術，具有機器可理解的知識和信息挖掘能力。將海量多源異構(gòu)數(shù)據(jù)整合、整理、標準化納入知識服務系統(tǒng)，可以提高知識檢索、知識問答、決策支持、知識可視化等服務效果，增強知識服務能力［20-21］。利用蘊含于KG中的知識指導深度學習從而提升其性能，已成為深度學習應用研究的重要問題之一。本研究提出一種基于知識圖譜與深度學習的黃瓜葉部病害識別方法，以期為黃瓜葉部病害的識別提供技術支持。
1 材料與方法
1.1 數(shù)據(jù)與預處理
構(gòu)建黃瓜白粉病、斑點病和角斑病的病害葉片圖像及其對應的環(huán)境氣候氣象信息的數(shù)據(jù)集，數(shù)據(jù)來源：（1）國家農(nóng)業(yè)科學數(shù)據(jù)共享中心的作物病蟲害數(shù)據(jù)庫，包含4 000多條農(nóng)業(yè)病蟲害信息；（2）從中國農(nóng)業(yè)網(wǎng)（http：//www.agronet.com.cn/）下載的黃瓜白粉病、斑點病和角斑病圖像各100幅；（3）中國作物種質(zhì)信息網(wǎng)-作物病蟲害知識網(wǎng)站（http：//www.cgris.net/disease/default.html）。
本研究采用Python語言的Scrapy框架爬取相應的有用數(shù)據(jù)4 000條，包含發(fā)生發(fā)展的環(huán)境氣候氣象數(shù)據(jù)。這些數(shù)據(jù)和圖像通常包含大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，一般是海量、冗余、含噪數(shù)據(jù)，直接利用原始數(shù)據(jù)可能降低KG質(zhì)量，所以需通過數(shù)據(jù)清洗。可以結(jié)合規(guī)則和人工審核以及結(jié)合農(nóng)業(yè)病蟲害領域?qū)I(yè)知識等方式對爬取的數(shù)據(jù)進行預處理，得到無噪純文本語料，保證數(shù)據(jù)可靠性。非結(jié)構(gòu)化信息抽取主要包括實體抽取與關系抽取，可以利用自然語言處理工具NLPIR漢語分詞系統(tǒng)分詞，然后標注文本中詞匯的詞性，最后依據(jù)詞性來識別相應的實體和實體屬性。結(jié)構(gòu)化數(shù)據(jù)通過D2R進行處理，最后存儲為Neo4j圖形數(shù)據(jù)庫。圖2為本研究構(gòu)建的黃瓜葉部病害KG部分內(nèi)容。
1.2 三元組結(jié)構(gòu)和KG構(gòu)建
作物病害KG是現(xiàn)實世界中由作物病害實體、實體間關系相互連接起來所形成的一種圖譜網(wǎng)絡結(jié)構(gòu)，可用三元組表示：
1.3 知識圖譜嵌入
KG嵌入是利用知識表示學習模型對KG中的實體和關系嵌入到一個數(shù)學空間來進行學習，通過將head、tail 或relation映射到低維稠密向量空間來保存語義信息，進而得到各實體向量表示，最后進行計算和推理［22］。
知識表示學習模型TransE是關系庫向量化的基礎，可有效處理1 ∶1關系，主要適用于構(gòu)建作物病害知識圖譜。TransD包含通過映射矩陣聯(lián)系的實體空間和關系空間，映射矩陣簡化為2個向量的積。根據(jù)word2vec模型原理，將每個三元組中的關系是從實體head翻譯到實體tail，再不斷調(diào)整h向量、r向量和t 向量，實現(xiàn)h+r≈t。數(shù)學上通過對實體和關系建模，將它們映射到相同的向量空間中。通過使用2個投影矩陣Mrh和Mrt將頭實體h和尾實體t分別映射到關系空間，通過公式（1）來約束對實體和關系建模：
在TransD中，鑒于語義上越接近的詞匯，在其映射時得到的實數(shù)向量也越接近，因此，還需要計算其所有上下文實體的平均值，其計算過程如下：
針對復雜關系的作物病害KG，下面采用TransD模型對三元組數(shù)據(jù)進行嵌入，其過程如圖3所示。
1.4 基于KG與CNN的作物病害識別方法
基于KG與CNN的作物病害識別方法，記為KGCNN方法，包括3個部分：選取作物病害特征、提取結(jié)構(gòu)化知識以及訓練卷積神經(jīng)網(wǎng)絡。圖4為KGCNN的整體結(jié)構(gòu)。
主要過程表述如下。
（1）黃瓜病害特征選擇。黃瓜病害描述是病害癥狀、病害原因以及病害程度等的描述語句。為了快速識別與病害有關的關鍵詞，需要對病害文本數(shù)據(jù)進行處理，包括數(shù)據(jù)清洗、特征標注、病害識別等操作，同時刪除無用的字詞，從而得到與病害特征描述相關的病害特征關鍵詞。將由n個特征關鍵詞可以組成對應的病害特征，可表示為x=［w1，w2，…，wn］，其中wi為每個病害特征詞轉(zhuǎn)換后的詞向量，主要為每一種病害語句使用CBOW （continuous bag-of-words）模型來實現(xiàn)轉(zhuǎn)換，即映射為d維表示向量w1：i∈Rd。
（3）黃瓜病害識別。將（2）中得到病害描述文本e（x）輸入給softmax分類器，計算出該病害文本 e（xk） 在在第k種病害上的輸出概率p（yk），并經(jīng)softmax歸一化后表示為
其中：si為輸出yi對應的參數(shù)；bi為第i種病害對應的偏置；n為作物病害類別的數(shù)量；bk為第k種病害對應的偏置。
2 結(jié)果與分析
選擇的CNN為ALexNet模型，選擇病害圖像癥狀和環(huán)境氣候氣象特征為：（1）外觀形狀特征：病斑圖像的面積、周長、圓形度、矩形度、偏心率、方向角、最小外接矩形面積和Hu的7個不變矩共14個形態(tài)學特征；（2）顏色特征：病斑圖像Ｒ、G、B的偏度、均值、峰值、標準差、方差等共15個顏色分類特征；（3）紋理特征：灰度共生矩陣法分別計算病斑區(qū)域的能量、熵、慣性矩、相關性、均值、方差等6個統(tǒng)計特征；（4）對應的環(huán)境氣候氣象特征：土壤溫度、土壤濕度、是否連種、土壤鹽分、微生物含量、空氣溫濕度、降水量、雨日數(shù)、光照強度、CO2濃度、農(nóng)藥使用量和發(fā)病季節(jié)［23-26］。
1條數(shù)據(jù)是由1幅病害葉片圖像的以上形狀、顏色和紋理特征及其對應的環(huán)境氣候氣象特征構(gòu)成，由此可以得到每種病害100條數(shù)據(jù)。為了驗證本研究算法的有效性，試驗于2022年11—12月在IBM服務器上進行，實驗環(huán)境：操作系統(tǒng)為Ubuntu、內(nèi)存32 G、CPU 11th Gen Intel CoreTM i7-1165G7 2.80 GHz，深度學習架構(gòu)為tersonflow 2.0，編程語言為Python 3.8。采用5-折交差驗證法進行試驗，并與深度CNN （DCNN）［13］、全局池化空洞CNN（GPDCNN）［16］、基于動態(tài)集成（DI）［25］和基于葉片圖像和環(huán)境信息（LIEI）［27］進行比較，驗證所提出的方法的有效性。
為更客觀地評估病害的檢測效果，引入檢測準確率（precision）、召回率（recall）和平均分數(shù)（F1）3個評估指標，以測量檢測結(jié)果與實際標記圖像之間的差異，計算如下：
其中，TP、TN、FP和FN分別是真陽性（TP）、真陰性（TN）、假陽性（FP）和假陰性（FN）的樣本數(shù)。精度范圍為（0，1），接近1意味著更好的預測。
在重復5-折交差驗證試驗20次。在每次5-折交差驗證試驗，每種病害的隨機選擇訓練數(shù)據(jù)為80條，3種病害共240條用于構(gòu)建KG和訓練所提出識別方法中的KGCNN模型，其余為測試數(shù)據(jù)，再利用公式（10）識別黃瓜病害類型，最后計算所有試驗的平均值為試驗結(jié)果。表1給出本研究提出的方法在3種黃瓜病害（斑點病、角斑病、白粉病）上的識別結(jié)果，表2為所提出的方法和4種比較方法的20次試驗的平均識別率。DI的結(jié)果最差，其原因是動態(tài)集成中用到的分類特征都為人工設計的特征，不能準確描述病害的特征。
由表1可以看出，本研究提出的方法在3種常見的病害上識別準確率都在92%以上，其中在斑點病上識別率最高，達到94.34%，平均識別率、召回率和F1分數(shù)都在93%以上，滿足作物病害要求。
為了驗證本模型的有效性和優(yōu)越性，將KGCNN模型與DCNN、基于動態(tài)集成DI模型、GPDCNN模型、LIEI模型進行對比，各模型的收斂曲線如圖5所示。從圖5可以看出，KGCNN模型在訓練10個迭代之后趨于收斂，收斂速度與其他模型相比差別不大，并且KGCNN模型在識別率與訓練時間上都更具有優(yōu)勢，充分體現(xiàn)該模型的有效性。因此，無論從模型性能還是訓練效率均可證明基于KGCNN的黃瓜病蟲害命名實體識別方法的有效性和優(yōu)越性。
基于5種方法對3種黃瓜病害的平均識別率和標準差如表2所示。從表2中可以看出，基于KGCNN的黃瓜病害識別方法識別結(jié)果遠優(yōu)于其他4種方法，其主要原因為本研究所提出的方法充分利用了病害的先驗知識，并通過KG能夠得到病害葉片圖像與病害癥狀之間的關聯(lián)關系，能夠從病害發(fā)生的環(huán)境氣候氣象信息中深度挖掘病害分類特征，具有判斷和推理性能，從而得到較好的識別結(jié)果；盡管LIEI也利用了病害的環(huán)境氣候氣象特征，但只是將這些特征拼接于病害葉片圖像特征中進行病害識別。GPDCNN的識別效果高于DCNN，其原因是利用膨脹卷積層恢復空間分辨率，GPDCNN還集成了擴張卷積和全局池化的優(yōu)點。在DI、LIEI和KGCNN方法中，首先需要對病害葉片圖像分割，得到病斑圖像，然后提出分類特征。而DCNN和GPDCNN直接利用了病害葉片圖像進行病害識別。
3 結(jié)論
本研究利用黃瓜葉部病害圖像及其癥狀描述，探討了知識圖譜和深度學習在作物病害識別中的應用，提出了一種基于知識圖譜和卷積神經(jīng)網(wǎng)絡的黃瓜病害識別方法。該方法引入病害知識圖譜知識，通過病害特征描述文本客觀數(shù)據(jù)來訓練卷積神經(jīng)網(wǎng)絡，可以獲取到更直接更全面的病害特征描述，進而提升模型快速獲取更全面的高層文本特征的能力，有效地提高各類作物病害識別的準確率。試驗結(jié)果表明，該方法能夠應用于黃瓜病害識別系統(tǒng)。由于構(gòu)建大規(guī)模、可動態(tài)更新的知識圖譜是一件復雜過程，但可以應用于農(nóng)業(yè)領域的很多方面。下一步的研究工作重點在構(gòu)建一個利用農(nóng)業(yè)物聯(lián)網(wǎng)采集的海量環(huán)境氣候氣象信息，與病害葉片圖像相結(jié)合，對作物病害進行識別與預測以及了解病害發(fā)生發(fā)展的機制。
參考文獻：
［1］Martinelli F，Scalenghe R，Davino S，et al. Advanced methods of plant disease detection：a review［J］. Agronomy for Sustainable Development，2015，35（1）：1-25.
［2］張 燕，田國英，楊英茹，等. 基于SVM的設施番茄早疫病在線識別方法研究［J］. 農(nóng)業(yè)機械學報，2021，52（增刊1）：125-133，206.
［3］Zahid I，Attique K M，Muhammad S，et al. An automated detection and classification of citrus plant diseases using image processing techniques：a review ［J］. Computers and Electronics in Agriculture，2018，153：12-32.
［4］Fang Y，Ramasamy R P.Current and prospective methods for plant disease detection［J］. Biosensors，2015，4：537-561.
［5］Dubey S R，Jalal A S. Apple disease classification using color，texture and shape features from images ［J］. Signal Image & Video Processing，2016，10（5）：819-826.
［6］Bai X，Li X，F(xiàn)u Z，et al. A fuzzy clustering segmentation method based on neighborhood grayscale information for defining cucumber leaf spot disease images ［J］. Computers and Electronics in Agriculture，2017，136：157-165.
［7］何 前，郭峰林，方皓正，等. 基于改進LeNet-5模型的玉米病害識別［J］. 江蘇農(nóng)業(yè)科學，2022，50（20）：35-41.
［8］王權(quán)順，呂 蕾，黃德豐，等. 基于改進YOLOv4算法的蘋果葉部病害缺陷檢測研究［J］. 中國農(nóng)機化學報，2022，43（11）：182-187.
［9］李鑫星，朱晨光，白雪冰，等. 基于可見光譜和支持向量機的黃瓜葉部病害識別方法研究［J］. 光譜學與光譜分析，2019，39（7）：2250-2256.
［10］Deepthi M B，Sreekantha D K. Application of expert systems for agricultural crop disease diagnoses：a review［C］//International Conference on Inventive Communication & Computational Technologies，2017：222-229.
［11］蔣清健，姚 勇，付志軍等. 基于改進卷積神經(jīng)網(wǎng)絡算法的番茄葉片病害識別［J］. 江蘇農(nóng)業(yè)科學，2022，50（20）：29-34.
［12］Sladojevic S，Arsenovic M，Anderla A，et al. Deep neural networks based recognition of plant diseases by leaf image classification［J］. Computational Intelligence and Neuroscience，2016，2016：3289801.
［13］Ma J，Du K，Zheng F，et al. A recognition method for cucumber diseases using leaf symptom images based on deep convolutional neural network［J］. Computers and Electronics in Agriculture，2018，154：18-24.
［14］Kamilaris A，Prenafeta-Boldu F X. A review of the use of convolutional neural networks in agriculture［J］. The Journal of Agricultural Science，2018，156（3）：312-322.
［15］AI-Saffar A A M，Tao H，Talab M A. Review of deep convolution neural network in image classification［C］//Proceedings of 2017 International Conference on Radar，Antenna，Microwave，Electronics，and Telecommunications.Jakarta，Indonesia，2017：26-31.
［16］Zhang S，Zhang S，Zhang C，et al. Cucumber leaf disease identification with global pooling dilated convolutional neural network［J］. Computers and Electronics in Agriculture，2019，162：422-430.
［17］張善文，王 振，王祖良. 多尺度融合卷積神經(jīng)網(wǎng)絡的黃瓜病害葉片圖像分割方法［J］. 農(nóng)業(yè)工程學報，2020，36（16）：149-157.
［18］Fuentes A，Sang C K，Yoon S，et al. A robust deep-learning-based detector for real-time tomato plant diseases and pests recognition［J］. Sensors，2017，17（9）：2022-2043.
［19］吳賽賽，周愛蓮，謝能付，等. 基于深度學習的作物病蟲害可視化知識圖譜構(gòu)建［J］. 農(nóng)業(yè)工程學報，2020，36（24）：177-185.
［20］董麗麗，程 炯，張 翔，等. 融合知識圖譜與深度學習的疾病診斷方法研究［J］. 計算機科學與探索，2020，14（5）：815-824.
［21］劉知遠，韓 旭，孫茂松. 知識圖譜與深度學習［M］. 北京：清華大學出版社，2020：62-69.
［22］王海晏，江 濤，王 芳，等. 基于知識圖譜的目標識別模型［J］. 探測與控制學報，2022，44（6）：76-80，86.
［23］王丹丹. 寧夏水稻知識圖譜構(gòu)建方法研究與應用［D］. 銀川：北方民族大學，2020：28-40.
［24］李 頎，趙 潔，楊 柳，等. 基于GA-BP神經(jīng)網(wǎng)絡和特征向量優(yōu)化組合的黃瓜葉片病斑識別［J］. 浙江農(nóng)業(yè)學報，2019，31（3）：487-495.
［25］王志彬，王開義，王書鋒，等. 基于動態(tài)集成的黃瓜葉部病害識別方法［J］. 農(nóng)業(yè)機械學報，2017，48（9）：46-52.
［26］牛學德，高丙朋，南新元，等. 基于改進DenseNet卷積神經(jīng)網(wǎng)絡的番茄葉片病害檢測［J］. 江蘇農(nóng)業(yè)學報，2022，38（1）：129-134.
［27］王獻鋒，張善文，王 震，等. 基于葉片圖像和環(huán)境信息的黃瓜病害識別方法［J］. 農(nóng)業(yè)工程學報，2014，3（14）：148-153.
