金彬 解祥新



作者簡介:金彬(1995— ),男,江蘇南通人,助教,碩士;研究方向:機(jī)器視覺,人工智能。
摘要:為了降低葡萄果園的管理成本,及時發(fā)現(xiàn)并預(yù)防葡萄病害,文章提出了一種基于改進(jìn)YOLOv4模型的葡萄葉片病害檢測與識別算法。該算法對傳統(tǒng)YOLOv4模型進(jìn)行了改進(jìn),針對細(xì)粒度、多尺度的葡萄葉片早期疾病檢測優(yōu)化了檢測速度和準(zhǔn)確性,并應(yīng)用于真實(shí)環(huán)境中的實(shí)時檢測。在檢測時間為18.31 ms時,該檢測模型的平均準(zhǔn)確率(mAP)和F1得分分別達(dá)到90.4%和94.8%。總體檢測結(jié)果表明,當(dāng)前算法的性能顯著優(yōu)于現(xiàn)有的檢測模型,精度提高了7.8%,F(xiàn)1分?jǐn)?shù)提高了6.6%。該模型可作為一種檢測復(fù)雜現(xiàn)實(shí)情景下葡萄葉片病害的有效方法。
關(guān)鍵詞:實(shí)時目標(biāo)檢測;葡萄葉病;卷積神經(jīng)網(wǎng)絡(luò);計(jì)算機(jī)視覺
中圖分類號:TP311? 文獻(xiàn)標(biāo)志碼:A
0? 引言
植物病蟲害是造成生態(tài)和農(nóng)業(yè)損失的重要原因,及時發(fā)現(xiàn)和預(yù)防各種植物病害是提升農(nóng)場和果園農(nóng)業(yè)收益的關(guān)鍵。當(dāng)下仍有不少果園采用傳統(tǒng)人工排查診斷的方法,效率低下,管理成本高[1]。近年來,隨著計(jì)算機(jī)視覺在精準(zhǔn)農(nóng)業(yè)技術(shù)中的進(jìn)步,機(jī)器視覺的病害檢測應(yīng)用大大提高了作物病害檢測的效率,為作物產(chǎn)量的提高作出了重要貢獻(xiàn)。
1? 現(xiàn)有模型的應(yīng)用局限
植物病害的早期識別和預(yù)防是作物收獲的重要環(huán)節(jié),可以有效減少生長障礙,從而最大限度地減少農(nóng)藥的使用,實(shí)現(xiàn)無公害作物生產(chǎn)。王權(quán)順等[2]將傳統(tǒng)機(jī)器學(xué)習(xí)方法用于植物和疾病分類和檢測。然而,此類方法在實(shí)時疾病檢測中的性能和速度較低,也無法適應(yīng)具有不均勻復(fù)雜背景的現(xiàn)實(shí)生活檢測場景,而深度學(xué)習(xí)可以很好地解決機(jī)器視覺在這方面的問題,并且已被應(yīng)用在諸如作物和水果的分類、圖像分割及品種檢測中。
其中,CNN模型可以對輸入的圖像直接提取特征,從而避免了復(fù)雜的預(yù)處理流程,因此性能比較突出,使用范圍較廣[3]。基于CNN的目標(biāo)檢測模型大致可以分為兩類:一階檢測器和二階檢測器。二階檢測器需要做兩件事:分類和定位,也因此檢測時間較長。而一階檢測器YouOnlyLookOnce(YOLO)算法,將目標(biāo)分類和定位統(tǒng)一為回歸問題,通過回歸來檢測目標(biāo),檢測速度大幅提升。本文采用改進(jìn)的YOLOv4算法進(jìn)行葡萄葉片的病害檢測,具有較高的精度和準(zhǔn)確度。
葡萄是一種經(jīng)濟(jì)價(jià)值較高的水果產(chǎn)物,是不少果園經(jīng)營者的主要經(jīng)濟(jì)來源之一。然而,葡萄病害是葡萄生產(chǎn)過程中的一個主要問題,其嚴(yán)重影響了葡萄的產(chǎn)量和質(zhì)量。常見的病害可以通過葡萄葉片的現(xiàn)象反映出來,在染病初期發(fā)現(xiàn)病害并及時采取措施可以有效防治葡萄的多數(shù)病害。然而,由于細(xì)粒度的多尺度分布、病害與背景顏色紋理的相似性、病害形態(tài)的多樣性,葡萄葉片病害的早期實(shí)時檢測仍然具有挑戰(zhàn)性。此外,復(fù)雜的背景,包括重疊的葉子和土壤、真實(shí)環(huán)境中光線的變化以及其他一些因素,導(dǎo)致高精度檢測葡萄葉片病害的任務(wù)十分艱巨[4]。現(xiàn)有的檢測模型無法實(shí)現(xiàn)高準(zhǔn)確性的同時還具備較高的實(shí)時檢測速度。
2? 改進(jìn)的YOLO模型提出
本研究提出一種基于改進(jìn)YOLOv4的葡萄葉片病害檢測與識別算法,以解決傳統(tǒng)方法存在的問題,同時提高檢測的準(zhǔn)確性和效率。通過引入DenseNet塊,將CSPDarkNet53修改為Dense-CSPDarkNet53,以改進(jìn)小目標(biāo)檢測的特征傳輸和重用。為了優(yōu)化冗余并降低計(jì)算成本,通過修改卷積塊來減少網(wǎng)絡(luò)層數(shù)。改進(jìn)的路徑聚合網(wǎng)絡(luò)(PANet)也被用來保留細(xì)粒度的定位信息并增強(qiáng)多尺度語義信息的特征融合。此外,所提出的模型中空間金字塔池塊的集成增強(qiáng)了感受野。更改網(wǎng)絡(luò)主要激活函數(shù),提高特征學(xué)習(xí)能力進(jìn)而提高識別準(zhǔn)確率。為了防止訓(xùn)練過程中的過度擬合并提高魯棒性,采用了數(shù)據(jù)增強(qiáng),將數(shù)據(jù)集進(jìn)行了擴(kuò)充[5]。該模型可以在復(fù)雜的農(nóng)業(yè)環(huán)境下自動檢測不同大小的葡萄葉片出現(xiàn)的不同病害的判別特征。實(shí)驗(yàn)結(jié)果表明,該算法優(yōu)于原始YOLOv4模型,具有較高的準(zhǔn)確率和魯棒性,可以為葡萄病害的預(yù)防和控制提供有力的支持。
3? 改進(jìn)的YOLO模型建立
YOLOv4是一種高精度的單階段目標(biāo)檢測模型,通過生成邊界框坐標(biāo)和每個類對應(yīng)的概率,將目標(biāo)檢測任務(wù)轉(zhuǎn)化為回歸問題。在目標(biāo)檢測過程中,輸入圖像被分為N×N均勻相等的網(wǎng)格。該模型將生成B個預(yù)測邊界框和相應(yīng)的置信度。當(dāng)目標(biāo)類的真實(shí)值的中心落在指定的網(wǎng)格內(nèi)時,它會檢測到特定對象類的目標(biāo)。每個網(wǎng)格用每個目標(biāo)類的置信度分?jǐn)?shù)和相應(yīng)的C類條件概率來預(yù)測B個邊界框。置信度得分可以表示為:
confidence=pr(object)×IoUtruthpred,∑pr(object)∈0,1(1)
當(dāng)目標(biāo)類落入YOLO網(wǎng)格內(nèi)時,pr(object)=1,否則,pr(object)=0。參考和預(yù)測邊界框之間的重合由下式描述:IoUtruthpred。這里,IoU是交集與并集的比值,稱為交并比。pr(object)的值表示在網(wǎng)格內(nèi)檢測到目標(biāo)類時邊界框預(yù)測的準(zhǔn)確性。在獲得最終邊界框之前,通過非極大值抑制算法過濾每個尺度的最佳邊界框預(yù)測。
然而,原始YOLOv4模型在檢測葡萄葉片的不同病害時,存在病害密集、細(xì)粒度、多尺度分布、病區(qū)幾何形態(tài)不規(guī)則、病害同時發(fā)生等問題[6]。同一片葉子和復(fù)雜的背景,極大地影響了檢測精度,導(dǎo)致大量漏檢和錯誤的目標(biāo)預(yù)測。為了解決上述問題,本文提出了基于YOLOv4算法的改進(jìn)版本,以提高葡萄葉片病害的檢測效率和準(zhǔn)確性。改進(jìn)的網(wǎng)絡(luò)模型架構(gòu)如圖1所示,主干網(wǎng)絡(luò)用于特征提取,頸部用于提取特征的語義表示,頭部用于預(yù)測。
在目標(biāo)檢測過程中,YOLOv4算法減少了神經(jīng)網(wǎng)絡(luò)中的特征映射。為了結(jié)合更多的特征信息,在傳播過程中采用密集塊網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了特征的保存與前級特征的重用,密集塊網(wǎng)絡(luò)結(jié)構(gòu)使得每一層都以前饋模式連接到其他層。網(wǎng)絡(luò)塊的主要優(yōu)點(diǎn)是第n層能夠從所有輸入接收所需的特征信息Xn,可以表示為Xn=Hn[X0,X1,…,Xn-1],由于圖像數(shù)據(jù)集的復(fù)雜性,密集的塊在整個神經(jīng)網(wǎng)絡(luò)中促進(jìn)了更好的特征傳輸和梯度,也能在一定程度上減輕過擬合。因此,在提出的模型中,用DB1-CSP1、DB2-CSP2、DB3-CSP4、DB4-CSP4和DB5- CSP2替換原CSPDarknet53中CSP1、CSP2、CSP8、CSP8和CSP4,通過增加密集的連接塊,以增強(qiáng)特征的傳播,減少卷積塊,以減少冗余特征操作的數(shù)量,提高計(jì)算速度。所提出的密集塊網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2所示。
目標(biāo)檢測模型的一個重要方面是為特定問題選擇適當(dāng)?shù)募せ詈瘮?shù),以提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和性能。為了增強(qiáng)網(wǎng)絡(luò)梯度流的穩(wěn)定性,幫助在檢測模型中學(xué)習(xí)更多的表達(dá)特征,提出的模型使用了Mish激活函數(shù)[7],可以表示為:f(x)=x×tanh(softplus(x))=x×tanh(ln(1+ex))。此外,由于Mish具有獨(dú)特的無界性和下有界性,它有助于消除輸出神經(jīng)元的飽和問題,改進(jìn)網(wǎng)絡(luò)正則化。經(jīng)過驗(yàn)證,使用Mish作為主要激活函數(shù),在自定義模型數(shù)據(jù)集中精度有明顯的提高。
4? 驗(yàn)證結(jié)果
原始數(shù)據(jù)集中,共有1 600張,包括3種葡萄病害的葉片圖片各400張,健康葡萄葉片400張。利用圖像增強(qiáng)程序,將數(shù)據(jù)集擴(kuò)展到4 800張,作為本研究的自定義數(shù)據(jù)集。針對自定義數(shù)據(jù)集,使用LabelImg腳本進(jìn)行標(biāo)注,文件包含了訓(xùn)練數(shù)據(jù)集中圖像標(biāo)注時? 的目標(biāo)類信息和相應(yīng)的邊界坐標(biāo)。從自定義數(shù)據(jù)集中,按照3∶1∶1的比例構(gòu)建訓(xùn)練集、驗(yàn)證集和測試集。為了提高所提出的檢測模型對葡萄不同生長階段的病害識別準(zhǔn)確性,規(guī)定輸入512×512大小的3通道圖像,設(shè)定batch大小為16,學(xué)習(xí)率最低0.001。
為了比較所提出的檢測模型的總體性能,本研究將IoU、F1-score、mAP、最終驗(yàn)證損失和平均檢測時間與YOLOv3和YOLOv4進(jìn)行了比較,如表1所示。對比IoU,發(fā)現(xiàn)該模型的IoU值最高,為0.915,比原始YOLOv4模型高出6.2%。因此,與其他兩種模型相比,所提出的檢測模型具有更好的邊界框檢測精度。該模型的F1評分為0.948,mAP為0.904,比YOLOv4提高了6.6%和7.8%。此外,比較了3種模型的平均檢測時間,測試結(jié)果表明YOLOv4的檢測時間最低,為15.721 ms。該模型的檢測時間高于YOLOv4模型,檢測時間為18.313 ms。
當(dāng)PR曲線下的面積在所有3個模型中最高時,所提出的模型對于特定召回的精度值更高。與YOLOv3和YOLOv4檢測模型相比,所提出的模型顯著提高了測試數(shù)據(jù)集的總體精度、查全率和F1得分,在精度和準(zhǔn)確度上都明顯優(yōu)于YOLOv3和YOLOv4,代價(jià)僅是降低少許檢測速度。由此,可以得出所提模型的性能和精度得到了顯著提高。
5? 結(jié)語
綜上所述,本研究基于改進(jìn)的YOLOv4算法開發(fā)了一個實(shí)時目標(biāo)檢測框架,并將其應(yīng)用于葡萄葉的病害檢測。本研究對該模型進(jìn)行了改進(jìn),以優(yōu)化其準(zhǔn)確性,并通過在復(fù)雜的果園情景下檢測疾病進(jìn)行驗(yàn)證。在檢測幀率為54.6FPS的情況下,該算法的平均精度(mAP)值為91.5%,F(xiàn)1分?jǐn)?shù)為94.8%。與原YOLOv4模型相比,該模型的精度提高了7.8%,F(xiàn)1分?jǐn)?shù)提高了6.6%,表明在實(shí)時現(xiàn)場應(yīng)用中具有較強(qiáng)的檢測性能潛力。
參考文獻(xiàn)
[1]陳道懷,汪杭軍.基于改進(jìn)YOLOv4的林業(yè)害蟲檢測[J].浙江農(nóng)業(yè)學(xué)報(bào),2022(6):1306-1315.
[2]王權(quán)順,呂蕾,黃德豐,等.基于改進(jìn)YOLOv4算法的蘋果葉部病害缺陷檢測研究[J].中國農(nóng)機(jī)化學(xué)報(bào),2022(11):182-187.
[3]傅云龍,梁丹,梁冬泰,等.基于機(jī)器視覺與YOLO算法的馬鈴薯表面缺陷檢測[J].機(jī)械制造,2021(8):82-87.
[4]雷建云,葉莎,夏夢,等.基于改進(jìn)YOLOv4的葡萄葉片病害檢測[J].中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版),2022(6):712-719.
[5]儲鑫,李祥,羅斌,等.基于改進(jìn)YOLOv4算法的番茄葉部病害識別方法[J].江蘇農(nóng)業(yè)學(xué)報(bào),2023(5):1199-1208.
[6]劉闐宇,馮全,楊森.基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片病害檢測方法[J].東北農(nóng)業(yè)大學(xué)學(xué)報(bào),2018(3):73-83.
[7]鄒翔翔.基于深度卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別研究[D].南京:南京郵電大學(xué),2023.
(編輯? 王永超)
Grape leaf disease detection and recognition algorithm based on improved YOLOv4
Jin? Bin, Xie? Xiangxin
(Computer and Information Engineering Department, Nantong Institute of Technology, Nantong 226002, China)
Abstract:? In order to reduce the management cost of grape orchards and timely detect and prevent grape diseases, this paper proposes a grape leaf disease detection and recognition algorithm based on an improved YOLOv4 model. The traditional YOLOv4 model has been improved to optimize detection speed and accuracy for fine-grained and multi-scale early disease detection of grape leaves, and applied to real-time detection in real environments. At a detection time of 18.31 ms, the average accuracy (mAP) and F1-score of the detection model reached 90.4% and 94.8%, respectively. The overall detection results indicate that the current algorithm performs significantly better than existing detection models, with an accuracy improvement of 7.8% and an F1-score improvement of 6.6%. This model can serve as an effective method for detecting grape leaf diseases in complex real-world scenarios.
Key words: real-time object detection; grape leaf disease; convolutional neural network; computer vision