基于改進(jìn)YOLOv4的澳洲堅果視覺監(jiān)測方法

摘要：針對大規(guī)模澳洲堅果種植園管理困難的問題，提出一種基于改進(jìn)YOLOv4的林地澳洲堅果生長監(jiān)測方法。在澳洲堅果種植基地中進(jìn)行圖像采集，記錄3種常見的澳洲堅果存在形式，制作VOC數(shù)據(jù)集并用于模型訓(xùn)練。對樣本數(shù)量較少的類別進(jìn)行數(shù)據(jù)增強，使訓(xùn)練樣本均衡分布。在原始YOLOv4方法的基礎(chǔ)上進(jìn)行改進(jìn)，用DenseNet121網(wǎng)絡(luò)替換原來的主干網(wǎng)絡(luò)，并使用Focalloss優(yōu)化檢測模型的分類損失函數(shù)，有效提升檢測模型精度，同時緩解類別間檢測精度不平衡問題。試驗結(jié)果表明，與YOLOv4、YOLOv3方法相比，所提改進(jìn)YOLOv4方法對每種澳洲堅果形式的平均精度（AP）均為最高，檢測模型的平均精度均值（mAP）達(dá)到93.33%，檢測速度達(dá)到28.7 FPS，實現(xiàn)對林地澳洲堅果落果、病害等生長信息的實時、高效獲取，為精確監(jiān)測澳洲堅果生長狀態(tài)提供依據(jù)。

關(guān)鍵詞：澳洲堅果；果園監(jiān)測；深度學(xué)習(xí)；改進(jìn)YOLOv4；目標(biāo)檢測

中圖分類號：S776.01

文獻(xiàn)標(biāo)識碼：A

文章編號：2095-5553 （2024） 05-0217-06

收稿日期：2022年10月3日" 修回日期： 2022年11月14日*基金項目：國家自然科學(xué)基金（51968065）；云南省教育廳科學(xué)研究基金（2022Y571）；云南省高層次人才培養(yǎng)支持計劃（YNWR—QNBJ—2018—066，YNQR—CYRC—2019—001）

第一作者：羅鑫，男，1997年生，四川宜賓人，碩士研究生；研究方向為機器視覺、林產(chǎn)品檢測。E-mail： luox9707@163.com

通訊作者：何超，男，1980年生，湖北荊門人，博士，教授；研究方向為機器視覺。E-mail： hcsmile@163.com

A visual monitoring method for Macadamia nuts based on improved YOLOv4

Luo Xin， Li Jiaqiang， He Chao

（School of Mechanical and Traffic Engineering， Southwest Forestry University， Kunming， 650224， China）

Abstract：

In response to the management difficulty of large-scale Macadamia nuts orchards，" a forest Macadamia nut growth monitoring method based on improved YOLOv4 was proposed. Image acquisition was carried out in a Macadamia plantation， where three common forms of Macadamia presence were recorded to produce a VOC dataset and used for model training. Data augmentation was applied to classes with fewer samples to equalize the distribution of training samples. Improved on the basis of" the original YOLOv4 method， DenseNet121 network was used to replace the original backbone network， and Focal loss was used to optimize the classification loss function of the detection model， which effectively improved the detection model accuracy and alleviated the problem of unbalanced detection accuracy between classes. The experimental results showed that the improved YOLOv4 method had the highest average precision （AP） for each Macadamia nut form， compared to the YOLOv4 and YOLOv3， the mean average precision （mAP） of the detection model reached 93.33% and the detection speed reached 28.7 FPS， which achieved the real-time and efficient acquisition of growth information of Macadamia nut， such as Macadamia nut drop and disease in orchards， and provided a basis for Macadamia nut growth monitoring.

Keywords：

Macadamia nuts; orchard monitoring; deep learning; improved YOLOv4; object detection

0 引言

澳洲堅果富含優(yōu)質(zhì)的不飽和脂肪酸和植物蛋白，食用價值和經(jīng)濟(jì)價值高［1］。自20世紀(jì)80年代起，在我國西南地區(qū)開始廣泛種植，目前我國澳洲堅果種植面積為全球第一［2］。澳洲堅果種植園管理是實現(xiàn)豐產(chǎn)、優(yōu)產(chǎn)目標(biāo)的關(guān)鍵［3］。然而，現(xiàn)階段的種植園管理主要依靠技術(shù)人員在園林中巡視觀察，進(jìn)行種植園病蟲害預(yù)防和判斷施肥施藥時機等。隨著種植面積擴(kuò)大以及果樹掛果率提高，加之西南地區(qū)地形多以山地為主，這導(dǎo)致種植園管理效率低、工作強度大。

近年來，隨著深度學(xué)習(xí)和機器視覺的發(fā)展，許多學(xué)者將視覺檢測技術(shù)和農(nóng)業(yè)信息感知相結(jié)合，以此獲取農(nóng)情信息，使園林管理更加方便快捷、科學(xué)精準(zhǔn)［4， 5］。樊湘鵬等［6］提出了一種改進(jìn)CNN模型，實現(xiàn)葡萄葉部病害的檢測識別，對6種葉部病害的分類準(zhǔn)確率達(dá)到98.02%，為葡萄病害及時防治提供依據(jù)。王云露等［7］基于改進(jìn)FasterR-CNN實現(xiàn)蘋果葉部病害識別，模型的平均精度均值達(dá)到86.2%，該方法為蘋果病害的早期干預(yù)和治療提供科學(xué)依據(jù)。王國偉等［8］改進(jìn)了LeNet網(wǎng)絡(luò)模型，實現(xiàn)了5種玉米病害的檢測識別，準(zhǔn)確率達(dá)到96%。趙越等［9］使用FasterR-CNN實現(xiàn)馬鈴薯葉片病害檢測，與YOLOv3、YOLOv4進(jìn)行對比，該模型的檢測精度最高，達(dá)到99.5%。韋錦等［10］改進(jìn)YOLOv4的主干網(wǎng)絡(luò)和SPP結(jié)構(gòu)并進(jìn)行綠籬植物識別，檢測精度和速度比原來提高了8.1%和14.9FPS，模型性能得到有效提高。候瑞環(huán)等［11］改進(jìn)YOLOv4的主干網(wǎng)絡(luò)結(jié)構(gòu)并用于檢測林業(yè)害蟲，精確率和召回率分別達(dá)到 85.9% 和 91.2%，與SSD、FasterR-CNN、YOLOv4方法進(jìn)行對比，有較大的檢測精度優(yōu)勢。Li等［12］應(yīng)用YOLOv3、YOLOv4檢測算法進(jìn)行獼猴桃花苞和花朵的多分類識別，實驗表明YOLO V4的檢測精度更高，速度更快，泛化能力更強。Roy等［13］改進(jìn)YOLOv4的主干網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)芒果生長階段的實時檢測，為實現(xiàn)果園估產(chǎn)和智能灌溉等提供技術(shù)支持。

從上述研究可以看出，深度學(xué)習(xí)在農(nóng)林領(lǐng)域的研究應(yīng)用已較為廣泛。然而，在利用深度學(xué)習(xí)技術(shù)進(jìn)行澳洲堅果的檢測識別及應(yīng)用方面，仍缺乏研究。獲取種植基地內(nèi)的澳洲堅果生長狀態(tài)信息是實現(xiàn)果園高效管理的關(guān)鍵，因此，本文提出基于改進(jìn)YOLOv4的澳洲堅果檢測方法，對澳洲堅果種植基地的病蟲害、果樹掛果情況以及堅果成熟掉落程度進(jìn)行檢測識別，定期獲取管理澳洲堅果種植園所需的園林信息，為種植基地病蟲害防治、定期清理落果和確定采收時機等種植園管理工作提供依據(jù)。

1 數(shù)據(jù)與方法

數(shù)據(jù)集是影響檢測模型性能的關(guān)鍵因素。在澳洲堅果結(jié)果期間，在云南的多個種植基地進(jìn)行圖像采集，并制作目標(biāo)檢測數(shù)據(jù)集。圖像采集時間為2021年6月到2022年9月的澳洲堅果結(jié)果期，在不同的天氣狀況、光照條件、拍攝距離和角度下進(jìn)行圖像采集，共2 400張原始圖像。圖像中的澳洲堅果主要以3種形式存在，包括樹上的未成熟澳洲堅果（標(biāo)簽名為“immature”）、成熟后自然掉落于地面的澳洲堅果落果（標(biāo)簽名為“macadamia”）和一種廣泛分布于堅果基地的薊馬病害果（標(biāo)簽名為“thrips”）。

使用labelImg軟件對數(shù)據(jù)集進(jìn)行圖像標(biāo)注。共3種標(biāo)簽分別對應(yīng)上述3種澳洲堅果狀態(tài)。在標(biāo)注過程中忽略位于圖像邊緣以及被遮擋面積大于70%的澳洲堅果個體，以PASCAL VOC格式保存標(biāo)注信息并獲得XML文件作為標(biāo)簽文件。保持圖像高寬比4∶3不變，將圖像分辨率處理為768像素×576像素，并按照8∶1∶1的比例，將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。

1.1 數(shù)據(jù)增強

數(shù)據(jù)增強是提高模型泛化能力的有效途徑，在使用有限的數(shù)據(jù)來進(jìn)行模型訓(xùn)練時，數(shù)據(jù)增強操作是不可缺少的一步［14］。本文在圖像處理過程中使用的數(shù)據(jù)增強方法包括以下兩種：一種是簡單的圖像增強方法，該方法獨立于模型訓(xùn)練過程，主要采用鏡像、翻轉(zhuǎn)及旋轉(zhuǎn)等方式對圖像進(jìn)行簡單的幾何處理，達(dá)到擴(kuò)充圖像數(shù)據(jù)集的目的，此外，還對圖像的飽和度、亮度進(jìn)行了調(diào)整，用于模擬不同光照條件下的澳洲堅果生長狀態(tài)，該方法的處理結(jié)果如圖1所示；另一種是在模型訓(xùn)練過程中進(jìn)行的數(shù)據(jù)增強方法，本文采用了“Mosaic”數(shù)據(jù)增強方法和“mixup”混合增強方法，其處理效果如圖2所示。“Mosaic”數(shù)據(jù)增強方法將四張圖片進(jìn)行隨機裁剪，并將其拼接為一張圖片作為訓(xùn)練數(shù)據(jù)，該方法豐富了檢測目標(biāo)所處的背景，并提高模型訓(xùn)練時對計算機顯存的利用效率。“mixup”混合增強方法是將兩張隨機選取的圖片進(jìn)行混合，構(gòu)建虛擬樣本作為訓(xùn)練數(shù)據(jù)，該方法可以增加每幅圖像中的檢測目標(biāo)的數(shù)量，減少圖像中的非信息像素的占比，提高模型訓(xùn)練效率。

對數(shù)據(jù)集的標(biāo)簽信息進(jìn)行統(tǒng)計，數(shù)據(jù)增強后的數(shù)據(jù)集中，包含了19 373個未成熟澳洲堅果（immature）樣本、19 268個澳洲堅果落果（macadamia）樣本和18 918個澳洲堅果病害果（thrips）樣本，各類別的樣本數(shù)量分布基本均勻，以避免因數(shù)據(jù)本身引起不平衡問題。

1.2 改進(jìn)YOLOv4及其網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的澳洲堅果監(jiān)測方法在YOLOv4［15］的基礎(chǔ)上進(jìn)行改進(jìn)，使用Densnet網(wǎng)絡(luò)替換了YOLOv4的主干特征提取網(wǎng)絡(luò)，以此提高改進(jìn)YOLOv4模型對澳洲堅果目標(biāo)的檢測識別能力。

由模型檢測精度AP的定義可知，PR曲線與兩坐標(biāo)軸圍成的面積代表模型對各個類別物體的檢測精度，而在多類別檢測任務(wù)中，mAP為多個類別的平均精度AP之和的平均值。

2.3 模型性能評估

本文改進(jìn)網(wǎng)絡(luò)的訓(xùn)練結(jié)果見圖7，模型訓(xùn)練經(jīng)過250個epoch，模型訓(xùn)練的損失值保持在0.037，表明模型訓(xùn)練已達(dá)到收斂；當(dāng)重疊率為0.5時，模型精度在0.975上下浮動。結(jié)果表明，隨著訓(xùn)練迭代次數(shù)的增加，改進(jìn)模型的損失值不斷降低，模型訓(xùn)練最終達(dá)到收斂；檢測模型的訓(xùn)練精度較高，有較強的檢測識別能力。

在相同設(shè)置下，將改進(jìn)YOLOv4與YOLOv4和YOLOv3［20］的性能進(jìn)行對比（圖8）。其中，改進(jìn)YOLOv4對各類檢測物體的P-R曲線如圖8（a）所示，該模型對3種類別物體的檢測精度較高，且不同類別的檢測精度相差較小，表明改進(jìn)YOLOv4模型對不同類別物體的檢測能力較強并且對不同類別物體的檢測精度較為平衡。此外，由圖8（b）、圖8（c）可以看出，YOLOv4與YOLOv3對3個類別物體的檢測精度相差較大，類別間檢測精度不平衡，且P-R曲線與坐標(biāo)軸之間的面積明顯小于改進(jìn)YOLOv4模型，表明前兩者的檢測精度與改進(jìn)YOLOv4模型存在較大差距。

表2對比了不同檢測方法對澳洲堅果的檢測精度。可以看出，改進(jìn)YOLOv4對每個類別物體的檢測精度均為最高，平均檢測精度達(dá)到93.33%，且類別間的檢測精度差異為3種方法中最小，表明本文提出的改進(jìn)方法有效提升了檢測模型的檢測精度，有效緩解了類別間的檢測精度不平衡問題。與YOLOv4和YOLOv3相比，改進(jìn)YOLOv4的檢測速度達(dá)到28.7 FPS，分別提高了8 FPS、2.4 FPS，在3種模型中檢測速度最快。

2.4 檢測效果可視化

圖9是分別使用改進(jìn)YOLOv4、YOLOv4和YOLOv3對相同測試圖像的檢測結(jié)果。從圖9可以看出，改進(jìn)YOLOv4模型對3個類別的區(qū)分辨別能力最強。在圖9（a）中，只有改進(jìn)YOLOv4將成功地區(qū)分識別出地面落果，YOLOv4和YOLOv3均將其錯誤識別為其他類別；在圖9（b）只有改進(jìn)YOLOv4將地面落果全部識別，YOLOv4模型存在漏檢問題，而YOLOv3模型存在明顯的錯誤識別問題；圖9（c）中改進(jìn)YOLOv4將有病害的澳洲堅果全部識別，而其余檢測模型存在不同程度的錯檢、漏檢問題。

本文提出的改進(jìn)YOLOv4模型有明顯的性能提升，對每個類別物體的檢測精度均為最高。從可視化結(jié)果來看，改進(jìn)YOLOv4模型對每個類別物體的檢測區(qū)分能力較強，有效避免了在其他檢測方法中常見的漏檢、錯檢等問題。

3 結(jié)論

1）" 本文對實際園林環(huán)境中的不同狀態(tài)的澳洲堅果進(jìn)行圖像采集并制作目標(biāo)檢測數(shù)據(jù)集，提出一種改進(jìn)YOLOv4檢測模型對果園中的澳洲堅果進(jìn)行檢測識別。

2）" 本文基于YOLOv4檢測方法進(jìn)行改進(jìn)，與YOLOv4、YOLOv3相比，改進(jìn)YOLOv4模型的平均檢測精度最高，達(dá)到93.33%，分別提升2.41%、6.24%；其檢測速度最快，達(dá)到28.7 FPS。

3）" 使用Focalloss優(yōu)化檢測模型的分類損失函數(shù)，有效緩解多類別檢測任務(wù)中的精度不平衡問題。

參 考 文 獻(xiàn)

［1］ Hu W， Fitzgerald M， Topp B， et al. A review of biological functions， health benefits， and possible de novo biosynthetic pathway of palmitoleic acid in macadamia nuts ［J］. Journal of Functional Foods， 2019， 62： 103520.

［2］ Tu X H， Wu B， Xie Y， et al. A comprehensive study of raw and roasted macadamia nuts： Lipid profile， physicochemical， nutritional， and sensory properties ［J］. Food Science amp; Nutrition， 2021， 9（3）： 1688-1697.

［3］ Trueman S J. The reproductive biology of macadamia ［J］. Scientia Horticulturae， 2013， 150： 354-359.

［4］ Mavridou E， Vrochidou E， Papakostas G A， et al. Machine vision systems in precision agriculture for crop farming ［J］. Journal of Imaging， 2019， 5（12）： 89.

［5］ Yang B， Xu Y. Applications of deep-learning approaches in horticultural research： A review ［J］. Horticulture Research， 2021， 8： 445.

［6］ 樊湘鵬， 許燕， 周建平， 等. 基于遷移學(xué)習(xí)和改進(jìn)CNN的葡萄葉部病害檢測系統(tǒng)［J］. 農(nóng)業(yè)工程學(xué)報， 2021， 37（6）： 151-159.

Fan Xiangpeng， Xu Yan， Zhou Jianping， et al. Detection system for grape leaf diseases based on transfer learning and updated CNN ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（6）： 151-159.

［7］ 王云露， 吳杰芳， 蘭鵬， 等. 基于改進(jìn)Faster R-CNN的蘋果葉部病害識別方法［J］. 林業(yè)工程學(xué)報， 2022， 7（1）： 153-159.

Wang Yunlu， Wu Jiefang， Lan Peng， et al. Apple disease identification using improved Faster R-CNN ［J］. Journal of Forestry Engineering， 2022， 7（1）： 153-159.

［8］ 王國偉， 劉嘉欣. 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米病害識別方法研究［J］. 中國農(nóng)機化學(xué)報， 2021， 42（2）： 139-145.

Wang Guowei， Liu Jiaxin. Research on corn disease recognition method based on convolutional neural network ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（2）： 139-145.

［9］ 趙越， 趙輝， 姜永成， 等. 基于深度學(xué)習(xí)的馬鈴薯葉片病害檢測方法［J］. 中國農(nóng)機化學(xué)報， 2022， 43（10）： 183-189.

Zhao Yue， Zhao Hui， Jiang Yongcheng， et al. Detection method of potato leaf diseases based on deep learning ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（10）： 183-189.

［10］ 韋錦， 李正強， 許恩永， 等. 基于DA2-YOLOv4算法綠籬識別研究［J］. 中國農(nóng)機化學(xué)報， 2022， 43（9）： 122-130.

Wei Jing， Li Zhenqiang， Xu Enyong， et al. Research on hedge recognition based on DA2-YOLOv4 algorithm ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（9）： 122-130.

［11］ 候瑞環(huán)， 楊喜旺， 王智超， 等. 一種基于YOLOv4-TIA的林業(yè)害蟲實時檢測方法［J］. 計算機工程， 2022， 48（4）： 255-261.

Hou Ruihuan， Yang Xiwang， Wang Zhichao， et al. A real-time detection method for forestry pests based on YOLOv4-TIA ［J］. Computer Engineering， 2022， 48（4）： 255-261.

［12］ Li G， Suo R， Zhao G， et al. Real-time detection of kiwifruit flower and bud simultaneously in orchard using YOLOv4 for robotic pollination ［J］. Computers and Electronics in Agriculture， 2022， 193： 106641.

［13］ Roy A M， Bhaduri J. Real-time growth stage detection model for high degree of occultation using DenseNet-fused YOLOv4［J］. Computers and Electronics in Agriculture， 2022， 193： 106694.

［14］ Shorten C， Khoshgoftaar T M. A survey on image data augmentation for deep learning ［J］. Journal of Big Data， 2019， 6（1）： 1-48.

［15］ Bochkovskiy A， Wang C Y， Liao H Y M. Yolov4： Optimal speed and accuracy of object detection ［J］. ArXiv Preprint ArXiv： 2004， 2020： 10934.

［16］ Huang G， Liu Z， Van Der Maaten L， et al. Densely connected convolutional networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 4700-4708.

［17］ Liu S， Qi L， Qin H， et al. Path aggregation network for instance segmentation ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8759-8768.

［18］ Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection ［C］. Proceedings of the IEEE International Conference on Computer Vision， 2017： 2980-2988.

［19］ Liu Y， Sun P， Wergeles N， et al. A survey and performance evaluation of deep learning methods for small object detection ［J］. Expert Systems with Applications， 2021， 172： 114602.

［20］ Farhadi A， Redmon J. Yolov3： An incremental improvement ［C］. Computer Vision and Pattern Recognition. Berlin/Heidelberg， Germany： Springer， 2018， 1804： 1-6.