基于AR眼鏡和改進(jìn)YOLOv8m-seg的田間小麥赤霉病嚴(yán)重度識別方法

摘要：及時發(fā)現(xiàn)小麥田間赤霉病發(fā)生情況并根據(jù)發(fā)病嚴(yán)重程度采取相應(yīng)的防治措施，有利于提高小麥的產(chǎn)量和質(zhì)量。當(dāng)前識別小麥赤霉病嚴(yán)重度的方法大多基于一株或幾株麥穗進(jìn)行識別，這種方式由于效率較低不適用于田間調(diào)查。為解決該問題，該研究提出一種高效準(zhǔn)確的田間小麥赤霉病嚴(yán)重度識別方法。通過引入CBAM注意力機(jī)制以改進(jìn)YOLOv8m-seg模型的性能。利用改進(jìn)的YOLOv8m-seg模型對采集的遠(yuǎn)景圖像進(jìn)行小麥麥穗實(shí)例分割，然后基于非目標(biāo)抑制方法進(jìn)行單株小麥麥穗切圖，再利用改進(jìn)的YOLOv8m-seg模型對每一株小麥麥穗中的病小穗和健康小穗進(jìn)行實(shí)例分割，最后通過病小穗和健康小穗的數(shù)量計算每一株小麥麥穗的赤霉病嚴(yán)重度。為驗證本文方法的有效性，構(gòu)建了小麥麥穗（D-WE）和小麥小穗（D-WS）兩個數(shù)據(jù)集進(jìn)行測試。試驗結(jié)果表明YOLOv8m-seg在兩個數(shù)據(jù)集上的綜合性能優(yōu)于YOLOv8n-seg、YOLOv8s-seg、YOLOv8l-seg和YOLOv8x-seg。引入CBAM的模型優(yōu)于引入SE、ECA和CA注意力機(jī)制的模型，與原模型相比，改進(jìn)YOLOv8m-seg模型的平均精度均值在兩個數(shù)據(jù)集上分別提高了0.9個百分點(diǎn)和1.2個百分點(diǎn)。該研究提出的小麥赤霉病嚴(yán)重度識別方法與其他三種識別方法相比嚴(yán)重度準(zhǔn)確率分別提高了38.4個百分點(diǎn)、6.2個百分點(diǎn)和2.4個百分點(diǎn)，通過TensorRT將改進(jìn)的YOLOv8m-seg模型部署后總算法耗時僅僅為原來的1/7。最后，該研究基于AR眼鏡進(jìn)行三地的小麥田間赤霉病嚴(yán)重度調(diào)查，調(diào)查結(jié)果表明，基于AR眼鏡的小麥赤霉病智能識別平均病穗計數(shù)準(zhǔn)確率高達(dá)0.953，且調(diào)查耗時僅為人工調(diào)查的1/3，充分說明了該研究提出方法的有效性，為智能化小麥赤霉病田間調(diào)查奠定良好的基礎(chǔ)。

關(guān)鍵詞：小麥赤霉?。痪矸e神經(jīng)網(wǎng)絡(luò)；YOLOv8；注意力機(jī)制；AR眼鏡

1 "引言

小麥?zhǔn)侨蠹Z食作物之一，在人們生活中起著重要的作用，小麥的產(chǎn)量穩(wěn)定對保障國家的糧食安全有重大意義^[1]。赤霉病是一種小麥田間多發(fā)疾病，極大程度地影響小麥的產(chǎn)量和品質(zhì)，從而影響我國的農(nóng)業(yè)經(jīng)濟(jì)^[2]。及時發(fā)現(xiàn)小麥田間的赤霉病并根據(jù)發(fā)病情況采取相應(yīng)的措施來防治能保證小麥的產(chǎn)量和品質(zhì)^[3]。目前小麥赤霉病田間調(diào)查多以人工計數(shù)方式為主，這種調(diào)查方式勞動強(qiáng)度較大且耗費(fèi)人力^[4]。因此，快速、準(zhǔn)確識別小麥赤霉病能極大地減小勞動強(qiáng)度，從而為小麥赤霉病防治提供重要保障。

近年來，越來越多的研究者開展了農(nóng)作物的病蟲害識別課題^[5-8]。早期的方法大多為基于經(jīng)典數(shù)字圖像處理技術(shù)來進(jìn)行病蟲害識別，這種方法通過人工提取顏色、形狀等特征來識別病蟲害，這些方法一般魯棒性較差，很難在室外復(fù)雜的環(huán)境下準(zhǔn)確的識別病蟲害^[9]。隨著深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)領(lǐng)域的不斷發(fā)展，越來越多的研究者使用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行病蟲害識別^[10-16]。張正華等^[17]通過在YOLOv7的主干網(wǎng)絡(luò)中引入多頭自注意力機(jī)制和使用加權(quán)雙向特征金字塔網(wǎng)絡(luò)分別提高模型的特征提取能力和提高傳遞特征信息的豐富性，用改進(jìn)后的模型對麥穗籽粒的檢測精度和召回率分別提高了0.33個百分點(diǎn)和1.83個百分點(diǎn)。鮑文霞等^[18]利用UNet對大田環(huán)境下的小麥圖像進(jìn)行分割，再通過設(shè)計結(jié)構(gòu)簡單的多路卷積神經(jīng)網(wǎng)絡(luò)分別提取紅綠藍(lán)三個通道的特征，最后通過特征融合獲得高辨識性的麥穗圖像語義特征，實(shí)驗結(jié)果表明他們提出的算法對單株麥穗赤霉病識別精度為100%。類似的，陳鵬等^[19]提出一種融合卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的小麥赤霉病語義分割網(wǎng)絡(luò)UNetA，該模型的分割平均交并比達(dá)到83.9%，分割單張圖片耗時0.588"s。高君等^[20]提出一種改進(jìn)的YOLOv5s來檢測小麥赤霉病，通過引入CBAM來提升模型的檢測精度，使用GhostConv模塊來替換原有的Conv模塊以提高計算速度，該改進(jìn)的YOLOv5s模型的平均精度均值為93.8%。戴雨舒等^[21]使用Deeplabv3+模型對小麥赤霉病發(fā)病麥穗識別，實(shí)驗結(jié)果表明該模型的平均精度達(dá)到96.9%。上述小麥赤霉病識別方法大多基于一株或幾株麥穗進(jìn)行識別，而在田間麥穗通常非常密集，拍攝一株或者幾株這種近景圖片難度較大，此外每次只識別一株或者幾株導(dǎo)致田間調(diào)查效率非常低，極大地增加調(diào)查人員的勞動強(qiáng)度。因此，現(xiàn)有的小麥赤霉病識別方法很難用于實(shí)際的田間調(diào)查。

本文基于實(shí)際調(diào)查場景提出了一種田間小麥赤霉病嚴(yán)重度識別方法。首先通過改進(jìn)的YOLOv8m-seg模型對遠(yuǎn)景圖像中的麥穗進(jìn)行實(shí)例分割，然后基于非目標(biāo)抑制方法將每個單株小麥進(jìn)行截取，再基于改進(jìn)的YOLOv8m-seg模型對截取的每個單株小麥圖像進(jìn)行健康小穗和病小穗的實(shí)例分割，最后通過每一株小麥中的健康小穗和病小穗數(shù)量計算嚴(yán)重度。經(jīng)試驗驗證，該方法高效準(zhǔn)確地實(shí)現(xiàn)了田間復(fù)雜環(huán)境下的小麥赤霉病嚴(yán)重度調(diào)查。

2 "數(shù)據(jù)集構(gòu)建

2.1""小麥赤霉病圖像采集

為了保證數(shù)據(jù)集的多樣性，本文試驗使用的小麥圖像來源于多個采集點(diǎn)，包括杭州市蕭山區(qū)、寧波市寧海縣、金華市蘭溪市、蕪湖市南陵縣。采集時間為2023年4月到6月和2024年4月到5月。采集使用的設(shè)備為AR眼鏡搭載的索尼IMX582相機(jī)，拍攝時集成了電子防抖、光學(xué)防抖和自動對焦功能，拍攝的圖像分辨率為3840×2160像素。為了能夠清楚地拍攝到小麥的發(fā)病情況，拍攝角度為平視麥穗。考慮到田間調(diào)查大多在白天進(jìn)行，因此圖片采集均在白天完成。為了均衡拍攝圖像的清晰度和田間赤霉病調(diào)查效率問題，拍攝時相機(jī)視野內(nèi)保證有效的小麥麥穗的數(shù)量不超過一百株，將無效數(shù)據(jù)去除后總計采集了977張小麥赤霉病圖像。

2.2""小麥麥穗識別數(shù)據(jù)集構(gòu)建

為了構(gòu)建小麥麥穗識別數(shù)據(jù)集，將977張原始圖像劃分為訓(xùn)練集和測試集，其中訓(xùn)練集總計816張圖片，測試集總計161張圖片。使用Labelme標(biāo)注工具對977張原始圖像進(jìn)行標(biāo)注，標(biāo)注目標(biāo)為小麥麥穗，標(biāo)注結(jié)果為一系列小麥麥穗邊緣點(diǎn)的坐標(biāo)信息。圖中距離較遠(yuǎn)處或其他模糊的小麥為無效目標(biāo)不進(jìn)行標(biāo)注，如圖1所示。

每一張圖片的標(biāo)注信息保存在對應(yīng)的Json格式文件中。標(biāo)注完成后將所有Json格式的文件轉(zhuǎn)換為Txt格式的文件以構(gòu)建最終YOLO訓(xùn)練和驗證使用的數(shù)據(jù)集，將構(gòu)建的小麥麥穗識別數(shù)據(jù)集命名為D-WE。

2.3""單株小麥小穗識別數(shù)據(jù)集構(gòu)建

為了進(jìn)一步識別每株小麥麥穗的嚴(yán)重度，需要對每一株小麥麥穗中的小穗進(jìn)行進(jìn)一步識別。利用2.2節(jié)中構(gòu)建的數(shù)據(jù)集，將每一株小麥麥穗從原圖中截取為單株圖像。由于截取的圖像為矩形，其中可能包含有其他株小麥中的信息，這會影響模型的識別效果。為此利用已有標(biāo)注的邊緣點(diǎn)信息將非小麥區(qū)域像素點(diǎn)處理為背景色，處理后的每一株小麥麥穗圖像作為單株小麥小穗識別的原始數(shù)據(jù)。經(jīng)批量處理并人工剔除模糊不清的小麥麥穗圖像后獲得5864張單株小麥麥穗的圖像，將其劃分為訓(xùn)練集和測試集，其中訓(xùn)練集圖片4768張，測試集圖片1096。使用Labelme標(biāo)注工具對這些單株圖像進(jìn)行標(biāo)注，標(biāo)注目標(biāo)為健康小穗和病小穗，如圖2所示。

每一張單株圖片的標(biāo)注信息保存在對應(yīng)的Json格式文件中。標(biāo)注完成后將所有Json格式的文件轉(zhuǎn)換為Txt格式的文件以構(gòu)建最終YOLO訓(xùn)練和驗證使用的數(shù)據(jù)集，將構(gòu)建的單株小麥小穗識別數(shù)據(jù)集命名為D-WS。

3""小麥赤霉病嚴(yán)重度識別算法

3.1 "算法概述

為了準(zhǔn)確識別小麥赤霉病嚴(yán)重度，本文提出的小麥赤霉病嚴(yán)重度識別方法主要包括以下四個步驟：1）原始圖像經(jīng)過WE-YOLOv8-seg實(shí)例分割后獲得每個小麥麥穗的邊界框和像素區(qū)域；2）第二步利用第一步的結(jié)果并基于單株切圖和非目標(biāo)抑制方法獲得不包含背景信息的單株小麥麥穗圖像；3）第三步將第二步獲得的若干單株小麥麥穗圖像通過WS-YOLOv8-seg實(shí)例分割后分別獲得每個單株小麥麥穗中的健康小穗和病小穗的數(shù)量；4）第四步利用第三步的結(jié)果并基于小麥嚴(yán)重度計算方法計算出每個單株小麥的赤霉病嚴(yán)重度。圖3為本文提出的小麥赤霉病嚴(yán)重度識別方法流程圖。

3.2""融入注意力機(jī)制的YOLOv8-seg實(shí)例分割算法

YOLOv8-seg是ultralytics團(tuán)隊基于YOLOv8提出的一種實(shí)例分割模型，根據(jù)模型的深度和寬度可分為n、s、m、l、x五種尺度的模型，這五種尺度的模型參數(shù)量依次增大。使用者可根據(jù)具體場景選擇最佳的模型。YOLOv8-seg算法分為輸入預(yù)處理（preprocess）、主干網(wǎng)絡(luò)（backbone）、特征融合網(wǎng)絡(luò)（neck）、預(yù)測頭（head）和后處理（postprocess）五個部分組成。原始圖像經(jīng)過預(yù)處理后獲得模型輸入圖像，主干網(wǎng)絡(luò)的作用是從輸入圖像中提取不同尺度的特征，特征融合網(wǎng)絡(luò)將主干網(wǎng)絡(luò)提取的多尺度特征進(jìn)行融合并整合這些特征得到最終用于預(yù)測的三個尺度的特征，預(yù)測頭則利用特征融合網(wǎng)絡(luò)輸出的三個尺度的特征預(yù)測分別在三個尺度上的結(jié)果，后處理通過將多個尺度上的

結(jié)果還原到原圖尺寸并通過非極大值抑制算法來去除冗余的預(yù)測結(jié)果。

注意力機(jī)制是一種提高卷積神經(jīng)網(wǎng)絡(luò)性能的常用方法，一般的模型在提取特征的過程中存在大量的冗余信息，導(dǎo)致特征的有效性降低，模型存在性能瓶頸。在模型中合適的位置引入注意力機(jī)制能夠讓模型從大量的特征信息中專注于對識別更為重要的有效信息，從而提高提取特征的有效性來突破模型的性能瓶頸。近年來，卷積注意力機(jī)制（Convolutional Block Attention Module，CBAM）因其高效的性能被研究者廣泛使用。CBAM的核心由通道注意力和空間注意力兩個模塊組成。輸入特征依次進(jìn)入這兩個模塊分別在通道維度和空間維度上來提高有效特征所占的比重。圖4為CBAM結(jié)構(gòu)示意圖。

通道注意力模塊中將輸入分別進(jìn)行自適應(yīng)最大池化和自適應(yīng)平均池化操作分別獲得保留通道信息的兩個特征，這兩個特征再使用多層感知機(jī)（Multilayer Perceptron，MLP）整合后相加并使用Sigmoid激活函數(shù)將值映射到0-1之間，該值即為每個通道的權(quán)重系數(shù)，最后將通道權(quán)重系數(shù)與原輸入特征相乘即為該模塊的輸出。空間注意力模塊中將輸入分別進(jìn)行最大池化和平均池化操作分別獲得保留尺度信息的兩個特征，這兩個特征進(jìn)行通道拼接后通過卷積進(jìn)行整合并使用Sigmoid激活函數(shù)將值映射到0-1之間，該值即為每個特征點(diǎn)的權(quán)重系數(shù)，最后將特征點(diǎn)的權(quán)重系數(shù)與原輸入相乘即為該模塊的輸出。

本文將CBAM注意力機(jī)制引入到Y(jié)OLOv8-seg模型以提高模型的性能，引入的位置和改進(jìn)后的YOLOv8-seg模型的結(jié)構(gòu)如圖5所示。

使用改進(jìn)后的YOLOv8-seg模型分別識別小麥麥穗和單株麥穗中小穗，將識別小麥麥穗的模型命名為WE-YOLOv8-seg，該模型經(jīng)過預(yù)處理后的圖像尺寸為640×640。將識別單株麥穗中小穗的模型命名為WS-YOLOv8-seg，由于單株小麥麥穗圖像通常較小，選擇較大的輸入會引入大量的無效信息，因此該模型經(jīng)過預(yù)處理后的圖像尺寸為320×320。

3.3""單株小麥切圖與單株小麥赤霉病嚴(yán)重度計算方法

3.3.1""基于非目標(biāo)抑制方法的單株小麥切圖

本文的小麥赤霉病嚴(yán)重度識別方法第二步需要將每一株小麥麥穗從原圖上截取出來，由于小麥田間麥穗分布非常密集，導(dǎo)致截取某個小麥麥穗的圖像中會存在其它小麥麥穗，從而影響后續(xù)WS-YOLOv8-seg識別小麥小穗。為解決這個問題，本文提出一種非目標(biāo)抑制的方法將非當(dāng)前小麥麥穗像素處理為背景。WE-YOLOv8實(shí)例分割后能夠獲取每個小麥麥穗的像素區(qū)域和坐標(biāo)位置。本文提出的非目標(biāo)抑制方法的單株小麥切圖通過坐標(biāo)位置進(jìn)行切圖，通過像素區(qū)域進(jìn)行非目標(biāo)抑制，如圖6所示。

3.3.2""單株小麥赤霉病嚴(yán)重度計算方法

為了對單株小麥赤霉病發(fā)病程度進(jìn)行量化，國家制定了相應(yīng)的量化標(biāo)準(zhǔn)^[22]。根據(jù)單株小麥麥穗中出現(xiàn)穗腐癥狀（或由稈腐引起的白穗癥狀）的病小穗數(shù)占全部小穗的比例劃分為5個級別，病小穗數(shù)量為0即為0級，病小穗占全部小穗的0－0.25為1級，病小穗占全部小穗的0.25－0.5為2級，病小穗占全部小穗的0.5－0.75為3級，病小穗占全部小穗的0.75以上為4級。本文在提出的小麥赤霉病嚴(yán)重度識別算法第三個步驟中利用WS-YOLOv8實(shí)例分割可以獲得每株小麥中病小穗和健康小穗的數(shù)量，再根據(jù)國家標(biāo)準(zhǔn)中方法計算單株小麥的嚴(yán)重度。

4""試驗結(jié)果與分析

4.1 "試驗環(huán)境與訓(xùn)練參數(shù)

本文中試驗硬件環(huán)境為：GPU NVIDIA RTX 4090，CPU Intel I9-13900KF，內(nèi)存32GB。軟件環(huán)境為：操作系統(tǒng)Windows 11，深度學(xué)習(xí)框架Pytorch2.2.2，CUDA11.8。模型訓(xùn)練初始學(xué)習(xí)率為0.01，學(xué)習(xí)率優(yōu)化器為SGD，SGD的動量系數(shù)為0.937，權(quán)重衰減系數(shù)為0.0005，訓(xùn)練總周期數(shù)為400。

4.2 "評估指標(biāo)

為驗證本文提出的小麥赤霉病嚴(yán)重度識別算法的有效性，采用精確率（Precision，P）、召回率（Recall，R）和平均精度均值（mean Average Precision，mAP）作為評價WE-YOLOv8和WS-YOLOv8模型性能的評價指標(biāo)，嚴(yán)重度準(zhǔn)確率（Severity Accuracy，SA）作為評價小麥赤霉病嚴(yán)重度識別算法的評價指標(biāo)。它們的計算公式如下：

（1）

（2）

（3）

（4）

式中：TP為識別正確的樣本數(shù)量，FP為識別錯誤的樣本數(shù)量，FN為漏識別的樣本數(shù)量，F_i為預(yù)測的赤霉病嚴(yán)重度等級，A_i為實(shí)際的赤霉病嚴(yán)重度等級。對于某個預(yù)測框而言，若沒有真實(shí)框與它的交并比大于0.5，則該預(yù)測框為識別錯誤的樣本；若存在真實(shí)框與它的交并比大于0.5，取交并比最大的那個真實(shí)框，若該真實(shí)框與預(yù)測框的預(yù)測類別相同則為識別正確樣本，反之則為識別錯誤樣本；對于某個真實(shí)框而言，若沒有預(yù)測框與它的交并比大于0.5，則該真實(shí)框為漏識別的樣本。

4.3""YOLOv8-seg不同尺度模型的性能對比

為了選擇最佳尺度的YOLOv8-seg模型以達(dá)到精度和速度的平衡，本節(jié)對n、s、m、l、x五種不同尺度的模型進(jìn)行訓(xùn)練并評估，使用的數(shù)據(jù)集為上文中的D-WS和D-WE。試驗結(jié)果如表1所示。

從表1中試驗結(jié)果可以看出，在D-WE數(shù)據(jù)集上YOLOv8m-seg模型的精確率和平均精度均值最高，YOLOv8l-seg模型的召回率最高，YOLOv8m-seg的召回率略低于YOLOv8l-seg。在D-WS數(shù)據(jù)集上YOLOv8m的平均精度均值最高，YOLOv8s-seg模型的召回率最高，YOLOv8l模型的精確率最高。在推理時間方面，YOLOv8m-seg單次推理耗時約5.7ms，比YOLOv8l-seg和YOLOv8x-seg耗時少，相較于參數(shù)量較少的YOLOv8n-seg和YOLOv8s-seg耗時多。綜合幾種尺度模型在兩個數(shù)據(jù)集上的性能對比結(jié)果，YOLOv8m-seg在兩個數(shù)據(jù)集上有3項指標(biāo)最優(yōu)，YOLOv8s-seg有1項最優(yōu)，YOLOv8l-seg有2項最優(yōu)。因此，本文最終選擇YOLOv8m-seg作為實(shí)例分割模型，該模型的總體精度優(yōu)于其他尺度模型，推理耗時也能滿足實(shí)際需求。

4.4 "不同注意力機(jī)制在YOLOv8m-seg中不同位置的性能對比

為了提高YOLOv8m-seg識別精度，在模型中不同的位置引入不同的注意力機(jī)制進(jìn)行訓(xùn)練評估以獲得性能最佳的模型。本文對比的注意力機(jī)制有CA、ECA、SE和CBAM，由于注意力機(jī)制一般插入到網(wǎng)絡(luò)的特征提取模塊后面以提高提取特征的有效性，因此本節(jié)的對比試驗中注意力插入模型的位置分別為backbone中的第二到第四個C2f模塊后面和neck中所有C2f后面。表2為不同注意力機(jī)制在YOLOv8m-seg模型中不同位置中的性能對比情況。

從表2中模型在D-WE數(shù)據(jù)集上的試驗結(jié)果可以看出，引入CBAM到Y(jié)OLOv8m-seg模型的backbone中時，模型的精確率、召回率和平均精度均值分別提高了0.2個百分點(diǎn)、1.0個百分點(diǎn)和0.9個百分點(diǎn)，而將CBAM引入到neck中或者backbone和neck中模型的性能提升較少甚至降低，此外引入CBAM注意力機(jī)制后模型的性能也優(yōu)于引入其他幾種注意力機(jī)制。從表2中模型在D-WS數(shù)據(jù)集上的實(shí)驗結(jié)果可以看出，引入CBAM到Y(jié)OLOv8m-seg模型的backbone中時，模型的精確率、召回率和平均精度均值分別提高了0.4個百分點(diǎn)、0.9個百分點(diǎn)和1.2個百分點(diǎn)，優(yōu)于在neck或backbone和neck中引入CBAM后的模型，雖然在模型的backbone中引入SE注意力機(jī)制時精確率最高，但模型的召回率略下降。類似的，在模型的backbone中引入CA注意力機(jī)制時召回率最高，但模型的精確率略下降。因此，通過對比該試驗結(jié)果，將CBAM引入到模型的backbone中是最優(yōu)的，此時的改進(jìn)YOLOv8m-seg模型相比原YOLOv8m-seg模型在兩個數(shù)據(jù)集上均表現(xiàn)出更優(yōu)的性能。

4.5 "不同小麥赤霉病嚴(yán)重度識別算法對比

為了充分驗證本文提出的小麥赤霉病嚴(yán)重度識別算法的有效性，將本文提出的方法與另外三種方法進(jìn)行對比。對比的第一種方法為直接用YOLOv8m-seg在原圖中分割小麥麥穗和小麥小穗，然后進(jìn)行匹配后計算嚴(yán)重度。對比的第二種方法前兩個步驟與本文方法相同，第三個步驟替換為使用YOLOv8m目標(biāo)檢測模型來檢測單株麥穗的小穗，第四個步驟與本文方法相同。對比的第三種方法前兩個步驟與本文方法相同，第三個步驟替換為使用UNet來分割單株小麥中的健康小穗和病小穗，第四個步驟替換為通過病小穗占單株麥穗的面積來計算嚴(yán)重度。對比使用的評價指標(biāo)為3.2節(jié)中的SA，結(jié)果如表3所示。

從表3中試驗結(jié)果分析可以看出本文提出的小麥赤霉病嚴(yán)重度識別方法嚴(yán)重度精確率高達(dá)94.8%，與其他三種方法相比分別提高了38.4個百分點(diǎn)、6.2個百分點(diǎn)和2.4個百分點(diǎn)，優(yōu)于其他三種方法。第一種方法由于小麥小穗較小，直接在原圖中利用YOLOv8m-seg識別小麥小穗時包含了大量的背景信息，導(dǎo)致模型識別小麥小穗的精度太低，從而導(dǎo)致嚴(yán)重度精確率低。第二種方法與本文方法對比僅識別單株麥穗中小穗的模型不同，導(dǎo)致嚴(yán)重度精確率差異主要原因是YOLOv8m-seg實(shí)例分割模型相較于YOLOv8m目標(biāo)檢測模型學(xué)習(xí)了更多的信息，對于小穗的區(qū)域更加關(guān)注。第三種方法用面積來近似計算赤霉病嚴(yán)重度會受病小穗中生病面積的影響，此外UNet語義分割模型由于更加關(guān)注對每個像素點(diǎn)的分類，缺乏全局信息，很容易受到光線的影響把健康區(qū)域識別為生病區(qū)域，從而導(dǎo)致其精度略低于本文提出的方法。

4.6 "小麥赤霉病嚴(yán)重度識別算法部署

Pytorch框架由于其性能的局限性通常不適合實(shí)際的算法部署。TensorRT是英偉達(dá)基于CUDA提出的一種推理框架，該框架能提高硬件適配性和模型的推理速度。從Pytorch框架轉(zhuǎn)換到TensorRT框架需要經(jīng)過Onnx框架中轉(zhuǎn)，即先將Pytorch框架下的模型轉(zhuǎn)換為Onnx框架下的模型，再將其轉(zhuǎn)換為TensorRT框架下的模型。此外，在算法部署時C++由于其優(yōu)秀的運(yùn)行效率被研究者們廣泛使用。本文基于C++版的TensorRT框架對提出的算法進(jìn)行部署，并通過對多張小麥赤霉病圖像進(jìn)行識別與原Python版的Pytorch框架的算法進(jìn)行時間，結(jié)果如表4所示。

本文提出的小麥赤霉病嚴(yán)重度識別算法的第三個步驟的輸入數(shù)量為第一個步驟中識別的麥穗的數(shù)量，因此當(dāng)識別的麥穗數(shù)量越多算法耗時就越長。從表4中試驗結(jié)果可以看出，將本文提出的小麥赤霉病嚴(yán)重度識別算法通過C++版的TensorRT推理框架部署后整個算法的耗時相較于原Python版的Pytorch框架有大幅度的減少，平均算法耗時約為1.036s，僅為原來的1/7。說明通過TensorRT推理框架部署后極大地提高了小麥赤霉病嚴(yán)重度算法的效率，減少了田間調(diào)查的耗時。圖7為部署后算法的識別結(jié)果。

5""基于AR眼鏡的田間小麥赤霉病嚴(yán)重度調(diào)查試驗

本文將提出的小麥赤霉病嚴(yán)重度識別算法與AR眼鏡相結(jié)合來進(jìn)行田間調(diào)查，圖8為整個流程圖。

調(diào)查人員佩戴AR眼鏡并進(jìn)入小麥赤霉病調(diào)查場景，通過語音識別來觸發(fā)拍照指令，拍照完成后將拍攝的圖片通過網(wǎng)絡(luò)傳輸?shù)阶R別服務(wù)器上進(jìn)行識別，識別服務(wù)器完成識別后將識別結(jié)果返回到AR眼鏡端并在眼鏡中顯示結(jié)果同時后臺保存識別結(jié)果到數(shù)據(jù)庫中。本次田間調(diào)查分別在寧海、蕭山和金華進(jìn)行，將AR眼鏡識別的結(jié)果與人工統(tǒng)計的結(jié)果進(jìn)行統(tǒng)計對比，并通過計數(shù)準(zhǔn)確率（Counting Precision，CP）來評價AR眼鏡識別的效果，CP的計算方式如式（5）所示，

（5）

式中N為人工計數(shù)數(shù)量，N_p為AR眼鏡識別的數(shù)量。

表5為本次田間調(diào)查試驗結(jié)果。從表中試驗結(jié)果可以看出，蕭山和金華田間病穗率較低發(fā)病較輕，寧海的病穗率較高發(fā)病較嚴(yán)重。AR眼鏡在蕭山、寧海和金華三地不同發(fā)病率的田間識別小麥麥穗總數(shù)的計數(shù)準(zhǔn)確率分別為0.944、0.924和0.923，識別小麥病穗的計數(shù)準(zhǔn)確率分別為0.948、0.947和0.963，識別小麥麥穗總數(shù)和小麥病穗數(shù)的平均計數(shù)準(zhǔn)確率分別為0.930和0.953。在對不同的嚴(yán)重度等級的小麥進(jìn)行識別中，對嚴(yán)重度為0級、1級、2級、3級的識別平均計數(shù)準(zhǔn)確率分別為0.910、0.957、0.926、0.825，對4級病穗的識別平均計數(shù)準(zhǔn)確率較低，僅為-0.03，原因主要是樣本偏少，偶然性較大。

此外，在本次田間調(diào)查試驗過程中，對人工統(tǒng)計方式和AR眼鏡識別方式分別進(jìn)行了耗時統(tǒng)計，每塊系統(tǒng)田對近800株的樣本調(diào)查，傳統(tǒng)人工調(diào)查用時約30分鐘，使用AR眼鏡調(diào)查用時約9分鐘。即使用AR眼鏡進(jìn)行田間小麥赤霉病嚴(yán)重度調(diào)查時間僅為傳統(tǒng)人工調(diào)查的1/3左右，同時使用AR眼鏡進(jìn)行調(diào)查的病穗率計數(shù)準(zhǔn)確率高達(dá)0.953，說明使用AR眼鏡進(jìn)行田間小麥赤霉病調(diào)查在保證較高的準(zhǔn)確率的前提下極大地縮短了調(diào)查時間，大幅度降低了調(diào)查人員的勞動強(qiáng)度。

6""結(jié)論

為及時發(fā)現(xiàn)小麥田間赤霉病的發(fā)病情況并做出相應(yīng)防治措施，本文提出了一種田間小麥赤霉病嚴(yán)重度識別方法。首先利用WE-YOLOv8m-seg模型對小麥麥穗進(jìn)行實(shí)例分割，其次通過基于非目標(biāo)抑制方法進(jìn)行單株小麥切圖，再將切取后的單株小麥通過WS-YOLOv8m-seg模型對單株小麥的小穗進(jìn)行實(shí)例分割以檢測健康小穗和病小穗，最后通過國家調(diào)查規(guī)范中赤霉病嚴(yán)重度計算方法計算出單株小麥的嚴(yán)重度。

本文提出的WE-YOLOv8m-seg小麥麥穗實(shí)例分割模型與原模型相比準(zhǔn)確率、召回率和平均精度均值分別提高了0.2個百分點(diǎn)、1.0個百分點(diǎn)和0.9個百分點(diǎn)，提出的WS-YOLOv8m-seg單株小麥小穗實(shí)例分割模型與原模型相比準(zhǔn)確率、召回率和平均精度均值分別提高了0.4個百分點(diǎn)、0.9個百分點(diǎn)和1.2個百分點(diǎn)。

將本文提出的小麥赤霉病嚴(yán)重度識別方法與另外三種方法進(jìn)行了對比，結(jié)果表明本文提出的方法嚴(yán)重度準(zhǔn)確率高達(dá)94.8%，優(yōu)于另外三種方法。此外，本文通過TensorRT推理框架對算法進(jìn)行部署加速，部署后的算法耗時僅為原來的1/7。

基于搭載了本文提出的小麥赤霉病嚴(yán)重度識別算法的AR眼鏡進(jìn)行小麥赤霉病田間調(diào)查試驗，結(jié)果表明AR眼鏡識別的小麥赤霉病病穗計數(shù)準(zhǔn)確率高達(dá)0.953，同時使用AR眼鏡進(jìn)行田間調(diào)查耗時僅為人工調(diào)查的1/3左右。

因此，使用AR眼鏡進(jìn)行田間調(diào)查是未來大勢所趨，不僅有較高的準(zhǔn)確率，同時也能大幅度減少調(diào)查耗時從而降低調(diào)查人員的勞動強(qiáng)度。

參考文獻(xiàn)

[1] 王成社，張保軍，單明珠.入世后我國小麥生產(chǎn)面臨的挑戰(zhàn)及其對策[J].水土保持研究，2002（2）：67-69.

[2] 黃沖，姜玉英，吳佳文，等.2018年我國小麥赤霉病重發(fā)特點(diǎn)及原因分析[J].植物保護(hù)，2019，45（2）：160-163.

[3] 陳云，王建強(qiáng)，楊榮明，等.小麥赤霉病發(fā)生危害形勢及防控對策[J].植物保護(hù)，2017，43（5）：11-17.

[4] 商鴻生，張文軍，井金學(xué).小麥赤霉病菌源的田間分布型和取樣調(diào)查方法[J].西北農(nóng)林科技大學(xué)學(xué)報（自然科學(xué)版），1991（S1）：66-70.

[5] 姚建斌，張英娜，劉建華.基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的小麥病蟲害識別[J].華北水利水電大學(xué)學(xué)報（自然科學(xué)版），2022，43（2）："102-108.

[6] 劉奕.計算機(jī)視覺技術(shù)在農(nóng)作物病蟲害檢測中的運(yùn)用研究[J].科技資訊，2024，22（13）：154-156.

[7] 毛銳，張宇晨，王澤璽，等.利用改進(jìn)Faster-RCNN識別小麥條銹病和黃矮病[J].農(nóng)業(yè)工程學(xué)報，2022，38（17）：176-185.

[8] 馬超偉，張浩，馬新明，等.基于改進(jìn)YOLOv8的輕量化小麥病害檢測方法[J].農(nóng)業(yè)工程學(xué)報，2024，40（5）：187-195.

[9] 溫艷蘭，陳友鵬，王克強(qiáng)，等.基于機(jī)器視覺的病蟲害檢測綜述[J].中國糧油學(xué)報，2022，37（10）：271-279.

[10] 周善良，李銳.基于卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病蟲害識別研究綜述[J].智慧農(nóng)業(yè)導(dǎo)刊，2024，4（17）：39-45.

[11] 慕君林，馬博，王云飛，等.基于深度學(xué)習(xí)的農(nóng)作物病蟲害檢測算法綜述[J].農(nóng)業(yè)機(jī)械學(xué)報，2023，54（S2）：301-313.

[12] 徐博文，童孟軍.基于改進(jìn)的Faster R-CNN的小麥麥穗檢測識別[J].湘潭大學(xué)學(xué)報（自然科學(xué)版），2022，44（4）：48-59.

[13] 韓弘煒，張漪埌，齊立萍.基于卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病蟲害檢測綜述[J].智慧農(nóng)業(yè)導(dǎo)刊，2023，3（6）：6-9.

[14] 高偉鋒.基于YOLOv8的柑橘病蟲害識別系統(tǒng)研究與設(shè)計[J].智慧農(nóng)業(yè)導(dǎo)刊，2023，3（15）：27-30.

[15] 楊鋒，姚曉通.基于改進(jìn)YOLOv8的小麥葉片病蟲害檢測輕量化模型[J].智慧農(nóng)業(yè)（中英文），2024，6（1）：147-157.

[16] 鄧國強(qiáng)，王君嬋，楊俊，等.基于圖像和改進(jìn)U-net模型的小麥赤霉病穗識別[J].麥類作物學(xué)報，2021，41（11）：1432-1440.

[17] 張正華，吳宇，金志琦.基于MHSA-YOLOv7的小麥赤霉病感染率檢測[J].無線電工程，2024，54（1）：71-77.

[18] 鮑文霞，孫慶，胡根生，等.基于多路卷積神經(jīng)網(wǎng)絡(luò)的大田小麥赤霉病圖像識別[J].農(nóng)業(yè)工程學(xué)報，2020，36（11）：174-181.

[19] 陳鵬，馬子涵，章軍，等.融合注意力機(jī)制的小麥赤霉病語義分割網(wǎng)絡(luò)[J].中國農(nóng)機(jī)化學(xué)報，2023，44（4）：145-152.

[20] 高君，張正華，邵明，等.基于改進(jìn)YOLOv5s的小麥赤霉病檢測方法[J].信息與電腦（理論版），2023，35（12）：61-65.

[21] 戴雨舒，仲曉春，孫成明，等.基于圖像處理和Deeplabv3+模型的小麥赤霉病識別[J].中國農(nóng)機(jī)化學(xué)報，2021，42（9）：209-215.

[22] GB/T 15796-2011，小麥赤霉病測報技術(shù)規(guī)范[S].

引用格式：徐瑋，周佳良，錢嘯，符首夫.基于AR眼鏡和改進(jìn)YOLOv8m-seg的田間小麥赤霉病嚴(yán)重度識別方法[J].農(nóng)業(yè)大數(shù)據(jù)學(xué)報，2024，6（4）："497-508. "DOI： 10.19788/j.issn.2096-6369.000065.

CITATION："XU Wei， ZHOU JiaLiang， QIAN Xiao， FU ShouFu. Severity Recognition Method of Field Wheat Fusarium Head Blight Based on AR Glasses and Improved YOLOv8m-seg[J]. Journal of Agricultural Big Data， 2024，6（4）："497-508. DOI： 10.19788/j.issn.2096-6369.000065.

Severity Recognition Method of Field Wheat Fusarium Head Blight Based on AR Glasses and Improved YOLOv8m-seg

XU Wei， ZHOU JiaLiang^*， QIAN Xiao， FU ShouFu

JinHeTech， Beijing 100027， China

Abstract："Timely detection of the severity of Fusarium head blight in the field and taking corresponding prevention and control measures based on the severity of the disease can improve the quality of wheat production. The current methods for identifying the severity of wheat Fusarium head blight are mostly based on identifying one or several wheat ears， which is not suitable for field investigations due to its low efficiency. To address this issue， the study proposes an efficient and accurate method for identifying the severity of wheat Fusarium head blight in the field. By introducing CBAM attention mechanism to improve the performance of YOLOv8m-seg model. Using the improved YOLOv8m-seg model to segment wheat ear instances in the collected distant images， and then using non target suppression method to cut individual wheat ear. Then， using the improved YOLOv8m-seg model to segment diseased and healthy spikelets in each wheat ear， the severity of Fusarium head blight in each wheat ear is calculated based on the number of diseased and healthy spikelets. To verify the effectiveness of the method proposed in this article， two datasets were constructed for testing， namely dateset of wheat ear （D-WE） and dateset of wheat spikelet （D-WS）. The experimental results show that YOLOv8m-seg has better overall performance than YOLOv8n-seg， YOLOv8s-seg， YOLOv8l-seg， and YOLOv8x-seg on two datasets. The model that introduces CBAM is superior to the model that introduces SE， ECA， and CA attention mechanisms. Compared with the original model， the mean average precision of the improved YOLOv8m-seg model has increased by 0.9 percentage points and 1.2 percentage points on two datasets， respectively. The severity recognition method for Fusarium head blight proposed in this study has improved the severity accuracy by 38.4 percentage points， 6.2 percentage points， and 2.4 percentage points compared to the other three recognition methods. After deploying the improved YOLOv8m-seg model through TensorRT inference framework， the total algorithm time consumed is only 1/7 of the original. Finally， this study conducted a investigation on the severity of wheat Fusarium head blight in three locations based on AR glasses. The results showed that the average counting accuracy of intelligent identification of wheat Fusarium head blight based on AR glasses was as high as 0.953， and the investigation time is one-third of the manual investigation time. This fully demonstrates the effectiveness of the proposed method and lays a good foundation for intelligent field investigation of wheat Fusarium head blight.

Keywords： Fusarium head blight; CNN; YOLOv8; attention mechanism; AR glasses