基于YOLOv5s神經(jīng)網(wǎng)絡(luò)的農(nóng)林業(yè)常見蟲害檢測的應(yīng)用研究

李潤平 蘇成悅 馮祖勇

關(guān)鍵詞：蟲害檢測；圖像處理；深度學(xué)習(xí)；YOLO

0 引言

我國森林和農(nóng)作物的病害蟲種類較多，如果不積極應(yīng)對蟲害問題，不采取遏制隱含蟲害的措施，可能導(dǎo)致大面積的蟲害暴發(fā)，從而成為制約林業(yè)可持續(xù)發(fā)展和農(nóng)作物大量減產(chǎn)的重要因素之一。監(jiān)測蟲害的規(guī)模和數(shù)量，及時發(fā)現(xiàn)隱含的大面積蟲害并采取及時的抑制手段，避免因大面積蟲害導(dǎo)致的重大經(jīng)濟(jì)損失，具有非常重要的經(jīng)濟(jì)價值和現(xiàn)實意義[1]。

監(jiān)測蟲害規(guī)模的基礎(chǔ)是檢測蟲害和統(tǒng)計蟲害的數(shù)量，最早的方法是憑借治理蟲害的專家的經(jīng)驗，傳統(tǒng)檢測法，如直觀檢查法、取樣篩選法和探管誘捕法[2]等，這種方法不僅時效低，同時會消耗大量人力物力，導(dǎo)致出現(xiàn)治理蟲害不及時的情況，該方法難以推廣。近幾十年來，隨著計算機(jī)技術(shù)的發(fā)展，圖像識別技術(shù)逐漸在各個鄰域代替人工識別和統(tǒng)計的工作，深度學(xué)習(xí)目標(biāo)檢測在農(nóng)林作物的蟲害檢測已經(jīng)有了一定的應(yīng)用，這些應(yīng)用大都是特定的農(nóng)作物的幾類蟲害檢測，如桃樹蟲害[3]、田間黃板蟲害[4]等蟲害檢測，但對多類常見害蟲的幼蟲和成蟲同時作為目標(biāo)檢測的較少。本研究收集了常見的多類害蟲的成蟲和幼蟲兩類數(shù)據(jù)集作為深度學(xué)習(xí)模型試驗的數(shù)據(jù)集。

1 YOLO 網(wǎng)絡(luò)模型

1.1 YOLO 神經(jīng)網(wǎng)絡(luò)

YOLO神經(jīng)網(wǎng)絡(luò)模型在2016年由Joseph Redmon 等人在論文中正式被提出[5]，是一個端到端的one- stage模型，該模型將對象的目標(biāo)檢測作為一個回歸問題，直接從圖像的像素到邊界框坐標(biāo)和類概率。YOLO網(wǎng)絡(luò)模型具有檢測速度快、開源性、模型小等優(yōu)點。YOLO系列的開源代碼現(xiàn)在更新到了YOLOv5版本，YOLOv5模型根據(jù)模型的深度和寬度遞減依次分為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四種參數(shù)量不同的模型，基于應(yīng)用的場景和目的，綜合對比實時性和精確度，本文選擇YOLOv5s網(wǎng)絡(luò)模型作為多類蟲害檢測的模型。

1.2 YOLOv5s 算法

Y個OL部Ov分5s組網(wǎng)成絡(luò)。由其i網(wǎng)np絡(luò)ut、結(jié)b構(gòu)ack[6-b8]o如ne示、n意ec圖k和1所p示red。i

1.2.1 Input

Input（輸入端）由Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計算和自適應(yīng)圖片縮放三部分組成。

Mosaic數(shù)據(jù)增強(qiáng)對數(shù)據(jù)集進(jìn)行隨機(jī)縮放、裁剪、排布與組合的處理，該處理方法可以使數(shù)據(jù)集變得復(fù)雜和多樣，訓(xùn)練得到的模型，比直接使用數(shù)據(jù)集訓(xùn)練有更強(qiáng)的魯棒性。

自適應(yīng)錨框計算是在數(shù)據(jù)集中，每個網(wǎng)格單元初始化設(shè)定錨定框基礎(chǔ)上，輸出預(yù)測框、計算預(yù)測框和已標(biāo)注真實框的差距，不斷進(jìn)行反向更新與重復(fù)計算，迭代網(wǎng)絡(luò)模型中的參數(shù)。

自適應(yīng)圖片縮放是將數(shù)據(jù)集中不同尺寸大小的原始圖片，經(jīng)過縮放、自適應(yīng)填充黑邊等處理統(tǒng)一成標(biāo)準(zhǔn)尺寸，在預(yù)測階段可以減少計算量，提高網(wǎng)絡(luò)的檢測速度。

1.2.2 Backbone

Backbone（骨干網(wǎng)絡(luò)）由Focus 結(jié)構(gòu)和CSP 結(jié)構(gòu)組成。

Focus結(jié)構(gòu)是對輸入圖片進(jìn)行切片操作，采集不相鄰的切片，進(jìn)行重新組合，減小圖像尺寸，增加圖像的通道數(shù)，再與32個卷積核進(jìn)行卷積操作。以YO? cLuOsv結(jié)5s構(gòu)為處例理，輸后入，得圖到像尺尺寸寸為為614008×06×4100×8102×的3，特經(jīng)征過圖Fo，?卷積之后得到640×640×32的特征圖。Focus結(jié)構(gòu)如圖2所示。

FPN是自頂向下的金字塔結(jié)構(gòu)，通過上采樣得到深層的語義特征，并將其與淺層的特征融合，得到輸出預(yù)測的特征圖，可以增強(qiáng)在多尺度的語義表達(dá)。

PAN 是自底向上的金字塔結(jié)構(gòu)，是對FPN 的補(bǔ)充，通過下采樣得到淺層的定位信息，并將其傳導(dǎo)到深層，更加精確在多個尺度上的定位能力。

1.2.4 Head

Head（輸出端）包含了損失函數(shù)和非極大值抑制（NMS） 。

損失函數(shù)包含定位、目標(biāo)置信度和分類損失函數(shù)，YOLOv5s與之前YOLO系列的不同在于GIoU定位損失函數(shù)，如公式（1）

其中s1 為真實框與預(yù)測框的交集面積值，s 為真實框和預(yù)測框的并集面積值，這可以限制GIoU的取值范圍在-1～1之間，當(dāng)真實框和預(yù)測框沒有交集時，GIoU取值為負(fù)，同時解決了IOU為0的情況。

非極大值抑制作用在YOLOv5網(wǎng)絡(luò)模型的預(yù)測階段，非極大值抑制可以理解為局部最大搜索，局部代表一個領(lǐng)域，鄰域有維數(shù)和大小。在目標(biāo)檢測任務(wù)中，圖像經(jīng)滑動窗口提取特征，分類器識別，每個窗口會得到一個分?jǐn)?shù)，但很多窗口存在交叉或者包含關(guān)系，這時就需要用到NMS來選取鄰域中分?jǐn)?shù)最高的窗口，從而抑制分?jǐn)?shù)低的窗口。其原理是在Bounding Box的B列表和對應(yīng)的置信度S中，選擇有最大score 的預(yù)測框M，將M從B列表移除，并將B中剩余檢測框中與M的IoU大于閾值Nt的預(yù)測框從B中移除，重復(fù)這個過程，直到B為空，從而去除多余的預(yù)測框。

2 實驗

2.1 實驗環(huán)境的搭建

在MobaXterm 軟件中，通過SSH連接Linux服務(wù)器，在命令行窗口，通過命令“conda create -n yolo py? thon==3.8”創(chuàng)建一個基于Python=3.8 的環(huán)境名為YOLO的虛擬環(huán)境；通過命令“conda activate yolo”進(jìn)入YOLO虛擬環(huán)境；通過命令“cd YOLOv5-master”進(jìn)入YmOenLtOs.vtx5t”網(wǎng)安絡(luò)裝模YO型LO；v通5模過型命運(yùn)令“行p的ip依in賴sta庫ll文-r件re，q其uir運(yùn)e?行環(huán)境配置流程如圖5所示。

2.2 建立數(shù)據(jù)集

本實驗使用YOLOv5s網(wǎng)絡(luò)模型，由于是對多類蟲害的檢測，包含各類害蟲的成蟲和幼蟲的檢測，所以使用Butterfly和Caterpillar數(shù)據(jù)集分別作為蟲害的成蟲和幼蟲標(biāo)簽名，可以從兩類檢測目標(biāo)初步判斷大范圍的林業(yè)和農(nóng)業(yè)的蟲害情況。筆者使用爬蟲技術(shù)從網(wǎng)上提取了710張Butterfly圖片和690張Caterpillar圖片。

在Linux服務(wù)器的命令行輸入命令“pip install labe? limg”，安裝labelimg標(biāo)注工具，再輸入命令“l(fā)abelimg”，即可使用該標(biāo)注工具。使用labelimg打開標(biāo)注數(shù)據(jù)集所在的文件夾，用矩形框框住Butterfly和Caterpillar目標(biāo)，分別選擇對應(yīng)的標(biāo)簽類別信息，保存對應(yīng)圖像的標(biāo)簽格式為VOC數(shù)據(jù)集格式，數(shù)據(jù)集在YOLOv5網(wǎng)絡(luò)中訓(xùn)練時，使用腳本將VOC格式標(biāo)簽數(shù)據(jù)集轉(zhuǎn)換為YOLO格式標(biāo)簽數(shù)據(jù)集，再通過腳本自動劃分訓(xùn)練集和測試集。其中，YOLO格式存儲了標(biāo)注框的標(biāo)簽、中心點和長寬信息，標(biāo)注數(shù)據(jù)集示例如圖6所示。

2.3 實驗結(jié)果及分析

本實驗使用YOLOv5s模型對自制蟲害數(shù)據(jù)集進(jìn)行訓(xùn)練，數(shù)據(jù)集總體訓(xùn)練迭代300 輪、批量樣本數(shù)batch_size=32、學(xué)習(xí)率設(shè)置為0.003。網(wǎng)絡(luò)模型訓(xùn)練過程的參數(shù)變化如圖7所示，一開始訓(xùn)練時，損失函數(shù)的收斂速度較快，損失函數(shù)的總體趨勢收斂速度趨于平緩，隨著迭代次數(shù)的增加，模型的損失函數(shù)、精確度和召回率變化總體趨勢是一致收斂的，最終模型收斂會保存最后一個權(quán)重文件和一個最優(yōu)權(quán)重文件。

圖7中的box_loss的數(shù)值越接近0，目標(biāo)框與真實框越接近，目標(biāo)框越準(zhǔn)確；obj_loss的數(shù)值越接近0，目標(biāo)檢測框的概率值越大；cls_loss的數(shù)值越接近0，目標(biāo)檢測的分類信息越準(zhǔn)確；平均準(zhǔn)確度和召回率的標(biāo)價指標(biāo)如公式（2） 、公式（3） 所示。

上述公式中的TP 表示正樣本預(yù)測為正樣本的個數(shù)，F(xiàn)P 表示負(fù)樣本預(yù)測為正樣本的個數(shù)，F(xiàn)N 表示正樣本預(yù)測為負(fù)樣本的個數(shù)。mAP_0.5和mAP_0.5：0.9中的m 表示平均，AP 使用precision和recall數(shù)值作為兩軸作圖后圍成的面積，該數(shù)值越接近1，目標(biāo)檢測準(zhǔn)確度越高。從圖7中數(shù)據(jù)可知平均的precision和recall 達(dá)到了80%，多類害蟲的成蟲與幼蟲的特征有較多的差異性，在驗證模型階段的損失函數(shù)相比于訓(xùn)練階段的損失函數(shù)，模型趨于收斂的部分，前者的收斂震蕩范圍會大于后者。

將訓(xùn)練好的最優(yōu)權(quán)重文件導(dǎo)入模型中，輸入測試圖片進(jìn)行查看，平均每張圖像預(yù)測的速度為0.014s，這種特征明顯的類別目標(biāo)檢測效果置信度能達(dá)到80%，識別效果如圖8所示，訓(xùn)練的模型速度和準(zhǔn)確性都很不錯。

3 結(jié)論

本次實驗，對農(nóng)林業(yè)中多類蟲害有較好的檢測效果，在固定的無人監(jiān)測站檢測蟲害規(guī)模中，可以替代大部分人工工作，能夠節(jié)省人力物力；同時，可以從根源上限制蟲害的規(guī)模，減少農(nóng)藥的使用。但是對于固定無人監(jiān)測站會有較大的基礎(chǔ)成本和地域范圍限制，導(dǎo)致監(jiān)測面積縮小，如果使用無人機(jī)對農(nóng)林業(yè)區(qū)域的蟲害數(shù)量進(jìn)行監(jiān)測，不但節(jié)省成本，更能方便靈活且真實地反映區(qū)域蟲害情況。未來的研究方向需要解決復(fù)雜背景下小個體害蟲的檢測，同時保證檢測的準(zhǔn)確性，將此應(yīng)用于無人機(jī)檢測蟲害中，可以降低更多人工成本。