基于Mask R-CNN 模型的蟲害識別方法研究

張耀麗，許寧，宋裕民，康建明，張國海，孟慶山

（1.255000 山東省 淄博市 山東理工大學 農業工程與食品科學學院；2.250131 山東省 濟南市 山東省農業機械科學研究院；3.252100 山東省 濟南市 山東交通學院 汽車工程學院）

0 引言

在果樹栽培管理中，蟲害是影響果實品質的主要因素，嚴重影響果樹的整個生長過程。傳統果園蟲害識別往往是人工在作物已經遭受蟲害并外觀發生變化時才能根據病理特征進行判斷，而人工檢查經常出現漏檢、錯檢、蟲害初期識別率較低的情況，費時費力[1]。因此，通過遠程監測系統實現自動識別蟲害對果園生產意義重大。

隨著深度學習技術的發展，國內外學者開始研究將進行目標檢測的卷積神經網絡模型引入蟲害識別中。魏楊等[2]提出了一種結合區域提取網絡和Fast R-CNN 模型的蟲害檢測方法，在已經標注標簽的實際場景的農業害蟲數據庫上進行實驗與測試，平均識別準確度為82.13%，雖然有效地提升了蟲害檢測的準確度，但平均準確度依舊有待提高。Liu 等[3]基于優化YOLOv3 模型來識別番茄病蟲害，該方法可以直接輸入原始圖片，采用端到端的結構，利用圖像金字塔優化YOLOv3 模型的特征層，實現多尺度特征檢測，提高YOLOv3 模型的檢測精度和速度，準確、快速地檢測番茄病蟲害的位置和類別。孫鈺等[4]使用改進Faster R-CNN 目標檢測模型對誘捕器捕捉的紅脂大小蠹進行目標檢測，簡化了檢測流程，減少了模型的計算量，加快了檢測速度，測試平均準確率可以達到97.2%。

基于目前應用于蟲害識別的目標檢測模型，Mask R-CNN 模型在Faster R-CNN 的基礎上，添加了用來輸出分割預測的與原始分類、框回歸任務并列的Mask 回歸分支，不僅可以實現目標像素級的檢測，還可以精確識別目標物體的輪廓。但目前在梨園典型蟲害檢測識別領域的研究較少，因此本文提出了一種基于Mask R-CNN 模型的識別梨小食心蟲的方法，使用自建的梨小食心蟲數據庫來進行模型的學習訓練和測試，為果園蟲害識別和精準防控提供支持。

1 Mask R-CNN 識別模型構建

Mask R-CNN 是卷積神經網絡中的目標檢測模型，它在Faster R-CNN 模型的基礎上添加Mask 回歸分支后，可同步實現輸出分割預測、原始分類和框回歸任務[5]，它不僅可以實現目標像素級的檢測，還可以精確地識別出目標物體的輪廓，達到目標分類、語義分割、實例分割等多種任務[6]，從而適用于對不同生長周期的蟲害精準判斷。本文以Mask R-CNN 為基礎，識別系統架構由特征提取模塊、候選區域生成模塊、目標檢測模塊以及實例分割模塊4 部分組成，如圖1 所示。在Faster R-CNN模型基礎上優化添加用以預測分割的Mask 回歸分支，如圖1 中虛線部分所示，將原來進行2 次量化操作的RoI Pooling 層替換成使用線性插值算法的RoI Align 層，從而避免2 次量化操作產生的誤差，以便提升整個模型的性能和準確性。另外添加并列的FCN 層，實現對輸入圖像的準確分割，可以在有效檢測目標的同時輸出高質量的實例分割Mask。

圖1 Mask R-CNN 模型結構圖Fig.1 Structure of Mask R-CNN model

2 數據集構建

2.1 樣本采集

目前尚沒有公共的梨小食心蟲圖像數據庫，為了獲取足夠的訓練樣本，采用固定式物聯網捕蟲裝置，可實現自動拍照、持續采集、遠程獲取。該裝置使用性信息素誘捕器與光誘雙向誘捕成蟲，通過誘蟲燈吸引昆蟲，并采用性誘芯散發昆蟲性激素，從而捕獲特定昆蟲，如圖2 所示。昆蟲碰到撞擊板會掉落到接蟲漏斗內，再掉落到殺蟲單元，被電死后落入下方的黏蟲板，當黏蟲板累計到一定質量后，得到信號的控制單元會自動拍攝昆蟲照片，通過WiFi 模塊將圖像信息傳遞到遠程終端[7]。本項目在山東泰安市大河基地梨園放置捕蟲裝置1 臺，圖3 為黏蟲板捕捉到的梨小食心蟲。

圖2 物聯網自動拍攝捕蟲裝置Fig.2 IOT automatic filming insect trapping device

圖3 黏蟲板Fig.3 Sticky insect board

2.2 圖像預處理

一方面，模型進行訓練和識別需要大量的圖像樣本，由于蟲害發生具有季節性特點，一般采集的圖像樣本數量有限，因此需要使用數據增廣的方式增加樣本的豐富度。使用VOC 格式工具將采集到的圖像進行隨機旋轉、幾何變換以及收縮變形和色彩抖動，經過篩選后將圖像裁剪為512*512 像素的圖片并建立梨小食心蟲實驗數據集。

另一方面，樣本圖像多為彩色，包含大量RGB（紅綠藍）顏色信息的圖像會給識別模型造成巨大的計算量，為了快速計算，還需將彩色圖像采用加權平均值法對其進行灰度化處理[8]，以便降低矩陣維數，大幅提高運算速度，如圖4 所示。灰度化公式為：

圖4 灰度化處理后的圖片Fig.4 Grayscale processed image

2.3 目標標注

目標標注是深度學習訓練的關鍵環節。本文使用Labelme 標注工具對圖像進行標注，生成.json文件，從而形成樣本數據集。圖5（a）為使用邊界框標注目標，這種方法雖然簡單高效，但會框選住大量的無效多余信息，影響計算效率。圖5（b）為使用邊緣勾選的掩模方式標注目標，這種方法可以更精確地將目標圖像從背景分割出來。梨小食心蟲外觀邊緣線條相對簡單，宜采用邊緣勾選的掩模方式標注，標注時仍應注意盡可能沿外觀邊緣多點標注，以減少標注誤差。

圖5 人工標注圖像方式的比較Fig.5 Comparison of manual annotation image methods

3 深度學習訓練

在處理后的數據集中隨機選擇4 800 張作為訓練集，1 200 張作為測試集，比例為8∶2。選擇多視角樣本圖像，以提高經過訓練的識別模型準確度和通用性。最后舍棄一些人眼無法辨認的圖像，避免在模型訓練時給模型帶來誤導。

采用構建的Mask R-CNN 模型，對訓練參數進行設置，各參數設置如表1 所示。

表1 實驗超參數設置Tab.1 Experimental hyperparameter settings

完成注冊數據集和配置文件設置后，開始數據集訓練，訓練過程中，log 日志、保存模型等均在tools/output 下，在測試過程中，log 日志會自動追加。Log 日志為：

1 訓練：

2 python train.py --num-gpus 1

3 斷點續訓：

4 python train.py --resume

5 測試：

6 將coco_my_val，指代的 val.json，變為test.json，即可，然后運行

7 python train.py --eval-only

訓練過程如圖6 所示。

圖6 數據集訓練過程Fig.6 Dataset training process

模型訓練的過程大約需要5 h，模型訓練過程中得到的損失曲線如圖7 所示，可見模型訓練迭代到20 000 次時，損失值基本收斂。

圖7 損失曲線Fig.7 Loss curve

4 識別結果與分析

4.1 識別結果評估

基于深度學習的智能識別結果評估有3 個重要指標，分別是準確率、召回率及平均精度[9]。準確率是指識別正確的物體個數與識別物體總數的百分率比值，比值越大準確率越高。平均精度是預測目標位置以及類別的這一類算法的性能度量標準。召回率是驗證在所有正確的預測中預測為真的比例。其中有個關鍵參數是IoU 度量，聯合截距（IoU）度量的平均值用于量化實際掩碼與模型輸出之間的重疊百分比。IoU 度量測量目標掩碼和預測掩碼之間的公共像素數除以2 個掩碼中存在的像素總數。交集由預測掩碼（B predict）和實際掩碼（B ground-truth）中的像素組成，而并集由預測和掩碼 real 中的所有像素組成。公式為：

為測試數據集中的每個圖像計算IoU 度量，然后取平均值。公式為：

對于最小選擇閾值，使用 IoU＞0.45 的值，經過參考為IoU 指標建立了接近 0.5 的可接受值。

式中：TP——預測梨小食心蟲的圖像，預測正確；FP——預測梨小食心蟲的圖像，預測錯誤；FN——將其他圖像識別為梨小食心蟲的圖像，預測結果錯誤；Pi——目標類別i 的查準率；Ri——目標類別i 的查重率。

經過計算得到：準確率為0.9，召回分數為0.9，平均精度為0.92。

4.2 對比實驗與分析

為了突出Mask R-CNN 在目標檢測精確度上有更高的優勢，本實驗還使用了同樣的數據集，以Faster R-CNN 為目標檢測模型來識別梨小食心蟲，2 種模型的檢測結果對比如圖8 所示。針對1 200張測試集中的圖片中5 909只梨小食心蟲進行識別，4 次識別結果對比如表2 所示。其中“未檢出”指的是圖8 中為梨小食心蟲但并未識別檢出的個數，“誤判”指不是梨小食心蟲但是識別為梨小食心蟲以及實際為梨小食心蟲但打分低于0.8 的個數[10]。

表2 檢測結果對比Tab.2 Comparison of test results

通過對比實驗的結果進行分析，Mask R-CNN模型檢測結果中梨小食心蟲目標識別結果以檢測框和實體分割的形式標注在圖片上，Faster R-CNN模型檢測結果中梨小食心蟲目標識別結果以檢測框形式標注在圖片上，并且從圖8 中白框標注的部分可以看出，Faster R-CNN模型難以識別邊緣不清晰、顯示不完整的梨小食心蟲圖像，而Mask R-CNN 較為準確地提取出了梨小食心蟲的輪廓，出現漏檢、誤判的情況較少。在識別梨小食心蟲方面，Faster R-CNN 模型平均未檢出率6.6%，平均誤判率3.7%，平均準確率89.6%；Mask R-CNN 的平均未檢出率0.3%，平均誤判率0.76%，具有更高的精確度，平均準確度達98.87%，還可以通過對檢測目標的實體分割進行定位和分類。

圖8 檢測結果對比Fig.8 Comparison of test results

5 結論

（1）為提高果園蟲害識別的準確率、穩定性，本文提出了基于Mask R-CNN 目標檢測模型的蟲害識別方法。該方法在Faster R-CNN 模型基礎上優化添加用以預測分割的Mask 回歸分支，實現自動識別的同時輸出高質量的實例分割Mask，使用數據增廣和掩模標注等方法構建數據集，深度學習訓練后可有效提高梨小食心蟲等蟲害識別的準確性。

（2）選擇常用的目標檢測Faster R-CNN 模型與Mask R-CNN 模型進行對比實驗，結果表明，本文提出的識別方法平均準確率達到98.87%，比Faster R-CNN 模型高出9.3%，能夠對梨小食心蟲進行精確、穩定、高效的識別，可為精確蟲害防治提供參考。