基于深度學習的月季多葉片病蟲害檢測研究*

李子茂，劉戀冬，夏夢，帖軍，張玥

(1.中南民族大學計算機科學學院，武漢市，430074；2.湖北省制造企業智能管理工程技術研究中心，武漢市，430074)

0 引言

月季作為我國十大名花之一，具有悠久的歷史和廣泛的實用性[1]。病蟲害防治作為種植業普遍存在的重點環節也對月季種植具有重要意義，病蟲害作為月季生長過程中不可避免的重要影響因素不僅有損月季觀賞價值[2]，還會對月季種植者造成嚴重的經濟損失。傳統月季病蟲害防治依靠人工觀測和種植經驗，大規模種植基地人工觀測病蟲害耗時長、效率低下的同時具有較高的學習成本；同時從業人員素質參差不齊，家庭種植愛好者也缺乏病蟲害問診途徑[3]，均無法快速掌握月季病蟲害防治知識。隨著精準農業的興起，利用計算機視覺相關技術進行月季病蟲害檢測研究具有重要意義，為幫助初期從業者、種植愛好者把控月季生長狀態確診月季病癥提供新的思路[4]。同時也是進一步實現月季病蟲害檢測應用、輔助月季基地病蟲害視頻監測防治工作、推動月季自動化智能化種植的重要基礎[5]。

植物病蟲害研究主要分為基于手工提取特征[6-8]的研究方法和基于卷積神經網絡[9-10]的研究方法兩大類[11]，Sabro等[12]通過ostu閾值法對番茄病蟲害葉片進行分割，去除葉片圖像背景影響后提取顏色、形狀和紋理特征，輸入決策樹得到最終的分類；Jaisakthi等[13]為去除病蟲害以外的感興趣區域，首先采用Grabcut算法將葉片從背景圖像中分割出來，再采用全局閾值法對分割出的葉片進行病區分割，提取圖像的紋理和顏色特征利用支持向量機對葡萄葉片病蟲害進行分類；Dechant等[14]通過構建多個CNN網絡進行玉米葉片圖像小范圍葉枯病檢測得到葉枯病位置和概率，融合多個CNN檢測結果圖像進行玉米葉片圖像完整葉枯病檢測；Jiang Peng等[15]通過在SSD中引入Inception[16]，并結合Rainbow級聯并優化特征提取網絡進行蘋果葉片病蟲害檢測；Ozguven等[17]根據甜菜葉斑病的檢測任務更改CNN模型的參數更新Faster R-CNN[18]模型結構，對自然環境下拍攝的單片甜菜葉進行病蟲害檢測；Liu等[19]通過改進YOLOv3[20]對番茄病蟲害進行檢測，具有很高的檢測速度。分析發現，目前病蟲害研究多針對自然或實驗環境下單葉片圖像進行病蟲害的分類，不符合實際應用場景。對于自然環境下多葉片病蟲害的研究較少同時檢測效果存在提升空間。

本文將基于卷積神經網絡的目標檢測算法引入到月季多葉片病蟲害檢測這一復雜場景中。自然環境下拍攝的月季病蟲害圖片中往往包含多葉片，除葉片外還存在雜草、地面、小型雜物等干擾因素，此類非感興趣區域部分與月季病蟲害相類似，檢測算法易將此類非感興趣區域判斷為月季病蟲害區域造成誤檢。同時還有部分病蟲害目標區域較小，檢測難度較大。本文擬通過兩個階段的檢測過程實現自然環境下多葉片月季病蟲害檢測。

1 月季多葉片病蟲害檢測方法

結合YOLOv3模型和Inception模塊構建YOLO-in模型作為葉片檢測模型，然后將K-means聚類算法應用于Faster R-CNN以確定符合月季病蟲害檢測需求的Anchor box，進而將Faster R-CNN用于病蟲害檢測。并自主收集自然場景下月季病蟲害圖像數據集作為訓練樣本，用于訓練YOLO-in葉片檢測模型和Faster R-CNN病蟲害檢測模型。

本文提出的多葉片月季病蟲害檢測方法TSDDP(Two Stage Detection of Diseases and Pests)思路如下：第一階段將圖像輸入到構建的YOLO-in模型中進行葉片檢測，根據葉片檢測結果進行掩模處理，消除自然背景中非感興趣區域對病蟲害檢測的影響；第二階段將得到的葉片掩模圖像輸入到以VGG-16[21]作為特征提取網絡的Faster R-CNN模型，進行葉片區域病蟲害的檢測。

TSDDP方法的檢測流程圖見圖1。

圖1 TSDDP檢測流程Fig.1 Detection process of TSDDP

該方法通過兩個階段過程可以有效去除自然環境下復雜背景圖片對月季病蟲害檢測的影響，使得檢測框定位更加精準，從而提高自然環境下月季病蟲害檢測的準確度。

1.1 基于YOLO-in的葉片檢測

1.1.1 YOLOv3

YOLOv3作為one-stage目標檢測算法中具有代表性的算法，對檢測圖像進行特征提取，直接從檢測圖像中預測目標邊界框和目標類概率，具有明顯的速度優勢，能夠快速進行葉片檢測為第二階段病蟲害檢測去除背景影響。YOLOv3采用由殘差網絡ResNet[22]構建的Darknet-53作為特征提取網絡，通過卷積和上采樣操作進行高低層特征融合，在3個特征圖上進行特征融合和獨立預測從而提高檢測精度。但特征網絡層數的加深使得小尺寸目標的特征信息難以被提取，同時對于各尺寸的特征圖也缺乏多樣化的感受野。因此，在具有速度優勢的同時也導致了它在檢測小尺寸和容易聚類的對象方面較弱[23]，目標檢測、相似目標檢測、遮擋情況檢測時尤為明顯。

而GoogLeNet通過增加網絡寬度，使用多個Inception模塊在獲得良好的特征提取效果的同時減少了網絡模型計算參數。如圖2所示Inception模塊具有多個卷積操作分支，對輸入圖像并行地執行多個不同尺度的卷積或池化操作，并將所有分支結果融合提高模型對尺度的適應性的同時，對圖像稀疏特征和密集特征進行提取，最終取得更好的效果。

圖2 Inception模塊—初始版本Fig.2 Inception module-naive version

1.1.2 YOLO-in模型構建

本文提出一種類似于Inception的結構如圖3所示，通過多尺度特征提取再融合的方式保留更多的特征信息。采用1×1、3×3、5×5、7×7四種不同大小的卷積核并行對同一輸入進行特征提取，最后對這些并行的特征提取結果進行融合輸入下一層網絡。其中尺度較小的卷積能夠提取局部特征，較大的卷積能夠學習到全局特征，不同大小的卷積具有不同大小的感受野，提取豐富特征的同時提高網絡的魯棒性。5×5，7×7大小的卷積核的選取以覆蓋到YOLOv3中不同大小的特征圖，確保獲取到特征圖上的目標信息。1×1卷積能夠減少模型參數，在7×7卷積(通道數為128)前添加1×1卷積對通道數進行調整使得參數減少近3/4。最大池化操作保留區域內最大值來提供轉移翻轉不變性，提取圖像的主要特征同時使得特征圖壓縮變小，降低模型特征計算的復雜度。

(a)Inception a

YOLO-in模型結構如圖4所示，通過將圖3所示的模塊a和模塊b分別添加到YOLOv3特征融合之前，使得低高層特征圖融合前首先連接到Inception模塊，對同一層特征圖進行多尺度特征提取，得到多尺度特征融合結果后再進行連接，得到更為豐富的特征信息。其中低層特征圖的大小為52×52×256，連接至Inception a模塊采用四個分支進行特征提取，通道數比例為1∶1∶1∶1。而高層特征圖的大小為13×13×1 024，其經過Darknet多層卷積后保留的細節特征信息相對有限，采用Inception b模塊從3個分支對其進行多尺度特征融合，分支通道數比例為2∶1∶1。由于低層特征圖比高層特征圖具有更多細粒度的特征信息，通過多尺度特征提取能夠得到更加多樣性特征，對于小物體、遮擋部分都能夠保留更多有意義的特征，有效改善小物體、遮擋物體的檢測效果。因此高低層融合時的特征圖通道數保留原YOLOv3中的比例1∶2 以保留更多低層特征圖的特征信息，提高自然環境下包括遮擋葉片在內的葉片檢測精度。

圖4 YOLO-in模型結構Fig.4 Structure of Yolo-in model

1.2 基于改進Faster R-CNN的病蟲害檢測

1.2.1 Faster R-CNN

Faster R-CNN將檢測過程分為可能包含物體的候選框的生成和對候選框的修正分類兩部分，具有很高的檢測精度，對于病蟲害類小尺度特征復雜的目標具有更好的檢測效果。Faster R-CNN將經特征提取模型得到的特征圖分別輸入RPN網絡和ROI Pooling層兩個分支，其中RPN網絡輸出約2 000個包含前景、背景概率和邊框調整參數的proposal。而ROI pooling層則同時接收原始特征圖以及RPN網絡輸出的多個proposal，并統一尺度輸出進行最終的目標分類和位置回歸調整。

傳統方法Selective Search[24]通過將圖片劃分成多個小區域計算相鄰區域相似度使得目標檢測僅在候選框提取過程耗時就需要2 s。Faster R-CNN提出RPN網絡用于候選框的選取顯著減少候選框提取用時，通過Anchor box機制設置K個對應的初始檢測框，在輸入的特征圖上使用3×3的滑動窗口進行掃描，每次以滑動窗口的中心點為中心生成K個候選框，根據其與真實標注ground truth的IOU判斷該候選框是否包含待檢測目標，再對候選框進行位置調整得到最初的候選框，使得候選框生成速度達到毫秒級。

1.2.2 Anchor的改進

原Faster R-CNN中默認采用的9種Anchor box尺寸并不符合月季病蟲害的檢測需求。月季病蟲害中蚜蟲等目標在圖像中占比極小，與此同時紅斑病卻通常范圍較大呈長方形。因此聚類更為合適的月季病蟲害檢測Anchor box能夠使得RPN網絡生成更多包含待檢測目標的候選框，從而提高檢測精度。本文采用YOLOv2提出的K-means算法聚類月季病蟲害檢測中的Anchor尺寸，采用的距離度量公式為

d(box,centroid)=1-IOU(box,centroid)

(1)

式中：centroid——聚類簇中心框；

box——當前標注框；

IOU(box，centroid)——簇中心框和當前標注框的交并比。

本文選取K=3，…，20，分別對月季病蟲害數據集標注框K-means聚類得到K取值與IOU之間的關系如圖5所示，K取12時IOU曲線開始趨于平緩，因此針對月季病蟲害數據集特點，本文在原尺寸上增加一個小尺寸Anchor box，最終尺寸與高寬比分別為[64，128，256，512]和[1/2，1，2]，RPN網絡每次滑動根據中心點生成12個不同大小比例的Anchor box以粗略覆蓋更多的月季病蟲害，從而提高月季病蟲害的檢測準確率。

圖5 K取不同值時IOUFig.5 IOU with different K values

2 試驗研究

2.1 數據集采集

試驗樣本圖像主要于2020年2—6月采集自江蘇沭陽勝龍月季園種植園，采集對象為自然條件下生長的患病葉片及部分健康葉片，共采集圖像534張，每幅圖像均包含2個及以上葉片。為提高模型對不同光線、設備、環境下拍攝葉片的適應性通過對圖像進行隨機旋轉、光線調節、高斯模糊、裁剪等方法擴充數據集至1 402張，同時采用ImageNet數據集通過遷移學習的方式幫助模型訓練。

月季葉片數據集中1 402張圖像用于YOLO-in葉片檢測模型訓練與測試，同時選取其中1 050張月季患病葉片圖像作為月季病蟲害數據集用于月季病蟲害模型訓練與測試。在葉片檢測中為學習到更多遮擋葉片的細節特征以提高葉片整體檢測精度，將葉片數據集按以下情況分類標注：(1)葉片不存在遮擋情況，有完整葉片形狀，命名為leaf；(2)葉片生長密集，存在遮擋情況，命名為cover_leaf，兩類標簽均包含健康葉片和帶有病癥的葉片，通過對存在遮擋情況的葉片進行標注，加強了模型對遮擋葉片特征的學習，在不影響未遮擋葉片的檢測情況下，有效提高了遮擋葉片的檢測精度從而達到了更好的葉片檢測效果。

月季病蟲害數據集包括下面4種常見月季病蟲害：紅斑病、白粉病、黑斑病、蚜蟲，而白粉病、根瘤病等其他月季病蟲害由于拍攝困難或不適合采用目標檢測來進行研究未進行采集。其中包含紅斑病、白粉病、黑斑病、蚜蟲病癥的樣本數量分別為320、312、348、480(部分樣本包含多種月季病蟲害)，4種病蟲害樣本如圖6所示。

(a)白粉病

2.2 數據集采集實驗環境

網絡實現部分本文選擇主流的深度學習框架Tensorflow作為實驗平臺，實驗硬件環境為：Intel(R)，Core(TM)i7-6700 CPU @3.40 GHz，8 GB內存，Nvidia P40 23 GB顯卡。

2.3 葉片檢測結果分析

改進得到的YOLO-in模型在自主收集的月季葉片數據集上迭代訓練5 000步，模型Loss圖如圖7所示，模型在前2 500步的迭代訓練中，損失值不斷降低并于2 500步左右到達穩定狀態，并且在之后的訓練步數中，模型的損失值持續降低，整體趨于穩定，表明YOLO-in模型可以較快地達到收斂狀態。

圖7 YOLO-in模型Loss圖Fig.7 Loss diagram of YOLO-in model

YOLOv3雖能帶來較快地檢測速度，但存在復雜背景下對小尺寸葉片、遮擋葉片檢測效果差的問題。針對葉片檢測存在的問題，采用以下改進策略：(1)對月季葉片數據集根據是否被遮擋進行了分類標注，以提高模型對遮擋葉片特征的學習能力。(2)針對YOLOv3特征融合中存在的未考慮同一特征圖多尺度特征提取與融合的問題，添加類Inception模塊進行多尺度特征提取，綜合提高了月季葉片檢測精度。采用控制變量方式進行改進策略有效性驗證，結果見表1。

表1 各改進策略葉片平均檢測精度Tab.1 Average detection accuracy of leaf

其中僅對葉片數據集進行分類劃分，相較原YOLOv3模型葉片檢測精度提高了3個百分點；增加類Inception模塊進行多尺度特征提取則比原YOLOv3算法提高了8個百分點；綜合以上改進點，YOLO-in模型葉片檢測平均精度達到84.21%，在未遮擋葉片檢測精度基本持平的情況下，遮擋葉片的檢測精度得到明顯提高同時檢測速度僅存在小幅度下降。

對測試集中葉片圖片分別利用改進的YOLO-in算法和原YOLOv3算法進行葉片檢測，檢測結果如圖8所示。可以觀察到圖8(a)中原YOLOv3模型對于存在遮擋情況的葉片檢測效果不佳，同時對于小尺度葉片存在漏檢情況。圖8(b)中改進后的YOLO-in模型能夠更好地檢測到存在遮擋情況的葉片和小尺度葉片，并且對于無遮擋葉片，兩種算法檢測精度相當的情況下YOLO-in模型具有更好的定位效果，有利于得到完整葉片區域保障病蟲害檢測，減少漏檢和誤檢情況的出現。圖8(c)為根據YOLO-in算法葉片檢測結果對原圖葉片外區域進行掩模操作去除背景影響因素后得到的掩模圖片，作為葉片檢測最終結果輸入到Faster R-CNN模型中進行下一步的病蟲害檢測。

(a)YOLOv3模型葉片檢測結果

2.4 病蟲害檢測結果分析

改進后的Faster R-CNN模型在月季病蟲害數據集上平均檢測精度為82.26%，模型P-R曲線如圖9所示。紅斑病的檢測效果最佳而白粉病的檢測效果最差，通過分析主要原因：(1)紅斑病特征更為明顯、受圖片質量影響程度小；(2)白粉病訓練樣本較少，訓練樣本包含約300張圖片，整個訓練樣本包含約1 000個標記的白粉病區域；(3)蚜蟲目標尺度過小，雖然進行了Anchor box的改進提高了檢測精度，檢測精度仍然略低于尺度更大的黑斑病與紅斑病。

圖9 Faster R-CNN模型P-R圖Fig.9 P-R diagram of Faster R-CNN model

針對Faster R-CNN模型病蟲害檢測主要有兩點改進：(1)根據月季病蟲害數據集標注框聚類更為適當的Anchor box；(2)聯合本文提出的YOLO-in模型在月季葉片檢測的基礎上進行月季葉片病蟲害檢測。本文根據變量控制試驗原則測試各個改進點，對比檢測結果如表2所示。原Faster R-CNN算法在測試集中4種病蟲害平均精度為76.21%，只對Anchor進行改進的情況下Faster R-CNN算法平均檢測精度提高了約2個百分點為78.50%，其中蚜蟲這一類小尺度的目標檢測精度提升明顯；當只聯合YOLO-in算法在葉片檢測基礎上檢測病蟲害時，4種病蟲害平均檢測精度為79.35%，相較原Faster-RCNN模型提高近3個百分點，主要改進了黑斑病、紅斑病、白粉病等尺度較大且與部分背景干擾因素相似度較高的病蟲害的檢測精度；本文提出的各改進點對Faster R-CNN模型病蟲害檢測的檢測精度均有不同程度的提升，平均檢測精度為82.26%，相比于原Faster R-CNN算法進行病蟲害檢測的精度提高了近6個百分點的，同時檢測速度略有下降。

表2 各改進點病蟲害檢測精度對比Tab.2 Detection accuracy of pests

采用本文提出的TSDDP檢測方法和原Faster R-CNN 模型進行月季病蟲害檢測結果如圖10所示。

(a)原Faster R-CNN病蟲害檢測

原Faster R-CNN模型病蟲害檢測結果圖10(a)表明對于蚜蟲等小尺度目標原模型漏檢情況較多，同時存在土壤雜物檢測為病蟲害的誤檢情況。本文TSDDP方法病蟲害檢測結果圖10(b)中蚜蟲、小型葉片這類小目標的誤檢情況改善明顯，自然背景中雜物造成的誤檢情況也得到了避免，同時本文TSDDP方法對于蚜蟲、紅斑病、黑斑病、白粉病位置定位也更為準確。結果表明本文首先進行葉片檢測再進行病蟲害檢測的方法能夠有效去除避免自然背景對病蟲害檢測的影響，明顯避免了土壤雜物造成的誤檢。Anchor box尺寸的優化也使得本文方法獲到了更好地檢測效果，顯著提高蚜蟲等小尺寸目標的檢測效果的同時使得病蟲害的定位更加準確。雖然本文提出的TSDDP方法改善了月季病蟲害檢測精度，但由于月季葉片部位病蟲害種類多、部分病害面積過小形狀多變或顏色和紋理等特征類似，而包含自然背景的病蟲害圖片非感興趣區域過多都容易導致檢測錯誤使得平均檢測精度還存在提升的空間，同時TSDDP方法通過對模型優點的結合和檢測步驟的分解，雖然解決了背景因素的影響卻降低了病蟲害檢測速度，這將作為下一步研究改進的重點以提高自然環境下月季病蟲害的檢測精度和速度。

3 結論

本文以自然背景下的月季多葉片病蟲害檢測為研究對象，對自然背景下采集的病蟲害圖片進行黑斑病、紅斑病、白粉病、蚜蟲4種月季常見病蟲害的目標檢測。針對實際場景中復雜背景、病蟲害尺度過小等問題，本文提出兩階段月季病蟲害檢測方法TSDDP，通過YOLOv3模型融合Inception模塊對多葉片圖片進行葉片檢測去除背景影響因素，并對Faster R-CNN模型的Anchor box尺度進行改進再對葉片區域病蟲害進行檢測實現自然場景下多葉片病蟲害檢測，并對不同檢測模型及其有效性進行試驗驗證。

1)通過對YOLOv3模型添加Inception模塊，采用1×1、3×3、5×5、7×7四種不同大小的卷積核并行進行多尺度特征提取再融合的方式保留更多的特征信息，對并行的特征提取結果進行融合輸入到YOLOv3特征融合層進行檢測和分類實現YOLO-in葉片檢測模型。

2)針對月季病蟲害數據集通過對Faster R-CNN中Anchor box進行聚類尋優，調整增加Anchor box使得最終尺寸與高寬比為[64，128，256，512]和[1/2，1，2]以覆蓋更多的月季病蟲害，并具有更優的定位效果。

3)通過對月季多葉片圖片進行基于YOLO-in模型的葉片檢測，根據檢測定位結果進行掩膜處理去除背景影響因素，再利用針對月季病蟲害形態優化后的基于YOLO-in葉片檢測模型進行葉片區域病蟲害檢測實現月季病蟲害檢測模型，該方法相較原Faster R-CNN模型具有更高的平均檢測精度，對蚜蟲、黑斑病、紅斑病、白粉病的檢測精度為82.32%、84.08%、88.73%、73.93%，取得了較好地檢測效果，能夠有效去除自然背景對病蟲害檢測的影響，并對圖片中包括小尺寸病蟲害在內的各類病蟲害都具有更好地檢測和定位效果，為病蟲害檢測相關研究提供了新的方法。