一種基于圖像分類與目標檢測協同的番茄細粒度病害識別方法

摘要：番茄病蟲害細粒度識別在實際農業生產中具有重要意義，其不僅能夠及時、精準地發現病蟲害，減少農業損失，而且有利于治療過程中的精準用藥，能夠提升食品安全、減少環境污染。為了進一步提高番茄細粒度病蟲害識別的精確度，創新性地提出了一種將圖像分類技術與目標檢測技術協同融合的細粒度病蟲害識別方法，該方法由預處理模塊、檢測模塊、分類模塊、融合模塊4個部分組成，其中檢測模塊在目標檢測模型基礎上增加了檢測小目標的特征圖，以提高對小病斑的檢測能力，并通過設置閾值的方式引入了農作物病害的細粒度向量。分類模塊對圖像分類模型的下采樣層進行改進，減少了病害圖片像素的丟失。融合模塊設計實現了一種將2類技術融合的方法，從而達到更好的細粒度識別效果。試驗結果表明，該方法在番茄的16類細粒度病害識別中，相較于3組單純依賴圖像分類技術的方法，整體識別準確率分別提升了1.58百分點、1.90百分點、2.25百分點，細粒度識別準確率提升了0.28百分點、0.83百分點、1.19百分點。綜上，本研究提出的協同方法在番茄細粒度識別中，效果明顯優于傳統圖像分類方法，能夠為農業生產起到更大的幫助作用。

關鍵詞：番茄病害；目標檢測；圖像識別；細粒度識別；協同檢測

中圖分類號：S126；TP391.41 文獻標志碼：A

文章編號：1002-1302（2023）22-0221-08

番茄是一種富含多種微量元素的農作物產品，具有較高的營養價值，是人們日常生活中必備的食材。我國是全球番茄種植面積最大的國家，番茄年產量超過5 000萬t，占全國蔬菜總產量的7%以上［1］。在如此龐大的種植規模和市場需求下，病蟲害造成的減產是影響番茄種植的重要因素之一，其防治也成為了農民和學者關注的熱點問題。在病蟲害防治中，及時準確地發現病蟲害具有重要的意義，早發現早治療能夠有效緩解因病蟲害帶來的減產問題［2］。

近年來，基于深度學習的農作物病蟲害識別技術受到了廣泛的關注與應用。不同于人工識別方法，深度學習方法受人為主觀因素影響小，識別更加精準快速，能夠大幅減少工作量，從而節省人力資源，同時得益于識別的快速高效，它能夠盡早地監測到農作物病害的發生，有助于農民及時采取相應措施以減少損失。目前，使用圖像分類技術進行番茄病蟲害檢測是基于深度學習的主要方法，國內外學者在此方向上開展了一系列相關研究，提出了許多優秀的番茄病蟲害識別模型［3-16］。這些模型通過將番茄葉片圖像數據輸入到圖像分類模型中，由模型自動分析葉片病斑特征，并根據病斑特點判斷番茄所患病癥，識別準確率普遍達到80%以上。例如，Woo等針對作物葉片病害種類繁雜的問題，提出了一種融合注意力模塊［6-7］的網絡模型來對多種植物的葉片病害進行識別，在對4種不同作物的16類病害的識別任務上，達到了83.13%的準確率［7］。張寧等以InceptionV3為主干網絡提出了一種改進的番茄葉部病害檢測模型，該模型結合了多尺度卷積和注意力機制模塊以達到增強病害信息表達的目的。在Plant Village公開數據集上，該模型對5種番茄常見病害圖像的分類效果尤為顯著［8］。Fang等根據番茄葉片病害早晚期的特點，采用結合雙線性注意力［9-10］的方法對番茄的不同病害時期進行識別，在對多種不同時期番茄病害圖像的分類試驗中，識別精度達到了86.89%［10］。

雖然現有基于深度學習的番茄病蟲害識別方法取得了不錯的識別效果，但其只能識別出粗粒度的番茄病蟲害，如番茄早疫病、番茄晚疫病等。粗粒度識別對于實際農業生產的指導作用有限，番茄種植者更加希望能夠識別出所患疾病的嚴重程度，這不僅有利于精準治療，還能減少因農藥濫用、錯用引起的食品安全和環境污染等問題。

綜上所述，本研究以細粒度番茄病害識別為目標，將圖像分類技術與目標檢測技術相融合，提出了一種基于圖像分類和目標檢測協同的番茄細粒度病害識別方法。本方法充分利用了番茄患病葉片病斑區域的數量、面積、顏色深度、侵蝕形狀等關鍵細微特征，在原有圖像分類模型的基礎上，通過目標檢測模型對細微特征進行同步放大分析，并提出一種融合方法使得2類模型可以協同工作，共同完成番茄病害的細粒度識別任務。試驗表明，本研究方法在番茄常見的8種病害的細粒度識別任務中，其準確率明顯高于僅使用了圖像分類技術的模型。

1 材料與方法

1.1 試驗數據

試驗材料取自2018年人工智能挑戰賽所用數據集和PlantVillage數據集，從中選取了包含番茄健康在內的9種常見病害圖像數據，共計16個種類（其中7種病害包含嚴重和一般2種細粒度等級），圖像總數為13 112張圖片，各類別詳細描述如表1所示。

1.2 試驗方法

本研究方法從結構上可以分為預處理模塊、分類模塊、檢測模塊和融合模塊，其結構如圖1所示。其中，預處理模塊接收番茄葉片圖像，完成對原始圖像的預處理工作，從而提升圖像的品質并使其尺寸能夠適應后續的分類模塊和檢測模塊。分類模塊和檢測模塊接收到圖像后，分別使用圖像分類模型和目標檢測模型完成病害識別，并最終通過融合模塊將2種識別進行融合協同，從而給出最終的細粒度識別結果。下面將分別對預處理模塊、分類模塊、檢測模塊以及融合模塊進行介紹。

1.2.1 預處理模塊

由于在原始數據集中存在嚴重的數據不均衡問題，因此在數據預處理階段，加入了數據增強來保證各類病害圖像數量的均衡。為保證數據集能夠得到更高效的使用，本研究采用了圖像縮放和數據增強2種預處理方法，首先將圖像數量低于100張的類別，通過PlantVillage數據集進行補充，將其數量補充至100張；然后對所有類別的圖像數據進行縮放，將圖像大小調整為224像素×224像素，以滿足后續模型的需要；最后通過數據增強技術（對原始圖片進行水平翻轉、垂直翻轉、多角度旋轉和添加噪聲等方式進行組合）將每個類別的圖像數據擴充到1 000張，數據的預處理過程如圖2所示，擴充后采用的數據集共包含了16 351張圖像數據。

1.2.2 分類模塊

分類模塊以殘差神經網絡［17］為基礎，針對原始網絡中存在的對微小目標感知能力差等不足進行了改進。殘差神經網絡在傳統卷積神經網絡的基礎上引入了殘差塊結構，使得網絡深度能夠進一步加深，更加適用于圖像分類任務。原始殘差神經網絡的下采樣層中采用了比較大的卷積核和步長，這雖然能夠減少殘差神經網絡的參數數量，但是也會降低其對微小特征的感知能力。因此，本研究對下采樣層進行了改進，改進后的下采樣層結構如圖3所示，具體改進方法：將第1個卷積核步長（S）改為1，其后的卷積層步長改為2，并加入一個1×1、步長為1的卷積層以保證下采樣層輸出大小不變；在直連結構中加入一個核為2×2、步長為2的平均池化層并將其后的卷積步長改為1，使得下采樣層既不丟失信息又維持了輸出特征圖大小不變。

改進后的殘差神經網絡整體結構如圖4所示。分類模塊基于改進后的殘差神經網絡，首先將經過預處理模塊處理后的番茄病害圖像輸入到卷積核為7×7、步長為2的輸入層進行一次下采樣操作，并將通道數變為64；接著經過步長為2的最大池化卷積實現第2次下采樣操作，此后每經過一個卷積組就做一次下采樣，使特征圖尺寸減半且通道數翻倍；最后可以得到原圖尺寸經過5次下采樣的特征圖，再將特征圖輸入平均池化層壓縮參數經過softmax輸出得到分類置信度矩陣。

1.2.3 檢測模塊

檢測模塊通過對葉片病斑進行檢測，并綜合病斑面積得出葉片病害的決策矩陣。本模塊分為病斑檢測、病斑區域面積計算以及細粒度分類3個步驟。

1.2.3.1 病斑檢測

病斑檢測以經典目標檢測模型YOLO v5［18］為基礎，并針對原有模型對小目標檢測不佳的情況進行了改進，在原有8倍、16倍、32倍下采樣基礎上額外加入一個4倍下采樣的特征圖，并且將該新增尺度特征的3個先驗框尺寸分別設置為5×6、8×14、15×11以檢測小目標，示意圖如圖5所示。同時，使用ImageNet預訓練來初始化參數，并使用番茄葉片病害圖像微調骨干網絡部分的參數進行模型訓練。

改進后的YOLO v5模型整體結構和關鍵結構如圖6所示，整體分為骨干網絡部分、特征融合部分以及檢測頭部分。骨干網絡部分由 Focus 結構和 CSP1結構組成，其中Focus 結構在圖片輸入骨干網絡前將圖片進行通道數變換以實現無損失的下采樣操作，CSP1結構可以提取到細粒度特征并且能夠防止網絡退化；特征融合部分采用了特征金字塔（FPN）［19］的結構，并加入了CSP2結構以增強特征融合效果；檢測頭部分則使用了GIoU_Loss作為回歸檢測框的損失函數。

1.2.3.2 病斑區域面積計算

病斑區域面積計算是通過“1.2.3.1”節得到若干病斑區域的先驗錨框來計算出各個先驗錨框的面積與位置關系，從而為進一步的細粒度分類打下基礎。通過計算錨框的交集與并集面積來體現病害的嚴重程度。具體方法如下：設病斑對象的檢測錨框為（xi1，yi1，xi2，yi2），其中i表示該樣本下各個不同的檢測框，xi1和yi1表示病害檢測錨框的左上角坐標，xi2和yi2表示病害檢測錨框右下角的坐標。當回歸框位置關系滿足式（1）時，可以得到某類病害所有病斑檢測框的相對交集面積，然后由式（3）可得到該類病斑的相對并集面積，取并集面積中最大值所對應的病害類作為該樣本的主要病害種類，并求它與整體檢測框面積的比值得到該病害的程度信息，以用作進一步的細粒度分類。其中，Si與Su的計算方法見公式（2）和公式（3）。

式中：Si表示相對交集面積；Su表示某類病斑的相對并集面積，通過這2個相對面積值的大小可以在一定程度上反映出病害的嚴重程度。xi1、xn1、yi2、yn2分別表示檢測錨框的左上角坐標與右下角坐標，而其中i取不同值時分別表示某一樣本中各個不同的檢測框，其最大值為樣本數，例如i=1，則表示該樣本下的第1個檢測框；n與i類似，但無實際含義，屬于計算機中的索引概念，它的最大值比i的最大值小1（0≤nlt;i），例如當n=0時，表示該樣本下的第1個檢測框，n取上限時，則表示該樣本下的第i個檢測框，n存在的意義是將其與i區別開來，使得累加公式中的每一項，可以表示2個不同的框，并且兩兩之間不會遺漏。

1.2.3.3 細粒度分類

在提取了番茄葉片病斑的相對面積信息后，可以據此進一步得到細粒度分類的信息。本研究通過引入閾值的方式來進行細粒度病害識別，并且使得識別結果具有可讀性，細粒度判別的方法見式（4）。

式中：Sl為葉片相對面積；λ為細粒度分類的閾值參數，根據不同病害會得到不同的值。在每個病害類的一般類里面取Su/Sl最大的3個樣本，在嚴重類里面則取最小的3個樣本，然后以它們的Su/Sl均值作為λ。當Su/Sl-λ≥0時，則判斷為病害程度嚴重，反之則將其分類為一般。F的取值范圍為［0，1］，它的值越大表示細粒度分類的置信度越高。

1.2.4 融合模塊

圖像經過分類模塊和檢測模塊后，會得到2個決策矩陣，融合模塊將2個決策矩陣進行融合，并給出最終的檢測結果。由于分類模塊和檢測模塊得到的決策矩陣具有不同的維度，不能進行簡單的運算，因此筆者所在課題組設計了一種融合方法，該方法將檢測模塊的決策矩陣進行處理，使其與分類模塊的決策矩陣具有相同的維度。融合方法如圖7所示，分類模塊得到一個大小為 BS×NC′的決策矩陣[WTHX]f1，其中BS是批次大小，NC′是包含細粒度類的總類數，檢測模塊將所有經過閾值篩選和非極大值抑制處理后保留下的通道矩陣求均值得到一個BS×NC大小的決策矩陣，取該矩陣中包含嚴重程度的病害種類所在列，分別與該類下的F和1-F這2列做內積，得到表示該病害嚴重程度信息的2列向量，并替換矩陣原病害種類所在列。針對大多數情況下檢測病害只有一個或少數幾個類的樣本，為保證決策矩陣的形狀一致，將未檢測到的病害種類對應列按均分的方式拆為2列，因為未檢測出的類別置信度通常較低，故該操作不影響決策結果。

經過列變換后，檢測模型可以得到形狀同樣為BS×NC′的決策矩陣[WTHX]f2，最后將[WTHX]f1與[WTHX]f2經過加權融合后送入分類器得到最終的分類結果。其融合方式如式（5）所示。

式中：fBSNC′表示細粒度的類別；cBSNC′表示粗粒度的類別。式（5）中各值的關系及范圍滿足［fBSNC′∈cBSNC′，α∈（0，1） amp; β∈（0，1） amp; α+β=1］。Pz1NC′表示某批次中的第1張圖最終的病害識別結果為第NC′類的概率；PcBS1表示某批次中第BS張圖的粗粒度圖像識別結果為第1類的概率；PfBSNC′是加入細粒度分類信息后的決策矩陣中的一個值，表示某一批次中第BS張圖的細粒度病害識別結果為第NC′類的概率。

2 結果與分析

2.1 試驗環境與參數

本試驗運行在CPU為i7-8700，GPU為RTX 2080Ti，內存為32 G的物理機器中，使用了Ubuntu 18.04.5 LTS操作系統。深度學習環境方面，使用了Pytorch 1.7、CUDA 11.0以及OpenCV 4.1。

試驗中，各模塊子模型的batch size都設置為16，分類模塊中CNN模型優化器采用Adam且初始化學習率0.001；VIT模型patch為16，優化器為SGD，初始化學習率為0.1，momentum為0.9。檢測模塊的SGD優化器初始學習率為0.01，momentum為0.937，融合模塊中權重α與β分別取0.4和0.6。

2.2 試驗設置

為了驗證本研究方法在番茄細粒度病害識別中的效果，設立了2組試驗。第1組試驗通過比較不同分類方法與目標檢測方法的協同效果，以驗證協同方法的有效性并選擇出效果最佳的組合，本組試驗中檢測模塊選擇YOLO v5作為檢測模型，分類模塊分別選擇ResNet34、SE-ResNet34以及VIT作為圖像分類模型。第2組試驗在試驗1的基礎上，使用試驗1中效果最佳的組合對細粒度識別效果進行更加細致的分析。

2.3 評價指標

為了反映模型訓練過程中的收斂速度以及擬合效果，試驗采用動態驗證精度進行評估。對數據集在模型上的分類效果采用精準率（precision）、召回率（recall）、F1值作為評估指標。其中，精準率可以反映模型是否能夠準確區分不同類別樣本，召回率能反映模型對某類樣本預測的精度，F1值綜合考慮二者，可以全面評估模型的分類性能。它們的計算公式見公式（6）、公式（7）、公式（8）。其中，TP表示真正例，FP表示假正例，FN表示假反例，P和R分別代表精準率和召回率。

2.4 結果分析

試驗1的結果如圖8所示。由圖8-a可以看出，在30輪迭代之前，協同方法與ResNet34收斂速度及精度相差都非常小，但是在30輪之后協同方法的精度依然在增長，而ResNet34則趨于平穩并到達精度上限。圖8-b與圖8-a類似，訓練階段的初期效果并不顯著，但在30輪迭代之后協同方法的驗證精度依然能夠提升，而SE-ResNet34則開始趨于收斂；由于SE-ResNet34注意力機制已對圖像的細粒度信息有一定的偏重，協同方法的精度上限雖然有明顯提升，但相比于ResNet34的協同方法而言提升幅度并不大。圖8-c中，協同方法收斂得更快，且在整個訓練過程中其分類精度都比VIT模型更高，但最終的提升幅度與卷積分類模型的協同方法相比并不高。

在3個對比試驗中，協同方法在第1輪迭代時驗證精度均高出了3%～10%，這也說明利用融入細粒度信息的目標檢測結果去協同分類模型是有效的，為得到最好的分類效果，將3個分類模型的協同方法再進行對照，其結果如圖9所示。

由圖9可知，利用協同方法的ResNet34和 SE-ResNet34 的精度上限相差很小，但ResNet34協同方法的模型收斂更快。協同方法在VIT上的效果較差，這和VIT圖像識別模型本身在非大型數據集上的識別精度不高有較大的關系。各模型具體試驗結果見表2。

由表2可知，采用協同方法的模型總體精度分別提升了1.58、1.90、2.25百分點；并且在病害程度的細粒度分類上，協同方法的精度與圖像識別模型的精度相比都有穩定的提升，說明該方法能有效地改善原模型在番茄病害細粒度識別上精度不足的問題。結合識別精度與收斂速度綜合考慮，ResNet34的協同方法最優，所以采用該協同方法在數據集的每個病害類識別上做進一步的分析，結果如表3所示。

由表3結果可知，除番茄早疫病及番茄紅蜘蛛損傷嚴重類別以外，其余病害類的F1值全都在80%以上，說明該模型在番茄病害識別上具有一定的穩定性。

3 結論

本研究提出了一種針對番茄細粒度病害識別的協同方法，在3種采用協同方法的分類模型中，YOLO-ResNet34的綜合表現最好，與不采用協同方法的模型相比，總精度提升了2.25百分點，細粒度識別的精度提升了1.19百分點，并且在第1輪迭代時就已展現出明顯的精度優勢。采用協同方法對包括番茄健康在內的16個病害類別進行分類，番茄斑枯病的分類效果最好，其一般和嚴重類別的F1值分別為86.52%和91.90%，這表明模型能夠有效識別該病害種類并區分嚴重程度；從所有類別F1值的均值來看，協同方法能夠穩定可靠地提升番茄病蟲害的識別精度，為番茄病蟲害細粒度識別存在精度不足的問題提供了可行的解決思路。

參考文獻：

［1］李君明，項朝陽，王孝宣，等. “十三五”我國番茄產業現狀及展望［J］. 中國蔬菜，2021（2）：13-20.

［2］翟肇裕，曹益飛，徐煥良，等. 農作物病蟲害識別關鍵技術研究綜述［J］. 農業機械學報，2021，52（7）：1-18.

［3］于 明，李若曦，閻 剛，等. 基于顏色掩膜網絡和自注意力機制的葉片病害識別方法［J］. 農業機械學報，2022，53（8）：337-344.

［4］Gao R，Wang R，Feng L，et al. Dual-branch，efficient，channel attention-based crop disease identification［J］. Computers and Electronics in Agriculture，2021，190：106410.

［5］牛學德，高丙朋，南新元，等. 基于改進DenseNet卷積神經網絡的番茄葉片病害檢測［J］. 江蘇農業學報，2022，38（1）：129-134.

［6］Woo S，Park J，Lee J Y，et al. CBAM：convolutional block attention module［C］//European Conference on Computer Vision.Cham：Springer，2018：3-19.

［7］侯金秀，李 然，鄧紅霞，等. 融合通道信息注意力網絡的葉片病害識別［J］. 計算機工程與應用，2020，56（23）：124-129.[HJ2mm]

［8］張 寧，吳華瑞，韓 笑，等. 基于多尺度和注意力機制的番茄病害識別方法［J］. 浙江農業學報，2021，33（7）：1329-1338.

［9］Fang P F，Zhou J M，Roy S，et al. Bilinear attention networks for person retrieval［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.27 October-2 November 2019，Seoul，Korea （South）.IEEE，2020：8029-8038.

［10］賈兆紅，張袁源，王海濤，等. 基于Res2Net和雙線性注意力的番茄病害時期識別方法［J］. 農業機械學報，2022，53（7）：259-266.

［11］荊偉斌，胡海棠，程 成，等. 基于深度學習的地面蘋果識別與計數［J］. 江蘇農業科學，2020，48（5）：210-219.

［12］冀常鵬，陳浩楠，代 巍. 基于GSNet的番茄葉面病害識別研究［J］. 沈陽農業大學學報，2021，52（6）：751-757.

［13］李 好，邱衛根，張立臣. 改進ShuffleNet V2的輕量級農作物病害識別方法［J］. 計算機工程與應用，2022，58（12）：260-268.

［14］胡玲艷，周 婷，劉 艷，等. 基于輕量級網絡自適應特征提取的番茄病害識別［J］. 江蘇農業學報，2022，38（3）：696-705.

［15］王東方，汪 軍. 基于遷移學習和殘差網絡的農作物病害分類［J］. 農業工程學報，2021，37（4）：199-207.

［16］黎 振，陸 玲，熊方康. 基于k-means分割和遷移學習的番茄病理識別［J］. 江蘇農業科學，2021，49（12）：156-161.

［17］He K，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE conference on computer vision and pattern recognition.27-30 June 2016，Las Vegas，NV，USA. IEEE 2016：770-778.

［18］Yan B，Fan P，Lei X Y，et al. A real-time apple targets detection method for picking robot based on improved YOLO v5［J］. Remote Sensing，2021，13（9）：1619.

［19］Lin T Y，Dollár P，Girshick R，et al. Feature pyramid networks for object detection［C］//2017 IEEE conference on computer vision and pattern recognition.21-26 July 2017，Honolulu，HI，USA.IEEE 2017：2117-2125.

收稿日期：2022-12-22

基金項目：內蒙古自治區自然科學基金 （編號：2021MS06007）；內蒙古自治區科技重大專項 （編號：2019ZDZX001）；內蒙古科技大學創新基金 （編號：2019QDL-S09、2019QDL-S10）。

作者簡介：倪智濤（1998—），男，江西鷹潭人，碩士研究生，研究方向為智能識別。E-mail：1258408937@qq.com。

通信作者：胡偉健，博士，講師，主要從事計算機視覺和深度學習的研究。E-mail：hwj_llf@hotmail.com。