基于PMMS-Net和葉綠素熒光成像的綠豆葉斑病抗性鑒定方法

摘要：考慮到相近發病指數的綠豆葉片病斑區域特征區分不明顯，在檢測類似大小的病斑時，使用固定尺度的卷積核檢測效果不是很好，故設計一種并行多分支多尺度卷積神經網絡（PMMS-Net）模型。該模型先使用并行多分支多尺度特征融合模塊獲取豐富的病斑特征；然后采用坐標注意力機制，使模型能更好地定位到病變區域，實現對感興趣區域的選擇性強調；最后使用特征充分提取模塊，將深度可分離卷積與普通卷積結合，實現對特征的充分提取，進一步優化特征提取效果。試驗數據集由綠豆葉斑病的葉綠素熒光圖像構成，其中包含五種抗性類型的綠豆葉斑病圖像。結果表明，本文提出的方法在試驗數據集上訓練迭代1 000次，所耗費時間僅比AlexNet多0.8倍，驗證準確率卻比AlexNet高出18.9%，本模型在該數據集上的驗證準確率為87.8%，平均特異度為96.92%，參數內存僅為0.54 MB。本文提出的方法有利于將該模型部署在移動終端等資源受限的嵌入式設備上，為綠豆葉斑病的抗性鑒定提供一種新方法。

關鍵詞：綠豆葉斑病；抗性鑒定；葉綠素熒光圖像；坐標注意力機制；深度可分離卷積

中圖分類號：TP391.4； S435.22" " " 文獻標識碼：A" " " 文章編號：2095?5553 （2024） 08?0210?07

Identification method of resistance to mung bean leaf spot disease based on"PMMS-Net and chlorophyll fluorescence imaging

Li Jie1， 2， Gao Shangbing1， Yu Jiyuan1， 2， Chen Xin2， Li Shicong2， Yuan Xingxing2

（1. Faculty of Computer and Software Engineering， Huaiyin Institute of Technology， Huai'an， 223003， China;2. Institute of Economic Crops， Jiangsu Academy of Agricultural Sciences， Nanjing， 210014， China）

Abstract：" Considering that the regional characteristics of mung bean leaf disease spots with similar disease index are not clearly differentiated， the effect of using fixed scale convolution kernel to detect disease spots with similar size is not very good， so a parallel multi branch multi?scale convolution neural network （PMMS-Net） model is designed. Firstly， the model uses parallel multi branch and multi?scale feature fusion module to obtain rich plaque features. Then the coordinate attention mechanism is used to make the model better locate the lesion area and realize selective emphasis on the region of interest. Finally， full feature extraction module is used to combine the depth separable convolution with the ordinary convolution to achieve the full extraction of features and further optimize the effect of feature extraction. The experimental data set consists of chlorophyll fluorescence images of mung bean leaf spot disease， including five resistance types of mung bean leaf spot disease images. The results show that the method proposed in this paper takes only 0.8 times more time to train 1 000 iterations on the dataset than AlexNet， but the verification accuracy is 18.9% higher than AlexNet. The verification accuracy of this model on the dataset is 87.8%， the average specificity is 96.92%， and the parameter memory is only 0.54 MB. The method proposed in this paper is conducive to deploying the model on embedded devices with limited resources， such as mobile terminals， and provides a new method for identification of resistance to mung bean leaf spot.

Keywords： mung bean leaf spot disease; resistance identification; chlorophyll fluorescence image; coordinate attention mechanism; depth separable convolution

0 引言

葉斑病是綠豆的主要病害之一，主要損害葉片，導致葉片枯萎和脫落，后期會導致植物過早衰老，并且可能發生在綠豆生育的任一階段。及時有效地分析綠豆葉片的病斑特征，有助于快速判斷綠豆葉斑病的病情程度，并提供相應的疾病控制指導和建議，從而提高綠豆品質，減少經濟損失。傳統的綠豆葉斑病診斷通常由有經驗的專家進行，然而人工檢測方法效率低、主觀性強并且疾病類型多樣、病斑分布沒有規律可循，僅憑人工用眼睛觀察和個人經驗判斷也很容易診斷失誤，因此，如何利用深度學習技術來實現對農作物病害的有效識別這個問題亟待解決。

近年來，基于卷積神經網絡的圖像分類發展迅速，能夠有效地處理大量數據并學習到數據的特征，這為預防和控制農作物病害提供了一種可行的方法。孫俊等[1]在傳統的AlexNet模型中加入了批歸一化和全局池化，獲得了一種新模型，該模型收斂得很快并且參數內存較少，該模型在含有14種植物26類病害的公共數據集PlantVillage上的平均測試準確率達到了99.56%。王艷玲等[2]在AlexNet模型中應用了遷移學習，利用成熟的AlexNet模型和在Imagenet數據集上訓練的參數識別番茄葉片病害，訓練時間大大縮短，平均準確率提高了5.6%。韓旭等[3]針對番茄缺素葉片特點，通過引入注意機制和多種形式的多尺度特征融合結構，改進DenseNet-121網絡模型，改進后模型在其自建的番茄缺素數據集上的平均準確率達到了95.92%。劉陽等[4]對經典的SqueezeNet模型提出了改進措施，改進后的模型在參數存儲要求和計算復雜性方面顯示出顯著優勢，同時保持檢測性能基本不變，該模型在含有14種作物38類葉片的公開數據集PlantVillage上平均準確率達到98.13%。Pandian等[5]提出了一種新的14層深度卷積神經網絡，并利用各種公開數據集創建了一個新的數據集，在該數據集上總體分類精度達到了99.96%，該模型整體性能優于現有的遷移學習方法。Wang等[6]在輕量級模型YOLOv5的基礎上進行改進，改進后的模型在自建數據集上達到了92.57%的分類準確率。Narmadha等[7]利用具有多層感知機的密集卷積神經網絡提出了一種新的水稻植物病害診斷方法DenseNet169-MLP，用DenseNet169作為特征提取器，用多層感知機（MLP）代替最后一層進行水稻病害分類，最大精度為97.68%。

識別綠豆葉斑病發病等級時，需要考慮以下問題：（1）相近等級的葉片病斑特征及區域大小相似，難以區分；（2）有些葉片病變區域特征較小，深度特征提取網絡中的多次下采樣過程通常會導致忽略小對象；（3）如果采集的圖像分辨率較低容易造成誤檢測；（4）病變區域分布隨機，特征不統一。雖然卷積神經網絡在識別植物葉片疾病方面取得了廣泛的成功，但不同的植物葉片具有不同的發病機制和特性，無法將其直接應用到綠豆葉斑病抗性鑒定研究中，并且目前大部分模型對于相似病斑特征的提取能力有限，無法實現對綠豆葉斑病圖像發病等級的高精度識別。針對以上問題，本文設計綠豆葉片抗性試驗，針對綠豆葉斑病特點，構造能夠有效捕捉小區域特征、區分區域大小相似的病斑特征的綠豆葉斑病抗性鑒定方法。

1 綠豆葉斑病圖像數據集

1.1 綠豆葉片樣品

以江蘇省農業科學院經濟作物研究所抗病材料室采集的圖像作為試驗數據，試驗時間為2022年4月。按照病情指數劃分[8]為5種抗性，其中病情指數在0～2.0之間的劃分為高抗（HR）、2.1～15.0之間的劃分為抗（R）、15.1～40.0之間的劃分為中抗（MR）、40.1～60.0之間的劃分為中感（MS）、60.1～80.0之間的劃分為感（S）。本文共獲取原始圖像775張，5種類型的圖像數量分別為14、483、170、92、16。

1.2 綠豆葉片圖像采集與數據集制作

利用FluorCam葉綠素熒光成像系統對發病7天后的綠豆葉片進行葉綠素熒光成像數據采集，并保存分析拍攝的圖片，如圖1所示。

由于采集到的圖像中大部分含有多片葉的情況，所以利用人工標注的方法將每個葉片單獨分割開來，由于分割后的部分葉片上面有其他葉片的部分殘留，故采用Photoshop軟件將多余部分去除掉，原775幅圖共生成2 743幅圖。

根據樣本總數和樣本在每個類別中的分布情況統計，發現各個類別的樣本數在108～1 000之間不等，并且分布不均衡，這將導致模型在訓練后對每個類別的識別出現偏差。為了平衡不同類別圖像的分布，使用Python腳本語句將圖像集樣本少的類別圖像進行隨機水平或垂直翻轉、隨機旋轉角度等操作以提高數據多樣性，具體效果如圖2所示，擴充前后的數據集構成如表1所示。為提高模型的訓練效率，使用Python腳本集將圖像均勻壓縮到224像素×224像素。最終擴展圖像集的樣本總數為9 984。80%的圖像集被隨機選擇作為訓練集，剩余的20%被用作驗證集。

2 模型設計

基于并行多分支多尺度卷積神經網絡模型（Parallel Multi?Branch Multi?Scale Convolution Neural Network，PMMS-Net）是針對綠豆葉斑病抗性程度的圖像分類任務而提出的，模型的具體結構見圖3。提出的PMMS-Net模型的關鍵技術包括兩部分：（1）針對綠豆葉斑病性狀的并行多分支多尺度特征融合模塊（Parallel Multi?Branch Multi?Scale Feature Fusion Module，PMMS Moudle）；（2）由類似倒置瓶頸結構組成的特征充分提取模塊（Feature Full Extraction Module，FFE Module）。PMMS-Net模型結構上主要是由一個PMMS Module、一個坐標注意力機制模塊、一個FFE Module和一個全局平均池化層組成。模型的具體參數如表2所示。

2.1 并行多分支多尺度特征融合模塊

綠豆葉斑病性狀具有隨機性和相似性，具體表現為：（1）病變區域分布隨機，特征不統一，每個葉片在顏色、紋理方面并非完全一致，存在一定的隨機性；（2）雖然不同發病指數的綠豆葉片病斑區域大小不同，但是相近的發病指數之間特征區分不明顯，例如MR的病情指數為15.1～40.0之間，MS的病情指數在40.1～60.0之間，而MR的40.0與MS的40.1之間只有0.1的差距，這種情況非常難以區分。因此在檢測不同大小的病斑時，使用固定尺度的卷積核檢測效果不是很好，針對此問題提出針對綠豆葉斑病特征的并行多分支多尺度特征融合模塊PMMS Module（Parallel Multi Branch and Multi?Scale Feature Fusion Module），具體結構見圖4。

由于神經網絡的淺層網絡的感受野較小，感受野重疊區域也較小，所以淺層網絡更多的包含圖像中的像素點信息，分辨率也更高一些，因而包含更多位置、細節信息，然而，淺層網絡僅提供一些表面信息，如圖像的顏色、紋理和輪廓，很難捕獲用于在網絡上處理復雜任務的高級語義信息。相反，深層網絡具有較大的感受野，更注重圖像的全局特征，語義信息更豐富、更抽象。由于綠豆葉斑病性狀特點，相近的發病指數之間特征區分不明顯，淺層網絡在使用固定尺度的卷積核檢測不同大小的病斑時效果不是很好，因此，針對此類情況，提出了PMMS Module。在結構的開始，使用三個并行分支融合輸入圖像的多尺度特征，然后進行多通道特征拼接，在擴展通道數的同時對淺層圖像進行多尺度特征融合。三個分支分別由一個3×3卷積核、兩個3×3卷積核和三個3×3卷積核構成，可以在同一特征層綜合多重感受野自由提取病害的全局和局部特征，既可以避免對小尺度特征的忽略，又可以實現對大小相似特征的分辨。其中兩個3×3卷積核堆疊獲得的感受野相當于一個5×5卷積核獲得的感受野，三個3×3卷積核堆疊獲得的感受野相當于一個7×7卷積核獲得的感受野，并且采用這樣的卷積核替換可以在保證提升網絡底層對不同特征的響應能力的同時盡量減少模型的參數量。然后對第一個分支輸出的224×224×24的特征圖下采樣2倍，對第三個分支輸出的56×56×48的特征圖上采樣2倍，將兩個分支輸出的特征圖的高寬變成與第二個分支輸出的112×112×24的特征圖的高寬同樣的大小，然后將這三個分支得到的同尺寸的特征圖進行融合，基于融合后的特征圖進行下一步的深層次特征提取。經過試驗驗證從左到右三個分支的通道輸出為24、24、48時模型的效果最好。

2.2 坐標注意力機制

一般注意力機制（如SENet[9]）只考慮確定模型內部特征圖中通道信息之間的依賴關系，難以保留下視覺空間結構中的位置信息，導致模型無法突出圖像中的感興趣區域。文獻[10]提出坐標注意力CA（Coordinate Attention）機制，克服了傳統注意力機制的缺陷。為了提高綠豆葉斑病圖像分類模型的網絡性能，本文在用于淺層特征提取的PMMS模塊后面引入坐標注意力機制。首先將輸入的特征圖進行水平和垂直方向的平均池化，然后通過維度移位、維度拼接、維度縮減和其他操作對空間信息進行編碼，最后對空間信息和通道特征進行加權和融合，以同時考慮通道信息和位置信息。這有助于模型更好地定位到病變區域，實現了對全局信息中感興趣區域的選擇性強調，從而提高分類準確率。坐標注意力機制結構如圖5所示。模型通過學習全局信息有選擇地強調特征信息，從而提高綠豆葉斑病抗病等級圖像分類準確率。

2.3 特征充分提取模塊

深可分離卷積[11]是許多高效神經網絡結構的關鍵組成部分，本文在構建特征充分提取模塊FFE Module（Full Feature Extraction Module）時也使用到了深度可分離卷積。其基本思想是將整個卷積計算分解為兩個過程，分別是逐通道卷積（Depthwise Convolution）和逐點卷積（Pointwise Convolution）。深度可分離卷積與標準卷積相比，參數數量和運算成本會比較低。標準卷積的參數量計算如式（1）所示。

[params=Co×kw×kh×Ci] （1）

式中： Co——輸出通道數；

Ci——輸入通道數；

kw——卷積核的寬；

kh——卷積核的高。

在一定程度上可以直接用深度可分離卷積來替代標準卷積，幾乎有著與常規卷積一樣的效果，但參數量只有

[params=kw×kh×Ci+Ci×Co] （2）

本模塊首先用一個卷積核大小為7×7、通道數為96、組數為96的深度可分離卷積來擴大感受野，實現對關鍵特征的大范圍提取，優化特征提取效果，計算成本比標準卷積約減少了32倍；然后用一個卷積核大小為1×1的普通卷積進行通道數擴張，通道數由96增加為384，實現特征的進一步提取；最后使用一個卷積核大小為1×1的普通卷積進行通道數壓縮，通道數壓縮至96。該模塊通道數依次為96、384、96，這樣設計類似倒瓶頸結構，可以避免造成瓶頸結構維度壓縮變換帶來的信息損失。FFE Module的具體結構如圖6所示。

3 模型訓練

3.1 試驗平臺

試驗軟件環境為Centos 8.0位系統，采用當前流行的PyTorch深度學習開源框架。PyTorch是一個基于Torch的開源Python機器學習庫，主要由Facebook的AI團隊開發，不僅可以實現強大的GPU加速，還可以支持動態神經網絡。GPU使用具有16 GB內存的Nvidia Tesla V100來加速深度學習模型。

3.2 參數設置與訓練

在試驗中，訓練數據和測試數據的批量大小設置為4，遍歷一次訓練集中的所有圖像稱為一次迭代（epoch）。訓練模型時采用的優化器是Adam，其參數設置為默認值，初始學習率設置為0.000 1，動量值設置為0.9，激活函數選用的是GELU，可以避免梯度消失問題。

本文訓練具體采用anaconda環境，python版本為3.6，pytorch版本為10.0，訓練迭代1 000次時，每個epoch有1 997次迭代，訓練迭代1 000次結果如圖7所示。

3.3 評價指標

為了客觀評價本模型的性能，本文擬采用精確率P（Precision）、查全率R（Recall）、特異度S（Specificity）、準確率Acc（Accuracy）四個分類評價指標進行評估，其計算如式（3）～式（6）所示。

[P=TPTP+FP×100%] （3）

[R=TPTP+FN×100%] （4）

[S=TNTN+FP×100%] （5）

[Acc=TP+TNTP+TN+FP+FN×100%] （6）

式中： TP——真實值為陽且預測為陽的數量；

FP——真實值為陰但預測為陽的數量；

FN——真實值為陽但預測為陰的數量；

TN——真實值為陰且預測也為陰的數量。

4 結果與分析

4.1 訓練結果

為驗證PMMS-Net對綠豆葉斑病抗病等級識別的有效性，從驗證準確率、訓練損失值以及訓練時間等方面出發，將其與經典的CNN架構（如AlexNet、GoogleNet、VGG16、ResNet-34）進行對比分析，試驗數據如表3所示，各模型訓練結果如圖8所示。

由圖8可以看出，總體而言，隨著迭代次數的增加，各模型的驗證準確率呈上升趨勢，損失值呈下降趨勢。其中PMMS-Net的驗證準確率和損失值的變化曲線比其他網絡更穩定，說明本模型在該數據集上的魯棒性較好。

由表3分析可得，在訓練迭代200次時，AlexNet、VGG16、ResNet-34、GoogleNet、PMMS-Net的驗證準確率分別為66.9%、78.4%、80.6%、81.4%、80.7%。其中，訓練耗費時間最短的AlexNet網絡在驗證準確率上表現欠佳，但是驗證準確率最高的GoogleNet網絡訓練花費的時間約為AlexNet的4.2倍，也是所有網絡模型中訓練時間最長的，而本文提出的PMMS-Net模型訓練迭代200次花費的時間僅比AlexNet多0.6倍，但是驗證準確率卻比AlexNet高13.8個百分點，僅比最高的GoogleNet低0.7個百分點，做到訓練時間和準確率之間的平衡。

為了保證試驗數據的可靠性，本文同時進行了訓練迭代1 000次時各種模型的性能對比。由表3可以看到，訓練迭代1 000次時，各個網絡的驗證準確率都或多或少有所提升。訓練耗費時間最短的AlexNet驗證準確率僅提升了2個百分點，而GoogleNet驗證準確率提升到了88.4%，訓練損失也從0.492降到0.231，但是訓練所耗費時間約為AlexNet網絡的4.7倍，也是所有模型中訓練耗費時間最長的。而本文提出的PMMS-Net模型訓練迭代1 000次后，驗證準確率提升到87.8%，訓練損失也從0.551降到0.012，并且訓練花費的時間僅比AlexNet多0.8倍，但是驗證準確率卻比AlexNet高18.9個百分點，僅比最高的GoogleNet僅僅低了0.6個百分點，但是卻節省超過一半的訓練時間。試驗證明本文提出的PMMS-Net模型在訓練時間和準確率之間做到了平衡。

4.2 分類性能對比

利用自建數據集對4種經典的CNN模型以及PMMS-Net模型進行訓練，驗證集上的試驗結果如表4、表5所示。

由表4、表5可知，本文設計的模型PMMS-Net的平均精確率、查全率、特異度分別為87.90%、87.76%、96.92%，三項性能指標略微低于最優模型GoogleNet的88.34%、88.36%、97.10%。但是在參數內存方面，PMMS-Net僅有0.54 MB，遠遠低于各模型，其中比三項性能指標最優的GoogleNet的39.48 MB足足少了72倍，本文模型以較小幅度性能的犧牲進一步換取較大幅度的模型參數內存的減少，對于部署在計算能力較差的嵌入式設備上來說更具有實用價值。

本文還使用混淆矩陣來可視化預測和實際分類結果。在綠豆葉斑病五類抗性等級圖像中，每類隨機選取400張左右的圖像對每種模型進行驗證，圖9展示了PMMS-Net模型對綠豆葉斑病五種抗性等級的分類混淆矩陣。圖像中主對角線上的顏色越深，表示模型在該類別中的識別精度越高。橫軸表示實際類別，縱軸表示預測類別。對角線上的數字表示正確分類的數量，由圖9可以看出，預測分類的最大值都在對角線上，驗證了本文算法的可行性，具有較好的綠豆葉斑病抗性等級分類能力。

綜合來看，本文提出的基于PMMS-Net模型的綠豆葉斑病抗性鑒定圖像分類方法在模型性能和參數內存之間取得較好的平衡，在大幅減少參數內存的同時，模型的性能保持在較高的水平，這有利于卷積神經網絡模型在資源有限的嵌入式設備（如移動設備）上實現部署，有助于實現對綠豆葉斑病方便、準確的抗性鑒定。

5 結論

1） 為實現對綠豆葉斑病準確有效的抗性鑒定，本文以江蘇省農業科學院經濟作物研究所的抗病材料室中培養采集的綠豆葉片葉綠素熒光圖像作為試驗數據。在制作綠豆葉斑病數據集過程中使用Python腳本語句將圖像集樣本少的類別圖像隨機水平或垂直翻轉、隨機旋轉角度，并隨機縮放原始圖像進行數據增強以提高數據多樣性，最終構建一個包含綠豆葉斑病的五種抗病程度的數據集。

2） 針對綠豆葉斑病性狀的特點，設計了PMMS-Net模型。試驗結果表明，本文提出的方法在該數據集上訓練迭代1 000次所耗費時間僅比AlexNet多0.8倍，驗證準確率卻比AlexNet高出18.9%，驗證準確率為87.8%，平均精確率為87.90%，平均查全率為87.76%，平均特異度為96.92%，參數內存為0.54 MB。與經典的CNN網絡模型對比，本文提出的PMMS-Net模型在模型性能和參數內存之間實現了良好的平衡，并以犧牲少量性能為代價進一步大幅減少模型參數內存，在運行速度、內存占用量方面有明顯的優勢，這有助于在資源有限的嵌入式設備（如移動終端）上部署該模型，有助于實現綠豆葉斑病抗性的方便、準確鑒定。

未來，準備采集更多田間的真實數據構建數據集，驗證本方法在復雜環境下的分類檢測能力，真正將本方法應用到實際生產中。

參 考 文 獻

[ 1 ] 孫俊， 譚文軍， 毛罕平， 等. 基于改進卷積神經網絡的多種植物葉片病害識別[J]. 農業工程學報， 2017， 33（19）： 209-215.

Sun Jun， Tan Wenjun， Mao Hanping， et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network [J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（19）： 209-215.

[ 2 ] 王艷玲， 張宏立， 劉慶飛， 等. 基于遷移學習的番茄葉片病害圖像分類[J]. 中國農業大學學報， 2019， 24（6）： 124-130.

[ 3 ] 韓旭， 趙春江， 吳華瑞， 等. 基于注意力機制及多尺度特征融合的番茄葉片缺素圖像分類方法[J]. 農業工程學報， 2021， 37（17）： 177-188.

Han Xu， Zhao Chunjiang， Wu Huarui， et al. Image classification method for tomato leaf deficient nutrient elements based on attention mechanism and multi?scale feature fusion [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（17）： 177-188.

[ 4 ] 劉陽， 高國琴. 采用改進的SqueezeNet模型識別多類葉片病害[J]. 農業工程學報， 2021， 37（2）： 187-195.

Liu Yang， Gao Guoqin. Identification of multiple leaf diseases using improved SqueezeNet model [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（2）： 187-195.

[ 5 ] Pandian J A， Kumar V D， Geman O， et al. Plant disease detection using deep convolutional neural network [J]. Applied Sciences， 2022， 12（14）： 6982.

[ 6 ] Wang Haiqing， Shang Shuqi， Wang Dongwei， et al. Plant disease detection and classification method based on the optimized lightweight YOLOv5 model [J]. Agriculture， 2022， 12（7）： 931.

[ 7 ] Narmadha R P， Sengottaiyan N， Kavitha R J. Deep transfer learning based rice plant disease detection model [J]. Intelligent Automation amp; Soft Computing， 2022， 31（2）： 1257-1271.

[ 8 ] 張海濤. 綠豆響應變灰尾孢菌侵染的防衛酶活性變化及抗性基因表達模式分析[D]. 大慶： 黑龍江八一農墾大學， 2017.

[ 9 ] Hu Jie， Shen Li， Albanie Samuel， et al. Squeeze?and?excitation networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 42（8）： 1.

[10] Hou Qibin， Zhou Daquan， Feng Jiashi. Coordinate attention for efficient mobile network design [C]. 2021 IEEE Conference on Computer Vision and Pattern Recognition， 2021： 13713-13722.

[11] Howard A G， Zhu M， Chen B， et al. MobileNets： Efficient convolutional neural networks for mobile vision applications [J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition， 2017.