基于分組注意力模塊的實時農作物病害葉片語義分割模型

鐘昌源，胡澤林，李 淼，李華龍，楊選將，劉 飛

（1. 中國科學院合肥物質科學研究院智能機械研究所，合肥 230031；2. 中國科學技術大學研究生院科學島分院，合肥 230026；3. 浙江大學華南工業技術研究院，廣州 510700；4. 浙江大學生物系統工程與食品科學學院 杭州 310058）

0 引 言

農業是中國經濟建設與發展的支柱，隨著科技的發展和數字農業技術的推進，農業獲得廣泛的發展，但是仍然有許多因素制約著農業的進一步發展。其中，農作物病害嚴重制約農業的發展。傳統農作物病害主要是通過農業專家進行診斷，效率低，治理慢，成本高，準確度隨個人主觀意愿波動，嚴重限制現代農業的發展。所以，現代農業亟需高效、準確和智能的農作物病害識別技術。

圖像處理技術作為農作物病害識別的方法之一，其首先對農作物圖片進行預處理和病斑區域分割，然后提取特征參數訓練傳統分類器識別農作物病害種類。傳統分類器有貝葉斯判別模型[1]和支持向量機（Support Vector Machine，SVM）[2]，具有較好的分類效果。柴阿麗等[3]使用貝葉斯判別模型對番茄葉病害進行識別，準確率達到94.7%。Camargo等[4]通過使用支持向量機提取棉花病害的不同特征對3種棉花病害進行識別，準確率達到90%。但是傳統圖像處理方法受限于數據集樣本少，特征參數提取復雜，魯棒性弱，泛化能力差，難以擴展到不同的農作物且無法應用于自然環境下的農作物病害檢測，導致無法廣泛推廣應用。

隨著深度學習（Deep Learning，DL）的發展和應用，特別是卷積神經網絡（Convolutional Neural Networks，CNN）的出現，農業領域逐漸成為研究熱點。卷積神經網絡是一種高效的圖像處理技術，能有效克服傳統圖像處理技術的弊端，具有自動提取特征、擬合特征方程等特點。Liu等[5]利用卷積神經網絡模型識別蘋果葉片病害，準確度達到97.6%。馬浚誠等[6]基于卷積神經網絡識別溫室黃瓜病害，識別準確率為95.7%。Mohanty等[7]利用卷積神經網絡對包含了14類農作物、26種病害的PlantVillage公共農作物數據集進行病害分類，識別精度高達99.3%。

上述研究表明了卷積神經網絡在農作物病害識別方面有著獨特的優勢，但高性能卷積神經網絡模型對數據依賴嚴重。由于農作物和病害的多樣性，農業圖像資源規模仍然太小。近年來，遷移學習（Transfer Learning，TL）能夠從相關領域的大量標注數據中學習知識結構和模型參數，直接改善小規模數據量級農作物病害的識別性能，有效緩解過擬合，受到越來越多的關注。龍滿生等[8]借助遷移學習將AlexNet模型[9]在ImageNet[10]數據集學習的知識遷移到油茶病害識別任務，準確率達到96.53%。趙立新等[11]利用 PlantVillage數據集預訓練模型，對棉花病害數據集進行參數微調，精確率達到97.16%。李淼等[12]基于遷移學習機制使用VGGNet[13]模型對黃瓜和水稻病害進行特征提取，準確率達到98.33%。

為了擴大農作物病害識別應用領域，Fuentes等[14]將番茄葉片病害識別從分類問題擴展到檢測問題，利用快速區域卷積網絡（Faster Region-based Convolutional Neural Network，Faster R-CNN）、單次檢測器（Single Shot Detector，SSD）構建病害檢測模型，有效提高病害的識別和檢測性能。劉小剛等[15]使用改進YOLO模型[16]對大量的草莓圖像進行訓練學習，實現了草莓的定位識別。趙兵等[17]替換傳統卷積神經網絡的全連接層為卷積層，對葡萄葉片進行特征提取，實現了葡萄病害葉片的語義分割效果。

盡管基于深度學習的語義分割模型在場景分割領域取得較好的分割效果，但是其在農作物病害葉片分割場景的應用文獻鮮有報道。由于農作物病害發生受季節、環境、采集等多種因素影響，準確的分割農作物病害葉片具有相當大的挑戰性。為了克服傳統方法在病害葉片分割應用的缺點，本研究基于卷積神經網絡建立實時農作物病害葉片語義分割模型，結合編碼-解碼框架和多流框架的優點提升模型分割性能，并進行試驗驗證，擬為現代農業病害識別、自動施肥和精準灌溉等應用提供可行方案。

1 材料與方法

1.1 圖片采集與數據集建立

本研究以黃瓜和水稻2種農作物作為研究對象，采集了黃瓜霜霉病、黃瓜靶斑病、黃瓜白粉病、水稻胡麻斑病、水稻稻瘟病和水稻紋枯病，共6類病害（圖1）。在安徽省農業科學院試驗基地開展采集工作，采集時間從2017年1月起至2018年9月，采集設備為Canon EOS 6D數碼單反相機，圖片分辨率為900×600像素。本研究共采集原始圖片2 337張，其中黃瓜白粉病202張、黃瓜霜霉病200張、黃瓜靶斑病147張、水稻紋枯病893張、水稻稻瘟病694張、水稻胡麻斑病201張。使用圖像標注工具VGG Image Annotator[18]標注農作物病害葉片的類別和輪廓，建立農作物病害葉片語義分割數據集。

本研究還從PlantVillage數據集獲取高質量圖片，包括玉米灰斑病1 000張、馬鈴薯早疫病1 000張、番茄葉霉病1 000張、胡椒細菌斑1 000張、大豆灰斑病1 000張、南瓜白粉病1 000張，共6類6 000張（圖1）。

1.2 數據多樣化處理

為了增加農作物病害數據集的多樣性，增強模型的泛化能力和魯棒性，本研究共采用4種圖片增強技術：1）翻轉：將圖片隨機反轉0°、90°、180°和270°；2）噪聲：對圖片添加高斯噪聲；3）縮放：隨機縮放圖片，縮放因子為[0.5,2]；4）裁剪：在縮放的圖片上隨機裁剪分辨率為900×600像素的圖片。如果裁剪前圖片的分辨率小于900×600像素，采用填充0像素的方式將圖片的分辨率擴充至900×600像素。

為避免農作物病害樣本數量不均衡現象，采用上述數據增強方法將黃瓜白粉病、黃瓜霜霉病、黃瓜靶斑病和水稻胡麻斑病擴充至5倍，對水稻紋枯病和水稻稻瘟病分別擴充至2倍和3倍。增強的農作物病害葉片數據集共包含16 375張圖片。訓練集、驗證集和測試集按7∶1∶2的比例進行劃分，數據集詳細信息如表1所示。

1.3 評估方法

語義分割性能常見評價指標有像素精度（Pixel Accuracy，PA，%）、平均像素精度（mean Pixel Accuracy，mPA，%）、平均交并比（mean Intersection over Union，mIoU，%）等。本研究采用像素精度和平均交并比作為評價指標。為了便于解釋評估指標公式，假設數據集共有k+1個類別，Pnm表示將n類別預測成m類別的像素個數，Pnn表示預測正確的像素個數，Pnm和Pmn分別表示假負和假正的像素個數。

1.3.1 像素精度

基于像素的精度（PA，%）計算是語義分割性能評估的基本指標，其衡量預測正確像素占總像素的比例，如式（1）所示。

1.3.2 平均交并比

平均交并比（mIoU，%）是語義分割和目標檢測常用的衡量指標，用于評價預測物體與目標物體的重合比例。相比于像素精度，平均交并比提供更多的信息：預測目標的完整度和與實際目標的重合度。平均交并比定義如式（2）所示。

表1 增強的農作物病害葉片數據集Table 1 Enhanced dataset of crop disease leaves

2 分組注意力模塊和農作物病害葉片語義分割模型

基于深度學習的語義分割模型主要分為兩類，一類是采用編碼-解碼框架，首先利用逆卷積層[19]提高高階特征的分辨率，接著融合低階特征和高階特征，預測結果。編碼-解碼框架具有高準確度，但計算量大，運行較慢，經典模型有U-Net[20]、SegNet[21]等。另一類是采用多流框架提取不同感受野尺寸的特征，通過融合多種尺寸特征預測結果，達到精度和運行速度的平衡，經典模型有BiSeNet[22]、ICNet[23]等。為了實現高精度且實時運行的農作物病害葉片語義分割模型，本研究結合編碼-解碼框架和多流框架的優點，將編碼-解碼模型的逆卷積層替換為普通上采樣層，降低計算量，同時設計分組注意力模塊利用高階特征指導加強低階特征，最后融合多階特征提高農作物病害葉片的語義分割性能。

2.1 特征提取網絡

特征提取是深度學習的關鍵，不同特征提取網絡具有不同的參數量、速度和性能。常見特征提取網絡有VGGNet[13]，ResNet[24]和GooLeNet[25]等。得益于ImageNet數據集和遷移學習的發展，特征提取網絡在ImageNet數據集預訓練后再遷移到特定數據集可以獲得更高精度。

He等[24]利用恒等映射原理有效解決由于神經網絡層數過深導致的梯度退化問題，提出了具有101層的殘差網絡（Residual Network，ResNet）并贏得了2015年ImageNet大規模視覺識別挑戰賽的冠軍。相比于VGGNet[13]和GoogLeNet[25]，ResNet[24]具有更少的計算量和更高的性能。為了實現實時語義分割目的，本研究采用計算量更少、性能更優的ResNet18[24]作為特征提取網絡。

2.2 分組注意力模塊

為了加強特征表達能力，提高模型的分割性能，本研究提出基于分組激活策略的分組注意力模塊。傳統注意力模塊從輸入特征通道方向計算特征間的關系系數并重構特征圖，凸顯有效特征，同時抑制無用特征。為避免梯度爆炸和消失，注意力機制常使用Softmax激活函數對關系系數y進行歸一化，Softmax激活函數σ如式（3）所示。

式中yv為第v個關系系數變量，uy為第u個關系系數變量，假設共有N個關系系數變量。

但是由于Softmax激活函數的特點，即分母為特征關系系數的總和，特征之間會產生抑制作用，歸一化后關系系數普遍偏低。受到分組卷積[9]的啟發，由于特征提取網絡的特征具有不同類型的語義概念，因此將特征的關系系數分為不同的組單獨進行Softmax激活函數歸一化，能有效避免特征組之間的抑制作用，發掘組內關聯信息，增強特征。

融合高階特征和低階特征能有效提高語義分割性能：高階特征提供高級語義信息，而低階特征提供細節信息并優化語義分割結果。由于低階特征包含較少語義信息，傳統注意力模塊不能有效加強低階特征。本研究利用高階特征計算低階特征的關系系數，達到加強低階特征目的，進而提高語義分割性能。

綜上所述，本研究結合分組激活策略和由高階特征指導加強低階特征的想法，設計了分組注意力模塊（圖 2）。分組注意力模塊一共有2個輸入，分別來自特征提取網絡的第L-1層和第L層，輸出經由分組注意力模塊加強的第L-1層特征。假設特征XL∈?C×W×H來自特征提取網絡的第L層，C、W和H分別為特征XL的通道數、寬度和高度。為了計算特征間的關系系數，首先采用全局平均池化降低特征XL的維度，獲得僅保留特征通道維度的特征ZL∈?C，如公式（4）所示。然后通過矩陣乘法計算第L-1層特征的關系系數yL-1∈?C-1，如式（5）所示。

式中X L(h,w)為特征XL在高度h和寬度w處的通道向量，AL-1∈?CL-1×CL為計算第L-1層特征關系系數的可學習參數，CL-1和CL分別為第L-1層和第L層的特征通道數。

受到分組卷積[9]的啟發和鑒于特征具有不同的語義概念，特征關系系數分組激活可以有效避免不同語義特征間的抑制作用，從而增強同類語義特征，分組激活并增強特征的公式如式（6）所示。

首先將第L-1層特征XL-1和關系系數yL-1分成G組，即每組關系系數分別進行Softmax激活函數歸一化。為了避免因關系系數趨于0造成原始特征信息消失，將歸一化的關系系數加1。最后將加強的特征進行拼接。

2.3 語義分割模型

本研究的語義分割模型包含ResNet18[24]特征提取網絡、2個分組注意力模塊以及一個特征融合模塊（圖3）。模型首先使用特提取網絡提取特征，分別獲得來自第二層、第三層和第四層的特征X2、X3和X4。然后使用2個分組注意力模塊分別加強特征X2和X3，即特征X3和特征X4作為分組注意力模塊二的輸入并輸出加強特征特征X2和加強特征作為分組注意力模塊一的輸入并輸出加強特征

受到多流語義分割模型的啟發，充分利用具有不同感受野的不同階特征能有效提高語義分割性能。為了復用特征X4、加強特征和加強特征本研究改進了多流語義分割網絡中的融合模塊（圖3），首先將特征X4和加強特征上采樣至加強特征的分辨率并進行拼接。然后使用卷積核大小為3×3的卷積層、批歸一化層（Batch Normalization，BN）、激活層Relu[26]作為調整層充分融合三者的特征信息。最后通過卷積核大小為1×1的卷積層輸出語義分割結果。

2.4 遷移學習和訓練機制

為進一步提高模型的分割效果，本研究采用遷移學習將ResNet18[24]在PlantVillage公共數據集學習的農作物共性知識遷移到本研究數據集。首先以0.001學習率和200次迭代的超參數利用PlantVillage公共數據集預訓練ResNet18[24]模型，病害識別準確率達到98.6%，即正確分類的樣本數與總樣本數之比。然后將ResNet18[24]預訓練模型加載到本研究的語義分割模型，進行參數微調訓練：

1）凍結ResNet18[24]預訓練模型的所有批歸一化層，被凍結層不參與訓練。

2）采用隨機梯度下降法（Stochastic Gradient Descent，SGD）微調模型參數。學習率初始化為0.01，更新策略采用多項式衰減法，避免因學習率較大而產生激烈振蕩，迭代200次。

3）采用交叉熵計算分類損失，附加類權重參數進行懲罰，以減輕過擬合現象和樣本不均衡現象。損失函數Loss(x)和類權重Qclass如式（7）和式（8）所示。

式中x為訓練樣本集，M為訓練樣本集數量，x r為第r個訓練樣本，p(xr)為樣本xr真實類別，Qp(xr)為訓練樣本xr真實類別對應的類權重，q(xr)為模型預測樣本xr類別概率，Sclass為類別占類別數量的比例。

3 結果與分析

3.1 幀率分析

本研究提出的語義分割模型采用ResNet18[24]模型作為特征提取網絡，在保持性能的同時降低計算量。為驗證模型的計算優勢，本研究在單張NVIDIA GTX1080Ti顯卡上測試運行幀率（Frame rate，FPS，幀/s），試驗將不同分辨率的單張圖片送入模型計算幀率，重復1 000次，以平均值作為模型的幀率。

為了對比本研究模型的計算性能，本研究復現了目前流行的語義分割模型：UNet[20]和BiSeNet[22]。UNet[20]采用編碼-解碼框架，為了保證公平性，UNet[20]改用ResNet18[24]模型作為特征提取網絡。BiSeNet[22]屬于多流語義分割模型，采用ResNet18[24]作為特征提取網絡，在保證性能的同時降低計算量。3種模型對不同分辨率圖片的幀率如表2所示。得益于分組注意力模塊和融合模塊的輕量化設計，在不同分辨率的情況下，本研究的語義分割模型計算性能都優于UNet[20]和BiSeNet[22]。對分辨率為900×600像素的圖片，本研究模型幀率達到每秒130.1幀。

表2 不同像素下各種模型的幀率對比Table 2 Frame rate comparison of different models at different pixels

3.2 模型性能分析

比較試驗UNet[20]和BiSeNet[22]的語義分割性能，驗證本研究模型的分割性能。為了保證公平性，所有的模型的訓練和預測使用相同的農作物病害數據集和遷移學習訓練機制。對比試驗結果如表3所示，本研究的語義分割模型的平均交并比達到78.6%，與UNet[20]和BiSeNet[22]相比分別提高1.6個百分點和1.2個百分點。3種模型對本研究自采集數據集和PlantVillage數據集的語義分割結果分別如圖4和圖5所示，其中本研究模型對局部黃瓜健康葉片具有更優分割效果（圖4a～圖4c）。

表3 各模型的分割性能對比Table 3 Segmentation performance comparison of different models

3.3 分組注意力模塊分析

試驗驗證分組注意力模塊性能，首先驗證分組注意力模塊在不同分組個數情況下對分辨率為900×600像素的圖片分割性能和幀率（表4），共進行8種試驗，每個試驗分組個數分別為1、2、4、8、16、32、64和128。當分組個數為1時，分組注意力模塊退化為傳統注意力模塊。分組注意力模塊在不損失幀率的情況下提高分割性能，當分組個數為16時，本研究模型像素精度和平均交并比分別達到93.9%和78.6%，對比傳統注意力模塊（分組個數為1），平均交并比提高了1.6個百分點。

表4 不同分組個數下分組注意力模塊的性能對比Table 4 Performance comparison of group attention module under different number of groups

為了進一步驗證分組注意力模塊對特征加強的效果，本研究分別采集了傳統注意力模塊（分組個數為1的試驗）和分組注意力模塊（分組個數為16的試驗）對來自特征提取網絡第二層特征2X前16個特征通道的關系系數y（圖6）。分組注意力模塊的關系系數普遍優于傳統注意力模塊，進一步強化特征，讓關鍵特征發揮主要效果，同時抑制無用特征。

4 結 論

本研究基于分組激活策略改進傳統注意力模塊，提出分組注意力模塊，利用高階特征指導加強低階特征，能有效避免特征之間互相抑制、加強效果偏弱的現象。分組注意力模塊在大幅度加強關鍵特征表達能力的同時，抑制無用特征，提升模型整體性能。

基于分組注意力模塊，本研究提出了一種融合編碼-解碼語義分割模型和多流語義分割模型優點的實時高效農作物病害葉片語義分割模型，本研究模型具有以下特點：

1）采用輕量級ResNet18模型作為特征提取網絡，提取有效特征的同時降低計算量，為模型的實時運算提供基礎。

2）使用遷移學習將ResNet18在PlantVillage公共數據集學習的農作物共性知識遷移到本研究數據集。

3）分組注意力模塊利用高階特征指導加強低階特征，進一步提高特征的表達能力。

4）通過融合模塊復用不同感受野的特征，有效提高語義分割性能。

本研究模型對農作物病害葉片的語義分割像素精度達到93.9%，平均交并比達到78.6%，優于UNet和BiSeNet模型。在單張NVIDIA GTX1080Ti顯卡的硬件環境下，輸入分辨率為900×600像素的圖片，模型計算速度達到每秒130.1幀。