基于RT?BiSeNet的蘋果葉片病害實時分割與分級算法

摘" 要： 蘋果葉片病害的及時分割與準確分級對于提高蘋果產量和質量至關重要。然而，在復雜的環境下，圖像容易受到相似顏色背景和不同光照等因素的影響，給葉片和病斑的準確分割帶來挑戰，進而影響病害分級的準確性。針對此問題，文中提出一種實時語義分割算法RT?BiSeNet，用于蘋果葉片病害的分割和分級。首先，分別對BiSeNet的上下文路徑和空間路徑進行重構，在保證實時分割速度的同時提高分割精度；其次，在解碼器中融合淺層的特征映射，提高了葉片邊緣和小病斑的分割效果。實驗結果表明，RT?BiSeNet算法的mIoU和mPA分別為94.60%和97.13%，參數量和復雜度降低了85.95%和72.23%，分割速度達到130.20 f/s，優于其他實時分割方法。該算法能從復雜的背景中實時分割出葉片和病斑，然后根據分級標準對病害進行分級，可為實際生產中蘋果病害的精準防控和治療提供技術支持。

關鍵詞： 蘋果葉片； 深度學習； 語義分割； BiSeNet； 復雜環境； 病害分級； 實時分割

中圖分類號： TN911.73?34； TP391" " " " " " " " " " 文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2025）07?0035?08

Apple leaf disease real?time segmentation and grading algorithm based on RT?BiSeNet

HUANG Yang1， CHEN Jiqing1， 2， HUANG Lixiang1， SHE Kairong1， HAO Kewei1

（1. School of Mechanical Engineering， Guangxi University， Nanning 530007， China;

2. Guangxi Key Lab of Manufacturing System and Advanced Manufacturing Technology， Nanning 530007， China）

Abstract： Timely segmentation and accurate grading of apple leaf diseases are crucial for improving apple yield and quality. However， in complex environments， images are often affected by factors such as backgrounds with similar colors and varying lighting conditions， which poses significant challenges to the accurate segmentation of leaves and disease spots. These challenges subsequently impact the precision of disease grading. In view of this， a real?time semantic segmentation algorithm， RT?BiSeNet， is proposed for the segmentation and grading of apple leaf diseases. The context path and spatial path of BiSeNet are reconstructed to enhance segmentation accuracy while maintaining real?time processing speed first， and then shallow feature mapping is integrated into the decoder to improve the segmentation effect of leaf edges and small disease spots. The experimental results demonstrate that the mIoU （mean intersection over union） and mPA （mean pixel accuracy） of the RT?BiSeNet algorithm achieve 94.60% and 97.13%， respectively， while reducing the number and complexity of parameters by 85.95% and 72.23%， respectively. The segmentation speed reaches 130.20 f/s， surpassing other real?time segmentation methods. The algorithm can effectively separate leaves and disease spots in real time from complex backgrounds and then grade the diseases according to the established criteria. To sum up， it can provide technical support for accurate prevention and treatment of apple diseases in actual production.

Keywords： apple leaf; deep learning; semantic segmentation; BiseNet; complex environment; disease grading; real?time segmentation

0" 引" 言

蘋果是世界上消費量第三大的水果作物[1]，年產量超過8 100萬噸。由于環境因素的影響，蘋果葉片會不可避免地受到各種病害的危害，其中蛙眼葉斑?。‵rogeye Leaf Spot）和銹?。╮ust）是嚴重危害蘋果產量和質量的兩大病害，給果農造成了重大經濟損失[2]。而蘋果葉片病害的檢測和嚴重程度診斷可以幫助種植者精準制定用藥計劃，及時預防損失。

以往的蘋果葉片病害識別和分級方法主要靠人工完成，這種方法存在勞動強度大、速度慢、主觀性強、誤判率高等缺點[3]。因此，開發一種快速、低成本的蘋果葉片病害自動診斷系統至關重要。近年來，圖像處理和計算機視覺技術的分析和處理能力愈來愈強大，極大推動了農業智能化的發展[4]。在此背景下，人們研究了閾值分割[5]、邊緣檢測[6]和支持向量機[7]等圖像處理方法來分割植物葉片病害。然而，圖像處理方法需要依賴于手工設計的特征和規則，泛化性差且分割結果不夠準確。

與圖像處理方法相比，深度學習語義分割方法能夠自動學習圖像中的特征表示。文獻[8]將多方向多尺度空間信息池化模塊加入全卷積神經網絡中。文獻[9]通過在DeepLabV3+中引入注意力機制，這些方法都提高了對蘋果葉片病害的分割精度。但是他們都只考慮了簡單環境中的葉片，并且沒有考慮葉片病斑的分割，實用性較低。因此，文獻[10]通過替換U?Net的特征提取網絡，實現了水稻葉片和病斑的準確分割。文獻[11]以EfficientNetV2作為特征提取網絡，實現對玉米病蟲害的識別和分級。盡管這些方法分割效果還不錯，但是卻增加了許多計算量，無法滿足實時性要求。

為了滿足實時分割的要求，文獻[12]提出一種BiSeNet（Bilateral Segmentation Network），其中上下文路徑用來獲取上下文信息，空間路徑通過簡單卷積操作保留空間信息且不過多增加計算量，然后使用融合模塊組合特征，這種雙路徑分割網絡被廣泛應用[13?15]。盡管這些方法在一定程度上減少了計算量，但卻是以犧牲分割精度為代價的。

針對以上問題，本文提出了一種基于深度學習的蘋果葉片病害實時分割算法RT?BiSeNet，該算法同時實現了復雜背景中葉片與病斑的精確分割。此外，設計了蘋果葉片病害的分級方法，該方法通過計算病斑區域像素與葉片區域總像素之比實現?？傮w而言，本文算法可為實際生產中蘋果葉病害的精準防控與治療提供技術支持。

1" 數據集構建及模型設計

1.1" 數據集構建

本文主要針對復雜環境下的蘋果病害葉片的分割。圖像數據采集于廣西南寧市的金滿園，在不同的拍攝角度和室外光照條件下收集了1 200張蘋果病葉圖像，其中蛙眼葉斑病和銹病各600張，圖片分辨率為3 024×4 032。原始圖像的像素過大，會導致訓練過程GPU內存不足。因此，本文通過雙線性插值將每張圖像縮放到512×512像素。

深度學習需要足夠的數據來完成訓練過程。本文使用以下兩種方法來增加訓練樣本的數量：

1） 幾何變換：隨機角度翻轉、平移、隨機裁剪、鏡像；

2） 顏色抖動：高斯噪聲、隨機對比度、隨機亮度、隨機飽和度。

這些方法被隨機兩兩組合，將每張圖像擴增7倍。最后構建了包含9 600張預處理圖像的增強數據集。數據集被隨機分為訓練集、驗證集和測試集三部分，劃分比例為8∶1∶1。

1.2" 模型設計

本文設計的模型是一種雙路徑網絡，上下文路徑（Context Path）可以獲得足夠的感受野和上下文信息，空間路徑（Spatial Path）可以保留豐富的空間信息并生成高分辨率特征，這兩條路徑是并行計算的。通過改進BiSeNet的兩條分支與解碼器，本文提出一種高效的實時語義分割模型RT?BiSeNet。改進后的網絡模型如圖1所示，具體細節將在接下來的小節中介紹。

1.2.1" MobileNet?RFEM模塊

特征提取能力很大程度上決定了網絡的性能，在原始的BiSeNet網絡模型中，以Resnet18為主干進行特征提取。盡管實現了實時的語義分割，但是計算量和參數量比較大，網絡訓練速度和收斂速度較慢。為了提高網絡的分割效率和分割精度，本文選擇以改進后的MobileNet?RFEM作為上下文路徑的主干（Backbone）。MobileNetV2網絡主要由線性瓶頸結構和反向殘差結構組成，網絡參數更少，模型結構更簡單。同時，深層次的上下文信息是提升語義分割性能最為重要的因素之一，而感受野的大小決定了網絡捕獲上下文信息的能力。因此，本文使用感受野增強模塊（RFEM）[16]代替MobileNetV2中的部分Bottleneck。如圖2所示，RFEM是一種多分支結構，在減少參數量和計算量增長的同時，增加了Feature map的感受野。

網絡的具體結構如表1所示。其中[t]、[c]、[n]、[s]分別代表輸入通道的擴展因子、輸出通道數、模塊的重復次數、步長。

1.2.2" Faster Block

模型的空間路徑主要用來保持原始輸入圖像的空間大小并編碼豐富的空間信息。盡管只經過3個常規的卷積可以保留豐富的空間信息，但是占用了較多的GPU內存。而部分卷積（PConv）只對部分輸入通道應用常規的卷積進行空間特征提取，其余通道保持不變。這樣可以有效減少內存訪問和冗余運算，并且可以在獲得更快運行速度的同時保證分割任務的準確性。因此，本文采用Faster Block[17]作為空間路徑的特征提取器，它的核心是使用PConv，整體結構如圖3所示。

1.2.3" BiSeNetOutput模塊

在主干網絡對輸入圖像進行特征提取的過程中，特征圖會被多次下采樣，導致小目標與邊界的特征逐漸模糊。而在特征圖的上采樣階段，原始解碼器沒有充分利用主干網絡生成的多級特征圖，如圖4a）所示。

因此，本文在解碼器中設計兩次上采樣的策略并融合淺層特征圖，在更完整地恢復特征圖的同時保留了目標的位置和邊界信息。改進后的BiSeNetOutput如圖4b）所示。

1.2.4" 損失函數

本文在RT?BiSeNet模型中引入了一個損失函數，該函數結合了Dice Loss和Focal Loss。在所采集的蘋果葉片數據集中包含復雜的背景，Dice Loss（見式（1））可以緩解圖像中前景背景不平衡帶來的消極影響，使網絡訓練更關注前景區域的挖掘。

[Ldice=1-2X?Y+SmoothX+Y+Smooth] （1）

式中：[X]和[Y]分別表示Ground Truth、Predicted Mask的像素類別；[X?Y]為像素的點乘后相加；[X+Y]為對應圖像中的像素相加；Smooth為1×10-5，用于防止分母為0。

在單獨使用Dice Loss時，正樣本為小目標時訓練會產生嚴重的振蕩。因此，本文將其搭配Focal Loss（見式（2））使用，可以解決正負樣本不平衡及樣本難易程度不同的問題，讓模型將注意力放在稀少或難分的類別上，如葉片邊界區域或病害區域。

[Lfl=-（1-pt）γlogpt] （2）

式中：[pt]為樣本類別預測的置信度值；[γ]是一個可調參數，默認值為2。

此外，本文還利用輔助損失函數來監督訓練過程，它可以幫助模型更快速地收斂。[Laxu]為輔助損失函數（Crossentropy Loss Function）。所以，總體損失函數可表示為：

[Ltotal=Ldice+Lfl+αLaxu] （3）

式中：[α]是[Laxu]的權重，本文訓練過程中[α]為0.3，驗證過程為0。

2" 實驗結果與分析

2.1" 實驗設置與環境

本文實驗環境為：NVIDIA RTX 3060 12 GB，CUDA 11.8，PyTorch 2.1，Python 3.8。超參數設置如下：初始學習率為5×10-4，迭代次數為300，batch大小為16，經過實驗后選擇合適的優化器為Adamax。

2.2" 評估標準

為了全面分析模型的性能，本文從分割性能和部署性能兩個方面對模型進行評估。分割性能指標包括mPA（mean Pixel Accuracy）和mIoU（mean Intersection over Union）。部署性能指標包括模型參數量（parameters）、模型推理速度（FPS）、每秒千兆浮點運算（GFLOPs）。這些指標的定義如下：

[mPA=1k+1i=0kpiij=0kpij] （4）

[mIoU=1k+1i=0kpiij=0kpij+j=0kpji-pii] （5）

式中：[pii]表示正確預測[i]類的像素數；[pij（pji）]表示屬于類別[i（j）]但被預測屬于類別[j（i）]的像素數；數據集有[k]+1個類別（包括背景），在本文中[k]=3。

2.3" 消融實驗

本節描述了在蘋果病害葉片數據集上進行的消融實驗。為了驗證所修改模型的有效性，本文建立了如表2所示的實驗方案。

由表2可知，MobileNetV2作為主干時模型的復雜度和參數量分別降低了71.86%和82.45%。RFEM利用了感受野在特征圖中的優勢，mIoU和mPA均有提升，證明了RFEM的有效性。同時，輕量化特征提取模塊Faster Block用于空間路徑的下采樣，模型復雜度GFLOPs進一步降低，并且在獲得更快運行速度的同時保證分割任務的準確性。此外，BiSeNetOutput的改進，在更完整地恢復特征圖的同時保留了目標的位置和邊界信息，模型的mIoU和mPA再次提升，參數量壓縮至1.865×106。

總體而言，與原模型相比，RT?BiSeNet的mIoU和mPA分別提升了1.4%和0.86%，參數量和復雜度降低了85.95%和72.23%。最重要的是，RT?BiSeNet的分割速度比原始BiSeNet快了9.43 f/s，在提升分割精度的同時，還保證了實時性。

2.4" 不同分割模型性能對比

為了更好地驗證RT?BiSeNet的整體性能，本文將所提出的模型與現有先進分割模型進行了對比，結果見表3。從表3的對比結果可知，本文算法的參數量明顯減少，推理速度和分割性能提升顯著。

2.5" 不同模型分割結果

為了進一步評估模型性能，除了具體數值的對比分析，本節將利用測試集對各個模型的分割效果進行對比，這樣可以更直觀地評價模型性能的差異。從圖5可以看出，本文提出的RT?BiSeNet在不同光照的復雜背景中分割葉片和病斑的效果最好，并且對于小病斑的分割效果也優于其他方法。

3" 病害分級

3.1" 分級標準

由于目前沒有通用且準確的葉片病害等級分類標準，為了準確地劃分蘋果葉片病害等級，本文參照中華人民共和國制定的GB/T 23222—2008《煙草病蟲害分級及調查方法》制定了蘋果葉病害分級標準，具體分級標準如表4所示。

蘋果葉片病害診斷流程如下：首先使用分割模型對圖像中的蘋果葉片和病害區域進行分割；然后計算病害區域像素總數占整個葉片總像素的比例；最后根據病害分級標準得到蘋果葉片的病害程度。

具體計算公式如下：

[k=Ad /（Ad+Ah）×100%] （6）

式中：[k]為此葉片病害程度的診斷結果；[Ad]為葉片病害區域的總像素；[Ah]為葉片健康區域的總像素。

3.2" 分級結果對比

為了對比不同模型的病害程度分級的準確性，本文使用均方根誤差（RMSE）和[R2]（R?Square）來衡量模型的診斷效果。在測試集上，將不同模型的分級結果與實際嚴重程度進行比較，得出了蛙眼葉斑病與銹病的嚴重程度的線性擬合結果。

如圖6、圖7所示，本文方法獲得了最低的RMSE和最高的[R2]，進一步證明了RT?BiSeNet的精確性。

3.3" 蘋果葉片病害分級結果

可視化分級結果有助于更直觀地評價RT?BiSeNet的性能。圖8為根據分割結果及分級標準表得出的蘋果葉片病害分級結果，可以看出，蛙眼葉斑病與銹病的病害程度均能良好地展示出來。

4" 結" 論

針對復雜環境中蘋果葉片病害分割和分級的困難，本文提出了一種基于RT?BiSeNet的實時分割和分級算法。首先更換上下文路徑的主干為MobileNet?RFEM，減少了模型的參數量，提高了模型的分割速度。然后使用Faster Block作為空間路徑的簡單下采樣，在獲得更快運行速度的同時保證分割任務的準確性。基于兩級上采樣和淺層特征復用的BiSeNetOutput進一步提高了邊緣與小病斑的分割效果。實驗結果表明，RT?BiSeNet在復雜的環境中表現出較強的魯棒性和可靠性。此外，本文還制定了蘋果葉片病害分級標準，實現對蘋果葉片病害的準確分級?？傮w而言，RT?BiSeNet能夠以較少的參數和更高的速度實現復雜背景下蘋果葉片和病斑準確分割與分級，為實現蘋果葉片病害的精確施藥提供了技術支持。

注：本文通訊作者為陳繼清。

參考文獻

[1] 中國蘋果產業協會.2022年蘋果產業發展概況（一）[J].中國果菜，2024，44（3）：1?9.

[2] GAO X， TANG Z W， DENG Y B， et al. HSSNet： A end?to?end network for detecting tiny targets of apple leaf diseases in complex backgrounds [J]. Plants， 2023， 12（15）： 2806.

[3] 楊文姬，胡文超，趙應丁，等.基于改進Yolov5植物病害檢測算法研究[J].中國農機化學報，2023，44（1）：108?115.

[4] 王莎莎.計算機視覺技術在智能化農業機械中的應用研究[J].南方農機，2023，54（10）：47?49.

[5] SIBIYA M， SUMBWANYAMBE M. Automatic fuzzy logic?based maize common rust disease severity predictions with thresholding and deep learning [J]. Pathogens， 2021， 10（2）： 131.

[6] YANG Y， ZHAO X， HUANG M， et al. Multispectral image based germination detection of potato by using supervised multiple threshold segmentation model and Canny edge detector [J]. Computers and electronics in agriculture， 2021， 182： 106041.

[7] 龔瑞昆，劉佳.圖像處理的玉米病害識別研究[J].現代電子技術，2021，44（24）：149?152.

[8] FENG J Z， CHAO X F， ZHANG Z， et al. A pooling module with multidirectional and multi?scale spatial information and its application on semantic segmentation of leaf lesions [J]. Precision agriculture， 2023， 24（6）： 2416?2437.

[9] 余文杰.改進DeepLabV3+的農作物病害分割方法[J].電腦與信息技術，2023，31（4）：31?33.

[10] 王旭，鄧陽君，楊玉娟，等.基于語義分割的水稻葉瘟病分割與分級方法[J].農業裝備與車輛工程，2024，62（7）：19?24.

[11] 武魁，高丙朋.改進EfficientNetV2的玉米病蟲害識別與分級研究[J].現代電子技術，2023，46（14）：68?74.

[12] YU C， WANG J， PENG C， et al. BiSeNet： Bilateral segmentation network for real?time semantic segmentation [C]// Proceedings of the European Conference on Computer Vision （ECCV）. Heidelberg： Springer， 2018： 334?349.

[13] ZHANG W B， WU C Y， BAO Z S. SA?BiSeNet： Swap attention bilateral segmentation network for real?time inland waterways segmentation [J]. IET image processing， 2023， 17（1）： 166?177.

[14] LI Y M， ZHANG W， LIU Y Y， et al. A lightweight network for real?time smoke semantic segmentation based on dual paths [J]. Neurocomputing， 2022， 501： 258?269.

[15] CHEN Y Q， SUN Y H， YU W， et al. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface [J]. Marine pollution bulletin， 2022， 175： 113343.

[16] YU Z P， HUANG H B， CHEN W J， et al. YOLO?FaceV2： A scale and occlusion aware face detector [EB/OL]. [2024?06?19]. https：//doi.org/10.1016/j.patcog.2024.110714.

[17] CHEN J R， KAO S H， HE H， et al. Run， don′t walk： Chasing higher FLOPS for faster neural networks [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2023： 12021?12031.

作者簡介：黃" 樣（1999—），男，壯族，廣西貴港人，碩士研究生，研究方向為機器視覺和深度學習。

陳繼清（1984—），男，廣西玉林人，博士研究生，副教授，研究方向為機器人運動控制、機器視覺、特種機器人系統。

黃力湘（2000—），男，湖南邵陽人，碩士研究生，研究方向為目標檢測和深度學習。

佘鍇蓉（1999—），女，湖北咸寧人，碩士研究生，研究方向為機器視覺和圖像處理。

郝科崴（1998—），男，河南鄭州人，碩士研究生，研究方向為目標跟蹤和圖像處理。

收稿日期：2024?06?11" " " " " "修回日期：2024?07?02

基金項目：國家自然科學基金項目（62163005）；廣西自然科學基金項目（2022GXNSFAA035633）