融合通道注意力機制的ResUnet作物病斑分割模型

摘要：針對溫室環境復雜背景下番茄早疫病病斑難以準確識別的問題，提出一種融合通道注意力機制的ResUnet模型。構建溫室環境復雜背景下的番茄早疫病數據集；通過融合通道注意力機制的ResUnet模型進行病斑分割，其中ResUnet網絡能夠學習不同深度特征的重要性，嵌入通道注意力機制使改進的模型更加關注病斑的位置特征。該模型對番茄葉部早疫病病斑分割的準確率為97%，比Unet和Resnet101模型分別提高1.99%和2.97%。將番茄早疫病病斑分割模型得到的骨干網絡層參數和權重遷移到單一背景的辣椒結痂、蘋果灰斑病、葡萄黑腐病等病斑分割模型，進行改進及參數的微調處理，均能實現病斑的準確分割。在研究算法基礎上，設計智能診斷系統，可對作物病害進行快速準確診斷，為及時防控提供依據。

關鍵詞：作物病斑；番茄早疫??；ResUnet；注意力機制；遷移學習；智能診斷

中圖分類號：S225.92" " " 文獻標識碼：A" " " 文章編號：2095?5553 （2024） 08?0228?06

Leaf disease segmentation model of greenhouse tomatoes based on"ResUnet with attention mechanism

Su Fei1， 2， Wang Guanghui1， Shi Yanxia3， Jia Ran1， Yan Yinfa1， 2， Zu Linlu1， 2

（1. School of Mechanical and Electronic Engineering， Shandong Agricultural University， Tai'an， 271018， China；2. Shandong Provincial Key Laboratory of Horticultural Machinery and Equipments， Tai'an， 271018， China；3. College of Intelligent Manufacturing， Tianjin Sino?German University of Applied Sciences， Tianjin， 300350， China）

Abstract： In view of the difficulty in accurately identifying tomato early blight spot in the complex greenhouse environment， a ResUnet model of integrated channel attention mechanism was proposed. The data set of tomato early blight under complex greenhouse environment was constructed. Lesions were segmented by ResUnet model integrating channel attention mechanism， in which ResUnet network could learn the importance of different depth features， and embedding channel attention mechanism made the improved model pay more attention to the location features of lesions. The accuracy of this model was 97%， 1.99% and 2.97% higher than that of Unet and Resnet101 models， respectively. The parameters and weights of backbone network layer obtained from tomato early blight spot segmentation model were transferred to the single background spot segmentation model of pepper scab， apple gray spot， grape black rot， etc.， and improved and the parameters were fine?tuned to achieve accurate spot segmentation. On the basis of the research algorithm， the intelligent diagnosis system is designed， which can quickly and accurately diagnose the studied crop diseases and provide basis for timely prevention and control.

Keywords： leaf disease; tomato early blight disease; ResUnet; attention mechanism; transfer learning; intelligent diagnose

0 引言

番茄植株在生長過程中易受病害的滋擾，早疫病是重要病害之一，發病嚴重時可引起落葉、落果，減產可達30%[1]。傳統的人工檢測方法效率低、耗時長，準確程度主要依靠農戶及技術人員的經驗，計算機技術的不斷發展為病害的自動識別提供了可能，當前研究主要包括機器學習和深度學習兩種方法。

李冠林等[2]提出基于K_means硬聚類算法的葡萄病害彩色圖像分割方法，分別對葡萄霜霉病、白粉病、日灼病3種病害彩色圖像進行二值化和彩色分割。隨著SegNet、Unet、Deeplab等深度學習語義分割網絡的出現，對復雜背景下農作物病害分割無需手動提取特征，可實現端到端的自適應調整。王振等[3]提出一種級聯卷積神經網絡實現對大田環境中玉米、小麥和黃瓜葉片病斑進行分割。趙兵等[4]針對大田環境中葡萄病害葉片圖像自動分割的問題，提出一種基于全卷積網絡（FCN）的自動分割算法，對單葉片和多葉片進行分割。Wang等[5]提出了一種融合DeepLabV3+和Unet的兩階段模型，用于大田背景下黃瓜葉片病害嚴重程度的識別與分割。關于番茄病斑分割現有研究局限于單葉片背景，趙小虎等[6]提出一種基于改進Unet網絡的多尺度番茄病害分割算法。任守綱等[7]提出一種反卷積引導的番茄葉部病害識別及分割模型，對單葉片背景病害分割。上述針對單葉片背景的番茄病害分割研究沒有考慮溫室復雜環境下光照和背景等環境變化對分割精度和速度的影響。

語義分割網絡可同時分割不同類別病害，但針對溫室復雜環境下特征提取具有盲目性和不確定性[8]，引入通道注意力機制[9]重新校準特征所對應的權重可使網絡更加注意葉部病斑位置，提高病斑分割精度[10]。因此，本文提出一種融合通道注意力機制的ResUnet番茄葉部病斑分割模型，研究溫室復雜環境下番茄早疫病的病斑分割。由于作物病害種類繁多，從AI challenge獲取包括辣椒結痂、蘋果灰斑病、葡萄黑腐病、葡萄輪斑病、葡萄褐斑病等病害數據集，驗證所構建番茄早疫病模型用于分割其他病害的魯棒性。采用遷移學習的思想，通過標注少量樣本，保持骨干網絡層參數和權重不變，對全連接層和分類層改進后利用新數據集微調訓練模型，實現對不同種類作物病害以及同種作物不同類型病害葉部病斑的準確分割。

1 材料與方法

1.1 溫室番茄病害數據集

本文以溫室番茄葉片早疫病為研究對象，圖像采集于山東省壽光市番茄溫室，均為自然生長狀態下的番茄葉部圖像。利用紅米K40手機分別在早、中、晚不同時間段以俯拍、仰拍、葉片正面拍攝、葉片反面拍攝不同的方式進行拍攝。確保能夠清晰拍攝番茄葉部病斑，葉片圖像最大化占據畫面，共拍攝圖像2 000幅。圖像格式為JPEG，顏色模式為RGB，大小為4 000像素×3 000像素。

采用LabelMe標注工具對原始圖像進行標注，按照PASCAL VOC2007標準進行存儲。通過幾何變換、亮度調整、顏色變換等方式進行數據增強，提高樣本數量和多樣性。數據按照6∶2∶2的比例劃分為訓練集、驗證集和測試集，所有圖像統一調整為256像素×256像素×3通道，圖1為部分圖像數據增強示例。

1.2 融合通道注意力機制的ResUnet溫室葉部病斑分割模型

融合通道注意力機制的ResUnet網絡（SE_ResUnet）由Unet網絡、殘差塊和通道注意力機制組成，如圖2所示。

其中，Conv2D表示卷積層、Batch Norm amp; Relu表示批量歸一化層和激活函數、Addition表示融合操作、Squeeze amp; Excitation表示注意力機制模塊、UpSampling表示上采樣、SoftMax表示分類器。

SE_ResUnet模型采用Unet網絡的編碼（Encoder）和解碼（Decoder）結構框架。在編碼卷積層上，采用跨越卷積層的方式，將該層提取的番茄葉部特征與下一卷積層進行融合，得到更加豐富的番茄葉部特征信息。然后重新分配權重，提高網絡對病斑區域的感興趣程度，抑制背景等無效特征信息。殘差塊由批量歸一化層（Batch Norm）、卷積層（Conv2D）和激活函數（Relu）組成。解碼模塊由不同的殘差塊組成，對特征圖進行上采樣，并與來自其相應編碼路徑的特征圖相連接，通過1×1的卷積層和SoftMax函數輸出圖像中每個像素屬于早疫病病斑的概率，得到病斑的分割結果。

1.2.1 ResUnet模塊

Unet網絡作為醫療圖像語義分割常用的一種模型，具有結構簡單、參數少、可塑性強的特點[11]。網絡包括編碼和解碼兩部分。其中編碼階段主要用來獲取上下文的語義信息，提取番茄葉片病害圖像的不同維度特征，分為4個階段，每個階段都經過兩個3×3的卷積層、使用Relu激活函數進行激活，最后經過步長為2的2×2的最大池化操作，完成下采樣。卷積計算如式（1）、式（2）所示。

[W1=W-F+2PS+1] （1）

[H1=H-F+2PS+1] （2）

式中：W、H——輸入圖像的寬度、高度；

W1、H1——卷積后特征圖的寬度、高度；

F——卷積核的尺寸大??；

S——步幅；

P——Padding，經過該卷積層后輸出的特征圖" " "像尺寸為W1×H1。

每經過一層特征圖尺寸變為原來的1/2，特征通道數變為原來的2倍。

解碼階段主要采用跳躍連接以及殘差塊的設計。跳躍連接確保在每個階段都能學習到在編碼階段的池化過程丟失的相關信息。殘差塊的使用能夠很好地解決網絡退化的問題，隨著網絡層數的加深，確保準確率不會降低，在分割精度和模型收斂方面都有良好的特性。殘差塊的結構主要由identity映射（shortcut連接）與主干網絡組成，使用特征融合的方法將主干特征和shortcut特征進行融合，融合方法如式（3）所示。

[H（x）=F（x，{wi}）+x] （3）

式中：[H（x）]——最終輸出；

[F（x，{wi}）]——主干網絡的輸出；

x——原始輸入；

[wi]——第i層卷積層的線性投影。

1.2.2 通道注意力機制

ResUnet網絡默認特征圖的每個通道同等重要，而在本研究中葉片、病害和背景特征所占的重要性并不相同，因此，本文提出通過對ResUnet模型添加通道注意力機制（Squeeze and Excitation，SE）模塊重新校準不同特征所對應的權重。改進的網絡（SE_ResUnet）能夠更加關注葉片和病害通道的信息，對背景通道的信息進行抑制，從而提高網絡對葉片以及病害的感興趣程度。

SE模塊主要包括3部分（圖3）。首先，對輸入的特征圖進行擠壓（Squeeze）操作，得到一個通道的全局特征。Squeeze操作通過使用全局平均池化得到1×1×C的特征圖，圖3中X表示輸入注意力機制之前的特征圖，Ftr表示卷積算子，U表示特征圖，Fsq表示Squeeze壓縮變換函數，Fex表示Excitation操作，H和W表示每個特征圖的高和寬。將每一個通道上的特征重新編碼成為一個全局特征，代替一般的卷積操作，以獲得對番茄葉片圖像信息更大的感受視野。計算如式（4）所示。

[Yc=Fsq=1H×Wi=1Hj=1WUc（i， j）] （4）

式中：Yc——特征壓縮后得到的特征向量。

然后，激勵（Excitation）連接兩個全連接層，擬合不同通道之間復雜的相關性，學習各個通道之間的關系，分配各個通道對應的權重。Excitation操作包括兩個全連接層和兩個Relu激活函數，可以擬合不同通道之間復雜的相關性，計算如式（5）所示。

[Kc=Fex（Yc，W）=σ（W2?（W1Yc））] （5）

式中：Kc——經過激勵操作后得到的權重；

σ——Sigmoid激活函數；

W1、W2——第一個全連接層的降維權重、第二個全連接層的升維權重；

[?]——Relu激活函數。

最后，Scale操作將經過Squeeze和Excitation得到的特征圖與原特征圖進行融合，重新分配權重，達到增強番茄葉部病斑信息通道重要性的目的。計算如式（6）所示。

[Zc=Fscale（Yc，Kc）=Yc×Kc] （6）

式中：Fscale——Scale操作函數。

2 試驗與結果分析

本文采用的試驗平臺為Windows10操作系統，運行內存為16 GB，NVIDIA 2060Ti GPU作為加速，python3.6和keras2.2.4作為框架。

2.1 模型訓練指標

模型訓練階段采用Dice_Loss損失函數[12]和準確率作為衡量和指標。由于早疫病病斑尺寸較小與葉片和背景的尺寸差距過大，存在前后景數據不均衡的問題，過小的病斑特征并不明顯。因此，選用適合于數據不平衡問題Dice_Loss非線性損失函數，如式（7）所示。

[Dice_Loss=1-2pixelsytrueypredpixelsy2pred+pixelsy2pred] （7）

式中：pixels——像素；

yture、ypred——真實和預測的結果，取值在0～1之" "間，結果越小表示分割結果與真實結果的相似度越高。

準確率Accuracy表示分類正確的樣本數與總樣本數之比，如式（8）所示。

[Accuracy=TP+TNTP+FP+FN+TN] （8）

式中：TP——真正類，該實例是正類，被預測為正類；

TN——真負類，該實例為負類，被預測為負類；

FP——假正類，該實例為負類，被預測為正類；

FN——假負類，該實例是正類，被預測為負類。

2.2 模型訓練

選取Adam作為優化器，初始學習速率設置為0.000 1，batch Size設置為4，采用Keras的回調函數ReduceLROnPlateau自動調整學習率的方法來改進模型擬合效果，如式（9）所示。

[Lrnew=Lr×factor] （9）

式中：Lrnew——新調整的學習率；

Lr——當前學習率；

factor——學習率的縮放值。

以驗證集的損失函數作為監測值，學習率的縮放值設置為0.1，最小值下線設置為0，每經過5次迭代，監測到驗證集的損失函數值不再降低則縮小學習速率。設置早停，每經過10次迭代，驗證集損失函數值不再降低則提前停止模型訓練，防止過擬合。

在相同的試驗環境下，以1 500幅圖像訓練Resnet101和Unet網絡作為對比試驗。圖4（a）表示準確率變化曲線。SE_ResUnet的準確率與Unet、Resnet101相比分別提高1.99%和2.97%，當迭代次數達到100時，準確率穩定在0.97，浮動變化穩定在1%以內。圖4（b）表示損失函數變化曲線，迭代次數達到100時，損失值穩定在0.1，SE_ResUnet變化較為平滑，收斂效果優于Unet和Resnet。

2.3 模型測試

2.3.1 類別平均像素精度指標

在本文中圖像類別分為葉片、病斑及背景3類，類別平均像素精度MPA指標首先計算每個類內被正確分類像素的比例，然后求所有類的平均，如式（10）所示。

[MPA=1ki=0kpiij=0kpij] （10）

式中：k——類別數3；

pij——屬于i類預測為j類的像素點總數；

pii——正確預測為該類的像素點總數。

2.3.2 網絡病斑分割結果對比

測試集中也采用Resnet101和Unet網絡作為對比試驗，由表1可知，SE_ResUnet的MPA為89.23%，分割一幅番茄葉片病害圖片需要的時間為0.93 s，在分割精度與分割時間上優于其余兩種模型，能夠較好地滿足對復雜背景下番茄葉片病害的分割要求。

圖5（a）表示溫室環境下的番茄葉片早疫病病害圖像，圖5（b）、圖5（c）、圖5（d）分別表示SE_ResUnet、Unet和Resnet網絡模型分割結果，黑色圓圈表示未分割出的病變位置，可見，SE_ResUnet網絡模型分割效果較好。模型識別出病變位置，可以根據分割的病變數量采取相應的措施，葉片出現少量的病斑可采取預防，防止大面積病變，葉片出現大量病變，可進行農藥噴殺等措施，減少產量損失。

2.3.3 特征圖對比

特征的可視化可以直觀的觀察提取的特征，本試驗對嵌入注意力機制前后的淺層特征進行可視化。從圖6可以看出，嵌入通道注意力機制更加關注葉片以及病害區域。其中紅色圓圈代表病害位置。

2.4 模型魯棒性測試

為驗證模型的魯棒性，因蘋果、葡萄、辣椒為常見的果蔬，且葉片病害中蘋果灰斑病、葡萄黑腐病、葡萄輪斑病、葡萄褐斑病、辣椒瘡痂病等病害在葉片上的特征相近，故選取AI challenge全球AI挑戰賽2018葉片病害中蘋果灰斑病、葡萄黑腐病、葡萄輪斑病、葡萄褐斑病、辣椒瘡痂病作為模型魯棒性測試所使用的數據集，圖7給出兩種數據集中病害樣本的示例。

采用遷移學習的策略，將番茄早疫病得到的SE_ResUnet網絡作為預訓練模型，保持骨干網絡層的參數和權重不變，對全連接層使用了全局平均池化代替，在特征圖每個通道上使用全局平均池化，得到每個通道的結果，最后輸入給softmax分類器，減少了參數，防止過擬合，利用新的數據集對學習率、優化器、批大小等參數微調訓練模型，得到辣椒結痂、蘋果灰斑病、葡萄黑腐病、葡萄輪斑病、葡萄褐斑病分割模型，分割結果如表2所示。在不同的植物葉片病害上的MPA指標均高于96%，其中辣椒瘡痂病達99.13%。因此，所構建的SE_ResUnet模型魯棒性較好，可實現對少量數據集的樣本病斑準確分割。

2.5 智能診斷系統

為驗證模型在實際應用中的效果，以SE_ResUnet模型為基礎，利用了PyQt5 Qt Designer工具進行開發設計，開發環境為Windows10操作系統，運行內存為16 GB，NVIDIA 2060Ti GPU作為加速，使用python3.6版本作為開發語言，該開發工具使用的版本為5.12.2。使用Qt Designer創MainWindow窗口，導入相應控件，將該控件與功能相連接設計了一款多作物病害智能診斷系統，該智能診斷系統可以診斷番茄、辣椒、葡萄等多作物病害。用戶可以通過獲取本地圖庫獲取目標圖像，獲取的圖像保證有完整的葉片，點擊選擇不同的檢測模型可以診斷不同作物病害。選擇需要診斷的圖片，點擊開始檢測，系統調用模型開始檢測，輸出分割結果，如圖8所示。

3 結論

1） 提出SE_ResUnet網絡進行溫室環境下番茄早疫病病斑分割。此網絡由Unet框架、殘差塊和通道注意力機制組成。使用Unet框架融合不同層次的特征，豐富提取的特征信息；使用殘差塊可加深網絡深度，提高準確率的同時防止過擬合；嵌入通道注意力機制，能夠提高模型對病斑區域的感興趣程度。

2） 通過溫室環境下番茄早疫病分割對比試驗可得所提SE_ResUnet模型的MPA值為89.23%，比Unet、Resnet101模型分別提高2.67%、5.13%。準確率為97%，比Unet、Resnet101模型分別提高1.99%和2.97%。處理30幅圖像所用的平均時間分別減少20%、53%，在分割精度和速度上均有提高。

3） 使用遷移學習的機制，將番茄早疫病分割模型作為預訓練模型，遷移到辣椒等其他作物的病斑分割，論證模型的魯棒性?；诖?，設計智能診斷系統，可實現對不同作物病斑的準確分割。

參 考 文 獻

[ 1 ] Goyal L， Sharma C M， Singh A， et al. Leaf and spike wheat disease detection amp; classification using an improved deep convolutional architecture [J]. Informatics in Medicine Unlocked， 2021， 25： 100642.

[ 2 ] 李冠林， 馬占鴻， 黃沖， 等. 基于K_means硬聚類算法的葡萄病害彩色圖像分割方法[J]. 農業工程學報， 2010， 26（S2）： 32-37.

Li Guanlin， Ma Zhanhong， Huang Chong， et al. Segmentation of color images of grape diseases using K_means clustering algorithm [J]. Transactions of the Chinese Society of Agricultural Engineering， 2010， 26（1）： 32-37.

[ 3 ] 王振， 張善文， 趙保平. 基于級聯卷積神經網絡的作物病害葉片分割[J]. 計算機工程與應用， 2020， 56（15）： 242-250.

Wang Zhen， Zhang Shanwen， Zhao Baoping. Crop diseases leaf segmentation method based on cascade convolutional neural network [J]. Computer Engineering and Applications， 2020， 56（15）： 242-250.

[ 4 ] 趙兵， 馮全. 基于全卷積網絡的葡萄病害葉片分割[J]. 南京農業大學學報， 2018， 41（4）： 752-759.

Zhao Bing， Feng Quan. Segmentation of grape diseases leaf based on full convolution network [J]. Journal of Nanjing Agricultural University， 2018， 41（4）： 752-759.

[ 5 ] Wang C， Du P， Wu H， et al. A cucumber leaf disease severity classification method based on the fusion of DeepLabV3+ and U-Net [J]. Computers and Electronics in Agriculture， 2021， 106373： 0168-1699.

[ 6 ] 趙小虎， 李曉， 葉圣， 等. 基于改進U-Net網絡的多尺度番茄病害分割算法[J]. 計算機工程與應用， 2022， 58（10）： 216-223.

Zhao Xiaohu， Li Xiao， Ye Sheng， et al. Multi?scale tomato disease segmentation algorithm based on improved U-Net network [J]. Computer Engineering and Applications， 2022， 58（10）： 216-223.

[ 7 ] 任守綱， 賈馥瑋， 顧興健， 等. 反卷積引導的番茄葉部病害識別及病斑分割模型[J]. 農業工程學報， 2020， 36（12）： 186-195.

Ren Shougang， Jia Fuwei， Gu Xingjian， et al. Recognition and segmentation model of tomato leaf diseases based on deconvolution?guiding [J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（12）： 186-195.

[ 8 ] Chen J， Zhang D， Zeb A， et al. Identification of rice plant diseases using lightweight attention networks [J]. Expert Systems with Applications， 2021， 169： 114514.

[ 9 ] Jie H， Li S， Sun G. Squeeze-and-excitation networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018： 7132-7141.

[10] 蘇寶峰， 沈磊， 陳山. 基于注意力機制的葡萄品種多特征分類方法[J]. 農業機械學報， 2021， 52（11）： 226-233， 252.

Su Baofeng， Shen Lei， Chen Shan， et al. Multi?features identification of grape cultivars based on attention mechanism [J]. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（11）： 226-233， 252.

[11] 趙晉陵， 詹媛媛， 王娟， 等. 基于SE-UNet的冬小麥種植區域提取方法[J]. 農業機械學報， 2022， 53（9）： 189-196.

Zhang Jinling， Zhan Yuanyuan， Wang Juan， et al. SE-UNet-based extraction of winter wheat planting areas [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（9）： 189-196.

[12] Zeng W， Li M. Crop leaf disease recognition based on Self?Attention convolutional neural network [J]. Computers and Electronics in Agriculture， 2020， 172： 10534.