基于改進U-net網絡的水稻紋枯病圖像分割

郭鑫鑫 劉 洋

（吉林農業科技學院，吉林 昌邑 132101）

水稻紋枯病又稱花桿病，是一種真菌病害，病原菌為立枯絲核菌。該病害主要發生于葉鞘和葉片上，初期發病癥狀為葉片感染部位呈暗綠色，邊緣出現不清晰條紋狀小斑點。中期發病癥狀為出現淡褐色不規則水漬狀大斑點，后期發病癥狀為葉片病斑邊緣呈暗褐色，中間呈灰綠色或褐色，形成不規則云紋狀褐斑。北方水稻紋枯病發病率一般在10%～15%，嚴重時達到40%以上，會導致葉鞘干枯，葉片枯死，甚至會影響水稻結實，導致大面積減產，給農戶帶來較大的經濟損失。農作物病斑的準確分割能為后續病害的識別提供有效依據，具有重要意義。

現階段圖像病斑分割常用方法有機器視覺和圖像處理技術兩種方法。隨著物聯網技術及機器視覺技術的發展，許多國內外學者運用機器視覺技術對農作物病害圖像的分割做了大量研究。如戴子兵［1］利用ASPP模塊增加U-net網絡分割的精準度，實現水稻病害分割。郭丹等［2］采用基于深度信念網絡的水稻紋枯病識別方法，利用Sobel邊緣檢測算子提取水稻紋枯病的病斑特征。晁曉菲［3］研究基于深度學習的蘋果葉片病害識別，提出一種融合Xception及DenseNet深度學習網絡提升網絡空間的注意力提取能力。王書志等［4］提出一種基于顯著性目標檢測方法，提高葡萄葉片病害病斑分割性能。在機器視覺技術研究中，發現深度學習不需要人為確定訓練集合，深度學習可以通過自我學習來完成對圖像病斑的像素級特征提取并完成語義分割，可以節省大量人力和時間。

北方水稻常見病害有稻瘟病、白葉枯病等，相關學者對其研究相對較多，而對水稻紋枯病研究較少。筆者在本研究中以水稻紋枯病為對象，利用Transformer模型結合U-net語義分割網絡，提取紋枯病斑的像素特征，完成對紋枯病斑的語義分割，為水稻紋枯病的識別及診斷提供有效依據。

1 試驗方法

首先，將采集的測試樣本利用Labelme深度學習圖像標注工具進行像素標記。其次，構建Trans-Unet網絡模型，利用Transformer模型完成對圖像數據上下采樣的全局提取、編碼，結合U-net網絡進行學習訓練、解碼得到語義分割模型。

1.1 數據采集

試驗中水稻病斑圖像采集自吉林農業科技學院水稻示范區，在自然光條件下利用手機后置攝像頭在距離水稻紋枯病葉的適當位置拍攝紋枯病圖像，所獲取的紋枯病圖像分辨率為5 120×2 880。采集時期分別為水稻生長前期、中期和后期，每個時期紋枯病的圖像分別采集50幅，共采集150幅圖像，每幅圖像均以JPG格式進行存儲。隨機選取紋枯病水稻圖像30幅作為測試集，部分圖像如圖1所示。

圖1 水稻紋枯病圖像

1.2 圖像樣本標記

由于語義分割需要精確到像素級，因此按照定義好的水稻病斑標簽對測試樣本進行深度學習標記［5］。為便于計算機深度學習訓練，筆者使用深度學習標注工具Labelme對30幅水稻紋枯病原始圖像進行預處理。首先在原始圖像中截取病斑圖像較為突出的區域作為目標區域，由于水稻紋枯病在水稻葉面區域分布較廣，分辨率較高，會直接影響到機器學習速率，因此目標區域在葉片上的范圍選定為220×220像素以增加機器學習速率，共在30幅原始圖像中截取到125個目標區域，將125個目標區域的病斑圖像進行像素標記，并通過曲線框出葉面主體區域記為leaf，通過曲線框出目標區域即病斑區域，記為disease。每張圖像標注完成后，生成JPG圖像樣本，標記后的一個訓練樣本如圖2所示。

圖2 Labelme訓練樣本標記

1.3 Trans-Unet分割模型構建

U-net是較早使用全卷積網絡的圖像分割算法之一，是基于FCN的改進語義分割網絡［6］，于2015年由MICCAI發表。與FCN網絡相比較，U-net網絡結構簡單、試驗效果顯著，在分割結果方面可保留更多局部細節，廣泛用于醫學影像、無人機遙感成像等語義分割場景，原始U-net網絡結構如圖3所示。

圖3 原始U-net網絡模型

U-net網絡是通過對目標區域上、下采樣來實現對圖像的像素級分割，但由于U-net網絡的平移不變性和捕捉長期依賴能力不足，需要多層卷積后才能得到抽象的全局信息，影響病斑圖像的分割效率。Transformer網絡作為自然語言處理任務的模型，本身可以利用像素之間的長期依賴性，有效提取病斑的全局信息，但對細節信息提取效果差。U-net分割模型為左右對稱型網絡，分割提取過程首先經過左側收縮池化操作（Conv-Pooling）對目標區域進行下采樣，然后通過Deconv反卷積進行上采樣。Transformer網絡旨在從目標區域提取全局信息，將Transformer網絡置于U-net網絡的底部，利用Transformer模型的多頭自注意力機制（MHSA）增強模型對全局信息的感知能力。由于病斑區域的像素特征與健康區域的像素特征區別較大，在下采樣過程中需要經過兩次卷積層［7］（Conv-1和Conv-2）以及兩次線性整流層（ReLU-1和ReLU-2），通過卷積層來提取病斑區域的高維層次特征圖，通過線性整流層來提高泛化能力緩解過擬合發生。在上采樣過程中，每一級需要通過Deconv反卷積操作完成上采樣，同一維度經過跳層連接保持目標特征提取的一致性，重復4次卷積池化操作，最終經過Softmax［8］獲得準確的分割結果。改進后的U-net網絡模型如圖4所示。

圖4 Trans-Unet網絡模型

2 結果與分析

2.1 試驗環境

為有效節省小樣本訓練時間，筆者采用遠程控制軟件Todesk軟件訪問試驗服務器進行網絡訓練，服務器使用顯卡型號為英偉達A4000、顯存16 G的GPU，CUDA核心數量為6 144個，顯存帶寬320 GB·s-1，算力30 MHash。詳細試驗配置如表1所示。

表1 試驗配置表

2.2 模型訓練

筆者利用改進U-net網絡所構建的Trans-Unet網絡模型對試驗樣本進行訓練得到訓練模型，由于Trans-Unet網絡具有小樣本訓練優勢，能夠利用少量樣本深度學習實現快速、精準的分割。在測試過程中使用上述已采集125個目標樣本為試驗對象，樣本圖像大小為220×220像素，在125個樣本中隨機選取108個作為訓練樣本，用于改進模型的訓練測試。

為了保證改進模型的非線性和避免過擬合的情況，試驗采用ReLU作為激活函數，根據顯卡內存情況，小批量規模設置為6，最大訓練周期設置為10輪，則108個訓練樣本每輪迭代次數18次，共計迭代次數為180次，閾值設置為0.8，設置初始學習率為0.000 01。設置好以上訓練參數，利用Trans-Unet網絡模型完成訓練，該模型訓練時間、準確率和損失值變化情況如表2所示。

表2 Trans-Unet模型訓練時間、準確率與損失值

由表2的準確率和損失值的變化情況可以看出，該模型在迭代次數趨于120次左右時趨于穩定狀態，訓練樣本的準確率及損失值變化幅度小，而且該模型訓練時間較短，僅需要38 s即可完成180次迭代，小樣本測試準確度高達98.74%，損失值為0.041 8，Trans-Unet網絡模型準確率較高，可用于水稻紋枯病的病斑分割。

2.3 測試結果評價

為檢測該模型的分割效率和泛化能力，在模型訓練結束后，筆者采用的評價指標為訓練執行時間、內存占用率和語義分割準確率，其中語義分割準確率度量指標［9］主要有四種：像素準確率（PA）、平均像素準確率（MPA）、平均交并比（MIoU）、訓練損失值（BCE）。Trans-Unet網絡模型的執行時間及內存占用率如表3所示。

表3 Trans-Unet分割模型的執行時間及內存占用率

由表2、表3可以看出，該模型的分割執行時間在37～40 s，平均分割時間約為38.3 s，服務器內存占用率為68.9%～72.8%，平均內存占用率約為71.35%。該分割模型訓練執行時間較短，內存占用率較低。該模型采用的四種語義分割準確率度量指標計算公式如下。

像素準確率PA是指測試目標的正確像素點數占所有測試區域總像素的比例，公式如下：

平均像素準確率MPA是對像素準確率PA的改進公式，對測試目標計算PA值，然后再對所有PA值求平均值，公式如下：

平均交并比MIoU是語義分割的度量標準，其通過計算測試目標集合真實區域與預測區域的交集與并集之比，公式如下：

訓練損失值BCE是用來估量該模型與目標測試值與真實值之間的不一致程度，訓練損失函數值越小，說明該模型魯棒性越好，公式如下：

式（1）～式（4）中，Pij表示本屬于類i，但被預測為類j的像素數量。Pii表示本屬于i類且預測為i類的像素點總數，即Pii表示為真正的數量，而pji則表示本屬于j類卻預測為i類的像素點總數，k值表示像素點數量，Yi，Pi每個像素的預測值，N為迭代次數。

本試驗重復訓練周期為10次，得到該模型準確率結果如表4所示。

表4 模型準確率

由表4結果看出，該模型經過10次訓練后，該模型的像素準確率為96.12%～97.88%，平均像素準確率為96.82%～97.71%，平均交并比為87.01%～90.12%，模型損失值為1.12%～4.29%，由此看出該模型準確率較高，泛化能力強，魯棒性較好。

2.4 測試結果分析

筆者在本試驗中利用Trans-Unet網絡模型，綜合比較10次訓練結果，第7次的訓練結果準確率更高，因此將第7次訓練的Trans-Unet網絡結構作為水稻病斑圖像分割模型，以備后續試驗調用。利用Trans-Unet網絡模型對水稻紋枯病圖像分割，其結果如圖5所示。

圖5 水稻紋枯病分割結果

水稻紋枯病圖像分割結果顯示，可以得出本研究中構建的Trans-Unet網絡模型對水稻紋枯病的分割具有較好的效果。在分割結果中可以看出，針對水稻紋枯病早期發生時面積較小的灰色病斑，還是中期或晚期病斑面積擴大后的相對不規則褐色云狀病斑，該模型基本能夠實現水稻紋枯病的準確分割，因此，該模型于水稻紋枯病病發的初、中、晚期起到較好的分割效果。

3 結語

筆者利用基于U-net網絡語義分割方法，并結合Transformer網絡模型構建Trans-Unet分割模型實現水稻紋枯病斑的像素特征提取和語義分割任務。經小樣本10輪測試訓練后，Trans-Unet的水稻紋枯病分割模型執行時間較短，平均38.3 s，內存占用率較少，平均70.35%。病斑分割的PA值達到96.12%～97.88%，MPA值達到96.82%～97.71%，MIoU值達到87.01%～90.12%，Loss BCE值達到1.12%～4.29%。結果表明，該模型訓練穩定性較好，泛化能力較強，魯棒性較好；可使用相機等拍照方式采集數據，替代專業儀器實現水稻病害快速識別，提高水稻病害圖像識別準確率，為小樣本機器學習提供了較好模型，同時為農作物病害識別提供方法依據。