基于圖像和改進U-net模型的小麥赤霉病穗識別

鄧國強，王君嬋，楊 俊，劉 濤，李冬雙，孫成明

(1. 江蘇省作物遺傳生理重點實驗室/江蘇省作物栽培生理重點實驗室，揚州大學農學院，江蘇揚州 225009；2. 江蘇省糧食作物現代產業技術協同創新中心，揚州大學，江蘇揚州 225009；3. 江蘇里下河地區農業科學研究所/農業部長江中下游小麥生物學與遺傳育種重點實驗室，江蘇揚州 225007)

赤霉病是小麥最常見的病害之一。它是由禾谷鐮刀菌等病菌引起一種病害，對小麥的產量影響較大，可導致小麥減產10%～80%[1]。快速、有效地監測與識別小麥赤霉病的發生可對該病害有效防控提供信息支撐。

赤霉病監測與識別的最常用方法是人工觀測。該方法操作簡便，但在實踐過程中工作強度大，且數據易受觀測者主觀經驗的影響而不夠準確。隨著高光譜及圖像分析技術的發展，基于現代信息技術的小麥赤霉病識別方法得到越來越多的關注、應用。劉爽提出基于k均值聚類法(k-means)結合kappa系數進行多次循環的方法來提取最優赤霉病訓練樣本，在PCA和SPA兩個特征空間內結合光譜角匹配、k均值聚類法、最近鄰域法、線性判別分析和支持向量機(SVM)五種分類算法構建多種小麥赤霉病識別模型，其中用SVM算法在SPA特征空間中構建的分類模型的分類性能最優,訓練集和測試集的精度分別達到91.1%和88.8%[2]。鮑文霞等[3]通過多路卷積神經網絡，利用深度語義分割網絡對小麥圖像進行分割并提取麥穗圖像顏色特征，采用聯合損失函數改善網絡的性能，最終可對單株小麥赤霉病穗識別準確率達到100%。國外學者在赤霉病識別方面也取得了一些進展。Ropelewska等[4]設計了一個高光譜成像系統來獲取小麥籽粒圖像，并在選定的波長下提取紋理特征，建立了籽粒分類模型，精度在94%以上。Whetton等[5-6]利用高光譜成像儀獲取小麥穗部光譜數據，并通過偏最小二乘回歸分析建立模型來評估感染赤霉病的情況，效果較好。Bauriegel等[7]基于主成分分析法，選擇500～1 000 nm之間的4個波長范圍，并成功地利用這些波長來區分發病麥穗和健康 麥穗。

前述研究雖然效果不錯，但實際生產中，早期赤霉病發生群體數量較少，難以滿足研究的樣本的需求，因此，很多學者開始探索新的分析方法。在圖像分割方面，前人在CNN的基礎上，創造性地提出了一種全卷積神經網絡(fully convolutional network,FCN)。其利用卷積層替換CNN中的全連接層以獲得圖像中每個像素的分類結果，最終實現圖像分割[8]。Ronneberger等[9]隨后提出了一種新的FCN網絡即U-net。該網絡具有對稱的U型結構，通過對圖像特征的編碼與解碼，并融合網絡高低層語義特征，可以實現較好的分割效果。與傳統的深度學習網絡相比，U-net 能夠在較少樣本量的情況下完成模型訓練并實現圖像分割，且訓練效率和提取精度均較高[10-13]。但目前U-net模型在作物上應用還不多見。Wei等[14]面對研究區作物種植模式復雜的局面，采用改進的全卷積網絡U-net實現對不同作物類型識別，在U-net模型中引入批處理歸一化(BN)算法，解決了作物數量多、樣本數不平衡的問題，極大地提高了網絡訓練的效率。陳 進等[15]采用改進的U-net 網絡模型并加入Batch Normalization 層，對水稻圖像中的籽粒部分進行分割，并通過綜合評價指標對結果進行驗證，對水稻籽粒分割的精度達到99%。

基于FCN卷積網絡的典型應用是在分類識別任務中，小麥發生赤霉病后穗子的識別就是一種典型的分類問題。因此本研究基于U-net網絡模型訓練小麥赤霉病圖像，獲取小麥赤霉病發病麥穗的分割圖像并對發病麥穗進行監測與識別，以期為小麥赤霉病穗識別提供一種新的方法。

1 材料與方法

1.1 試驗設計

試驗于2017-2018年和2018-2019年在江蘇省里下河地區農業科學研究所揚州試驗基地(32°42′N，119°53′E)進行。11月上旬播種，順序排列，每個品種均種植2行，行長2 m，行距25 cm，每行60株。所使用的小麥品種分為抗病、常規和易感3種類型。

1.2 赤霉病接種

于小麥揚花期在穗中部小穗的第一朵小花內，用微量進樣注射10 μL赤霉病分生孢子懸浮液 (1×105個·L-1)，每個品種接種20個單穗，然后用透明塑料袋將整個麥穗套住，采用人工彌霧保濕，并掛上紙牌標明接種日期，保濕72 h后去掉塑料袋。并在接種后21 d人工記載每份材料的發病小穗數。接種前后麥穗變化如圖1所示。

接種前 Before inoculation 接種后 After inoculation圖1 小麥發生赤霉病前后麥穗顏色變化Fig.1 Changes of wheat ear color before and after the occurrence of Fusarium head blight

1.3 小麥赤霉病圖像的獲取

本研究通過數碼相機獲取小麥赤霉病的圖像信息。所用數碼相機為SONY @6300，有效像素2 420萬，顯示屏為3英寸92萬像素液晶屏，傳感器APS-C畫幅(23.5*15.6mm)ExmorCMOSsensor，4K高清攝像，配有存儲卡SD/SDHC/SDXCmicroSD/microSDHC/microSDXC卡，續航能力強。

于接種后7 d開始，每隔6 d獲取一次圖像，至小麥赤霉病發病后期停止拍照。拍攝時采取相機垂直地面，距地面1 m高處獲取小麥赤霉病圖像信息，對獲取的圖像進行篩選，共選取小麥赤霉病發病前期和發病中期RGB圖像各20幅。

1.4 圖像處理

1.4.1 圖像處理軟件

獲取的RGB圖像采用Matlab2018b、Labelbox等軟件進行處理，圖像中麥穗分為發病麥穗和健康麥穗兩類。深度學習圖像處理所使用的配置為NVIDIA Tesla K80 GPU 1x，15 GB Ram，100 GB SSD；使用的軟件包括Deep Learning VM (Debian) on Google Cloud Platform，Tensorflow 2.1.0，Numpy，Matplotlib。

1.4.2 深度學習數據集構建

采用軟件Labelbox對20幅圖像進行人工標注，圖像大小為6 000×4 000。由于田間麥穗形態比較復雜，本研究利用Harris角點檢測算法對顏色特征或紋理特征處理后的二值圖像進行角點檢測，進而將麥穗從圖像背景中分離出來[16]。

在上述基礎上構建深度學習數據集。由于硬件(GPU)的限制，需要對圖像進行分割。訓練集由其中的18張分割而成，測試集由另外2張分割而成。考慮運行時間的限制，訓練集中選擇 700×700 為一個單位，每100 取一次樣，共生成31 482幅700×700×3 的圖像和其對應的標注。對于測試集則每200 取一次樣，共獲得918幅圖像和對應的標注(圖2)。為了消除標記過程中人為因素(邊緣不明確)產生的誤差，網絡設計為 400×400×3的input和 output，通過壓縮的方式把700×700的圖像壓縮到了400×400，并在訓練集上使用數據增強技術(rotate，width/height shift，zoom)。最后把標記好的圖像提取轉化為png格式灰度圖，數據集保存為json 文件。

圖2 發病麥穗標記分割結果Fig.2 Segmentation results of pathogenic wheat ears marker

1.5 U-net網絡結構及改進

U-net模型在物體識別上非常流行，有很多圖像識別的研究都采用U-net來進行物體識別分割[10-12,21-24]。U-net網絡由一個收縮路徑(左邊)和一個擴張路徑(右邊)組成(圖3)。其中，收縮路徑遵循典型的卷積網絡結構，其由兩個重復的3×3卷積核(無填充卷積，unpadded convolution)組成，且均使用修正線性單元(rectified linear unit，ReLU)激活函數和一個用于下采樣(downsample)的步長為2的2×2最大池化操作。在每一個下采樣的步驟中，特征通道數量都加倍。在擴張路徑中，每一步都包含對特征圖進行上采樣(upsample)；然后用2×2的卷積核進行卷積運算(上卷積，up-convolution)，用于減少一半的特征通道數量；接著級聯收縮路徑中相應的裁剪后的特征圖；再用兩個3×3的卷積核進行卷積運算，且均使用ReLU激活函數。通過對特征圖進行裁剪，解決在每次卷積操作中，邊界像素存在缺失的問題。在最后一層，利用1×1的卷積核進行卷積運算，將每個64維的特征向量映射網絡的輸出層。

圖3 U-net網絡結構Fig.3 U-net network structure

U-net模型的上采樣部分還有大量的特征通道，允許網絡將上下文信息傳播到更高分辨率的層，因此擴張路徑與收縮路徑或多或少是對稱的，并產生一個U形結構。網絡沒有任何完全連接的層，只使用每個卷積的有效部分，也就是分割圖只包含像素，對于這些像素，輸入圖像中有完整的上下文。由于麥穗比較復雜，在使用Keras方法進行圖像語義分割需要對U-net網絡結構進行改進。本研究在原有的網絡基礎上，在下采樣中的卷積層(convolution layer)下面共加入5層Dropout。第一層輸入的卷積層圖像大小為400×400×3，依次卷積，在下采樣第十層卷積層時，輸出的圖像大小為25×25×3。同時，在下采樣部分每個反卷積層下方加入了1層連接層(concatente)，共4層連接層，最后的輸出層使用卷積層來實現。第一層反卷積層的圖像大小為25×25×3，最后一層卷積層輸出時大小為400×400×3。

圖4 基于改進后的U-net 網絡結構圖Fig.4 Network structure based on improved U-net

由于卷積神經網絡中含有許多量綱參與運算，在樣本較少的情況下，容易導致過擬合情況出現，而加入Dropout能夠很好地解決該問題。在圖像訓練的過程中，根據一定的概率隨機選中一部分神經元，使其僅保留計算出的權重，在下次迭代的時候進行更新。這樣在分配權重時，不會給上一層某節點分配過度，可以有意識地讓網絡去學習一些普遍的共性，從而提高模型的泛化能力，防止網絡過度擬合。

1.6 U-net模型評價指標

模型訓練過程中采用二元交叉熵(binary crossentropy)作為損失函數來計算每一個像素之間的交叉熵，采用平均準確率(mean pixel accuracy，MPA)作為訓練過程中的精度評價指標。為了減少分割過程中需要分割部分因為占比小產生高精度(accuracy)的現象出現，本研究使用平均交并比MIoU(mean intersection over union)對模型進行評估。交并比IoU是一個簡單的測量標準，可用于監測任意大小的圖像對象，其值越高，模型表現得就越好。

(1)

(2)

式(1)中，TP(true positive)為真陽性，指圖像中標注為麥穗像素，預測結果也為麥穗像素的總個數；TN (true negative)為真陰性，指圖像中標注為背景像素，預測結果也為背景像素的總個數；FP(false positive)為假陰性，指圖像中標注為背景像素，預測結果為麥穗像素的總個數；FN(false negative)為假陰性，指圖像中標注為麥穗像素，預測結果為背景像素的總個數。

(3)

式(3)中Loss為損失函數，gi為像素點i的真實類別，pi為網絡對像素點i的預測結果。

(4)

(5)

式(4)、(5)中，PA(pixel accuracy)表示標記正確的麥穗像素占總像素的比例。MPA(mean pixel accuracy)表示計算每個類內被正確分類像素數的比例，之后求所有類的平均。k+1表示包括背景在內的語義類別總數，本實驗值有兩類，一類為發病麥穗，另一類為背景。pii表示真正的數量，而pij表示假正的數量，pji表示假負的 數量。

2 結果與分析

2.1 模型訓練效果

深度卷積神經網絡有很多種訓練算法，本研究采用收斂速度比較快的Adam算法。選擇Adam optimizer函數作為參數優化器，設定初始學習率Ir=0.001，訓練迭代的最大次數epoch=100，每次迭代訓練1 000步，val 20步。當驗證集損失不再繼續降低時，對學習率進行衰減，衰減因子factor=0.1，衰減后的學習率為初始學習率與衰減因子的乘積。設置驗證集損失不繼續降低的容忍度為22個epoch，采用提前終止模型訓練的策略(early stopping)結束模型訓練。理論上模型的batch size越大越好，由于使用的tesla k80 GPU顯存的限制，綜合考慮，8是一個合理的數字[19]。選取發病麥穗數量不同的圖像，在上述算法下進行圖像訓練，訓練過程中保存結果的損失率和精度并利用之前保存的模型對 400 × 400 像素測試數據進行預測，然后與原始圖像疊加后輸出訓練效果圖(圖5)。與原圖像比，最終輸出圖效果較好，可以滿足小麥赤霉病穗識別和監測的需要。

圖5 U-net 模型訓練效果Fig.5 Training effect of U-net model

2.2 模型的損失函數和精度

基于改進的U-net 模型，利用測試集918幅圖像對模型識別病穗的能力進行了驗證。利用該模型以IoU大于0.5為標準確定監測目標。對所有目標的IoU進行平均得到其MIoU為 0.799。該模型的訓練損失率Loss= 0.075 9，說明模型對圖像的像素區分度較高(圖6)。模型的平均精度為 0.969 4，說明模型的識別監測效果好，精度高 (圖7)。

圖6 U-net模型損失函數Fig.6 Loss function of U-net model

圖7 U-net 模型精度Fig.7 Accuracy of U-net model

2.3 U-net 模型監測結果

在小麥赤霉病驗證集圖像中隨機選擇一幅圖像進行人工標記，標記結果與基于改進的U-net模型的識別效果進行比較。由圖8可知，模型識別結果與人工標記結果一致性很好，具較高的監測精度。雖然模型還存在一些不足(圖8b，其中黃色圓圈標注的為誤檢，藍色圓圈標注的為漏檢)，如將本來是正常的穗子監測為病穗(誤檢)，或者將本來是發病的穗監測為正常(漏檢)，但其誤檢率已經較低。

圖8 人工標注和U-net模型監測結果對比(a:人工標注，b:U-net模型監測)Fig.8 Comparison of monitoring results between manual annotation and U-net model(a:manual annotation,b:detection of U-net model)

3 討 論

本研究基于 U-net改進模型對小麥赤霉病圖像進行分割并識別。U-net模型不同于其他的分割模型，沒有全連接層和預訓練的分類模型，使得模型簡化，收斂速度快[17]。在模型改進后，可以在復雜的背景下對目標進行分割，從而提高識別的精度。鮑文霞等[3]利用深度語義分割網絡對小麥圖像進行分割并提取麥穗圖像顏色特征，實現了單株小麥赤霉病穗識別達到100%，但在群體赤霉病穗識別上還不夠精確；丁串龍等[18]利用粒子群優化支持向量機算法(PSOSVM)構建了小麥赤霉病分類模型，對赤霉病的識別精度為92%；Zhang等[19]利用光譜植被指數(SVI)構建了小麥赤霉病的識別模型，總體識別準確率為89.8%。與前述研究相比，本研究在小麥群體圖像識別上有較大的優勢，平均識別精度達到 96.9%。

由于本研究中未對小麥赤霉病發病麥穗和健康麥穗進行分類，只是單一的監測分割出發病麥穗，而訓練分割的圖像中，有很多圖像未包含發病麥穗，因此通過平均交并比MIoU來對模型的表現進行評估。與其他同類模型相比，U-net模型的MIoU較大，可以看出U-net模型效果較好[4,7]。另外，U-net模型在圖像處理過程中采用批歸一化(batch normalization，BN)，BN的優點在于提升訓練速度和加快神經網絡收斂過程，其初始化要求不高，且使調參過程變得簡單許多。此外，小麥生長通常呈不規則分布狀態，兩個或三個麥穗粘連在一起的現象時有發生，在后期的實驗探索中，是一個需要突破的研究點。

除了模型的精度，訓練過程中圖像的處理時間也是要考慮的問題。U-net訓練速度很快，在硬件資源有限的情況下，可以使用U-net模型嘗試更多的處理。但由于U-net模型的網絡較簡單，訓練過程中容易出現網絡過擬合。因此研究需要采用大量的和不同類型的訓練樣本對U-net 神經網絡進行訓練，雖然利用數據增強技術進行數據集擴充可以部分解決這個問題，但由于受到實驗區域以及品種類型的限制，采集的赤霉病圖像數量還是有限，也導致在模型訓練和驗證過程中出現漏檢、誤檢的問題。如果能消除或降低漏檢、誤檢等問題，模型的性能將大大提升[17]。

4 結 論

研究選擇了近來比較流行的深度學習網絡U-net來對人工標記好的發病麥穗圖像進行訓練。通過該網絡訓練測試與驗證，建立了基于U-net網絡模型的小麥赤霉病識別與監測模型。經過驗證分析，該模型平均精度為0.969 4，損失函數Loss=0.075 9，平均交并比MIoU=0.799，說明模型可以很好地監測小麥圖像中的發病麥穗，并在發病麥穗的分割上具有很好的效果。因此，基于改進的U-net模型能夠對該地區的小麥赤霉病進行識別與監測。