基于k-means分割和遷移學習的番茄病理識別

黎振 陸玲 熊方康

摘要：針對有背景干擾的番茄病理葉片，將k-means分割與遷移學習相結合，提出一種基于k-means分割和遷移學習的方法對番茄病害葉片進行識別。首先對原始圖像進行一系列預處理，再將處理后的圖像進行k-means分割，得到葉片邊緣的最小矩陣圖像，之后進行去噪處理，簡化突出圖像特征，再根據預處理后的圖像特點，優化改進遷移的VGG16網絡結構，構建 CNN 模型對預處理后圖像進行識別。結果顯示，通過分割后訓練方式平均精度提升了0.37百分點，通過凍結遷移的VGG16網絡第1個卷積模塊并修改全連接層的方法提升了5.4%左右。因此本研究認為通過分割、凍結VGG16第1個卷積層模塊的參數并修改全連接層可以提升番茄病理識別率。

關鍵詞：農作物病蟲害;k-means分割;卷積神經網絡;遷移學習;VGG16

中圖分類號： TP391.41文獻標志碼： A

文章編號：1002-1302（2021）12-0156-06

收稿日期：2020-11-07

基金項目：國家自然科學基金（編號：61761003）。

作者簡介：黎 振（1997—），男，江西南城人，碩士，主要從事深度學習和圖像處理研究。E-mail：243502783@qq.com。

通信作者：陸 玲，碩士，教授，碩士生導師，研究方向為計算機圖形學，數字圖像處理，計算機可視化。E-mail：luling@ecit.cn。

農作物病蟲害一直是農業領域面臨的巨大挑戰之一，它不僅會影響農業生產，還會影響食品安全[1] 。根據相關統計和分析，從2015年到2019年，全國農作物病害的受災面積從1 926萬hm2到 2 176.98萬hm2 不等。根據全國農業技術推廣服務中心的預測，2020 年我國農作物病害的受災面積將累計達到 3 億 hm2，造成相當大的糧食與經濟損失[2]。其中馬鈴薯晚疫病在西南大部、東北北部、華北北部和西北東部產區偏重流行，風險高，發生面積2 800萬畝（1 hm2=15畝）。為了更好地預防番茄病蟲害的發生，快速檢測出屬于哪種病蟲害是預防病蟲害最主要的方法之一。由于病害的癥狀復雜多變，業余人員對病理的診斷往往存在較大偏差，只有專業人員才能進行準確的識別;但人工識別所消耗的時間也較長，還需要耗費大量的人力物力進行診斷[3]。因此，研究快速準確檢測馬鈴薯病害的診斷系統變得至關重要。隨著計算機視覺與神經網絡的快速發展，圖像識別率不斷增高，人工智能技術正逐步應用于農作物耕作、采摘、病害檢測等方面[4]。

隨著圖像處理技術的發展，越來越多的研究人員使用數字圖像處理技術對農作物進行識別。田海韜等從彩色空間中利用歐式距離直接分割芽眼區域，在灰度空間中對圖像進行中值濾波后利用模糊技術對圖像進行增強，之后利用動態閾值分割法分割芽眼區域，結合2個空間的分割結果后利用數學形態學處理方法標記出芽眼，最終得到識別率為96%左右[5]。郭小清等通過選擇HSV（hue，saturation，value，色相，飽和度，色明度）模型中的4維H分量等量分割波段作為顏色特征，基于灰度差分統計的均值、對比度和熵3維特征作為紋理特征，融合7維特征向量作為支持向量機（SVM）分類器的輸入，用粒子群算法（PSO）優化SVM模型參數，最終得到識別率平均為90%[6]。

上述識別方法既有優點又有缺點，傳統的數字圖像處理方法具有應用廣泛、處理精度高、靈活性高等特點，但處理后的圖像需要在專業人員的指導下進行觀察與評估。已有研究證明卷積神經網絡識別圖像不需要執行繁瑣的預處理、特征提取以及特征分類的步驟。曾偉輝等提出了一個高階殘差卷積神經網絡，包含5層卷積層，4個殘差模塊，1個全局平均池化層和1個Softmax層對農作物病害進行識別[7]。張建華等利用卷積神經網絡直接從輸入數據的原始表示中學習有用的葉片特征，證明使用深度學習的混合局部-全局特征學習方法可以提高識別性能[8]。經過訓練的模型可以很快地對圖像進行分類，但訓練大型神經網絡是非常耗時的，且需要大量的數據集對網絡進行訓練。遷移學習通過遷移在大型數據集上訓練過的模型參數，來對現有數據集進行訓練。Lee等在VGG-16網絡模型基礎上，優化全連接層層數，并用6標簽SoftMax分類器替換原有VGG-16網絡中的SoftMax分類器，優化了模型結構和參數，通過微型遷移學習共享預訓練模型中卷積層與池化層的權值參數[9]。余小東等采用遷移學習方式并結合深度學習提出了一種基于殘差網絡（ResNet 50）的 CDCNNv2 算法，通過對農作物進行病害識別，最終識別率在91%左右[10]。Lee等使用遷移VGG16并搭配Adam優化器來對大豆豆莢進行識別，識別率高達98.41%[9]。

結合上述的研究方法，本研究提出了一種基于 k-means 分割和遷移學習的方法對番茄病理進行識別，可以在減少訓練時間的同時，加快模型的收斂速度。首先對數據集進行k-means分割等預處理方法簡化突出數據特征，根據處理后的數據特點改進遷移的VGG16模型，構建識別遷移學習模型識別番茄病害，最后通過試驗，驗證了本方法的有效性。

1 圖像數據集

本研究采用公開數據集AI Challenger 2018 所提供的11 494張馬鈴薯病理圖像作為數據集，此數據集共包含9類病害圖像（白粉病、早疫病、晚疫病、葉霉病、斑點病、斑枯病、紅蜘蛛損傷、黃花曲葉病病毒、花葉病病毒）和1種健康圖像（圖1）。

2 數據預處理

為了減小背景、光照等其他干擾因素的影響，首先對原始圖像進行去噪，再對圖像進行分割，選取葉片的最小矩陣區域，簡化突出圖像的特征，便于神經網絡模型能夠更加準確的對葉片病理特征進行識別。圖像預處理的整體流程如圖2所示。

2.1 去噪和k-means分割

由于原始圖像中有些斑點狀的噪聲，為了減少這些噪聲對選取葉片邊界的影響，使用高斯濾波對圖像進行去噪。本研究主要采用的高斯核是3×3的高斯核：

116121

242

121

由于高斯核中的數值滿足高斯分布，所以更加重視中心的像素點，能在好的去噪情況下，將特征更好地顯現出來（圖3）。

k-means算法：先從樣本集中隨機選取K個樣本作為簇中心，并計算所有樣本與這K個簇中心的距離，對于每一個樣本，將其劃分到與其距離最近的簇中心所在的簇中，對于新的簇計算各個簇的新的簇中心。對于圖像數據而言，可將圖像的像素值進行聚類，顏色即像素值相近的像素會形成一類。

根據聚類中心，將所有樣本點分為最相似的類別。這需要一個有效的盤踞，平方差是最常用的度量方式，如下：

c（i）=minj‖x（i）-μj‖;（1）

μj=1|ci|∑X∈ciX。（2）

式中：x（i）為像素點，i=1，2，…，n，共n個像素點;c（i）為x（i）最相似的類別，即x（i）被分至該類，j=1，2，…，K，共K個類別。

通過k-means聚類算法，將相同像素值聚為一類，聚類后結果如圖4所示。

根據聚類后的圖像，發現前景的像素值更低，為了更好地區分前后景，之后將聚類后圖像進行閾值處理（圖5）。

由于閾值處理后有些背景也被算法當成是葉片的邊界，所以先通過中值去噪的方法將圖像中的干擾因素降低，再通過形態學操作將背景中的干擾因子去除，使得葉片的邊界能清晰地顯現（圖6）。

此時，背景部分就沒有干擾因素對葉片的邊界發生干擾了，然后筆者所在課題組通過OPENCV中的FindContours函數找到葉片的最小外界矩陣。通過最小外界矩陣對原彩色圖像進行分割，截圖到葉片區域，減少了背景對葉片特征提取的干擾。截取結果如圖7所示。

由于神經網絡的輸入圖像大小一般為256×256且為了防止出現模型過擬合，將分割后像素值小于256的圖像進行像素值重新調整操作，使圖像的像素值大于或等于256。

2.2 數據增強

卷積神經網絡可能會由于數據不足存在過擬合問題，過擬合使模型泛化能力變差，不能很好地運用在新的數據集檢測上，為了防止出現過擬合問題，本研究采取數據增強的方法來防止模型過擬合。將分割后的圖片進行隨機旋轉、平移、加光照、人工加噪和鏡像等操作對圖像數據進行增強。使得神經網絡能更好和更多地學習到數據特征。為了作比較，本研究將原圖像數據集進行同樣的數據增強操作，以此來與分割后再增強的數據集作對比。將11 494張原始圖像增強到24 551張圖片，按照 9 ∶1 的比例劃分訓練集和測試集。

3 遷移學習模型

3.1 遷移學習

近幾年，遷移學習[10]逐漸成為深度學習中的一個熱門領域。由于從頭訓練一個新的高性能的卷積神經網絡所需要耗費的時間很長，而且需要大量的數據對網絡進行訓練，過程顯得十分漫長。在實際應用中往往擁有的數據無法對一個全新的網絡進行訓練，但又想利用深度學習的高性能分析能力，所以遷移學習應運而生。遷移學習是運用已有的知識對不同相關領域問題進行求解的一種機器學習方法，其目標是完成知識在相關領域之間的遷移[11-13]。本研究利用遷移預訓練網絡模型的方法進行試驗[這些預訓練模型已在大型數據集（ImageNet）大賽上訓練好，具有很強的魯棒性和泛化能力][14]。本研究遷移的是VGG16網絡模型，VGG16是由牛津大學計算機視覺組開發的一個卷積神經網絡結構，至今仍被認為是一個具有較強性能的圖像識別模型，該網絡主要特點是網絡結構簡單并且易于實現，使得其具有研究價值。

VGG網絡中通過堆疊2個3×3的卷積核替代5×5的卷積核，堆疊3個3×3的卷積核替代7×7的卷積核，一方面減少了參數的數量，另一方面通過這種方法進行了更多的非線性映射，提高了模型的擬合能力。

3.2 模型構建

卷積神經網絡直接用原始圖像的全部像素作為輸入，進行卷積池化等操作，找尋使特征表達最優的參數。結合卷積神經網絡的知識，卷積神經網絡的前幾層主要提取圖像的邊框特征[15]，研究圖像經過VGG16神經網絡每卷積模塊后的特征圖（圖8）。

通過特征圖的觀察，發現經過第1個卷積層模塊后的圖像，背景部分還比較清晰，下一次卷積層模塊還會繼續提取圖像背景的特征，但隨著卷積模塊的深入，所提取的特征更傾向于葉片的特征。由于遷移學習遷移的是網絡的權重，對于提取圖片邊緣特征的卷積層模塊，可以凍結模塊的權重，對于提取圖像內部關鍵特征的卷積層模塊，可以重新訓練權值。首先筆者所在課題組對遷移的VGG16模型進行微調，將在Image數據集上訓練好的VGG16網絡模型進行遷移，然后對其全連接層進行修改，并在最后一層后接上一個改進的softmax邏輯分類器[16]。

然后，在修改后的VGG16網絡結構（圖9）中，凍結第1個卷積層模塊的權重[17]，訓練剩下卷積層模塊的權重，讓模型能更好地對圖像的核心特征進行提取，減少一些邊緣特征對最后準確率的影響。

4 試驗與結果分析

4.1 試驗環境

本試驗均在Window10中實現，運行環境是Jupyter Notebook，使用開源深度學習框架Pytorch作為開發環境，設置初始學習率為0.001，并隨著網絡的收斂程度進行下降，使用Adam優化器對網絡的評估和參數進行優化[18-20]。試驗過程中采用NIVIDIA GTX2060GPU對模型訓練進行加速，存儲采用 16 G 的內存，CPU采用i5-10400F。

4.2 試驗方法與結果

本研究主要設置了4組試驗，比較普通數據增強和使用k-means分割后的數據增強的識別率以及只修改訓練全連接層和凍結1個模塊訓練剩下模塊的識別率。首先設置試驗1，比較使用k-means分割和未使用k-means分割進行數據增強后兩者的差異，同時設置一個未使用任何數據增強用來做對照。結果見表1。

其中Data1表示普通數據增強，Data2表示先對原有圖像進行k-means分割后，再進行數據增強，Data3表示未進行任何數據增強。

表1結果顯示，使用k-means分割后的識別率和損失值都要優于使用k-means分割。在識別率上提升了0.37百分點。同時可以看出，使用任何方式的數據增強都要比不做數據增強的方法識別率高。使用通過k-means分割后再增強的數據集比較只訓練全連接層和凍結第1個模塊訓練其他模塊的識別率，結果見表2。

其中VGG16表示凍結全部卷積層，只訓練全連接層，N-VGG16表示凍結第1個卷積層模塊，訓練其他層，A-VGG16表示重新開始訓練一個新的VGG16模型。訓練過程中只訓練全連接層和凍結第1個模塊訓練其他模塊的準確率變化曲線如圖10所示。

由表2和圖10可以看出，迭代訓練10次后，凍結卷積層訓練全連接層和凍結第1個卷積層模塊訓練其他層的準確率均逐漸趨于穩定，且凍結第1個卷積層模塊訓練其他層準確率均優于只訓練全連接層的VGG16網絡，說明本研究通過凍結第1個模塊訓練其他模塊的方法有效提升了網絡的性能;訓練完成后，凍結第1個模塊訓練其他模塊在驗證集上的準確率為97.92%，相比只訓練全連接層提高了約4%。

5 結論

本研究提出一種將圖像預處理與遷移學習相結合的方法，實現了對番茄病理的有效識別。

對于獲取的原始圖像，首先通過k-means分割、去噪等預處理操作簡化突出其特征，再根據預處理后的圖像特點對遷移的VGG16網絡做出微調，并凍結第1個模塊的權重，提升網絡性能，構建改進遷移學習模型對番茄病理進行識別。

試驗結果表明，本研究的方法對番茄病理的識別效果較好，并通過數據增強的方式，使其擁有較好的魯棒性。可為后續研發番茄病理識別程序提供技術支持。下一步工作考慮如何提高對批量圖像數據進行分割時，能較好地滿足所有圖片的需求，達到精準分割，并且能減少一些干擾因素如背景和前景相似時，能更好地對背景前景進行分割。

參考文獻：

[1]Tai A P K，Martin M V，Heald C L. Threat to future global food security from climate change and ozone air pollution[J]. Nature Climate Change，2014，4（9）：817-821.

[2]姜玉英，劉萬才，黃 沖，等. 2020 年全國農作物重大病蟲害發生趨勢預報[J]. 中國植保導刊，2020，40（2）：37-39.

[3]張 琦，張榮梅，陳 彬. 基于深度學習的圖像識別技術研究綜述[J]. 河北省科學院學報，2019，36（3）：28-36.

[4]Swietojanski P，Ghoshal A，Renals S. Convolutional neural networks for distant speech recognition[J]. IEEE Signal Processing Letters，2014，21（9）：1120-1124.

[5]田海韜，趙 軍，蒲富鵬. 馬鈴薯芽眼圖像的分割與定位方法[J]. 浙江農業學報，2016，28（11）：1947-1953.

[6]郭小清，范濤杰，舒 欣. 基于圖像融合特征的番茄葉部病害的識別[J]. 湖南農業大學學報（自然科學版），2019，45（2）：212-217，224.

[7]曾偉輝，李 淼，張 健，等. 面向農作物病害識別的高階殘差卷積神經網絡研究[J]. 中國科學技術大學學報，2019，49（10）：781-790.

[8]張建華，孔繁濤，吳建寨，等. 基于改進VGG卷積神經網絡的棉花病害識別模型[J]. 中國農業大學學報，2018，23（11）：161-171.

[9]Lee S H，Chan C S，Mayo S J，et al. How deep learing extracts and learns leaf features for plant classification[J]. Pattren Recognition，2017，71：1-13.

[10]余小東，楊孟輯，張海清，等. 基于遷移學習的農作物病蟲害檢測方法研究與應用[J]. 農業機械學報，2020，51（10）：252-258.

[11]Tan C，Sun F，Kong T，et al. A survey on deep transfer learning[C]//27 International Conference on Artificial Neural Networks and Machine Learning-ICANN 2018. Rhodes，Greece，2018：270-279.

[12]閆壯壯，閆學慧，石 嘉，等. 基于深度學習的大豆豆莢類別識別研究[J]. 作物學報，2020，46（11）：1771-1779.

[13]劉嘉政. 基于深度遷移學習模型的花卉種類識別[J]. 江蘇農業科學，2019，47（20）：231-236.

[14]龍明盛. 遷移學習問題與方法研究[D]. 北京：清華大學，2014：34-89.

[15]Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks[M]. Hinton E. Communications of the ACM，2017：6

[16]Jang Y H，Lee H，Hwang S J，et al. Learning what and where to transfer[C]. Proceeding of the 36th International Conference on Machine Learning，2019：3030-3039.

[17]白 潔，張金松，劉倩宇. 基于卷積網絡特征遷移的小樣本物體圖像識別[J]. 計算機仿真，2020，37（5）：311-316.

[18]Huang G，Liu Z，Maaten L D，et al. Densely connected convolutional networks[C]//IEEE Conference on Computer Vision and Pattern Recognition.Hawaii，USA，2017：2261-2269.

[19]趙建敏，李 艷，李 琦，等. 基于卷積神經網絡的馬鈴薯葉片病害識別系統[J]. 江蘇農業科學，2018，46（24）：251-255.

[20]梁萬杰，曹宏鑫. 基于卷積神經網絡的水稻蟲害識別[J]. 江蘇農業科學，2017，45（20）：241-243，253.