基于K-means聚類和RF算法的葡萄霜霉病檢測分級方法

李翠玲 李余康 譚昊然 王 秀 翟長遠

(1.北京市農林科學院智能裝備技術研究中心， 北京 100097；2.國家農業智能裝備工程技術研究中心， 北京 100097；3.西北農林科技大學機械與電子工程學院， 陜西楊凌 712100)

0 引言

霜霉病是全球葡萄生產中危害程度最大的葉片病害之一，具有分布廣、流行性強的特點。傳統的葡萄霜霉病檢測大多依靠有經驗的專家和農戶在田間進行識別，這種人工檢測方式效率低、耗時長，準確率受到專家和農戶的經驗影響[1-3]。葡萄霜霉病病害程度不同，其防治措施和施藥用量存在差異，果園精準變量施藥裝備需要根據植株病害等級按需施藥[4]。病害信息感知是葡萄果園精準變量施藥的前提，關鍵在于實現果園環境下的葡萄霜霉病等級的精準識別。

目前國內外很多學者將光譜技術應用于植物病害檢測領域，常用的光譜檢測方法有：近紅外光譜技術[5-6]、高光譜成像技術[7]、多光譜成像技術[8]、日光誘導葉綠素熒光技術[9]、多光譜熒光成像技術[10]等，這類方法可以對植物病害進行早期探測，模型精度較高。但是，光譜檢測技術需要精密的儀器和昂貴的傳感器，同時需要較為苛刻的實驗環境，實驗成本高、效率低，而且不適合在復雜的農業場景應用。

近年來，基于傳統圖像處理的植物病害檢測技術得到了廣泛應用，研究集中于植物病害特征提取，采用分類器對病害進行分類[11-12]。此類方法使用較為容易，不需要較多的人工處理便能取得較好的結果。然而，在田間或果園采集的病害圖像不可避免地存在光照不均勻和背景復雜的問題，傳統的圖像處理方法適用于具有單一背景或者簡單背景的植物病害識別，對于復雜自然環境的植物病害識別效果較差。

基于深度學習[13-14]的病害識別已成為研究熱點，深度學習可以通過構建較深的網絡結構，來學習高維信息特征。文獻[15]在識別精度上取得了較好的結果，但是這種方法采用大量標簽訓練的方式進行學習，對于一些病斑邊界模糊的研究對象制作標簽較為困難。

葡萄霜霉病的分級標準是根據病斑占葉片的面積比例確定的，需要分別計算出病斑的面積和葉片的面積。基于圖像處理的葡萄霜霉病分級中存在以下問題：①果園環境復雜，通常會出現光照不均勻、陰影、圖像采集背景復雜等問題，導致難以準確地分割出葡萄葉片。②葡萄霜霉病為真菌類病害，病斑的邊界不規則、不清晰，很難對病斑區域進行像素級別標注，無法直接采用監督學習分割霜霉病病斑區域。

綜上所述，結合傳統圖像處理和深度學習的各自優點和特長，本文提出基于K-means聚類和隨機森林算法的葡萄霜霉病檢測分級方法。首先建立葡萄葉片語義分割模型，以實現葡萄葉片區域像素和其他像素的二分類，在復雜背景中提取葡萄葉片；然后在確定葡萄葉片像素區域的基礎上，構建葡萄霜霉病病斑分割算法，實現從葡萄葉片中分離出葡萄霜霉病病斑區域；最后通過獲取葉片區域像素和病斑區域像素的面積占比，計算出葡萄葉片的病害等級。以期為葡萄霜霉病精準防治提供模型支持，為其他病害分割、病害等級檢測提供思路。

1 材料與分級方法

1.1 葡萄霜霉病特點與分級標準

1.1.1葡萄霜霉病發病特征

葡萄霜霉病是受葡萄生單軸霉侵染所引起，當葉片被感染時，病害部位僅在葉脈區域出現油浸狀或角型的淡黃色或紅褐色小斑點，后逐漸發展擴大為褐色不規則形或多角形病斑，多個病斑相連變成不規則形大斑，天氣潮濕時，病斑背面產生白色霜霉狀物，即病菌的孢囊梗和孢子囊，發病嚴重時病葉會早枯早落[16-17]。葡萄霜霉病發病時通常是嫩葉的背部首先感染病菌，并在背部出現白色的霜狀物，然后背部的白色霜狀物向葉片的正面侵蝕，正面呈現淡黃色至黃褐色病斑。輕度發病和重度發病的葡萄葉片霜霉病病斑如圖1所示。圖1a為葡萄霜霉病患病較輕的葉片反面圖像，葡萄霜霉病在患病較輕時通常出現幾個病菌菌落，同時病菌菌落中間清晰，病菌向未感染區域侵蝕，病斑呈現白色霜狀朦朧狀態，病斑邊界不清晰；圖1b為葡萄霜霉病較輕的葉片正面圖像，病菌從反面向正面感染，病斑呈現黃色，邊界較為不清晰；圖1c為葡萄霜霉病患病較重的葉片反面圖像，在患病較重時病斑呈現白色霜狀邊界，邊界形狀不規則，邊界不清晰；圖1d為葡萄霜霉病患病較重的葉片正面圖像，病斑呈現黃色、黃褐色，邊界形狀不規則，病斑邊界不清晰。

圖1 葡萄葉片霜霉病圖像Fig.1 Leaf images of grape downy mildew

1.1.2葡萄霜霉病分級標準

根據國家標準GB/T 17980.122—2004，葡萄霜霉病以病斑面積占整個葉片的面積占比區分病害等級，分為6個級別，具體分級標準如表1所示。

表1 葡萄霜霉病的分級標準Tab.1 Grading criteria for grape downy mildew

圖2 不同病害等級的葡萄霜霉病圖像Fig.2 Images of grape downy mildew with different disease levels

病斑面積占整個葉面積的比值可以用圖像中的像素數比值確定，即病斑區域的像素個數與葉片區域像素個數的比值[18]。病斑面積占整個葉面積的百分比s的計算公式為[19-20]

(1)

式中Ad——病斑區域面積

Al——葉片區域面積

p——單位像素面積

Rd——病斑區域Rl——葉片區域

利用像素統計方法計算分割的二值圖像中病斑區域和葉片區域的像素個數，進而計算像素數比值，可以得到病斑面積占整個葉面積的百分比s，并根據葡萄霜霉病分級標準得出病害等級。

1.2 數據采集與處理

1.2.1數據采集

考慮到溫度、光照會對葡萄霜霉病圖像采集產生影響，分別在早晨、正午和傍晚3個時間段于北京市房山區波龍堡酒莊 (116°02′E，39°75′N) 采集圖像，葡萄品種為赤霞珠，手持手機垂直葉片拍攝圖像，圖像分辨率為3 120像素×4 160像素，共采集1 082幅圖像。兼顧不同光照條件和不同背景，采集不同病害等級的霜霉病葉片和正常葉片圖像，包含葉片正面和反面。葡萄霜霉病等級由相關領域專家確定，包含6個病害等級，具體圖像采集情況如表2所示，不同病害等級的霜霉病代表圖像如圖2所示，葉片與背景邊界明顯，分界線清晰，病斑邊界不規則、不清晰，與葡萄霜霉病病斑的特點相符。

表2 葡萄霜霉病圖像數據集Tab.2 Image data set of grape downy mildew 幅

1.2.2數據集制作

圖像標注是采用深度學習方法提取葡萄葉片最重要步驟。將采集的圖像人工裁剪為3 120像素×3 120像素，圖像主要顯示葡萄葉片區域。采用Labelme軟件對圖像進行語義分割標注，使葡萄葉片從圖像背景中分離，將背景模糊的葡萄葉片當作背景標注，將葡萄葉柄當作背景標注，得到帶有葉片邊界點的json格式文件，經過深度學習處理得到葡萄葉片的掩膜圖像。圖3中紅色部分為葉片區域，黑色為背景區域。

圖3 原始圖像和掩膜圖像Fig.3 Raw image and mask image

采用數據擴充方法，克服卷積神經網絡(CNN)訓練階段時間過長問題，增加訓練樣本的數量以及多樣性，增加噪聲數據，提升模型魯棒性。隨機改變訓練樣本可以降低模型對某些屬性的依賴，從而提高模型的泛化能力。采用Augmentor工具包對圖像進行隨機旋轉、鏡像、水平翻轉、添加高斯噪聲、調整亮度等操作，將數據集擴充到6 000幅。

葡萄葉片分割數據集按照比例6∶2∶2隨機劃分為訓練集、測試集和驗證集，訓練集、測試集和驗證集分別包含3 600、1 200、1 200幅圖像，共計6 000幅圖像。

葡萄霜霉病病斑分割數據集由兩部分組成，從采集的1 082幅葡萄霜霉病圖像和相關領域專家給出的葡萄霜霉病等級信息組成病害分級評價的數據集；從1 082幅圖像中選取100幅包含正反面、代表不同病害等級的圖像作為分解圖像融合得到訓練集，將100幅圖像通過K-means算法進行分解，并標注每幅分解圖像的葡萄霜霉病病斑類別或者葉片類別。

1.3 葡萄霜霉病檢測分級框架

將葡萄霜霉病檢測分級分為葡萄葉片提取和病斑分割2個主要過程，如圖4所示。首先建立葡萄葉片語義分割模型，實現復雜環境下葡萄葉片提取；然后采用機器學習方法將提取的葡萄葉片分割為葉片區域和病斑區域，計算面積占比得到葡萄霜霉病等級。

圖4 葡萄霜霉病檢測分級原理框圖Fig.4 Schematic of grading detection of grape downy mildew

1.4 葡萄葉片區域提取

考慮到葡萄葉片圖像的復雜性，以及提取葉片區域存在耗時長和精度低的問題，采用在Cityscapes數據集中語義分割效果最好的HRNet v2+OCR語義分割算法，對復雜背景下的葡萄葉片圖像進行自動分割。

1.4.1HRNet v2網絡框架

HRNet[21]是由微軟亞洲研究院和中國科學技術大學在2019年提出的神經網絡算法，能夠全程保持高分辨率的特征圖，同時可以得到高級的語義特征，采用多尺度融合策略得到的高分辨率表示不僅信息豐富而且空間精確。為了提高語義分割的精度，目前主流的趨勢是先降低分辨率提取高級的語義特征，再采取多樣的方法從低分辨率表示恢復到高分辨表示。HRNet通過并行連接高分辨率到低分辨率卷積來保持高分辨率表示，并通過重復跨并行卷積執行多尺度融合來增強高分辨率表示，使得網絡在整個過程中都能保持高分辨率的表征。HRNet v2[22]對HRNet進行簡單的修改，將網絡的4種分辨率輸出中的低分辨輸出進行雙線性上采樣，還原到高分辨率輸出的尺寸，并將這4種高分辨率輸出連接起來作為高分辨率的特征表示。HRNet v2增加了較小的計算消耗，而獲得了更強的高分辨率表示能力。

1.4.2并行多分辨率子網

并行多分辨率子網通過并行連接由高分辨率到低分辨率的子網構建而成，每個子網內部采用多條并行卷積序列，鄰近的子網間存在降采樣層，以將特征圖分辨率減半，HRNet網絡結構如圖5[22]所示。整個模塊由Stem、Stage1、Stage2、Stage3和Stage4共5個階段組成。Stem通過3個連續不同的卷積操作，對原始圖像進行特征提取。將產生低分辨率分支的功能以及重復的多尺度融合功能進行了分離，產生低分辨率分支的功能在Stage1、Stage2、Stage3階段開頭，重復的多尺度融合功能在Stage1、Stage2、Stage3階段的結尾。Stage4首先將3個并行低分辨率子網的輸出上采樣到高分辨率子網的尺寸，然后通過簡單的連接操作連接同樣尺寸的4個分支的結果。

1.4.3重復的多尺度融合

HRNet采用不同分辨率特征圖像交換單元，使每個子網融合其他分辨率的特征信息。信息交換單元如圖6所示[21]，上采樣時，采用雙線性插值，然后采用1×1的卷積進行處理；下采樣時，采用步長為2、卷積核為3×3的卷積處理；相同分辨率的層采用直接復制的方式進行處理；3個特征融合的方式采用直接相加。

圖6 HRNet信息交換單元Fig.6 HRNet information exchange unit

1.4.4基于物體區域的上下文信息

OCR (Object-contextual representations)[23]是顯式地把像素分類問題轉換成物體區域分類問題，網絡結構如圖7所示，與DeepLab v3+的上下文信息不同的是顯式地增強了物體信息。OCR的實現分3個部分：①根據主干網絡的特征圖估測一個簡單語義分割結果，即軟物體區域，將其作為OCR的輸入。②根據軟物體區域和最深層網絡的像素特征計算得到物體區域，用最深層網絡的像素特征和物體區域計算得到物體的像素區域，然后根據每個像素和物體區域特征表示在關系矩陣中的數值把物體區域特征加權求和，得到最后的物體上下文特征。③把物體的上下文特征和最深層網絡的像素特征作為上下文增強特征。OCR可計算一組物體區域的特征表達，然后根據物體區域特征表示與像素特征表示之間的相似度將這些物體區域特征表示傳播給每個像素。

圖7 OCR網絡結構Fig.7 OCR network structure

1.5 葡萄霜霉病病斑分割

根據霜霉病發病特點，病斑區域標注非常困難，需要消耗大量的資源，病斑較難直接采取標簽標記的方式進行訓練學習。而采用傳統圖像處理或無監督學習的方式提取病斑，需要從大量的數據中尋找一些便于提取的數據特征，要求研究人員具有一定的開發經驗，實現難度較大。同時又由于不同葡萄葉片的亮度不同、光照不均勻以及不同病害等級的病斑的特征有差異，采用人工尋找數據特征將會非常困難。本研究設計了先通過無監督學習將圖像分解為若干子區域圖像，每個子區域圖像內顏色特征一致，然后對分割開的若干子區域圖像進行有監督訓練，將分割開的部分重新合并得到病斑區域和葉片區域，間接地采用有監督學習提取病斑，實現自動提取病斑特征。設計了一種基于K-means和隨機森林算法的病斑分割算法，如圖8所示。采用K-means算法將葉片圖像分解成若干部分，然后采用隨機森林算法將若干子區域圖像進行合并得到病斑區域和葉片區域。對葡萄霜霉病病斑提取分為葡萄葉片圖像分解和葡萄葉片碎片圖像合并2個過程。

圖8 葡萄霜霉病病斑分割Fig.8 Segmentation of grape downy mildew spots

1.5.1葡萄葉片圖像分解

顏色特征是區分葡萄霜霉病病斑和正常葉片區域最直接的特征。在田間采集的圖像光照強度不同，葡萄葉片圖像分解需要克服光照強度不均勻的干擾。RGB顏色特征極容易受到光照條件影響[24-25]，Lab色彩空間的a分量代表從綠色到紅色，HSV色彩空間的S分量代表飽和度，YCrCb色彩空間的Cr分量和Cb分量代表色度，此4個色彩特征受光照影響較小。綜合考慮到光照強度的影響和霜霉病病斑的顏色特點，選取HSV色彩空間的S分量、YCrCb色彩空間的Cr與Cb分量和Lab色彩空間的a分量作為葡萄葉片圖像分解的特征向量。

K-means聚類算法是一種最常見的迭代求解的聚類分析算法，是在最小誤差函數的基礎上將原始的數據劃分為預定的類數K。本研究設計了一種基于K-means的葡萄圖像分解算法，具體實現過程如圖9所示。

圖9 基于K-means的葡萄圖像分解算法流程圖Fig.9 Flowchart of grape image decomposition algorithm based on K-means

獲取去除背景的葡萄葉片圖像后，將圖像進行色彩空間變換，將RGB色彩空間的圖像轉換為HSV、Lab和YCrCb色彩空間，分別提取S分量、a分量、Cr分量、Cb分量，然后利用通道融合的方式將圖像融合成為多通道圖像。聚類中心的數量等于子區域圖像的數量，子區域圖像的數量不少于2個，子區域圖像的數量越多，圖像分解得越細致，子區域圖像內部的紋理和顏色特征的相似度也越高，但是子區域圖像的數量會帶來較大的計算開銷，本研究選取聚類中心數量為10。隨機選取10個像素點作為K-means算法的聚類中心，然后計算每個像素點xi距離聚類直線的歐氏距離，根據距離將每個像素點分配到距離聚類中心最近的簇中。針對每個簇的類別aj，重新計算它的聚類中心，觀察聚類中心是否改變，如果改變則需要重復進行計算每個像素點與聚類中心的距離并重新進行分簇，直至聚類中心不發生改變為止。根據聚類結果將去除背景的葡萄葉片圖像分解成10個圖像，每幅圖像內的顏色特征十分接近，可以將病斑區域和葉片區域分割開。

1.5.2葡萄葉片碎片圖像合并

紋理在圖像中以某種局部排列模式反復出現，排列規則不依賴于顏色或者光照，可以反映圖像同質現象的特點，是一種有效的圖像特征。灰度共生矩陣能反映圖像灰度關于方向、相鄰間隔、變化幅度的綜合信息，它是分析圖像的局部模式和它們排列規則的基礎。本研究采用基于統計方法的灰度共生矩陣[26]提取圖像的目標紋理參數。根據灰度共生矩陣法，分別提取圖像的對比度、能量、熵和逆方差。對比度表示度量矩陣的值如何分布和圖像中局部變化情況，反映了圖像的清晰度和紋理的溝紋深度；能量變換反映了圖像灰度分布均勻程度和紋理粗細度；熵表明了圖像灰度分布的復雜程度，熵越大，圖像越復雜；方差分矩陣又稱逆方差，反映了圖像紋理局部變化量，若圖像紋理的不同區域間較均勻，變化緩慢，逆方差會較大。

選取S分量、a分量、Cr分量和Cb分量作為病斑分割的顏色特征，選取灰度共生矩陣的能量、對比度、熵和逆方差作為紋理特征，選取這個8個特征的均值和方差作為特征向量。

圖10 基于隨機森林算法的葡萄葉片碎片圖像合并算法流程圖Fig.10 Flowchart of fragment images merging algorithm of grape leaf based on random forest algorithm

隨機森林算法是多棵決策樹為基分類器構建集成分類器，它通過提取多個不同的訓練集和隨機選取節點分類特征來增大分類模型之間的差異，從而提高模型的泛化和預測能力[27]。本文設計了一種基于隨機森林算法的葡萄葉片碎片圖像合并算法，具體實現過程如圖10所示。

從數據中選取可以代表不同病害等級、不同光照條件的葡萄霜霉病圖像正反面各50幅作為訓練集。將選取的特征向量輸入隨機森林算法分類器進行訓練，設置超參數決策樹數量為100，訓練完成后保存模型的權值文件。推理時，隨機森林算法加載模型的權值文件，輸入一個碎片圖像的特征向量，即可判斷一個碎片圖像屬于病斑還是葉片正常部分。輸入一個完整葡萄葉片圖像的分解圖像，通過合并病斑區域和葉片區域的分解圖像即可將該完整葡萄葉片圖像分為病斑區域和葉片區域。

1.5.3像素尺寸變換

因為語義分割算法參數較多，直接輸入原始的高分辨率的圖像會占用較大的顯存，甚至會造成顯存溢出無法訓練和推理圖像，因此本研究采用較低分辨率的圖像用于語義分割算法，分辨率為513像素×513像素。而葡萄霜霉病病斑分割算法采用的是傳統機器學習和圖像處理的方式，較高的分辨率可以讓病斑提取效果更顯著、細致，葡萄霜霉病病斑分割算法采用原始的高分辨率圖像作為處理對象，分辨率為3 120像素×3 120像素。為了使葉片提取結果和葡萄霜霉病病斑分割輸入圖像相匹配，本文設計一種像素尺寸變換的策略，具體分辨率變換流程如圖11所示。

圖11 分辨率變換流程圖Fig.11 Flowchart of resolution transformation

1.6 模型訓練與測試

1.6.1實驗平臺

葡萄葉片提取采用Pytorch深度學習框架搭建深度學習網絡，結合OpenCV和PIL模塊開發，Python版本為3.6，Pytorch版本為1.7；葡萄霜霉病病斑提取采用scikit-learn機器學習框架，結合NumPy軟件包開發，scikit-learn版本為0.23.2。實驗用計算機平臺配置CPU為Intel酷睿i9-10900k @3.80 GHz×20，內存為48 GB的DDR4，顯卡為英偉達GeForce RTX3090，顯存24 GB，CUDA為10 496個，顯卡核心頻率為1 785 MHz，算力為35.7 TFLOPS。

1.6.2葡萄葉片區域提取網絡訓練策略

為了驗證HRNet v2+OCR網絡的有效性，將HRNet v2+OCR網絡應用到葡萄葉片提取中，并與其他模型進行比較。本研究對傳統的深度學習網絡DeepLab v3+、FCN、FastFCN、UNet和UNet++進行訓練和測試，比較傳統的語義分割網絡和HRNet v2+OCR網絡在葡萄葉片區域提取性能上的差異。不同參數量的主干網絡會對語義分割的精度產生影響，因此本研究還對比了不同參數量的主干網絡在不同語義分割算法上對于葡萄葉片分割產生的影響。

在訓練過程中采用隨機梯度下降法(Stochastic gradient descent, SGD)作為神經網絡優化算法，采用交叉熵損失函數作為優化誤差函數。批處理大小設置為16，學習率設置為0.01，為了提高SGD算法的收斂速度，提高訓練效果，設置動量為0.9，權值衰減為0.000 5，采用ImageNet的預訓練權重，迭代次數為100。

1.6.3葡萄葉片區域提取網絡評價指標

采用準確率(Accuracy)和平均交并比(Mean inetersection over union)作為HRNet v2+OCR模型對葡萄葉片區域分割精度的評價指標。

1.6.4葡萄霜霉病病斑分割算法評價指標

采用病害分級準確率(Disease grade accuracy，PDGACC)和病害分級誤差(Disease grade error，EDG)作為葡萄霜霉病病斑分割算法的評價指標。

傳統的病害檢測分級通常采用病害分級準確率來評價算法優劣，但當1級病斑誤劃分為3級和1級病斑誤劃分為9級之間存在明顯差異，分級誤差不適合采用分級準確率來評價算法性能。同時本研究數據集較難劃分病斑區域，無法知道病斑的真實面積以及病斑位置，也不適合采用算法劃分病斑區域和真實病斑區域的面積交并比作為評價指標。本研究設計了一種基于模糊數學中隸屬度的葡萄霜霉病病害分級誤差函數，公式為

EDG=4|min(s-x)|

(2)

其中

(3)

式中EDG——葡萄霜霉病病害分級誤差

x——依據葡萄霜霉病分級標準的中間變量

n——葡萄霜霉病病害等級

當采用算法得出的葡萄霜霉病病害等級和真實病害等級相等時，EDG為0；當病害等級不一致時，等級相差越大，EDG也越大；當等級誤差相同時，面積占比的誤差越大，EDG也越大。EDG越大，代表算法與病害真實值等級誤差越大，算法表現越差。

2 實驗與結果分析

2.1 葡萄葉片提取結果與分析

各語義分割算法的分割精度對比如表3所示，由表3可知，HRNet v2+OCR語義分割算法和W48特征提取網絡結合的準確率和平均交并比最大，分別為98.45%、97.23%，較主流網絡均有提升。不同的語義分割算法和不同的主干網絡結合表現效果也有差異，在同一類主干網絡下，主干網絡的參數越多，模型的準確率和平均交并比越高。HRNet v2、DeepLab v3+和FastFCN略遜于HRNet v2+OCR算法，FCN、UNet和UNet++表現效果較差。FCN使用反卷積的方式恢復圖像分辨率，該方法沒有考慮到全局上下文信息，恢復原圖像尺寸的過程中特征過于稀疏，對各個像素進行分類，沒有考慮到像素之間的關系，缺乏空間統一性，導致其對圖像的細節不夠敏感，分割圖像的邊緣不清晰，因此，其分割性能指標較差。UNet和UNet++網絡結構較為簡單，定位準確性和獲取上下文信息不可兼得，圖像的分割邊緣會有鋸齒現象。DeepLab v3+采用編碼器-解碼器進行多尺度信息融合，通過空間金字塔方式實現不同分辨率下的池化操作，豐富上下文信息，采用膨脹卷積進行特征圖抽取；FastFCN采用JPU替代膨脹卷積，而HRNet v2采用并行多分辨率子網方式提取特征，在整個過程中都保存高分辨率，在并行的多分辨率子網之間反復交換信息，進行多尺度融合，高分辨率特征與低分辨率特征之間相互增強。HRNet v2+OCR在HRNet v2的基礎上顯式增強了物體信息，葉片提取的效果最好。

表3 各語義分割算法分割精度及模型性能比較Tab.3 Comparison of segmentation accuracies and model performances of these semantic segmentation algorithms

圖12 葡萄葉片分割結果對比Fig.12 Comparison of grape leaf segmentation results

根據以上結果能夠判斷HRNet v2+OCR具有良好的分割效果，對于葡萄葉片的提取最接近真實值，能夠滿足自然環境下復雜背景的葡萄葉片分割的要求。但由于輸入深度學習的圖像分辨率較低，同時有一些葉片和背景或病斑和背景較為接近，邊界較為模糊，導致葉片區域和背景區域難以分割。但HRNet v2+OCR的分割精度已經可以滿足后續葡萄霜霉病病斑提取的條件。圖12展示了幾種典型葡萄葉片在HRNet v2+OCR-W48、HRNet v2-W48、DeepLab v3+- ResNet101、FCN8s-VGG16、FastFCN- ResNet101、UNet和UNet++ 7個模型上的分割結果，可以看出HRNet v2+OCR-W48、HRNet v2-W48、DeepLab v3+- ResNet101和FastFCN- ResNet101分割邊界清晰，而FCN8s-VGG16、UNet和UNet++分割邊緣較模糊，分割結果丟失一些細節，背景圖像存在分割錯誤的現象。在葡萄葉片和背景較為清晰的圖12d和圖12e上HRNet v2+OCR-W48、HRNet v2-W48、DeepLab v3+- ResNet101和FastFCN- ResNet101模型表現都比較好，分割出的葉片和真實葉片都比較接近，HRNet v2-W48和DeepLab v3+- ResNet101會有少量背景誤分割為葉片的碎片區域。在葉片存在光照不均的圖12a、12b、12c上，HRNet v2+OCR-W48、HRNet v2-W48、DeepLab v3+- ResNet101和FastFCN- ResNet101模型在陰影區域、強光區域均出現不同程度的分割異常，光線變化對葡萄葉片區域分割存在較大干擾，DeepLab v3+- ResNet101模型在圖12b存在將亮度較高的葉片區域劃分為背景區域。FastFCN- ResNet101的邊緣較為光滑，HRNet v2+OCR-W48、HRNet v2-W48和DeepLab v3+- ResNet101分割邊緣比較銳利和真實葉片的邊緣比較接近。從葡萄葉片分割圖可以看出，HRNet v2+OCR-W48對光照不均的葉片有較好的適應性，同時在葉片分割邊緣與實際葡萄葉片邊緣較為接近，在葡萄葉片分割效果上HRNet v2+OCR-W48模型表現最好。

2.2 葡萄霜霉病分級結果與分析

采用人工分割的葡萄葉片圖像作為葡萄霜霉病病斑分割算法的輸入，對葡萄霜霉病病斑分割算法進行評估。

混淆矩陣是一種精度評價的標準格式，利用混淆矩陣可以直觀地估計模型的分類精度，所有正確的預測都在對角線上，所有錯誤的預測都不在對角線上。對角線上的圖像誤差為0，對角線兩側預測誤差較小，距離對角線越遠誤差越大。采用混淆矩陣可以直觀顯示病斑提取算法的精度以及誤差信息。葡萄霜霉病分級混淆矩陣如圖13所示，從混淆矩陣可以看出病斑分級結果大多數都分布在對角線和對角線兩側，病斑分割結果較好。葡萄霜霉病分級結果如表4所示，正面葉片、反面葉片和正反面葉片的PDGACC分別為53.55%、76.11%和65.25%，病害等級誤差小于等于2級時的PDGACC分別為89.06%、97.86%和93.62%，分級誤差分別為0.85、0.38和0.60，成功實現了自然環境復雜背景下葡萄霜霉病分級。葡萄霜霉病分級方法反面表現效果優于正面，和人工觀察預期相符，正面病斑邊界比反面邊界更加模糊，同時反面病斑顏色較為單一，容易辨識。

圖13 葡萄霜霉病病斑分級Fig.13 Grading of grape downy mildew spots

表4 葡萄霜霉病分級算法評價結果Tab.4 Evaluation of grape downy mildew grading algorithms

不同病害等級分級差異如表5所示，葡萄霜霉病病斑分割算法對于不同病害等級的葡萄霜霉病表現有差異，在正面和反面的3級和5級都表現較好，3級和5級的正面和反面的病斑都處于發病初期階段，病斑分界線清晰且病斑和周圍葉片對比度較強，因此PDGACC較高；在正面和反面的1級都表現較差，1級的指標為病斑面積占比0～5%，聚類算法會出現將少量葉片區域和病斑區域聚為一類或者隨機森林算法將少量葉片區域誤分割為病斑區域，會被分級為3級，PDGACC較低；正面5級、7級和9級霜霉病發病進入中后期，葉片顏色變化較大，會引起葉片周圍區域發生異常，PDGACC低于反面5級、7級和9級的葉片。

從圖14可以看出，當葉片光線均勻或者邊界清晰時，算法可以將絕大多數病斑區域提取出來，在病斑邊緣處可能出現少量分割誤差，分割效果較好。當光線不均勻時，或者出現強光陰影時，算法分割會出現異常，算法對強光和陰影較為敏感。

2.3 葡萄霜霉病分級融合評價

采用語義分割算法聯合葡萄霜霉病斑提取算法實現葡萄霜霉病檢測分級，語義分割算法采用HRNet v2+OCR-W48算法。因為HRNet v2+OCR-W48輸出掩膜圖像的尺寸較小，直接通過輸出掩膜圖像求取ROI圖像信息量較小，病斑提取效果較差。本研究采用像素尺寸變換的方式進行處理，使得進行病斑提取的圖像分辨率較高，提取信息更多，結果如表6所示。

表5 不同病害等級的分級結果Tab.5 Grading results of different disease degrees

圖14 葡萄霜霉病病斑分割結果Fig.14 Results of grape downy mildew spot segmentation

從表6和表4可以看出，在葡萄霜霉病分級上，進行像素尺寸變換策略的PDGACC略低于直接采用人工分割的PDGACC。從表6可以看出，進行像素尺寸變換的方式較好，正面、反面和正反面的PDGACC分別為52.59%、73.08%和63.32%，病害等級誤差小于等于2級時的PDGACC分別為88.67%、96.97%和92.98%；較未進行像素尺寸變換的效果有明顯提升，正面、反面和正反面的PDGACC分別提升7.29、22.64、15.35個百分點，病害等級誤差小于等于2級時的PDGACC分別提升4.41、8.38、6.48個百分點；像素尺寸變換的方式在反面表現優于正面；像素尺寸變換的方式對PDGACC提升高于病害等級誤差小于等于2級時的PDGACC。

表6 葡萄霜霉病病斑分割算法評價結果Tab.6 Evaluation of spot segmentation algorithms of grape downy mildew

采用語義分割并進行像素尺寸變換聯合葡萄霜霉病病斑提取算法結果與直接采用人工劃分的葡萄葉片ROI圖像差別較小，準確度略低于直接采用人工劃分的葡萄葉片ROI圖像。從圖15可以看出，采用語義分割的葡萄葉片邊緣較不清晰，導致病斑在葉片邊緣區域存在異常劃分；當語義分割異常時，病斑分割會產生異常，可能會出現將土壤劃分為病斑區域造成葡萄霜霉病分級錯誤。而未進行像素尺寸變換方式的病斑分割精度較差，這種方式得到的葡萄葉片圖像分辨率較低，采用K-means聚類算法將葡萄葉片分解為子區域圖像時，分解的子區域圖像存在病斑和葉片區分不開的現象；同時由于像素量較少，病斑和葉片邊界更加不清晰，造成分級錯誤。

圖15 葡萄霜霉病病斑融合分割結果Fig.15 Results of segmentation fusion of grape downy mildew spots

3 結論

(1)考慮到實際果園環境的復雜性，采用HRNet v2+OCR算法構建了葡萄葉片提取模型，能夠較好地分割實際果園環境下的葡萄葉片，比其他常見語義分割網絡的識別準確性上都有一定的提高，該模型在W48主干網絡基礎上的準確率為98.45%，平均交并比為97.23%。

(2)考慮到霜霉病病斑的特點，設計了一種基于K-means和隨機森林算法的葡萄霜霉病病斑分割算法，將無法直接標注病斑區域的圖像分解為若干子區域圖像進行有監督學習，只需要標注少量子區域圖像即可以完成病斑提取，正面葉片、反面葉片和正反面葉片的PDGACC分別為53.55%、76.11%和65.25%，病害等級誤差小于等于2級時正面葉片、反面葉片和正反面葉片的PDGACC分別為89.06%、97.86%和93.62%，成功實現了自然環境復雜背景下葡萄霜霉病病斑提取。

(3)在融合葉片提取和病斑提取方法過程中，設計一種像素尺寸變換策略，實現將小尺寸圖像還原到原始尺寸，讓病斑分割算法有更多的信息和更高的分辨率，同時還設計了一種葡萄霜霉病病害分級誤差的評價指標。采用HRNet v2+OCR模型聯合葡萄霜霉病斑提取算法，同時進行像素尺寸變換策略時葡萄霜霉病分級正面、反面和正反面的PDGACC分別為52.59%、73.08%和63.32%，病害等級誤差小于等于2級時的PDGACC分別為88.67%、96.97%和92.98%。