基于圖像分塊及重構的菠菜重疊葉片與雜草識別

苗榮慧，楊 華，武錦龍，劉昊宇

基于圖像分塊及重構的菠菜重疊葉片與雜草識別

苗榮慧1，楊 華1，武錦龍1，劉昊宇2

（1. 山西農業大學信息科學與工程學院，太谷 030801；2. 山西農業大學農學院，太谷 030801）

針對重疊葉片在識別過程中存在識別率低、形狀特征失效等問題，該研究提出一種基于圖像分塊及重構的方法，實現菠菜重疊葉片雜草識別。采用超綠模型將菠菜RGB圖像進行灰度化得到綠色植被前景圖像。針對重疊葉片形狀特征失效問題，采用圖像分塊方式得到不同大小的圖像塊，并提取圖像塊中作物和雜草的顏色特征、局部二值模式（local binary pattern，LBP）紋理特征、分形盒維數共78維特征，構造支持向量機（support vector machine，SVM）分類器完成圖像塊的分類識別。該研究提出圖像塊邊緣擴充和投票窗口機制得到重構圖實現圖像塊分類結果可視化。試驗結果表明，該研究提出的方法平均識別率達到83.78%，高于K最近鄰法（K-Nearest neighbor，KNN）、決策樹法等，可以實現重疊葉片的雜草識別，從而為智能除草機的研制提供理論依據。

圖像分塊；圖像重構；重疊葉片雜草識別；顏色特征；LBP紋理特征；分形盒維數

0 引 言

雜草是影響作物生長的重要因素之一，會與作物爭肥爭水，增加病蟲害的傳播，影響作物產量，因此探索有效的雜草去除策略對于保證作物高產具有重要意義[1]。當前，常用的除草方式仍然以除草劑等化學試劑為主，大范圍使用除草劑不僅會對人體造成致癌、致畸等傷害，而且會破壞土地生態系統，因此，如何避免大范圍、無目的的噴灑農業顯得尤為重要[2]。隨著自動化技術、計算機技術的不斷發展，田間的大規模機械化操作已逐步取代傳統的人工操作，使得有選擇性的農藥噴灑變成可能[3]。實現智能化雜草識別能夠有效指導農藥噴灑、減少農藥浪費，并且可以提高作物產量、減少環境污染[4]。

目前，大多數作物與雜草的識別研究都是利用兩者的葉片信息進行識別，通過提取葉片的顏色特征、形狀特征和紋理特征等達到識別的目的[5]。喬永亮等[6]通過對玉米和雜草進行多光譜成像，提取葉片11個形態特征以及紋理特征，進行主成分分析并利用構造支持向量機（support vector machine，SVM）進行分類識別，其準確率可以達到85%。鄧向武等[7]通過提取顏色、形狀、紋理等101維特征，采用雙隱含層和單隱含層的深度置信網絡進行識別，在節點組合優化最優時，識別率可達到91.13%。Grinblat等[8]采用擊中擊不中變換提取葉脈結構，利用卷積神經網絡進行識別，取得了良好的試驗結果。以上文獻中大多數研究以單個葉片為識別目標，識別難度較低，但在實際雜草識別中，針對葉片重疊遮擋問題的研究相對較少，現有算法對重疊遮擋葉片的識別率不高；同時，針對重疊葉片圖像識別，形狀特征已失去有效性，需從其它特征入手。

1 材料與方法

為解決上述問題，本研究以菠菜重疊葉片雜草圖像為研究對象，拍攝圖像包括土壤和綠色植被兩部分，首先采用超綠模型實現圖像灰度化，然后采用自適應閾值分割方法、形態學方法完成前景綠色植被部分提取；為了充分利用局部圖像信息，采用圖像分塊方式將圖像分割成不同大小的圖像塊；分別提取圖像塊中作物和雜草的顏色特征、局部二值模式（local binary pattern，LBP）紋理特征、分形盒維數等特征，構造分類特征向量；采用邊緣擴充和投票窗口機制方式重構圖像塊，實現圖像的可視化。本研究通過試驗研究模型參數優化選擇，為后續智能除草機的研制提供理論依據。

1.1 圖像獲取

本研究試驗圖像來源于山西農業大學農業試驗田，拍攝時間為2018年10月至11月，采集生長周期為21～36 d的菠菜圖像。試驗田的菠菜屬春季菠菜，常見的伴生雜草有藜科的灰菜、菊科的刺兒菜等。為了充分考慮自然場景的復雜性，分別選擇晴天、陰天等進行圖像采集。為了使得獲取圖像具有代表性，采集具有部分重疊區域的菠菜與雜草圖像，采集方式為俯拍，拍攝距離為20～40 cm。采集設備為Canon EOS 80D數碼相機，圖像分辨率為4 608×3 456像素。共采集具有菠菜和灰菜重疊區域的圖像55幅，用于后續雜草識別模型的構建。試驗樣本圖像如圖1所示。

a. 樣本圖像1b. 樣本圖像2 a. Sample image 1b. Sample image 2

1.2 圖像分割及分塊

1.2.1 超綠模型

圖像分割的主要目的在于提取圖像中感興趣的前景部分，去除對圖像識別無用的背景部分。在利用可見光識別雜草圖像的技術中，由于土壤為褐色，作物和雜草為綠色，兩者顏色差異較大，需要首先將綠色植被部分從土壤背景中提取出來。本研究選取兩種超綠模型[9-10]實現彩色圖像的分割，超綠模型提取綠色植物圖像效果較好，陰影、根莖和土壤圖像等均能較明顯的被抑制，綠色植被區域更為突出，該方法是區分背景和綠色植被的有效方法。2種超綠模型如式（1）和式（2）

a. 原圖

a. Original image

b. 分割結果b. segmentation resultc. 分割結果c. segmentation result

1.2.2 圖像分塊

由于綠色植被部分包括作物與雜草，為了充分發揮作物與雜草局部特征優勢，顯著提升雜草識別準確率，本研究采用分塊方式將圖像分成不同子塊，分別對每個子塊進行特征提取，從而達到重疊葉片雜草識別的目的。為了保證分塊的完整性，需將原始圖像歸一化為256×256像素大小的圖像。同時，為了增強圖像塊的魯棒性，需將圖像分割成大小相同且具有重疊區域的圖像塊。分塊的大小將直接影響試驗結果，分塊越細，越能描述子塊的細節信息，但特征提取的維數會呈指數增長，從而增加算法的時間復雜度，同時，過細的分塊會使得圖像過于稀疏而丟失統計特性，引發過擬合現象，降低識別率[11]。針對上述問題，本研究探究了雜草識別問題下的圖像最優分塊方法，以平衡識別時間與識別準確率之間的矛盾。圖像分塊過程如圖3所示，假設將圖像分割成大小為128×128像素的圖像子塊，每個相鄰子塊之間的重疊率為50%，則原始圖像可被分為3×3共9個子塊。

圖3 圖像分塊過程

采用人工標注的方式為每個圖像子塊制作標簽，標簽分為3類：黑色背景標記為0，菠菜葉片標記為1，雜草葉片標記為2。雜草識別的研究旨在指導農藥噴灑，在人工制作標簽時需考慮實際應用場景，由于除草劑等化學農藥具有嚴重的副作用，在標注時需要對識別誤判進行規范化，即允許將雜草誤判成農作物，但堅決不允許將農作物誤判為雜草。具體標注過程依據表1原則[12]。

表1 人工標注原則

1.3 特征提取

由于研究對象為重疊葉片圖像，在識別過程中形狀特征無法實現有效提取，為提高識別的準確性和有效性，本研究提取圖像塊的顏色特征、紋理特征、分形維數向量等構造菠菜和雜草的特征向量。

1.3.1 顏色特征

顏色特征是基于圖像像素級的特征，具有旋轉、尺度和平移不變性等優點[13]。盡管通過超綠模型能夠較好地實現前景和背景的分割，但菠菜與雜草都為綠色不易區分。HSV（色調，飽和度，亮度）顏色空間模型更適合人眼視覺的顏色表達[14]，本研究采用HSV顏色空間提取綠色植被的顏色特征。RGB顏色空間轉換為HSV顏色空間如式（3）

1.3.2 局部二元模式（LBP）特征

局部二元模式[16]（local binary pattern，LBP）是圖像識別應用較為廣泛的紋理特征描述方法，具有原理簡單、計算量小、灰度不變性和旋轉不變性等優點。該方法的基本思想是利用中心像素與相鄰像素之間灰度值之間的差異，生成與之相關的模式代碼，即LBP編碼。為滿足不同尺寸和頻率紋理的需求，Ojala等[17]對基本的LBP算子進行了改進，用圓形鄰域代替正方形鄰域，得到圓形LBP算子，如式（4）

1.3.3 分形維數向量

1.4 基于構造支持向量機（SVM）的重疊葉片雜草識別模型

支持向量機建立在統計學習理論和結構風險最小原理基礎上，具有較強的高維樣本處理能力[21]。由于研究中用于特征提取的圖像為去除自然背景的圖像，背景與綠色植被區域區別明顯，在實際識別過程中識別率基本可達100%，在特征提取時可將完全為黑色背景的圖像塊去除，減少運算量，也達到降維的目的。最終，可將本研究識別問題簡化為雜草和農作物的二分類問題，構造支持向量機（support vector machine，SVM）二分類器。采用交叉驗證（cross-validation，CV）方法進行試驗驗證，將樣本數據集隨機劃分為個子集，個子集輪流作為測試集進行模型訓練，取次試驗結果均值，即為最終識別模型的評估結果[22]。

1.5 圖像塊重構

識別結果能夠獲得菠菜和雜草的統計特征，但不夠直觀。為了直觀的顯示分類結果，本研究提出一種基于邊緣擴充和投票窗口機制的圖像塊重構方法。由于原始圖像塊的重疊率為50%，可將原始×具有重疊區域的圖像塊構造為（+1）×（+1）無重疊區域的圖像，圖4為圖像塊重構過程。從圖中可看出，圖像塊分類結果可采用基于2×2的窗口投票機制決定。當前重疊區域分類標簽由四個圖像塊決定，圖像塊的分類標簽為（=0, 1, 2），選擇累計結果最多的類別為當前圖像塊的類別，如果標簽數量相等，則依據識別誤判規范化原則，即允許將雜草誤判成農作物，但堅決不允許將農作物誤判為雜草實現類別判定。邊緣圖像塊的重構結果可通過圖像塊擴充方式構造投票窗口，通過投票機制得到無重疊區域的重構標簽圖，如圖5所示。

注：0、1、2含義見表1，下同。

圖5 圖像塊重構示意圖

2 試驗結果與分析

2.1 圖像分塊

本研究探究了雜草識別問題下的圖像最優分塊方法，以平衡識別時間與識別準確率之間的矛盾。為了充分運用圖像的局部信息，設置分塊重疊率為50%。通過試驗驗證，當分塊大小為64×64像素時，原始圖像可分為7×7=49塊；當分塊大小為32×32像素時，原始圖像可分為15×15=225塊；當分塊大小為16×16像素時，原始圖像可分為31×31=961塊。不同分塊大小如圖6所示。綜合考慮分塊描述信息量、算法的時間復雜度等，本研究選取分塊大小為32×32的結果進行后續研究。

a. 分塊大小為64×64b. 分塊大小為32×32 c. 分塊大小為16×16 a. Block size is 64×64b. Block size is 32×32 c. Block size is 16×16

2.2 特征提取

2.2.1 顏色特征

當分塊大小為32×32像素時，原始圖像可分為15×15=225塊。針對每個圖像塊提取HSV特征，則、、分量分別可以得到1 024維的顏色特征，則每個圖像塊獲得的顏色特征為1 024×3維。為了減少運算量，本研究提取了每個圖像塊、、分量的均值、方差和三階矩特征_mean、_mean、_mean、_var、_var、_var、_third、_third、_third，共9個顏色特征。表2為部分圖像塊顏色特征提取結果。

2.2.2 分形維數特征

表2 顏色特征提取結果

表3 分形維數特征提取結果

2.2.3 局部二元模式（LBP）特征

設置=8，=1，選取8鄰域特征，半徑為1。本研究共獲得59個LBP等價模式類。

本研究采用多種算法提取圖像塊特征，包括：采用HSV顏色空間方法獲得、、分量的9個顏色特征；采用LBP算法提取每個圖像塊的59個LBP特征；采用分形維數方法提取每個圖像塊的10個葉脈特征，共獲得78維的特征向量，為訓練（樣本1 891）和測試（樣本135）識別模型提供良好的試驗數據。

2.3 重疊葉片雜草識別

通過篩選，選取15張菠菜雜草面積占比較大、重疊現象突出的圖像進行研究，通過圖像分塊將每個樣本拓展為225個圖像塊，則特征向量數據維度為3 375×78，去除黑色背景圖像塊，則用于識別的數據為2 026×78。通過多次試驗驗證，特征向量（2 026×78）提取過程的平均耗時66.92 s，在算法實時性方面性能較低。為了驗證分類器的性能，將一副圖像生成的子圖像塊作為驗證集，剩余圖像的子圖像塊作為訓練集，采用交叉驗證方式評判分類識別模型。通過試驗驗證，核函數為徑向基核函數時，效果最優。圖7為部分圖像ROC（receiver operating characteristic）曲線和對應的AUC（area under curve）值，圖中橫坐標為假正類率（false positive rate），代表分類器預測的正類中實際負實例占所有負實例的比例，縱坐標為真正類率（true positive rate），代表分類器預測的正類中實際正實例占所有正實例的比例。通過統計得出，分類器的平均AUC值可達到0.983 3，說明分類器性能較好。表4為不同分類器的識別結果，從表4中可看出，采用的方法平均準確率為83.78%，高于其他分類器，與集成分類算法Adaboost相比，由于Adaboost算法需要足夠的訓練樣本，對于奇異樣本的處理效果劣于SVM的懲罰因子，因此采用SVM的識別準確率更高；在運行時間方面Adaboost集成學習算法為9.34 s，均高于其他分類器。

a. 樣本圖像1 ROC曲線和對應AUC值

2.4 圖像塊重構

圖8為圖像塊重構結果，原始15×15的圖像塊被重構為無重疊區域16×16的圖像塊，圖中背景、菠菜和雜草分別采用不同顏色標注。從圖中可看出，與原始樣本圖相比，重構圖能夠較好地顯示分類結果，說明本研究提出的方法可以較好地實現圖像塊的重構，為圖像識別的可視化提供基礎。

表4 不同分類器識別結果