基于深度學習的多特征融合雜草識別仿真

王子曼,楊學全

(河北農業大學信息科學與技術學院,河北 保定 071000)

1 引言

雜草的肆意生長,大大影響了農作物的產量和質量,最常用的辦法就是人工除草或者噴灑除草劑,但這會產生過多的成本費用,同時會污染環境(水土資源),著實不可取。現已逐漸嘗試使用機器人去除農作物間雜草,降低人工成本和污染問題。在除草過程中,需要對雜草進行識別,但是常規識別方法,大多采用顏色、形態等單一特征作為識別對象,在實際的農業生產過程中,葉片遮擋、光照強度以及土壤特征等都會影響識別結果,降低識別精度。

文獻[1]利用圖像分塊與重構對菠菜地中的雜草進行識別。首先,以超綠模型灰度化處理菠菜的原始圖像,通過圖像分類技術獲得大小不同的圖像塊,提取其中菠菜與雜草的顏色和紋理特征;然后,利用支持向量機分類圖像塊,對完成分類的圖像進行識別即可。該方法有效避免了由于葉片重疊造成的誤識別,但是對于與菠菜相似的雜草識別效果并不理想;文獻[2]通過深度卷積神經網絡和顏色遷移對自然光照條件下的雜草進行識別。采集不同光照條件下的農作物與雜草圖片,利用Reinhard算法遷移顏色圖片,降低光照條件對識別效果的影響;通過圖像分割算法對雜草圖片進行灰度化處理,再進行特征提取和分類;最后,利用卷積神經網絡實現雜草識別。該方法同樣無法對與農作物相似的雜草獲取理想的識別效果。

為此,本文提出基于深度學習的多特征融合雜草識別算法,本文方法的主要研究內容及其創新點如下:

1)通過背景分割獲取雜草和農作物圖像,劃分植株葉片,去除干擾部分;

2)針對規則紋理和隨機紋理,選擇灰度共生矩陣(GLCM)和局部二進制模式(LBP)對特征進行分析與處理,并將兩種紋理特征進行融合,可以獲取更完整、全面的雜草圖像紋理特征;

3)充分考慮模型深度對識別效果的影響,構建雜草識別模型,并在模型最底層引入sigmoid函數做回歸計算,避免模型陷入局部最優解,提升識別結果的精準性;

4)仿真驗證了本文方法具有較高的識別精度,不論背景和光照如何變化,都能將雜草葉片與農作物葉片區分開,實現準確識別。

2 雜草圖像獲取及特征提取

2.1 圖像獲取

利用MS4100高分辨率光譜照相機,采集某塊試驗田內的農作物和雜草圖像。為了保證圖像的清晰度,將照相機與地面保持垂直,與樣本的垂直高度[3]保持在50cm左右,獲取完整的樣本圖像。

本文獲取的農作物圖像為玉米幼苗,雜草圖像為隨機生長的刺兒菜、苣荬菜和灰菜三種。包括農作物與雜草在內,獲取的圖像總數量為280幅,其中,包含了單株植物各40幅,共160幅,植物圖像共120幅。為了使圖像具有理想的清晰度,提高雜草識別的精度,將280幅圖像按照640×640的像素進行批量剪裁,去除掉多余的信息,僅保留目標植物即可。

2.2 圖像分割

2.2.1 基于K-means聚類算法的背景分割

通過照相機獲取的圖像中包含了土壤和綠色植物,常常受光照變化影響較大,識別精度較差。因此,本文以綠色植物和土壤顏色相差較大為特征,采用K-means聚類算法對圖像背景進行分割。

K-means聚類算法將數據集劃分成為若干個不同的類別,保證類內數據緊密相連,各個類別之間獨立存在。在Lab顏色空間內引入原始圖像,利用K-means聚類算法進行分割處理。本文首先要分割的目標是綠色植物與土壤,因此將分類類別k設定為2。鑒于綠色植物具有較高的綠色分量,在Lab顏色空間[4,5]內直接對a分量進行聚類即可,完成植物類別目標的選取工作。經過上述分割處理得到的圖像如圖1所示。

圖1 農作物和雜草圖像

其中,圖1(a)為獲取到的原始圖像,通過觀察圖像可以很明顯地看出,葉片之間相互遮擋、伴有光照不均的情況;圖1(b)是土壤經過聚類處理后的效果圖;圖1(c)是綠色植物經過聚類處理后的效果圖[6],觀察圖像可以看出,處理后的圖像葉片分割較為連續,但是圖像中有孔洞的存在,因此需要對圖像作進一步處理。

2.2.2 基于形態學的綠色植物葉片分割

實現背景分割后,接下來要進行綠色植物葉片的分割。綠色植物的葉片尺寸大于莖干的尺寸,綜合考慮之下,本文選擇形態學來實現,過程如下所示:

首先,對上一節圖1(c)中的植物目標進行二值化處理,得到如圖1(d)所示的圖像;然后利用形態學消除孔洞的影響[7],得到如圖1(e)所示的圖像。圖像中依然存在部分非葉片的小面積點,通過設置面積閾值過濾掉這些小面積點即可,最終處理完成的圖像如圖1(f)所示。

2.3 特征提取

部分雜草在顏色與形態上與玉米幼苗存在一定的相似性,因此本文從顏色、形態、紋理三個角度出發,將雜草的多特征進行融合,以便后續的精準識別。

2.3.1 顏色特征分析

顏色特征可以深層次描述雜草圖像的像素特征,經過尺度變化、平移和旋轉后,依然保持不變。本文分析的三種雜草均為綠色,但是三種雜草RGB圖像中的R、G、B顏色分量卻不盡相同,顏色矩[8]可以提取到圖像的顏色分布特征。

將原始RGB顏色空間轉換得到HSV顏色空間,二者同時作為分析圖像顏色特征的依據。鑒于HSV中的V所代表的信息與顏色無關,所以只提取R、G、B、H、S五個分量的一階、二階、三階共計15個顏色矩特征,計算公式如式(1)～(3)所示

(1)

(2)

(3)

式中,Mi1、Mi2、Mi3分別表示顏色特征的一階、二階、三階矩,N代表的是雜草圖像中包含的像素數量,Pij表示在RGB圖像中,第i個顏色通道分量中出現灰度值為j的像素的頻率。

2.3.2 形態特征分析

形態特征可以將雜草的各項形狀參數準確地描述出來,并以適合人類視覺感知系統的方式展現。鑒于雜草種類之間的形態差別,利用7個Hu不變矩特征和4個幾何特征來對其進行提取[9]。幾何特征具體分析如下:

1)圓形度計算公式如式(4)所示

(4)

其中,Formfactor代表的是圓形度;area表示目標的總面積,也就是雜草圖像的像素總數;perimeter代表目標的周長,即雜草最外輪廓的長度值。

2)細長比計算公式如式(5)所示

(5)

其中,Eiongatedness代表的是細長比,thiclcness表示目標最小外接矩寬的值。

3)凹凸度計算公式如式(6)所示

(6)

其中,Convexity代表的是凹凸度,convex＿perimeter表示目標最小凸多邊形的周長。

4)固靠度計算公式如式(7)所示

(7)

其中,Solidity代表的是固靠度,convex＿area表示目標最小凸多邊形的面積。

2.3.3 紋理特征分析

紋理特征可以在空間分布區域內將雜草圖像像素準確地描述出來,并且精準反映雜草類別間的結構周期性變化情況。紋理特征分為規則紋理和隨機紋理兩種,然而傳統方法通常僅對單一紋理特征進行分析,不能獲取完整的特征信息,影響識別效果。針對傳統方法存在的問題,本文選擇灰度共生矩陣(GLCM)和局部二進制模式(LBP),將兩種紋理特征進行融合,更深層次地挖掘到雜草圖像的紋理特征[10]。

1)灰度共生矩陣

在計算之前需要對GLCM進行歸一化處理

(8)

其中,Pφ,d(i,j)代表的是經過歸一化處理后的GLCM,GGLCM(i,j)表示原GLCM值。

(9)

(10)

(11)

(12)

2)LBP特征

LBP在特征提取方面具有實現簡單、計算量小、灰度和旋轉不變形等特性。將(xc,yc)定義為局部區域中心點坐標,以(xc,yc)為中心,分別計算LBP局部區域的規則紋理和隨機紋理

(13)

(14)

式中,gc表示中心點所在區域的灰度值,gp(p=0,1,…,7)表示與中心點附近等距分布的點互相對應的點。

3 基于深度學習的雜草識別模型

深度信念網絡(DBN)是通過將若干個限制玻爾茲曼機(RBM)組合在一起而形成的結構模型,所以二者之間具有相似的結構。在DBN網絡結構中,最重要的兩個參數要屬模型深度和隱含層的節點數,基于此,本文針對二者參數的選擇方法著重進行研究。根據上文提取到的雜草圖像特征信息,DBN網絡結構在這里起到的作用是分類器,據此可構建雜草識別模型。本文主要對三種雜草進行研究,因此DBN模型結構較為簡單,設定輸入向量維度為101維,獲取到的圖像共280幅,因此可形成280個101維樣本空間。

傳統方法沒有充分考慮DBN網絡模型深度對識別結果的影響,導致識別結果不夠精準,針對該問題,本文在進行雜草識別模型構建時,分析模型深度對識別效果的影響:如果模型深度過大,則會導致算法陷入局部最優解,無法實現準確分類;而過小的模型深度,又會導致算法計算不完全[11,12]。依據分析結果,將DBN網絡結構用[輸入層節點數,隱含層節點數,輸出層節點數]的形式進行表達。由于向量維度為101維,所以輸入層內的節點數量設置為101;模型最底層代表的是雜草的種類數量,按照上文描述將其設置為3。為了得到最終精準的識別結果,在模型最底層引入sigmoid函數做回歸計算,輸出結果即為最終的識別結果[13-15]。

sigmoid函數計算公式如式(15)所示

(15)

其中,e代表的是一個自然常數,為固定值,e=2.718281828459045;x代表的是函數系數值。

4 仿真研究

為了驗證本文方法在實際應用中是否能取得理想的雜草識別效果,與引言中提到的圖像分塊與重構和深度卷積神經網絡展開對比仿真。仿真中所用到的圖像均來自于kaggle官網,本文選取了其中的800幅圖像,600幅作為訓練集圖像,剩余200幅為測試集圖像。

4.1 損失函數變化情況

首先,將800幅圖像輸入到DBN模型中進行網絡訓練,對訓練過程中產生的總損失函數變化信息進行采集并記錄,最終對網絡的擬合程度進行綜合評價。圖2為經過100輪的訓練后損失函數數值的變化情況。

圖2 100輪訓練后損失函數變化情況

通過觀察圖2中數據的變化曲線可以看出,經過25輪的訓練,Loss值下降的幅度非常大,這是由于DBN網絡模型中參數的更新速度加快。而到50輪訓練時,Loss值雖說在下降,但是幅度卻變小。在50-80輪的訓練過程中,Loss值下降幅度又稍微變大,在80-100輪訓練中,Loss值逐漸趨勢平穩,到了100輪,Loss值幾乎不再變化,網絡逐漸趨于平穩,由此可以說明本文方法具有理想的穩定性。

4.2 識別結果對比

將200張測試集圖像輸入到DBN網絡模型中進行識別效果的檢驗。為了評價算法識別性能,將評價結果劃分為三級等級標準,分別是:可實現分類準確,對植物的定位非常精準,可分割出植物主體的95%以上,評價為優秀;可以準確分類,但是卻無法實現完全分割,且輪廓邊緣不連續,評價為合格;分類誤差較大,分割不完全且具有較大的偏差,評價為不合格。

將本文方法與圖像分塊與重構和深度卷積神經網絡的識別效果進行對比,對比結果如圖3所示。圖中,黑色框內為算法識別到的雜草圖像,白色框內為識別到的玉米幼苗圖像。

圖3 三種方法識別結果對比

通過觀察圖3可以看出,三種方法都可以識別出雜草,但是本文方法的識別精度最高。觀察圖3(a)三幅圖像,其它兩種方法對雜草的葉片分割都存在不完全的情況,但是本文方法卻可以實現精準分割,將雜草完整地識別出來;圖3(b)受光照不均的影響,其它兩種方法出現了過分割的情況,將較小的農作物葉片誤判斷為雜草,而本文方法依然可以實現有效識別,準確地分割出雜草與農作物。這是由于強光的照射,使得土壤和綠色植物的自身特征發生了細微變化,其它兩種方法難以識別,而本文方法通過對顏色特征、紋理特征的多特征融合識別,實現農作物與雜草的準確分割;圖3(c)中農作物葉片遮擋了部分雜草區域,其它兩種方法都將雜草與農作物識別為一個整體,而本文方法準確地將雜草與農作物分割開來,實現精準識別。這是因為本文方法在進行雜草識別模型構建時,不僅分析了模型深度對識別效果的影響,而且在模型最底層引入sigmoid函數進行回歸計算,提升了輸出結果的準確性,即提升了識別結果的精準性。

綜上所述,即使環境不斷發生變化,本文方法都是將雜草與農作物準確地分割開來,實現精準識別,最終評價結果為優秀。

5 結論

由于傳統方法在對雜草識別時存在較大的誤差,因此,在深度學習的基礎上,通過對雜草圖像多特征融合,實現了準確識別。首先,獲取雜草及農作物圖像,利用K-means算法將雜草從復雜的背景中分割開來,再用形態學將雜草的葉片與土壤分割開;然后,將雜草的顏色、紋理和形態作為多特征進行融合,實現特征提取;最后,利用深度信念網絡實現對雜草的識別。通過將傳統方法與本文方法展開對比實驗,結果表明,本文方法具有較好的識別效果,不管光照條件、背景如何變化,都能將雜草與農作物準確地分割開,實現雜草圖像的精準識別。