基于圖像玉米莖稈位置標(biāo)記方法的研究

廖思洋,譚 峰

(1.黑龍江八一農(nóng)墾大學(xué),黑龍江 大慶 163000;2.黑龍江農(nóng)墾職業(yè)學(xué)院,哈爾濱 150000)

0 引言

根據(jù)國(guó)家統(tǒng)計(jì)局2022年12月12日發(fā)布數(shù)據(jù),2022年全國(guó)糧食總產(chǎn)量達(dá)到68 653萬t,其中玉米產(chǎn)量27 720.3萬t,占全國(guó)糧食總產(chǎn)量比例為40.4%,在小麥、大豆、玉米、水稻等主要糧食作物中,玉米產(chǎn)量最高,穩(wěn)定玉米生產(chǎn)可以為穩(wěn)定國(guó)家糧食安全做出貢獻(xiàn)[1-2]。隨著信息技術(shù)發(fā)展,為提高玉米產(chǎn)量,精準(zhǔn)農(nóng)業(yè)被用于玉米的農(nóng)業(yè)生產(chǎn)環(huán)節(jié),與傳統(tǒng)生產(chǎn)方式相比,精準(zhǔn)農(nóng)業(yè)在節(jié)約資源的同時(shí),可以利用計(jì)算機(jī)視覺結(jié)合機(jī)器學(xué)習(xí)對(duì)玉米秧苗莖稈位置進(jìn)行標(biāo)記,有利于生產(chǎn)作業(yè)過程中對(duì)玉米秧苗的保護(hù),實(shí)現(xiàn)高效和安全生產(chǎn)[3-4]。玉米種植過程中存在諸多機(jī)械作業(yè),用于播種、除草和施肥[5-6],作業(yè)過程中要防止對(duì)玉米莖稈造成損傷,通過精準(zhǔn)農(nóng)業(yè)對(duì)秧苗精準(zhǔn)定位保護(hù),可有效提升產(chǎn)量。

計(jì)算機(jī)視覺是模仿人眼對(duì)事物的觀察識(shí)別,讓計(jì)算機(jī)可以精準(zhǔn)獲取目標(biāo)事物的特征數(shù)據(jù),結(jié)合人工智能理論知識(shí),實(shí)現(xiàn)圖像識(shí)別技術(shù)[7]。隨著深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的運(yùn)用,可進(jìn)一步提高圖像識(shí)別的準(zhǔn)確度。深度學(xué)習(xí)可通過手動(dòng)標(biāo)記目標(biāo)特征數(shù)據(jù)來進(jìn)行訓(xùn)練模型,在玉米種植過程中,利用深度學(xué)習(xí)技術(shù)可以分割作物與環(huán)境背景,但需要建立大量數(shù)據(jù)集樣本、花費(fèi)時(shí)間手動(dòng)標(biāo)記特征位置[8-9]。機(jī)器學(xué)習(xí)是研究怎樣使用計(jì)算機(jī)實(shí)現(xiàn)人類學(xué)習(xí)活動(dòng),在計(jì)算機(jī)視覺的基礎(chǔ)上,通過選擇數(shù)據(jù)集并建立模型進(jìn)行訓(xùn)練,提取目標(biāo)特征數(shù)據(jù),通過使用不同的訓(xùn)練數(shù)據(jù)集對(duì)比,改善模型預(yù)測(cè)的準(zhǔn)確性[10-11]。工業(yè)領(lǐng)域已經(jīng)廣泛采用基于計(jì)算機(jī)視覺識(shí)別的人工智能圖像處理技術(shù),在農(nóng)作物種植和農(nóng)產(chǎn)品加工與檢測(cè)領(lǐng)域也開始應(yīng)用[12-13]。

綜上所述,利用圖像處理技術(shù)自動(dòng)化標(biāo)記目標(biāo)作物,實(shí)現(xiàn)視覺避障和精準(zhǔn)作業(yè)[14-15],由于玉米秧苗莖稈和葉片交疊較少,以玉米秧苗莖稈為檢測(cè)對(duì)象,通過對(duì)莖稈部分的特征提取,獲取玉米莖稈的位置信息并進(jìn)行圖像標(biāo)記,可為保護(hù)玉米秧苗的田間作業(yè)提供參考。

1 材料與方法

1.1 試驗(yàn)設(shè)備和材料

采用CMOS相機(jī)對(duì)田間玉米秧苗圖像進(jìn)行采集,參考玉米種植過程中除草、施肥等機(jī)械作業(yè)時(shí)間,選擇4～6葉期玉米秧苗作為觀測(cè)對(duì)象[16-17]。為保證拍攝圖像內(nèi)包含一株秧苗,拍攝角度約60°,相機(jī)高度為高于玉米莖稈底部約60 cm。種植玉米品種為龍高L2,株間距約30 cm,行間距約70 cm。為保證工況接近,在圖像采集過程中,壟間搭建滿足高度要求的腳架輔助拍攝[18]。為便于驗(yàn)證準(zhǔn)確率,通過軟件將采集圖像尺寸統(tǒng)一處理為720×480(單位:像素),分別識(shí)別100株玉米莖稈的特征數(shù)據(jù)并標(biāo)記位置信息,從中選取20株標(biāo)記結(jié)果進(jìn)行效果評(píng)估。

1.2 圖像處理與識(shí)別

對(duì)采集到的樣本圖像進(jìn)行處理,實(shí)現(xiàn)對(duì)玉米秧苗的識(shí)別。總體流程包括圖像預(yù)處理、圖像二值化、形態(tài)學(xué)處理構(gòu)建連通域等,確定最大連通域?yàn)橛衩籽砻鐓^(qū)域。

1.2.1 圖像預(yù)處理

由于不同植株生長(zhǎng)角度不同,自然光照射使部分樣本圖像局部曝光過大,原始圖像會(huì)摻雜噪聲信息,對(duì)圖像進(jìn)行高斯濾波去噪。為簡(jiǎn)化數(shù)據(jù)處理過程,利用加權(quán)平均值法對(duì)彩色圖像進(jìn)行灰度化處理,再通過直方圖均衡進(jìn)一步提高圖像對(duì)比度[19]。

1.2.2 圖像二值化

本文選用最大類間方差法(Otsuthreshold method,OTSU)對(duì)圖像進(jìn)行二值化處理,實(shí)現(xiàn)玉米秧苗與土地背景的圖像分割。

設(shè)樣本圖像的灰度值有k級(jí),且灰度值為i的像素有ni個(gè),則該幅圖像像素總個(gè)數(shù)為N,灰度值是i的概率為pi,對(duì)圖像進(jìn)行分割時(shí),選用T作為閾值,可以把圖像中的玉米秧苗與背景土地分割開來,其中秧苗區(qū)域的灰度值范圍在[1,T],背景區(qū)域的灰度值在(T,k],則T為閾值的圖像灰度均值為

(1)

玉米秧苗區(qū)域所占比例為

(2)

玉米秧苗區(qū)域灰度平均值為

(3)

土地背景區(qū)域所占比例為

(4)

土地背景區(qū)域灰度平均值為

(5)

圖像灰度平均值為

μ=ω0(T)μ0(T)+ω1(T)μ1(T)

(6)

則圖像中玉米秧苗與土地背景兩者之間方差為

(7)

則閾值T的取值為

(8)

其中,δ2(T)是玉米秧苗與土地背景的方差函數(shù),T為灰度值從0到最大值遍歷時(shí),使δ2(T)取得最大值的閾值。

1.2.3 形態(tài)學(xué)處理構(gòu)建連通域

經(jīng)過預(yù)處理和圖像分割,仍帶有一些難以去除的噪聲信息,這些噪聲經(jīng)過二值化處理,最終表現(xiàn)形式有小斑點(diǎn)和線條,所以應(yīng)用形態(tài)學(xué)對(duì)二值化圖像進(jìn)一步處理,形態(tài)學(xué)處理算法大體上有四種[20]。

膨脹運(yùn)算,將目標(biāo)區(qū)域擴(kuò)大,可以用來對(duì)分割后的空洞較大的圖像進(jìn)行填充,表達(dá)式如下

(9)

腐蝕運(yùn)算,圖像內(nèi)收,消除邊界點(diǎn),去除無價(jià)值目標(biāo)點(diǎn),表達(dá)式如下

A?B={x|(B)x?A}

(10)

開運(yùn)算,先腐蝕再膨脹的運(yùn)算,表達(dá)式如下

A·B=(A?B)⊕B

(11)

閉運(yùn)算,先膨脹再腐蝕的運(yùn)算,表達(dá)式如下

A·B=(A⊕B)?B

(12)

經(jīng)形態(tài)學(xué)處理后,對(duì)線條和空洞進(jìn)行有效填充,對(duì)玉米秧苗相近目標(biāo)的區(qū)域進(jìn)行連接,構(gòu)建連通域,以最大連通域作為玉米秧苗區(qū)域。

1.3 玉米莖稈位置標(biāo)記

經(jīng)過灰度化、去噪、圖像二值化處理和形態(tài)學(xué)處理后,得到玉米秧苗和土地背景分割明顯的圖像,該文選用全局投影法對(duì)玉米莖稈根部的像素點(diǎn)坐標(biāo)進(jìn)行位置標(biāo)記。假設(shè)一個(gè)m×n的圖像f(x,y),全局投影法是將圖像分別在橫向和列向進(jìn)行求和,得到X軸和Y軸的和向量g(x)和g(y),運(yùn)作原理如圖1 所示。

圖1 投影法原理圖

其中向量g(x)、g(y)可以表示為

(13)

(14)

其中x取值為[1,n],y取值為[1,m]。具體步驟如下:

1)在列向進(jìn)行投影,用G來表示投影結(jié)果,G所包含的數(shù)值格式就是這幅圖像的橫向坐標(biāo)

(15)

2)對(duì)玉米秧苗圖像進(jìn)行列向投影,投影的一組數(shù)據(jù)從左到右依次進(jìn)行遍歷,找到最大值對(duì)應(yīng)的點(diǎn),就是玉米莖稈根部的橫坐標(biāo)x1。

3)對(duì)步驟2中求得坐標(biāo)X所對(duì)應(yīng)列的像素點(diǎn),從上到下一次進(jìn)行遍歷,找到最后數(shù)值為最小值的點(diǎn),這個(gè)點(diǎn)對(duì)應(yīng)的就是玉米莖稈根部的縱坐標(biāo)y1。最后由玉米莖稈根部坐標(biāo)(x1,y1)實(shí)現(xiàn)莖稈位置標(biāo)記。

2 結(jié)果與分析

通過MATLAB編程實(shí)現(xiàn)上述玉米秧苗圖像處理方法,并對(duì)玉米莖稈位置進(jìn)行標(biāo)記,抽取20株作為樣本進(jìn)行人工標(biāo)記,與系統(tǒng)標(biāo)記結(jié)果進(jìn)行對(duì)比。軟件環(huán)境為MATLAB R2016a。

2.1 圖像處理與識(shí)別結(jié)果

對(duì)圖像進(jìn)行加載,進(jìn)行高斯濾波后可較好剔除曝光噪聲的干擾,經(jīng)灰度化處理利于后續(xù)進(jìn)一步識(shí)別處理。灰度化處理結(jié)果如圖2所示。

圖2 灰度化處理結(jié)果

應(yīng)用Otsu算法計(jì)算閾值,進(jìn)行圖像二值化處理,經(jīng)觀察,莖稈根部信息進(jìn)行了完整保留,且莖稈根部圖像清晰,最大連通域較為明顯。二值化處理結(jié)果如圖3所示。

對(duì)玉米秧苗二值化圖像進(jìn)行形態(tài)學(xué)處理,發(fā)現(xiàn)經(jīng)過處理的莖稈部分信息更加突出,且背景區(qū)域小斑點(diǎn)和小區(qū)塊等噪聲基本完全消除。但玉米莖稈根部與土壤相接部分存在一定的信息損失,經(jīng)觀察確認(rèn),莖稈根部靠近土壤部分顏色與土壤接近,在進(jìn)行二值化處理后背景信息被分割。形態(tài)學(xué)處理后結(jié)果如圖4所示。

圖4 形態(tài)學(xué)處理結(jié)果

2.2 玉米莖稈位置標(biāo)記結(jié)果

2.2.1 標(biāo)記結(jié)果

田間試驗(yàn)均為晴天,圖像采集角度約為60°,列向坐標(biāo)向量圖像位置與實(shí)際位置向量相差約30°,已知樣本圖像尺寸為720×480(單位:像素),可計(jì)算系統(tǒng)標(biāo)記位置與手動(dòng)標(biāo)記位置的實(shí)際位置誤差。隨機(jī)選取20組樣本進(jìn)行玉米莖稈根部系統(tǒng)標(biāo)記,與手動(dòng)標(biāo)記坐標(biāo)對(duì)比,如表1所示。

表1 位置標(biāo)記數(shù)據(jù)對(duì)比統(tǒng)計(jì)表

對(duì)20組數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,得到橫向誤差平均值為7.55,標(biāo)準(zhǔn)差平均值為1.05%,列向誤差平均值10.85,標(biāo)準(zhǔn)差平均值為2.26%,實(shí)際誤差平均值為12.33。由此可知,通過全局投影法對(duì)玉米莖稈根部進(jìn)行位置標(biāo)記后,與實(shí)際莖稈根部坐標(biāo)存在較小偏差,可為通過玉米莖稈定位的田間作業(yè)提供參考。

2.2.2 誤差分析

采用傳統(tǒng)圖像處理技術(shù)對(duì)玉米秧苗進(jìn)行識(shí)別,位置標(biāo)記是由二值化處理后的像素?cái)?shù)據(jù)進(jìn)行投影求和,二值化結(jié)果的優(yōu)劣直接影響最終標(biāo)記坐標(biāo)準(zhǔn)確率,該研究二值化處理后,莖稈根部存在信息缺損,其主要原因在于田間采集圖像均為晴天,光照產(chǎn)生的葉片陰影會(huì)影響灰度化處理的莖稈圖像效果,使得二值化處理時(shí),與土壤顏色接近部分分割去掉,導(dǎo)致圖像信息丟失。所以減少光照陰影影響或采取更好的圖像分割算法,識(shí)別效果會(huì)更好。

3 結(jié)論

針對(duì)田間作業(yè)過程中對(duì)玉米莖稈位置的需求,提出了一種基于圖像處理技術(shù)的玉米莖稈位置標(biāo)記方法。通過對(duì)彩色圖像進(jìn)行去噪、灰度化、增強(qiáng)后去除陰影、曝光等噪聲信息,再采用二值化處理獲取玉米秧苗植株所在區(qū)域,利用全局投影法得到玉米莖稈根部的圖像坐標(biāo),實(shí)現(xiàn)莖稈位置標(biāo)記。試驗(yàn)結(jié)果表明,該方法誤差較小,可為需要采用玉米莖稈定位的田間作業(yè)提供參考。部分誤差由于二值化處理后出現(xiàn)圖像信息丟失,之后對(duì)玉米秧苗區(qū)域進(jìn)行更精確識(shí)別定位,效果會(huì)更好。