顏色空間圖像處理技術(shù)在蔗節(jié)識(shí)別上的應(yīng)用

張圓圓,何永玲,王躍飛,田文慧,李 諺

(欽州學(xué)院 機(jī)械與船舶海洋工程學(xué)院,廣西 欽州 535011)

0 引言

甘蔗是我國(guó)制糖的主要來(lái)源,其制糖壓榨后的蔗渣含有豐富的纖維素,也可作為造紙主要原材料,是農(nóng)業(yè)部的優(yōu)勢(shì)農(nóng)產(chǎn)品之一,其種植區(qū)主要分布在廣西,占全國(guó)總量的60%以上。目前,我國(guó)的甘蔗種植機(jī)械化程度低,而甘蔗種植屬于勞動(dòng)密集型產(chǎn)業(yè),整個(gè)勞動(dòng)過(guò)程存在耗時(shí)、勞動(dòng)強(qiáng)度大等問(wèn)題,因此針對(duì)我國(guó)種植區(qū)域特性,研究小型自動(dòng)化的甘蔗種植機(jī)具有主要意義。

國(guó)內(nèi)研制的甘蔗種植機(jī)主要以實(shí)時(shí)切種為主,該類機(jī)械結(jié)構(gòu)龐大,且需要人工將甘蔗喂入機(jī)器。國(guó)外巴西、澳大利亞等國(guó)家甘蔗種植機(jī)成功的原因主要在于,蔗田從分布、行距、農(nóng)藝上都有利于適用機(jī)械化。日本沖繩和我國(guó)廣西地區(qū)地形相似,因此在甘蔗機(jī)械裝置研發(fā)時(shí)有一定借鑒意義。日本在甘蔗種植上主要以預(yù)切種種植機(jī)為主,所以加快研發(fā)甘蔗預(yù)切種中蔗節(jié)識(shí)別及自動(dòng)切割等系統(tǒng)顯得尤為重要。

機(jī)器視覺(jué)技術(shù)在甘蔗蔗節(jié)識(shí)別上的研究進(jìn)展有：陸尚平等[1,6]提出的機(jī)器視覺(jué)與模糊決策在甘蔗種蔗識(shí)別機(jī)械化中的運(yùn)用;黃亦其、黃體森等[2]提出基于局部均值的甘蔗莖節(jié)識(shí)別;Moshashai K[5]等利用灰度圖像閾值分割的方法對(duì)甘蔗莖節(jié)識(shí)別做了初步探討?；谏鲜鲅芯炕A(chǔ),本文進(jìn)行了基于顏色空間特征提取在甘蔗蔗節(jié)識(shí)別上的應(yīng)用,通過(guò)攝像頭采集的圖像提取顏色特征進(jìn)行灰度處理后,采取進(jìn)一步的濾波算法處理,利用Sobel算子求取蔗節(jié)邊緣輪廓,提出邊緣擬合、灰度值擬合和中值決策的方案進(jìn)一步計(jì)算出蔗節(jié)中間位置的切割點(diǎn),對(duì)甘蔗種植機(jī)中預(yù)切種的自動(dòng)化設(shè)計(jì)具有很好的實(shí)現(xiàn)意義。

1 視覺(jué)識(shí)別系統(tǒng)

甘蔗的蔗節(jié)識(shí)別與檢測(cè)以圖像信息為研究對(duì)象,通過(guò)攝像頭模擬人眼,完成蔗節(jié)的莖和節(jié)之間的識(shí)別[3]。本實(shí)驗(yàn)研究采用USB驅(qū)動(dòng),VGA120幀的高清攝像頭將獲取的甘蔗圖像信息經(jīng)過(guò)預(yù)處理進(jìn)行特征提取,然后將切割點(diǎn)的信息發(fā)送給控制器PLC,驅(qū)動(dòng)機(jī)械手完成抓取甘蔗、切斷器動(dòng)作,具體流程如圖1所示。將采集的甘蔗圖像信息傳輸?shù)接?jì)算機(jī),通過(guò)計(jì)算機(jī)軟件的圖像處理、識(shí)別,將信息發(fā)送至切斷器,使切斷器刀口移動(dòng)到分割位置[4],即莖節(jié)處切斷;然后,切斷器繼續(xù)移動(dòng)至下一處切斷點(diǎn),完成一根甘蔗的切割后,繼續(xù)下一根甘蔗的處理。

2 圖像處理

2.1 圖像的處理平臺(tái)

采集圖像的設(shè)備主要由USB接口的攝像頭作為硬件,采集幀數(shù)是120幀F(xiàn)PS。圖像的處理軟件基于一種開(kāi)源軟件OpenCV,基本模塊如圖2所示。OpenCV整體有5個(gè)模塊構(gòu)成,圖2中列出了常用的4個(gè)模塊。OpenCV兼容性較強(qiáng),原因是基于C/C++語(yǔ)言編寫,可以在各種操作系統(tǒng)上運(yùn)行。其數(shù)據(jù)類型有很多,包含了計(jì)算機(jī)視覺(jué)的許多應(yīng)用領(lǐng)域。本文應(yīng)用OpenCV作為視覺(jué)識(shí)別的工具,在處理問(wèn)題時(shí)可以調(diào)用基本函數(shù)庫(kù),為圖像處理提供一個(gè)可開(kāi)發(fā)的平臺(tái),研發(fā)者只需添加自己編寫的程序,直接調(diào)用其中的函數(shù)即可,加快了程序開(kāi)發(fā)進(jìn)度。

圖1 甘蔗視覺(jué)識(shí)別系統(tǒng)流程Fig.1 Sugarcane visual identification system process

圖2 OpenCV基本模塊結(jié)構(gòu)Fig.2 Basic module structure of OpenCV

2.2 圖像預(yù)處理

圖像采集時(shí)受光線環(huán)境影響較大,由于采集的甘蔗蔗節(jié)處和莖節(jié)處的色彩有一些不同,如果不采取光補(bǔ)償,就會(huì)造成圖像的色彩偏差。因此,為了使圖像更加接近本質(zhì),采取“參考白”的方法進(jìn)行圖像補(bǔ)償,將圖像的亮度加大,即RGB數(shù)值調(diào)大,將甘蔗的背景選為白色。

彩色圖像中包含非常豐富的信息,對(duì)彩色圖像進(jìn)行色彩分割,其中R、G、B顏色的取值范圍均在0～225之間,因此歸一化到0～1之間,組合共有256×256×256種顏色,遠(yuǎn)遠(yuǎn)超出人眼辨別的色彩。因此,將RGB顏色進(jìn)行灰度值轉(zhuǎn)化,若像素大于閾值就置為黑色,小于閾值置為白色,閾值運(yùn)算之前,將圖像轉(zhuǎn)為兩個(gè)灰度級(jí),即對(duì)圖像進(jìn)行二值化處理。

2.2.1 形態(tài)學(xué)濾波

對(duì)二值化后的圖像,需要進(jìn)行噪聲消除,尤其是孤立的點(diǎn)集噪聲,并將目標(biāo)點(diǎn)偽目標(biāo)點(diǎn)進(jìn)行分割。形態(tài)學(xué)濾波器是由數(shù)學(xué)形態(tài)學(xué)的基本運(yùn)算構(gòu)成的濾波器,是有選擇地圖像中有噪聲的結(jié)構(gòu)。形態(tài)學(xué)濾波處理方法充分利用形態(tài)學(xué)運(yùn)算所具有的幾何特征和較好的代數(shù)性質(zhì),通過(guò)膨脹、腐蝕、開(kāi)、閉、白帽和黑帽等算子進(jìn)行濾波操作。

膨脹算子就是對(duì)二值圖像進(jìn)行操作,找到像素值為1的點(diǎn),將它的鄰近像素點(diǎn)都設(shè)置成這個(gè)值。1值表示白,0值表示黑,因此膨脹操作可以擴(kuò)大白色值范圍,壓縮黑色值范圍,一般用來(lái)擴(kuò)充邊緣或填充小的孔洞。腐蝕是與膨脹相反的操作,將0值擴(kuò)充到鄰近像素,擴(kuò)大黑色部分,減小白色部分,可用來(lái)提取骨干信息,去掉毛刺,去掉孤立的像素。開(kāi)運(yùn)算就是先腐蝕再膨脹,閉運(yùn)算是先膨脹再腐蝕。本文采取用最小矩形框的思想將甘蔗莖節(jié)部分包圍起來(lái),然后經(jīng)過(guò)形態(tài)學(xué)濾波,即4種算子計(jì)算后,得到的基于形態(tài)學(xué)濾波的甘蔗莖節(jié)矩形包圍效果圖,如圖3所示。

2.2.2 邊緣檢測(cè)

圖像的邊緣特性,尤其是針對(duì)甘蔗而言,在邊緣上存在顏色變化,灰度變化和紋理變化,所以表現(xiàn)在區(qū)域特點(diǎn)上是區(qū)域之間有一個(gè)過(guò)渡,因此采用一階和二階導(dǎo)數(shù)來(lái)檢測(cè)邊界,可以很容易檢測(cè)到灰度值的不連續(xù)性。

1)梯度算子。針對(duì)數(shù)字圖像,可表示為

(1)

其中,Δmf=f(m,n)-f(m+1,n),Δnf=f(m,n)-f(m+1,n)。

為了簡(jiǎn)化計(jì)算,采用絕對(duì)值的形式代替平方和的形式,即

G[f(m,n)]=|Δmf|+|Δnf|

(2)

其中,門限為T,若G[f(m,n)]>T,則(m,n)就是邊緣點(diǎn)。

2)羅伯特算子。Robert梯度算子是將相鄰對(duì)角上元素的像素差來(lái)表示,梯度算子的表達(dá)式為

g(m,n)=|f(m,n)-f(m+1,n+1)|+
|f(m+1,n)-f(m,n+1)|

(3)

其中,門限為T,若G[f(m,n)]>T,則(m,n)就是邊緣點(diǎn)。

3)Sobel邊緣檢測(cè)算子。Sobel邊緣檢測(cè)算子是利用像素的上、下、左右相鄰的灰度的加權(quán)值,原理是當(dāng)邊緣點(diǎn)達(dá)道極值時(shí)檢測(cè)其位置。其表達(dá)式為

g(m,n)=|[f(m-1)-f(m+1,n+1)]|

(4)

該方法不僅產(chǎn)生較好的檢測(cè)效果,也對(duì)噪聲具有平滑作用,因?yàn)樵肼暭哟罅擞?jì)算量,所以可以處理精度要求不高的場(chǎng)合。本文中甘蔗圖像的邊緣處理采用Sobel算法,圖4、圖5為Sobel邊緣檢測(cè)的效果。

圖5 Sobel邊緣檢測(cè)算子整體方向效果Fig.5 Overall direction effect of Sobel edge detector

2.2.3 中值濾波

甘蔗圖像采集過(guò)程中的噪聲主要來(lái)源于甘蔗上的白色的蠟粉,加上在圖像傳輸過(guò)程中存在的寄生效應(yīng),因此針對(duì)這些噪聲首先采用平滑法進(jìn)行初步處理。實(shí)驗(yàn)表明,僅僅通過(guò)平滑處理不具有很好的效果,比較普遍采用的就是自適應(yīng)濾波和中值濾波。中值濾波是一種比較好的消除噪聲影響的方法,是由Turky在1971年中提出來(lái)的,其原理是在一個(gè)一維序列f1,f2,…,fn,取長(zhǎng)度為n,然后從中抽出m個(gè)數(shù),fi-k,…,fi-1,fi+1,…,fi+k。其中,k=(m-1)/2,按照從大到小的順序,排序后取中心點(diǎn)的值作為濾波輸出,數(shù)學(xué)表示為

yi=Med{fi-k,…,fi-1,fi+1,…,fi+k}

(5)

如果要處理的是二維圖像,圖像中的灰度Xij,其集合為{Xij,(i,j∈Z2)}。當(dāng)采用C=(2r+1)(2c+1)的尺寸窗口對(duì)圖像進(jìn)行濾波,二維圖像表示為

Yij=MedianXijΔMedian[Xi+j,j+s,(r,s)∈C],
{(i,j)∈Z2}

(6)

經(jīng)過(guò)中值濾波調(diào)試后,二值化邊緣效果檢測(cè)如圖6所示。

圖6 中值濾波后的邊緣檢測(cè)效果圖Fig.6 Edge detection effect after median filtering

經(jīng)調(diào)研,一般留存到第2年種植用的甘蔗種的莖節(jié)部位的蠟粉會(huì)淡化很多,甚至不太明顯,但蔗節(jié)處的蠟粉一般較難自然脫落,也正是基于此采用RGB顏色特征來(lái)提取蔗節(jié)。

3 甘蔗蔗節(jié)識(shí)別算法

3.1 邊緣擬合的莖節(jié)識(shí)別

由甘蔗的植株特性可知：甘蔗在蔗節(jié)處有凸起,且較莖部位偏粗,利用這一特點(diǎn),通過(guò)前面圖像的預(yù)處理,可以清晰獲得甘蔗的輪廓。通過(guò)甘蔗的RGB顏色空間研究,處理后的二值化圖像的邊緣提取中,可以將凸起部分定義為拐點(diǎn),針對(duì)拐點(diǎn)進(jìn)行再次提取,即就是甘蔗的蔗節(jié)處。

(7)

通過(guò)最小二乘法擬合識(shí)別出的蔗節(jié)點(diǎn)如圖7所示。

圖7 邊緣擬合的蔗節(jié)識(shí)別Fig.7 Sugarcane node recognition based on edge fitting

由于甘蔗蔗種是由當(dāng)年收獲后進(jìn)行儲(chǔ)存到下一年耕種,這樣甘蔗莖上的蠟粉基本脫落,但蔗節(jié)處的蠟粉還有部分殘留,因此可以根據(jù)絕灰度值的分布識(shí)別蔗節(jié)。將甘蔗灰度圖像轉(zhuǎn)化成直方圖進(jìn)行分割,但有些甘蔗灰度值變化不太明顯,因此采用列灰度的線性擬合,求解甘蔗各處的灰度值與擬合線之間的距離。

3.2 中值決策的蔗節(jié)識(shí)別

針對(duì)邊緣檢測(cè)和灰度值的擬合法在蔗節(jié)識(shí)別上單獨(dú)使用時(shí)都會(huì)有可能產(chǎn)生誤差,如果將兩者信息結(jié)合,通過(guò)綜合決策,就能克服單個(gè)信息的誤判斷,使甘蔗蔗節(jié)識(shí)別的有效性更高。本文采用中值決策的方法,對(duì)識(shí)別出的蔗節(jié)的坐標(biāo)點(diǎn)集合X=(x1,x2,…,xn-1,xn),由這N個(gè)點(diǎn)按照大小排列獲得集合,取中間值為中值決策的輸出,公式表示為

(8)

將采集的甘蔗圖像處理轉(zhuǎn)換的RGB顏色空間R、G、B分量,蔗節(jié)的邊緣擬合分量和灰度值擬合分量構(gòu)成5個(gè)決策因子,令R、G、B顏色識(shí)別結(jié)果,邊緣擬合結(jié)果和灰度值擬合結(jié)果得出的蔗節(jié)位置坐標(biāo)構(gòu)成決策集{Xr,Xg,Xb,Xs,Xn},并由決策式(8)進(jìn)行中值輸出。蔗節(jié)的識(shí)別流程如圖8所示。

圖8 中值決策的蔗節(jié)識(shí)別流程圖Fig.8 Flow chart of sugarcane section recognition based on median decision

4 試驗(yàn)結(jié)果

經(jīng)過(guò)圖像處理,將中值決策識(shí)別出的蔗節(jié)位置坐標(biāo)進(jìn)行計(jì)算,采取數(shù)學(xué)算法求取蔗節(jié)與蔗節(jié)的中間值作為甘蔗預(yù)切種中的切割位置,識(shí)別效果如圖4所示,可以看出甘蔗識(shí)別的位置非常精準(zhǔn)。

圖9 甘蔗切割位置識(shí)別效果Fig.9 Confirmation chart of sugarcane cutting position

對(duì)采樣的甘蔗進(jìn)行試驗(yàn)測(cè)試,首先選取有效蔗節(jié)數(shù)7、8、9個(gè)分為3組,每組50根,根據(jù)蔗節(jié)識(shí)別效果統(tǒng)計(jì)計(jì)算出7個(gè)有效蔗節(jié)的成功率有98%,8個(gè)有效蔗節(jié)的識(shí)別率有95%,9個(gè)有效蔗節(jié)的識(shí)別率為92%;然后,測(cè)試混在一起總的切割成功率為到94.7%,如圖10所示。由圖10可以看出：甘蔗節(jié)數(shù)較少的識(shí)別率更高,因?yàn)楦收峁?jié)數(shù)越多,蔗節(jié)與蔗節(jié)之間的距離越短,識(shí)別精度降低。

圖10 甘蔗蔗節(jié)識(shí)別結(jié)果Fig.10 Results of sugarcane cane recognition

5 結(jié)論

本文主要完成了圖像采集的硬件系統(tǒng)搭建,編寫了圖像采集、處理及試驗(yàn)程序。從甘蔗圖像的蔗節(jié)識(shí)別的預(yù)處理出發(fā),完成了基于圖像的甘蔗邊緣檢測(cè)、濾波除噪、圖像分割等預(yù)處理實(shí)驗(yàn)。基于甘蔗蔗節(jié)的邊緣凸起特性,提出邊緣中心點(diǎn)集線性擬合的蔗節(jié)識(shí)別方法,并針對(duì)甘蔗蔗節(jié)和莖在顏色灰度上的不連續(xù)性,提出了蔗節(jié)的灰度值擬合。結(jié)合R、G、B顏色分量和擬合值的綜合信息,提出中值決策的蔗節(jié)識(shí)別方法。算法解決了甘蔗蔗節(jié)識(shí)別的問(wèn)題,對(duì)甘蔗種植機(jī)預(yù)切種階段的機(jī)械化研究具有一定的實(shí)際意義。