基于機(jī)器視覺的黃瓜等級(jí)自動(dòng)判別研究

付 彤， 雷金輝

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，云南昆明 650500)

?

基于機(jī)器視覺的黃瓜等級(jí)自動(dòng)判別研究

付 彤， 雷金輝*

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，云南昆明 650500)

通過(guò)機(jī)器視覺研究黃瓜的形態(tài)特性，建立黃瓜量化分級(jí)評(píng)判標(biāo)準(zhǔn)，并總結(jié)出提取黃瓜特征值的理論算法。用Matalb軟件實(shí)時(shí)采集讀取CCD攝像機(jī)視頻圖像，再利用Matlab圖像處理功能對(duì)采集到的圖像進(jìn)行圖像濾波、圖像分割處理，提取基于數(shù)學(xué)理論的表征黃瓜等級(jí)的特征值，建立人工神經(jīng)網(wǎng)絡(luò)的等級(jí)判別模型，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并進(jìn)行泛化檢測(cè)。結(jié)果表明，該等級(jí)判別模型的精度高達(dá)91.7%，具有一定的市場(chǎng)價(jià)值。

特征值；CCD攝像機(jī)；圖像分割；人工神經(jīng)網(wǎng)絡(luò)

黃瓜的篩選是產(chǎn)后處理的一個(gè)重要環(huán)節(jié)[1]。目前，我國(guó)尚未形成工業(yè)化的農(nóng)作物產(chǎn)后處理體系。相較人工篩選，工業(yè)化的智能篩選具有客觀、高效率、不造成機(jī)械損傷、自動(dòng)分級(jí)揀選等優(yōu)點(diǎn)[2]。因此，研究對(duì)黃瓜等級(jí)進(jìn)行自動(dòng)判別具有極大的現(xiàn)實(shí)意義和社會(huì)經(jīng)濟(jì)價(jià)值。從國(guó)內(nèi)外的研究現(xiàn)狀來(lái)看，主要采用圖像處理技術(shù)及機(jī)器視覺等方法。如Ariana等[3]采用高光譜圖像檢測(cè)了黃瓜收獲中的機(jī)械損傷，發(fā)現(xiàn)950～1 350 nm波段最適合黃瓜的機(jī)械損傷檢測(cè)；王紅永等[4]提出了對(duì)黃瓜等級(jí)判定的理論分析。

從國(guó)內(nèi)外的研究現(xiàn)狀來(lái)看，目前對(duì)于黃瓜的自動(dòng)化分類仍處于理論研究階段，主要依賴于黃瓜的長(zhǎng)度、寬度、彎曲度來(lái)劃分其優(yōu)劣[5-6]。筆者在現(xiàn)有的基礎(chǔ)上，綜合機(jī)器視覺、神經(jīng)網(wǎng)絡(luò)等方法，以黃瓜的6個(gè)一般特征值及一個(gè)加權(quán)特征值為分類依據(jù)，實(shí)現(xiàn)對(duì)黃瓜的自動(dòng)化分類，并通過(guò)試驗(yàn)驗(yàn)證了該方法的可用性和準(zhǔn)確性。

1　總體研究方案

該研究主要分3個(gè)步驟進(jìn)行，研究方案流程見圖1。

(1)圖像理論分析階段。基于圖像處理技術(shù)，對(duì)黃瓜進(jìn)行圖像采集、圖像分割等處理，得到試驗(yàn)所需要的黃瓜圖像。

(2) 特征模型建立階段。對(duì)黃瓜6個(gè)基礎(chǔ)特征值及一個(gè)加權(quán)特征值進(jìn)行提取，再通過(guò)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，進(jìn)行黃瓜特征模型的分級(jí)。

(3)試驗(yàn)結(jié)果驗(yàn)證階段。將BP神經(jīng)網(wǎng)絡(luò)的輸出節(jié)點(diǎn)得到的結(jié)果與人工篩選黃瓜的結(jié)果進(jìn)行對(duì)比，對(duì)試驗(yàn)結(jié)果進(jìn)行驗(yàn)證和分析。

圖1　基于機(jī)器視覺的黃瓜等級(jí)自動(dòng)判別研究方案流程Fig. 1　Research plan process of automatic identification of cucumber level based on machine vision

2　圖像理論分析

2.1圖像采集 黃瓜的自動(dòng)分級(jí)處理研究的核心是基于機(jī)器視覺的計(jì)算機(jī)圖像處理技術(shù)[7]。圖像采集則是整個(gè)研究試驗(yàn)的基石工程，圖像本身的質(zhì)量與特點(diǎn)將會(huì)影響圖像處理過(guò)程的難易程度和處理數(shù)據(jù)的真實(shí)性。試驗(yàn)中，模擬工業(yè)自動(dòng)化中物品傳送帶傳輸模式，實(shí)時(shí)記錄移動(dòng)過(guò)程中的黃瓜視頻，選取特定位置處的一幀黃瓜圖像作為后續(xù)處理的源圖像。最大限度模擬實(shí)際生產(chǎn)中圖像采集過(guò)程，以保證圖像信息的真實(shí)性和實(shí)用性。

圖像處理時(shí)需要通過(guò)圖像閾值對(duì)采集到的圖像進(jìn)行圖像分割[8]，所以在拍攝中要選擇的合適的照明裝置，避免光源的強(qiáng)度和光色使圖像產(chǎn)生高光點(diǎn)或者區(qū)域性失真，適宜選用光色偏暖的白色光源，試驗(yàn)選用4 W的白色熒光燈。在布置光源時(shí)，在拍攝箱內(nèi)部的4個(gè)頂角處各安裝一個(gè)白色熒光燈，來(lái)避免在背景上留下黃瓜的影子。CCD攝像頭則安裝在采集箱的頂部，高度可以上下調(diào)節(jié)，保證拍攝到的黃瓜圖像沒(méi)有暗點(diǎn)及高光點(diǎn)的效果。

對(duì)黃瓜RGB圖像3個(gè)通道的數(shù)據(jù)分析結(jié)果見圖2。由圖2可知，一般黃瓜圖像的R、G、B這3個(gè)通道的像素值均在170以下。黃瓜圖像的綠色像素值最大，為獲得目標(biāo)區(qū)域與背景顏色差異較大的原圖像，背景色宜選擇紅色(紅色為綠色的補(bǔ)色)，實(shí)物標(biāo)定標(biāo)尺選用藍(lán)色。圖像各區(qū)域顏色差異較大，為圖像分割處理降低難度，分割出來(lái)的圖像效果也很好。

圖2　黃瓜RGB圖像的3個(gè)通道數(shù)據(jù)分析結(jié)果Fig. 2　Analysis results of the three passages data of cucumber RGB image

2.2圖像分割拍攝到的圖像可以分為3部分：黃瓜圖像、標(biāo)尺圖像和背景圖像[9]。黃瓜圖像是提取圖像特征參數(shù)的主體部分，標(biāo)尺是用來(lái)檢測(cè)判定黃瓜實(shí)際長(zhǎng)度基準(zhǔn)線，所以要將這2部分從原圖像中分割出來(lái)，以用于后續(xù)的圖像特征參數(shù)提取。

采集到的圖像中黃瓜區(qū)域以綠色為主，背景區(qū)域?yàn)榧t色，標(biāo)定物則是選擇藍(lán)色。分析RGB彩色圖的G通道直方圖可知，像素值高的部分對(duì)應(yīng)圖中黃瓜區(qū)域，背景與標(biāo)定物區(qū)域則像素較低；同樣，RGB彩色圖的R通道中像素高的部分對(duì)應(yīng)圖中背景區(qū)域，低像素部分則為黃瓜與標(biāo)定物區(qū)域。根據(jù)圖像中具有的這種特殊性，該研究以雙峰法為基礎(chǔ)對(duì)黃瓜RGB彩色圖的R、B單色通道進(jìn)行圖像分割，其優(yōu)點(diǎn)在于方法簡(jiǎn)單，效果明顯。再通過(guò)旋轉(zhuǎn)算法，得到標(biāo)準(zhǔn)的二值黃瓜圖形。具體步驟如下。

(1)圖像分割。通過(guò)雙峰法，將黃瓜圖像和標(biāo)尺圖像從整體圖像中分割出來(lái)[10]，結(jié)果見圖3。

圖3　基于雙峰法的黃瓜圖像和標(biāo)尺圖像分割效果Fig. 3　Segmentation effects of cucumber image and scale image based on two-peak method

(2)圖像旋轉(zhuǎn)。圖像采集時(shí)，黃瓜位置是隨機(jī)的，而且黃瓜本身就存在不同程度的彎曲[11]。基于此種情況，在提取黃瓜特征參數(shù)之前，需要在不影響黃瓜形態(tài)特征的前提下，移動(dòng)旋轉(zhuǎn)黃瓜目標(biāo)區(qū)域，方便后續(xù)特征參數(shù)提取。作黃瓜區(qū)域?qū)?yīng)圖形的最小外接矩形，計(jì)算出二值圖像外接矩形的長(zhǎng)寬，根據(jù)預(yù)定設(shè)計(jì)求出較長(zhǎng)邊與圖像坐標(biāo)軸的角度，該角度即是圖像旋轉(zhuǎn)角度。矩形的邊長(zhǎng)可以根據(jù)兩點(diǎn)間的直線距離公式求得：

(1)

矩形4個(gè)角的坐標(biāo)保存在rectx、recty中。設(shè)計(jì)中要保證矩形的長(zhǎng)邊與圖像的縱坐標(biāo)平行，故要求取長(zhǎng)邊所在直線的斜率，斜率公式為：

k=(y1-y2)/(x2-x1)

(2)

然后進(jìn)行反三角運(yùn)算，公式為：

α=arctan(k)

(3)

以此將任意的黃瓜圖像旋轉(zhuǎn)至標(biāo)準(zhǔn)圖像(圖4)。

圖4　旋轉(zhuǎn)后的黃瓜二值圖像Fig. 4　Binary image of cucumber after rotation

3　黃瓜特征模型的建立

3.1黃瓜模型特征值的提取黃瓜屬于長(zhǎng)型瓜果，其特征描述較為復(fù)雜，由實(shí)際長(zhǎng)度、寬度、彎曲度、均勻度組成，其中均勻度和彎曲度是其極為關(guān)鍵的判別標(biāo)準(zhǔn)[12-14]。計(jì)算機(jī)無(wú)法直接對(duì)其圖像進(jìn)行判別和分類，必須從圖像中抽離參數(shù)，建立黃瓜輪廓特征模型。黃瓜特征參數(shù)提取的操作步驟如下。

(1)如圖5，黃瓜徑向長(zhǎng)度為H，分別求取徑向長(zhǎng)度為0.2H、0.3H、0.5H、0.7H、0.8H處的5個(gè)點(diǎn)，并求取這些點(diǎn)對(duì)應(yīng)的黃瓜的橫向?qū)挾戎担謩e為W1、W2、W、W3、W4。由圖5可知，0.5H為黃瓜的徑向長(zhǎng)度中間點(diǎn)，可以設(shè)定該點(diǎn)對(duì)應(yīng)的黃瓜寬度W作為黃瓜自身寬度均勻性判別的參考值，通過(guò)與其他點(diǎn)寬度求取比值確定整個(gè)黃瓜粗細(xì)均勻度的特征參數(shù)。

圖5　黃瓜橫向?qū)挾仁疽釬ig. 5　Schematic diagram of horizontal width of cucumber

對(duì)二值圖像對(duì)應(yīng)的數(shù)組進(jìn)行數(shù)學(xué)運(yùn)算，找出特定行的最大和最小列值，并求取差值，該差值即為該點(diǎn)對(duì)應(yīng)的黃瓜寬度，類推求取多點(diǎn)處的寬度后再進(jìn)行比值運(yùn)算得到：

F1=W1/W;F2=W2/W;F3=W3/W;F4=W4/W

(4)

根據(jù)公式(4)計(jì)算得到反映黃瓜整個(gè)寬度均勻性的特征參數(shù)。

(2)提取出黃瓜二值圖像中位于兩邊邊緣中心處的所有點(diǎn)，這些點(diǎn)描繪出的圖形即可反映出黃瓜彎曲度[15]。如圖6，分別在0、0.25H、0.50H、0.75H、1.00H處取點(diǎn)為A、B、C、D、E。求取AB、BC、CD、DE、AE5段幾何距離，通過(guò)這幾段幾何距離的比值就可得到黃瓜彎曲特征值參數(shù)。通過(guò)數(shù)學(xué)運(yùn)算處理能分別求出L1、L2、L3、L4、L，而設(shè)定黃瓜的彎曲特征參數(shù)為：

F5=L/(L1+L2+L3+L4)

(5)

黃瓜的粗細(xì)特征參數(shù)為：

F6=W3/(L1+L2+L3+L4)

(6)

根據(jù)公式(5)、(6)可以得到判定黃瓜等級(jí)的特征值。

圖6　黃瓜彎曲特性測(cè)取示意Fig. 6　Schematic diagram of bending properties of cucumber

3.2BP神經(jīng)網(wǎng)絡(luò)分級(jí)模型的建立該研究屬于分類問(wèn)題，使用BP算法的神經(jīng)網(wǎng)絡(luò)處理這類問(wèn)題非常方便，鑒于此，研究中使用了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練分級(jí)模型，BP神經(jīng)網(wǎng)絡(luò)分級(jí)示意見圖7。

該研究選擇2層的BP網(wǎng)絡(luò)，為了減少網(wǎng)絡(luò)規(guī)模，增加了一個(gè)隱藏層。其輸入節(jié)點(diǎn)數(shù)為特征參數(shù)數(shù)量所決定，即為6個(gè)，所以輸入端為一個(gè)6N的向量，N為訓(xùn)練時(shí)樣本圖像數(shù)量。經(jīng)過(guò)試驗(yàn)，隱藏層節(jié)點(diǎn)數(shù)為10個(gè)時(shí)，系統(tǒng)的分層效果較好，輸出層的節(jié)點(diǎn)為2個(gè)(用于表示3種等級(jí)狀態(tài))，如圖8所示。對(duì)應(yīng)將黃瓜劃分的3個(gè)等級(jí)(優(yōu)等品、一等品、二等品)，用二維數(shù)組[0;1]、[1;0]、[1;1]分別表示它們的神經(jīng)網(wǎng)絡(luò)輸出口。

圖7　神經(jīng)網(wǎng)絡(luò)分級(jí)示意Fig. 7　Schematic diagram of neural network classification

圖8　黃瓜分級(jí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 8　Structure of neural network of cucumber classification

基于BP網(wǎng)絡(luò)分類的神經(jīng)網(wǎng)絡(luò)訓(xùn)練的標(biāo)準(zhǔn)是參考《中華人民共和國(guó)農(nóng)業(yè)行業(yè)標(biāo)準(zhǔn)》(NY/T 1587-2008)黃瓜等級(jí)規(guī)格而分級(jí)定位的，見表1。

神經(jīng)網(wǎng)絡(luò)是由人工挑選出的30根，并均分為優(yōu)等品、一等品、二等品三類的樣本黃瓜特征參數(shù)所訓(xùn)練而成的。在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，為了保證試驗(yàn)結(jié)果的精確性，必須加入黃瓜實(shí)際長(zhǎng)度這個(gè)特征參數(shù)。因此，運(yùn)用加權(quán)算法原理，得到最終的判定標(biāo)準(zhǔn)。

表1　黃瓜等級(jí)分類標(biāo)準(zhǔn)

4　試驗(yàn)結(jié)果驗(yàn)證

神經(jīng)網(wǎng)絡(luò)以及整個(gè)設(shè)計(jì)系統(tǒng)的性能需要通過(guò)實(shí)際應(yīng)用來(lái)評(píng)定。重新選擇12根黃瓜，用作系統(tǒng)測(cè)試的樣本。這12根黃瓜中經(jīng)過(guò)人工的分類情況為：優(yōu)等品3根，一等品3根，二等品6根。12根待分級(jí)黃瓜特征數(shù)據(jù)見表2。

表3是系統(tǒng)自動(dòng)分級(jí)和人工分級(jí)結(jié)果的比較。由表3可知，人工分級(jí)的一等品第3根黃瓜由于比較均勻，彎曲度小，被計(jì)算機(jī)認(rèn)為是優(yōu)等品；其他判定結(jié)果都一致。總體來(lái)看，根據(jù)果實(shí)均勻性的特征參數(shù)、果實(shí)的彎曲特征參數(shù)、果實(shí)的粗細(xì)特征參數(shù)和果實(shí)的實(shí)際長(zhǎng)度7個(gè)特征參數(shù)能完成對(duì)黃瓜的等級(jí)判別，其分級(jí)精度平均可達(dá)91.7%。產(chǎn)生誤差的主要原因在于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本不足。

表2　帶分級(jí)黃瓜的特征數(shù)據(jù)

注：L5為黃瓜實(shí)際長(zhǎng)度。

Note:L5was the actual length of cucumber.

5　結(jié)論

該研究綜合應(yīng)用了圖像處理知識(shí)、神經(jīng)網(wǎng)絡(luò)理論，通過(guò)圖像分割、圖像特征參數(shù)提取，建立了模型識(shí)別的BP神經(jīng)網(wǎng)絡(luò)系統(tǒng)，并進(jìn)行了驗(yàn)證，得到了以下結(jié)論。

(1)基于黃瓜的外形特征參數(shù)，用BP神經(jīng)網(wǎng)絡(luò)系統(tǒng)來(lái)進(jìn)行模型識(shí)別，是可行的，其結(jié)果與人工分類相比，準(zhǔn)確率高達(dá)91.7%。增加系統(tǒng)模型訓(xùn)練的輸入樣本參數(shù)，其準(zhǔn)確率將會(huì)進(jìn)一步提高。

(2)實(shí)際操作中要保證圖像采集時(shí)光照均勻、色溫適中，使圖像能最大程度地反映黃瓜真實(shí)顏色，提高判別結(jié)果的準(zhǔn)確度。

表3自動(dòng)分級(jí)結(jié)果與人工分級(jí)結(jié)果比較

Table 3Comparison between automatic classification result and artificial classification result

序號(hào)Code判定輸出值Outputvalueofident-ification自動(dòng)判定分級(jí)結(jié)果Classificationres-ultsofautomaticidentification人工判定分級(jí)結(jié)果Classificationres-ultsofmanualidentification11優(yōu)等品優(yōu)等品21優(yōu)等品優(yōu)等品31優(yōu)等品優(yōu)等品42一等品一等品52一等品一等品61優(yōu)等品一等品73二等品二等品83二等品二等品93二等品二等品103二等品二等品113二等品二等品123二等品二等品

[1] 張宏軍，于建新.溫室黃瓜早衰與再生根的培養(yǎng)[J].當(dāng)代蔬菜,2006(12)：34.

[2] 應(yīng)以斌, 饒秀勤, 趙勻,等. 機(jī)器視覺技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動(dòng)識(shí)別中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2000, 16(1):103-108.

[3] ARIANA D,LU R．Detection of mechanical injury on pickling cucumbers using near-infrared hyper spectral imaging [J].Computer and electronics in agriculture, 2006, 53:60-70.

[4] 王紅永,曹其新,劉文秀,等.基于神經(jīng)網(wǎng)絡(luò)的黃瓜等級(jí)判別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，1999,30(6)：83-88.

[5] 袁挺,張俊雄,李偉,等.基于機(jī)器視覺的非結(jié)構(gòu)環(huán)境下黃瓜目標(biāo)特征識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009(8)：170-174.

[6] 馮青春,袁挺,紀(jì)超,等.黃瓜采摘機(jī)械臂結(jié)構(gòu)優(yōu)化與運(yùn)動(dòng)分析[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2010(S1):244-248.

[7] 方如明．計(jì)算機(jī)圖像處理與米的品質(zhì)檢測(cè)[J]．農(nóng)業(yè)工程學(xué)報(bào)，1992，8(3):2299-2308.

[8] 李崢嶸,劉曉平,李自元,等.圖像分割多閾值法研究[J].CT理論與應(yīng)用研究，2006(4)：13-17.

[9] 張鵬,秦志偉,王麗莉,等.黃瓜果實(shí)彎曲性遺傳分析[J].東北農(nóng)業(yè)大學(xué)學(xué)報(bào)，2010(1)：29-33.

[10] 許曉麗,盧志茂,張格森,等.改進(jìn)近鄰傳播聚類的彩色圖像分割[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2012,24(4):514-519.

[11] 趙靜,何東健.果實(shí)形狀的計(jì)算機(jī)識(shí)別方法研究[J].農(nóng)業(yè)工程學(xué)報(bào),2001,3(2):165-167.

[12] 張書慧,陳曉光,張曉敏，等.蘋果、桃等農(nóng)副產(chǎn)品品質(zhì)檢測(cè)與分級(jí)圖像處理系統(tǒng)的研究[J]．農(nóng)業(yè)工程學(xué)報(bào)，1999，15(1)：201-204.

[13] 黃星奕,吳守一,方如明，等．計(jì)算機(jī)視覺技術(shù)在大米胚芽識(shí)別中的應(yīng)用[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2000，31(1)：62-65.

[14] 應(yīng)義斌,景寒松，馬俊福.利用計(jì)算機(jī)視覺進(jìn)行黃花梨果梗識(shí)別的新方法[J].農(nóng)業(yè)工程學(xué)報(bào)，1998，14(2)：221-225.

[15] 王賀,白廷柱.基于直覺模糊集的紅外圖像偽裝評(píng)價(jià)研究[J].紅外技術(shù)，2012(3):181-184.

Automatic Identification of Cucumber Level Based on Machine Vision

FU Tong, LEI Jin-hui*

(College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming, Yunnan 650500)

Based on machine vision, morphological characteristics of cucumber were researched. Cucumber quantitative classification criteria were established. Theoretical algorithm of cucumber extraction eigenvalue was summarized. Matalb software was used to collect and read CCD camera video image. Image filtering and image segmentation of collected images was carried out by Matalb image processing function. Eigenvalue characterized the cucumber level was extracted based on mathematical theory. Level discriminant model of artificial neural network was established. The neural network training and testing were carried out. Results showed that the precision degree reached 91.7% and the model was of certain market value.

Eigenvalues; CCD camera; Image segmentation; Artificial Neural Networks

付彤(1992- )，男，四川達(dá)州人，碩士研究生，研究方向：農(nóng)業(yè)信息化與自動(dòng)化。*通訊作者，教授，碩士生導(dǎo)師，從事信息工程與自動(dòng)化研究。

2016-04-30

S 5-39

A

0517-6611(2016)16-256-05