西紅柿采摘機器人視覺系統的研究

郭凱敏，崔天時，張　楨，郭志強，朱鐵欣，謝學剛

(東北農業大學，哈爾濱　150030)

?

西紅柿采摘機器人視覺系統的研究

郭凱敏，崔天時，張楨，郭志強，朱鐵欣，謝學剛

(東北農業大學，哈爾濱150030)

摘要：針對果實采摘機器人果實識別率低的問題，設計了一組用于西紅柿識別和定位的雙目立體視覺系統，為機器人的采摘作業提供更有利的條件。為此，采用Bumblebee雙目立體視覺系統，基于成熟果實與植株顏色特征的差異進行圖像分割，來識別成熟的西紅柿；在完成相機標定、特征點提取和特征點匹配的基礎上，通過三維空間定位獲取果實的三維坐標。實驗結果表明：該系統果實識別的整個過程平均耗時150ms，對成熟西紅柿的識別率達到99%，測試誤差在10mm以內，能夠較好地滿足西紅柿采摘工作的要求。

關鍵詞：農業機器人；雙目立體視覺；相機標定；特征點提取；特征點匹配；三維重建；定位

0引言

機器視覺系統是采摘機器人實現準確采摘的首要條件，研究具有視覺功能的果實采摘機器人，在提高農業生產力方面具有極大的應用價值和現實意義。在機器人視覺的研究方面，國內外都有很多的研究成果；但受到計算機視覺理論、相機標定方法及圖像處理的算法等方面的限制，機器視覺在農業方面的應用還有很大局限，距離現實應用還有很大差距。由于農田實際作業環境的復雜多變，導致果實的識別率和采摘成功率也不是十分理想。

為此，采用Bumblebee雙目立體視覺系統，通過對成熟西紅柿與周圍環境顏色特征的分布進行統計與分析，確定適用于成熟西紅柿目標分割的顏色因子；選取適合的顏色因子對成熟西紅柿識別，確定有效的采摘點，計算果實的空間定位。

1識別與定位系統建立

1.1　工作原理

雙目立體視覺的物體定位原理是基于視差，也就是從兩個視點對同一物體進行觀察，獲取不同的感知圖像，建立幾何模型；然后通過幾何模型的關系運算，獲取圖像像素間的坐標偏差，從而得到物體的三維坐標。這個過程與人類的立體感知過程相似。研究采用的Bumblebee視覺系統符合平行式立體視覺模型，如圖1 所示。

圖1　平行式立體視覺模型

該系統由兩臺光軸平行并且垂直于基線的CCD攝像頭right和left組成，焦距均為f，構建以左目坐標為基準的三維坐標系，如圖2所示。

圖2　雙目立體定位原理

基線距B為兩攝像頭的投影中心連線的距離，假如兩攝像頭在同時看到空間物體的同一個標志點P(xc,yc,zc)，分別在左右兩個攝像頭上獲取了點P的圖像，圖像坐標分別為Pleft=(Xleft,Yleft)和Pright=(Xright,Yright)。假如兩攝像頭獲取的圖像處在同一個水平面上，則標志點P的圖像坐標Y相同，也就是Yleft=Yright=Y。因此，可以通過三角關系變換得

(1)

視差的計算公式為

Disparity=Xleft-Xright

(2)

因此，標志點P在以左相機為基準點的坐標系下的三維空間坐標的計算式為

(3)

由此可知：左攝像頭像面上的一點只要能在右攝像頭像面上找到對應點(即匹配點)，就可以計算出該點的空間坐標。然而，這種方法是針對點對點的運算，如果要運用到實際環境中，還需要進行更復雜的處理變換。

1.2　軟硬件結構

采用VC++6.0編程軟件，設計西紅柿采摘機器人的操作界面，包括圖像采集、圖像預處理、攝像頭標定、特征點提取與匹配及三維重建等5部分。計算機視覺的首要條件是獲取數字圖像。為獲取數字圖像，在機器人視覺中，常用的設備是CCD攝像頭和視頻采集卡。本文采用的雙目立體視覺系統是由Sony公司生產的彩色CCD雙目攝像機、PC機和1394視頻采集卡組成的系統，連接方式如圖3所示。

圖3　雙目立體視覺系統

立體攝像機參數為：CCD的尺寸：l/3inch(即CCD對角線的長度，為6mm);攝像機大小為160×40×50mm；兩攝像機的基線距B為12cm；采集圖像的像素為640×480；幀率為30Hz；焦距為6mm。其工作流程如圖4所示。

圖4　系統工作流程圖

1.3　攝像頭標定

攝像頭的標定是為了獲取攝像頭的內外參數，以實現對目標的準確定位，計算出目標在實際空間中的位置信息。這需要建立識別后的左右匹配的特征點的三維坐標與圖像坐標之間的幾何關系。這個幾何關系由攝像頭內外參數決定，也就是由攝像頭成像的幾何模型決定，獲取內外參數的過程就是攝像頭的標定。采用張正友棋盤標定法，如圖5所示。

圖5　張正友棋盤標定模板

此方法標定模板與傳統標定和自標定方法相比具有設備簡單、操作方便、精度高及魯棒性好等優點。

用此法獲取的內外參數矩陣為

其徑向畸變系數k1=-0.7321，k2=0.7562。

2識別與定位

2.1　圖像采集

Bumblebee雙目攝像頭通過1394視頻采集卡與PC機相連的設備采集到的是數字圖像，CCD攝像機和視頻采集卡在PC機的控制下完成圖像的輸入及數字化工作。CCD攝像機先將局部視場內的光學圖像信號轉換成相應的電信號，該電信號帶有圖像空間信息，再與同步信號整合成完整的視頻信號，通過同軸電纜傳輸給圖像采集卡；視頻信號經過圖像采集卡上的A/D轉換器轉換成圖像數據，存放在幀存儲器，以供計算機進行其他處理操作。

2.2　圖像預處理

在機器人視覺理論框架中，第1步就是對二維圖像預處理。其目的是使目標圖像與背景圖像分離，突出目標圖像的視覺效果，將圖像轉化為一種更適合機器分析處理的形式。

目標圖像的邊緣是圖像特征的一個重要部分，包含原始圖像中的很多有用的信息，往往通過一條簡單的輪廓線就能把物體識別出來。因此，圖像的邊緣輪廓特征提取在機器人視覺中占有很重要的地位。雙目視覺圖像預處理方法主要涉及到圖像預處理、圖像分割、邊緣檢測和特征提取等。

因此，采用了增強型的Hough變換的特征提取方法，預處理過程如圖6所示。

圖6　圖像預處理過程

2.2.1平滑處理

采用中值濾波的方法對原始圖像進行平滑處理，目的是為了消除圖像中存在的噪聲干擾，盡可能地提高圖像質量。中值濾波是一種非線性處理技術，主要作用是讓與周圍像素灰度值差較大的像素修改為與周圍像素值接近的值，從而消除孤立的噪聲點，有效地抑制圖像中的噪聲。

2.2.2灰度化

RGB的顏色標準，分別代表紅、綠、藍3個通道的顏色，也稱為三基色，其他顏色由這3種顏色混合而成，是目前運用最廣泛的顏色系統之一。

RGB顏色模型中，原點(0,0,0)對應黑色，頂點(1,1,1)對應白色，在坐標軸上的3個頂點表示RGB三基色，如圖7所示。規定R、G、B取值的區間均為[0,255]，當三色都為255時為白色，都為0時為黑色，三色數值相同時為無色彩的灰度色，白色與黑色的連線即表示灰度級。

用g(i,j)表示點(i,j)處的灰度值，R(i,j)、G(i,j)、B(i,j)分別表示該點的三基色色值。

圖7　RGB顏色模型

灰度化的公式為

g(i,j)=0.299R(i,j)+0.587G(i,j)+

0.114(i,j)+0.5

2.2.3二值化

很多情況下，進行圖像分析、特征提取和模式識別前，要對圖像進行預處理，目的是為了分離目標和背景在不同灰度等級范圍的圖像。采用圖像閾值分割法，可以極大地壓縮數據，簡化分析和處理的步驟，是一種最常用、最簡單的圖像分割方法。

圖像閾值化的方法是對圖像按照灰度級，對像素集合進行區域劃分，每個區域對應圖像上一個現實景物，各個區域內部具有屬性一致性，而且相鄰區域同樣有這種屬性一致性。

閾值化分割法是設定合適的閾值，將圖像像素點進行區域區分。設原始圖像為f(x,y)，以一定的準則在f(x,y)中找出合適灰度值，作為閾值t，對圖像進行分割，獲取的圖像g(x,y)為

若取b0=0(黑)、b1=1(白)，即為圖像二值化。

2.2.4邊緣檢測

通過圖像像素和空域微分算子的卷積可以完成邊緣的檢測，采用的算子為Canny算子。與傳統的算子相比，該算子檢測出的邊緣與實際邊緣距離誤差最小，效果好。

Canny算子的基本思路是先對需處理的圖像進行平滑處理，對此選擇Gauss濾波器，之后采用“非極值抑制”的處理，就可以得到所需的邊緣圖像。

在運用Canny算子進行邊緣檢測時，通常需要對高斯函數進行分解處理，可以把二維的高斯函數分解為兩個行列濾波器，從而提高運算速度。假設高斯函數為

(4)

分別求在x方向和y方向的導數為

(5)

(6)

將式(5)、式(6)與圖像f(x,y)卷積，輸出為

(7)

(8)

2.2.5增強型的Hough變換的特征提取

Circle Hough Transform(CHT)是特征提取常用的一種經典方法，可利用三維空間參數提取圓。這種方法靈活簡單，具有很強的抗干擾能力；但同時也有缺點，如計算量大及對存儲空間要求較高等。另外，在處理復雜圖像信息時，通常會引入一些無用的累計計算，降低了算法性能。因此，提出一種增強型的Hough變換算法，算法原理如圖8所示。

圖8　增強型Hough變換流程圖

其中，vi=(xi,yi)為存儲至集合V中的邊緣點，計數器為記為c，失敗的次數設為f，集合中元素最少個數為m，邊緣厚度設為t，真實圓的閾值為p、n在V中的個數。提取圓心結果如圖9所示。

圖9　攝像機提取圓心結果

2.3　特征點提取與立體匹配

在圖像特征點匹配的確定方面，利用SIFT(Scale Invariant Feature Transform)算子進行圖像特征點匹配具有很高的可靠性，該算子提取的特征點同時具有很強的穩定性。

可以通過高斯差分算子建立尺度空間，假如二維高斯函數定義為

(9)

其中，δ代表了高斯正態分布的方差。而尺度空間的定義為

L(x,y,δ)=G(x,y,δ)·I(x,y)

(10)

兩個不同尺度的高斯核的差分DoG可以定義為

D(x,y,δ)=D[(x,y,kδ)-G(x,y,δ)]·I(x,y)

=L(x,y,δ)-L(x,y,δ)

應用SIFT算子進行特征點提取，需在DoG尺度空間和圖像二維平面空間中同時檢測局部極值作為特征點。特征點確定以后，要使其旋轉不變形，就要計算其領域像素的梯度方向分布特性，并且為每個特征點指定方向參數。

特征點提取以后，取一個8×8的窗口，以特征點像素中心，對窗口中求每個像素的梯度。然而，梯度值又易引起特征點間的誤匹配的現象，需重新將該窗口分成4部分，每個部分就有1個4×4的小窗口生成，每個窗口確定一個2×2的種子點，每個種子點有8個方向向量信息。這個種子點作為特征點標識符，如果兩個特征點標識符小于設定數值，那么這兩個特征就相互匹配。

確定兩個匹配點后，可以利用兩個匹配點的像素坐標，由式(3)計算出該物體的空間坐標。

3實驗研究

采用符合平行雙目立體視覺模型的雙目視覺系統，進行成熟西紅柿空間位置的計算。針對實驗室單個西紅柿的環境，該視覺軟件系統采用VC++6.0編程，采用面向對象的語言C++進行程序設計的方法。

確定兩個匹配點后，可以利用兩個匹配點的像素坐標，由式(3)計算出該物體的空間坐標。軟件界面如圖10所示。

由雙目視覺系統測得的數據和激光傳感器測距獲得的數據相比較獲得誤差，如表1所示。

圖10　軟件界面

序號左匹配點右匹配點三維坐標距離誤差/%1(265,250)(234,248)(-106,98,1256)2.202(290,250)(259,250)(120,82,1249)2.253(200,200)(170,197)(-83,79,1246)2.30

4結論

利用Bumblebee雙目立體視覺系統，分析了成熟西紅柿的顏色特征模型，提出一種增強的Hough變換，可有效地分割西紅柿與背景。對識別后的果實進行定位，識別率可達到99%。同時，建立了一種目標定位誤差分析機制，可有效地對系統定位的準確性進行判斷。

參考文獻：

[1]周天娟.基于機器視覺的草莓采摘機器人技術研究[D].北京:中國農業大學,2007.

[2]周俊,程嘉煜.基于機器視覺的農業機器人運動障礙目標檢測[J].農業機械學報,2011,42(8):154-158.

[3]韓云生.基于雙目立體視覺的移動機器人目標定位[D].無錫:江南大學,2009．

[4]張凱良,楊麗,張鐵中.草莓采摘位置機器視覺與激光輔助定位方法[J].農業機械學報,2010,41(4):151- 156.

[5]Naoshi Kondo, Koki Yata, Michihisa Iida, et al. Development of an end-effector for a tomato cluster harvesting robot [J].Engineering in Agriculture,Environment and Food, 2010,3(1):20-24.

[6]蘭海濱,王平,趙保軍.基于色調空間的彩色圖像匹配算法[J].計算機應用研究,2009(3):1174-1176．

[7]Xiong J,Zou X, Zou H, et al. Design and research of camera calibration system in binocular stereo vision[J].Key Engineering Materials,2011,460-461:219-224.

[8]Milan Sonka, Vaclav Hlavac, Roger Boyler.圖像處理、分析與機器視覺[M].艾海舟，譯.北京：清華大學出版社，2011.

Abstract ID:1003-188X(2016)12-0217-EA

Research on Tomato-harvesting Robot Visual System

Guo Kaimin， Cui Tianshi， Zhang Zhen， Guo Zhiqiang， Zhu Tiexin， Xie Xuegang

(Northeast Agricultural University, Harbin 150030, China)

Abstract：Aimed at the problem of low recognition rate of fruit picking robots,design a set of binocular stereo vision system is used to identify and locate tomato,provide more favorable conditions of picking robot operation.The Bumblebee binocular stereo vision system,the identification of visual system is developed through the difference between the color characteristics of ripe tomatoes and plant. after camera calibration, feature point extraction and feature points matching,the space coordinates is obtained through 3D reconstruction.The experiment results show that the identification rate of the vision system can reach 99%,and identification average time is about 0.15s,the absolute error of distance-measuring can be controlled within 10mm.It can meet the needs of practical work very well.

Key words：agricultural robot; binocular stereo vision; camera calibration; feature point extraction; feature points matching; 3dreconstruction; location

中圖分類號：S225.92；TP242

文獻標識碼：A

文章編號：1003-188X(2016)12-0217-05

作者簡介：郭凱敏(1988-)，男，河南周口人，碩士研究生，(E-mail)1035436878@qq.com。通訊作者：崔天時(1967-)，男，哈爾濱人，副教授，碩士生導師，博士。

基金項目：國家“863計劃”項目(810028)

收稿日期：2015-11-20