果樹快速定位采摘機(jī)器人設(shè)計(jì)—基于紅外和激光掃描技術(shù)

張邦鳳

(重慶電子工程職業(yè)學(xué)院 應(yīng)用電子學(xué)院，重慶 401331)

?

果樹快速定位采摘機(jī)器人設(shè)計(jì)
—基于紅外和激光掃描技術(shù)

張邦鳳

(重慶電子工程職業(yè)學(xué)院 應(yīng)用電子學(xué)院，重慶 401331)

為提高采摘機(jī)器人的自主導(dǎo)航能力和采摘效率，實(shí)現(xiàn)機(jī)器人的快速果樹識(shí)別和定位，結(jié)合紅外測(cè)距傳感器與計(jì)算機(jī)圖像處理技術(shù)，利用激光掃描傳感器體積小、功耗低、速度快、抗干擾等特點(diǎn)，提出了一種非接觸式測(cè)量果樹深度信息的方法；并結(jié)合計(jì)算機(jī)圖像處理對(duì)果樹進(jìn)行了標(biāo)定，實(shí)現(xiàn)果樹的快速識(shí)別與定位，為采摘機(jī)器人運(yùn)動(dòng)軌跡規(guī)劃提供了自主導(dǎo)航的參數(shù)。為了驗(yàn)證該方法的可靠性，在采摘機(jī)器人試驗(yàn)樣機(jī)上安裝了紅外線測(cè)距和激光掃描快速定位裝置，并通過左右兩側(cè)果樹的導(dǎo)航路徑擬合，得到了機(jī)器人的行走路徑，通過對(duì)比紅外線測(cè)距和激光掃描的結(jié)果發(fā)現(xiàn)，其擬合路徑基本吻合，從而驗(yàn)證了該方法測(cè)量數(shù)據(jù)的可靠性。根據(jù)不同的樹高對(duì)應(yīng)的枝葉密度，利用計(jì)算機(jī)圖像處理對(duì)果樹進(jìn)行了標(biāo)定，最后利用激光掃描方法對(duì)標(biāo)定后的果樹進(jìn)行了快速定位，并將結(jié)果和全站儀的結(jié)果進(jìn)行了對(duì)比，結(jié)果表明：激光掃描和全站儀之間的最大誤差僅為20mm。這說明，激光測(cè)量的精度較高，可以滿足設(shè)計(jì)的需求。

采摘機(jī)器人；紅外線測(cè)距；激光掃描；快速定位；果樹標(biāo)定

0 引言

近年來，隨著科學(xué)技術(shù)的發(fā)展和生產(chǎn)力的進(jìn)步，人們對(duì)自動(dòng)化作業(yè)要求的呼聲越來越高；然而農(nóng)業(yè)作為國(guó)民經(jīng)濟(jì)的物質(zhì)基礎(chǔ)，在快速發(fā)展的工業(yè)化和日益顯現(xiàn)的人口老齡化背景下，加快農(nóng)業(yè)裝備的研究進(jìn)程變得更加迫切。我國(guó)是水果生產(chǎn)大國(guó)，目前我國(guó)果園無論是面積還是產(chǎn)量均居世界前列，但果樹的種植和管理技術(shù)落后。隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的飛速發(fā)展，農(nóng)業(yè)機(jī)器人已成為現(xiàn)代化農(nóng)業(yè)裝備研究中的重要組成部分，智能化果園裝備自動(dòng)導(dǎo)航系統(tǒng)的研究一直以來都受到各國(guó)學(xué)者的高度重視。本次研究將紅外線技術(shù)和激光掃描技術(shù)應(yīng)用到了機(jī)器人的果樹標(biāo)定和快速定位的優(yōu)化設(shè)計(jì)上，以期提高機(jī)器人的自動(dòng)化程度，提高機(jī)器人的定位速度和采摘效率。

1 快速定位采摘機(jī)器人設(shè)計(jì)

為了實(shí)現(xiàn)采摘機(jī)器人的快速定位，采用紅外線測(cè)距和激光掃描兩種方式來進(jìn)行快速定位。其中，紅外線和激光掃描儀及傳感器都安裝在采摘機(jī)器人的頂部，從而可以得到更加廣闊的視野。機(jī)器人快速定位的一般流程如圖1所示。

圖1 采摘機(jī)器人快速定位系統(tǒng)流程圖Fig.1 The flow chart of rapid positioning system for picking robot

傳感器通過實(shí)時(shí)掃描，將紅外線測(cè)距和激光掃描得到的信息傳遞給PC機(jī)；PC機(jī)將信息進(jìn)行處理，并將數(shù)據(jù)進(jìn)行篩選，掃描完成后將數(shù)據(jù)導(dǎo)入到MatLab軟件中進(jìn)行圖像處理和圖像的繪制。圖像處理流程如圖2所示。

為了實(shí)現(xiàn)果樹的快速標(biāo)定，本次研究采用MatLab軟件對(duì)圖像進(jìn)行處理，包括圖像的二值化轉(zhuǎn)換、圖像增強(qiáng)濾波、圖像分割和形態(tài)學(xué)輪廓提取，將提取出的果樹形狀可以按照特征進(jìn)行分類。圖像實(shí)時(shí)掃描和采集的結(jié)構(gòu)示意圖如圖3所示。

圖2 機(jī)器人視覺圖像處理Fig.2 The image processing for robot vision

圖3 果樹定位機(jī)器人結(jié)構(gòu)示意圖Fig.3 The structure schematic diagram of fruit trees positioning robot

由于采用了激光掃描和紅外線測(cè)距兩種方式，可以大大提高機(jī)器人的定位精度及定位速度，從而提高機(jī)器人的作業(yè)效率。

2 紅外線測(cè)距和激光掃描快速定位擬合導(dǎo)航路徑

本次研究主要是對(duì)果樹的中線進(jìn)行紅外線測(cè)距和激光導(dǎo)航，從兩行果樹中分別取離采摘機(jī)器人最近的兩行果樹的30棵進(jìn)行兩兩組合，組成15組數(shù)據(jù)，并取兩顆樹的中點(diǎn)作為擬合數(shù)據(jù)點(diǎn)。機(jī)器人測(cè)試的試驗(yàn)樣機(jī)如圖4所示。

該機(jī)器人使用紅外線測(cè)距和激光掃描進(jìn)行果樹坐標(biāo)的測(cè)量，可以利用公式(1)對(duì)果樹組合的中點(diǎn)進(jìn)行計(jì)算，有

(1)

其中,xLm和xRm分別表示紅外線和激光掃描儀得到的第m組左右兩側(cè)果樹的坐標(biāo)；xt和yt分別表示兩側(cè)果樹的中點(diǎn)坐標(biāo)。通過公式(1)可以得到擬合的紅外線和激光導(dǎo)航路徑，該路徑由15個(gè)坐標(biāo)點(diǎn)組成，使用最小二乘法對(duì)路徑進(jìn)行擬合，由紅外線測(cè)距得到的路徑擬合坐標(biāo)如表1所示。

圖4 紅外線和激光掃描果樹定位機(jī)器人Fig.4 The fruittrees positioning robot of infrared and laser scanning表1 紅外線測(cè)得擬合點(diǎn)坐標(biāo)Table 1 Fitting point coordinates by infrared measurement

序號(hào)中點(diǎn)坐標(biāo)序號(hào)中點(diǎn)坐標(biāo)1(0.25,3.28)2(0.12,5.32)3(0.04,8.25)4(-0.52,9.12)5(-0.25,8.35)6(-0.58,9.36)7(-0.86,9.28)8(-0.23,10.65)9(-0.29,11.36)10(-0.05,11.52)11(0.26,11.58)12(0.32,12.32)13(0.35,13.25)14(0.52,14.26)15(0.53,15.32)16(0.55,16.28)

為了提高坐標(biāo)測(cè)量的準(zhǔn)確性，使用激光掃描和紅外線測(cè)得值進(jìn)行對(duì)比，激光掃描測(cè)得擬合點(diǎn)坐標(biāo)如表2所示。

表2 激光掃描擬合點(diǎn)坐標(biāo)

由表2可以看出：激光掃描得到的擬合點(diǎn)和紅外線測(cè)距得到的擬合點(diǎn)位置坐標(biāo)比較吻合，從而驗(yàn)證了測(cè)量數(shù)據(jù)的可靠性。根據(jù)最小二乘原理，假設(shè)擬合直線方程為y=ax+b，取偏差平方和為δ=∑(yt-y)2，將y=ax+b帶入可得

δ=∑(yk-ax-b)2

(2)

為了使偏差平方和最小，將函數(shù)分別對(duì)a、b進(jìn)行求導(dǎo)，令偏導(dǎo)數(shù)的值等于0，則可得

(3)

通過求解可得

(4)

將a、b代入到擬合曲線y=ax+b，使用MatLab軟件進(jìn)行曲線擬合，可以到采摘機(jī)器人的導(dǎo)航路徑為

(5)

其中，y1、y2分別表示使用紅外線測(cè)距和激光掃描得到的擬合曲線。由曲線結(jié)果可以看出，激光掃描和紅外線測(cè)距得到的曲線基本吻合，從而驗(yàn)證了數(shù)據(jù)測(cè)量的可靠性。

3 快速果樹標(biāo)定和定位測(cè)試

由驗(yàn)證可看出，使用激光掃描測(cè)量的準(zhǔn)確性較高，因此接下來的實(shí)驗(yàn)主要使用激光掃描進(jìn)行果樹的標(biāo)定和定位。使用激光掃描進(jìn)行快速定位的基本流程如圖5所示。

圖5 激光掃描快速定位Fig.5 The fast positioning map for laser scanning

首先由激光脈沖二極管發(fā)出激光信號(hào)，經(jīng)過旋轉(zhuǎn)棱角射向果實(shí)目標(biāo)；然后利用接收器接受發(fā)射回來的信號(hào)，并使用記錄器進(jìn)行記錄；最后使用PC機(jī)轉(zhuǎn)換為可以直接處理的數(shù)據(jù)信息，利用軟件對(duì)信息進(jìn)行處理。在進(jìn)行定位之前，首先需要利用機(jī)器人視覺對(duì)果樹圖像進(jìn)行采集，并對(duì)果樹進(jìn)行標(biāo)定。

圖6表示使用采摘機(jī)器人機(jī)器視覺的攝像頭采集得到的果樹原圖。利用MatLab軟件進(jìn)行二值化處理得到灰度圖像，將得到的二值圖進(jìn)行濾波和輪廓提取，得到了如圖7所示的結(jié)果。

圖6 待定位果樹原圖和二值化圖Fig.6 The original image and the binarization imgage of

fruit trees to be located

圖7 濾波和輪廓提取Fig.7 The filtering and contour extraction

由圖7可以看出：通過中值濾波后，果樹的輪廓更加清晰，對(duì)輪廓進(jìn)行提取后，可以對(duì)果樹進(jìn)行標(biāo)定，以便采摘機(jī)器人作業(yè)時(shí)進(jìn)行快速定位。

圖8表示本實(shí)驗(yàn)的果實(shí)分類標(biāo)定的結(jié)果。根據(jù)不同的樹高對(duì)應(yīng)的枝葉密度，可以將不同樹高的數(shù)目進(jìn)行分類標(biāo)定，在采摘果實(shí)時(shí)可以按照分類特征進(jìn)行快速定位。為了驗(yàn)證激光掃描果樹快速定位的精度和可靠性，使用全站儀首先對(duì)果樹的坐標(biāo)進(jìn)行測(cè)量，然后利用激光掃描再次重新測(cè)量，將測(cè)量結(jié)果進(jìn)行對(duì)比，便可以得到測(cè)量誤差。

圖8 果樹分類標(biāo)定結(jié)果Fig.8 The calibration results of fruit classification

表3表示利用激光掃描和全站儀進(jìn)行位置測(cè)量得到的最終結(jié)果。由結(jié)果對(duì)比可以看出：激光掃描和全站儀之間的最大誤差僅為20mm。這說明，激光測(cè)量的精度較高，可以滿足設(shè)計(jì)的需求。

表3 定位結(jié)果和誤差分析

4 結(jié)論

利用紅外線測(cè)距和激光掃描原理，設(shè)計(jì)了一種非接觸式的采摘機(jī)器人快速定位裝置。該裝置結(jié)合計(jì)算機(jī)圖像處理技術(shù)，可以實(shí)現(xiàn)果樹的快速識(shí)別和定位，有效地提高了機(jī)器人的采摘效率。為了驗(yàn)證該方法的可靠性，對(duì)采摘機(jī)器人試驗(yàn)樣機(jī)進(jìn)行了測(cè)試，由左右兩側(cè)果樹的導(dǎo)航路徑擬合結(jié)果發(fā)現(xiàn)：采用紅外線測(cè)距和激光掃描進(jìn)行路徑擬合的結(jié)果基本吻合，從而驗(yàn)證了該方法測(cè)量數(shù)據(jù)的可靠性。利用計(jì)算機(jī)圖像處理對(duì)果樹進(jìn)行了標(biāo)定，利用激光掃描儀和全站儀對(duì)果樹進(jìn)行了定位，通過對(duì)比測(cè)量結(jié)果發(fā)現(xiàn)：激光掃描儀的測(cè)量精度較高，可以滿足采摘機(jī)器人快速精確定位的設(shè)計(jì)需求。

[1] 陳科尹,鄒湘軍,熊俊濤,等.基于視覺顯著性改進(jìn)的水果圖像模糊聚類分割算法[J].農(nóng)業(yè)工程學(xué)報(bào), 2013,29(6):157-165.

[2] 王文慶,張濤,龔娜.基于多傳感器融合的自主移動(dòng)機(jī)器人測(cè)距系統(tǒng)[J].計(jì)算機(jī)測(cè)量與控制,2013,21(2): 343-345.

[3] 郭艾俠,鄒湘軍,朱夢(mèng)思,等.基于探索性分析的荔枝果及結(jié)果母枝顏色特征分析與識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2013,29(4):191-198.

[4] 項(xiàng)榮,應(yīng)義斌,蔣煥煜.田間環(huán)境下果蔬采摘快速識(shí)別與定位方法研究進(jìn)展[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2013, 44(11):208-223.

[5] 魏澤鼎,賈俊國(guó),王占永.基于視覺傳感器的棉花果實(shí)定位方法[J].農(nóng)機(jī)化研究,2012,34(6):66-68,112.

[6] 李立君,李昕,高自成,等.基于偏好免疫網(wǎng)絡(luò)的油茶果采摘機(jī)器人圖像識(shí)別算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2012,43(11):209-213.

[7] 王輝,毛文華,劉剛,等.基于視覺組合的蘋果作業(yè)機(jī)器人識(shí)別與定位[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(12): 165-170.

[8] 袁挺,紀(jì)超,陳英,等.基于光譜成像技術(shù)的溫室黃瓜識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2011,42(S1):172-176.

[9] 熊俊濤,鄒湘軍,陳麗娟,等.采摘機(jī)械手對(duì)擾動(dòng)荔枝的視覺定位[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(14):36-41.

[10] 呂繼東,趙德安,姬偉,等.采摘機(jī)器人振蕩果實(shí)動(dòng)態(tài)識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(5):173-196.

[11] 錢建平,楊信廷,吳曉明,等.自然場(chǎng)景下基于混合顏色空間的成熟期蘋果識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(17):137-142.

[12] 顧寶興,姬長(zhǎng)英,王海青,等.智能移動(dòng)水果采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(6):153-160.

[13] 王海青,姬長(zhǎng)英,顧寶興,等.基于機(jī)器視覺和支持向量機(jī)的溫室黃瓜識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(3):163-167.

[14] 王輝,毛文華,劉剛,等.基于視覺組合的蘋果作業(yè)機(jī)器人識(shí)別與定位[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(12): 165-170.

[15] 李寒,王庫(kù),曹倩,等.基于機(jī)器視覺的番茄多目標(biāo)提取與匹配[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(5):168-172.

[17] 李立君,李昕,高自成,等.基于偏好免疫網(wǎng)絡(luò)的油茶果采摘機(jī)器人圖像識(shí)別算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(12):209-213.

[18] 蔡晉輝,才輝,張光新,等.復(fù)雜環(huán)境下自動(dòng)導(dǎo)引車路徑識(shí)別算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2011,42(10):20-24, 89.

[19] 陳艷,張漫,馬文強(qiáng),等.基于GPS和機(jī)器視覺的組合導(dǎo)航定位方法[J].農(nóng)業(yè)工程學(xué)報(bào),2001，27(3):126-130.

[20] 陳銀清,洪添勝,孫同彪.山地果園單軌貨運(yùn)機(jī)的最小轉(zhuǎn)彎半徑及最大承載量分析[J].農(nóng)業(yè)工程學(xué)報(bào), 2012，28(S1):50-56.

[21] 米雪,蘇健民.穩(wěn)定精確的攝像機(jī)標(biāo)定方法[J].計(jì)算機(jī)工程與應(yīng)用, 2012，48(16):190-193.

[22] 王子亨,穆森,邱桂蘋.攝像機(jī)非線性標(biāo)定方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2010，31(15):3526-3529.

[23] 李明,李旭,孫松林,等.基于全方位視覺傳感器的農(nóng)業(yè)機(jī)械定位系統(tǒng)[J].農(nóng)業(yè)工程學(xué)報(bào),2010,26(2):170-174.

[24] 傅錫敏,薛新宇.基于我國(guó)施藥技術(shù)與裝備現(xiàn)狀的發(fā)展思路[J].中國(guó)農(nóng)機(jī)化,2008(6):72-76.

[25] 傅澤田,祁力鈞,王俊紅.精確施藥拉術(shù)研究進(jìn)展與對(duì)策[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2007,38(1):189-192.

[26] 郭輝,韓長(zhǎng)杰.精確施藥技術(shù)的研究與應(yīng)用現(xiàn)狀[J].農(nóng)業(yè)科技與裝備,2009(4):42-46.

[27] 呂太國(guó).靜電噴霧系統(tǒng)特性研究[J].農(nóng)機(jī)化研究,2009，31(5):54-70.

[28] 燕明德,賈衛(wèi)東,張斌,等.國(guó)內(nèi)外靜電噴霧施藥技術(shù)及機(jī)具研究[J].農(nóng)業(yè)機(jī)械,2008(8):53-54.

Design for Picking Robot of Fruit Trees Fast Positioning—Based on Infrared and Laser Scanning Technology

Zhang Bangfeng

(Institute of Applied Electronics, Chongqing College of Electronic Engineering, Chongqing 401331, China)

In order to improve the autonomous navigation capabilities and picking efficiency of the picking robot, realize the robot rapid fruit recognition and positioning, combined with infrared distance measuring sensors and computer image processing technology, it used laser scanning sensor with the advantages of small volume, low power, speed, anti-interference characteristics. It put forward a method of non-contact measurement of fruit tree depth information, combined with computer image processing ,which is used to calibrate the fruit trees, realize the fruit fast identification and location, for the picking robot trajectory planning. It provides autonomous navigation parameters. In order to verify the reliability of the method, in picking robot experimental prototype installed infrared ranging and scanning laser rapid positioning device, and the fruit trees on both sides of the navigation path fitting, robot walking path, through the contrast of infrared distance and laser scan. And from the scan results, it was found that the fitting path are basically consistent, which verifies the reliability of the measurement data. According to the different tree corresponds to high foliage density using computer image processing, which is used to calibrate the fruit trees, at last, fast location of calibration of fruit trees used laser scanning method and total station instrument results were compared. The maximum error between the laser scanner and total station is only 20mm, which indicate that the high precision of laser measurement can meet the design requirements.

picking robot; infrared distance measurement; laser scanning; rapid positioning; fruit calibration

2016-03-03

重慶市科學(xué)技術(shù)委員會(huì)一般項(xiàng)目(cstc2015shmszx0431)

張邦鳳(1964-)，女，重慶人，副教授，碩士，(E-mail)zbfcq@sina.com。

S225.93；TP391.41

A

1003-188X(2017)06-0233-05