采摘機器人選擇性作業信息獲取研究——基于無標定視覺伺服系統

張 璐，郭奇青

(河南工業職業技術學院，河南 南陽 473000)

?

采摘機器人選擇性作業信息獲取研究
——基于無標定視覺伺服系統

張 璐，郭奇青

(河南工業職業技術學院，河南 南陽 473000)

以采摘機器人采摘作業為研究對象，以選擇性采摘成熟果蔬為研究目標，基于無標定視覺伺服系統，結合果蔬成熟特性判斷目標果實是否適合采摘，設計了一套以MSP430F149為核心的智能檢測控制系統，可以實時處理相機采集到的圖像，并選擇性采摘符合要求的果實。本文重點研究了視覺伺服原理與模型、果實成熟度判斷、選擇性作業信息獲取，以及系統的硬軟件設計，并對文中設計研究的系統進行了可行性驗證。試驗結果表明：該無標定視覺伺服系統判斷準確，能夠較大程度提高機器人的可靠性與穩定性，應用前景寬廣。

采摘機器人；視覺伺服系統；選擇性作業；圖像信息

0 引言

21世紀以來，農業機械智能化程度越來越高，機器人方面的技術也日益成熟，對我國農業種植模式產生了較大影響。隨著科學技術手段和現代生產工具的逐漸發展，智能化技術將在農業種植生產模式上發揮重要作用，促使我國實現精準化農業，大力推進農業現代化步伐。在采摘機器人研究中，對目標成熟度判斷和選擇性作業是重中之重。為此，將根據果蔬采摘作業環境的特點，結合果蔬成熟特征，根據無標定視覺伺服系統，采用MSP430F149搭建的智能控制系統，對該機器人選擇性收獲作業進行信息的收集和處理，達到采摘機器人對成熟目標進行選擇性作業的目的。

1 視覺伺服原理與模型

視覺伺服系統基礎知識主要包括成像原理及視覺伺服優化算法等。視覺成像原理：首先給出小孔成像基礎知識，提出相機成像模型，對成像原理進行簡單說明。對于機器人運動模型，將介紹其關節變量、速度變換的運動學原理，結合視覺成像原理介紹手眼映射關系，進而介紹圖像處理的概念。本文對于視覺伺服的優化算法主要采用擬牛頓法。

1.1 視覺成像原理

視覺成像一般是通過相機圖像采集形成，采集過程依據小孔成像原理進行。小孔成像原理：當光在同一介質中，在無外界干擾的條件下，一般沿直線方向傳播，如圖1所示。

圖1 小孔成像原理

由圖1可以看出：當有一帶有小孔的遮光板擋在投射屏幕與物體之間時，屏幕上會出現物體的倒影。通過無標定視覺成像主要是利用小孔成像原理進行圖像映射的研究，在研究過程中要了解三維直角坐標系(Xw,Yw,Zw)，相機成像空間特征坐標(Xc,Yc,Zc)及圖像處理中的坐標向量(u,v)。相機成像模型示意如圖2所示。

根據圖2所建模型，三維直角坐標系與相機空間特征坐標之間關系可以表示為

(1)

其中，zc為相機與目標之間的距離；u0與v0為圖像中的坐標值；fx和fy是相機間的焦距；R和T為旋轉矩陣，與相機的方向和位置有關。

假設

(2)

則有

(3)

轉換形式后得

(4)

圖2 相機成像模型示意圖

1.2 視覺伺服的優化算法

對于視覺伺服的優化算法，本文采用擬牛頓法。其不僅收斂速度快，計算目標函數的難度也比較小，適合在復雜的條件下對目標函數進行優化。牛頓法計算的基本思想為：僅利用目標函數f和一階梯度值g搜索新的迭代點。

首先，設xk∈Rn，并可以通過某一確定方式搜索得到xk+1，如果f(x)二階可導，則有梯度函數為

(5)

(6)

采用擬牛頓法優化算法具體步驟如圖3所示。

圖3 擬牛頓法優化算法流程圖

2 果實成熟度判斷與選擇性作業信息獲取

在環境復雜的蔬菜園中，選擇性地采摘成熟果實，采摘機器人要提前識別判斷果園中的成熟果實。無標定伺服視覺系統可以根據顏色空間模型算法和圖像處理及果蔬表皮的顏色、形態特征和距離信息準確判斷果蔬的成熟度。顏色模型是空間顏色坐標中能夠讓人們看得到的光子集合，RGB是空間坐標系顏色系統的一個單位像素。RGB顏色模型如圖4所示。

圖4 RGB顏色模型示意圖

無標定視覺伺服系統能夠統計果蔬顏色的色度、飽和度和亮度，然后進行數據信息儲存，進而判斷果實成熟度。則有

(7)

(8)

(9)

(10)

其中，R、G、B為紅、綠、藍三原色；H為顏色色彩；S為顏色彩度；I為顏色明度；θ為果蔬成熟度判定因子。根據其值并與儲存的果蔬各個時期數據信息作對比，就可以判斷果蔬的成熟度，然后對果蔬進行選擇性采摘作業。

3 目標果實定位的自動調整

采摘機器人作業過程中，末端執行器沿著目標靠近時，發現與目標位置發生偏差，應快速進行調整。當執行器移動方向相對目標靠上或者靠下時，末端執行器應減小靠近速度，并調整末端執行器前進角度；重新對準目標果實后，計算出末端執行器與待摘果實之間在Y方向上的距離，實現對該果實的準確采摘。目標果實定位自動調整流程如圖5所示。

圖5 目標果實定位自動調整流程圖

對成熟果實的定位自動調整方法為：將相機所拍圖像進行有效處理、識別和計算，結合機械手和相機運動特點，得到目標果實位置、深度信息和采摘參數；然后進一步分析確定末端執行器的移動方向與速度，實現待摘果實的精確采摘。

4 采摘機器人視覺伺服系統的硬軟件設計

4.1 采摘機器人控制系統的硬件設計

采摘機器人控制系統因作業環境復雜，一般需要有較高的穩定性和可靠性。基于這些方面的考慮，本系統硬件框架設計如圖6所示。

圖6 采摘機器人控制系統硬件框架

采摘機器人需要實時對視覺伺服系統進行數據采集的快速處理，同時高效快速地驅動機器人移動，并驅使末端執行器完成采摘動作。因此，本文設計了以MSP430F149為核心控制單元的硬件體系，能實時完成信息的收集和處理。該硬件體系主要包括視覺伺服系統和驅動電路。

4.2 采摘機器人控制系統的軟件設計

考慮視覺伺服系統和驅動系統的精確性和可靠性，本文采摘機器人控制系統軟件設計采用IAR Embedded Workbench開發平臺，可為開發和管理MSP430嵌入式應用程序提供極大便利。采摘機器人控制系統的軟件結構由Main、圖像采集處理、電機驅動及傳感器采集等程序組成，框架如圖7所示。

圖7 采摘機器人控制系統軟件框架

根據機器人作業環境和工作過程，系統通過調用各子程序，控制機器人的正常運行，并根據傳感信息反饋實時修改控制指令。采摘機器人控制主程序流程，如圖8所示。

圖8 采摘機器人控制主程序流程圖

5 仿真實驗與結果分析

為了驗證該機器人選擇作業的可靠性，將該采摘機器人在一個蘋果種植園進行了測試，以蘋果成熟度判斷為研究對象。研究中首先選取500個番茄樣本進行圖像采集，并制定樣本集，然后對作業區域進行圖像采集，并與樣本集數據進行對比。圖像采集與處理流程如圖9和圖10所示。

(a) 圖像采集 (b) 處理結果 (c) 修正結果

(a) 通道圖像 (b) 二值化 (c) 優化算法處理 (d) 輪廓分割圖

由于蘋果的輪廓一般不是一個規則的圓形，在進行處理過程中，需要用軟件進行擬合，會有一定的誤差。在復雜的環境下，由于取景光線的問題，也會產生一定的誤差。計算成熟度測試誤差的公式為

(11)

其中，E為誤差值；θ為蘋果成熟度判斷因子；s為蘋果輪廓面積。單個蘋果成熟度判斷識別結果如表1所示。

表1 單個蘋果成熟度判斷識別結果

表1說明：在對蘋果成熟度判定的實驗中，機器人能準確判斷其成熟度值，并根據誤差值決策是否適合采摘作業。實驗表明：該無標定視覺伺服系統測量比較可靠、精準程度高，可以實現對采摘目標的準確判斷，對機器人的智能化有著重要作用。

6 結論

針對采摘機器人在作業過程中采摘目標難確定及容易采摘未成熟果實的問題，以采摘機器人果蔬選擇性采摘作業為研究對象，加入自適應學習方法，采用無標定視覺伺服系統對待采摘目標進行選擇性采摘判斷，并將其投入蘋果種植園使用，對機器人判斷目標果實成熟度的能力進行驗證。結果表明：在復雜園林的環境下，該采摘機器人能對蘋果成熟度進行準確判斷，并對判斷中誤差進行精確計算，進而確定所測目標是否適合采摘。該機器人選擇性判斷識別能力強、系統穩定、可靠性強、應用前景寬廣。

[1] 王新忠.溫室番茄收獲機器人選擇性收獲作業信息獲取與路徑規劃研究[D].鎮江：江蘇大學,2012.

[2] 呂繼東.蘋果采摘機器人視覺測量與避障控制研究[D]. 鎮江：江蘇大學,2012.

[3] 黃鋁文.蘋果采摘機器人視覺識別與路徑規劃方法研究[D].楊凌：西北農林科技大學,2013.

[4] 毛尚勤.微操作系統的機器視覺與無標定視覺伺服研究[D].武漢：華中科技大學,2013.

[5] 紀超.溫室果蔬采摘機器人視覺信息獲取方法及樣機系統研究[D].北京：中國農業大學,2014.

[6] 張春龍.自然環境下農業機器人作業目標信息獲取與視覺伺服策略研究[D].北京：中國農業大學,2014.

[7] 李占坤,趙德安,姬偉,等.基于工業PC機的果樹采摘機器人控制系統設計[J].機械設計與制造,2010(6):142-144.

[8] 寧志超,崔天時,李廣軍.六自由度果實采摘機械手及其控制系統的設計[J].農機化研究,2010,32(9):111-113,117.

[9] 呂繼東,趙德安,姬偉,等.開放分布式蘋果采摘機器人控制系統研究及實現[J].小型微型計算機系統,2012(2):289-292.

[10] 呂繼東,趙德安,姬偉,等.蘋果采摘機器人對振蕩果實的快速定位采摘方法[J].農業工程學報,2012(13):48-53.

[11] 趙喜鋒,杜向黨,鞏靜靜,等.基于動態目標的機器人無標定視覺伺服系統仿真[J].機床與液壓,2012(11):116-119.

[12] 李占坤.果樹采摘機器人控制系統研究與設計[D]. 鎮江：江蘇大學,2010.

[13] 宋健.茄子采摘機器人結構參數的優化設計與仿真[J].機械設計與制造,2008(6):166-168.

[14] 楊誠.無標定視覺伺服系統的優化算法研究[D].合肥：中國科學技術大學,2014.

[15] 張玉.近地面果蔬采摘機器人末端執行器及機械臂的研究[D].沈陽：沈陽工業大學,2014.

[16] 張發年.獼猴桃無損采摘未端執行器的設計與研究[D].楊凌：西北農林科技大學,2014.

[17] 丁乙.蘋果采摘機器人視覺系統技術基礎研究[D].秦皇島：燕山大學,2014.

[18] 郭藍彬.基于圖像雅可比矩陣的無標定工業機器人視覺伺服[D].西安：西安理工大學,2006.

[19] 李玉良.基于立體視覺的遮擋柑橘識別與空間匹配研究[D]. 鎮江：江蘇大學,2007.

[20] 呂強.柑橘采摘機器人工作場景信息感知技術與路徑規劃研究[D]. 鎮江：江蘇大學,2010.

[21] 呂小蓮.基于四自由度西紅柿采摘機器人視覺系統的研究[D].沈陽：沈陽農業大學,2008.

[22] 魏海峰.果實采摘機器人快速柔順夾持測試系統設計[J].中國農機化,2011(3):87-89.

[23] 趙慶波.果樹采摘機器人控制與避障技術研究[D]. 鎮江：江蘇大學,2008.

[24] 姬偉,程風儀,趙德安,等.基于改進人工勢場的蘋果采摘機器人機械手避障方法[J].農業機械學報,2013(11):253-259.

[25] 寧志超.基于ATmega16的六自由度果實采摘機械手控制系統的設計[D].哈爾濱：東北農業大學,2010.

[26] 高鵬.六自由度果蔬采摘機器人離線編程系統設計[D].杭州：浙江理工大學,2013.

[27] 王燕,張果,葛運旺.四自由度關節型采摘機械手軌跡規劃與實驗研究[J].現代制造工程,2013(7):27-31.

Research on the Selective Operation of Information Acquisition in Picking Robot Based on Uncalibrated Visual Servo System

Zhang Lu, Guo Qiqing

(Henan Polytechnic Institute, Nanyang 473000, China)

It takes the picking robot picking operation as the research object, selects the picked ripe fruits and vegetables as the research target, which is based on uncalibrated visual servo system, combined with fruit and vegetable ripening characteristics determine target fruit. It is suitable for picking design to select MSP430F149 as the core of intellectual to detection and control system that can real-time processing camera to capture the image, and selective picking in line with the requirements of the fruit. It focuses on the design of hardware and software and a system for acquiring visual servo principle and model of fruit maturity, judgment and selective operation information. And the system design is verified feasibility. The test results show that the uncalibrated visual servo system is accurate, which can greatly improve the reliability and stability of the robot with wide application prospect.

picking robot; visual servo system; selective operation; image information

2016-03-10

河南省科技攻關項目(152102110161)

張 璐(1982-)，女，河南南陽人，講師，碩士。

郭奇青(1983-)，女，河南南陽人，講師，碩士，(E-mail)lusiq@sina.com。

S225.93；TP391.41

A

1003-188X(2017)05-0241-05