視覺傳感器在采摘機器人目標果實識別系統中的應用

樊艷英，張自敏，陳冠萍，李碧青

(賀州學院，廣西 賀州 542899)

0 引言

在區塊鏈農業平臺的推進下，我國智慧農業的潛在市場價值逐漸加大，在新型農業生產模式的發展下，農業機器人必將得到廣泛的發展。農業機器人是一種新型的生產工具，是自動化技術與農業生產深度融合發展的產物。采摘機器人是農業機器人中重要的一類，對我國未來水果產業發展具有重要意義。本文在對雙目視覺系統和攝像機標定模型的研究中，設計了一套基于視覺傳感器的采摘機器人目標果實識別系統，實現了目標果實的識別與定位。

1 采摘機器人總體設計

本文研究的基于視覺傳感器的采摘機器人目標果實識別系統服務于水果采摘機器人，而采摘機器人的核心功能是實現對目標果實的采摘。采摘機器人作業過程：首先由CCD雙目攝像機獲取目標果實的圖像信息，通過圖像處理系統對圖像的處理，實現對目標果實的識別和定位，獲取目標果實的三維坐標信息；然后控制系統根據目標果實的三維坐標信息，驅動伺服電機控制末端執行器的運動；最后，通過控制系統和末端執行器的配合，實現對目標果實的采摘作業。該機器人主要由主控制部分、傳感器組件、車聲載體、主臂、大臂輔助組件、大臂組件、伺服電機、小臂組件、CCD攝像機和末端執行器等組成，如圖1所示。

1. 傳感器組件 2.主控制部分 3.車聲載體 4.主臂 5.大臂輔助組件 6.大臂組件 7.伺服電機 8.小臂組件 9.CCD攝像機 10.末端執行器

1.1 系統硬件設計

采摘機器人的機械部分只是一個平臺，要想實現對目標果實的采摘，還需要搭載以控制系統為核心的電路平臺。該采摘機器人目標果實識別系統以主控制部分為核心，通過視覺傳感器獲取圖像信息，由圖像處理軟件對圖像信息進行處理，實現對目標果實的三維定位，進而實現采摘作業。采摘機器人目標果實識別系統示意圖如圖2所示。

為了實現末端執行器對目標果實的準確采摘，設計了機械臂控制系統，通過主控制器和伺服驅動的配合，實現對果實的成功采摘。本文采用DSP為核心處理器，采摘機器人目標果實識別系統主要包括DSP控制器、視覺系統、機械臂、末端執行器、上位機和移動裝置等6部分，如圖3所示。

圖2 采摘機器人目標果實識別系統示意圖

圖3 目標果實識別系統電路控制框架圖

1.2 系統軟件設計

本文采用上位機實現對采摘機器人的遠程控制，主要是控制機器人實現對目標果實的采摘。上位機軟件是基于QT環境開發搭建的，其軟件作業流程如圖4所示，主界面如圖5所示。

2 機器視覺系統設計

采摘機器人視覺系統主要包括目標果實識別和三維坐標定位兩部分。本文采用維視數字圖像技術有限公司的MV-EM系列小型千兆網CCD相機作為視覺傳感器，并結合QT開發的上位機進行圖像處理。采摘機器人視覺系統工作框架如圖6所示。

視覺系統是采摘機器人目標果實識別系統的核心，視覺系統包括CCD相機和圖像處理模塊。系統通過雙CCD相機獲取果實圖像信息，圖像處理模塊計算得到目標果實的數量、三維坐標，然后驅動控制末端執行器根據坐標進行采摘。

圖4 智能采摘機器人系統軟件流程示意圖

圖5 上位機主界面圖

圖6 采摘機器人視覺系統工作框架圖

3 攝像機標定模型及目標果實識別定位

3.1 攝像機標定模型

攝像機通過成像透鏡將三維場景投影到攝像機二維平面上，這個投影可用成像變換來描述。攝像機成像模型分為線性模型和非線性模型。針孔成像模型就是線性模型中的一種，本文在攝像機標定模型的分析中，采用線性模型進行討論，某空間點與其圖像投影點在各種坐標系下的坐標變換關系。三維空間物體成像模型如圖7所示。

圖7 三維圖像成像模型圖

該模型建立了4個不同層次的坐標系：

1)確定攝像機坐標系OCXCYCZC；

2)建立參考世界坐標系(XW,YW,ZW)；

3)確定以(x,y,z)的成像平面坐標系；

4)u-o-v為以像素為單位的圖像坐標系。

圖像和像素之間(u,v)之間的齊次坐標轉換為

(1)

其中，u0、v0是圖像中心坐標；du、dv是一個像素在x與y軸上的物理尺寸；s為光軸與坐標系之間的傾斜因子。

由此可以得到物點P與圖像像素坐標系中的像點p的變換關系

(2)

其中，fx=fsx，fy=fsy分別為在x、y上的等效焦距。根據小孔成像原理，齊次坐標變換關系表示為

(3)

R=

(4)

T=(tx,ty,tz)T

(5)

其中，ψ為側傾角；θ為俯仰角；φ為旋轉角；向量R為正交旋轉矩陣；向量T=[tx,ty,tz]T為世界坐標系原點在攝像機坐標系中的坐標。

3.2 目標果實識別定位

在很多哺乳動物如獅子、老虎、豹子等，它們兩眼存在一點的距離，因此雙眼的視野存在一定的差異性，通過雙眼捕捉環境圖像信息，便能夠根據視覺差異對目標物體的位置進行定位。雙目視覺獲取目標果實三維信息與這些哺乳動物獲取深度信息相近，都在某一時刻，雙相機獲得目標物體圖像，然后通過視差進行深度信息的計算。雙目視覺系統的原理就是通過雙CCD攝像機同時對目標圖像進行拍照，得到兩幅具有差別的圖像信息，然后根據視差原理重建物體三維模型，計算物體的三維信息。雙目視覺定位原理示意如圖8所示。

圖8 雙目視覺定位原理示意圖

在定位識別過程中，設兩個CCD圖像傳感器參數相同，在某一時刻分別獲得被測物體P(x,y,z)的圖像坐標為pl(ul,ul)，pr(ur,ur)。由于兩CCD相機安裝高度相同，因此點P在左右圖像中的存在Yl=Yr=Y。兩CCD相機中心點之間的距離為d，焦距為f，根據三角幾何原理可得

(6)

轉換后可以計算出P的三維坐標，即

(7)

本文攝像機標定中，d=56mm，f為1 268個像素，帶入式(7)，即可得到P的三維坐標。

4 試驗結果分析

為了驗證采摘機器人目標果實識別系統的可行性和準確性，于2017年11月18日下午16:00，在某蘋果種植園，對成熟蘋果進行了目標識別及采摘試驗。為了讓試驗正常進行，在試驗前，對遮擋比較嚴重的果實進行了一定的整理，分為向光和背光兩輪開展。目標果實的定位試驗結果如表1所示。采摘結果如表2所示。

表1 目標果實的定位試驗結果

表2 采摘實驗結果

由表1和表2可以看出：在采摘試驗中，無論是向光或背光，采摘機器人對目標果實的半徑和距離識別都較準確，單果的果實半徑誤差在6mm以內，距離誤差在8mm以內，能夠滿足采摘機器人對蘋果采摘的容差率。試驗結果表明：采摘機器人目標果實識別系統的識別定位誤差在8mm以內，識別成功率在89%以上，定位成功率在88%以上，成功采摘率在96%以上，系統精度高，采摘效果良好。

5 結論

針對采摘機器人作業特性，基于雙視覺傳感器，設計和研究了一套采摘機器人目標果實識別系統。該系統搭建了雙目立體視覺系統，融合了圖像處理與自動化控制技術，實現了對目標果實的識別和定位功能，能夠成功對目標果實進行采摘作業。試驗結果表明：該目標果實識別系統的識別定位誤差在8mm以內，成功采摘率在96%以上，系統精度高，采摘效果良好，對實現水果采摘的自動化、無人化具有重要現實意義。