采摘機器人定位導航系統設計—基于機載三維激光成像電力巡線

阮娟娟

(內蒙古機電職業技術學院 機電工程系,呼和浩特 010070)

0 引言

近年來,隨著國家經濟水平的增長,勞動力價格不斷提高,勞動密集型企業的生產成本上升,尤其是農業生產領域,果蔬的采摘往往需要耗費大量的人力資源。據數據統計,我國農業生產過程中采摘工作所需的勞動力約占整體的40%,采用機器人代替人力勞動是未來農業生產的趨勢。目前,我國的采摘機器人設計技術還未成熟,特別是在果實識別率和采摘效率方面技術還不夠先進,本次擬將機載三維激光成像電力巡線技術引入到采摘機器人的定位導航系統的設計過程中,以提高采摘機器人定位導航的準確率和效率,對于現代采摘機器人技術的革新具有一定的借鑒意義。

1 三維激光電力巡線技術在采摘機器人導航系統中的應用

采用機載三維激光進行電力巡線過程主要是對電力線的提取和重構。目前,我國三維激光電力巡線技術還處于初始階段,國內的研究還比較少,在電力線提取時一般都是采用的Hough變換原理,通過將激光點云轉換到二維空間后進行Hough變換。采用Hough變換對電力線進行提取會損失一些三維信息,如高程信息,對于多層電力線,也不能夠快速地提取和識別單條電力線,因此有必要利用三維重構技術構造電力線的三維模型。其流程如圖1所示。

圖1 三維激光電力巡線過程

基于局部各根電力線互相平行與同一線路電力線數目、線路寬度、相鄰檔電力線走向基本一致等先驗特征,可以采用三維重構的方法重新構造三維電力線模型。采摘機器人在進行定位導航時,為了準確計算待采摘果實的位置坐標,需要對采集到的果實圖像信息進行投影線,確定方位坐標,也可以采用電力巡線三維模型重構原理確定果實的具體位置信息。其流程如圖2所示。

在采摘機器人視覺定位過程中,由于無法直接得到果實相對于采摘機器人的具體位置坐標,可采用基于激光巡線原理的三維模型重構方法,通過準確識別果實的球形形狀,提取出果實的質心位置,最終確定果實的相對位置坐標。

圖2 采摘機器人視覺定位導航過程

2 果實模型重構和識別及準確采摘控制方法

對于大部分待采摘果實而言,球形結構占70%以上,因此可以以球形目標參照物為主進行設計。為了使待采摘果實目標定位更加準確,根據激光電力巡線的原理,對三維模型進行重構,利用果實目標上的多個坐標點重構出球形模型,最后利用最小二乘法得到果實的質心位置,則有

(x-a)2+(y-b)2+(z-c)2=R2

(1)

其中,a、b、c分別表示球心在相機坐標系中的坐標,式(1)也可以寫成

(2)

如果采用n個點進行重構,則可以利用矩陣來進行求解。其表達式為

(3)

式(3)可以簡寫成

Am=B

(4)

利用最小二乘法,可以解得

m=(ATA)-1ATB

(5)

首先對采集的圖像進行處理,得到果實圖像上的8個位置點,然后用近似圓形來代替果實形狀,通過Hough變換得到圓心的坐標(i,j)和圓的半徑R,根據圓形得到圓的外接矩形,該矩形左上點(xmin,ymin),右下點坐標為(xmax,ymax),則矩形內任意坐標點(x,y)的表達式為

(6)

其中,rand()表示隨機數,返回0～32767間均勻分布的偽隨機整數;%表示求余數。通過隨機數可以將點進行分散化,從而提高最小二乘的計算機準確性,其流程如圖3所示。

圖3 果實位置坐標求解流程

根據果實位置坐標的求解流程,通過采集得到的圖像點(i,j)可以求出其在采摘機器人視覺系統中的三維坐標(x,y,z)。采摘機器人根據定位坐標可以自主實現導航功能,其采摘機械手的移動可以利用分段控制的方法,原理如圖4所示。

圖4 采摘機器人執行末端移動示意圖

根據果實目標G在導航視覺系統坐標系xoy平面內的投影G′,控制采摘機器人執行末端旋轉與軸夾角α的位置。其中,α的表達式為

α=arctan(Y/X)

(7)

在采摘過程中,采摘機器人的執行末端將在直線OG′與z軸組成的平面內運動,從A到B的移動可以利用圓弧插補的方式,其中B點的坐標為

(8)

利用B點的坐標值,通過曲線插補的形式可以將采摘機械手執行末端移動至G點位置,定位后利用執行末端的手指將果實夾緊,然后通過將果柄分離果實實現自動采摘。

如圖5所示,采摘機器人的視覺傳感器和關節角度編碼器直接采用RS232通信的方式和主控PC機進行數據進行反饋,執行末端傳感器較多,采用數據采集卡的形式將數據信息傳送給PC機。PC機端主要負責數據的處理和指令的發送,指令發送是通過將數字指令轉換為模擬指令的方式,控制執行末端的各種氣動閥工作,實現采摘機器人的自動作業。

圖5 采摘機械手末端控制硬件結構

3 采摘機器人視覺定位導航系統測試

為了驗證方案的可行性,以蘋果的采摘為例,對采摘機器人視覺定位系統的可行性進行驗證。因為蘋果是圓形的,通過圓形檢測和三維重構可以得到蘋果的質心坐標。

如圖6所示,為了保證測試的順利進行,選取了3個球形比較規則的蘋果作為研究對象,首先對采集得到的蘋果圖像進行處理,通過去掉背景圖像對蘋果進行提取,得到了如圖7所示的結果。

圖6 待采摘蘋果圖像

圖7 初步圖像處理后結果

通過對采集得到的蘋果圖像進行初步處理,成功提取了蘋果的圖像,為了使三維重構能夠更加準確,需要對初步處理后的圖像進行增強處理,進一步增強處理得到了如圖8所示的結果。

圖8 增強圖像處理后結果

通過圖像進一步增強處理,包括圖像的膨脹腐蝕等,得到了完整的圓形蘋果圖像;然后,對得到的圖像進行圓形檢測和三維重構,可以得到質心的位置,并對多次計算的位置坐標進行統計,得到了如表1所示的結果。

表1 質心計算值和測量值統計表

為了驗證計算結果的準確性,將計算得到的質心位置Z坐標和測量得到的實際結果進行了對比,對比結果表明:通過計算得到的Z坐標值點和測量得到的結果基本吻合,從而驗證了計算的可靠性。

為了進一步驗證方案的可行性,在不同工況測試條件下,對采摘機器人導航視覺的成功識別率進行了測試,如表2所示。由測試結果發現,在較暗、暗、較亮和明亮4種工況條件下,其準確識別率都在90%以上,從而進一步驗證了方案的可靠性。

表2 不同工況成功識別率統計

4 結論

為了提高采摘機器人定位導航的準確率和效率,將機載三維激光成像電力巡線技術引入到采摘機器人的定位導航系統的設計過程中,通過對果實圓形檢測和三維重構,得到果實的準確質心坐標位置。為了驗證方案的可行性,對果實質心的測量精度進行了測試,結果表明:采用機器人導航定位系統計算得到的質心位置和測量得到的結果基本吻合。對不同工況采摘機器人的成功識別率進行了測試,結果表明:采摘機器人對果實的成功識別率加高,可以滿足導航定位系統的設計需求。