基于Kinect V3的休眠期核桃樹三維重建與試驗*

錢美，馬保建，李學志，蔣煥煜

(1.新疆理工學院機電工程學院,新疆阿克蘇,843100;2.浙江省農業智能裝備與機器人重點實驗室,杭州市,310058)

0 引言

對于休眠期果樹剪枝機器人首先要獲取高質量的果樹枝干三維信息,為后續果樹枝干的識別與剪枝點定位提供數據依據[1],許多學者分別利用雙目相機、激光雷達、深度相機等傳感設備獲取果樹的三維信息,同時開展果樹重建的相關研究[2-4]。蔡健榮等[5]采用雙目相機采集柑橘樹的左右圖像,通過左右視差獲得其枝干的深度信息。Wu等[6]采集2幅無葉核桃樹圖像進行重建,然后提取其骨架并結合軟件重建完整的核桃樹。對于采用立體視覺重建果樹枝干三維模型時,不僅需要依賴果樹枝干具有豐富的紋理信息,還要克服復雜的自然光照環境影響。激光雷達傳感器可以主動獲取果樹枝干的三維信息,并且光照對其影響較小。Medeiros等[7]利用激光雷達傳感器(2D)獲取休眠期蘋果樹40幅不同視角下的三維點云,在1 h內可以重建2棵樹,重建過程復雜且重建結果誤差較大。Bai等[8]利用車載平臺搭載2D激光雷達采集無葉蘋果樹點云數據,為后續蘋果樹的粗剪提供數據支持。由于2D激光雷達傳感器獲取的點云數據分辨率較低,很難得到枝干的細節信息,而3D激光雷達設備相比于2D激光雷達,具有較高的分辨率。比如Sultan Mahmud等[9]利用3D激光雷達獲取帶葉蘋果樹的三維點云,基于采集的數據分析了蘋果樹冠層密度的分布情況。

相對于2D/3D激光雷達傳感器,深度相機的價格便宜并能夠獲取較稠密的三維點云,在采集果樹三維信息時得到了廣泛的應用[10]。Wang等[11]采用2個Kinect V1(結構光原理)深度相機并間隔90°搭建了一套采集系統,能夠重建出較好的無葉荔枝樹的三維點云,但是在自然光照條件下重建結果有待進一步驗證。Elfiky等[12]通過Kinect V2(ToF原理)深度相機采集2幅休眠期蘋果樹前后的點云,并結合Kinect Fusion算法對果樹點云進行部分重建。付昱興等[13]利用Kinect V2在單個視角下采集多幅點云融合得到1幅棗樹點云,并結合標定球方法對無葉棗樹兩側的2幅點云進行配準,然后利用Alpha-shape算法對棗樹進行表面重建,但沒有具體解釋融合幾幅點云能夠得到1幅較好的果樹枝干信息。任棟宇等[14]通過Kinect V2在實驗室內每間隔50°采集一次桃樹三維點云,結合迭代最近點(Iterative Closest Point,ICP)算法對桃樹點云進行配準,平均配準誤差為0.52 cm,采集過程較為繁瑣以及重建結果在室外有待進一步驗證。馬保建等[15]利用Kinect V3在同側相隔55°采集2幅休眠期棗樹點云,結合骨架點進行點云配準,但文中未涉及采集兩側點云以及配準的方法。

視覺感知系統是休眠期果樹修剪機器人重要的組成部分,其決定了修剪機器人完成剪枝作業的質量。本文以樹齡為3年的核桃樹為研究對象,基于Kinect V3深度相機搭建視覺系統,分別采集0°和180°時核桃樹的三維點云,結合人工標記物對2幅點云進行粗配準計算其初始轉換矩陣,然后利用ICP算法進行精配準,通過Alpha-shape算法對點云表面重建,為后續核桃樹自動化剪枝提供數據依據。

1 材料與方法

1.1 視覺系統搭建與數據采集

Kinect V3深度相機是基于飛行時間的原理(Time of Flight,ToF),于2019年發布的新一代傳感器,相比于前兩代Kinect深度相機,該款相機各個方面的性能更高而且價格低廉,具體參數如表1所示。由于Kinect V3相機可以通過音頻線實現2個相機的實時數據通訊,根據這個特點,本文利用2臺深度相機搭建核桃樹視覺感知平臺,如圖1所示,主要包括:移動平臺、2個(左、右)深度相機、聯想電腦Y70、云臺底座、音頻線、戶外電源等。本文算法在 Ubuntu 18.04 系統上的 Clion編譯器上結合Open 3D 1.3庫、PCL 1.9庫、Open CV 4.5庫編寫。

表1 不同Kinect深度相機的主要參數對比

圖1 視覺感知平臺

本文的試驗場地在新疆阿克蘇新疆理工學院核桃園,如圖2(a)所示。數據采集時間在15:30—17:30時間內天氣晴朗無風的自然條件下,距離單棵核桃樹在1.1～1.3 m位置進行兩側點云獲取(相隔180°獲取1幅點云),如圖2(b)所示。

(a) 采集地點

1.2 視覺系統的標定

由于Kinect V3深度相機內部參數在出廠前已經標定好,對于搭建的視覺系統只需標定2臺相機的位姿關系。本文利用ArUco標定板對2個深度相機的位姿進行標定,此標定過程相對于棋盤格標定更加方便,把標定板放置在視覺系統前面1～1.3 m的位置對相機位姿進行標定,如圖3所示。已知Kinect V3相機的內部參數矩陣K,通過相機獲取標定板的三維點p坐標(X,Y,Z)T,其齊次坐標(X,Y,Z,1)T,且該點的投影點坐標是(U,V)T以及齊次坐標(U,V,1)T。利用式(1)計算左相機相對標定板的位姿矩陣T左→標定板,同樣可計算右相機對于標定板的矩陣T右→標定板。利用式(2)計算2個相機之間的初始轉換矩陣T左→右,然后利用重配準算法[16]對初始矩陣T左→右進行優化,獲得最終的相機之間位姿轉換矩陣T最終,最后利用式(3)得到視覺系統采集的1幅融合點云P輸出。

(1)

T左→右=T左→標定板·T右→標定板-1

(2)

P輸出=P左+T最終·P右

(3)

式中:s——放縮系數;

T左→右——左相機相對于右相機的位姿矩陣;

T右→標定板-1——右相機相對于標定板之間的逆矩陣;

P左——左相機采集的點云;

P右——右相機采集的點云。

1.3 核桃樹點云預處理

在自然條件下,利用搭建的視覺系統采集休眠期核桃樹點云,其包含了一些背景噪聲和枝干之間的離群點(圖4紅色圓圈內的點),為了后續數據的處理,需進行點云預處理。首先利用深度信息去除核桃樹點云中的背景噪聲,根據深度距離1.1～1.6 m的范圍,去除不在范圍內的點云。其次,針對枝干間的離群點噪聲,利用統計濾波算法進行去除,該算法根據k近鄰的原則,首先查詢點pi(xi,yi,zi)的k近鄰的點pj(xj,yj,zj),然后計算該點到k附近點的平均距離di(mm),并計算平均值μ(mm)和標準差σ(mm),計算公式如式(4)所示。

(4)

式中:k——核桃樹點云的近鄰個數;

n——核桃樹點云中的數量。

若點的平均距離閾值di在標準范圍[μ-γσ,μ+γσ]之外,那么該點被認為是離群點,將該點從點云中刪除,其中γ值選擇0.2、0.4和0.8,k值選擇20、40和80進行試驗。依據試驗結果可知,當k=20,γ=2時,離群點去除最好,并能最大程度的保留核桃樹枝干信息。

1.4 核桃樹點云配準

為了得到完整的休眠期核桃樹枝干信息,對核桃樹進行雙側點云獲取,然后對2幅點云進行配準。由于采集的2幅點云之間基本沒有重疊的部分,而且2幅點云也不在同一個坐標系下,直接利用ICP算法配準誤差很大[17],根據師翊等[18]的研究,利用3個公共點可以把不同坐標系下的點云轉換到同一坐標系下,其過程就是利用旋轉、平移和縮放將2幅點云轉換到同一坐標系內,轉換公式如式(5)所示。

(5)

λ——縮放因子;

R——旋轉矩陣;

(a) 初始位姿

和λ實現點云的初始配準。

(6)

(7)

(8)

式中:a、b、c——反對稱矩陣的獨立參數;

Xs21、Ys21、Zs21——原坐標系下2個標記板之間對應點的X,Y,Z坐標之間的差值;

Xs31、Zs31——原坐標系下2個標記板之間應點的X,Z坐標之間的差值;

Xt21、Yt21、Zt21——目標坐標系下標記板之間對應點的X,Y,Z坐標的差值;

Xt31、Yt31、Zt31——目標坐標系下標記板之間另外的對應點的X,Y,Z坐標之間的差值;

對核桃樹點云粗配準以后,2幅點云在空間位置上已基本接近如圖5(c)所示。為了進一步提高核桃樹點云的配準精度,以及避免陷入局部最優解,將粗配準得到的轉換矩陣作為ICP算法的初始值,對初始轉換矩陣進行優化,最后實現點云的精配準,得到完整的核桃樹三維點云,如圖5(d)所示。

1.5 核桃樹表面重構

對完整的核桃樹點云進行表面重構,能更好地體現枝干的表面信息,對完整的核桃樹點云計算其法向向量,然后進行三角面片化,大量的面片構成了核桃樹三維模型的表面。本文采用Alpha-shape算法[19]對核桃樹點云進行表面重建,該算法通過半徑值為α的小球在核桃樹點云集上進行滾動,與滾動球相交的3個空間點所構成的三角形面,把所有三角形面連接即構成核桃樹的表面,具體步驟如下:(1)在核桃樹點云集S中選擇任意一個點P1,把與其距離小于2α值的點云構成新的點云集S1,在S1中任選一組點P2,P3,計算半徑為α且過三個點P1,P2和P3的球心位置O1與O2;(2)進一步遍歷新的點云集S1,分別計算另外的點到球心O1與O2的距離d1和d2,如果求出的d1和d2中有1個集合距離閾值大于等于α值,則判別為不是該點集的邊緣輪廓點,停止遍歷并進行步驟3;(3)將繼續選取S1中的一組點,按照步驟1、步驟2判斷,直至所有點集S1中的點被遍歷一遍;(4)選取S中的另外一個點,繼續按照以上3個步驟判斷,直至所有S點集中的點判斷結束,并得到點云邊界三角形的矩陣。

2 結果與分析

2.1 視覺系統獲取點云質量分析

為了驗證搭建的視覺系統的必要性,首先斷開視覺系統音頻線的連接,并關閉其中一個相機的電源,然后分別利用視覺系統上的左、右相機單獨采集核桃樹點云。對采集的2幅點云通過主成分分析方法計算其初始位姿矩陣,然后結合ICP算法優化初始矩陣,實現2幅點云的精確配準,結果如圖6所示。

(a) 左相機采集

通過結果可以看出搭建的系統采集的核桃樹點云質量高于左、右相機單獨采集并配準的結果,主要原因在于深度相機在自然條件下受光照影響較大,左、右相機采集的原始點云質量不高,配準后的點云質量也不高。而搭建的視覺系統通過音頻線實現實時通訊,使得2個深度相機獲取的點云之間實時融合在一起,得到的融合點云存在冗余信息,即使光照對視覺系統有一定影響,但在自然環境下也能夠獲取較高質量的點云。

2.2 配準誤差分析

利用平均歐式距離對雙側核桃樹點云配準結果進行評價,其值越小說明配準精度越高,利用本文提出的算法分別與基于Kd-tree的ICP算法[20]、SIFT-ICP算法[21]、ISS-ICP算法[22]對7棵核桃樹配準對比分析,如圖7所示。

由配準結果可知,利用Kd-tree-ICP算法、SIFT-ICP算法和ISS-ICP算法的配準平均誤差分別為2.38 cm、1.03 cm和1.12 cm,而本文算法的平均配準誤差為0.58 cm,配準誤差更小且配準精度相對于基于Kd-tree的ICP算法、SIFT-ICP算法、ISS-ICP算法分別提高了75.6%、43.7%和48.2%,進一步保證休眠期核桃樹真實的三維空間結構。

2.3 重構模型尺寸精度分析與驗證

通過試驗確定Alpha-shape算法中的半徑值α,當α值越大時,枝干之間連接位置的重構模型出現較大偏差,當其取值為0.02,能夠重建較好的表面質量,如圖8～圖10所示。

(a) α=0.01

(a) α=0.01

為了評價重構核桃樹模型(α=0.02)精度,對7棵完整核桃樹進行建模,整體模型基本接近自然生長的核桃樹。利用游標卡尺測量固定標記點附近的核桃樹枝干尺寸(測量三次取平均值),同時利用MeshLab開源軟件測量重建的核桃樹三維模型對應點的位置(測量三次取平均),實際測量值與三維模型測量值的誤差,如表2所示。重建結果表明枝干的尺寸誤差在2 mm以內,相比于參考文獻[16]對休眠期果樹的重建尺寸誤差進一步降低,重構的模型精度更高,且能夠準確反映休眠期核桃樹的真實結構。

表2 核桃樹實際值與模型測量值對比

3 結論

1) 基于2個消費級傳感器Kinect V3搭建了視覺感知平臺,并對2個深度相機進行了位姿標定。對采集的休眠期核桃樹點云進行了背景噪聲和離群點的去除。

2) 提出了人工標記點結合ICP算法的配準方法,通過對7棵核桃樹進行配準試驗,驗證了配準方法的穩定性,核桃樹點云的平均配準誤差為0.58 cm,并且相對于基于Kd-tree的ICP算法、SIFT-ICP算法、ISS-ICP算法配準精度分別提高了75.6%、43.7%和48.2%。在后續研究中,結合深度學習方法對兩側點云進行配準,實現全過程自動化。

3) 利用Alpha-shape算法對完整的核桃樹點云進行三維重構,建模后的枝干尺寸誤差控制在2 mm以內,試驗結果表明重建的三維模型精度較高,能夠準確反映核桃樹的空間結構,為后續核桃樹智能剪枝提供數據依據。