基于雙目立體視覺的重疊柑橘空間定位

劉妤, 劉灑, 楊長輝,2, 王愷, 謝鈮

(1.重慶理工大學機械工程學院, 重慶 400054; 2.西安交通大學機械工程學院, 西安 710049)

柑橘是我國廣泛種植的水果之一，同時也是世界貿易量較大的一種水果。目前，柑橘采摘主要以人工為主，費時、費力且效率不高。采摘機器人可以有效提高采摘效率，是農業機械發展的必然趨勢，但是現有的機器人采摘成功率并不理想，其主要原因之一是定位的準確性問題，因此，提高定位精度是采摘機器人走向應用需解決的問題之一。

目前，針對果蔬目標的三維空間定位方法主要有以下幾種：①利用單個攝像機定位目標，這種方法容易因特征點提取不準確而增大定位誤差。如Baeten等[1]利用單個相機焦距、圖像平面內像素大小及蘋果目標中心之間的關系確定相機到目標果實的距離；Henten等[2]應用單相機移動的方法實現了對溫室內黃瓜的定位，結果表明，當距離小于600 mm時，定位誤差為7.5 mm。②利用激光測距傳感器定位目標，這種方法對光學系統要求較高，成本也較高。如Bulanon等[3]利用激光測距傳感器完成了對蘋果目標的三維定位；Yin等[4]應用激光測距儀獲取了成熟番茄的深度信息，平均測距誤差為1.06 mm；Jiménez等[5]基于AR-4000-LIR激光測距儀研究了樹上柑橘的定位，實測定位精度為10 mm。③利用三維相機定位目標，這種方法適合室內目標空間定位，戶外定位效果較差，且成本昂貴。如Silwal等[6]利用三維相機采集蘋果圖像，并將該三維圖像映射為二維彩色圖像，進而獲得果實目標的空間位置信息；王濱等[7]提出了一種基于Kinect傳感器的獼猴桃空間坐標獲取方法，定位誤差小于2 mm。④利用雙目立體視覺技術定位果實目標，當被測目標與攝像機保持在一定距離范圍內時，定位誤差較小，且成本較低，但目前多數研究未涉及戶外環境下重疊成簇果實目標的三維空間定位。如Tarrío等[8]結合雙目立體視覺及結構光的三維視覺系統研究了成簇草莓的識別和定位方法，定位精度為厘米級；蔣煥煜等[9]結合雙目立體視覺技術實現了成熟番茄的定位，結果表明,當工作距離小于650 mm時，定位誤差為(-7～5)mm，當工作距離小于1 050 mm時，定位誤差為(±10)mm；仲琴等[10]提取了番茄輪廓，并利用雙目視覺對番茄的形心進行了立體匹配和定位；Li等[11]采用CMOS視覺傳感器構建了應用于菠蘿定位的雙目立體視覺系統，定位精度為2～3 cm。

綜合分析，目前針對果蔬目標的空間定位研究多數只適用于室內結構光環境，而少數針對戶外環境果實三維空間定位的研究中多數限于單果目標定位，較少涉及重疊果蔬空間定位且定位精度有待提高。因此，本文基于雙目立體視覺，以戶外重疊柑橘為對象，提出了一種三維空間定位方法，以期實現重疊柑橘的準確空間定位。

1 材料與方法

1.1 雙目立體視覺系統搭建

重疊柑橘原始圖像通過自主研發的采摘機器人視覺平臺獲取。該平臺主要由雙目相機(Bumblebee2)、1394數據采集卡、計算機等組成，其中，計算機操作系統采用Win7，圖像處理軟件采用OpenCV3.10。本文所涉及的重疊柑橘圖像均是2018年12月在學校的柑橘種植基地通過視覺平臺[12]采集。

1.2 雙目相機標定

為消除重疊柑橘圖像的畸變，首先運用張正友標定法[13]對雙目相機進行標定，以獲取雙目相機的相關參數。圖1所示，利用12×10棋盤格標定板，標定過程如下：①固定雙目相機，在一定范圍內平移、旋轉棋盤格標定板，采集36組處于不同方位的棋盤格雙目左右圖像；②依次對36組棋盤格圖像進行角點檢測，得到相應的單應性矩陣；③求解相機的內、外參數；④求解相機的畸變系數；⑤對初步得到的標定結果優化求精。

圖1 雙目相機棋盤格圖像

考慮到雙目相機的安裝誤差會導致左、右相機的成像平面不共面，從而增大定位誤差，因此，為提高定位精度，對雙目相機進行立體標定，如圖2所示。

圖2 雙目相機立體標定

用旋轉矩陣R和平移矩陣T描述雙目左、右相機坐標系之間及其與世界坐標系的相對位置關系(圖3)。設點P在世界坐標系下的坐標為Pw，則點P在左、右相機坐標系下的坐標Pl、Pr如下。

圖3 雙目相機空間位置關系

(1)

Pr=RPl+T

(2)

式中，Rl、Tl為左相機的旋轉矩陣和平移向量，Rr、Tr為右相機的旋轉矩陣和平移向量，這四個參數在前述相機標定中均可得到。

聯立式(1)(2)可得式(3)。

(3)

設(uj,vj)為實測得到的角點坐標，(uc,vc)為標定得到的角點坐標，按式(4)所示，通過分析實測與標定所得到的角點坐標差異完成重投影誤差分析。

(4)

式中，N為試驗次數，本文N=36。

1.3 重疊柑橘輪廓曲率分析

結合Lab和HSV顏色空間，基于顏色特征對柑橘區域進行提取。

柑橘屬類球體，在重疊柑橘區域的邊緣交界處，曲率會發生突變，而樹葉也呈外凸形狀，被樹葉遮擋形成的邊緣處同樣會發生曲率突變，利用這一特征可實現柑橘重疊區域邊緣的分割。

柑橘輪廓各像素點的曲率[12]Ki如式(5)所示。

(5)

式中，n為柑橘輪廓的像素點個數；lth為輪廓的長度；h為采樣間隔(本文取為5)；θi為當前采樣點到前一采樣點連線與x軸的夾角；θi+1為后一采樣點到當前采樣點連線與x軸的夾角，可按下式計算[13]。

(6)

式中，(xi，yi)、(xi+1，yi+1)分別為前、后采樣點的坐標。

1.4 重疊柑橘中心點匹配及三維空間定位

基于極線約束和圖像相似度，對雙目相機左右圖像重疊柑橘中心點進行匹配。具體步驟如下：①對雙目左右圖像進行柑橘圖像的分割與識別，得到柑橘中心點；②以柑橘中心點為圓心，以擬合橢圓長半軸擴充0.2倍后的長度為半徑畫圓，并將該區域圖像從原始圖像中分割出來，作為待匹配區域；③當待匹配的雙目圖像中柑橘中心點的行像素相差6個像素以內時，運用SURF算法、SSD算法及RANSAC算法進行特征點的檢測和匹配；④定義匹配的特征點對數目為雙目左右柑橘圖像的相似度，當兩幅圖像相似度大于25時，對重疊柑橘中心點進行匹配。

按照上述步驟完成所有柑橘中心點匹配，再基于雙目立體視覺視差原理獲取重疊柑橘目標的三維空間坐標信息。圖4所示為雙目相機定位原理示意圖，在平行雙目立體視覺[14]中，假設兩攝像機內部參數完全相同，世界坐標系與左攝像機的攝像機坐標系重合，設空間點P(X,Y,Z)在攝像機上成像的圖像坐標分別為Pl=(ul,vl)、Pr=(ur,vr)，兩攝像機光心距離OlOr=d，焦距為f，則根據三角形相似關系可得空間點坐標如下。

圖4 雙目相機定位原理

(7)

根據視差原理，由式(7)可計算出重疊柑橘中心的深度值及三維空間坐標，其中Z坐標值即為測量的柑橘中心深度，沿著雙目相機光軸方向，根據深度值大小，由近及遠對重疊的柑橘進行排序。

1.5 戶外定位實驗

由式(7)可知，柑橘中心三維空間坐標X、Y、Z均可由圖像坐標ul和ur計算得到。考慮到自然環境中X、Y坐標值不易測量，而Z坐標值相對容易測量，因此，本文只對重疊柑橘中心三維空間坐標(X,Y,Z)中的Z坐標進行定位實驗。具體步驟如下：①在重疊柑橘中心處分別標上對應的標簽；②啟動雙目立體視覺系統，通過圖像處理獲取重疊柑橘中心的三維空間坐標Pi(Xi,Yi,Zi)，并統計對應柑橘的Zi坐標；③保持激光測距儀前端面與雙目相機鏡面共面，測量柑橘目標表面處的深度值，記為dz；④用游標卡尺測量每個柑橘的橫徑Dc、縱徑Dl，并計算柑橘的平均半徑r。

按照上述步驟依次對20組重疊柑橘進行測量，實際柑橘中心處的深度值da=dz+r，其中r=(Dc+Dl)/4。以人工測量獲得的柑橘中心值為標準值，則本文方法測得的柑橘中心處深度誤差值de=Zi-da，平均誤差eave計算公式如下。

(8)

2 結果與分析

2.1 雙目相機標定結果分析

采用張正友標定法得到的雙目相機內外參數、畸變系數，而經雙目立體標定得到的旋轉矩陣R和平移矩陣T，如表1所示。利用相關參數可以對雙目相機進行畸變校正和立體校正。

表1 雙目相機標定結果

左右相機的重投影誤差分析結果如圖5所示，由式(4)計算得到左、右相機在x、y兩個方向上的誤差分別為0.297 43和0.250 99個像素、0.302 86和0.252 88個像素，均在允許的誤差范圍之內，滿足精度要求。根據立體標定結果，最終得到兩相機的焦距f為1 341個像素，光心在X軸方向上的距離值d為121.903 mm，接近雙目相機基線長度120 mm，這表明立體標定的結果是正確的。

圖5 雙目相機重投影誤差分析

2.2 重疊柑橘輪廓分析

2.2.1雙目相機標定 從圖6可以看出，雙目左右柑橘圖像經立體校正后行像素基本對齊，表明雙目相機標定效果較好。

圖6 雙目左右圖像立體校正

2.2.2柑橘輪廓分析 從圖7可以看出，經閾值分割且濾波去噪后，柑橘區域提取效果較好。以雙目右圖像為例，經高斯平滑后的柑橘輪廓清晰，由式(5)所求得的輪廓像素點曲率,如圖8所示。

2.2.3柑橘輪廓像素點曲率分析 正常的柑橘輪廓像素點曲率范圍為[-0.2,0.2]，超出該范圍的即為異常輪廓像素點，即柑橘重疊或被樹葉遮擋時邊緣交疊處的輪廓像素點。將圖8中曲率異常的像素點映射到圖7所示輪廓上，如圖9所示，輪廓曲率異常的像素點位于曲率變化較大的像素點位置。沿輪廓序列逆時針方向，依次連接相鄰兩個異常像素點，獲得輪廓線段。

圖7 柑橘區域提取

2.2.4柑橘輪廓線段距離分析 通常情況下，柑橘輪廓是一個外凸的曲線，輪廓上任意兩像素點構成的線段一定會在輪廓內部。而柑橘被樹葉遮擋所產生的輪廓片段一般呈現內凹形狀，該段輪廓上任意兩像素點構成的線段大部分會在封閉的柑橘輪廓外面。為了通過尋找異常線段確定因樹葉遮擋而產生的輪廓，對圖8中線段上的像素點到對應輪廓上的距離dmin進行分析，并對dmin的符號做如下約定：當像素點在輪廓內時，dmin取正值；當像素點在輪廓外時，dmin取負值；當像素點在輪廓上時，dmin取零。結合圖9中線段(藍色線條)上的像素點與對應封閉輪廓(黑色曲線)的位置關系，設每條線段上dmin≥0的像素點個數為nm，dmin<0的像素點個數為nl，對應的輪廓片段上的像素點個數為nsum，每個像素點到相應線段的距離為di，整段輪廓到線段上的平均距離為Dave，其計算如式(9)所示。

圖8 輪廓線段確定

圖9 柑橘輪廓篩選

(9)

2.2.5重疊柑橘輪廓確定 分別統計圖8中12條線段上的像素點個數nm、nl以及對應的Dave，結果如表2所示。

表2 像素點統計

當滿足式(10)或(11)時，該線段為正常線段，其對應的輪廓片段為柑橘輪廓，否則不是柑橘輪廓。

(10)

Dave≥T3

式中，Dave用于檢測輪廓片段的平直性。

當Dave≥5.5時，該輪廓片段彎曲度接近完整柑橘輪廓，因此，閾值T3的取值為5.5；當Dave<1.2時，該輪廓片段過于平直，不符合柑橘輪廓的形狀特征，不是柑橘輪廓，因此，閾值T2的取值為1.2；當1.2≤Dave<5.5時，該輪廓片段是否為柑橘輪廓需要進一步判斷，此時，若線段中像素點個數nm占像素點總數nm+nl的比例T1不小于45%，則該輪廓片段為柑橘輪廓，反之則是因樹葉遮擋而產生的非柑橘輪廓，因此，閾值T1的取值為45%。

經分析，正常的線段有A1、B1、B2、B3、D1、D4、D5、D8。在兩正常線段的交點處分割重疊柑橘輪廓，則正常線段對應的輪廓片段為柑橘輪廓(圖9中綠色曲線)，其余的輪廓片段則不是柑橘輪廓(圖9中紅色曲線)。

在分割后的輪廓像素點集中剔除非柑橘輪廓(圖9中紅色曲線)像素點，由于粗略分割后的柑橘輪廓是不完整的，為了還原目標果實，本文基于最小二乘法的橢圓擬合插值算法[15]重構柑橘輪廓，并將橢圓中心作為柑橘的中心點，結果如圖10所示。

圖10 重疊柑橘輪廓重建及中心點獲取

2.3 重疊柑橘中心點匹配及三維空間定位結果

重疊柑橘中心點匹配過程如圖11所示，排序結果如圖12所示，對應的柑橘目標三維空間坐標如表3所示。

表3 重疊柑橘中心三維空間坐標

圖11 雙目左右圖像重疊柑橘中心點匹配

對于存在遮擋關系的兩個柑橘A、B，若A遮擋B，即柑橘A在柑橘B的前面(用“A→B”表示)，則柑橘A的中心深度值小于柑橘B。按照此判斷標準，對圖12中存在遮擋關系的重疊柑橘1/2/5，3/6，7/8進行判斷，則有1→2、1→5、2→5，3→6，7→8。

圖12 重疊柑橘排序

2.4 戶外定位實驗驗證結果

戶外定位實驗測得的重疊柑橘目標Zi坐標、表面深度值dz、橫徑Dc、縱徑Dl、中心深度值da和中心深度誤差de如表5所示，柑橘中心定位誤差均在9 mm以內。而本文方法和人工測量的重疊柑橘中心深度數據對比如圖13所示，依據式(8)，計算得本文方法的平均測量誤差為6.38 mm，在允許的誤差范圍之內，滿足戶外重疊柑橘定位的精度要求。

圖13 重疊柑橘中心深度測量對比

表5 重疊柑橘相關數據統計

3 討論

準確獲取采摘目標的三維空間坐標是釆摘機器人成功釆摘的重要前提。現有果蔬目標三維空間定位研究多數是針對特定環境，難以應用于戶外自然環境[2,6-10]，雖然已有研究戶外果蔬目標的三維空間定位[1,3-5,11]，但僅限于沒有重疊和遮擋的情況，沒有考慮戶外果蔬重疊成簇、被樹葉遮擋等實際生長狀態，實用性不強。而且，常用的顏色空間模型中，RGB顏色模型對光線變化較為敏感，而Lab和HSV顏色模型與設備無關，能夠在一定程度上消除光線變化的影響。為此，本文依托自主搭建的采摘機器人雙目立體視覺系統，重點研究了自然環境中重疊成熟柑橘的三維空間定位，結合Lab和HSV顏色空間，基于顏色特征對柑橘區域進行提取，在此基礎上提出了一種基于極線約束與圖像相似度的重疊柑橘中心深度測量方法，確定了重疊柑橘的遮擋關系，并根據視差原理完成了重疊柑橘的三維空間定位。結果表明，本文方法的定位誤差為6.38 mm，可滿足柑橘采摘機器人戶外采摘作業的定位精度需求。

本文方法可推廣應用于戶外其他類球形果蔬的三維空間定位。但是，果蔬采摘機器人的作業環境較為復雜，不可避免地存在陰/晴天自然光照變化、圖像采集順/逆光、枝葉等遮擋物在果蔬表面形成陰影等情況，因此，后續主要考慮從以下方面著手提高定位精度：①在視覺系統結構優化方面，借鑒醫學上的無影燈原理，在視覺系統中加入主動光源和遮光裝置，以補償自然條件差異對視覺系統的影響；②在定位算法智能優化方面，將深度學習理論[16]應用于視覺系統定位算法，以提高圖像分析處理的精度和效率。