多類復雜水果目標的通用三維感知框架*

程佳兵 鄒湘軍 陳明猷 譚康裕 吳烽云

學術研究

多類復雜水果目標的通用三維感知框架*

程佳兵1鄒湘軍2陳明猷2譚康裕1吳烽云2

（1.廣州南方學院電氣與計算機工程學院，廣東 廣州 510970 2.華南農業大學工程學院，廣東 廣州 510642）

相比于理想的實驗室環境，在戶外果園采樣的水果圖像受更多復雜因素的干擾，如背景混雜、枝葉遮擋、光照不均和機械振動等，是制約視覺水果采摘機器人進一步發展和應用的關鍵因素。為此，提出一種適應于復雜采摘環境的通用三維感知框架。首先，構建并標定雙目視覺系統；然后，借助深度目標檢測網絡去除復雜背景并獲得水果所在的圖像區域；最后，對水果區域進行立體匹配和三角測量，得到水果的三維點云與空間位置。該框架不依賴任何人工設計，可提高機器人在戶外感知水果的準確度和穩定性，也可在不同的采摘任務中集成，為提高視覺水果采摘機器人感知的實用性提供有效的理論依據與技術支持。

采摘機器人；機器視覺；目標檢測；立體匹配；三角測量

0　引言

視覺系統可幫助水果采摘機器人識別和定位果實，進而控制末端執行器自動采摘水果，是智能采摘機器人感知外界的重要模塊之一。

目前，大多數基于視覺的水果采摘系統僅實現目標果實的識別、檢測等單個任務[1-6]。雖取得較好效果，但主要聚焦于對單一功能模塊的研究（如單獨針對圖像識別、三維重構或采摘路徑規劃等），未能給出一整套綜合性的視覺感知流程。要實現水果采摘機器人的落地應用，不但要考慮每一個功能模塊如何實現，同時也要從整體層面考慮技術框架的實現。

目前，已有學者對視覺感知流程進行初步研究，如基于雙目立體視覺獲得目標果實在圖像中的位置，并計算果實的三維空間坐標[7-8]、基于深度相機和顏色幾何特征，快速定位和重構水果結構[9-11]、通過構建機器人視覺系統實現完整的采摘流程[12-14]等。

隨著計算機性能的提升，依賴較大計算資源的深度學習方法被運用于水果三維感知領域，提高圖像識別準確率，使采摘任務中的視覺感知流程更加穩定和成熟。如結合卷積神經網絡和支持向量機的圖像識別與三維定位方案[15]、基于改進的目標檢測網絡對細小目標果實三維定位方法[16]、基于語義分割和立體視覺的番石榴快速識別與機械臂避障方法[17-18]、基于深度學習方法與多機械臂協同的奇異果收獲機器人等[19]。

上述研究展示了視覺系統在水果采摘領域的成功應用，具有重要的參考價值。然而，其中大部分視覺系統尚處于起步階段，所涉及的傳統方法依賴人工選取特征以及設定閾值，限制其在復雜采樣環境下的穩定性和可靠性；而且上述研究大多針對單一水果目標，缺乏通用性和可移植性。為此，本文提出一種針對多類復雜水果目標的通用三維感知框架，借助深度目標檢測網絡的魯棒性提升立體視覺模塊的性能，為視覺水果采摘機器人的視覺感知提供一種穩定、自適應和實用的技術方案。

1　原理和方法

1.1　目標檢測

目標檢測屬于二維圖像處理范疇，其作用是獲取水果在圖像中的區域。目標檢測可去除非結構化果園中的復雜背景，突出水果所在位置，為后續的立體視覺算法提供良好輸入，是立體視覺預處理環節。

本框架利用EfficientDet網絡實現水果目標區域的精確檢測[20]。EfficientDet是目標檢測領域新一代的高性能深度網絡，其結構如圖1所示。

圖1　EfficientDet網絡結構示意圖

EfficientNet作為基礎網絡，后續連接一個雙向特征金字塔網絡以提取多尺度特征[21]。EfficientDet網絡精簡了雙向特征金字塔網絡，并采用跳躍鏈接和可學習權重，提高多特征融合的效率[22]。該網絡通過混合縮放方法自動確定自身的最優規模，在低資源供給的條件下同時達到高速度和高精度，這在環境復雜且計算資源受限的果園采摘任務中尤為重要。

1.2　立體視覺

1.2.1雙目標定與采樣

構建雙目視覺系統，對復雜非結構化環境下的多種水果進行采樣，進而計算其空間形態和位置，為機器人采摘提供決策支持。

雙目標定是立體視覺的前置工作，其目的是獲取三角測量所需的重投影矩陣以及實現外極線校準。標定過程使用C++接口的OpenCV4.1.1計算機視覺開源庫。相機標定是機器視覺領域的常規操作，具體實現在此不贅述。標定所得的雙目相機參數如表1所示。

表1　雙目視覺系統標定參數

根據標定參數進行外極線校準，可保證同一目標在左右圖像上的投影滿足行對齊，這可降低后續雙目立體匹配的難度。校準后的雙目圖像如圖2所示。任意從中選取A，B，C 3個特征點，可見行對齊的效果明顯。

圖2　外極線校準后的雙目圖像

1.2.2立體匹配和三角測量

立體匹配的目的是獲取同一空間點在左右圖像中的視差。遍歷整張圖像并計算每一個像素對應的視差后，可得到稠密視差圖。稠密視差圖中的每一個像素可通過三角測量原理轉化成現實世界的三維點：

通過雙目視覺系統實現三維感知的關鍵是得到準確的視差圖。實際上，立體匹配的復雜性是制約雙目視覺系統性能的最重要因素之一。果園環境比結構化環境存在更多的遮擋、噪聲和空間多義性，因此果園環境下的立體匹配面臨更大困難，通用性和穩定性難以得到保證[23]。

本文借助深度目標檢測網絡的魯棒性解決上述問題。水果稠密視差圖獲取過程如圖3所示。首先，利用EfficientDet網絡檢測左右圖像中的水果區域，根據區域信息去除復雜背景；然后，將只含水果的圖像作為立體匹配輸入，可得到準確而簡潔的稠密視差圖，從而降低立體匹配的復雜度。該過程使用的立體匹配算法為經典的半全局立體匹配算法[24]。

圖3　水果稠密視差圖獲取過程

除了水果本身，枝葉障礙物的空間信息也是采摘時需要考慮的因素。與匹配水果的過程相反，對只包含枝葉的背景部分進行立體匹配。相比于水果，采摘任務對枝葉障礙物的精度需求相對較低。為降低立體匹配計算資源的消耗，將該類圖像的長和寬下采樣為原來分辨率的一半（960×540）后，再進行立體匹配，最后將所得的視差圖通過二次線性插值復原到原分辨率（1920×1080），具體過程如圖4所示。

圖4　枝葉障礙稠密視差圖獲取過程

需要特別指出的是：圖3和圖4所展示的視差圖已被二值化，用以達到更佳的可視化效果。實際上，真正用于三角測量的原視差圖是漸變的灰色圖像，上面的每一個像素對應不同的灰度值。

將圖3和圖4所述的2種稠密視差圖進行疊加，通過式(1)可計算包含枝葉障礙物在內的高精度水果點云，如圖5所示。

由圖5可觀察到：點云中的水果結構緊湊，表面厚實、光滑；背景點云雖可大致表征枝葉的空間位置，但表面相對粗糙，這是因為背景部分對應的視差圖經過下采樣后丟失了一定的細節信息。將水果與背景分開進行立體匹配的方法在保證計算效率的同時，實現視覺系統對采摘環境的整體和全方位感知。

圖5　三維點云示意圖

2　實驗與分析

2.1　方案與設備

實驗包括目標檢測網絡性能評估、三維點云精度評估2部分。通過計算所訓練網絡的平均精度均值(mean Average Precision，mAP)，定量分析所訓練網絡在處理不同種類水果時的目標檢測網絡性能；通過提取水果點云的特定幾何尺寸并將其與人工測量值對比，計算雙目視覺系統的測量誤差，以此反映視覺系統的三維感知性能。

實驗主要設備包括一體式雙目相機、三腳架、高精度棋盤格標定板（精度為0.3 mm）、筆記本電腦、數顯游標卡尺。相機型號為ZED2，分辨率為1920×1080，幀率為30 幀/s，曝光時間和增益均設為自動。筆記本電腦的CPU型號為Intel core i5-9400，GPU型號為Nvidia GTX 1660Ti 6 GB，內存容量為16 GB ddr4，操作系統為windows 10 1803專業版。

2.2　目標檢測網絡性能評估

樣本庫含有香蕉、菠蘿、木瓜和荔枝4類水果圖像，每類水果圖像的數量均為250張。樣本被隨機打亂后按照8：1：1的比例被劃分為訓練集、驗證集和測試集，分別有800張、100張、100張。訓練集用于訓練網絡，驗證集用于監測模型的訓練狀態，測試集用于驗證模型的性能。模型通過Pytorch訓練。訓練完成后，對測試集進行前向傳播運算，得到水果目標包圍框；然后，繪制每一類水果對應的精度-召回率(P-R)曲線，并利用式(2)計算每類水果對應的平均精度(average precision，AP)。

采用式(3)計算4類水果的：

式中，N= 4為類別數；f()為第類對應的P-R曲線。各類水果對應的及總體樣本的如圖6所示。

圖6　4類水果的AP統計值

由圖6可知，4類水果的為92.75%。該數據表明，EfficifentDet網絡能夠適應復雜的非結構化果園場景，并快速準確地完成水果目標檢測任務。

2.3　三維點云精度評估

利用本文提出的三維感知框架對果實及其附近的枝葉障礙物進行點云提取，并計算果實直徑的視覺測量誤差，從而評估視覺系統所生成點云的精度。視覺測量誤差計算公式為

因此，每1幀僅有1個視覺測量誤差數據。

以百香果、番石榴、柑橘3類水果為研究對象，每類水果采樣10幀，共獲得30個視覺測量誤差數據。獲取視覺測量值時，通過CloudCompareStereo軟件打開點云，直接測量點云中的水果直徑；獲取人工測量值時，通過精度為0.01 mm的數顯游標卡尺現場測量水果直徑。用于測量的部分點云如圖7的右半側所示。

30幀水果樣本圖像對應的視覺測量誤差樣本統計圖如圖8所示。其中，誤差樣本最大值為3.648 mm，平均值為2.037 mm，標準差為0.824 mm。視覺系統達到了水果采摘機器人在復雜環境下的三維感知要求[25]。

圖8　視覺測量誤差樣本統計圖

3　結論

針對復雜的戶外果園采摘環境，本文提出一種通用三維感知框架，可得到水果及其附近的枝葉障礙物空間位置。該框架充分結合了深度網絡和立體視覺系統的優勢，通過對多類水果的目標檢測與點云提取實驗，驗證其穩定性和有效性，有望在各類水果采摘機器中實現靈活集成。

本文還有一定的提升空間。首先，可通過部署更高分辨率的相機來提高背景點云的稠密程度；其次，可對已有的點云采用濾波算法，獲得更加緊湊和精確的目標空間結構。

[1] 王紅君,牟其松,岳有軍,等.基于YOLOv3的水果采摘通用檢測模型研究[J].中國科技論文,2021,16(3):336-342.

[2] 彭紅星,黃博,邵園園,等.自然環境下多類水果采摘目標識別的通用改進SSD模型[J].農業工程學報,2018,34(16):155- 162.

[3] 伍錫如,雪剛剛,劉英璇.基于深度學習的水果采摘機器人視覺識別系統設計[J].農機化研究,2020,42(2):177-182,188.

[4] 熊俊濤,劉振,林睿,等.自然環境下樹上綠色芒果的無人機視覺檢測技術[J].農業機械學報,2018,49(11):23-29.

[5] 熊俊濤,劉振,湯林越,等.自然環境下綠色柑橘視覺檢測技術研究[J].農業機械學報,2018,49(4):45-52.

[6] 張帆.基于深度卷積神經網絡的水果圖像識別算法研究[D]. 北京:中央民族大學,2020.

[7] 杜梟雄,張鵬超,姚晉晉,等.基于雙目立體視覺的采摘機器人設計[J].機電信息,2018(36):145,147.

[8] XIONG J, HE Z, LIN R, et al. Visual positioning technology of picking robots for dynamic litchi clusters with disturbance[J]. Computers and Electronics in Agriculture, 2018,151:226-237.

[9]黃博.基于深度學習和RGB-D深度信息的水果識別與定位研究[D].廣州:華南農業大學,2018.

[10]吳剛.基于RGB-D相機的樹上水果識別方法研究[D].無錫:江南大學,2020.

[11] 丁宇祺.果實自動化采摘的識別與定位方法研究[D].沈陽:沈陽工業大學,2020.

[12] GE Y, XIONG Y, FROM P J. Symmetry-based 3D shape completion for fruit localisation for harvesting robots[J]. Biosystems Engineering, 2020,197:188-202.

[13]ARAD B, BALENDONCK J, BARTH R, et al. Developmentof a sweet pepper harvesting robot[J]. Journal of Field Robotics, 2020,37(6):1027-1039.

[14] WIBOWO T S, SULISTIJONO I A, RISNUMAWAN A. End-to-end coconut harvesting robot[C]//2016 International Electronics Symposium (IES). IEEE, 2016: 444-449.

[15] 董戈.基于深度學習和圖像處理的水果收獲機器人抓取系統[J].農機化研究,2021,43(3):260-264.

[16] 楊平.基于深度學習的水果采摘定位算法的研究[D].哈爾濱:哈爾濱理工大學,2020.

[17] LIN G, TANG Y, ZOU X, et al. Guava detection and pose estimation using a low-cost RGB-D sensor in the field[J]. Sensors, 2019,19(2):428.

[18] LI J, TANG Y, ZOU X, et al. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots[J]. IEEE Access, 2020,8:117746-117758.

[19] WILLIAMS H A, JONES M H, NEJATI M, et al. Robotic kiwifruit harvesting using machine vision, convolutional neural networks, and robotic arms[J]. Biosystems Engineering, 2019,181:140-156.

[20] TAN M, PANG R, LE Q V, et al. Efficientdet: Scalable and efficient object detection[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 10781-10790.

[21] TAN M, LE Q. Efficientnet: Rethinking model scaling for convolutional neural networks[C]//International Conference on Machine Learning. PMLR, 2019: 6105-6114.

[22] LIU S, QI L, QIN H, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 8759-8768.

[23] TANG Y, WANG C, LUO L, et al. Recognition and localization methods for vision-based fruit picking robots: a review[J]. Frontiers in Plant Science, 2020, 11: 510.

[24] HIRSCHMULLER H. Accurate and efficient stereo processing by semi-global matching and mutual information[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). IEEE, 2005, 2: 807-814.

[25] CHEN M, TANG Y, ZOU X, et al. Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology[J]. Computers and Electronics in Agriculture, 2020, 174: 105508.

General 3D Perception Framework for Multiple Types Complex Fruit Objects

Cheng Jiabing1Zou Xiangjun2Chen Mingyou2Tan Kangyu1Wu Fengyun2

(1. School of Electrical and Computer Engineering, Nanfang College, Guangzhou, 510970, China 2. College of Engineering, South China Agricultural University, Guangzhou 510642, China)

Compared with an ideal laboratory environment, fruit images sampled in an outdoor orchard are often disturbed by more noises, such as complex backgrounds, occlusion of branches and leaves, uneven illumination and mechanical vibration, etc., which have always been the main constraints on the further development of visual fruit picking robots. In response to this problem, a general three-dimensional perception framework adapted to the complex picking environment was developed. First, the binocular vision system was constructed and calibrated; then, the complex background was removed with the help of a robust deep object detection network to obtain the image area where the fruit is located; finally, the fruit area was conducted stereo matching operation and triangulated to obtain the spatial position of the fruits. The framework has fully combined the robustness of the deep neural network and the excellent perception ability of the stereo vision system. It does not rely on any artificially designed features and can improve the accuracy and stability of the robot's perception of outdoor fruits. This research provides an theoretical basis and technical support for improving the stability and practicability of the fruit picking robot.

picking robot; machine vision; object detection; stereo matching; triangulation

廣東省科技計劃項目（2019A050510035）

程佳兵，女，1994年生，碩士，主要研究方向：圖像處理、機器視覺。E-mail: chengjb@nfu.edu.cn

S225; TP391.41

A

1674-2605(2021)03-0003-06

10.3969/j.issn.1674-2605.2021.03.003