基于移動機器人的樹木識別與冠層信息測量

摘要：針對人工測量苗圃冠層參數費時費力，無法快速提取果樹冠層參數的問題，提出一種基于環(huán)境點云識別算法的樹木冠層信息提取方法。首先利用LiDAR-IMU緊耦合里程計進行點云矯正和特征點提取，在建圖中使用旋轉約束解決Z軸偏移問題，完成測量區(qū)域的環(huán)境重建；將點云地圖傳輸至后臺工作站后，使用歐式聚類和3D-FV-DNNs算法對樹木點云進行分割與識別；最后在找到第一主枝后利用立方體素法實現冠層體積建模，采用二維柵格法提取冠層面積參數。試驗表明：本文采用的建圖算法能較高精度地重建完整果園環(huán)境，基于DNN深度學習分類器的苗圃識別方法獲取的P-R曲線的Bet值比SVM與RF分類器所獲取的數值高出0.064 1與0.099 9，此外樹冠體積與面積的R2與RMSE分別為0.746 77、0.697 8以及0.097 54、0.076 77。表明本文算法測得的冠層參數與人工測量值有強相關性，為果園精細化管理提供重要支撐。

關鍵詞：移動機器人；點云環(huán)境地圖；深度學習；點云識別；樹冠參數

中圖分類號：TP242； TN958.98； S24

文獻標識碼：A

文章編號：2095-5553 （2024） 05-0232-07

收稿日期：2022年8月22日" 修回日期：2023年4月22日*基金項目：山東省重點研發(fā)計劃項目（2019GNC106144）

第一作者：廖舒懷，男，1998年生，湖南永州人，碩士研究生；研究方向為農業(yè)機器人導航。E-mail： 332833931@qq.com

通訊作者：王凱，男，1987年生，山東濰坊人，博士，講師；研究方向為智能農業(yè)裝備與機器人技術。E-mail： wk65010@163.com

Tree identification and canopy information measurement based on mobile robot

Liao Shuhuai1， 2， Wang Kai2， Song Jian2， Xie Fuxiang2， Wang Mingsheng1， 2， Gong Zhongliang1

（1. School of Mechanical and Electrical Engineering， Central South University of Forestry and Technology，

Changsha， 410004， China； 2. School of Machinery and Automation， Weifang University， Weifang， 261061， China）

Abstract：

Aiming at the problem that manual measurement of nursery canopy parameters was time-consuming and labor-intensive， and fruit tree canopy parameters" could not be quickly extracted， a tree canopy information extraction method based on environmental point cloud recognition algorithm was proposed in this paper. Firstly， the LiDAR-IMU tightly coupled odometer was used for point cloud correction and feature point extraction， and the rotation constraint was used to solve the Z-axis migration problem in the construction map to complete the environment reconstruction of the measurement area. After the point cloud map was transferred to the background workstation， European clustering and 3D-FV-DNNs algorithm were used to segment and identify the tree point cloud. Finally， after finding the first main branch， the canopy volume was modeled by cubic voxel method， and the canopy area parameters were extracted by two-dimensional raster method. The test showed that the mapping algorithm adopted in this paper could reconstruct the complete orchard environment with high accuracy. The Bet value of P-R curve obtained by the nursery recognition method based on DNN deep learning classifier was 0.0641 and 0.0999 higher than that obtained by SVM and RF classifier. In addition， R2 and RMSE of crown volume and area were 0.74677 and 0.6978， 0.09754 and 0.07677， respectively. The results showed that the canopy parameters measured by the proposed algorithm were strongly correlated with the manual measurements， which provided important support for the fine management of orchards.

Keywords：

mobile robot; point cloud environment map; deep learning; point cloud recognition; canopy parameters

0 引言

隨著精準園藝技術的發(fā)展，苗圃冠層信息采集不斷追求智能化。樹冠體積和面積等形態(tài)學參數能反映苗圃的冠層特點與植物健康程度［1-3］。傳統(tǒng)的方法一般是人工測量，此方法費時費力且精度與工人熟練度相關［4， 5］，測量中大型果園冠層參數時會顯得力不從心。冠層參數的智能化測量主要基于激光掃描儀或相機，前者精度較高但成本高，后者缺乏3D尺度信息［6-8］。

目前，學者們主要依靠在無人機或移動機器人上搭載相機或LiDAR展開，融合GPS或SLAM獲取完整的果園測量信息［9-11］，再利用Alpha-shape、凸包算法、立方體格網法等方法進行冠層體積測量［12-15］，對測量冠層面積大多都需進行二維柵格化處理。張先潔等［16］使用無人機搭載多光譜相機生成果園點云地圖，利用超像素特征向量提取果樹冠層輪廓。Ahongshangbam等［10］借助無人機搭載數碼相機生成數字地形模型，提取樹木冠層信息。相機在提取冠層參數時容易受雜草、天氣影響，LiDAR憑借穩(wěn)定性好、抗干擾能力強等優(yōu)勢廣泛應用于果樹信息提取［17］。Hadas等［18］使用無人機搭載Velodyne HDL-32E和GPS獲取了果樹的幾何參數。Bargoti等［19］使用無人車搭載GPS和單線激光雷達完成V型果園的構圖與樹干定位與統(tǒng)計。Zhou等［20， 21］基于VLP-16 LiDAR和IMU設計了手持式移動掃描系統(tǒng)，用于大規(guī)模場景時效果不好。此外緊耦合SLAM技術的出現使得點云地圖在精度與魯棒性上都得到了很大的提高［22-24］，但先前研究并未對點云進行識別。

因此本文提出一種基于移動機器人的樹木識別及冠層信息測量系統(tǒng)，使用緊耦合里程計與旋轉約束精修算法完成環(huán)境重建，使用歐式聚類和深度學習的分類算法實現樹木識別，最后完成苗圃冠層信息提取工作，為實現苗圃園精細化管理提供技術支撐。

1 材料與方法

1.1 試驗平臺與場地

1.1.1 硬件搭建

試驗平臺由硬件和軟件組成，如圖1（a）所示。為確保移動機器人具備良好的通行能力，機器人履帶底盤由伺服電機驅動，可直接控制兩履帶驅動輪的線速度和角速度。激光雷達局部坐標系XOY滿足右手定則［25］，以3D LiDAR幾何中心為坐標原點O，機器人前進方向為X軸正方向，垂直X軸向左為Y軸正方向，Z軸由右手定則確定。硬件選用Xsens-mti300慣性導航單元、VLP-16激光雷達，主控制器選擇技嘉GB-BXI5H-4200微型計算機，配備i7-5820k處理器、32 G內存、256 G固態(tài)硬盤和Ubuntu18.04作為工控機的操作系統(tǒng)，采用12 V、5 000 mA航模鋰電池為傳感器和工控機供電。

1.1.2 點云處理框架

處理點云所需軟件部署于機器人開源操作系統(tǒng)（ROS）中，C++與Python作為系統(tǒng)的開發(fā)語言，Tensorflow作為點云識別算法開發(fā)的深度學習框架。將采集到的苗圃點云傳至后臺實驗室工作站進行全局點云地圖的點云識別與冠層測量，具體的流程如圖2所示。融合LiDAR和IMU里程計信息用來構建苗圃園點云地圖，然后經過點云分割和識別模塊處理點云地圖，最后完成冠層參數提取工作。

1.1.3 試驗場地

試驗時間是2021年9月2日下午，天氣晴朗，地點位于山東省濰坊市寒亭區(qū)國槐苗圃園中，其中第一分枝高1～1.5 m左右，樹高2～2.2 m上下，共10×16棵樹木。地面相對平坦，雜草密布且高度小于15 cm，如圖1（b）所示。試驗人員使用遙感控制移動機器人在行間穿梭來采集苗圃各視角的點云，其中LiDAR安裝在圖1移動機器人上，距地高度約為0.55 m，傾角向上傾斜10°。

1.2 果園點云地圖構建

1.2.1 IMU預積分

緊耦合SLAM算法與松耦合算法的區(qū)別在于IMU的測量值是否被作為待優(yōu)化參數與激光測量值構成損失函數，通過聯(lián)合非線性優(yōu)化來完成狀態(tài)估計，在特征稀小的情況下借助IMU測量值來保證系統(tǒng)狀態(tài)的正確估計。為了避免IMU姿態(tài)的反復傳播，一般使用IMU的預積分值來描述IMU與單幀點云所對應的姿態(tài)變換，以配合后續(xù)聯(lián)合優(yōu)化。

1.2.2 LiDAR-IMU激光里程計

機器人狀態(tài)優(yōu)化前要進行點云糾偏與特征提取工作，參照Loam與Lego_loam算法進行操作。為限制計算維度和獲取穩(wěn)定的狀態(tài)值，使用滑動窗口約束優(yōu)化過程。 為聯(lián)合優(yōu)化IMU的預積分測量值，需要計算LiDAR相對測量值m以構建特征點與局部地圖的約束關系。將被優(yōu)化區(qū)域內的特征點使用K-Nearest Neighbor算法搜索其在局部地圖上的最近平面特征點。然后將搜索到的平面特征點擬合至平面內，根據點到平面距離關系求解平面點系數與相對測量值，如式（1）所示。將相對測量值 構建基于距離的代價函數，對從中心幀開始的雷達位姿進行約束，定義的損失函數如式（2）所示。

從表1可以看出，本文所使用的3DFV-DNNS分類器獲取的Recall、Precision以及Accuracy的數值相比SVM與RF分類器有了顯著提高，但直接使用這幾種參數無法有效評估分類器的真實性能，通過計算分類器F1值與P-R曲線可以更加直觀的反應分類器的性能指標。其中P-R曲線是以Recall為橫軸，Precision為縱軸的作圖，P-R曲線可以直觀地顯示分類器在樣本總體上的Recall與Precision值。本文通過計算不同分類器的P-R平衡點的取值來進行分類器性能對比，幾種分類器的P-R曲線如圖8所示。

從圖8中可以看出，DNN分類器的P-R曲線完全包絡其他兩種分類器，當召回率Recall小于0.8時，DNN分類器識別精確率Precision達到了95%以上，且其獲取的BET值相比SVM與RF高出0.064 1與0.099 9。這表明本文所使用的DNN分類器性能高于其他兩種分類器，即使將負樣本放置于果園中，也能精準識別出果樹。

2.2 冠層參數測量試驗

為了檢驗冠層重建、冠層體積和面積的準確性，采用人工測量這些參數作為試驗的真實值與系統(tǒng)測量值進行比較，并將決定系數R2和均方根誤差RMSE作為評估標準。從樣本中隨機抽取40個苗圃作為試驗樣本，統(tǒng)計其R2和RMSE，統(tǒng)計結果如圖9所示。

對于冠層形狀類似橢圓體和圓錐體的苗圃，可以使用相應的公式計算冠層體積和面積，但是由于采用隨機抽樣的方式，導致個別形狀不是橢圓體或圓錐體的苗圃冠層參數仍測量值與系統(tǒng)參數值存在偏差。從圖9中可以看出，冠層體積測得的R2和RMSE值分別為0.697 8和0.097 54，冠層面積測得的R2和RMSE值分別為0.746 7和0.076 77，表明本文獲取的冠層參數值與人工測量的冠層參數值具有很強的相關性和實效性。

綜上所述，本文設計的樹冠采集識別系統(tǒng)可以完整地采集整個苗圃的樹冠信息，系統(tǒng)設計的基于DNN的分類器可以取得較好的分類效果。獲得的P-R曲線的BET值高于SVM（0.064 1）和RF分類器（0.099 9）。此外系統(tǒng)得到的冠層面積和體積值與人工測量值有強相關性，可以滿足在果園中精準提取樹木冠層信息的需求。

3 結論

針對精準園藝所需樹冠信息，本文提出一種基于移動機器人的樹木識別和冠層信息測量方法。

1）" 首先采用緊耦合激光里程計算方法結合基于DNN的點云分割和分類方法，對苗圃環(huán)境進行重構并識別單個苗圃。其次通過遙感控制移動機器人進行現場數據采集處理，然后在后臺完成樹冠體積和面積參數的測量。

2）" 樹木和負樣本試驗表明，基于DNN的分類器能夠準確識別果樹，獲得的P-R曲線的BET值高于SVM（0.064 1）和RF分類器（0.099 9）。

3）" 通過后續(xù)處理還可以獲得整個苗圃測量區(qū)良好的冠層信息，得到的冠層面積和體積的R2和RMSE值分別為0.746 77、0.697 8和0.097 54、0.076 77，為園區(qū)苗圃形態(tài)的準確測量和準確決策提供數據基礎和理論基礎。

參 考 文 獻

［1］ 吳炅， 蔣馥根， 彭邵鋒， 等. 結合樹冠體積的油茶樹高與產量估測研究［J］. 南京林業(yè)大學學報（自然科學版）， 2022， 46（2）： 53-62.

Wu Jiong， Jiang Fugen， Peng Shaofeng， et al. Estimating the tree height and yield of Camellia oleifera by combining crown volume ［J］. Journal of Nanjing Forestry University （Natural Science Edition）， 2022， 46（2）： 53-62.

［2］ 魏立群. 基于Kinect傳感器自主標定的果樹冠層三維形態(tài)測量方法研究［D］. 南京： 南京農業(yè)大學， 2019.

Wei Liqun. Self-calibration of a 3D morphological measurement method for a fruit tree canopy based on Kinect sensor ［D］. Nanjing： Nanjing Agricultural University， 2019.

［3］ 劉芳， 馮仲科， 楊立巖， 等. 基于三維激光點云數據的樹冠體積估算研究［J］. 農業(yè)機械學報， 2016， 47（3）： 328-334.

Liu Fang， Feng Zhongke， Yang Liyan， et al. Estimation of tree crown volume based on 3D laser point clouds data ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2016， 47（3）： 328-334.

［4］ 哈努拉·塔斯肯， 蔡慧穎， 金光澤. 樹冠結構對典型闊葉紅松林生產力的影響［J］. 植物生態(tài)學報， 2021， 45（1）： 38-50.

Hanula Tasiken， Cai Huiying， Jin Guangze. Effects of canopy structure on productivity in a typical mixed broadleaved-Korean pine forest ［J］. Chinese Journal of Plant Ecology， 2021， 45（1）： 38-50.

［5］ 牛萌萌， 方會敏， 康建明， 等. 果園施藥關鍵技術研究進展［J］. 中國農機化學報， 2021， 42（3）： 48-59， 158.

Niu Mengmeng， Fang Huimin， Kang Jianming， et al. Research progress on key technology of orchard spraying ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（3）： 48-59， 158.

［6］ 陳海嘯， 陸聲鏈， 徐踐. 果樹冠層形態(tài)特征測量與分析研究進展［J］. 中國農業(yè)科技導報， 2016， 18（6）： 97-102.

Chen Haixiao， Lu Shenglian， Xu Jian. Studies research progress on fruit tree canopy shape characteristics measurement and analysis ［J］. Journal of Agricultural Science and Technology， 2016， 18（6）： 97-102.

［7］ 丁為民， 趙思琪， 趙三琴， 等. 基于機器視覺的果樹樹冠體積測量方法研究［J］. 農業(yè)機械學報， 2016， 47（6）： 1-10， 20.

Ding Weimin， Zhao Siqi， Zhao Sanqin， et al. Measurement methods of fruit tree canopy volume based on machine vision ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2016， 47（6）： 1-10， 20.

［8］ 王輝， 韓娜娜， 呂程序， 等. 基于Mask R-CNN的單株柑橘樹冠識別與分割［J］. 農業(yè)機械學報， 2021， 52（5）： 169-174.

Wang Hui， Han Nana， Lü Chengxu， et al. Recognition and segmentation of individual citrus tree crown based on Mask R-CNN ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（5）： 169-174.

［9］ Gimenez J， Herrera D， Tosetti S， et al. Optimization methodology to fruit grove mapping in precision agriculture ［J］. Computers and Electronics in Agriculture， 2015， 116： 88-100.

［10］ Ahongshangbam J， Khokthong W， Ellser F， et al. Drone-based photogrammetry-derived crown metrics for predicting tree and oil palm water use ［J］. Ecohydrology， 2019， 12（6）： 1-18.

［11］ 李鵬， 張明， 戴祥生， 等. 基于不規(guī)則三棱柱分割法實時測算果樹冠層體積［J］. 中國農業(yè)科學， 2019， 52（24）： 4493-4504.

Li Peng， Zhang Ming， Dai Xiangsheng， et al. Real-time estimation of citrus canopy volume based on laser scanner and irregular triangular prism module method ［J］. Scientia Agricultura Sinica， 2019， 52（24）： 4493-4504.

［12］ 樊仲謀， 馮仲科， 鄭君， 等. 基于立方體格網法的樹冠體積計算與預估模型建立［J］. 農業(yè)機械學報， 2015， 46（3）： 320-327.

Fan Zhongmou， Feng Zhongke， Zheng Jun， et al. Tree crown volume calculation and prediction model establishment using cubic lattice method ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2015， 46（3）： 320-327.

［13］ 林松， 田林亞， 畢繼鑫， 等. 三維激光掃描數據的單木樹冠體積精確計算［J］. 測繪科學， 2020， 45（8）： 115-122.

Lin Song， Tian Linya， Bi Jixin， et al. Accurate calculation of single-tree crown volume based on 3D laser scanning data ［J］. Science of Surveying and Mapping， 2020， 45（8）： 115-122.

［14］ 董亞涵， 李永強， 李鵬鵬， 等. 基于改進凸包算法的樹冠輪廓點提取與體積計算［J］. 測繪工程， 2018， 27（8）： 66-71.

Dong Yahan， Li Yongqiang， Li Pengpeng， et al. Tree crown outline points extracting and volume calculation based on improved convex hull algorithm ［J］. Engineering of Surveying and Mapping， 2018， 27（8）： 66-71.

［15］ 楊洲， 李洋， 段潔利， 等. 基于毫米波雷達的果園單木冠層信息提取［J］. 農業(yè)工程學報， 2021， 37（21）： 173-182.

Yang Zhou， Li Yang， Duan Jieli， et al.Extraction of the crown information of single tree in orchard based on millimeter wave radar ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（21）： 173-182.

［16］ 張先潔， 孫國祥， 汪小旵， 等. 基于超像素特征向量的果樹冠層分割方法［J］. 江蘇農業(yè)學報， 2021， 37（3）：724-730.

Zhang Xianjie， Sun Guoxiang， Wang Xiaochan， et al. Segmentation method of fruit tree canopy based on super pixel feature vector ［J］. Jiangsu Journal of Agricultural Sciences， 2021， 37（3）： 724-730.

［17］ 李秋潔， 丁旭東， 鄧賢. 基于激光雷達的果園行間路徑提取與導航［J］. 農業(yè)機械學報， 2020， 51（S2）： 344-350.

Li Qiujie， Ding Xudong， Deng Xian. Intra-row Path Extraction and Navigation for Orchards Based on LiDAR ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S2）： 344-350.

［18］ Hadas E， Jozkow G， Walicka A， et al. Apple orchard inventory with a LiDAR equipped unmanned aerial system ［J］. International Journal of Applied Earth Observation and Geoinformation， 2019， 82： 101911.

［19］

Bargoti S， Underwood J P， Nieto J I， et al. A pipeline for trunk detection in trellis structured apple orchards ［J］. Journal of Field Robotics， 2015， 32（8）： 1075-1094.

［20］ 周三章. 基于三維點云的農林作物三維重建方法與特征提取研究［D］. 北京： 北京林業(yè)大學， 2020.

Zhou Sanzhang. Research on 3D reconstruction method and feature extraction of agricultural and forestry crops based on 3D point cloud ［D］. Beijing： Beijing Forestry University， 2020.

［21］ Zhou S， Kang F， Li W， et al. Extracting diameter at breast height with a handheld mobile LiDAR system in an outdoor environment ［J］. Sensors， 2019， 19（14）： 3212.

［22］ 孫喜亮， 關宏燦， 蘇艷軍， 等. 面向高精度城市測繪的激光緊耦合SLAM方法［J］. 測繪學報， 2021， 50（11）： 1585-1593.

Sun Xiliang， Guan Hongcan， Su Yanjun， et al. A tightly coupled SLAM method for precise urban mapping ［J］. Acta Geodaetica et Cartographica Sinica， 2021， 50（11）： 1585-1593.

［23］ 周志全. 基于IMU與激光雷達緊耦合的SLAM方法研究［D］. 桂林： 桂林電子科技大學， 2021.

Zhou Zhiquan. Research on SLAM method based on tight coupling of IMU and LiDAR ［D］. Guilin： Guilin University of Electronic Technology， 2021.

［24］ 蔡英鳳， 陸子恒， 李祎承， 等. 基于多傳感器融合的緊耦合SLAM系統(tǒng)［J］. 汽車工程， 2022， 44（3）： 350-361.

Cai Yingfeng， Lu Ziheng， Li Yicheng， et al. Tightly coupled SLAM system based on multi-sensor fusion ［J］. Automotive Engineering， 2022， 44（3）： 350-361.

［25］ 劉偉洪， 何雄奎， 劉亞佳， 等. 果園行間3D LiDAR導航方法［J］. 農業(yè)工程學報， 2021， 37（9）： 165-174.

Liu Weihong， He Xiongkui， Liu Yajia， et al. Navigation method between rows for orchard based on 3D LiDAR ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（9）： 165-174.

［26］ 張昌賽， 劉正軍， 楊樹文， 等. 基于LiDAR數據的布料模擬濾波算法的適用性分析［J］. 激光技術， 2018， 42（3）： 410-416.

Zhang Changsai， Liu Zhengjun， Yang Shuwen， et al. Applicability analysis of cloth simulation filtering algorithm based on LiDAR data ［J］. Laser Technology， 2018， 42（3）： 410-416.

［27］ 宗長富， 文龍， 何磊. 基于歐幾里得聚類算法的三維激光雷達障礙物檢測技術［J］. 吉林大學學報（工學版）， 2020， 50（1）： 107-113.

Zong Changfu， Wen Long， He Lei. Object detection based on Euclidean clustering algorithm with 3D laser scanner ［J］.Journal of Jilin University （Engineering and Technology Edition）， 2020， 50（1）： 107-113.

［28］ 付苗苗， 鄧淼磊， 張德賢. 深度神經網絡圖像目標檢測算法綜述［J］. 計算機系統(tǒng)應用， 2022， 31（7）： 35-45.

Fu Miaomiao， Deng Miaolei， Zhang Dexian. Survey on deep neural network image target detection algorithms ［J］. Computer Systems and Applications， 2022， 31（7）： 35-45.

［29］ 牛力杰， 叢潤民， 倪敏， 等. 基于卷積-遞歸神經網絡和費舍爾向量的RGB-D物體識別［J］. 南開大學學報（自然科學版）， 2021， 54（2）： 63-68.

Niu Lijie， Cong Runmin， Ni Min， et al. Object recognition for RGB-D images based on convolutional-recursive neural network and fisher vector ［J］. Journal of Nankai University （Natural Science Edition）， 2021， 54（2）： 63-68.

［30］ 包倪雯， 張水花， 莫曉勇. 喬木樹種樹冠結構研究綜述［J］. 桉樹科技， 2021， 38（1）： 68-74.

Bao Niwen， Zhang Shuihua， Mo Xiaoyong. Overview of tree crown structure ［J］. Eucalyptus Science and Technology， 2021， 38（1）： 68-74.