果園樹干檢測與導航線擬合算法研究

摘要：行間機械自主導航有助于提高果品生產效率，降低人工成本。樹木是行間導航的天然地標，可以為機器人提供導航信息。結合深度學習和最小二乘法，提出一種基于機器視覺的行間導航場景的導航線提取方法。首先，收集實際環境下的樹干圖像，并對圖像進行翻轉、裁剪等操作擴充樹干數據集；其次，構建YOLOv5網絡模型，并基于該模型來對行間樹干進行識別，提出利用識別框下邊中點替換根部中點的方法，以此來確定樹行擬合的定位基點；最后，基于最小二乘法完成果園單側樹行線和樹行中心線的擬合。試驗結果表明，所構建的YOLOv5網絡檢測模型對樹干的平均識別正確率為85.5%。所提出的根點替換定位法的直線像素距離平均誤差為5.1像素，樹行中心導航線的平均橫向偏差為5.8像素，符合行間導航的要求。

關鍵詞：果園導航；深度學習；YOLOv5；樹干識別；根點替換；直線擬合

中圖分類號：TP18; S23" " " 文獻標識碼：A" " " 文章編號：2095?5553 （2024） 08?0217?06

Research on tree trunk detection and navigation line fitting algorithm in orchard

Xu Zhenhui， Li Xiaojuan

（College of Mechanical Engineering， Xinjiang University， Urumqi， 830000， China）

Abstract： Inter?line mechanical autonomous navigation is helpful to improve fruit production efficiency and reduce labor cost. Trees are natural landmarks for navigating between lines and can provide cues for robots. In this paper， combining deep learning and least square method， a navigation line extraction method based on machine vision for inter?line navigation scene is proposed. Firstly， the tree trunk image was collected in the actual environment， and the image was flipped and clipped to expand the tree trunk data set. Secondly， the YOLOv5 network model was constructed， and based on this model， the interline trunk identification was carried out. The method of replacing the middle point of the root with the middle point under the identification box was proposed， so as to determine the positioning basis point of the tree line fitting. Finally， the least square method was used to fit the single tree line and center line of tree line in orchard. The experimental results show that the average recognition accuracy of the YOLOv5 network detection model is 85.5%. In the proposed root point replacement positioning method， the average error of the distance between the midpoint of the bottom of the identification box， the linear pixel distance between the positioning base point and the actual root midpoint， is 5.1 pixels， and the selection error of the positioning base point is within the reliable range. The average lateral deviation of the navigation line in the center of the tree line is 5.8 pixels， which meets the requirements of inter?line navigation.

Keywords： orchard navigation; deep learning; YOLOv5; tree trunk recognition; root point replacement; linear fitting

0 引言

目前我國的果園作業多是以人工操作進行，生產效率低且容易對操作人員的身體造成損害，不利于實現現代果園管理。而果園機器人自主導航技術是精準實施現代果園管理的關鍵，該技術可使機器人做到自主行走，完成如施肥、噴藥、割草、采摘、運輸等一系列任務，從而降低操作工人的勞動強度，使林果生產的效益得到提升。目前以衛星定位導航、激光雷達導航和視覺導航為主的農業機器人導航技術發展迅速。其中視覺導航因具有可獲取特征信息豐富，相機成本較低等優點，被廣泛用于果園環境導航。機器人通過相機感知到周圍環境特征后，采用圖像處理等技術，對本身位置進行定位同時對相關環境特征進行處理，進而規劃出機器人的導航行進路線，以此來引導機器人自主行走。導航線生成的準確性對機器人果園作業有著重要的影響。

目前，國內外對機器人果園導航展開了初步研究。Radcliffe等[1]以樹行樹冠與天空中的背景為研究對象，根據樹冠與天空的分水線來確定樹行位置，從而擬合出導航線。Montalvo等[2]利用二次Otsu算法來取得地面雜草和果樹樹葉顏色差信息，然后通過最小二乘法擬合出導航線。李云伍[3]、李文洋[4]等以成行的土埂為目標，采用HSV色彩空間的V分量閾限來對道路進行切割處理，而后通過直線擬合算法獲得導航線。彭順正等[5]將果樹與背景分割后，選取果樹與地面交界處為參考點進行直線擬合，并選取線上幾個中心點以此生成導航線。

傳統的圖像處理方式容易受到果樹自身及周圍環境的影響，不利于導航線的生成。隨著卷積神經網絡近幾年的快速發展，基于深度學習的視覺導航在農業方向上的應用有了較大的提升。深度學習的方法具有檢測精度高、適應性強等特點。而YOLO系列算法作為其中一種深度學習的方法被廣泛應用，該算法通過單個卷積神經網絡遍歷圖像，回歸出目標的類別和位置以實現對目標的識別檢測。

基于現有的研究成果，本文提出一種利用識別框的下邊中點替換樹干根點的方法，以果園樹干為導航目標特征，對圖像進行預處理以及對樹干進行標注，構建果園樹干數據集，利用YOLOv5訓練生成樹干識別檢測模型，以實現果園樹干的識別檢測。采用根點替換方法得到樹干的定位基點后，利用最小二乘法擬合單側定位基點生成樹行線，根據所得的樹行線選取道路中點坐標，再次利用最小二乘法擬合樹行中心導航線，在果園背景下為果園移動機器人提供導航路徑。

1 圖像收集與數據預處理

1.1 圖像采集與預處理

本文采用深度學習的方法，使用卷積神經網絡提取樹行間導航的目標特征來實現對預期目標的檢測，但是該方法需要采集大量樹干圖像用于訓練，以此來確保模型有較高的精準度和魯棒性。研究對象來自新疆維吾爾自治區葉城縣核桃產業園，樹干樣本圖像在樹行環境下采集（圖1），采用相機對樹行間以不同角度進行拍攝，共采集圖像1 200張，圖像格式為.jpg。

圖像中行間樹干為檢測目標，對圖像進行預處理。然后對處理過的圖像通過進行反轉、調整色彩、平移、添加阻擋等方式將相應的數據集擴充至4 250張。得到的數據集圖像按照8∶2的比例劃分為訓練集和驗證集，即3 400幅圖像用于訓練，850幅圖像用于驗證。

1.2 數據標注

經過對圖像采集的和預處理后，使用LabelImg對圖像目標進行標注。在標注過程中，用方形邊框對樹干進行框選，并且盡可能使根部中點與邊框底部中點重疊。圖像標注完成后，會生成一個.xml格式的文件，其中包含目標類別以及目標位置信息。

2 基于深度學習的樹干識別提取方法建立

2.1 模型構建

本文使用YOLOv5s模型進行訓練模型的構建。其網絡結構由input（輸入端）、Backbone（主干網絡）、Neck（頸部）、Prediction（預測）四部分組成，如圖2所示。

YOLOv5是YOLO的第5個版本，具有檢測精度高、速度快等優點，滿足實時檢測的需求[6]。其核心是將整個圖像作為網絡的輸入，最后在輸出層回歸目標的類別和位置信息[7]。YOLOv5包括YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四個版本，其網絡結構相似，其中YOLOv5s是其中體積最小、速度最快的網絡模型，在模型的快速部署上具有較大優勢，滿足實時檢測的需要。

2.1.1 Input模塊

YOLOv5s網絡模型在輸入時，Input模塊主要通過Mosaic數據增強、自適應錨框計算和自適應圖像縮放等操作。Mosaic數據增強利用4張圖片，并且按照隨機縮放、隨機裁剪和隨機排布的方式對其進行拼接，每一張圖片都有其對應的框，將4張圖片拼接之后獲得一張新的圖片，同時獲得這張圖片對應的框，將新的圖片傳入到神經網絡當中去學習。該方法極大地豐富了檢測物體的背景，提升模型的訓練速度和網絡的精度。自適應錨框計算和自適應圖像縮放操作是在初始錨框的基礎上輸出預測框，進而和真實框groundtruth進行比對，計算兩者差距，再反向更新，迭代網絡參數。同時將原始圖片調整為640×640×3作為圖像輸入，送入檢測網絡中。以此來對網絡模型的訓練進行簡化。

2.1.2 Backbone結構

Backbone結構是一個卷積神經網絡，結合不同的細粒度圖像形成圖像特征。主要包括Focus和CSP結構。Focus結構是通過對圖片進行切割，來加快網絡訓練速度。Focus結構將輸入的640×640×3的圖像通過切片操作變成320×320×12的特征圖，再經過一次32個卷積核的卷積操作，最終變為320×320×32的特征圖。CSP結構通過局部跨層融合使計算量減小的同時獲取更加豐富的特征圖[8， 9]。該結構將原始輸入一分二后，依次對每一個分支進行卷積計算操作來讓通道數減少二分之一，其中一個完成Bottleneck操作。最后再聯接兩個分支，以使模型學習到更為豐富的特征。

2.1.3 Neck結構

Neck結構用來增加信息的流動性，具體結構如圖3所示。

該部分采用FPN＋PAN的方式。FPN部分通過自頂而下的方式將高層的特征信息通過上采樣的方式進行特征的傳達融合。而PAN部分是通過自底而上的方式將底層的特征信息通過下采樣的方式進行特征的傳達融合。

2.1.4 Prediction結構

Prediction結構的檢測網絡包括3個檢測層，每個檢測層輸入不同尺寸的特征圖，用于檢測各種尺寸的圖像目標[10]。每個檢測層輸出一個包括類別、置信度、邊框位置信息等在內的通道向量，從而對圖像中的目標實現檢測。

2.2 模型訓練

2.2.1 訓練環境與參數設計設置

試驗在一臺由Inteli5-12400F（64位）和GTX3060GPU組成的計算機上進行。使用PyTorch1.1作為深度學習框架。在本文模型中，設置迭代周期為300，初始學習率設置為0.001，批量大小設置為8。

2.2.2 評價指標

通過對精準度P、召回率R、平均精度均值mAP等指標進行評估，來對YOLOv5s模型的效果進行檢測，其中平均精度均值是其中較為重要的指標。計算如式（1）～式（3）所示。

[P=TPTP+FP×100%] （1）

[R=TPTP+FN×100%] （2）

[mAP=K=1NPRN] （3）

式中： TP——正確檢測出的樹干數量；

FP——誤識別的樹干數量；

FN——未正確識別出的樹干數量；

N——樣本中種類數量。

2.2.3 訓練與檢測效果分析

訓練過程中，平均精度均值隨迭代次數變化情況如圖4所示。模型在前50個迭代次數中，mAP值快速上升，升至0.8左右，在第50～200次之間，mAP值上升緩慢，逐漸接近0.87，在第200個迭代次數之后，mAP值趨于穩定，保持在0.87左右，模型達到穩定的收斂。訓練完成后，模型檢測效果如圖5所示。

3 基于最小二乘法的行間導航算法建立

3.1 根點替換定位方法

機器人在非結構果園環境下行駛，選取合適的特征是導航的重點。果園中的環境較為復雜，樹根部會出現分叉或長滿雜草而將果樹根部特征目標遮擋的情況，不利于樹干根部的識別。而果樹在果園中具有干冠分離、樹干上刷有白色的石灰石等特點，并且樹干長度一般較高，不會被雜草遮擋，同時樹干的底部中點與根部中心部分相差較小。

因此本文選擇具有明顯特征的樹干來作為導航特征點，通過構建好的樹干檢測模型對樹干進行識別后，在樹干處生成識別框來定位樹干位置，該識別框的下邊中點與果樹的根點具有相應性，因此采用樹干識別框的下邊中點替換實際的果樹根點，來為后續導航提供位置信息，該方法即根點替換定位方法。對樹干識別框進行數據處理，樹干的識別框中包含該位置邊框的對邊角點的坐標數值，通過對該對邊角點坐標的計算，可獲得所識別樹干的邊框下邊中點坐標，該中點坐標即為擬合直線所需的定位坐標信息。設識別框左上角的坐標為[Pl（xl，yl）]，右下方的坐標為[Pr（xr，yr）]，則識別框下邊中點的坐標[Pz]為

[x=xl+xr2y=yr] （4）

提取的下邊中點示意如圖6所示。

定位基點與實際根點定位結果如圖7所示，綠色標記點為樹干的底部中點即定位基點，紅色標記點為實際果樹根部中點。綠色的定位基點是通過識別框的兩對角坐標計算出的下邊中點坐標，是樹干根點為替換點。紅色的標記點是通過人工確定樹根中點來標注的。

3.2 基于最小二乘法的樹行線和導航線生成

導航線的擬合生成是機器人在果園中導航的關鍵，其擬合精度直接影響到機器人的導航精準度。常用的直線擬合方法有Hough變換法、最小二乘法。Hough變換直線擬合的原理是通過點和線的對偶性，將原始圖像空間中的線性關系轉化為參數空間的點，在參數空間中找尋點峰值。

Hough變換的計算量大、耗時長，并且較易檢測出多條直線。最小二乘法檢測時間快、響應速度較快，但容易受到多余噪點的干擾。由于本文所使用的數據較少并且沒有多余噪點，綜合檢測速度，采用最小二乘法作為本文擬合算法。

3.2.1 最小二乘法模型

最小二乘法是一種線性回歸方法，應用于直線擬合，具有響應速度快等優點。最小二乘法的基本原理是通過計算集合中的數據與擬合直線之間的縱向最小偏差平方和來尋求估計模型的最優參數，即在眾多點構成的數據集中找出一條直線，使數據集中所有點到該直線的距離總和最小。

理論步驟如下：設需要擬合直線的數據集合為[A=[（X1，Y1），（X2，Y2），???，（Xn，Yn）]]，設擬合直線方程為[y=ax+b]，根據式[δ=（yn-y）2]來計算誤差平方和，并將擬合的直線方程[y=ax+b]代入可得

[δ=i=1n（yn-axn-b）2] （5）

對式（5）中的參數a、b分別求偏導，可得

[??ai=1n（yn-axn-b）2=0??bi=1n（yn-axn-b）2=0] （6）

根據式（5）、式（6）可得

[nb+（i=1nxn）a=i=1nyn（i=1nxn）b+（i=1nxn2）a=i=1nxnyn] （7）

對式（7）求解可得，參數a，b的最佳估計值。

[a=n（i=1nxnyn）-i=1nxni=1nynni=0nxn2-（i=1nxn）2b=（i=1nxn2yn）-i=1nxn（i=1nxnyn）ni=1nxn2-（i=1nxn）2] （8）

可得擬合直線為[y=ax+b]。

3.2.2 基于最小二乘法的樹行線和導航線生成

基于已得到的樹干識別框下邊中點的坐標集合，建立樹行線和導航線生成算法。在檢測模型識別出果園兩側樹行后，計算識別框的下邊中點并構成定位基點的坐標集合。樹行線和導航線生成流程如圖8所示。

通過檢測模型識別出兩側樹行的樹木后，對識別框的對邊坐標進行處理，得到樹干識別框下邊中點的坐標，將左側樹行的坐標記為[（xl，yl）]，右側樹行的坐標記為[（xr，yr）]，擬合直線方程為y[=ax+b]。將左側樹行坐標及擬合直線方程聯合式（5）～式（8），計算a、b值，得到左側直線表達式[Ll=alx+bl]。同理右側直線表達式[Lr=arx+br]。得到兩側樹行線的表達式后，在左側樹行線上等距選取8個點作為后續中心擬合參考點。設選取的左側樹行參考點對應坐標為[Pli（xi，yi）]，其中i=1，2，…，8，將這8個點的縱坐標分別代入右側樹行線表達式，得到對應的坐標[Prj（xj，yj）]，其中j=1，2，…，8。根據左右兩側的16個參考點求出8個位于樹行中央的導航線的參考點[Pmk（xk，yk）]，其中[xk=xi+xj2]，[yk=yi+yj2]，k=1，2，…，8，根據8個樹行中央的導航線的參考點及擬合直線方程聯合式（5）～式（8），通過最小化誤差平方和來求取與導航線參考點的最佳直線匹配函數得到果園樹行中央的導航線表達式[Lm=amx+bm]。擬合情況如圖9所示紅色線為單側樹行擬合直線，藍色線為道路導航線。

4 結果與分析

4.1 樹干識別正確率

與傳統圖像識別相比，該訓練好的YOLOv5網絡目標識別率較高，并且抗干擾能力較強。在一張果園圖像中，樹干的像素尺寸大小會對識別檢測造成不同的影響。當樹干距離拍攝處較近時，樹干較為清晰，特征明顯，識別的難度較小。而在距離拍攝處較遠的地方，樹干特征較為模糊以及會被前面的樹干遮擋，使檢測的難度變大。本文對比設置3個梯度，樹干的像素高度分別選取200像素以上、100～200像素、100像素以下進行統計。結果如表1所示，樹干的像素高度在100像素以下時，識別正確率為78.5%，樹干像素高度在100～200像素時，識別正確率為89.3%，樹干像素高度在200像素以上的識別正確率為94.0%。該模型在樹干的像素高度大于200像素時，效果最好，而樹干像素高度在100像素以下時，因為樹干像素較小、特征較為模糊以及存在遮擋等情況，影響了識別正確率。綜合所選的100張圖片，3種梯度下的平均識別正確率為85.5%，單側識別的個數均不少于3個，符合直線擬合需求。

4.2 根點替換定位方法誤差分析

本試驗選取40張果園行間場景的圖片，來對算法生成的樹干識別框下邊中點位置與實際果樹根部中點進行誤差分析，將兩點間的直線像素距離計為該方法所產生的誤差，通過對誤差進行統計，來驗證該方法的可行性。統計結果如圖10所示，在所選取的40張圖片中，直線像素誤差最大值為20像素，平均誤差為5.1像素。根據相機標定參數和針孔成像模型，將該像素誤差轉化為實際距離誤差，計算得到實際平均距離誤差為0.067 m。該誤差結果表明，該方法可為果園樹行線的獲取提供等效替換點。

4.3 擬合導航線偏差分析

為分析算法所得中心線是否在可取范圍內，對果園場景下算法擬合的導航線和實際中心線進行比較來分析試驗偏差。實際道路中心線的中點到導航線的水平距離計為橫向偏差。選取40張圖片進行導航線的偏差統計。統計的橫向偏差結果如圖11所示。最大橫向偏差為10像素，平均橫向偏差為5.8像素，實際平均橫向偏差為0.076 m，該結果表明，所用方法在導航上有較高的可用性。

5 結論

1） 針對機器人果園導航的需求，本文研究基于深度學習和最小二乘法相結合的方式來獲取果園樹行中心導航線的方法。通過對圖片的采集與擴充，建立果園環境下樹干的數據集，完成對YOLOv5模型的訓練。通過對100張圖片進行樹干識別正確率驗證，平均正確率為85.5%。

2） 采用識別框下邊中點替換實際根部中點的方法，獲取單側樹行的樹干底部中點坐標，并以此為定位基點擬合直線，獲取單側的樹行直線。所用替換方法，誤差均在20像素以內，并且平均誤差為5.1像素，實際平均距離誤差為0.067 m，可為果園樹行線的獲取提供等效替換點。

3） 在獲取兩側樹行線后，再利用最小二乘法完成行間導航線的擬合。所擬合導航線平均橫向偏差為5.8像素，實際平均橫向偏差為0.076 m，具有較高的精度，可為機器人的行間導航提供研究基礎。

參 考 文 獻

[ 1 ] Radcliffe J， Cox J， Bulanon D M. Machine vision for orchard navigation [J]. Computers in Industry， 2018， 98： 165-171.

[ 2 ] Montalvo M， Pajares G， Guerrero J M， et al. Automatic detection of crop rows in maize fields with high weeds pressure [J]. Expert Systems with Applications， 2012， 39（15）： 11889-11897.

[ 3 ] 李云伍， 徐俊杰， 王銘楓， 等. 丘陵山區田間道路自主行駛轉運車及其視覺導航系統研制[J]. 農業工程學報， 2019， 35（1）： 52-61.

Li Yunwu， Xu Junjie， Wang Mingfeng， et al. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas [J]. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（1）： 52-61.

[ 4 ] 李文洋. 獼猴桃采摘機器人視覺導航路徑生成方法研究[D]. 咸陽： 西北農林科技大學， 2017.

Li Wenyang. Research on the method of generating visual navigation path of kiwi picking robot [D]. Xianyang： Northwest A amp; F Universit， 2017.

[ 5 ] 彭順正， 坎雜， 李景彬. 矮化密植棗園收獲作業視覺導航路徑提取[J]. 農業工程學報， 2017， 33（9）： 45-52.

Peng Shunzheng， Kan Za， Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short?stalked and close?planting jujube orchard [J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（9）： 45-52.

[ 6 ] 張鵬鵬. 基于機器學習的小麥穗檢測及其產量衛星遙感預測研究[D]. 揚州： 揚州大學， 2021.

Zhang Pengpeng. Research on wheat spike detection and yield prediction by satellite remote sensing based on machine learning [D]. Yangzhou： Yangzhou University， 2021.

[ 7 ] Lin T Y， Dollár P， Girshick R， et al. Feature pyramid networks for object detection [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2117-2125.

[ 8 ] Wang C Y， Liao H Y M， Wu Y H， et al. CSPNet： A new backbone that can enhance learning capability of CNN [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops， 2020： 390-391.

[ 9 ] Liu S， Qi L， Qin H， et al. Path aggregation network for instance segmentation [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8759-8768.

[10] Rezatofighi H， Tsoi N， Gwak J Y， et al. Generalized intersection over union： A metric and a loss for bounding box regression [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 658-666.