基于視覺與激光雷達融合的棚內農業機器人定位和檢測研究分析

付全有 ，呂 青

（湖南農業大學，湖南 長沙 410000）

1 研究目的及意義

隨著農業現代化的推進，基于先進技術的農業機器人在提高生產效率、降低勞動強度方面具有巨大的潛力。本研究旨在通過基于視覺與激光雷達融合的技術手段，深入研究棚內農業機器人的定位和障礙物檢測，以實現機器人在農業生產中的智能化、自主化作業[1-3]。具體而言，研究目的包括：探究視覺與激光雷達融合在棚內農業機器人中的應用，提高機器人的感知能力和環境適應性；建立高精度的定位系統，以確保機器人在不同棚內環境中實現準確、穩定的位置定位[4]；設計先進的障礙物檢測算法，使機器人能夠迅速、準確地識別并規避棚內農業作業中的各類障礙物；實現農業機器人在復雜環境中的自主導航，提高農業生產的自動化水平。

本研究具有重要的理論和實際意義，通過視覺與激光雷達融合的定位技術，機器人能夠更精準地感知自身位置，從而實現農業作業的高效、精準執行，提高生產效率[5]。通過深入研究基于視覺與激光雷達融合的棚內農業機器人定位和障礙物檢測技術，本研究旨在為農業現代化提供先進的技術解決方案，為實現智能、高效、可持續的農業生產方式奠定基礎[6]。

2 研究方法

2.1 軟件平臺選擇

在基于視覺與激光雷達融合的棚內農業機器人定位與障礙物檢測研究中，軟件平臺的選擇對于整個系統的性能和效率具有決定性影響。研究團隊選擇機器人操作系統（ROS）作為本研究的軟件平臺。ROS 的開放性、靈活性和強大的社區支持使其成為實現復雜機器人系統的理想選擇[7]。在使用ROS 的過程中，可以利用其提供的RViz 工具進行實時數據可視化，同時，通過ROS 的消息傳遞機制，能夠高效地處理來自視覺傳感器和激光雷達的數據流。其運行機制如圖1所示[8]。

圖1 ROS 運行機制

2.2 傳感器融合

傳感器融合是實現棚內農業機器人定位和障礙物檢測的核心技術。在本研究中采用了視覺傳感器（如攝像頭）和激光雷達（LiDAR）的組合，以實現更準確和可靠的感知能力。傳感器融合是指利用多種傳感器的數據，通過某種算法處理，以提高系統對環境的感知能力[9]。在農業機器人的應用中，這意味著更準確的定位、更有效的障礙物檢測以及更高的作業效率。例如，激光雷達可以提供精確的距離測量，但在復雜的環境中可能受到限制；而攝像頭可以提供豐富的顏色和紋理信息，但可能受光線條件影響。通過融合這兩種傳感器的數據，可以克服各自的限制，實現更全面的環境感知。

2.2.1傳感器選擇和集成

攝像頭：攝像頭作為視覺傳感器，能夠捕捉環境中的圖像，為機器人提供顏色和紋理信息。研究團隊選用奧比中光的高清雙目攝像頭以捕獲更詳細的圖像數據，如圖2所示。

圖2 雙目攝像頭

激光雷達（LiDAR）：激光雷達用于測量機器人周圍對象的距離。研究團隊選擇雷神A1 單線激光雷達，以確保距離數據的準確性和可靠性，如圖3所示。

圖3 激光雷達

2.2.2傳感器數據融合方法

研究團隊采用基于卡爾曼濾波的融合算法。卡爾曼濾波算法可以有效整合來自攝像頭和激光雷達的數據，提高定位和障礙物檢測的準確性。在實際應用中，首先利用激光雷達進行初步的障礙物檢測和距離測量。然后，通過攝像頭捕獲的圖像數據對這些障礙物進行進一步的分析，如識別其形狀、大小和可能的類型（如植物、固定物體等）。通過融合這兩種傳感器的數據，機器人能夠在復雜的農業環境中實現更準確和詳細的障礙物檢測，從而優化其導航路徑。傳感器融合技術在提高棚內農業機器人的定位和障礙物檢測能力方面發揮了關鍵作用。通過結合攝像頭和激光雷達的優勢，能夠實現更高效和準確的環境感知。雖然傳感器融合技術帶來了更高的數據處理要求，但其帶來的性能提升使得投入的額外資源和努力也能獲得相應結果。未來，隨著傳感器技術和數據處理算法的進一步發展，傳感器融合將在農業機器人領域發揮更加重要的作用。

2.3 定位及障礙物檢測

在棚內農業機器人的應用中，精確的定位和有效的障礙物檢測是實現自動化和智能化管理的關鍵。本研究采用了視覺與激光雷達融合的方法，以提升定位的準確性和障礙物檢測的效率。該方法結合了視覺傳感器的豐富細節和激光雷達的高精度測距能力，實現了更為全面和可靠的環境感知。

2.3.1定位技術的實現

定位技術是機器人導航系統的核心。在本研究中，通過以下步驟實現精確定位。

數據融合策略：利用卡爾曼濾波算法融合來自視覺傳感器和激光雷達的數據。這種方法能夠有效平衡兩種傳感器在不同環境條件下的性能差異，實現更準確的定位。

視覺定位：采用基于特征的方法從攝像頭捕獲的圖像中提取關鍵點，如角點和邊緣，用于識別環境中的顯著特征。結合機器學習算法，如支持向量機（SVM），進行特征匹配和環境地圖的構建。

激光雷達定位：激光雷達提供高精度的距離測量，用于檢測周圍物體的位置和大小。結合SLAM技術，創建環境的3D 地圖，與視覺數據進行對比和校正，提高定位精度[10]。

2.3.2障礙物檢測的實現

障礙物檢測對于確保機器人的安全運行至關重要，采取以下措施實現高效的障礙物檢測。

視覺檢測：利用深度學習技術，如卷積神經網絡（CNN），對攝像頭捕獲的圖像進行分析，識別不同類型的障礙物。通過圖像分割技術區分障礙物和背景，提高識別的準確性。

激光雷達檢測：激光雷達數據用于測量障礙物的精確位置和形狀，尤其是在光線不足或復雜背景下的性能優于視覺傳感器。通過點云數據處理，如聚類分析，區分不同障礙物和路徑規劃中的關鍵點。

數據融合和處理：將視覺和激光雷達數據融合，利用算法綜合兩種數據的優勢，提高障礙物檢測的準確性和可靠性。在復雜環境中，如面對多種光照條件和不同類型的障礙物時，這種融合方法表現出更高的適應性和效率。

3 試驗驗證

為驗證本文所提的基于視覺與激光雷達融合的定位和障礙物檢測性能，利用搭建的輪式機器人在草莓大棚內選取2.5 m*3 m 的試驗場地，試驗時間為上午11：00，試驗環境所用到的柵格地圖是利用Gmapping 算法構建的。

3.1 定位驗證

輪式移動機器人沿著設計的閉合路線行走，繞行方形路線一圈后回到起始位置，一共經歷三次拐彎，拐彎以后的路線也均為直線行走，在此運動過程中，攝像頭拍攝的照片保存在系統中。整個過程分別采用單一相機定位運動，記錄其軌跡線；單一激光雷達定位運動，記錄其軌跡線；激光雷達和相機融合定位運動，記錄其軌跡線。對比三個運動軌跡線發現，采用單一激光雷達定位時，漂移會比較嚴重。這是因為激光雷達的點云匹配過程一般都是一個較小角度的初始值，所以在直線行走時基本不會出現漂移，但是隨著拐彎次數的增多，漂移誤差也會增大。采用單一相機進行定位時，無論是直線還是拐彎，定位效果都很好，但是隨著試驗時間的推進，強陽光射進棚內，相機拍攝的照片無法分清草莓土塊和道路，輪式機器人出現定位丟失問題，軌跡終止。采用相機與激光雷達融合的方案進行運動時，運動軌跡定位誤差控制最好，定位軌跡與實際路線出入最小，且不會隨著強光條件干涉導致定位丟失，因為一旦相機定位丟失，激光雷達點云圖像還能作為定位依據繼續行進。

3.2 障礙物檢測驗證

草莓采摘工人是棚內機器人移動過程中最常見的障礙物之一，因此必須對人進行檢測。在試驗場地檢測時，分別在機器人正前方2 m、2.5 m 以及3 m 的地方布置假人模型進行檢測，該假人模型與普通成年男子體型相近。最后試驗結果表明，基于視覺與激光雷達的障礙物檢測算法可以有效地去除環境背景，保留提取目標障礙物區域。通過Canny算法獲取的邊緣信息，激光雷達特征信息提取正確。檢測過程中，在三個不同距離下測出的障礙物身高（假人身高180 cm）誤差都在5 cm 內，最小測量誤差為0.56 cm。雖然在不同的測量距離下，所得到的假人身高測量值出現一定波動，但波動值都在可接受范圍內。因此，基于視覺與激光雷達融合的障礙物檢測算法是可靠的。

4 結論

本研究成功地探索了基于視覺與激光雷達融合的棚內農業機器人定位與障礙物檢測技術。通過綜合利用視覺傳感器和激光雷達的獨特優勢，不僅提升了定位的準確性，還大幅度提高了障礙物檢測的效率和可靠性。采用SLAM 技術結合視覺與激光雷達數據，可以有效突破單一傳感器在復雜農業環境中的局限性。通過這種方法，機器人能夠在缺乏明顯地標的棚內環境中實現精確定位。在障礙物檢測方面則是結合深度學習和點云數據處理技術，能夠顯著提高障礙物檢測的準確性和魯棒性。

本研究在棚內農業機器人領域展現出巨大的應用潛力。這種技術不僅可以應用于作物的自動化管理，如噴灑、修剪和收獲，還可以擴展到其他領域，如智能物流、室內導航和災害救援等。此外，隨著技術的不斷進步，該系統有望進一步優化，以適應更多樣化的環境和更復雜的任務

綜上所述，本研究通過高效融合視覺與激光雷達技術，能夠顯著提升棚內農業機器人的定位和障礙物檢測能力。這一成果不僅可以為農業機器人技術的發展開辟新的道路，也為相關領域的研究提供了有價值的參考和啟示。隨著技術的不斷進步和優化，期待未來能在智能農業和其他領域看到更多此類技術的應用和發展。