作物表型巡檢機器人實驗平臺設計與教學應用

［摘 要］ 針對智慧農業類專業缺乏地面自主作物表型巡檢教學設備，基于機器人操作系統（ROS）設計了一款以輪式底盤為載體的小型自走式作物表型巡檢機器人實驗平臺。該平臺搭載了深度相機、RGB相機和多光譜相機等表型監測模塊，激光雷達、深度相機、RTK定位設備、IMU傳感器等輔助駕駛模塊，具備通用性、綜合性和開放性等特點。通過基礎實驗和創新實驗的教學應用，能夠培養學生的動手實踐能力、系統綜合設計能力及創新思維、科研思維。該平臺的開發和應用不但促進了學生實踐技能的培養，而且在智慧農業技術示范推廣中取得了較好效果。

［關鍵詞］ 作物表型巡檢機器人；機器人操作系統；實驗教學平臺；實踐教學

［基金項目］ 2023年度中央高校基本科研業務費專項資金資助“作物表型巡檢機器人實驗教學平臺的構建”（SYS2023001）；2024年度教育部產學合作協同育人項目“數字孿生與人工智能技術在智慧農業專業建設中的應用”（231104822160457）；2024年度教育部產學合作協同育人項目“基于數字孿生與人工智能技術的‘信息農業技術’課程改造研究”（231104822154512）

［作者簡介］ 邱小雷（1982—），男，河南焦作人，碩士，南京農業大學農學院高級實驗師，主要從事智慧農業技術、實驗實踐教學研究；張小虎（1986—），男，江蘇揚州人，博士，南京農業大學農學院副教授（通信作者），主要從事農業大數據研究。

［中圖分類號］ TP391；G642.0 ［文獻標識碼］ A ［文章編號］ 1674-9324（2024）39-0021-04 ［收稿日期］ 2024-01-12

作物表型是作物基因與環境相互作用產生的部分或全部可辨識的物理、生理和生化特征及性狀［1］，包括作物的形態結構、營養組分、生長特征、病蟲害脅迫和生產力等類型。作物表型信息是揭示作物生長發育規律及其與環境關系的重要依據，是智慧育種、智慧農作的前提和基礎。“天空地網”立體化的作物表型信息監測技術近年來取得了突破性進展［2］。掌握相關技術是智慧農業類專業不同層次學生必備的技能。

目前，衛星遙感、無人機、物聯網等監測平臺和實驗教學資源相對成熟，而將數字儀器、傳感器集成到地面機器人的高通量表型采集設備，由于技術較新、發展較快，針對性的配套實驗和資源尚薄弱。為此，本文設計了一款以輪式底盤為載體的小型自走式作物表型巡檢機器人實驗平臺，其具有豐富的傳感器和自主作業等優點，續航時間較長，具有良好的穩定性，易于控制，易于擴展，且價格便宜，是理想的作物表型信息采集工具和教學實驗平臺。

一、實驗平臺軟硬件設計

（一）機器人硬件系統設計

作物表型巡檢機器人的硬件系統是實驗平臺的基礎，如圖1所示主要有四部分，分別為機器人本體系統、輔助駕駛模塊、表型監測模塊、網絡通信模塊。

1.機器人本體系統。機器人本體系統包括機器人底盤、傳感器搭載結構和上位機。機器人底盤選擇了四輪差速移動平臺，搭載以ARM? Cortex?-M4為內核的高性能微控制器STM32F4，底盤能實現原地轉向。最大行駛速度為1.48 m/s，最大載重為100 kg，最大續航為5 h。傳感器搭載結構使用STM32F1控制板，結構分為直線驅動機構和旋轉驅動機構，直線驅動機構選用滾珠絲杠導軌實現表型監測模塊在垂直方向（Z軸）的自由升降，最高可升至1.4 m；選用同步帶導軌實現表型監測模塊水平方向（Y軸）的自由伸縮，最大可伸長2 m。上位機使用安裝Ubuntu系統和ROS機器人操作系統的工控機，作為ROS主節點負責管理調度網絡中節點與節點之間的通信，同時用于配置網絡中的全局參數和保存采集數據。

2.輔助駕駛模塊。輔助駕駛模塊包括激光雷達、深度相機、RTK定位設備和IMU傳感器等，用于輔助機器人運動狀態調整和行駛導航。選用杉川3i-T1單線激光雷達和樂視LeTMC-520深度相機組合實現機器人作業環境的實時感知與視覺避障，所選激光雷達探測距離為20 m，能精準獲取所在空間平面點云信息；所選深度相機集成MT9M001和AR0330CMOS圖像傳感器，可以獲取彩色圖像、深度圖像及紅外圖像。RTK定位設備選用飛納經緯MINI2-D定位定向接收機，支持BDS、GPS、GLONASS、QZSS系統RTK高精度定位。IMU使用了靈遨科技的六軸慣性測量傳感器，其整合三軸加速度計、三軸陀螺儀傳感器，能提供包括歐拉角、四元數和加速度等信息在內的精確數據。

3.表型監測模塊。表型監測模塊是機器人實驗平臺的核心，由深度相機、RGB相機和多光譜相機等傳感器組成，實現作物表型多源數據的采集。深度相機同為樂視LeTMC-520體感攝像頭，作為第一深度相機獲取作物冠層深度圖像。RGB相機以Sony IMX179為感光元件，最高有效像素800萬，適合多種環境拍攝。多光譜相機選用RedEdge-M，可同時獲取藍色、綠色、紅色、紅色邊緣、近紅外五個不連續的光譜圖像。表型監測模塊裝置于傳感器搭載結構Y軸導軌終端相機集成箱，理論承載最大重量設計為21.1 kg。集成箱體設置了分控板，能滿足多種類型傳感器的自主集成。還設置了一個舵機，可實現RGB相機多角度自由旋轉。

4.網絡通信模塊。工業級路由器選用漢楓4G無線路由器HF8104，支持4G、Wi-Fi、以太網等通信方式。路由器的主要作用：一是將上位機、激光雷達、多光譜相機、RTK定位設備組成內部局域網，實現上位機的信息采集；二是戶外工作時為RTK定位設備提供移動網絡；三是滿足服務器或PC終端與上位機通信交互，向上位機下發作業指令或將上位機中采集的信息傳輸至本地。

（二）機器人控制系統設計

機器人控制系統是機器人的大腦，是決定機器人功能和性能的主要因素。作物表型巡檢機器人控制系統分為上位機主控、下位機主控、傳感器搭載結構主控三個模塊。上位機主控即工控機，是ROS機器人操作系統的載體，接入工業路由器，然后通過USB接口、有線網絡或無線網絡接入深度相機、RGB相機、激光雷達、RTK定位模塊、多光譜相機，通過RS232串口與下位機通信。下位機主控的核心為STM32F4運動控制板，主要實現對機器人底盤的運動控制，對電機及其他外設的控制，通過RS485串口與傳感器搭載結構通信。傳感器搭載結構主控是STM32F1控制板，實現對Z軸伺服電機控制升降Y軸；通過RS485與相機集成箱的中繼控制板通信，實現對相機集成箱Y軸方向的移動控制，以及對RGB相機多角度旋轉的控制。

（三）人機交互系統設計

人機交互系統是人與機器之間進行消息傳遞的媒介，常用方式包括文本指令、圖形界面、語音識別等，幫助使用者簡易、快捷地操縱機器完成各項作業。本文采用Python與C++混合編程形式，使用PyCharm和Qt Creator編譯器，基于ROS設計PC端作物表型巡檢機器人交互系統，利用ROS的話題通信機制與服務通信機制、Qt的信號與槽機制，開發設備連接、節點啟動、運動控制、傳感器姿態控制、自主導航、點云顯示、圖像訂閱、圖像存儲、表型監測等核心功能，實現對機器人控制與數據采集管理的一體化。

二、實驗平臺創新實驗設計

基于ROS的作物表型巡檢機器人實驗平臺，提供了一個開放性的軟硬件實驗環境。學生不但能夠在平臺上實踐機器人基本控制原理與方法、傳感器數據采集和作物表型參數反演，還可以自主探索創新實驗，例如實踐路徑規劃與自主導航、作物葉綠素監測和作物穗數識別等拓展功能。

（一）實驗平臺基礎實驗設計

實驗1：機器人控制實驗。機器人控制實驗包括設備初始化、運動控制和傳感器姿態控制。首先將安裝人機交互系統的便攜式電腦作為控制終端，聯網到機器人工業路由器，配置分布式多機通信使其通過SSH與上位機遠程連接，然后基于節點啟動工具roslaunch和SSH協議，遠程執行機器人底盤和升降臂、導航、RGB相機、深度相機等節點的啟動。運動控制是利用上位機ROS訂閱控制終端發布的速度、方向控制話題，然后向下位機主控STM32 F4發送指令，其對運動模型進行解算，控制四個車輪電機，實現機器人不同速度的前進、后退和轉向。傳感器姿態控制是通過設置Y軸、Z軸的位置，RGB相機旋轉角度、運行速度等參數，由STM32 F1控制板控制伺服電機與舵機，實現表型監測模塊的移動和RGB相機的旋轉。

實驗2：傳感器數據采集實驗。傳感器數據采集實驗是實踐作物表型巡檢機器人的激光雷達、深度相機、RGB相機等傳感器的實時監測與信息采集功能。通過在Qt中導入RViz組件實現激光雷達點云數據的可視化；利用ROS的圖像傳輸包image_transport、可視化包image_view與OpenCV結合，實現RGB圖像與深度圖像的可視化和采集存儲。區別于利用ROS連接傳感器，多光譜相機RedEdge-M提供了網絡界面，并支持時間觸發、重復率觸發和外部觸發，可使用控制終端Wi-Fi連接多光譜相機，基于HTTP實現五個通道的圖像數據預覽、捕獲與存儲。

實驗3：作物葉面積指數反演實驗。利用Python腳本對保存至控制終端的多光譜傳感器數據、RGB相機數據進行預處理、數據配準，提取多光譜植被指數、可見光植被指數和紋理特征，并將提取的特征值進一步傳入基于多傳感器融合的水稻葉面積指數監測模型，可實現水稻葉面積指數的估測，展示數據級融合后的RGB圖像和各植被指數、紋理特征的分布圖（如圖2所示）。本實驗以水稻葉面積指數監測模型為例，學生實驗時，可以根據平臺提供的源碼，使用自建模型替換，嘗試不同作物葉面積指數反演。

（二）實驗平臺創新實驗設計

實驗1：路徑規劃與自主導航實驗。作物表型巡檢機器人集成了激光雷達、深度相機、RTK定位、IMU、輪子里程計等傳感器或模塊，學生可利用實驗平臺自行完成路徑規劃與自主導航實驗。例如密閉環境下的SLAM（Simultaneous Localization and Mapping）實驗，使用gmaping包訂閱機器人深度相機信息、IMU信息和里程計信息，創建二維柵格地圖，然后使用move_base、amcl等包實踐路徑規劃、自動避障和自主導航。再如戶外RTK循跡導航實驗，首先在野外或田間人工控制機器人完成作業軌跡，將RTK、IMU與里程計的數據融合定位，獲取并保存機器人作業路徑；然后實踐機器人加載已知路徑，并完成指定路徑行走作業、局部路徑規劃避障和自主導航等。

實驗2：作物葉綠素監測實驗。葉綠素狀況是作物營養脅迫、光合能力和衰老進程的良好指示劑，實時無損監測作物葉綠素對作物生長診斷、產量估算及氮素管理具有重要意義，也是智慧農業關鍵技術和學生必備的技能。該實驗的基礎是農業遙感原理與技術，已有大量研究關于多光譜影像構建常用植被指數、監測作物葉綠素含量的模型和方法［3-4］。學生可基于作物表型巡檢機器人與集成的多光譜相機，參考現有文獻資料并與上述實驗結合編寫算法代碼，實踐利用機器人自主完成田間作物葉綠素監測工作。

實驗3：作物穗數識別實驗。作物穗數是產量構成的重要因素，已有大量通過圖像處理技術快速準確識別小麥、水稻等作物穗數的研究工作［5-6］，為作物長勢監測和產量估測提供了重要依據。作物穗數識別是一個綜合性創新實驗，其基礎工作是圖像分割，常用閾值分割法、邊界檢測法、聚類分割法、區域生長法等傳統方法和基于深度學習的語義分割方法，需要學生具備圖像識別、深度學習等基礎，然后在作物表型巡檢機器人實驗平臺上，探索田間作物穗數自動識別操作。

結語

本文以南京農業大學智慧農業專業建設為契機，面向本科和研究生不同層次人才培養需求，基于ROS進行了作物表型巡檢機器人實驗平臺開發和實驗教學設計。學生通過基礎實驗和創新實驗，不僅可以夯實“程序語言設計”“農業傳感器與智能裝備”“農業遙感原理與技術”“農業人工智能與機器學習”等核心課程的專業知識，而且可以幫助學生將所學知識融會貫通，實現自主探究學習，還可以提高學生的動手實踐和系統綜合設計能力，培養創新思維和科研思維。作物表型巡檢機器人實驗平臺的設計開發與教學應用，除了在實踐教學中取得了滿意效果，在智慧農業技術應用推廣中也獲得較好的示范效應［7］。

參考文獻

［1］SADRAS V， REBETZKE G， EDMEADES G. The phenotype and the components of phenotypic variance of crop traits［J］. Field crops research，2013，154：255-259.

［2］曹衛星，程濤，朱艷，等.作物生長光譜監測［M］.北京：科學出版社，2020：171-288.

［3］周敏姑，邵國敏，張立元，等.無人機多光譜遙感反演冬小麥SPAD值［J］.農業工程學報，2020，36（20）：125-133.

［4］田婷，張青，徐雯.基于無人機多光譜影像的水稻冠層SPAD值預測研究［J］.中國農學通報，2023，39（4）：149-153.

［5］JIANQING Z， JIAWEI Y， TIANJIE X ， et al. A deep learning method for oriented and small wheat spike detection （OSWSDet） in UAV images［J］.Computers and Electronics in Agriculture，2022，198：107087.

［6］張遠琴，肖德琴，陳煥坤，等.基于改進Faster R-CNN的水稻稻穗檢測方法［J］.農業機械學報，2021，52（8）：231-240.

［7］李晨，孫小雯.農田管理裝上“數字”大腦［N］.中國科學報，2023-10-24.

Design and Teaching Application of Experimental Platform for Crop Phenotype Inspection Robot

QIU Xiao-lei， ZHANG Xiao-hu， LI Yan， ZHOU Dong

（College of Agriculture， Nanjing Agricultural University， Nanjing， Jiangsu 210095， China）

Abstract： This paper builds a compact self-propelled crop phenotypic inspection robot experimental platform based on the Robot Operating System （ROS） with a wheeled chassis as the carrier to address the shortage of ground-based autonomous crop phenotype inspection teaching equipment for smart agriculture majors. Phenology monitoring modules， including depth camera， RGB camera， and multispectral camera， as well as aided driving modules， including LiDAR， depth camera， RTK positioning equipment， IMU sensors， et al.， are all installed on the platform. It is characterized by versatility， comprehensiveness， and openness. It can develop students’ hands-on practical skills， system comprehensive design ability， and innovative and scientific research thinking through the teaching and use of basic experiments and creative experiments. In addition to helping students gain practical skills， the platform’s development and implementation improve how intelligent agriculture technology is demonstrated and promoted.

Key words： crop phenotype inspection robot; ROS; experimental teaching platform; pratical teaching