基于嵌入式技術的智能采摘機器人設計

李芳LI Fang；李霞LI Xia

（①北京經濟管理職業學院，北京 100102；②北京城市學院，北京 100102）

0 引言

隨著水果種植規模化集約化、人工成本的上漲和社會人口老齡化，智能采摘機器人的應用將會在農業中得到大量推廣，它可在室內外多種復雜環境下，高效、精準地完成果實目標檢測、位置確定、成熟度判斷和快速摘取功能，不僅能夠節省人力成本，還能夠提高生產效率。

目前市場上有多款水果采摘類機器人產品，主要為“荔枝采摘機器人”、“蘋果采摘機器人”等，能夠完成無損采摘，快速精準摘取，雙目立體視覺定位，適應復雜環境等，但采摘產品比較單一，應用缺乏普遍性。基于嵌入式技術的智能采摘機器人，通過直流電機、顏色傳感器、TX2中心處理器以及YOLO算法等能夠識別隨機位置的果實，綜合判斷確定果實的成熟度、利用機械臂對果實進行快速高效的精準采摘。同時能夠實現整體對采摘機器人多方向，少路徑，節時間的運動控制，實現平穩移動智能避障，降低功耗成本，提升采摘效率和工作穩定性。

1 系統的整體設計

整個機器人系統分上層和下層兩層設計，上層系統可以向下層系統傳輸數據，對下層系統的功能進行控制。上層系統主要負責數字圖像信息的采集與機器人步進控制，包括樹莓派為主體的數據采集處理模塊和51開發板與各種測距傳感器、無線透傳構成的機械臂模塊。下層系統RM-A板為主體，連接無線透傳、測距傳感器、繼電器、電調、全向輪等實現步進控制，負責控制機器人按照指定的姿態進行移動，控制推桿電機的升降。（圖1）

圖1 系統整體設計圖

上層系統：分為數字圖像信息的采集與處理、果實采摘（機械臂）的控制兩個部分，分別使用樹莓派和51板實現。

①數字圖像信息的采集與處理部分：由樹莓派連接顯示器、USB攝像頭、無線透傳模塊組成。樹莓派通過USB接口連接攝像頭，用于爪子、果實位置的檢測；樹莓派連接顯示器，用于顯示經過樹莓派處理后的圖像位置信息，便于監測智能采摘機器人的工作狀態。無線透傳模塊用于向RM-A開發板傳輸當前果實的位置信息數據，由下層系統處理后確定機器人應當行進的方向；樹莓派通過串口連接果實采摘控制模塊，提供果實和爪子的位置信息傳遞，由該模塊確定采摘過程。

②果實采摘（機械臂）的控制部分：由51板連接爪子舵機、云臺舵機、超聲波測距傳感器、紅外測距傳感器和無線透傳模塊組成。爪子用于抓取果實，云臺用于收集果實。51開發板通過串口接收樹莓派的數據，利用D-H參數法計算出云臺和爪子的移動數據，并由PWM控制舵機，實現云臺和爪子的移動。超聲波測距傳感器、前紅外傳感器和下紅外傳感器對爪子與果實的相對位置進行準確定位，控制握爪時機，對樹莓派得出的位置信息進行補充。無線透傳模塊向下層系統傳遞果實與爪子的距離信息，從而控制智能采果機器人的移動距離。

下層系統：使用一個RM-A 32開發板作為處理單元，實現步進控制與系統通信。

①在系統間的通信上，RM-A開發板通過串口連接兩個無線透傳模塊，用于接收上層系統傳遞的數據。

②在步進控制的實現上，RM-A開發板通過UART協議連接一個測距傳感器，通過距離控制實現避障，配合IMU姿態閉環，實現步進控制算法。RM-A開發板通過CAN總線連接底盤，底盤包含四個電調，分別連接4個電機和全向輪，步進控制算法通過CAN總線傳輸電機運轉速率，使得機器人能夠平穩地移動。

RM-A開發板通過IO口連接繼電器，開發板可以向繼電器提供5V電壓，從而控制推桿電機的升降。整個下層系統采用電壓為24V的RM電池進行供電。

2 主要功能模塊介紹

2.1 目標檢測模塊

目標檢測模塊主要是由USB攝像頭、顯示器和無線透傳模塊組成。通過軟硬件協同部署，用攝像頭采集果實圖片，經過顏色傳感器采集圖片顏色，并通過TX2中心處理器綜合判斷的方式確定果實的成熟程度，并判斷是否執行采摘動作。在快速識別果實位置的過程中，優化并應用YOLO算法，檢測速度相對較快，背景誤檢數量少了一半，能夠迅速識別果實位置并為精準摘取做準備。

TX2中心處理器主要負責對整個系統數據進行處理和判斷，它采用NVIDIA推出的Jetson TX2。Jetson TX2具有多個多媒體流引擎，可通過卸載傳感器采集和分發來為其Pascal GPU提供數據。這些多媒體引擎包括六個專用MIPI CSI-2攝像頭端口，每個通道的帶寬高達2.5 Gb/s，雙圖像服務處理器（ISP）的處理速度為1.4gigapixels/s，以及支持H.265的4K視頻編解碼器每秒60幀。

2.2 測距模塊

在智能采果機器人中使用了超聲波測距、雷達測距、紅外測距三種測距模塊，這里重點介紹超聲波測距和雷達測距。

2.2.1 超聲波測距模塊

超聲波測距使用HC-SR04模塊，該模塊性能穩定，測量距離精準，盲區小。用于機器人機械臂測距。

本模塊使用方法簡單，一個控制口發一個10μs以上的高電平，就可以在接收口等待高電平輸出。有高電平輸出就開啟定時器計時，當接口輸出變為低電平時讀定時器的值，得到此次測距的時間，即可得出距離。多次測量求平均值，即可測量出機械臂的移動值。

2.2.2 激光雷達測距模塊

采用TFmini小型激光雷達功能模塊實現機器人底座移動合理避障，該模塊成本低、體積小和功耗低，對于室外強光、不同溫度、不同反射率等不同環境下的適應性較強。另外采用了串口連接，信息傳輸速度快。（圖2）

圖2 激光雷達測距模塊連接圖

該模塊在室內工作時：探測目標為90%反射率，有效探測距離為12m；探測目標10%反射率，有效探測距離5m；在室外工作時：普通日照（照度70klux以下），有效探測距離7m；夏天烈日下（照度100klux）或者室外黑色背景板，有探測距離為3m。注：所有距離參數均為與探測物正對情況下。

圖3 激光雷達模塊測量的有效距離

2.3 舵機控制模塊

舵機控制模塊主要用來控制機械臂的旋轉，用來采摘果實和收集果實。通過51板輸出PWM控制舵機工作。

控制信號由接收機的通道進入信號調制芯片，獲得直流偏置電壓。它內部有一個基準電路，產生周期為20ms，寬度為1.5ms的基準信號，將獲得的直流偏置電壓與電位器的電壓比較，獲得電壓差輸出。電壓差的正負輸出到電機驅動芯片決定電機的正反轉。當電機轉速一定時，通過級聯減速齒輪帶動電位器旋轉，使得電壓差為0，電機停止轉動。

3 數據的采集與處理

3.1 數據采集設計

智能采果機器人采集的數據集主要是用來實現果實目標檢測、成熟度的判斷和采摘。包括果實目標檢測中：攝像頭采集的原始圖像數據、YOLO算法中的訓練集和測試集、樹莓派處理后的果實位置信息以及動態的機械臂爪子位置信息；采摘過程中：舵機和機械臂的移動數據、果實與機械臂爪子的距離數據；成熟度判斷中的顏色數據信息、果實成熟度數據等等。

3.2 數據處理設計

首先通過攝像頭采集原始圖片數據，進行顏色識別后經過顏色傳感器采集對應顏色，得到果實成熟度數據由TX2實現綜合判斷后待采果實。然后利用YOLO算法得到果實目標檢測后的位置信息數據，再分別傳送給機械臂控制部分和機器人移動控制部分。機械臂部分由51開發板接受果實位置信息，由超聲波和紅外傳感器完善位置數據，再用算法計算出舵機和機械臂爪子移動數據，最后動態向下傳遞果實與機械臂爪子的距離數據，具體數據處理過程如圖4所示。

圖4 數據處理流程

YOLO算法處理圖像簡單直接，基本由以下幾個步驟完成：①將輸入圖像調整為448×448；②在圖像上運行單個卷積網絡；③由模型的置信度對所得到的檢測進行閾值處理。YOLO預測流程簡單，速度很快。在Titan X GPU上基礎版可以達到45幀/s，快速版可以達到150幀/s。因此，YOLO可以實現實時檢測。

4 解決的技術難點

在智能采果機器人的設計中，主要考慮了4個技術難點，具體技術難點及解決方法如下：

4.1 成熟度判斷技術難點

在果實采摘過程中，如何判斷果實成熟度是一個廣泛存在的技術難點，影響到采摘質量、生產效率和產品的落地使用價值。因此采用攝像頭與顏色傳感器共同識別方法判斷果實成熟度。通過攝像頭的拍攝圖片對果實的顏色進行識別，之后再經過顏色傳感器來采集對應的顏色，并通TX2中心處理器實現綜合判斷的方式，以實現果實的成熟程度的確定。

4.2 果實目標檢測技術難點

在智能采摘過程中，果實位置檢測是一個基礎性的核心技術問題，然而在復雜多樣環中提高檢測目標的準確率和提取準確的位置信息具有難度。在核心算法上采用優化的YOLO算法，檢測速度更快，能夠實現處理流媒體視頻。背景誤檢數量少了一半。能更快速度識別果實位置，做到精準摘取。通過無線透傳模塊傳輸果實位置信息，超聲波測距傳感器、紅外傳感器對機械臂爪子與果實的相對位置進行準確定位，控制握爪時機，對樹莓派得出的位置信息進行補充。

4.3 協同運動控制技術難點

整個采摘的完成，包括步進運動控制和采摘動作控制，同時要實現兩個運動在采摘過程的協同控制，而兩個維度的運動協同控制是采摘成果的關鍵保障，否則將難以高效完成采摘。采用分層設計，上層系統實現數據采集和機械臂控制，并將數據傳輸到下層系統，下層系統實現步進控制。利用軟硬協同設計思想，由傳感器、高效目標檢測算法經樹莓派處理獲取并確定爪子和代采果實位置的數據，并利用無線透傳傳輸數據到上層系統中的機械臂控制部分（51開發板）和下層系統（RM-A開發板）。

4.4 復雜環境適用技術難點

實際采摘環境可能是相當復雜的，溫度、反射率、室外光強等等對于機械控制數據的采集計算有很大影響。對此，將HC-SR04模塊用于測距，此模塊性能穩定，測度距離精準，模塊高精度，盲區小。同時利用TFmini小型激光雷達模組，在保證成本、小體積、低功耗基礎上，提高對不同溫度、光強、反射率環境下端適用性。

5 結語

智能采摘機器人雙重判斷果實成熟度方法、使用YOLO目標檢測算法以及基于嵌入式技術以實現步進抓取協調控制。整個系統采用分層的方式設計，上層模塊向下層模塊傳輸數據，對下層模塊的功能進行控制。它可在室內外多種復雜環境下，高效、精準地完成果實目標檢測、位置確定、成熟度判斷和快速摘取功能，為我國農業的自動化發展增值賦能。