基于樹莓派深度學習的采摘機器人

覃書波 胡美婧 陳昌熙

摘? 要：為解決采摘機器人在抓取中的目標識別、位置定位及系統控制方面準確率低，自主能力差等問題。提出一種基于深度學習的采摘機器人，該機器人系統以樹莓派為主控核心，結合舵機和多種傳感器組等模塊，通過建立機器人運動學模型，實現從關節到末端執行機構的映射，采用視覺技術建立目標識別與定位模型，通過視覺反饋來控制機器人。試驗結果表明，該機器人具有較高的識別能力與定位準確率，并具有較高的控制效率。

關鍵詞：采摘機器人；深度學習；運動學模型；LeNet卷積神經網絡；PID算法

中圖分類號：TP242? ? 文獻標識碼：A? 文章編號：2096-4706（2023）01-0154-05

Picking Robot Based on Deep Learning of Raspberry Pie

QIN Shubo1， HU Meijing2， CHEN Changxi3

（1.School of Electrical and Information Engineering， Anhui University of Science and Technology， Huainan? 232001， China;

2.School of Earth and Environment， Anhui University of Science and Technology， Huainan? 232001， China;

3.School of Computer and Engineering， Anhui University of Science and Technology， Huainan? 232001， China）

Abstract： In order to solve the problems of low accuracy and poor autonomy of picking robot in aspects of target recognition， position positioning and system control in grasping， a type of picking robot based on deep learning is proposed. The robot system takes raspberry pie as control core， combined with the steering gear and a variety of sensor modules， through the establishment of the robot kinematics model， achieves the mapping from the joint to the end of the actuator. The vision technology is adopted to establish the target identification and positioning model， and it controls the robot through the visual feedback. The experimental results show that the robot has higher recognition ability and positioning accuracy， and has higher control efficiency.

Keywords： picking robot; deep learning; kinematic model; LeNet convolutional neural network; PID algorithm

0? 引? 言

作為農業生產大國，我國每年的果蔬產量巨大。果蔬的采摘必然成為一項重大任務，傳統采摘方式仍然處于人工采摘階段，不僅需要投入大量的人力物力還會存在人為因素造成的采摘不及時，誤摘等現象，從而導致采摘成本的增加，效率的下降[1]。

近年來，自動化技術和人工智能技術迅猛發展，農業采摘也順勢由傳統的人工采摘轉變為機械采摘，人工智能的進步，使得越來越多的機器人、機械臂應用到農業采摘中，極大地提高了農業生產效率[2，3]。但利用機器人進行采摘的過程中，對目標對象的識別不準確，定位有誤差，以及控制不穩定都會使采摘更困難，造成采摘效率的下降[4]。因此如何進一步提高采摘的效率成為眾多學者研究的一個熱點，目前，圖像處理技術的發展為農業采摘機器人的設計提供了一大思路[5]，將圖像視覺技術嵌入到機器人采摘系統中，利用視覺反饋信息間接控制機器人的運動，使得機器人能夠根據目標對象顏色、位置等信息作出正確的指令，以此驅動機器人末端執行器的準確運動。本文針對目前機器人在采摘過程中，存在的采摘準確率低、自主能力差等問題，提出了一種基于深度學習的采摘機器人，該機器人系統以樹莓派為主控核心，結合舵機和多種傳感器組等模塊，利用LeNet卷積神經網絡對果實目標進行準確識別，采用避障算法進行準確定位，并利用PID算法來實現機器人的穩定準確控制。最后通過別定位測試實驗可以看出，提出的采摘機器人能夠達到較高的識別定位精度，且能夠實現高效的控制。說明將其應用于農業果實的采摘可以提高采摘效率和質量，對于促進農業智能化發展具有重要意義[6]。

1? 采摘機器人整體架構設計

該采摘機器人的整體架構設計由控制板、傳感器、舵機及其機械結構組成，其系統包含四部分，即上位機（計算機）、下位機（控制板）、驅動元件（舵機）以及傳感器。整個系統結構如圖1所示。

其中上位機具有強大的運算功能，主要完成目標對象圖像信息處理，機器人的運動控制策略，以及與控制器之間的通信監測。下位機控制器主要是接收來自上位機的指令以及傳感器的信息，從而驅動機器人完成各項運動。驅動部分主要由舵機構成，其功能是接收控制器的控制指令后帶動機器人末端執行機構的運行。傳感器主要獲取外部環境信息并傳送給控制器，另外驅動元件會將機器人的運動狀態反饋給控制器部分，從而實現機器人的準確運動控制。電源部分給控制板、舵機以及傳感器供電。

2? 采摘機器人系統硬件設計

該采摘機器人系統硬件主要部分包括控制器，舵機以及傳感器，其中傳感器又分為超聲波傳感器和深度相機。如圖2所示，給出了由SolidWorks畫出的機械臂結構。

2.1? 控制板

控制器為整個硬件系統的核心部分，機器人末端機構的運行離不開控制器的控制，該控制器的控制板采用了樹莓派及擴展板，其中下層擴展板為智能溫控風扇及RGB燈擴展板，由于機器人需要安裝很多舵機，發送很多指令，且在功能實現上有很多子線程，樹莓派CPU將完成很復雜的工作，因此需要設計它的散熱系統。上層擴展板為舵機和傳感器的擴展板，連接機械臂的總線舵機，由于只對樹莓派的物理引腳做了一個映射，所以通過樹莓派來直接控制它們。另外，樹莓派與散熱系統之間通過IIC協議通信，與舵機通過ttyAMA0串口通信。

2.2? 舵機

舵機為機器人系統的驅動機構，它接收來自控制器的指令然后驅動機械臂末端執行機構的運行，該舵機使用的是Dynamixel，通信協議是通過主程序和舵機之間互相發送數據包來進行的，其數據包分為指令數據包和狀態數據包，主程序向舵機發送指令數據包，舵機做出相應的動作并返回狀態數據包，其舵機協議是我們編碼的依據[7]。

2.3? 傳感器

2.3.1? 超聲波傳感器

該采摘機器人使用HC-SR04超聲波傳感器用來測距，它的Trig端發出超聲波，接觸到反射物后反射，被Echo端接收，通過記錄超聲波的發射時間和接收時間得到一個時間差，然后使用空氣中的聲速計算距離。如表1所示，給出了HC-SR04超聲波傳感器部分參數。

2.3.2? 深度相機

深度相機作為采摘機器人的視覺系統具有重要功能，它能夠獲得目標對象的圖像信息，然后將圖像特征信息傳輸給計算機進行圖像信息處理，從而實現目標物的識別與定位。本系統使用intel RealSense D415深度相機，該相機兼容樹莓派Linux系統。捕捉最遠距離可達到10 m，且在戶外陽光下也可以使用，支持輸出1 280×720分辨率的深度畫面。

3? 機械臂運動學建模

機械臂運動學研究基于D-H參數法進行建模，如表2所示，為該機械臂D-H參數。

機械臂的正運動學公式由相鄰連桿之間的變換矩陣推導得到位姿矩陣，并由解析法得出逆運動學公式：

其中：

a=-（l3+l4）sinθ3

b=（l3+l4）cosθ3+l2

c=-pxcosθ1-pysinθ1

為機械臂夾持器末端的固定結構繞z軸的轉動向量[8]。

由上面參數在MATLAB仿真平臺上可獲得機械臂仿真模型以及Simulink仿真圖如圖3和圖4所示。

4? 采摘機器人總體軟件及各算法設計

4.1? 總體軟件架構設計

機械臂的總體軟件結構包括上位機中機械臂運動模型的搭建，視覺信息處理模塊，即卷積神經網絡的設計，避障算法的運行，下位機中運動控制算法的運行以及實現通信協議。其軟件總體結構如圖5所示。

圖5? 系統軟件總體架構

系統在運行時，傳感器會獲得外部信息并通過通信協議傳輸給上位機，在上位機中實現目標圖像信息進行處理，并將指令發送至控制器，控制器將來自上位機的指令信息與來自傳感器的反饋信息進行相應處理后，發送控制指令給驅動裝置，進而驅動機械臂的運行，完成各項指定功能。另外驅動機構也會將機械臂的運行狀態反饋給控制器，實現了機械臂系統的閉環控制[9]。

對機器人的完整控制需要如下部分代碼來實現：舵機、傳感器與樹莓派的通信代碼（即驅動程序，有串口、USB和IIC等），數據處理代碼（用深度學習代碼處理攝像頭采集的數據），機器人的運動代碼（需要轉化為控制器中能夠運行的語言），功能實現代碼（能夠對結果做出反饋動作）。

4.2? 采摘機器人各算法設計

4.2.1? LeNet模型

機械臂與深度相機組成了該機器人系統中最為關鍵的手眼系統，目標對象信息由深度相機負責采集，傳送給上位機進行信息處理。在該系統中設計了LeNet卷積神經網絡，其功能是對目標對象進行識別定位，以確定抓取目標的位置，然后經過機械臂的逆運動學運算可獲得機械臂各關節角信息，并結合傳感器反饋信息實現了對目標物的精準抓取。

LeNet-5卷積網絡模型如圖6所示。它包括C1卷積層，S2池化層，C3卷積層，S4池化層，C5卷積層，F6全連接層和Output輸出層[10]。

通過卷積操作，增強了原信號特征，并降低了噪聲，而池化層操作利用了圖像局部相關性的原理，對圖像進行了子抽樣，減少了數據處理量的同時也保留了一定的有用信息。如表3所示，給出了LeNet網絡結構具體參數。

4.2.2? 避障算法

為了實現采摘機器人的精準動作，其需要擁有較強的自主識別定位能力。因此，當機器人在遇到障礙物時，要能夠及時作出響應，重新規劃路線以此越過障礙物。采摘機器人上的超聲波測距傳感器組能夠持續對環境進行實時探測，當遇到障礙物時會返回障礙物的距離信息[11]，同時，深度相機會將獲得的圖像信息反饋到上位機中，在上位機中利用傳感器獲取的信息進障礙物的三維重建，并規劃新的路徑，使得機器人能夠及時避開障礙物到達作業區域。

其中超聲波傳感器測距流程如圖7所示。

4.2.3? PID算法

采摘機器人在移動過程中，關節部分的角速度不斷變化，為了保證機器人不發生側翻，需要機器人具有較高的穩定性。采用PID控制策略實現采摘機器人的穩定控制[12]，當系統檢測到機器人關節力矩有較大變化時，會反饋給控制器，控制器通過PID控制對關節力矩誤差進行調節，進而調整電機的轉速來控制機器人關節。通過對關節力矩誤差的調節，逐漸降低控制誤差，以此實現機器人的精準穩定控制。其反饋控制流程如圖8所示。

5? 實驗測試

為了驗證基于樹莓派深度學習的采摘機器人是否具有較高的目標識別和定位能力，以及控制效果，在實驗室環境下對該種機器人進行了多組實驗測試，分為對機器人的避障，自由度檢測，物體顏色識別，移動物體跟蹤測試，目標物體抓取五部分功能。得到的實驗測試結果如表4所示。

實驗結果表明，該機器人在運行過程中，可實現遇障礙物靜止、自主識別物體顏色與位置、自主抓取物體各項功能。進一步說明了基于深度學習的采摘機器人具有較高的識別定位能力，與較強的控制穩定性和較高的控制準確性。

6? 結? 論

為了確保采摘機器人的采摘準確性和工作效率，本文在原有采摘機器人存在識別定位準確性差和控制效率低等問題基礎上，設計了一款基于樹莓派深度學習的采摘機器人。利用視覺圖像技術，優化了傳統采摘機器人，完成了采摘機器人的總體結構設計和硬件模塊設計，采用了LeNet卷積神經網絡對果實進行識別，并設計了避障算法以及PID控制算法，然后在MATLAB平臺上搭建Simulink仿真模型，實現機器人的運動控制仿真實驗，最后通過對其抓取和避障實驗以及軌跡跟蹤測試證明了提出的采摘機器人能夠達到較高的識別率，定位精度，以及高效穩定的控制。因此，將其應用于農業果實的采摘中可以提高采摘效率，對農業生產的智能化發展具有重要意義。

參考文獻：

[1] 魯家皓.基于計算機圖像的采摘機器人結構優化研究 [J].農機化研究，2022，44（6）：199-203.

[2] 任亞婧，張寧寧，徐媛媛，等.基于視覺識別的成熟蘋果識別及采摘定位系統 [J].現代電子技術，2021，44（11）：73-77.

[3] 孔翰博，王克強，蔡肯，等.基于機器視覺的采摘機器人目標識別定位研究應用進展 [J].電子技術與軟件工程，2022（10）：160-165.

[4] 周浩，唐昀超，鄒湘軍，等.農業采摘機器人視覺感知關鍵技術研究 [J].農機化研究，2023，45（6）：68-75.

[5] 朱明秀.采摘機器人水果檢測及定位研究——基于圖像處理和卷積神經網絡 [J].農機化研究，2022，44（4）：49-53.

[6] 劉凱. 面向農業環境的采摘機器人空間視覺感知與采摘控制方法研究 [D].桂林：桂林電子科技大學，2021.

[7] 胡可狄，于亞利，李帥，等.基于stm32的車輛調試自動控制系統設計 [J].電子制作，2022，30（3）：31-34.

[8] 陳愛波，寧淑榮，陳五一.基于MATLAB與SolidWorks的六自由度機器人聯合建模仿真 [J].機電技術，2014（6）：57-60.

[9] 吳蓬勃，張金燕，張冰玉，等.基于樹莓派的機械臂視覺抓取系統設計 [J].電子制作，2022，30（7）：23-25.

[10] 吳麗娜，王林山.改進的LeNet-5模型在花卉識別中的應用 [J].計算機工程與設計，2020，41（3）：850-855.

[11] 張向珂.采摘機械手障礙信息探測及避障技術研究 [D].鎮江：江蘇大學，2010.

[12] 倪江楠，郭君揚.基于PID控制和ADAMS的快速移動采摘機器人設計 [J].農機化研究，2023，45（2）：219-222.

作者簡介：覃書波（1999.02—），男，漢族，四川彭州人，本科在讀，研究方向：電氣工程及其自動化。

收稿日期：2022-08-29

基金項目：安徽省省級大學生創新創業訓練計劃項目（S202110361119）