基于深度學(xué)習(xí)的串型番茄采摘機(jī)器人設(shè)計(jì)

任耀星 王一高 景超

（山西農(nóng)業(yè)大學(xué) 山西省晉中市 030801）

我國是農(nóng)業(yè)大國，農(nóng)業(yè)生產(chǎn)是國家經(jīng)濟(jì)發(fā)展和人民幸福生活的根本，智能化農(nóng)業(yè)裝備是當(dāng)今社會農(nóng)業(yè)發(fā)展的核心組成部分。隨著設(shè)施農(nóng)業(yè)的快速發(fā)展，農(nóng)業(yè)機(jī)器人已成為代替手工作業(yè)、改善生產(chǎn)條件、提升作業(yè)效率的關(guān)鍵裝備。研究并推動智慧農(nóng)業(yè)領(lǐng)域發(fā)展，設(shè)計(jì)農(nóng)業(yè)型自動化機(jī)器人，是設(shè)施農(nóng)業(yè)中亟待解決的重要問題之一。

近年來，多地已引入櫻桃串式番茄，并對番茄溫室種植模式的要求逐步提高，且目前對于番茄采摘作業(yè)基本都是手工完成，勞動強(qiáng)度大、作業(yè)費(fèi)用高。因此，本文設(shè)計(jì)了一種針對串型番茄且可達(dá)實(shí)時性和高精度的番茄采摘機(jī)器人，旨在推動設(shè)施農(nóng)業(yè)的智能化，降低人力成本、提升采摘效率。

1 整體設(shè)計(jì)

本文所設(shè)計(jì)的串型番茄采摘機(jī)器人的整體設(shè)計(jì)架構(gòu)如圖1。后端GPU服務(wù)器為深度學(xué)習(xí)模型的訓(xùn)練與推理提供了算力基礎(chǔ)，其中包括對場景數(shù)據(jù)流進(jìn)行預(yù)處理、快速識別與檢測和精準(zhǔn)三維定位。硬件方面通過自主設(shè)計(jì)的采摘機(jī)器人控制系統(tǒng)對機(jī)器人進(jìn)行指令與數(shù)據(jù)傳輸，與外界數(shù)據(jù)進(jìn)行關(guān)聯(lián)，其中包括機(jī)器人任務(wù)與模式的選取和機(jī)械臂具體操作指令的接收。在真實(shí)溫室場景下，數(shù)據(jù)的獲取通過Intel RealsenseD455的RGB-D深度相機(jī)實(shí)時捕獲，通過數(shù)字圖像處理相關(guān)算法對視頻流數(shù)據(jù)進(jìn)行分幀和預(yù)處理，進(jìn)而對番茄串進(jìn)行快速識別與檢測，按照串型番茄的成熟度進(jìn)行三類的劃分和框定，之后通過定位模型對番茄串進(jìn)行三維形狀和坐標(biāo)的計(jì)算，將計(jì)算結(jié)果實(shí)時返回采摘機(jī)器人控制系統(tǒng)，根據(jù)操作人員的指令和實(shí)時數(shù)據(jù)對機(jī)器人任務(wù)類型與工作模式進(jìn)行選擇并確認(rèn)，隨后根據(jù)目標(biāo)番茄串的三維坐標(biāo)，實(shí)時轉(zhuǎn)換為機(jī)械臂六關(guān)節(jié)旋轉(zhuǎn)角度和平移位置，使得機(jī)械臂到達(dá)目標(biāo)區(qū)域，通過末端執(zhí)行器的張合進(jìn)行番茄串的剪枝操作。

2 具體實(shí)現(xiàn)

2.1 串型番茄數(shù)據(jù)集劃分與標(biāo)注

將串型番茄圖像數(shù)據(jù)分類整理后進(jìn)行訓(xùn)練集與驗(yàn)證集的劃分，并通過LabelImg工具進(jìn)行標(biāo)注。首先將2000張串型番茄圖像數(shù)據(jù)進(jìn)行訓(xùn)練集：驗(yàn)證集==8:2的劃分，之后使用LabelImg工具對數(shù)據(jù)進(jìn)行框選標(biāo)注，按照串型番茄成熟度將數(shù)據(jù)分為三類，分別是：成熟、半成熟、不熟，選擇YOLO的標(biāo)注格式對圖像中的番茄串進(jìn)行標(biāo)點(diǎn)連接和框選，并最終整理出2000張標(biāo)注的圖像作為模型訓(xùn)練數(shù)據(jù)集。其中包含不同分辨率、不同大小、不同稠密度和角度的各種圖像樣本，以此來豐富數(shù)據(jù)集，使其包含更全面的目標(biāo)特征信息，再另取500張未經(jīng)處理的圖像當(dāng)作測試用的數(shù)據(jù)集。

2.2 對輸入番茄串圖像進(jìn)行數(shù)據(jù)預(yù)處理

圖1：整體設(shè)計(jì)架構(gòu)圖

圖2：模型識別與檢測效果

圖3：番茄采摘機(jī)器人實(shí)物圖

為了對輸入圖像進(jìn)行數(shù)據(jù)增強(qiáng)和降噪處理，確保網(wǎng)絡(luò)模型能對每張圖像都經(jīng)過充分的訓(xùn)練提取出關(guān)鍵的特征，本文設(shè)計(jì)方法需使用一定的圖像處理方法對數(shù)據(jù)進(jìn)行預(yù)處理。其中包括數(shù)據(jù)集蒸餾、圖像濾波去噪、Mosaic數(shù)據(jù)增強(qiáng)和自適應(yīng)圖片縮放等方法。其中，數(shù)據(jù)集蒸餾是在保證模型不變的同時，將較大的數(shù)據(jù)集中的特征知識轉(zhuǎn)換為小型數(shù)據(jù)集，通過合成少量數(shù)據(jù)，將數(shù)據(jù)進(jìn)行合理化分布，大大提升模型訓(xùn)練速度的同時，在模型訓(xùn)練過程中能達(dá)到近似在原始數(shù)據(jù)上訓(xùn)練的效果。Mosaic數(shù)據(jù)增強(qiáng)的原理是隨機(jī)抽取四張訓(xùn)練集圖像，采用隨機(jī)縮放、隨機(jī)排布、隨機(jī)剪裁的方式進(jìn)行拼接處理，從而豐富了數(shù)據(jù)集中檢測物體的背景和小目標(biāo)，提升了圖像內(nèi)復(fù)雜場景中小目標(biāo)的檢測能力。以及使用圖像濾波方法減少相機(jī)系統(tǒng)內(nèi)部與外部的噪聲干擾，保證番茄串邊緣信息的完整性[1]。

2.3 基于改進(jìn)型YOLO的復(fù)雜環(huán)境下番茄串實(shí)時識別與檢測

為實(shí)現(xiàn)溫室復(fù)雜環(huán)境下番茄采摘機(jī)器人對番茄串的實(shí)時識別與檢測，本文提出一種改進(jìn)型YOLO的實(shí)時識別與檢測方法(TomatoNet)。在YOLO網(wǎng)絡(luò)模型的基礎(chǔ)上添加可形變卷積模塊，可變形卷積核的大小和位置可以根據(jù)當(dāng)前需要識別的圖像內(nèi)容進(jìn)行動態(tài)調(diào)整，對每一串番茄進(jìn)行清晰識別和檢測，并對成熟度進(jìn)行劃分，隨后再通過RGB-D深度相機(jī)向后端返回距離最近且成熟的番茄串的二維坐標(biāo)和深度距離。TomatoNet模型檢測精度可達(dá)85%，處理速度達(dá)到20fps，可有效兼顧精度和實(shí)時性，滿足在溫室復(fù)雜環(huán)境下采摘機(jī)器人檢測番茄串的要求。模型檢測結(jié)果如圖2所示。

2.4 實(shí)現(xiàn)番茄串精準(zhǔn)三維定位

在上述2.3步驟獲得番茄串目標(biāo)類別、檢測框和二維坐標(biāo)的基礎(chǔ)上，針對復(fù)雜場景下多個番茄重疊黏連時難以定位的問題，在此進(jìn)行展開介紹。在推理過程中，僅計(jì)算成熟度符合規(guī)定閾值，且直線距離最近的番茄串的三維坐標(biāo)，這樣可以極大程度上減少內(nèi)存開銷，并實(shí)現(xiàn)實(shí)際應(yīng)用中有序合理的番茄串采摘。通過RGB-D深度相機(jī)獲取目標(biāo)番茄串的三維信息，首先需要對相機(jī)中深度攝像頭與彩色攝像頭進(jìn)行合理標(biāo)定，構(gòu)建出RGB三通道的彩色圖像與深度圖像之間的映射關(guān)系，以此來融合先前目標(biāo)檢測模型的檢測結(jié)果，實(shí)現(xiàn)復(fù)雜背景點(diǎn)云與番茄串點(diǎn)云的分離。再而通過點(diǎn)云濾波的方式獲取最終的番茄串區(qū)域點(diǎn)云，利用RANSAC算法對有缺失的點(diǎn)云進(jìn)行深度擬合以此獲取番茄串大致的形狀信息和三維坐標(biāo)[2]。

2.5 對機(jī)器人多種剪枝模式進(jìn)行建模

針對溫室內(nèi)番茄種植標(biāo)準(zhǔn)化軌道兩旁的番茄生長方向及位置區(qū)別，對六種機(jī)器人剪枝模式進(jìn)行建模，分別對應(yīng)六種不同的剪枝角度和方式。使用剪夾一體式且對番茄無損傷的末端執(zhí)行器，在采摘番茄串時利用剪枝手對番茄串母枝進(jìn)行剪切，同時用下方的柔性夾持手穩(wěn)定番茄串[3]，使本文所設(shè)計(jì)機(jī)器人可以輕松適應(yīng)復(fù)雜環(huán)境下的多種剪枝情況。在機(jī)器人實(shí)際工作場景下，實(shí)時獲得采摘目標(biāo)的枝條中間點(diǎn)坐標(biāo)，并結(jié)合剪枝模式轉(zhuǎn)換為六關(guān)節(jié)旋轉(zhuǎn)角度和平移位置后，對番茄進(jìn)行剪枝和采摘。

2.6 開發(fā)采摘機(jī)器人控制系統(tǒng)

為幫助操作人員遠(yuǎn)程實(shí)時操控番茄采摘機(jī)器人，開發(fā)采摘機(jī)器人控制系統(tǒng)功能包括：作業(yè)類型（如采摘、打老葉、噴藥等）、啟停、遠(yuǎn)程控制、機(jī)械臂運(yùn)動方向（如旋轉(zhuǎn)、前進(jìn)、后退）、部件監(jiān)測與報警（如電池電量、部件溫度）、光照度檢測、工作強(qiáng)度（如作業(yè)時間、采摘重量）、統(tǒng)計(jì)報表等。

3 總結(jié)與展望

本文詳細(xì)介紹了一種基于深度學(xué)習(xí)的串型番茄采摘機(jī)器人，如圖3所示，完成了軟件與硬件設(shè)備之間的協(xié)調(diào)聯(lián)動和視覺控制。通過算法設(shè)計(jì)對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行改進(jìn)，自主設(shè)計(jì)引入注意力機(jī)制模塊的TomatoNet，實(shí)時獲取復(fù)雜溫室環(huán)境下番茄串圖像數(shù)據(jù)流的同時，將計(jì)算所得數(shù)據(jù)（目標(biāo)剪枝位置的三維坐標(biāo)、速度與力度等）傳輸至采摘機(jī)器人控制系統(tǒng)，再對硬件設(shè)備進(jìn)行遠(yuǎn)程操控。本文所研究的串型番茄采摘機(jī)器人可在自然條件下的復(fù)雜環(huán)境中進(jìn)行采摘等任務(wù)，通過采摘機(jī)器人控制系統(tǒng)可以對其進(jìn)行遠(yuǎn)程操作和監(jiān)控。未來希望能夠拓展串型番茄數(shù)據(jù)集，對機(jī)器人功能實(shí)現(xiàn)進(jìn)一步拓展，通過更換末端執(zhí)行器能夠執(zhí)行更豐富的任務(wù)種類；對深度學(xué)習(xí)模型進(jìn)一步改進(jìn)，在任務(wù)執(zhí)行方面達(dá)到更快的響應(yīng)速度和更高的準(zhǔn)確度。