基于語義分割視覺伺服的種苗自動夾取系統設計

翟永杰，王家豪，張鑫，胡東陽，王乾銘，徐大偉,2，劉亞軍

（1. 華北電力大學 自動化系, 河北 保定 071003; 2. 中國科學院自動化研究所 復雜系統管理與控制國家重點實驗室, 北京 100190; 3. 湖北壹鳴生物科技有限公司, 湖北 鐘祥 431900）

植物組織培養技術是一種先進的營養繁殖技術，可在短時間內生產出高質量和無病害的植物[1]。然而，這一過程非常煩瑣且勞動強度大[2]。為了減少勞動力成本，提高產量，并通過減少人的接觸來降低污染風險，需要開發出自動化種苗夾取系統[3]。雖然農業機器人研究起步較早，但是當前還沒有成熟的應用在實際現場無菌環境下的自動化種苗夾取系統。

在過去幾十年中，世界各地的研究人員對機器人采摘水果蔬菜等進行了大量研究[4]，Ringdahl 等[5]2019 年研究并設計了一種單臂甜椒采摘機器人，室內環境能夠穩定采摘甜椒；Van 等[6]研究并設計了一種黃瓜采摘機器人，該機器人搭載一個7 自由度的機械臂； Wang 等[7]設計的番茄采摘機器人由小車搭載機械臂在園區完成了采摘作業；Mu 等[8]設計了一種獼猴桃采摘機器人，獨特的夾具設計能在多個獼猴桃中準確夾取；Sarabu 等[9]設計了一種基于雙臂操作的蘋果采摘機器人，這些機器人全部使用了現代協作機械臂，根據采摘對象不同設計不同的末端夾具完成采摘作業。在目標的識別和定位方面，李天華等[10]提出了一種基于YOLO v4 與HSV(hue, saturation,value)相結合的識別方法，以實現自然環境下成熟期番茄的準確識別。 孫紅等[11]提出使用SSDLite-MobileDet 網絡模型識別玉米拔節期冠層，Quan 等[12]基于Faster-RCNN 模型開發了一種玉米幼苗檢測機器人，在有大量雜草存在的背景下能有較高的檢測精度。Zahid 等[13]提出在蘋果樹修剪機器研發設計中，采用基于深度學習的圖像分割算法為剪枝定位提供數據支持。Philipp 等[14]研究了一種田間雜草的語義分割網絡，能夠對雜草進行分割分類。Shi 等[15]研究了一種基于深度學習的表型方法，實現了對植物種苗各組成部分的分割。以上這些研究對本文提出的種苗夾取點定位方法有一定的啟發性，另外在夾取機構設計方面，為了盡量避免誤傷種苗，并且考慮到夾取之后的移植工作，種苗自動夾取系統需要考慮末端夾取機構的結構、組成材料以及種苗的夾取點和可夾取范圍，所以需要設計一種新型夾取機構來完成夾取作業。

蝴蝶蘭是最受歡迎的蘭花品種之一，但是它們的無性繁殖困難，依賴于植物組織培養技術[16-18]。本文以蝴蝶蘭種苗為典型種苗對象，分析了蝴蝶蘭種苗的形態、顏色特征之后，結合夾取需求，通過深度學習模型訓練并提取了蝴蝶蘭種苗特征，設計了一種基于語義分割視覺伺服的種苗自動夾取系統，該系統根據種苗自身特性，自動識別出夾取點的位置和姿態，驅動末端夾取執行機構完成夾取作業。該種苗自動夾取系統擬在保護種苗結構不被破壞的前提下完成夾取工作，以解決人工夾取勞動強度大，勞動內容枯燥的問題。

1 基于視覺伺服的種苗自動夾取系統

基于視覺伺服的種苗自動夾取系統的硬件組成包括上位機和機械手兩個主要部分，它們之間通過Wi-Fi 進行通信。上位機通過USB2.0 端口接收攝像頭拍攝的照片，照片發送到伺服控制模塊后，經過手眼標定后的坐標轉換得到目標的位置和姿態信息，然后由上位機的運動控制模塊根據位置和姿態制定夾取計劃，通過逆運動學將空間路徑轉化為機械手的各個關節角度，共計6 個關節角度和1 個夾具張開角度發送給機械手，機械手和末端夾具進行夾取動作。圖1 為種苗夾取平臺示意圖。

圖1 種苗夾取平臺Fig. 1 Seedling clamping platform

2 基于視覺伺服的種苗自動夾取系統

機械手的視覺伺服控制是國內外研究的熱點之一，根據攝像機的數量可分為單目、雙目和多目。視覺伺服被分為基于圖像的視覺伺服[19]和基于位置的視覺伺服[20-21]。基于位置的視覺伺服相比于基于圖像的視覺伺服具有控制器易于實現的優點[22]，因此種苗自動夾取系統選用基于位置的視覺伺服控制。本文使用的是海康威視高清單目工業相機。

2.1 系統設計

整個控制系統如圖2 所示。首先攝像機拍攝圖片，在處理圖片中，利用DP-BiseNetV2 語義分割網絡，根據目標顏色和幾何特征完成圖像分割，再通過分割好的圖像顏色特性在HSV 空間求取夾取點和夾取角度。以目標夾取點和角度作為機械臂的輸入， 機械臂在得到夾取點和角度信息后，判斷末端是否超出硬件限制，機械臂是否在初始位置，如果二者均無問題，則機械臂移動到夾取點上方，并通過調整機械臂關節來改變夾取角度，完成種苗的夾取。

圖2 夾取系統流程Fig. 2 Clamping system flow

2.2 語義分割視覺定位方法

在進行夾取時，需要找到合適的夾取點以及夾取角度，分析了部分種苗器官之間的位置關系，發現很多種苗的器官之間有固定的相對關系，且不會隨著種苗形狀改變而發生位置變化，于是本文將夾取點選擇在主干莖上，角度通過圖像處理的方法得到。由于種苗的形態不是固定的，傳統的圖像處理算法局限性太大，無法識別出每個種苗的姿態，所以本文中使用語義分割方法先對種苗進行區域分割，再利用分割出來的黑色塊莖和主莖干的相對關系計算出種苗的位姿。如圖3 所示，將主干莖的質心點S作為夾取點，G是黑色塊莖的質心點，根據兩者固定的幾何關系，計算出夾取點的角度信息。分析了部分種苗的根莖關系，

圖3 種苗位姿估計Fig. 3 Seedling position estimation

2.2.1 基于改進的BiseNetV2 的種苗語義分割

蝴蝶蘭種苗圖像主要分為4 部分，分別是葉片、莖干、根莖、黑色塊莖。這幾個部分姿態各異，傳統的閾值分割和色差分割算法難以對其進行準確識別和分割。為實現種苗自動夾取系統高效準確夾取，需要選擇識別效率高且準確率較高的語義分割模型[23-25]，本文提出了新型的深度語義分割模型DP-BiseNetV2 對蝴蝶蘭種苗各組成部分進行識別和分割。DP-BiseNetV2 的網絡結構稱為融合位置注意力機制的雙邊分割網絡，整個網絡有兩個分支：語義分支和細節分支。語義分支具有深層和窄通道計數，允許快速下采樣和更多上下文語義信息，窄通道計數有助于提高速度。細節分支(DP-Branch)則相反，具有淺層和寬通道，因此可以將注意力集中在局部細節上，以減少細節損失，為了降低模型的計算量，同時提高模型的準確度，將原始模型BiseNetV2 的細節分支中的普通卷積替換成了深度可分離卷積，并在細節分支中加入了位置注意力機制，顯著提高了準確度。最后，通過引導聚合層將兩個分支的特征合并，以實現特征的互補融合。這種高效的網絡架構在速度和準確性之間提供了極好的平衡。我們將該網絡用于語義分割任務，并調整其數據加載部分以適應數據集的形式。

DP-BiseNetV2 接收來自工業相機的圖片，并執行像素級語義分割。對圖像上目標對象的像素進行分割和著色，最終輸出分割好的圖片。圖4是DP-BiseNetV2 的網絡結構。圖中L1、L2、L3是深度可分離卷積(DWConv)， φ表示激活函數， ?和⊕分別表示元素乘法和元素加法，G1、G2、G3、G4表示聚集和擴展層。位置注意力模塊中，reshape 表示將特征圖B、F、D的C×H×W格式重塑成C×N格式，transpose 表示將矩陣從C×N格式轉換成N×C格式，softmax 表示歸一化指數函數。

圖4 DP-BiseNetV2 網絡結構Fig. 4 DP-BiseNetV2 network structure

2.2.2 求取夾取點坐標及斜率

原圖和分割結果對比如圖5。

圖5 原圖和分割結果對比Fig. 5 Comparison of original image and segmentation result

DP-BiseNetV2 分割好的結果如圖5(b)所示，藍色部分代表背景，綠色部分代表主干莖，紅色部分代表黑色塊莖，深藍色和紫色分別代表葉片和根莖。上文介紹到，需要獲取的是夾取點和夾取點末端夾具的角度，所以只關注語義分割結果中蒙版的紅色部分和綠色部分。基于這一點，選擇將分割結果轉化為HSV 格式，HSV 顏色空間能通過調整hue(色調)、saturation(飽和度)和value(亮度)3 個通道的參數選擇提取圖片中固定的顏色，可以把紅色部分(黑色塊莖) 和綠色部分(主干莖)單獨分離出來，如圖5(c)、5(d)所示。

如圖5 所示，將這兩部分分離出來之后，根據圖像矩的定義求兩部分的幾何中心，由于灰度圖密度分布均勻，所以幾何中心就是質心，根據如下公式：

圖像的零階矩：

圖像的一階矩：

圖像的質心為

其中：V(i,j)是點(i,j)處的像素值，圖像的零階矩表示像素值之和，一階矩表示橫坐標和對應像素值的乘積和縱坐標和對應像素值的乘積。

如此求出兩部分各自的質心坐標。將綠色主干莖的質心S=(xS,yS)選為夾取點，紅色根莖的質心為G=(xG,yG),在世界坐標系中將S點和G點連接起來得到直線SG，計算SG的斜率kSG:

得到了夾取斜率后，根據斜率和角度的關系，即可求出夾取點角度θ。至此，已經獲得了夾取點坐標和夾取角度信息，記為(xS,yS,θ)。斜率和角度的關系為

如圖5(e)是夾取點角度示意圖。

2.3 夾取方案設計

作為整個系統的核心部分，夾取策略應根據目標位姿與當前位姿之間的偏差，使機械手安全、準確、快速地完成夾取動作。夾取機械臂選擇JAKA-Zu3，該機械臂的本體結構如圖6 所示，主要由6 個關節和2 個鋁制臂桿組成，基座用于機器人本體和底座連接，工具端用于機械臂與工具連接。另外，根據實驗平臺的可操作空間和攝像頭的識別范圍，設計了一種小電機繩驅長桿形狀夾具來完成夾取任務。

圖6 機械臂本體結構Fig. 6 Robotic arm body structure

2.3.1 末端夾具

機械臂的執行末端機構是進行種苗夾取和移動的部件，安裝部位在機械臂第6 個自由度的末端。根據作業要求，機械臂需要利用該夾具進行取苗操作，并且需要在取苗之后，插入到培養基所在的敞口瓶中，考慮到這一過程種苗的姿態需要旋轉90°(如圖7 所示)，再以工業相機的準確識別范圍和機械臂的工作空間為參考，將夾具的機械結構末端設計成外形為“L”型，便于在工作時夾苗。

圖7 夾具工作示意圖Fig. 7 Fixture working diagram

2.3.2 夾取姿態分析

圖8 是末端夾具示意圖，夾取姿態如圖9 所示，由于種苗所處平臺是恒定水平的，在坐標系OP中，ZP恒垂直于水平面，所以夾取姿態的選擇中，末端坐標系OJ只有ZJ軸是在旋轉的，結合上文講到Z軸的高度固定，所以機械臂的末端位姿(x,y,z,rx,ry,rz)中只有x、y、rz是變化量，其余的全部是固定值。這3 個未知量在2.2.2 節已經求取，即夾取點坐標和夾取角度。

圖8 末端夾具Fig. 8 End clamps

圖9 夾取時末端姿態Fig. 9 End posture during clamping

3 實驗結果與分析

區別于大多數農業機器人在戶外場景試驗，本實驗面對的是組織培養蝴蝶蘭種苗的移植，這需要無菌環境，因此，需要在室內環境搭建工作臺。室內搭建的工作臺背景比較簡單，與圖像采集時使用的場景保持一致。

3.1 語義分割實驗

3.1.1 評價指標

夾取點識別主要由兩部分組成：語義分割和圖像處理。分割結果如圖5(b)所示，由于在圖像處理時的色彩是不變的，所以在圖像處理部分使用圖像一階矩求質心。由于色彩的不變性，這一步的輸出結果是完全固定的。

在語義分割部分，選擇DP-BiseNetV2 為分割模型，采用幀率 (frame rate, FR)、均交并比(mean Intersection over Union，mIoU)、像素準確度(pixel accuracy, pixAcc）和模型大小(Size)作為模型的評價指標。mIoU 是語義分割的標準度量，計算所有類別交集和并集之比的平均值。mIoU 的公式為

式中：k是類別數，k+1 表示加上了背景類，i表示真實值，j表示預測值，pij表示將類別i預測為j的像素的數目，pji將類別j預測為i的像素的數目，pii表示實際類別為i、預測類別也為i的像素的數目。

像素準確度用預測對的像素的數量除以總的像素數量來反映準確度，計算公式為

幀率是圖像處理領域中的定義，是指畫面每秒傳輸幀數，通俗來講就是指動畫或視頻的畫面數。FR 是測量用于保存、顯示動態視頻的信息數量。每秒傳輸幀數越多，所顯示的動作就會越流暢。放在本實驗中，是為了看模型處理一張圖片需要多長時間，由于本系統要求盡量提高工作效率，需要識別速度盡量快，所以FR 是一個很關鍵的指標。

3.1.2 種苗數據集獲取和標注

種苗的數據集構建使用工業相機分別對A 類蝴蝶蘭種苗、B 類蝴蝶蘭種苗、A 類模型苗和B 類模型苗等4 類種苗進行拍攝，得到原始數據集(圖10(a))，然后對原始圖像用labelme 軟件進行人工標注，標注完成后得到每幅圖像的JSON 數據(圖10(b))，然后把數據集格式改成Cityscapes 數據集格式，獲得對應的掩膜圖片(圖10(c))，圖中紅色標簽對應的是種苗的葉，綠色部分是主干莖，黃色部分是根莖，藍色部分是黑塊莖，黑色是背景色。將標注完的2 000 張A 類蝴蝶蘭種苗圖片按照8∶2 的比例隨機分為訓練集和驗證集，用于模型的有監督訓練。將500 張B 類蝴蝶蘭種苗和500 張A、B 兩類模型苗按照同樣方式進行訓練。

圖10 數據集構建過程Fig. 10 Dataset construction process

3.1.3 種苗分割效果分析

為了測試語義分割模型對種苗的分割效果，實驗中使用了A 類蝴蝶蘭種苗、B 類蝴蝶蘭種苗、A 類模型苗和B 類模型苗等4 種不同種類的種苗進行訓練和語義分割操作。DP-BiseNetV2 的分割結果如圖11 所示，圖11(a)是A 類蝴蝶蘭種苗的分割結果，圖11(b)是B 類蝴蝶蘭種苗的分割結果，圖11(c)、圖11(d)分別是A 類模型苗和B 類模型苗的分割結果。

圖11 不同種苗的分割結果Fig. 11 Segmentation results of different seedlings

在分割效果圖中，可以看出模型DP-BiseNetV2 能夠準確地分割出4 類種苗的各組成部分，能夠將種苗的黑色塊莖和主干莖分割出來（即圖11中的紅色和綠色部分）。

3.1.4 A 類蝴蝶蘭種苗分割結果與分析

為了驗證模型的先進性和優越性，本文以數據集圖像和數量最多的A 類蝴蝶蘭種苗作為整體實驗對象，對比了BiseNet[26]、BiseNetV2[27]、DeeplabV3+[28]、DFANet[29]、DABNet[30]、Fast-SCNN[31]語義分割模型。設置mIoU、幀率、像素準確率(pixAcc)和模型大小(Size)為評價指標。對比實驗中，保持模型所設置初始參數一致，輸入圖像分辨率大小為3 072×2 048，檢測結果如表1 所示。

表1 不同模型分割效果對比Table 1 Results of seedling cutting test

原始種苗的輸入圖像分辨率是3 072×2 048，在這樣的高分辨率情況下，能同時保證準確度和處理圖片的速度是目前語義分割研究的熱門問題。種苗數據集的背景為純色，分割部位與背景的顏色對比明顯，所以pixAcc 的結果均能達到較高指標，DeeplabV3+不屬于輕量級語義分割模型，整體參數量和計算量都要比其余幾個模型大，模型大小為164.21 MB，雖然pixAcc 達到了較高的98.32%，但是該模型參數冗余量較大，影響推理速度。而本文提出的基于BiseNetV2 框架的DPBiseNetV2 的模型大小僅為11.63 MB，小于BiseNet-V2，并且mIoU 達到了63.51%，pixAcc 達到了98.28%，兩項指標均領先于其他幾個模型，在處理圖片的速度上雖然不及Fast-SCNN，但是Fast-SCNN 的準確率太低，無法勝任分割任務。權衡幾種模型的優缺點，本文提出的DP-BiseNetV2 模型在保證分割精度的同時模型更輕量，推理速度較快，適合用于種苗的分割任務。DP-BiseNetV2 的檢測結果如圖12 所示。

圖12 A 類蝴蝶蘭種苗的分割結果Fig. 12 Results of segmentation of class A phalaenopsisseedlings

3.2 種苗夾取實驗

為了驗證方法的實際夾取效果，選取60 株A 類蝴蝶蘭種苗進行實驗。表2 給出了當使用視覺系統引導夾具到指定的夾取位置，然后夾具夾取種苗所獲得的結果。如果滿足以下條件，則判定夾取操作成功：1)指定夾取點位于植株的主干莖上，2)夾取并抬起植株成功，3)橫移10 cm 種苗不脫落。

表2 種苗夾取實驗結果Table 2 Results of seedling clamping experiments

種苗夾取實驗現場如圖13 所示，圖13(a)的機械臂和夾具屬于待機狀態，經過視覺系統檢測和坐標轉換之后，將夾取點坐標傳輸給機械臂控制系統，驅動機械臂到達目標位置，并驅使夾具夾取種苗。圖13(b)是機械臂和夾具已經移動到了夾取點正上方，圖13(c)是夾具已經成功夾取種苗。

圖13 種苗夾取實驗現場Fig. 13 Seedling clamping experiment site

夾取統計結果如表2 所示，其中完成夾取操作條件的種苗有49 株，成功率為81.7%。

不成功夾取統計中，其中有4 株種苗是因為識別過程中葉片遮擋住黑色塊莖，導致沒能分割出黑色塊莖和主干莖，進行夾取點檢測時檢測不到夾取位置以致于角度求取失敗，機械臂無法調整夾取角度，導致夾取失敗；有5 株種苗因為主干莖比起正常種苗要幼小，為了保護種苗，末端夾具在投入使用前要調整好夾取力度，由于種苗的幼小使得夾取力度不夠大，導致在移動過程中脫落；2 株種苗由于擺放角度超出機械臂的旋轉范圍，導致機械臂角度超限，作業失敗，機械臂之所以角度超限，是因為在設計夾具之初，要考慮到夾取之后的栽種工作，以致于在夾取時調整角度并不是只調整機械臂第6 個自由度，而是調整至少3 個自由度，于是在夾取種苗過程中機械臂有可能會出現奇異點，從而導致夾取作業停止。

實驗結果表明，正常條件下，該種苗自動夾取系統能夠適應大部分種苗的夾取作業，夾取失敗的案例是因為個別苗本身生長結構的偏差造成，在后續的改進中，可以在視覺系統中針對這類苗進行單獨分類，進行單獨處理。

4 結束語

1)本文設計了一種基于語義分割視覺伺服的種苗自動夾取系統，提出了輕量化語義分割模型DP-BiseNetV2 作為種苗識別檢測器，基于種苗自身結構設計了由分割模板在HSV 空間分離引導的夾取點定位算法，通過手眼標定建立視覺采集系統和夾取執行系統間映射關系，配合機械臂夾取控制策略可以完成對蝴蝶蘭種苗的自動化夾取作業。針對種苗的夾取需求設計了一種夾具，該夾具能在保證夾取末端穩定、有效完成夾取作業。

2) 對比BiseNet、BiseNetV2、DeeplabV3+、DABNet、Fast-SCNN 等5 種常見的語義分割算法，輕量級語義分割算法DP-BiseNetV2 的mIoU 達到63.51%，幀率達到22.65 f/s，像素準確率達到98.28%，模型大小為11.63 MB。

3)實驗證明該種苗自動夾取系統能在保證種苗結構不被破壞的前提下有效完成夾取任務。在60 株種苗夾取試驗中系統夾取合格率高于81.7%。

針對種苗各部位間可能存在的遮擋或重疊情況，需要控制機械臂先將種苗調整到系統可以操作的姿態，再進行視覺系統識別和夾取，目前單機械臂難以完成如此復雜的夾取任務。下一步研究中，擬在視覺系統中采用識別復雜種苗的單一分支任務，單獨對復雜結構種苗進行特殊夾取。