菠蘿全向定位自動化采摘系統設計*

李 明 ， 黎澤龍 ， 王潤濤 ， 劉 瑤 ， 薛 忠

（1.嶺南師范學院電子與電氣工程學院，廣東 湛江 524048；2.中國熱帶農業科學院南亞熱帶作物研究所，廣東 湛江 524091）

菠蘿是熱帶四大水果之一，富含大量人體所需的維生素、礦物質、有機酸、纖維質等營養成分。菠蘿收獲后，80%以鮮果的形式進入市場，采收時間與采摘方式均是影響鮮果品質的關鍵因素[1-2]。現階段，全球的菠蘿產地主要以人工采摘配合機械收集平臺協同作業的方式進行菠蘿采收，該方式需要大量的人力，勞動力成本占菠蘿生產銷售利潤的近50%[3-4]。由于菠蘿植株堅硬且外表呈刺狀，導致采收環境惡劣，嚴重影響人工采摘效率，采摘過程易造成果實外傷，不利于后續儲存運輸。本文研究的菠蘿全向定位采摘方法可實現菠蘿全自動無損采摘，較大程度減輕果農的采收負擔，對促進菠蘿產業發展具有重要的意義。

1 系統結構設計

采摘裝置結構如圖1所示，主要包括控制中心、全向定位機構、雙臂采摘機構，控制中心的功能由ARM與DSP實現，控制中心的殼體前面板設置屏幕和鍵盤，可以實現和用戶的交互。全向定位機構用于獲取采摘目標的深度數據，按照控制中心指令移動至最佳采樣點，并在雙臂采摘機構完成視野內采摘任務后，自動改變采摘裝置角度；雙臂采摘機構用于移動機械終端至采摘定位點，夾取采摘目標，切斷果梗，實現對菠蘿果實的無損采摘并放回原點收集；采摘裝置的每個執行終端均配設電機，整個過程無需人工參與，完全自動化運行。

圖1 菠蘿自動化采摘裝置示意圖

2 系統控制流程

系統啟動，控制中心初始化各終端原點位置，攝像頭接收指令后將菠蘿圖像的深度數據發送至控制中心，對圖像數據進行處理運算。針對當前的視野范圍標定采摘目標，判斷采摘目標個數n是否為0，如果n=0，控制中心發送控制信號驅動電機帶動旋轉底座順時針轉動30°，并用旋轉后的位置更新原點位置；如果n>0，控制中心對各個采摘目標按照深度進行排序，并存入a[n]。

估計目標果實a[i]的最佳采樣空間位置（xi,yi,zi），將其作為攝像頭的目標采樣點。控制中心驅動電機帶動升降桿調整縱向高度，使采樣點趨近yi，驅動旋轉桿帶動攝像頭調整角度，減小與目標采樣點的誤差距離（xiΔ,yiΔ,ziΔ），對當前采樣點的圖像進行深度數據運算，得出捕獲手的2個夾取鉗中心點移動的目標位置，即捕獲定位點（xib,yib,zib），切割手的2個切割鉗中心點移動的目標位置，即切割定位點（xiq,yiq,ziq）。肩關節轉動，使捕獲定位點趨近（xib,yib,zib）。

捕獲支臂的主軸移動減小（xibΔ,yibΔ,zibΔ），旋轉軸轉動調整夾取角度。捕獲手執行夾取任務并固定目標果實，傳感器實時監測修正切割定位點（xiq,yiq,ziq）。切割支臂調整切割角度，切割手執行切割。控制中心發送控制信號驅動捕獲機構各電機，恢復原點位置，釋放目標果實a[i]，完成對目標a[i]的采摘；如果i≤n，則循環采摘下一個目標果實，直至i>n，整個裝置旋轉至下一角度進行采摘；當裝置周圍360°均無采摘目標時，結束整個菠蘿采摘裝置所在地面位置的采摘，可將采摘裝置移動至下一地面位置進行采摘。具體的系統作業流程如圖2所示。

圖2 系統流程圖

3 菠蘿定位算法

3.1 菠蘿圖像預處理

由于光照等因素影響，獲取的菠蘿圖像存在較大差異，導致數據不均衡，為了擴充菠蘿圖像的數據集，增強菠蘿圖像特征提取效果，達到泛化模型的目的。本文基于Python對菠蘿圖像進行離線數據增強處理，通過對原始菠蘿圖像進行裁剪、旋轉、鏡像、加噪聲等預處理，擴增數據集樣本，增強效果圖如圖3所示。采用離線增強方法，擴增后得到8 000張菠蘿數據集圖像，編寫Python程序對菠蘿數據集按照8∶1∶1的比例進行隨機劃分，劃分為訓練集、驗證集、測試集。

圖3 菠蘿圖像預處理

3.2 定位算法模型

本文采用YOLOv5深度學習算法進行菠蘿果實的識別定位，YOLOv5網絡結構由四個部分組成，分別是輸入端、Backbone、Neck以及Prediction[5-8]。其中，輸入端包括Mosaic數據增強和自適應錨框計算；Backbone骨干網絡中加入了CSP和Focus結構，Focus結構通過切片操作來擴充輸入通道，對上部分進行傳統的殘差塊堆疊，而下部分幾乎不計算，類似一個殘差邊與上部分計算后的結果進行拼接，通過對兩部分的跨級拼接與通道整合，增強卷積神經網絡的學習能力。

在菠蘿目標識別過程中，引入協同注意力機制對特征提取進行優化，進而提升模型檢測性能。在模型中添加通道注意力可有效提升模型的性能，通常輕量級網絡的注意力機制大多數都采用SE模塊和CBAM模塊[9]。SE模塊只考慮通道間的信息，忽略了位置信息，盡管引入CSAM模塊在降低通道數的方向上采用卷積來提取位置的注意力信息，但是卷積只能提取局部關系，在長距離關系提取能力上較差[10-11]。為此，本文引入協同注意力機制（Coordinate Attention,CA）模塊對菠蘿果實進行識別。

通過與YOLOv5識別基礎網絡進行對比試驗，驗證引入CA注意力模塊對YOLOv5識別模型性能的影響，協同注意力改進對比分析表如表1所示。

表1 協同注意力改進對比分析表

結果表明：增加CA模塊對參數量略有增加，mAP同時增大，檢測速度提升。提高了動態情況下菠蘿目標識別的實時響應效率，識別效果如圖4所示。自然環境下，引入CA的YOLOv5s算法動態識別每幅耗時40 ms，識別精度為99.2%，能夠滿足自動化實時定位需求。

圖4 YOLOv5基礎網絡結構圖

4 系統測試

為驗證系統采摘的可靠性與穩定性，于徐聞縣“菠蘿的海”進行大田試驗，時間選擇6月份夏菠蘿成熟期。菠蘿采摘裝置安裝于自行走車載云臺，采摘裝置完成當前位置的采摘任務后會發出信號，指引車載云臺前進至下一采摘點，采摘試驗結果如表2所示。

表2 采摘試驗結果

分析表中晴天與陰天的采摘結果，晴天時光線強，攝像頭采集的圖像比較清晰，識別精度高。陰天時雖然受光線影響會出現誤判，但誤判數比例較小。大田試驗表明：菠蘿全向定位自動化采摘系統可實現全自動化菠蘿采摘，單個果實平均采摘耗時約22 s，采摘精度高于93.5%。

5 結論

本文提供了一種深度視覺的菠蘿全向定位自動化采摘方法，主要結論如下：1）采用改進的YOLOv5算法可在保證實時性的前提下實現菠蘿果實的準確定位，識別精度高達99.2%；2）采摘裝置能夠實現菠蘿果實全角度識別定位、固定夾取、果梗切割，裝置的各個部分能夠協調銜接，整個過程無需人工參與；3）大田采摘試驗結果驗證了采摘裝置的可行性，晴天條件下采摘精度達100%，陰天條件下采摘精度高于93.5%。