吳 超,張 成,吳柯錦,劉俊安,姚建新
(常州機電職業技術學院,江蘇 常州 213164)
幼苗栽培整理系統技術主要用于提高生產力、統一經營管理,在國內有很大的發展空間。但幼苗盤的搬運和分揀主要由人工完成,降低了農業自動化程度。目前,國內育苗場因標準不統一,幼苗盤的搬運作業機械化程度仍然不高,其整理方式以人力為主,自動化程度低且增加了勞動成本。國外設施農業發達的國家對幼苗的整理裝置研究較多,荷蘭通過控制農業機器人對幼苗進行逐個整理,但是這些系統復雜、價格昂貴,很難在小規模農企中廣泛應用,因而急需一種適合我國國情的機械設備代替人工操作,實現幼苗的快速識別與整理,進而與幼苗盤搬運系統相結合,提高效率,降低勞動成本。
基于YOLO網絡的幼苗分揀系統主要包括幼苗根部識別和機械手控制兩部分,樹苗的根部識別是通過攝像頭采集圖像,把采集好的圖像經過YOLOv5[1]算法檢測,得出抓取點位置,提取坐標定位,然后把坐標定位數值,送給機械臂,接著控制M1魔術師機械手[2],運行到相應的幼苗根部上方,抓取幼苗,改變位置。
通過視覺系統圖像的采集、YOLO網絡檢測數據分析,得出苗木的抓取點位姿信息,結合相應算法獲取苗木當前狀態,將信息傳遞給機械手[3],機械手根據獲取到的位姿信息對苗木的姿態進行調整,得出符合栽培要求的狀態。
通過流水線來識別幼苗的根部,通過對其位姿的檢測做出相應的反饋到機械手,機械手根據信號對幼苗進行整理以達到理想效果。
分揀系統以越疆科技M1機械臂為主要硬件平臺[4],結合機器視覺設計了軟件系統并對不同的工件進行了分揀實驗驗證,在實際的生產中具有較高的理論指導和應用價值。分揀系統總體設計思路如圖1所示。
圖1 分揀系統總體設計思路
識別圖像中的多個目標和坐標提取是系統對圖像進行預處理的目的。攝像頭采集到的圖像由越疆科技的視覺識別系統完成。
樹苗坐標并不能直接作為工件的定位坐標,需要將其從像素坐標系轉換到檢測的實際定位坐標,坐標轉換原理如圖2所示。
圖2 坐標轉換原理
系統需要先進行坐標定位,標定出圖像在實際定位中的比例,機器人通過通信工作進行抓取處理。
機器視覺處理采用DobotVisionStudio。算法平臺繼承機器視覺軟件,首先,在完成樹苗分析以后,需要對樹苗的位置進行定位,求取樹苗根部位置的二值圖像。
YOLOv5是一種單階段目標檢測算法,主要包括輸入端、基準端、頸部網絡端、頭部網絡端。
(1)輸入端:是指模型訓練階段的一些基本方法,包括Mosaic數據增強、自適應錨框計算、自適應圖片縮放等。
(2)基準端:主要包括Focus,CSP兩種結構。
(3)頸部連接端:在基準網絡與輸出層之間會有一些參數修改,所以會插入一些層,在YOLOv5中添加了FPN+PAN結構。
(3)頭部網絡端:錨框機制主要改進的是訓練時的損失函數GIOU_Loss以及預測框篩選的DIOU_NUMS。其中,GIOU_Loss GIoU是源自IoU的一種邊框預測的損失計算方法,在目標檢測等領域,需要對預測邊框與實際標注邊框進行對比,計算損失。原理如圖3所示。
圖3 YOLOv5算法原理
在經典的NMS中,得分最高的檢測框和其他檢測框逐一算出對應的IOU值,并將該值超過NMS threshold的框全部過濾掉。可以看出,在經典NMS算法中,IOU是最重要的因素。
但是在實際應用場景中,當兩個不同物體挨得很近時,由于IOU值比較大,往往經過NMS處理后,只剩下對應的檢測框,導致漏檢的錯誤情況發生。
基于此,DIOU-NMS不僅考慮IOU,還考慮兩個框中心點之間的距離。如果兩個框之間的IOU和距離比較大,可能會認為這是兩個物體的框而不會被過濾掉。公式如下:
(1)
首先輸入圖像,運用自適應圖像縮到規定大小的范圍,然后劃分網絡,分別預測目標邊框,預測目標所屬類別,經過運算經行置信度評分;其次對閾值進行比較,如果不是特別大的抑制,繼續輸出目標邊界框和標注目標類型以及置信度評分,否則就舍棄邊框,YOLOv5目標檢測流程如圖4所示。
機器人抓取程序思路:PC機與相機建立通信聯系,傳送帶傳送樹苗到指定的拍照位置,視覺處理獲取位置,數據傳送給機器人,機器人運動到點,然后抓取樹枝,調整樹枝位置到合適的角度,然后傳送帶送走樹枝。循環執行機器人抓取流程如圖5所示。
圖5 機器人抓取流程
目前,農業用的樹苗分揀精確識別依舊面臨很多問題,如移動平臺采集圖像成像質量不佳;在陰雨、大霧等氣候條件惡劣情況下,容易受煙、霧、不良光照干擾,從而丟失目標紋理細節,對目標部位識別造成困難。以上問題需要對圖像進行針對性的預處理,完成圖像增強和重建等工作。在實驗測試中還發現,傳送帶在速度較快,多重目標識別情況下漏檢、錯檢概率明顯增加,說明在復雜背景下的檢測識別能力還有提升空間。