機器視覺在垃圾分揀機器人設計中的應用

德州職業技術學院 劉玉叢

文章提出一種基于機器視覺進行垃圾分類的機器人設計，在具體設計過程中首先分析設計的總體方案、設備功能要求以及系統布局，再從目標識別單元和分揀控制單元兩方面完成具體設計，以期能夠提高垃圾分揀機器人在垃圾分類過程中的正確率和與有效性。

現階段，城市垃圾資源回收處理已成為社會關注的重點內容，其不僅符合我國可持續發展的戰略規劃要求，也是解決當前城市發展與環境破壞矛盾，實現人與自然和諧共存的重要途徑。垃圾分揀作為城市垃圾資源回收的重要步驟，其工作效率將會直接影響到城市垃圾資源回收效率及效果。因此，為能夠進一步提高垃圾分揀工作效率，實現垃圾分揀自動化已成為必然的發展趨勢。據此，對基于機器視覺的垃圾分揀機器人設計進行研究分析，有一定現實意義。

1 基于機器視覺的垃圾分揀機器人總體方案設計

1.1 總體方案設計

基于機器視覺進行垃圾分揀的機器人需要對分揀過程中無法通過磁吸、震篩等傳統方式進行處理的高回收價值目標進行識別分揀，基于此要求，在本垃圾分揀機器人設計過程中將會采用機器視覺和工業機械臂相結合的自動化垃圾分揀方案。

基于機器視覺的垃圾分揀機器人設計主要分為目標識別單元和分揀控制單元兩部分。其中，目標識別單元主要由圖像采集攝像機、工業計算機等設備共同組成；分揀控制單元則由綜合控制設備、末端執行設備、工業機器人以及工業機器人控制設備共同組成。機器人設計方案如圖1所示。

圖1 總體方案設計

1.2 設備功能分析

（1）圖像采集攝像機：設置在垃圾傳送帶上方，主要用于實時獲取傳送帶上垃圾的圖像信息，并將所采集到的圖像信息傳遞給工業計算機進行識別處理。

（2）工業計算機：基于圖像采集攝像機所傳遞的圖像信息，根據預設的各類垃圾參數特點，對圖像信息進行識別處理，獲取到垃圾目標的實際空間坐標和角度信息，然后將相關數據傳遞給分揀控制單元，同時輸出相應的控制指令。

（3）綜合控制設備：其是分揀控制單元的核心，可實現多臺工業機器人的同步操控工作。通過控制總線接收工業計算機所傳遞的空間坐標、角度信息以及控制指令，然后將相關信息及指令進行轉換，發送給工業機器人控制設備。

（4）工業機器人控制設備：根據綜合控制設備所傳遞的控制指令，對工業機器人進行具體控制。

（5）工業機器人：接收工業機器人控制設備的控制指令，實施具體動作軌跡規劃，以此來驅動末端執行設備。

（6）末端執行設備：根據控制指令對垃圾目標進行正確分揀。

1.3 系統布局

根據上述總體設計及設備功能分析，合理提出基于機器視覺的垃圾分揀機器人設計布局方案，如圖2所示。

圖2 設計布局方案

2 目標識別單元設計

2.1 軟件設計

為保障目標識別單元的應用效果，在具體應用中需要將機器學習與人機交互糾錯機制相結合，提高垃圾分揀機器人對垃圾分類識別的正確率。基于此目的，目標識別單元軟件部分包括深度學習網絡、人機交互糾錯接口、綜合處理單元三部分。其中，深度學習網絡和綜合處理單元將會設置在工業計算機上，保障工業計算機能夠快速識別、分析傳送帶上的垃圾；人機交互糾錯接口軟件雖然也設置在工業計算機中，但其可以采用觸摸屏和計算機鼠標控制兩種操控模式，方便操作人員對垃圾目標進行快速處理，為提升識別目標單元正確率提供支持。

2.2 形態識別模塊

形態識別模塊設計中引入了形態學知識，以此為基礎對圖像采集攝像機所拍攝的各類圖像信息進行形態識別、提取、剔除、聚類處理，進而獲取到圖像信息中的二維坐標、角度信息和時間信息等，然后對目標垃圾進行跟蹤顯示；判斷各圖像中目標垃圾是否為統一目標，若是非統一目標，則會再次對圖像中目標垃圾的二維坐標、角度信息和時間信息進行計算分析，并將分析結果傳遞給人工輔助處理模塊；反之，若是統一目標，則不傳遞信息。

2.3 識別算法優化

在現有的VGG16網絡結構的基礎上，將VGG16網絡卷積層上的第三、第四以及第五層進行有機融合，使得優化后的網絡架構能適用于垃圾分揀中各類有價值垃圾的識別檢測，同時強化物品角度預測能力，降低物品角度預測誤差幾率。

具體來說，識別算法優化主要包含以下三方面內容：

（1）將現有VGG16網絡結構中的卷積層上第三、第四以及第五層進行有機融合。

（2）將現有的分類回歸損失和角度預測解相耦合，以此來保障兩者獨立訓練和預測效果。

（3）通過全卷積網絡實施算法訓練，保障訓練速度的同時，避免出現網絡參數擬合。

2.4 人工輔助模塊

（1）人工糾錯模塊：人工糾錯模塊會呈現圖像采集攝像機所采集的圖像信息，工作人員根據圖像變化來判斷圖像識別的有效性，并將系統識別過程中有明顯錯誤的目標去除，有效信息會自動傳遞給綜合處理單元進行分析處理。

（2）人工輔助處理模塊：同人工糾錯模塊相類似，人工輔助處理模塊也需要對圖像信息進行分析判斷，然后將圖像中系統識別到的缺漏目標進行標記。在人工標記后，系統會自動分析標記目標的二維坐標、角度信息以及時間信息，并將相關信息傳遞給綜合處理單元處理。

2.5 綜合處理單元

綜合處理單元在接收到人工糾錯接口和人工輔助處理模塊所傳遞的錯誤目標或者缺漏目標信息后，會自動分析處理目標在圖像中的二維坐標信息、角度信息以及時間信息，去除錯誤目標，添加缺漏目標，為后續分揀控制單元的有效控制提供參考。在實際應用過程中，由于目標垃圾處于時刻運動狀態，所以，為解決同一目標在連續運動狀態下的信息提取問題，還需要在設計中引入基于機器視覺的目標信息提取方法，實時記錄和綜合分析目標垃圾在每種圖像狀態下的坐標參數變動情況，結合角度、時間等參數來實現圖像對比，實現同一目標的動態化信息提取。

3 分揀控制單元設計

3.1 坐標系設計

（1）圖像坐標系：將圖像采集攝像機所采集圖像的左下角坐標作為原點，然后根據圖像的像素情況劃分圖像坐標點，例如：圖像大小為1600×1200dpi，那么圖像坐標系原點相對應的右上角點的坐標即為（1600，1200）。

（2）傳送帶坐標系：同圖像坐標系相類似，傳送帶坐標系也需要將左下角的某一固定邊緣點設定為坐標系原點，此坐標系的X軸則為傳送帶的行進方向，Y軸則是傳送帶行進方向的垂直方向。

（3）多機械手坐標：機械手在傳送帶坐標系上的平面坐標點將會以機械手與傳送帶交點為基準，具體空間坐標系將會采用傳遞帶坐標系。

（4）人機交互界面坐標系：以任意交互界面最左下角像素點作為原點，根據界面構建坐標系。

3.2 多機械手控制

綜合控制設備會將接收到的目標識別單元所傳遞的目標信息和相關指令存儲在緩存區，然后根據目標信息預測目標在傳送帶上的后續坐標信息，進而控制距離目標最近的機械手對目標進行抓取。在此過程中，綜合控制設備會時刻判斷緩沖區內是否存在新目標的二維坐標和角度信息，若存在，則會根據新目標的二維坐標和角度信息發出新的控制指令。

結束語：綜上，為滿足當前環境保護及可持續發展相關需要，本文提出一種基于機器視覺的垃圾分揀機器人設計方案，此設計方案主要分為目標識別單元和分揀控制單元兩部分內容，其中目標識別單元主要負責對機器視覺圖像進行識別、分析及處理，為分揀控制單元提供相應的數據信息支持；分揀控制單元則可以根據目標識別單元所提供的信息參數，控制垃圾分揀機器人完成垃圾分揀操作。結合實際情況來看，此設計可以實現對在垃圾分揀過程中，無法通過磁吸、震篩等傳統方式進行分揀處理的高回收價值目標進行識別分揀。本方案雖然未涉及到具體算法、設備型號以及控制代碼相關內容，但該方案仍可以作為后續垃圾分揀機器人設計的參考。