基于視覺識別和人機交互的智能垃圾分類裝置

吳國雄

（武漢工程大學，湖北 武漢 430000）

近年來，生活中的垃圾產生量呈現大幅增長的態勢。根據中國城市環境衛生協會統計，我國每年產生近10億噸垃圾，產生垃圾總量排行位于世界前列。此外，隨著我國城鎮化進程的加快以及人民生活水平的提高，城市生活垃圾保持著8%~10%的年增長率，全國2/3以上的城市深陷“垃圾圍城”困境。垃圾分類回收被普遍認為是解決困境、提高資源化利用效率的關鍵環節[1]，但由于日常生活中存在垃圾分類管理工作落后、信息化推廣程度較低、普及性水平較差等問題[2-3]，傳統的垃圾桶并不能引導人們進行正確分類。針對上述問題，筆者設計出一種垃圾分類裝置，可通過機器視覺對投入的垃圾進行自主分類，并將分類結果顯示在屏幕上反饋給用戶，將垃圾分類變得簡單，從而推動政策的施行和垃圾分類知識的普及。

1 結構設計

根據擬設計的現實場景，筆者設計出一種新型垃圾分類機構，分類機構主要由垃圾暫存機構、斜坡機構、抽拉式底桶三個部分組成，其整體視圖和分類流程如圖1所示。

圖1 整體視圖與分類流程

1.1 垃圾暫存機構

垃圾暫存機構主要由LED環形光源、側板、曲形斜槽、連桿機構、舵機搭建而成，用于垃圾投入后的暫時儲存并提供視覺識別的空間。

側板由四塊白色磨砂亞克力板通過角鐵連接，曲形斜槽由兩塊3D打印件組成，作為暫存機構的底板，并通過合頁與側板連接，形成半封閉式空間。磨砂亞克力板的半透光性配合LED環形光源能形成整體均勻的光線，為攝像頭提供良好視覺識別環境，避免環境光線過暗或光影雜亂給分類帶來負面影響，提高識別精度。兩塊打印件閉合狀態呈120°夾角，閉合處形成曲形槽，當易拉罐、電池、塑料瓶等圓柱形垃圾投入暫存機構時，由于曲形斜槽的結構特殊性，這些垃圾均能在底板上以相同姿態呈現在攝像頭下。因此，在制作這些垃圾的數據集時，可以減小非必要圖片的數量，降低數據集的復雜性，提高分類模型精度的同時加快其訓練速度。

在識別完成之后，兩側舵機操控連桿機構將兩塊曲形槽板打開，使得垃圾自由下落，進行下一個分類步驟。

1.2 斜坡機構

斜坡機構主要由斜坡、餐盤軸承、電機支承板、步進電機、法蘭聯軸器組成，通過步進電機帶動斜坡轉動控制垃圾下落后的滾動方向，以此完成分類。

斜坡由四塊環氧板搭建而成，其中包含一塊傾斜度為35°的斜板、兩塊護欄板和一塊底板，斜板用于垃圾的順利滾落，護欄板防止垃圾從側面掉落，底板負責與步進電機和餐盤軸承連接。

原動機采用2.3 N·m的大扭矩步進電機，通過支承板固定于暫存機構的正下方，電機軸上套有法蘭聯軸器，用于和餐盤軸承內圈以及斜坡底板連接，餐盤軸承的外圈通過銅柱與電機支承板固連。在餐盤軸承的作用下，斜坡的豎直方向受力分散給了四個支撐銅柱，避免重物下落時導致斜坡傾斜。

1.3 抽拉式底桶

為了便于進行垃圾袋的更換，筆者采用抽拉式底桶的設計，通過導軌和牛眼輪將內筒從外殼兩邊抽出，簡化換袋操作。抽拉式底桶的組成有垃圾桶、抽屜導軌、鋁型材、側板、牛眼輪。當垃圾溢滿后，可以將垃圾桶抽出進行換袋。

2 功能實現

根據分類裝置的功能需求，筆者將控制端分為上行視覺開發板和下行執行開發板兩個主要部分，并選用Kendryte K210和STM32F103分別作為上行開發板和下行開發板的主控芯片。Kendryte K210實現基于卷積神經網絡的圖像分類任務，STM32F103負責進行分類動作的執行和滿載報警。

2.1 視覺分類

上行開發板通過OV5640攝像頭采集圖片、K210芯片調用kmodel模型和Maixpy視覺代碼來實現垃圾的視覺分類。K210芯片架構包含了一個自研的神經網絡硬件加速器KPU，KPU算力能夠達到0.8TFLOPS，可以高性能地進行卷積神經網絡運算，實現基于卷積神經網絡的圖像分類任務[4]。kmodel屬于yolov3目標檢測算法生成的模型，yolov3以darknet-53為骨干網絡，整個結構里面只有殘差模塊，沒有池化層和全連接層，yolov3應用殘留跳過連接來解決深度網絡的梯度消失問題，并使用上采樣和級聯方法保留細粒度的特征以用于小物體檢測，每個卷積層后面都接一個批次歸一化層和一個Leaky Relu激活層，并引入Res Net殘差模塊以解決網絡深度加深時所出現的訓練退化問題[5]。對于kmodel模型的生成，本文采用Mx-yolov3本地訓練平臺對垃圾圖片數據集進行訓練，將訓練生成的tflite模型通過nnc轉換器轉換為kmodel格式并導入SD卡，K210芯片調用SD卡中的模型，使用自帶的神經網路加速器KPU對攝像頭采集的垃圾圖像進行卷積神經網絡計算，完成圖像分類并將分類結果傳遞給下行開發板。

2.2 視覺分類結果傳遞

下行開發板與上行開發板通過各自的ESP8266 WIFI模塊建立通信傳輸視覺識別的分類結果。ESP8266芯片是一款串口轉無線模芯片，內部自帶固件，采用串口（LVTTL）與站點主控MCU進行通信，通過內置的TCP/IP協議棧實現串口與WIFI之間的轉換，只需要簡單的串口配置即可通過網絡傳輸數據，無需編寫時序信號[6]。上行開發板作為主站，WIFI模塊設置為COM-WIFI AP模式，作為無線WIFI熱點，建立局域網，允許從站WIFI設備連接，子模式設置為TCP服務器端，生成IP地址。下行開發板作為從站，WIFI模塊設置為COM-WIFI STA模式，子模式設置為TCP客戶端，通過輸入主站的IP地址，加入主站局域網，實現主從站之間的無線數據透傳。下行開發板根據建立的上行下行通訊協議，獲取視覺識別的分類結果，根據分類結果執行分類動作。

2.3 分類動作執行

當下行開發板接收到分類信息之后，開始由STM32F103芯片控制執行分類動作。STM32芯片具有較強的運算能力，系統最大時鐘頻率可達到72 MHz[7]，具有多路時鐘通道可供使用。STM32F103芯片通過引腳輸出PWM波和脈沖信號控制兩路舵機和一路步進電機執行分類動作，舵機開合暫存機構的底板控制垃圾下落，步進電機帶動斜坡機構轉動，使下落的垃圾滾進對應桶中完成分類。

2.4 垃圾桶驗滿

筆者選用VL53L1激光測距儀測距驗滿。VL53L1具有4 cm到400 cm的測量距離，并且具有可通過一個串口訪問多個傳感器的特點，達到占用最小板載資源，實現多個傳感器數據的同時讀取。通過傳感器數據值循環檢測，當任一讀取數據值超過設定值，觸發顯示屏溢滿報警。待更換垃圾袋后，測距儀所測距離小于設定值，清除顯示屏溢滿報警。

2.5 人機交互屏幕

人機交互屏幕采用大彩公司的工業級串口顯示終端，該終端采用32位400MSOC處理器，內部集成了SDR顯存、JPEG圖片解碼等功能。分類裝置利用該終端配套的上位機VisualTFT建立工程進行界面排版和控件配置，上位機對工程的每一個頁面、圖片、控件分配唯一的ID號，下行板將垃圾分類信息和溢滿情況以規定數據幀的形式通過串口發送給屏幕，屏幕對每一幀數據進行解析并在相應控件上執行操作，將垃圾分類信息和溢滿狀況實時反饋給用戶，實現人機交互。

3 總結

筆者提出一種基于視覺識別和人機交互的智能垃圾分類裝置，將智能化設備帶入到新政策的施行中，加快垃圾分類知識的普及，提高民眾進行垃圾分類的效率，降低清潔人員的工作量和工作難度，真正地將創新與科技融入到垃圾回收處理中，對提高資源利用效率、改善環境問題和解決能源危機有一定的科學指導意義。