一種基于“圖像+”識別方式的智能垃圾分類裝置

天津理工大學工程訓練中心 樊肖艷 司 闊 馮國慶 王 玉 張梓楊

垃圾分類已經成為了新時代的潮流，但分類起來費時耗力十分困難。本文設計了一款基于“圖像+”識別方式的智能垃圾分類裝置，簡化機械結構設計并優化識別控制系統，提高垃圾分類圖像識別的速度和準確率。經實踐證明樣機可實現高效地完成“可回收垃圾、廚余垃圾、有害垃圾和其他垃圾”等四類城市生活垃圾的智能判別、分類與儲存，具備滿載報警、播放垃圾分類宣傳片等功能。該裝置有利于人們進行垃圾分類，提高垃圾分類的處理效率，實現垃圾的無害化和資源化。

生態文明建設已經成為現今時代發展所必須考慮的問題，我們黨在十四五規劃中也強調了未來五年我國要實現生態文明建設的新進步?！暗吞忌睢钡睦砟钜苍絹碓缴钊肴诵?，街道、社區、家庭的垃圾分類已經成為了當前主流。但是由于垃圾的種類過于繁雜，“可回收垃圾、廚余垃圾、有害垃圾和其他垃圾”四類城市生活垃圾在分類過程中準確識別十分困難，錯誤的分類會嚴重降低垃圾的回收率、還會造成環境污染、降低空氣質量等一系列問題。如果用人工進行分類，不僅需要大量的人力資源，還需要投入大量的精力，迫切的需要能夠自主識別投放物的智能垃圾分類裝置。金佩薇等人對當前垃圾的圖像識別進行了相關研究介紹，指出由于神經網絡無法全面提取該類別特征，圖像識別時識別速度較慢且容易出錯，曹高華等人對基于材質識別飲料瓶自動分類回收裝置進行了研究，采用材質識別的方法，識別速度快，準確率高，可靠性強，受環境影響小等，但其識別種類少，難以分辨多種垃圾。本文智能垃圾分類裝置采用圖像識別與材質識別雙重作用的識別方式，設計基于“圖像+”識別方式的智能垃圾分類裝置，有助于提高垃圾分類圖像識別的速度和準確率。“圖像+”識別方式將是未來解決精準垃圾分類難題的重要思路。

1 整體設計

垃圾投入投放口后，首先進行材質的判斷，然后是垃圾尺寸的大小分析，若在兩輪檢測中仍然無法識別出垃圾的種類，攝像頭將會采集圖像與數據庫中的圖像特征進行對比，以大幅降低圖像處理的工作負擔，使得識別效率和準確率都得到提升。

所設計的智能垃圾分類裝置的顯示屏部分可完成以下功能：

（1）支持各種格式垃圾分類宣傳視頻或圖片的播放；（2）投放垃圾時自主跳轉為垃圾分類主頁面，實時顯示垃圾桶剩余容量，并顯示所有垃圾種類名稱、投放數量、任務完成提示等；（3）當垃圾箱里存放的實際垃圾數量超過垃圾箱容量的80%時進行滿載提示。

智能垃圾分類裝置主要工作流程圖如圖1所示。

圖1 工作流程圖

此外本設備還可以通過光電傳感器實時監測垃圾的滿載情況，并可以在顯示屏幕上顯示垃圾的種類、數量、是否滿載等信息，以便于及時對垃圾進行相應的處理。

2 機械結構設計方案

裝置尺寸，本裝置共有四部分組成：整體框架、垃圾桶、識別機構、投放裝置，機械結構模型圖如圖2所示。

圖2 機械機構模型圖

整體框架由鋁材方管、角件以及螺釘、螺母搭建完成，上下呈兩層，下層的主要功能是固定垃圾桶和投放裝置；上層主要用于固定識別裝置、顯示屏、電池等設備，同時為了提高圖像識別的準確率，降低環境光線影響，箱體上層四周用亞克力材質的板子做遮光處理并在內部安裝環繞四周的LED燈條；頂蓋用荷葉固定，雙向打開，一側用于檢查和維修電路，另一側用來觀察和調整垃圾桶放過程中投放裝置的運行狀態。在整體框架的底部安裝有四個萬向腳輪，以方便移動整套裝置。

在垃圾桶的底部設計有空心凸起與裝置底座上的凸起配合，使垃圾桶可以隨時拆裝，方便垃圾的及時清理。

識別裝置分為兩部分即圖像識別部分和材質識別部分，圖像識別的openMV攝像頭裝于投放裝置的正上方,便于圖像的采集與分析，材質識別的電容傳感器安裝于投放裝置后方，當垃圾進入投放裝置時垃圾會與傳感器直接接觸從而進行垃圾材質的分析和大小的檢測。

投放裝置下端連接兩個二自由度舵機，一個用于驅動投放裝置水平旋轉達到垃圾桶的上方，另一個驅動投放裝置做俯仰運動完成垃圾投放的動作，投放裝置的結構圖如圖3所示。

圖3 垃圾分類裝置模型圖

垃圾通過上層框架側面的投放口進入到垃圾投放裝置中，然后在投放裝置中完成垃圾種類的識別，并驅動舵機將垃圾投放到正確的垃圾桶中。實物樣機如圖4～圖6所示。

圖4 垃圾分類裝置外觀圖

圖5 垃圾分類裝置內部結構圖

圖6 垃圾分類裝置俯視圖

3 軟硬件系統設計

3.1 硬件系統

選用樹莓派作為數據處理中心，完成垃圾的智能識別、自動分類和信息顯示功能，選用的各種電器元件的類型及型號如下：

控制器：樹莓派4B

顯示屏：7in電容顯示屏

攝像頭：OpenMV4 H7 Plus

傳感器：電感傳感器、光電傳感器

驅動裝置：270°舵機、180°舵機

攝像頭選用了可以進行神經網絡訓練的OpenMV4 H7 Plus高清攝像頭，利用電感傳感器可以準確的判斷垃圾的材質是否為金屬，通過監測能夠識別金屬的電感傳感器的數量來分辨出金屬的大小，從而分類出垃圾的種類。光電傳感器用于檢測垃圾桶的滿載情況，并及時反饋給樹莓派。驅動裝置采用兩個不同角度的舵機，底部與基座相連的是270°舵機，用以實現投放裝置可到達每個垃圾桶的上方，180°舵機與投放裝置相連，以實現投放裝置的俯仰動作，將垃圾從投放裝置倒進垃圾桶內。系統的設計方案如圖7所示。

圖7 系統設計方案

3.2 軟件系統

一部分在OpenMV IDE上進行編寫的圖像處理程序，另一部分是在樹莓派系統上進行編寫的總控制程序。在圖像處理程序中運用Edge Impulse神經網絡進行模型數據的訓練，然后將正確率達標的數據模型進行編程處理，使其能夠完成垃圾種類的鑒別。

在樹莓派上的總控制程序中使用Pygame模塊編寫了可以實現實時數據顯示的圖像化界面，控制顯示屏播放垃圾宣傳視頻和垃圾分類界面，通過紅外傳感器檢測滿載情況并實時顯示剩余容量，并與openMV建立通信，正確顯示垃圾分類情況。

4 圖像的采集與處理

由于垃圾的種類和材質過于復雜，雖采用了材質和大小對垃圾進行了初次篩選判斷，圖像識別也是其中非常重要的一個環節。采用將圖像處理后的結果反饋給樹莓派執行相應的動作。使用EdgeImpulse在線訓練適用于OpenMV的神經網絡模型，主要分四個步驟：數據集采集、上傳、訓練以及部署。

基本的訓練流程如下：

（1）對不同種類的垃圾進行圖像采集。打開OpenMV IDE選中數據采集模式，然后將攝像頭對準垃圾即可對垃圾進行圖像的采集。同時為了增加圖像識別的準確率最好在光線均勻且背景單一的條件下進行拍攝，每一個特征不同的垃圾從不同的角度采集150-200張照片。

（2）對采集好的模型進行學習訓練。首先將采集好的圖像信息按照垃圾的種類即可回收垃圾、廚余垃圾、有害垃圾、其他垃圾分別上傳到Edge Impulse的數據庫中，每一種垃圾可以隨機分出20%用于模型的檢測。然后進行模型的學習訓練，操作者可以按照自己的需求調整訓練的各種參數，甚至可以自主修改模型訓練程序以滿足相應的需求，在完成訓練后生成特征分布模型。

（3）模型檢測。將預留的20%圖像用于模型的檢測，觀察檢測結果，若結果滿足要求，即可將模型訓練好后導入到OpenMV4 H7 Plus中，否則需要重復步驟（2）直到滿足要求為止。圖像處理的流程圖如圖8所示。

圖8 圖像處理的流程圖

5 實驗過程及結果分析

在本次實驗中我們對以下幾種常見的生活垃圾垃圾進行采集數據集：

可回收垃圾：易拉罐、小號礦泉水瓶；

廚余垃圾：香蕉皮、蘋果塊、菜葉、橘子、橘子皮；

有害垃圾：電池（1、2、5號）；

其他垃圾：磚瓦陶瓷、煙頭；

共采集照片1100張，其中可回收垃圾400張，廚余垃圾400張，其他垃圾300張，有害垃圾0張（由于有害垃圾可通過材質識別分辨出，所以在此不做圖像采集）。特征點模型如圖9所示。

圖9 特征點模型圖

模型的檢測結果如圖10所示。

圖10 模型檢測結果圖

在實驗中，采用電感傳感器對電池和易拉罐進行分類，電池和易拉罐的識別率幾乎可以達到100%，而且識別速度非?？?，圖像識別雖然可以識別出多種垃圾，但卻很容易受到外部環境的影響使得準確率遠不及材質識別。

準確性測試結果如表1所示，從實驗結果中可以得出，只使用材質識別的有害垃圾分類正確率可達到100%，只采用圖像識別的廚余垃圾、其他垃圾的正確率只用88%和82%，而采用“圖像+材質”識別的可回收垃圾識別正確率可達有94%。

表1 準確性測試結果

智能化的發展是當今時代的熱點問題，給予機器更多的“感官”使其更智能，“圖像+”的識別方式也受到這樣思想的啟發，讓機器不僅擁視覺，而且擁有觸覺、聽覺、嗅覺等。本文所設計的一種“圖像+”的智能垃圾分類裝置，符合未來智能機械的發展方向，實踐證明這種識別方式是可行的，有助于人們解決對垃圾分類的困擾，另一方面還可以降低垃圾分類的成本，提高對垃圾分類的處理效率。