基于目標檢測的智能垃圾分類垃圾桶的設計

祝朝坤 陳記文

摘？要：本設計使用目標檢測識別進行分類垃圾以代替傳統的人工分類。本設計旨在用前沿的YOLOv3模型去實現準確的垃圾識別。設計中的模型利用Anaconda搭建環境變量，并在Pycharm軟件上運行模型。YOLOv3模型實驗所需的數據集來自華為云人工智能大賽提供的垃圾分類數據集，共有44種垃圾類別，圖片數為1.9萬張。經測試發現YOLOv3模型能夠快速而又準確地識別出44種垃圾，隨后通過藍牙發出信號給STM32單片機部分，單片機通過控制舵機旋轉后完成全自動化垃圾分類。

關鍵詞：智能分類垃圾桶；環境保護；STM32單片機；深度學習；TensorFlow；YOLOv3

1 研究背景

隨著科技的快速發展，人們的生活水平得到了很大的改善，城市生活中的垃圾數量也隨之飛速增長。近年來我國提出了全民垃圾分類的政策并在全國進行試點推廣，為解決垃圾處理問題，各個城市相繼出臺了垃圾分類的地方標準，但實際執行起來依然有不小難度，用戶的習慣和對垃圾分類知識了解的不足帶來垃圾分類的現實困難，而設置專門的管理人員則會大量浪費人力資源。如果可以通過相關的設計實現自動分類的垃圾桶，將有助于大幅提升垃圾分類的準確率和效率。

深度學習技術的高速發展，它的功能也逐漸增強，尤其是在目標檢測和圖像識別等領域上發揮著重要作用。本文提出的基于深度學習的智能垃圾分類垃圾桶，該設計將人工智能與垃圾分類進行有機結合，提出了一種能夠自動進行垃圾分類的垃圾桶的設計方案。方案的關鍵在于如何對目標準確而有效地識別，特別是應用性能較為優異的卷積模型作為目標檢測的模型，對其在目標檢測識別領域的應用具有十分關鍵以及重要的研究價值。

2 分類垃圾桶簡介

2.1 分類垃圾桶的總體設計

分類垃圾桶整個方案分為PC（個人計算機）端和硬件端兩大部分組成，總體設計圖如圖1所示。

PC端主要是實現垃圾的分類，主要處理過程如下：

（1）攝像頭捕捉到含有垃圾的圖片；

（2）圖片傳入到模型中進行處理；

（3）處理完后會通過藍牙發送信號給硬件端。

硬件部分的設計如圖2所示，STM32上電后串口、定時器進行初始化。當STM32收到電腦端發送的垃圾類型數據時，對收到的數據進行判斷，用于區別出被識別垃圾的種類。當垃圾成功識別種類時，STM32通過控制垃圾桶底部的垃圾旋轉控制裝置。旋轉不同的角度使垃圾投放進不同分類的格子中。實現不同垃圾的分類效果。在實際執行中，系統將通過控制垃圾旋轉裝置旋轉到一定角度來進行下方垃圾格子的選擇，如干垃圾時旋轉0°、濕垃圾時旋轉90°、可回收垃圾旋轉180°、有害垃圾時旋轉270°，從而將垃圾投入下方系統定的格子中。

3 模型分析和實際應用

3.1 Two Stage目標檢測算法

在人工智能方面較出名的目標檢測模型有R-CNN（區域卷積神經網絡）、OverFeat、Fast R-CNN、Faster R-CNN、YOLO（You Only Look Once）v1、YOLOv2、SSD（single shot multibox detector）。早期的目標檢測模型（較典型的是2013年的R-CNN）是通過人工技術得到物體特征，其中有三個主要步驟。

（1）區域選擇：隨機生成多個固定大小的窗口然后采用滑動窗口對圖像進行遍歷。

（2）特征提取：SIFT（尺度不變特征轉換，scale-invariant feature transform）是常用特征。

（3）分類器：主要是Adaboost、SVM（支持向量機，support vector machines）。

3.2 YOLOv3模型

YOLOv3作為近期發布的模型，它對之前的算法既有保留又有改進。YOLOv3保留的結構如下所述。

（1）YOLOv1中保留的結構是劃分單元格來做檢測，區別是劃分的數量不一樣。采用”leaky ReLU”作為激活函數，進行端到端地訓練。一個loss function即可搞定訓練，因此只需關注輸入端和輸出端。

（2）YOLOv2中保留的結構是用batch normalization（批量歸一化，BN）作為正則化、加速收斂和避免過擬合的方法，把BN層和leaky relu層接到每一層卷積層之后。

YOLO每一代的提升主要取決于backbone網絡的提升，從YOLOv2的darknet-19到YOLOv3的darknet-53。YOLOv3還提供替換backbone——tiny darknet。backbone用Darknet-53提高性能，用tiny-darknet提高速度。以下將從三個方面來講述YOOv3模型。

DBL（Darknetconv2d_BN_Leaky）：如圖3所示，是YOLOv3的基本組件，包含了卷積+BN+Leaky relu。在YOLOv3中，BN和leaky relu已經是和卷積層不可分離的部分（最后一層卷積除外），共同構成了最小組件。其中BN結構起到關鍵作用，它可減少訓練計算量。計算公式如下：

concat：張量拼接。將darknet中間層和后面的某一層的上采樣進行拼接。拼接的操作和殘差層add的操作是不一樣的，拼接會擴充張量的維度，而add只是直接相加不會導致張量維度的改變。

3.3 實際應用方面的解決方法

在實際應用中，本實驗在設計中碰到兩個問題，并且找到了對應的解決方法。

（1）當把YOLOv3模型訓練完成后，開始進行測試部分。訓練出來的參數加載到測試部分時，可通過在電腦上的攝像頭識別出不同種類垃圾。但是此垃圾識別過程不只是在電腦端完成的，它需要部署到硬件端。從圖5可看出實物中的大垃圾桶是裝有可回收垃圾桶、有害垃圾桶、廚余垃圾桶、其他垃圾桶這四個小型垃圾桶的，系統是通過旋轉小垃圾桶再把黑色平臺上的垃圾倒入對應類別的特定垃圾桶中，而這個過程不可避免存在攝像頭會拍到小垃圾桶中垃圾的可能，進而致誤識別操作。

為解決此問題，本設計在垃圾被成功識別并發送了指令后用了一個中斷操作，當識別完成后，識別的測試代碼將停止運行，而硬件端的STM32芯片將執行倒垃圾操作，倒完后又會反饋給識別代碼端繼續開啟識別過程，從而避免了存在拍攝到垃圾桶內垃圾影響識別準確度的問題。

（2）測試代碼中用的是開啟攝像頭識別模式，但是其本質還是把視頻中的每幀圖片逐一識別出來，這就涉及到識別靈敏度的操作問題。整個倒放垃圾的過程并不是一瞬間的，而是連續的。在每段識別過程中，可大致分為三種情形，一是垃圾完全沒有出現在攝像頭下，二是垃圾部分出現在攝像頭下，三是垃圾全部出現在攝像頭下。因為當垃圾只漏出部分時，識別所需要的特征是不清楚的，因此在這三種情況中第二部分最容易出現誤識別操作，而如果按照每幀圖片識別的話必定會出現垃圾還沒放到黑色平臺上，垃圾桶就開始運轉的現象。為解決這個問題，本實驗通過計算攝像頭每秒多少幀和放垃圾這個動作大概需要多少時間，預先設置識別時間并改善識別靈敏度。經過多次的實踐結果是，攝像頭每秒30幀，放垃圾的時間大約是2秒左右，這個過程中識別到的圖片大約為60張，而60張中一定會有誤操作圖片。本實驗通過控制總的識別數量來控制最后發送給STM32微控制器的指令。實驗結果表明，最佳值是在2秒內有20張圖片全部識別到同一物體時可發送對應指令給STM32微控制器。

經過上面兩點改進后，分類垃圾桶在實際應用中的誤判斷進一步減小，有效提升了識別準確率。

4 實驗結果

4.1 系統設計

智能垃圾分類垃圾桶系統設計包含硬件和軟件兩部分，在測試過程中，我們主要對軟件部分進行了模型實驗。將YOLOV3模型實驗進行結果對比，在VGG（Visual Geometry Group）16實驗中用到了tensorflow、VGG16模型，并采用華為的垃圾識別數據集一共包括19 800張圖44個類別，先通過訓練得出權重再分析實驗結果對模型進行了一些微調，之后開始進行測試實驗。在YOLOV3模型中用的是torch、YOLOV3模型，華為垃圾識別的數據集一共為19 800張圖44個類別，先訓練凍結部分為了加快訓練，再使用解凍實驗加強識別率和先驗框，最后進行測試實驗。硬件用到了STMF103、語音播放、舵機、藍牙模塊和攝像頭。

4.2 YOLOv3實驗

4.2.1 實驗前的準備工作

第一步 實驗前的準備

在訓練階段，本實驗基于Windows操作系統，硬件采用Intel Core i7-8750H處理器、NVIDIA 2060ITX獨立顯卡、16GB顯存、16GB內存，在Pycharm軟件上運行程序，環境是torch1.8.1版本和cuda1.1.1。

第二步 訓練過程

構建完模型后把train和val的數據集劃分為9比1，epoch一共為50，凍結和解凍的Batch_size分別為8和3，經過8小時的訓練。

第三步 測試

通過攝像頭輸入圖片到測試代碼中對物體進行識別，得出結果后發出信號給硬件，硬件部分做出反應。

4.2.2 實驗結果

訓練出來的training loss數值、val loss數值與訓練輪數的關系如圖6所示。

從圖7中可以看出訓練集和驗證集的loss值都在同時下降，在實驗中能夠很好地排除背景干擾。

5 結論

從YOLOv3的實驗結果可以得出，在訓練輪數增加的同時模型沒有出現過擬合狀態，并且精確率與召回率也在不斷增加，進而證明了模型優良。通過在實際應用上做出了具體改進，使得該垃圾識別系統更接近于應用到實際生活中。由于該系統的構造新穎，YOLOv3模型的表現優異，打破了人們對傳統垃圾桶的理解，使人們在生活中隨處可見的垃圾箱變得更加人性化。采用該系統設計的智能垃圾分類垃圾桶更容易受大眾接首，通過將垃圾在源頭進行分類投放，并經過分類回收，使之重新變成資源，實現垃圾的二次甚至多次利用，符合國家號召的實現科學垃圾分類的既定目標。

參考文獻：

[1]Wang Xuehao，Li Shuai，Chen Chenglizhao，etc.Depth Quality-awa「e Selective Saliency Fusion fo「 RGB-D Image Salient Object Detection[J].Neurocomputing， 2020，（4）：72-74.

[2]孟丹.基于深度學習的圖像分類方法研究[D].上海：華東師范大學， 2017.

[3]馮子勇.基于深度學習的圖像特征學習和分類方法的研究及應用[D].廣州：華南理工大學，2016.

[4]吳正文.卷積神經網絡在圖像分類中的應用研究[D].成都：電子科技大學，2015.

3225500589244