深度學習在垃圾分類中的應用

莫卓亞 許家譽 肖景鈺

摘要：隨著深度學習技術的發展，人工智能技術開始逐漸與傳統行業相結合。垃圾分類和回收是促進資源循壞利用、減少環境污染的重要手段。垃圾分類從人工分揀，開始向自動化及智能化分揀的方向演進，其中人工智能技術對于提高垃圾分揀效率、提升固廢利用率有著積極的作用。本文針對垃圾分類行業內已有的深度學習技術、公開數據集以及未來可能的研究方向等進行探討，為后續研究工作提供參考。

關鍵詞：深度學習、人工智能、垃圾分類、資源回收、環保

一、引言

隨著現代社會經濟的進步，我國城市化進程加快，人類生產活動的增加，所產生的垃圾數量也逐步增多。垃圾無法得到有效處理已經成為經濟發展和環境保護的阻礙，如果不采取積極有效的措施，提高垃圾的循環利用率，將會對自然環境和人民生活造成長遠的、難以估計的危害。生活垃圾主要是多種廢棄物混合而成，既包括可回收垃圾，也包括不可回收垃圾、有害垃圾等。因此要實現垃圾的再利用和無害化，必須要實現不同垃圾的分類處理。目前城市垃圾的分類回收工作主要依賴城市垃圾分揀中心，其垃圾分類方法主要依賴磁力、浮力、重力、風力等傳統的方式進行半自動化分選，人工分選是其中必不可少的環節，作為前述環節的補充。傳統的垃圾分類行業飽受勞動強度高、分選效率低以及工作環境差等問題的困擾，用機器視覺和深度學習代替人眼進行識別、并用自動化設備實現智能垃圾分選是行業大勢所趨。

二、基于深度學習的垃圾分類方法

隨著人工智能技術的發展，深度學習融合現有的技術手段成為許多行業的潮流。目前在垃圾分類行業的一個重要改進方向為，利用視覺采集設備收集垃圾圖像，然后訓練基于深度學習的模型對圖像進行分類，并用智能設備根據圖片分類結果對相應垃圾物體進行分選。其中垃圾圖像的分類訓練至關重要，決定了垃圾分類過程能否準確進行。為了解深度學習在垃圾分類領域內的研究現狀，推動深度學習在垃圾分類中的應用，本文對垃圾分類圖像識別領域內已有的深度學習方法進行調研，將相關方法進行歸納總結，為后續研究提供參考。

1.基于DenseNet的方法

DenseNet[1] 不同于傳統卷積神經網絡結構，其在每一個卷積層之間都創建了一個跳躍連接操作，可以有效提高圖像信息在模型中的利用率，提升模型對圖像信息的理解能力，從而提高模型魯棒性和分類性能。Susanth [2] 等人發現，相較于ResNet50、AlexNet以及VGG16等模型的垃圾分類性能，在數據集 TrashNet上，DenseNet169的表現優于之前幾個模型。雖然DenseNet模型性能優秀，但是在實際應用中需要消耗過多算力，因此之后不斷有人針對DenseNet模型進行改進，提升分類計算效率和準確率。如Mao[3] 等人提出用遺傳算法對DenseNet的網絡參數進行優化，減少參數量，提高處理效率。Bircano [4] 等人提出一種基于DenseNet的改進網絡RecycleNet，其優勢在于利用新的連結模式，使得RecycleNet的參數量降低了一半以上，而性能幾乎沒有改變。

2.基于YOLO 的方法

YOLO系列方法[5]是一種一階段的方法，剛開始提出是為了解決目標檢測問題。由于其結構簡單、目標檢測性能良好的特性，研究者們也逐漸將其應用到垃圾分類中來。文獻[6]提出一種基于 YOLOv2 的改進網絡模型，同時結合傳統機器學習中的聚類算法來提升模型的分類效果，并且在裝修垃圾的分類中取得較好的效果。為了解決YOLO系列模型對小物體的識別與分類效果不佳的問題，吳子沛[7]提出一種新型交并比計算方法來替代傳統計算方法，并且為了讓預選框尺寸適配小物體識別，同時采用了聚類算法，進一步提高識別效果。

3.基于殘差網絡的方法

殘差網絡[8]的誕生極大地促進了深度學習的發展， 相較于之前的神經網絡，其優勢在于很大程度上解決了深度模型的“網絡退化”現象，讓模型的深度首次超過100層。在垃圾分類領域中，殘差連接是消除過擬合的重要手段。Wang [9]提出一種基于ResNet的垃圾識別模型，利用較深的模型提高性能，并使用區域建議的方式來解決目標區域檢測錯誤的問題，最終取得較好的效果。文獻[10]將注意力機制與ResNet相結合，ResNet負責提取全局和局部特征進行融合，注意力機制用于對關鍵特征進行篩選。該文獻所提出的模型能提高特征利用效率并避免梯度消失的問題。

4.基于Faster R-CNN的方法

Faster R-CNN[11]是在R-CNN[12]與Fast R-CNN[13]的基礎上的改進目標檢測模型，其性能相對與兩者進一步提升。它將圖像特征提取、候選框（proposal）生成、候選框回歸（bounding box regression）以及分類整合為一體，明顯提高了運行速度。基于此，陶威遠等人[14]結合SMC濾波器和Faster R-CNN框架來對垃圾圖像進行識別和分類，并取得了較好的效果。Seredkin 等人[15]采用預訓練的Faster R-CNN模型，實現垃圾圖像分類，且準確率較高。馬雯等人[16]對Faster R-CNN網絡進行調整，同時改進非極大抑制算法以提高候選框的精確度，使得模型分類效果有較大提升。

5.基于SSD的方法

SSD模型[17]（Single Shot MultiBox Detector）與 YOLO 一樣，是 One-Stage 目標檢測模型的一種。它吸收了Faster R-CNN與YOLO模型各自的優點，在檢測速度方面超越Faster R-CNN模型并在mAP上超過YOLO，已經成為主要的目標檢測框架之一。由于其速度與性能的優勢，對SSD模型的直接運用也獲得不少研究者的青睞。陳春煌[18]提出一種基于深度學習的智能垃圾分類系統，該系統采用SSD模型對輸入垃圾圖像的輪廓信息進行學習和分類，垃圾圖像分類效果達到產業化要求。董子源[19]也選擇SSD作為分類網絡baseline，同時運用模型壓縮手段，以進一步提高模型的分類與定位速度。錢昱成等人[20]用密集抽樣的方式進行數據增強，提高SSD模型對城市垃圾適應性。

三、開源垃圾分類數據集

數據集對深度學習模型的訓練至關重要。目前由于公開的垃圾分類數據集較少，因此研究者們主要采用自行構建的數據集進行訓練。不過仍有公司和知名研究機構發布了多個重要的開源垃圾數據集。

1.TrashNet 數據集

TrashNet[21] 數據集為斯坦福大學的Gary Thung 和Mindy Yang由2016年所構建的圖像數據集。該數據集一共包括2527張垃圾彩色圖像。其中圖像包括：玻璃圖像501張，紙張圖像594張，紙板圖像403張，塑料圖像482張，金屬圖像410張和其他垃圾圖像137張。作者將6類垃圾分別放置在白色底板上，在陽光或室內燈光下對物體進行拍攝。該數據集中圖片分辨率均為512×384像素。

2.TACO 數據集

TACO[22] 是可同時用于垃圾分類和檢測的數據集，其中包括1500張圖像標注信息和4784個位置標注信息，共28個大類和60個小類。該數據集的垃圾圖片來自于不同環境。

3.AquaTrash[23] 數據集

該數據集由TrashNet 數據集和TACO數據集融合產生。由于前兩個數據集都存在一些瑕疵（數據集標注問題），其中TrashNet部分圖片缺乏標注信息，而TACO的圖片標注存在錯誤。

4.華為云垃圾數據集

華為云垃圾數據集發布于2019年華為云人工智能大賽-垃圾分類挑戰杯比賽。數據集包括43個類別的垃圾圖像，總共14964張。但是其數據分布存在不均衡的問題，如牙簽等垃圾圖像數量較少，而菜葉等垃圾圖像數量較多，會對訓練效果產生一定的影響。

四、研究展望

在垃圾分類中深度學習方法具有準確率高、魯棒性強等優點，且具有非常強的遷移能力和應用前景。目前研究人員主要針對以下方向進行研究：

1.無監督或自監督的垃圾分類

無監督學習是指在深度學習模型訓練過程中，訓練數據無需人工標注，直接對研究對象模型進行建模的學習方法。無監督和自監督的深度學習方法在圖像處理領域逐漸占有重要地位，越來越多的研究者開始重視這一方向。對于目前垃圾分類領域內開源數據集樣本較少的情況，基于無監督的深度學習會極大改善這一困境，大幅降低數據標注的成本。

2. 遷移學習與垃圾分類相結合

現有的訓練數據集匱乏的問題，另外一個可能的解決方式是遷移學習。遷移學習是指從相關領域中遷移標注數據或者知識結構，改進目標領域任務學習效果的方法。深度學習可以借助遷移學習的方式，網絡模型先在大規模相關數據集上進行訓練，之后再對模型進行微調，從而提取更多深層特征，解決數據匱乏的問題。

3. 分類網絡模型的高效化與輕量化

雖然當前深度學習中存在一些輕量化的方法，但是由于垃圾分類任務的復雜性，該領域仍然面臨運算量高、處理速度慢和運算設備成本高的問題。此外，真實應用場景中，存在垃圾分類背景多變且垃圾種類會不斷增長的問題，需要設計更有魯棒性和高性能的模型來應對挑戰。

五、總結

本文針對深度學習在垃圾分類領域中的現有工作進行了介紹與總結，對已有的開源訓練數據集進行了調研。另外，本文分析了基于深度學習的垃圾分類方法面臨的問題，并提出未來可能的研究方向和解決辦法。深度學習技術在垃圾分類領域中已經取得長足進步，但是后續的發展仍然面臨一些挑戰，希望本文能為未來相關研究人員提供一定參考。

參考文獻：

[1] Huang G， Liu Z， Van Der Maaten L， et al. Densely connected convolutional networks[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2017： 4700-4708.

[2] Susanth G S， Livingston L M J， Livingston L G X A.Garbage Waste Segregation Using Deep LearningTechniques[C]// IOP Conference Series： Materials Scienceand Engineering. IOP Publishing， 2021， 1012（1）： 012040.

[3] Mao W L， Chen W C， Wang C T， et al. Recycling waste classification using optimized convolutional neural network[J]. Resources， Conservation and Recycling， 2021， 164： 105132.

[4] Bircano ? lu C， Atay M， Be ? er F， et al. Recyclenet： Intelligent waste sorting using deep neural networks[C]//2018 Innovations in Intelligent Systems and Applications （INISTA）. IEEE， 2018： 1-7.

[5] 劉俊明，孟衛華.基于深度學習的單階段目標檢測算法研究綜述[J]. 航空兵器， 2020， 27（3）： 44-53.

[6] Liu Y， Ge Z， Lv G， et al. Research on Automatic Garbage Detection System Based on Deep Learning and Narrowband Internet of Things[C]// Journal of Physics：Conference Series. IOP Publishing， 2018， 1069： 012032.

[7] 吳子沛. 面向垃圾分類的瓶罐識別分類系統[D]. 河北工程大學， 2020.

[8] He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 770-778.

[9] Wang Y， Zhang X. Autonomous garbage detection for intelligent urban management[C]// MATEC Web of Conferences.EDP Sciences， 2018， 232： 01056.

[10] 董子源， 韓衛光. 基于卷積神經網絡的垃圾圖像分類算法[J]. 計算機系統應用， 2020， 29（8）： 199-204.

[11] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[12] Girshick R， Donahue J， Darrell T， et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society， 2013.

[13] Girshick R. Fast R-CNN[J]. Computer Science， 2015.

[14] 陶威遠， 姜太平， 鄭一然. 基于Faster R-CNN算法的垃圾分類識別系統[J]. 網絡安全技術與應用， 2020（3）：3.

[15] SEREDKIN A V， TOKAREV M P， PLOHIH I A， et al.Development of a method detection and classification of waste objects on a conveyor for a robotic sorting system[J].Journal of Physics Conference Series，2019，1359： 012127.

[16] 馬雯， 于炯， 王瀟，等. 基于改進Faster R-CNN的垃圾檢測與分類方法[J]. 計算機工程， 2021， 47（8）：7.

[17] Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[J]. 2015.

[18] 陳春煌.基于TensorFlow的新型智能垃圾分類系統研發[J].現代工業經濟和信息化，2021，11（12）：45.

[19] 董子源. 基于深度學習的垃圾分類系統設計與實現[D].中國科學院大學（中國科學院沈陽計算技術研究所），2020.DOI：10.27587/d.cnki.gksjs.2020.000005.

[20] 錢昱成，符水波.基于SSD算法的城市垃圾智能分類研究[J].電子技術與軟件工程，2021（15）：140-141.

[21] Yang M， Thung G. Classification of trash for recyclability status[J]. CS229 Project Report， 2016， 2016.

[22] Proen?a P F， Sim?es P. TACO： Trash annotations in context for litter detection[J]. arXiv preprint arXiv：2003.06975， 2020.

[23] Panwar H， Gupta P K， Siddiqui M K， et al. AquaVision： Automating the detection of waste in water bodiesusing deep transfer learning[J]. Case Studies in Chemical and Environmental Engineering， 2020： 100026.

作者簡介：莫卓亞（1984.5-），女，浙江紹興人，碩士，中級工程師，任職于廣東弓葉科技有限公司

東莞市引進創新創業領軍人才計劃資助（編號：東財〔2016〕380號）