基于深度學習的垃圾分類方法綜述

李金玉，陳曉雷，張愛華，李 策，林冬梅

（1.蘭州理工大學電氣工程與信息工程學院，蘭州 730050；2.蘭州理工大學 甘肅省工業過程先進控制重點實驗室，蘭州 730050；3.蘭州理工大學電氣與控制工程國家級實驗教學示范中心，蘭州 730050）

0 概述

隨著我國經濟的高速發展，城鎮人口日益增多，城市生活垃圾迅猛增長。逐年增長的城市生活垃圾，不僅對城市發展帶來阻力，而且對生態環境的破壞帶來不可估量的影響。因此，2018 年由國務院發布的《關于全面加強生態環境保護堅決打好污染防治攻堅戰的意見》中要求加快推進垃圾分類實施，到2020 年實現所有城市生活垃圾分類處理全覆蓋。垃圾分類已成為國家生態環境保護、促進經濟發展的重要舉措。

由于城市生活垃圾多數為多種廢棄物的混合體，無論是采取衛生填埋、堆肥，還是焚燒的處理方式，都不能有效地解決生活垃圾所帶來的問題。通過分類改變垃圾的混雜性是實現垃圾處理資源化、減量化、無害化的重要前提。傳統的生活垃圾分類方法主要有篩分、重力分選、風力分選、浮力分選、磁力分選以及光點分選等，以上無論是哪種分選方法，人工分選都是不可或缺的一個環節，用于挑選這些傳統分類方法無法識別的目標物，以及傳統方法分類之后的進一步質量控制。然而，人工垃圾分選存在勞動強度大、監督任務重、分選效率低和工作環境差等問題，急需智能化、自動化的分類方法取代傳統分類方法。

近年來，深度學習已滲透到各行各業，如何利用深度學習高效地進行垃圾分類已成為當前的研究熱點。但是，目前還缺乏針對這一研究領域的綜述性研究，本文主要對目前已有的深度學習垃圾分類方法進行綜述，分析近年來深度學習相關方法在垃圾分類中的應用，將其歸納整合為基于ResNet 的方法、基于DenseNet 的方法、基于單階段目標檢測的方法和基于卷積神經網絡與遷移學習相結合的方法，在此基礎上總結各個方法的分類效果及優缺點，分析并探討基于深度學習的垃圾分類研究面臨的挑戰和未來發展方向。

1 基于深度學習的垃圾分類方法

深度學習能夠有效地解決傳統機器學習中手工特征提取不全和選擇繁瑣的問題，挖掘樣本數據的內在規律，并帶來性能的改善，廣泛應用于計算機視覺［1］、自然語言處理［2］、數據挖掘［3］等領域。因此，基于深度學習的垃圾分類方法為垃圾分類指出了一條新的道路，本節根據不同深度學習模型對現有深度學習垃圾分類方法進行闡述，并給出各種方法在垃圾分類領域的算法及模型的總結對比。

1.1 基于ResNet 的方法

ResNet［4］基本框架如圖1 所示，其最大的特點是在進行特征提取時，直接將輸入信息繞道傳到輸出端，極大增加網絡深度，從最初的十幾層增加到后來的150 多層，并且不會產生過擬合現象。

圖1 ResNet 基本框架Fig.1 ResNet basic framework

文獻［5］提出一種基于ResNet50 和支持向量機（SVM）［6］的智能廢料分類系統，該系統采用ResNet50進行特征提取，通過SVM 對所提取到的特征進行分類，在TrashNet 數據集上的準確率達到87%。然而，SVM只對小樣本數據具有較好的分類效果，故該方法不具有通用性。

文獻［7］提出基于ResNet 和Inceptionv-4［8］的垃圾自動分類DSCR 網絡，該網絡構建一個IR-Block使得模型在多尺度上獲得更多的特征，解決了由于使用縮減模塊（reduction module）導致模型過于敏感的問題，準確率達到94.38%。文獻［9］提出一種注意力機制模型，該模型通過完成局部、全局的特征提取和特征融合機制等手段建立了垃圾圖像分類模型GCNet，能獲取更加有效完善特征信息，通過有效利用特征信息進而避免梯度消失的現象。

文獻［10］提出的自動垃圾檢測系統使用ResNet網絡作為卷積層，輸入數據集圖像后通過ResNet 的共享卷積層生成特征圖，再通過RPN（區域提議網絡）層得到輸出，生成大量的區域建議，該方法很好地克服了區域誤檢問題。文獻［11］修改了原始ResNext 模型，在全局平均池化層之后添加了兩個全連接層以提高網絡的分類性能，能夠快速實現分類模型的穩定和泛化，相比于ResNet-101，該方法對金屬、紙張和塑料的分類性能表現較差，如何利用這些樣本的獨有特征提高分類精度值得深入探索。

文獻［12］從輸入圖像的多特征融合、殘差單元的特征重用和新激活函數的設計3個方面對ResNet-34算法進行優化，該方法改進的ResNet-34 對小目標物體檢測結果較好，但對嵌入式等移動設備而言，由于該方法運算量太大，無法保證垃圾分類的實時性。針對此問題，研究人員通過減少ResNet 模型的參數量實現輕量級的垃圾分類，以促使分類任務能夠在移動手機端、嵌入式等設備上執行。文獻［13］提出一種基于輕量級殘差網絡MAPMobileNet-18，通過使用最大平均組合池化代替Bottleneck 中的最大池化與平均池化，深度可分離卷積替換Bottleneck 中的3×3 卷積核，模型參數量在理論上減少為原來的1/8，在保持模型精度不變的同時提高了模型的運算效率。在ResNet-18 中的BasicBlock后串聯添加通道注意力機制［14］和空間注意力機制［15］，用殘差塊替換了BasicBlock 中的3×3 卷積核，使網絡模型更適合使用移動手機端等計算能力較差的設備進行垃圾分類。

文獻［16］基于ResNet50設計一種輕量級垃圾分類模型GA_MobileNet，利用深度卷積和分組卷積減少計算量和參數，通過通道注意力機制提高模型的準確性。相對于原始模型，該模型分類精度更高，占用內存更少，能夠解決垃圾分類在嵌入式設備上的應用問題。

1.2 基于DenseNet 的方法

DenseNet［17］為確保網絡中最大的信息流通，使每層都與該層之前的所有層相連，即每層的輸入是前面所有層的輸出，從而可以有效減輕梯度彌散，加強特征的傳播和復用，減少模型參數量。

文 獻［18］將AlexNet［19］、VGG16、ResNet50、DesneNet169 在數據集TrashNet 上進行驗證，結果表明，DenseNet169 性能更好，檢測精度達到94.9 %。文獻［20］提出一種新的密集連接模式構建了智能垃圾分類網絡RecycleNet，該網絡改變了原始Densenet121密集塊內跳躍連接的連接模式，可以將Densenet121 網絡中的參數數量從700 萬減少到大約300 萬，很大程度上縮短了檢測時間。

Densenet121 全連接層的分類能力是非常明顯的，但全連接層的參數占整個網絡參數的80%。為了在提高分類性能和減少網絡參數之間獲得平衡，文獻［21］利用遺傳算法優化了DenseNet121 全連接層的超參數以提高精度，實驗結果表明，使用兩個全連接層作為DenseNet121 的分類器，相比配備有全局平均池化和softmax 分類器的原始DenseNet121，在垃圾分類任務上表現更好。

1.3 基于單階段目標檢測的方法

單階段目標檢測方法以結構簡單、計算高效，同時具備較高檢測精度的優勢，在實時目標檢測領域中具有廣泛的研究和應用價值［22］。文獻［23］采用改進的YOLOv2 網絡模型進行裝修垃圾檢測和識別，并通過目標盒維數聚類和分類網絡預訓練來提高YOLOv2 模型的性能，使 用MobileNet［24］代 替YOLOv2 原來的Darknet-19 進行垃圾檢測，將整個改進的模型移植到嵌入式模塊中得到較好的分類效果。

文獻［25］提出一種YOLOv2-dense 網絡，該網絡能夠有效解決隨著深度卷積深度增加而帶來的梯度消失問題，并且還能夠很好地復用與融合圖像淺層特征和深層特征。改進后的YOLOv2-Dense 算法可以保留更多的淺層圖像信息，提取目標特征的能力顯著提高，可在不同光照、背景、視角與分辨率情況下進行精確實時的垃圾定位和檢測。

文獻［26］研究YOLOv3 算法在垃圾分類中的應用，在自制數據集上的mAP 值達到94.99%。文獻［27］構建了面向瓶罐識別分類的網絡模型并進行實驗驗證，針對YOLOv3 對小目標不敏感的問題，用GIOU 替代傳統的IOU，通過K-means 聚類算法來優化錨框尺寸。實驗結果表明，改進后的YOLOv3 算法識別精確率比原始算法提高約4%。文獻［28］提出一種新的基于YOLO 的變分自動編碼器神經網絡模型，該模型由卷積特征提取器、卷積預測器和解碼器組成。經過訓練過程，該模型以3 210 萬個參數和60 frame/s 的處理速度達到69.70%的準確率，使其可應用于現實生活的垃圾回收場景。

文獻［29］介紹一種LSSD 算法，該算法克服SSD［30］算法存在小目標丟失和用不同大小框同時檢測同一目標的缺點，建立一個在所有類型的尺度上都具有更強語義的新特征金字塔，將Focal Loss［31］函數代替傳統損失函數解決了單階段目標檢測方法正負樣本比例嚴重失衡的問題。

1.4 基于卷積神經網絡與遷移學習相結合的方法

深度學習的性能提高主要依賴于大量的訓練數據集，與其他領域的大規模數據集（如ImageNet 數據集）等相比，當前公開的垃圾數據集數量和種類很少，有限地標注垃圾數據集已成為深度學習方法在垃圾圖像分類中的應用瓶頸。因此，研究人員利用遷移學習來解決垃圾分類的小樣本數據集問題。

文獻［32］提出一種基于遷移學習和Inceptionv3［33］的垃圾圖像分類方法，該方法保留了Inceptionv3 模型出色的特征提取能力，可以提供有效的計算機輔助檢測，在圖像數據不足時具有較高的識別精度。文獻［34］在“華為云人工智能大賽·垃圾分類挑戰杯”上，發揮深度遷移學習的優勢，構建一種端到端面向細粒度垃圾圖像分類的遷移模型GANet。實驗結果表明，該方法能較好地應對多分辨率、多尺度、多粒度垃圾圖像的特征提取，有效緩解過擬合，提高收斂速度，減少訓練參數。

文獻［35］提出基于Inception-v3 網絡特征提取模型和遷移學習相結合的垃圾分類方法，該方法使用2 個1×n和n×1 的卷積核取代n×n的卷積核以減小計算量，RMSprop（Root Mean Square prop）替代SGD（Stochastic Gradient Descent）對模型進行優化以提取更多特征，利用LSR（Label Smoothing Regularization）方法降低過擬合。文獻［36］提出一種擴展特定網絡層分支的新方法來拓寬Xception［37］網絡結構，將網絡底層的信息映射到網絡高層，傳輸梯度可以無損，從而解決了反向傳播的負面效應。實驗結果表明，該方法對遮擋環境下的垃圾分類效果較好。

文獻［38］在Inception-v3 模型的基礎上，使用遷移學習來訓練一個專門識別垃圾類別的模型，通過對算法的研究和模型的修改，在實際效果下的識別率較高。文獻［39］開源一個基于TACO 數據集的數據集AquaTrash，在此數據集上應用了基于深度學習的對象檢測模型AquaVision，該模型可以檢測和分類漂浮在海洋和海岸上的不同污染物和有害廢物，平均精度達到81.48%。

文獻［40］設計一個新的增量學習框架GarbageNet，以解決垃圾分類面臨的缺乏足夠數據、高成本的類別增量和噪聲標簽等問題，使用增量學習方法使模型不斷從新樣本中學習和更新，通過AFM（Attentive Feature Mixup）消除噪聲標簽的影響，在華為云垃圾數據集上以可接受的推理速度達到了96.96%的最佳性能。

表1對以上基于深度學習的垃圾分類方法從所使用的基礎網絡、數據集、是否進行數據增強、使用場景、測試精度、優缺點等方面進行了詳細總結，其中使用場景“單”表示單目標，“多”表示多目標，背景單一指圖像背景是固定的，背景復雜則指圖像的背景處于不同環境下，（1）表示引用Trash垃圾數據集［42］，（2）表示引用華為云人工智能大賽，見https：//competition.huaweicloud.com/information/1000007620/introduction？track=107。

表1 基于深度學習的垃圾分類方法對比Table 1 Comparison of garbage classification methods based on deep learning

續表

2 垃圾分類數據集

由于開源的垃圾數據集較少，研究人員一般采用自行拍攝和互聯網查找的方式建立數據集。

TrashNet 數據集［41］由斯坦福大學的YANG 等創建，通過將物體放置在白色海報板上并使用自然光或室內照明來采集圖像，所有圖像均調整為512×384 的空間分辨率。該數據集包含6 類垃圾的RGB圖像，其中每個圖像僅包含一種類型的垃圾，分別是：玻璃、紙張、紙板、塑料、金屬和普通垃圾。當前，該數據集由2 527 張圖像組成，每類包含的圖像數量具體為：玻璃501 張，紙張594 張，紙板403 張，塑料482 張，金 屬410張和普通垃 圾137 張。

GINI［42］數據集包 含2 561 張垃圾圖像，其中956 張圖像通過在互聯網上查詢“路邊垃圾”、“市場垃圾”等垃圾相關的關鍵詞獲得。該數據集的每個圖像還標注了其嚴重程度和可生物降解性的水平。

2020 年深圳舉辦“華為云人工智能大賽-垃圾分類挑戰杯”數據應用創新大賽發布了一組生活垃圾圖像數據集，該數據集有4個大類和44個小類，總計14 964張圖像，數據集的數據結構是標準的VOC格式，見https：//modelarts-competitions.obs.cn-north-1.myhua weicloud.com/garbage_classify/dataset/garbage_classify.zip。

TACO［43］是一個用于垃圾分類和檢測的數據集，包括1 500 張圖像和4 784 個標注，盡管該數據集非常小，但是在此數據集上可以進行垃圾分類和垃圾的邊緣檢測。

AquaTrash［39］數據集通過對TrashNet 數據集和TACO 數據集進行比較研究后，發現兩個數據集都有一些缺點，例如TrashNet 數據集沒有注釋，TACO數據集的注釋不可靠等，因此提出AquaTrash 數據集，該數據集包含來自與各種垃圾物品相關的4 個不同類別的369 張圖像。其中所有圖像都經過手動注釋以獲得結果的準確性。

垃圾分類公開數據集如表2 所示。

表2 現有垃圾分類公開數據集Table 2 Existing garbage classification public dataset

3 未來研究展望

深度學習以精度高、速度快、穩定性強、特征可重用性高等優勢在垃圾圖像分類任務領域中表現優異，但深度學習在垃圾圖像分類應用中還存在著一些無法規避的問題亟待解決：1）可用數據集少，對數據依賴性高；2）現有的模型訓練與預測耗費大量時間和成本，需設計輕量級網絡；3）現有方法關注單目標和少目標數據且背景簡單，難以適應現實生活中垃圾種類多、數量大、背景復雜的特點，需設計復雜情況下魯棒性好的多目標檢測網絡。

3.1 數據集依賴問題

目前，垃圾分類領域公開的數據集較少，構建數量龐大、內容豐富的垃圾數據集需要耗費大量的資源和成本。而主動學習（Active Learning）［44］、零樣本學習［45］、遷移學習［46］等方法放寬了對數據集的要求和依賴性。將深度學習與主動學習、零樣本學習和遷移學習相結合很可能成為消除或減少數據依賴的突破口。

主動學習能通過自適應查詢策略選擇大量未標注的數據交由專門人員進行標記，用盡可能少的高質量標注數據訓練高性能的模型，主要有基于預設計策略和基于學習損失的主動學習方法，但目前的多數主動學習方法主要是針對特定任務而預設計采樣策略，如何在垃圾圖像分類領域設計采樣策略是主動學習應用的難點。

零樣本學習框架如圖2 所示，零樣本學習在圖像分類中主要包括基于空間嵌入和基于生成模型兩種方法，能將可見類學習到的屬性遷移到不可見類上，建立可見類與不可見類的耦合關系，實現在沒有學習不可見類標簽樣本的前提下對不可見類的分類，對垃圾分類模型的長久可用性具有重要意義，如何消除零樣本學習在垃圾分類領域中出現的領域漂移、樞紐點和語義鴻溝等問題有著巨大的研究前景。

圖2 零樣本學習框架Fig.2 Framework of zero-shot learing

深度學習與遷移學習結合的方法已經有了一些成果［47］，可以通過遷移對所傳輸的子網絡進行微調以適應新的數據，再進行深度特征的挖掘，能有效解決垃圾圖像小規模數據集的問題。隨著深度學習在各個領域的廣泛應用，大量的深度遷移學習方法被提出，利用深度學習在無監督或半監督學習中進行知識的遷移將會受到越來越多的關注。預計未來的研究將集中在使用很少的標注數據以獲得更好的結果。

3.2 輕量型網絡模型

盡管目前提出的輕量級網絡方法很多，但這些模型通常只針對通用物體檢測，當前較少有專注于垃圾檢測和分類的輕量級模型，深度學習在垃圾分類領域依舊面臨運算復雜、時效性差、成本高等問題。

目前主流的網絡輕量化方法主要有：

1）首先通過逐點卷積（Pointwise Convolution，PW）對數據進行降維，然后進行常規卷積核的卷積，最后根據PW 對數據進行升維；

2）多尺度卷積和多個小卷積代替大卷積；

3）權值量化；

4）使用depth-wise 卷積等操作，起到減少網絡計算量的作用。

因此，針對垃圾圖像特性設計提出輕量級模型，降低運算成本和復雜度，使其能夠在實時垃圾檢測和分類領域上帶來新的突破。主流輕量化方法的優缺點對比如表3 所示。

表3 主流輕量化方法的優缺點對比Table 3 Comparison of advantages and disadvantages of mainstream lightweight methods

3.3 多目標網絡模型

多目標檢測和多目標跟蹤在交通監控、自動駕駛以及虛擬現實等領域已有廣泛應用［48］。為適應我國垃圾復雜度高、數量大的特點，多目標垃圾檢測和分類在垃圾焚燒發電廠等垃圾處理的末端有很大的應用前景，可采用在算法中增加更精細的特征提取層和大尺度特征層上的檢測輸出，改進現有的深度學習模型。

值得注意的是如紐扣電池等小體積垃圾的正確分類非常重要，此類小目標垃圾像素少，圖像模糊，難以提取有效的特征，一直是目標檢測領域中的熱點和難點，常用的方法是用不同分辨率的分類器確定小目標物體的關鍵點，利用空洞卷積、特征金字塔［49］（FPN）、極端尺寸檢測［50］（SNIP）等進行多尺度方法處理和利用生成對抗網絡、提高小物體檢測率將是更具挑戰和發展前景的研究方向。

4 結束語

本文總結垃圾分類領域中深度學習應用的研究現狀，從算法特點及模型方面介紹經典的垃圾分類方法并進行分類、評估、對比不同方法和模型在數據集上的分類效果。通過分析深度學習在垃圾分類應用中的有效性，指出基于深度學習的垃圾分類方法是未來發展的重要方向，但面對準確度高、實時性強的應用需求，垃圾分類的發展仍面臨較多的挑戰。因此，研究人員應針對減少對標注數據集的依賴、輕量級網絡模型設計和適應多目標網絡模型進行研究，提升深度學習技術在垃圾分類領域內的應用能力。