基于機器視覺的智能垃圾分類實驗平臺設計

李 祺， 曾 明， 盧向哲， 聶為之

（天津大學a.電氣自動化與信息工程學院；b.電氣工程與自動化國家級虛擬仿真實驗教學中心，天津 300072）

0 引 言

由于垃圾物品的種類繁多垃圾分類處理勢在必行［1-3］，不同國家和地區的分類標準也存在一定的差異，這給民眾掌握全面、細節的垃圾分類知識帶來了極大的挑戰。目前針對垃圾的前端收集，國內外已有一些公司研制出了具有分類功能的智能垃圾桶。例如，中國阿爾飛思公司研發的人工智能垃圾桶［4］，在用戶投入垃圾后，桶內頂端的攝像頭拍攝照片自動識別垃圾類別，然后將垃圾投放至相應類別的垃圾桶。美國Clean Robotics公司研發的一款自動垃圾分類機器人TrashBot［5］，其先通過攝像頭識別投入垃圾桶的垃圾，再通過智能算法將物品按類別歸到各自屬于廢物還是可回收類垃圾桶中。這兩款先進的垃圾桶雖然都可以通過桶內的視覺系統識別垃圾種類，并進行垃圾分類投放，但這類一體化“封閉式”設計的智能垃圾桶存在諸多問題：①分類種類限制太大，一般只能實現二分類；②由于受內部視覺檢測空間的限制，只允許投放小尺寸的垃圾物品；③視覺檢測裝置占用了很多的空間，垃圾桶的容量受到一定的限制，增加收集的頻次；④垃圾溢滿時，很難實現垃圾自動的轉運，需要人工打開垃圾箱取出溢滿的垃圾；⑤被智能垃圾桶所取代的傳統垃圾桶得不到充分利用。此外，在算法方面，目前基于深度學習的方法已被應用于垃圾分類中［6-9］，但這些方法中所用到的網絡層數較淺，提取圖像高維特征的能力有限［10］，同時在訓練網絡中使用單一的損失函數難以獲得更優的模型［11］。

本文提出采用可分離式的機構設計方案和云邊協同的電控系統設計方案，擴展了垃圾分類種數和垃圾桶的容量，且便于垃圾轉運。在此基礎上，應用基于遷移學習的垃圾分類方法，提升了系統對圖像高維特征的提取能力。依托該平臺開展實驗教學，推動了教育技術的革新，更好地培養了學生工程實踐能力與創新意識。

1 智能垃圾分類實驗平臺整體結構

1.1 可分離式的機構設計

智能垃圾分類實驗平臺（以下簡稱為“實驗平臺”）主要由視覺檢測分類模塊和多個桶蓋分離的智能垃圾桶模塊構成，如圖1 所示。針對目前國內外一體化智能垃圾桶存在的問題，實驗平臺采用可分離式的設計方案，即“視覺檢測與智能桶分離”“桶蓋與桶身分離”。

（1）視覺檢測與智能桶分離。視覺檢測分類模塊主體結構包含支架部分、檢測部分和控制箱，如圖2 所示。其中，支架部分由載物臺和支撐立柱組成，載物臺用于盛放被測物品，通過調節支撐立柱可確保檢測部分的識別范圍覆蓋整個載物臺；檢測部分由超聲傳感器和視覺攝像頭組成，超聲傳感器用于檢測視覺攝像頭與載物臺之間是否有待檢測的垃圾，攝像頭用于采集垃圾的圖像信息；控制箱內部署實驗平臺的電氣控制系統。

圖1 智能垃圾分類實驗平臺

圖2 視覺檢測分類模塊結構

通過具有獨立的支架部分的結構設計，實現視覺檢測分類模塊與智能垃圾桶模塊分離，可使實驗平臺具備以下優點：①分類垃圾種類數不受限制，可以是2分類、4 分類，甚至更多類；②方便檢測和投放尺寸較大的垃圾物品；③不含視覺檢測的智能桶的垃圾容量增大，減少了收運頻次；④垃圾分類過程可以實現可視化，有很好的引導和教育效果。

（2）桶蓋與桶身分離。智能垃圾桶模塊由分離的智能桶蓋結構、伸縮支撐結構及移動垃圾桶3 部分組成，如圖3 所示。智能桶蓋結構包含活動蓋板、固定蓋板、紅外探測器和料位高度超聲探測器；伸縮支撐結構包含伸縮立柱、開蓋電動推桿、伸縮立柱頂推電動推桿和T型立柱；移動垃圾桶選用普通公共垃圾桶即可。

分離的智能桶蓋采用小蓋套大蓋的雙桶蓋設計，活動蓋板的開蓋動力由開蓋電動推桿提供，開蓋電動推桿上下運動時帶動活動蓋板繞轉軸翻轉，實現智能桶的自動開、關蓋功能；固定蓋板通過連接伸縮立柱頂推電動推桿進行上下運動，實現自動封蓋不同高度尺寸的垃圾桶。智能桶蓋內側的料位高度超聲探測器用于實時監測垃圾桶的剩余容量，紅外探測器則用于方便熟知垃圾類別用戶直接掃描開蓋投放垃圾。

圖3 智能垃圾桶模塊結構

“桶蓋與桶身分離”設計的優點體現在：①由于桶蓋是分離的，使得垃圾桶溢滿后可以很方便的轉運；②可伸縮懸空智能桶蓋可以將容量為60 ～240 L的普通垃圾桶快速升級為智能垃圾桶，充分利用現有資源。

1.2 電控系統設計

實驗平臺的電控系統采用“上位機+下位機”的硬件結構［12］。其中，上位機選用樹莓派CM4，用于讀取并處理攝像頭采集的圖像信息和下位機上傳的數據信息；下位機基于STM32F103 芯片構建控制器，用于采集傳感器的數據信息、執行上位機回傳的策略指令，并控制機構執行相應動作。

在此基礎上，將每個垃圾分類實驗平臺視作一個智能終端，依據物聯網架構，開發云端服務平臺用于搭建卷積神經網絡、訓練垃圾分類模型；與此同時，樹莓派CM4 成為系統中的邊緣計算節點，運行優化后的垃圾分類模型，并將新采集的垃圾圖像信息上傳云平臺，以供擴展垃圾圖像數據集。從而形成云邊協同的智能垃圾分類系統架構，如圖4 所示。

圖4 云邊協同的智能垃圾分類系統架構

當用戶將待檢測的物品放置在載物臺上，超聲傳感器會檢測到位置信息的變化從而觸發視覺檢測裝置工作：電氣控制柜內的樹莓派主控板調用視覺攝像頭對待檢測的垃圾物品進行拍照，并運行分類模型進行預測，從而完成垃圾物品的檢測和識別任務，預測的垃圾分類結果及圖像信息最終會上傳云平臺。在此基礎上，通過下位機控制打開相應類別的智能垃圾桶的活動蓋板，并點亮該桶蓋的LED 燈帶，引導用戶進行垃圾投放。此外，考慮到部分常見垃圾（例如礦泉水瓶、金屬易拉罐等）的類別歸屬為大眾所熟知，用戶可通過直接掃描每個智能桶蓋前端設置的紅外探測裝置，進行開蓋投放。每次投放結束后，桶蓋下方的超聲傳感器回傳距離信息并計算桶內剩余空間發送到上位機；當垃圾桶接近溢滿時，上位機會將溢滿信息發送至管理中心或保潔員提醒及時清運處理。

2 結合遷移學習的垃圾分類方法

2.1 構建大規模垃圾圖像數據集

大數據是深度學習的基礎［13］。研究表明，深度學習計算的性能隨著訓練數據的數量級呈線性增加的趨勢，數據量的大小直接影響深度學習的性能，數據量太小會導致訓練出的模型泛化能力弱、容易過擬合，無法應用到現實生活。許多圖像領域任務（如圖像分類、目標檢測、圖像分割等）的完成，都離不開巨大的數據集。Razali等［14］自行采集的200 張垃圾圖像數據集（未公開）；Sakr等［15］自行采集的2 000 張垃圾圖像數據集（未公開）；Chu等［16］構建的總數為2 527 張垃圾圖像數據集TrashNet（公開）。由此可見，目前公開的垃圾圖像數據集數據量少，無法滿足深度學習模型的訓練要求，大規模生活垃圾目標檢測圖像數據集成為應用深度學習進行垃圾分類的重大挑戰。

本課題組于2018 年開始進行人工構建垃圾圖像數據的工作，用于分類算法的研究。首先對課題組自行采集的真實垃圾圖片和從網上獲取的垃圾圖像數據集進行整合，共得到33 萬張單物品垃圾圖像；然后組員們對其進行人工清洗與分類，去除圖像模糊、類型重復及信息殘缺的數據；最終，經人工數據清洗與分類，共篩選得到19 萬張的高質量大規模單物品垃圾圖像數據集GarbageNet，包含10 個大類（廚余垃圾、可回收塑料、不可回收塑料、可回收紙、不可回收紙、金屬、電子產品、玻璃、紡織物、危險有害垃圾）、34 個超類（見圖5）、767 個小類。

2.2 深度跨連接網絡的垃圾分類算法設計

為使實驗平臺克服現有淺層卷積神經網絡（CNN）垃圾分類方法存在的高維特征提取能力有限等問題，應用基于深度跨連接網絡的垃圾分類算法，實現更深層次的特征提取；同時通過設計新的損失函數，進一步提升垃圾分類的準確率。

基于深度跨連接網絡的垃圾分類算法首先應用深度跨連接網絡DenseNet［17］在大型數據集ImageNet 上預訓練提高網絡的特征提取能力；然后在自行構建的垃圾圖像數據集GarbageNet 上對網絡部分參數進行微調，實現將網絡前期在ImageNet 上學習到的特征提取能力遷移到GarbageNet 上；在此基礎上，訓練網絡的垃圾分類能力，在這部分訓練中引入新的損失函數。具體步驟如下：

（1）搭建深度跨連接網絡DenseNet（配置見表1），初始化網絡模型參數，并在數據集ImageNet 訓練全部網絡參數，直到網絡的特征提取能力達到最優。

（2）將步驟（1）中訓練好的網絡替換最后的全連接分類器，分類數由ImageNet 的1000 類變成GarbageNet的10 類；固定低層網絡參數，只允許訓練高層的網絡參數，設經過改進的深度跨連接網絡為A。

圖5 34個超類包含的小類個數

表1 深度跨連接網絡的配置說明

（3）對圖片數據進行預處理。根據DenseNet 的網絡配置，設置參數batch size =64，讀取64 個圖片數據和對應的標簽，通過隨機左右翻轉、隨機上下翻轉、隨機亮度和隨機飽和度，對圖片做數據增強；在此基礎上，將每個圖片的RGB 像素值進行歸一化處理（在0 ～1 的范圍內），之后將數據減去0.5、乘以2 使數據處于（-1，1）之間，以滿足激活函數要求。

（4）將步驟（3）中處理后的圖片數據輸入網絡A，通過網絡A前向傳播后得到維度為（64，10）的概率矩陣，每一行代表該圖片屬于10 個類別的概率。

（5）根據類別標簽y和概率矩陣y^（網絡輸出）之間的交叉熵損失函數L（y，y^）= -∑ylgy^，計算總的損失函數［18］

式中：L（ymat，y^mat）是材質交叉熵損失函數；ymat是材質標簽；y^mat是材質概率；L（yrec，y^rec）是回收交叉熵損失函數；R為可回收類別集；U 為不可回收類別集；m為可回收類別數量；n為不可回收類別數量；yrec是回收標簽；yR是可回收標簽；yU是不可回收標簽；y^rec是回收概率；pR是可回收概率；pU是不可回收概率；α是權重因子（用來分配兩個交叉熵損失的重要性），量綱為1。

通過反向傳播計算損失對每個參數的導數，進而更新參數。其中，優化器選擇帶動量的SGD，動量參數設置為0.9，初始學習率為0.01，每訓練10 epoch下降為原來的0.1，weighted decay設置為0.000 04。

（6）重復步驟（1）～（5），直到網絡A在測試集上的性能不再提高為止。

基于深度跨連接網絡的垃圾分類算法在測試集中取得了97.2%的準確率；與采用單一損失函數相比，雙交叉損失函數設計對準確率提高了0.7%，如圖6所示。該算法的高準確性是智能垃圾分類實驗平臺可靠運行的重要保障。

圖6 兩種算法準確率對比圖

3 實驗教學應用

3.1 開發通用圖像分類模型實驗架構

為將最新的人工智能科研成果轉化為教學應用，保證教學內容與時俱進，課題組依據“圖像處理”課程大綱，在實踐教學環節中引入智能垃圾分類實驗平臺，使學生在了解深度學習理論知識的基礎上，通過設計垃圾分類程序，理解CNN 的網絡結構和模型訓練過程，并且有能力進行實際工程應用。

面向實驗教學需求，課題組基于Python3.7&PyTorch1.1&TorchVision0.3. 0 環境，開發了一個通用圖像分類模型框架。該架構集成了包含ResNet［19］、 DenseNet、 ResNeXt［20］、 MobileNet［21］、EfficientNet［22］5 種圖像分類常用網絡，同時可以根據需要利用TorchVision擴展其他的分類算法。此外，該框架包含SVM、RF、MLP、KNN 4 種經典分類器供學生實驗使用，從而使學生掌握不同分類算法的特點及使用方法。

在此基礎上，為解決實驗平臺數量有限、多組學生在1 套上位機運行模型影響教學進程的問題，課題組采用云計算的方式，將分類模型部署到云端，并基于Flask 框架將模型的推理過程封裝為1 個可調用的API（應用程序接口）。具體步驟如下：

（1）云端配置模型運行所需的運行環境；

（2）采用Flask 框架構建應用實例（所有的云端API的響應服務均由這個示例對象進行處理）；

（3）將整個函數的操作封裝為一個類，模型的讀取過程作為類對象的私有化初始函數，算法的推理過程作為類成員函數；

（4）基于gunicorn 服務器和gevent 庫，構建多線程的可調用服務API。

實驗過程中，每組學生分配有特定的IP 地址，系統首先依據IP 地址調用API，將圖像上傳至云服務器；然后，云端調用相應的分類模型進行數據處理；最終，系統將處理得到的類別結果回傳到實驗平臺上位機，即設備接收到云端返回的垃圾類別并執行相應控制指令，實驗流程如圖7 所示。在此基礎上，以垃圾運輸為主題，引導學生設計與實驗平臺協作的垃圾轉運機器人，從而拓展實驗教學內容，激發學生的創新意識。

3.2 基于遷移學習的實驗內容設計

實驗內容圍繞垃圾分類的主題開展。學生需掌握智能垃圾分類實驗平臺的系統結構以及“通用圖像分類模型實驗架構”的使用方法，并結合PyTorch圖像分類器例程，研習“基于深度跨連接網絡的垃圾分類算法”。在此基礎上，以組為單位，開發智能垃圾分類實驗平臺的控制程序；同時，應用遷移學習的方法，在云端構建基于CNN的垃圾分類模型，并與經典分類器的分類效果進行對比。具體步驟如下：

圖7 實驗流程示意圖

（1）準備實驗數據集。了解垃圾圖像數據集GarbageNet的數據結構，并按照2∶1∶1的比例，將其劃分為訓練數據集、驗證數據集和測試數據集。

（2）對3 個數據集的圖像進行裁剪，將大小調整為224 ×224，并對圖像進行標準化處理，使其符合輸入神經網絡所需的特定格式。

（3）應用ImageFolder（加載圖像函數）和DataLoader（批量傳遞圖像函數）為每個數據集創建加載器。

（4）分析ResNet、DenseNet、ResNeXt、MobileNet、EfficientNet 各自的特點，從中自行選取一個基于ImageNet的預訓練網絡B，并應用TorchVision 完成加載。

（5）凍結B的部分卷積層，利用垃圾圖像訓練數據集和驗證數據集對其進行訓練，得到基于CNN的垃圾分類模型M。

（6）利用垃圾測試數據集檢驗M 的圖像分類的準確性。

（7）去掉M的全連接層，將提取到的特征保存為“.pkl”文件，并利用這些特征訓練經典分類器（SVM、RF、MLP、KNN），得到模型N。

（8）利用垃圾測試數據集檢驗N 的圖像分類的準確性。

（9）對比M和N的垃圾圖像分類準確率，分析2種分類算法的特點。

（10）在云端部署相應的分類模型，并設計垃圾分類實驗平臺的控制策略。

此外，指導教師鼓勵學生研習“基于深度跨連接網絡的垃圾分類算法”的設計思路，從網絡結構、模型參數、損失函數設計以及數據集選取等方面進一步完善垃圾分類模型，提升分類準確率。

4 結 語

基于機器視覺的智能垃圾分類實驗平臺源于實際工程問題。通過可分離式的結構設計，解決了分類垃圾種類數受限、垃圾桶溢滿后不易轉運等問題；同時，依托實驗平臺的云邊協同的控制系統架構，開展了基于遷移學習的垃圾分類研究，取得良好的分類效果，10大類識別率達97.2%。在此基礎上，課程團隊將科研成果轉化為教學應用，保證實踐教學內容與時俱進，加深學生對專業知識的理解，激發學生的科研熱情，進而探索工程引領人才培養的方法和路徑。