基于深度學習的智能垃圾分揀系統設計

李平原，宋曉煒，王玉瑩

（1.中原工學院 電子信息學院，河南 鄭州 450007；2.開封大學，河南 開封 475004）

0 引 言

隨著社會經濟的發展，人類對資源的需求越來越大，由此產生的大量廢棄物造成嚴重的環境問題，居民產生的生活垃圾逐漸成為制約城市發展的問題。傳統的垃圾處理方式是混放且由市政管理部門收集處理，收集難度大，處理效率低，管理成本高。垃圾自動化分類對于城市發展至關重要，根據垃圾的性質和可利用價值，人類需要制定合理的垃圾分類準則，提高垃圾收集和處理的效率，改善人類的生存環境，促進可持續發展，提高人們的環保意識。

隨著生活垃圾產量的增加，垃圾種類繁多，垃圾分類的工作量不斷增加，利用人工智能技術去實現垃圾分類成為一個新的方向。人工智能技術發展很成熟，但與實際應用場景結合還是有很多難點。在判斷垃圾種類時，由于深度學習的分類網絡眾多，選擇準確率高的分類網絡對各個種類的垃圾進行訓練是主要難點，不僅是網絡的選擇，垃圾樣本訓練也是一個難點，需要收集盡可能多的垃圾種類。同時硬件分揀系統整體設計也是一大難點，需要選擇成本相對較低、穩定性高的控制器。最后還要考慮測試系統與實際應用系統的差距，以及外部情況對本設計的影響。

隨著人工智能和機器視覺的發展，普通垃圾分類也升級成智能垃圾分類。通過神經網絡對目標進行模型訓練實現垃圾的智能分類，其中卷積神經網絡應用的范圍最廣，利用率最高。

呂文杰等人利用InceptionV3 模型對部分生活類的垃圾進行了檢測識別并分類，將整個分類過程與手機APP 結合起來，能夠快速對簡單類別的垃圾實現分類。吳碧程等人則是通過構建卷積神經網絡實現對垃圾的分類，不光對網絡模型進行了改進，還設計了硬件的分類器。這些研究是對智能垃圾分類的不斷探索，仍然存在很多不足。

本設計期望解放人們雙手，通過訓練目標檢測網絡模型，利用圖像目標識別完成垃圾分類工作，旨在正確分類并增進人們對垃圾分類的認識。本文參照常用垃圾分類標準，將生活垃圾分為可回收垃圾、廚余垃圾、有害垃圾、其他垃圾四大類，并按照四類標準制作數據集，完成網絡模型的訓練與驗證。

1 硬件設計與分析

設計利用HuskyLens 視覺傳感器和樹莓派4B 兩個核心模塊結合實現相應功能。總體設計框圖如圖1所示。本設計硬件包含HuskyLens 視覺傳感器，樹莓派，顯示屏，紅外溢滿報警模塊，二自由度舵機平臺以及四個垃圾箱。首先利用HuskyLens 視覺傳感器中攝像頭對物體進行識別，顯示屏上顯示樹莓派主頁面，調試好目標檢測模型的代碼后開始運行，將物體放置在二自由度舵機平臺上對準攝像頭中心檢測框進行識別。分類成功后，將分類信息通過控制器在顯示屏顯示并語音播報其分類屬性，同時，二自由度舵機平臺將垃圾自動投擲到相應的垃圾箱內。當垃圾箱內垃圾過多時，紅外對管感知溢滿后報警，提示管理人員更換垃圾箱。

圖1 系統設計框圖

1.1 HuskyLens 視覺傳感器

HuskyLens 視覺傳感器是一款簡單易用的AI 視覺傳感器。其中圖像傳感器分別為SEN0305 HuskyLens：OV2640（200W 像素）和SEN0336：HuskyLenspro：OV5640（500W像素）。如圖2所示，顯示屏為2.0 寸IPS，分辨率為320×240，其內置處理器為KendryteK210，K210 使用臺積電超低功耗的28 納米先進制程，具有RISC-V64 位雙核CPU，每個核心內置獨立FPU，擁有較好的功耗性能，穩定性與可靠性。該處理器集成了機器視覺與機器聽覺能力。包含用于計算卷積神經網絡的KPU。該視覺傳感器包括快速傅里葉變換加速器，所以具備高性能處理能力。同時K210內嵌AES 與SHA256 算法加速器，為用戶提供基本安全功能。

圖2 HuskyLens 視覺傳感器

1.2 控制器、紅外傳感器模塊

本設計選用樹莓派做為控制器。由于是實驗階段，選擇控制器主要以功能齊全、體積小、成本低作為優先選擇條件。樹莓派接口豐富，二次開發的首選。顯示器部分選擇一個七寸顯示屏并配有語音播放的功能。樹莓派系列顯示器常用分辨率為480×320，800×480，1 024×600，這里選用1 024×600 的顯示屏。紅外傳感器的作用是判斷垃圾箱的裝載情況，這里采用紅外對管搭載蜂鳴器來檢測垃圾箱是否溢滿。若溢滿，則紅外發射二極管亮燈并且蜂鳴器發出聲響；若未溢滿，紅外傳感器不做反應。

1.3 舵機分揀模塊

如圖3所示，是由兩個舵機控制的二自由度平臺與四個垃圾箱配合完成本設計中垃圾自動投遞操作。二自由度舵機平臺向四個方向的擺動是通過樹莓派控制PCA9685 輸出PWM 信號給舵機來完成。PCA9685 控制器由I2C 總線控制，具有16 個通道的LED，每個LED 的輸出都包含12 位分辨率固定頻率。接通和斷開延時對于16 個通道中的每個通道都是獨立可編程的。

圖3 舵機分揀模塊

2 軟件設計與流程

在硬件系統的支撐下，通過軟件部分的設計使得整個系統有序進行，如圖4所示，先進行初始化，執行各個模塊向相應模型的信息傳送，首先將目標垃圾通過訓練好的網絡模型下進行檢測分類，然后將檢測到的信息送入到主控模塊，主控模型按照垃圾類別，發出相對應的控制信號操控舵機執行分揀操作，并且在屏幕顯示垃圾信息并伴隨語音播報功能，最后通過傳感器檢測垃圾桶的裝載情況并作出是否溢滿的判斷。

圖4 主控程序流程圖

針對垃圾的分類，本設計對比幾類經典的分類網絡后選擇ResNet 網絡。基于卷積神經網絡的分類網絡主要包括兩部分，特征提取部分和分類部分。特征提取就是對輸入的圖片進行特征提取，主要包括各類卷積操作，通過卷積核的大小來控制學習的像素范圍。分類部分主要是將學習到的特征進行分類，主要通過全連接層實現。常見的分類網絡包括AlexNet、VGG-16、GoogLeNet、ResNet 等。如表1所示，按照圖像識別競賽提出的這幾類網絡的準確率，本文直接選擇準確率最高的ResNet網絡模型作為垃圾分類的分類網絡。

表1 圖像識別競賽中不同網絡的準確率比較

是2015年ImageNet 競賽中圖像識別任務冠軍，錯誤率僅為3.5%，甚至超過了人類一般的識別能力。在ResNet之前，深度學習一直朝著更深層的網絡方向發展，但加深網絡層數未必在訓練集和測試集上效果更好。雖然ResNet 層數更深，但是總參數量反而減少，準確率和速度均有提升。ResNet首次提出的殘差模塊，解決了深層卷積網絡模型難訓練的問題。當殘差為0 時，此時堆積層僅僅做了恒等映射，至少網絡性能不會下降，實際上殘差不會為0，這也會使得堆積層在輸入特征基礎上學習到新的特征，從而擁有更好的性能。ResNet 有兩個基本的塊，分別是卷積塊和殘差塊，其中卷積塊的輸入和輸出的維度不一樣，不能連續串聯，可用于改變網絡的維度；殘差塊的輸入輸出維度相同，可以串聯，用于加深網絡。

本設計制作的垃圾數據集包括四大類共計2 000 張圖片。其中有害垃圾483 張，其他垃圾517 張，可回收垃圾542 張，廚余垃圾458 張。其中四類垃圾都包括日常生活的垃圾，還包括一些不常見的有害垃圾，確保數據集的多樣性，這樣訓練出來的模型準確率高而且學習的類別也更多樣。模型訓練所使用的GPU 是技嘉GTX 2080Ti、顯存11 GB，CPU 是Intel E5 2678 V3。訓練過程中，損失函數起始條件一致，訓練時不加載預訓練權重。將訓練好的模型權重文件燒錄進HUSKYLENS 視覺傳感器的處理器K210 中，利用訓練好的模型對垃圾進行測試，結果如圖5所示，三種垃圾的類別均測試正確。

圖5 模型訓練測試結果

3 實驗與結果分析

按照四類垃圾的分類標準，通過傳感器中的攝像頭采集目標垃圾的信息進行檢測識別分類。隨機挑選幾種垃圾進行測試，根據分類標準，桃子、茶葉屬于廚余垃圾，鏡子、便簽屬于可回收垃圾，電池為有害垃圾，紙為其他垃圾。挑選了一個測試結果如圖6所示，便簽屬于可回收垃圾，放在置物臺上，被判別為可回收垃圾，然后主控模塊發出信號，舵機將便簽扔進藍色的可回收垃圾箱內，并且會語音播報其類別。紅外檢測溢滿模塊檢測結果如圖7所示，當將廢舊電池扔進有害垃圾箱，垃圾箱滿后，紅外模塊檢測到溢滿情況，發出指令，指示燈亮并語音提示有害垃圾箱已滿。經檢測，各部分功能均達到穩定準確的標準。

圖6 便簽分揀圖

圖7 紅外測溢滿模塊測試圖

4 結 論

目前，本設計通過進行模型設計確定了目前最優方案，用到的硬件價格適中，軟件網絡穩定性較強，準確率高，系統完整度高。但是經過多次測試發現，紅外檢測溢滿模塊易受到光照的影響出現誤差，后期將對紅外檢測溢滿模塊進行封裝，降低光照影響。根據生活垃圾分類智能投放箱企業標準的現狀和對策，后期可以通過工程實踐投入實際場景中應用。根據本設計硬件組成，將其進行封裝，只展露出二自由度舵機平臺，增強其可管理性和視覺美觀性。

垃圾分類是建設文明家園的關鍵，保護地球生態是每個人的責任。而隨著人工智能時代的到來，智能垃圾分類也逐步發展。本設計順應科技發展，結合人工智能技術，通過訓練ResNet 卷積神經網絡結合以樹莓派為主控板，以HuskyLens 視覺傳感器為控制器的智能垃圾分揀系統可以實現對日常生活垃圾的準確識別和分揀。同時，垃圾分類的各項數據可以顯示在顯示屏上并且會通過語音播報出來，方便使用者實時了解垃圾箱的滿溢情況、收集類型等。本設計與計算機視覺相結合，為垃圾分類提供一種新的方式，與智能硬件的配合使得垃圾分類工作更加便捷，本設計依然存在不足之處，由于著重實現各個模塊的功能，忽略整個設計的外觀設計，同時，對一些不常見垃圾識別率偏低的問題有待進一步學習與改進。