基于MobileViT輕量級視覺模型的垃圾自動分類系統設計

袁斌，張超軍，李晨

基于MobileViT輕量級視覺模型的垃圾自動分類系統設計

袁斌，張超軍，李晨

（浙江科技學院 機械與能源工程學院，杭州 310023）

針對傳統機器視覺網絡模型存在的參數量大、效率低、落地難等問題，設計一種更高效的基于輕量級網絡模型的垃圾自動分類系統。結構的創新設計可實現4種占比不同的垃圾分類存儲和垃圾箱工作模式的自動切換。利用STM32控制機構的電機和多種傳感器，與樹莓派4B串口通信實現垃圾分類投放，采用云服務器實現小程序端物聯網通信，提高管理效率。采用MobileViT輕量級模型在自建數據集上訓練，并結合遷移學習，提高模型的訓練速度和準確率，與主流模型對比，并驗證其可行性。MobileViT模型的準確率可以達到98.01%，實際測試平均單張圖像的推理時間為17.8 ms，模型參數量僅為5.6×106；在與輕量化網絡MobileNetV3參數量相近的情況下，準確率高出9.25%，各性能指標優于傳統ResNet50、AlexNet模型。基于MobileViT輕量級視覺模型的垃圾自動分類系統設計能夠更高效地完成垃圾自動分類任務，模型精度和速度滿足實際需求，對垃圾分類領域邊緣設備非常友好。

垃圾分類；智能垃圾箱；MobileViT；輕量級；遷移學習

隨著社會經濟的快速發展，居民生活產生了越來越多的垃圾。據統計，我國每年的生活垃圾產量已經從2003年的1.48億t迅速增長到2019年的2.4億t，預計未來幾年內我國的生活垃圾產量將超過4億t[1]。由于垃圾種類繁多，傳統人工分類方法易出錯、效率低，導致我國垃圾分類形勢十分嚴峻。近幾年，人工智能在各行各業的應用越來越多，利用機器視覺進行垃圾分類逐漸成為研究熱點。由于傳統的機器視覺面臨著網絡模型參數量大、運行時間長等問題，因此并不適合在移動端和嵌入式等邊緣端設備上運行。由此，利用深度學習中輕量級神經網絡模型來實現垃圾分類成為新的研究方向[2]。

當前很多學者針對垃圾分類已經做了大量研究。例如，宋鐵[3]設計了一種基于機器視覺的家庭式智能垃圾桶，根據家用垃圾袋的大小，設計其桶身直徑為30 cm，高度為27 cm，內部有4個相同的子箱，提供4種垃圾的存儲，識別模塊利用主流的VGG16卷積神經網絡，在自建數據集上達到了87.2%的準確率。康莊等[4]設計了一種應用于室外基于機器視覺的智能垃圾桶，其桶身由2個半圓桶構成，分別存儲可回收和不可回收垃圾，采用太陽能供電的方法，節省了垃圾桶的能源消耗，識別模塊使用InceptionV3神經網絡模型，在自建數據集上獲得了95.7%的準確率。此外，Bircanoglu等[5]對深度學習模型AlexNet、VGG16、GoogLeNet和ResNet分別進行了微調，采用2種不同的分類器Softmax和SVM改變模型結構，在垃圾數據集上測試不同分類器的性能，測試結果表明GoogLeNet+SVM模型在所有模型中表現最好。

盡管基于深度學習模型的垃圾分類研究已經獲得了較高的準確率，但是這些高性能的深度學習模型存在參數量大、計算量復雜等問題，并不適合應用于移動端或嵌入式等內存資源有限的邊緣端設備[6]。由此，研究人員逐漸將深度學習的研究重點轉向輕量級神經網絡模型的研究。比如，袁建野等[7]以ResNet模型為基礎進行改進優化，在保證準確率不下降的情況下，優化后模型參數量和計算量分別為原來的10%和7%，這對資源有限的邊緣設備非常友好。此外，部分學者在垃圾分類領域應用深度學習模型進行了有關研究[8]。盡管一些輕量級神經網絡模型在小規模數據集上已經取得不錯效果，但在實際應用過程中，往往需要龐大的垃圾數據集作為基礎。遷移學習可以將訓練好的神經網絡模型的通用特征參數遷移到另一個新的模型中，以幫助新的模型獲得更好的初始性能、更快的訓練速度，在一定程度上可以彌補垃圾數據量不足的問題[9]。由此，這里利用ImageNet數據集先對輕量級模型MobileViT進行分類任務的預訓練，再結合遷移學習的思想使用自建垃圾數據對MobileViT模型進行二次訓練，從而獲得表現更優的訓練模型。

文中將結合卷積神經網絡（Convolutional Neural Network，CNN）與Transformer架構的MobileViT輕量級深度學習模型作為垃圾識別算法[10]，并設計一種應用于室外的垃圾自動分類系統。根據我國生活垃圾分類標準及不同類別垃圾占比的不同[11]，將垃圾箱設計為4個不同大小的子箱，并合理分配內部存儲空間。該垃圾分類系統將STM32作為控制板，控制步進電機、舵機及多種傳感器等元器件，結合用于部署MobileViT輕量級模型的樹莓派4B串口通信，實現垃圾自動分類投放、垃圾箱容量檢測及蓄電池電量監測等多項功能。此外，為了確保垃圾能夠被及時清理，文中還設計開發了一款小程序，以幫助管理員實時查看垃圾箱的使用情況，進一步提升管理效率。

1 系統總體設計

1.1 機械結構設計

基于垃圾自動分類和低碳環保的初衷，并考慮目前相關設計和研究的不足，提出一種新的分類更精準、更高效的垃圾自動分類系統。整體結構三維圖由SolidWorks軟件繪制，具體的三維結構和實物如圖1所示。整個垃圾箱的長度為80 cm、寬度為60 cm、高度為145 cm。結合我國生活垃圾分類情況統計及適用場景，將垃圾箱內部劃分為4個大小不同的區域，從大到小依次為廚余垃圾、可回收物、其他垃圾和有害垃圾。此外，根據實際需求的不同，使用者也可自由調整空間分配。

圖1 垃圾箱三維結構與實物

智能垃圾分類系統主要由以下模塊組成，其系統工作流程如圖2所示。

1）采集模塊。將單目攝像頭安裝在垃圾箱入口正上方，用于采集垃圾的圖像數據。

2）分類模塊。樹莓派4B用于部署輕量級深度學習模型，完成垃圾的圖像識別工作，并將識別結果發送給下位機執行。

3）感知模塊。主要由多種傳感器組成，用于獲取垃圾箱的存儲信息、開關信息和光照信息等。其中，電壓檢測傳感器可檢測蓄電池的剩余電量，以便切換工作模式。

4）電源模塊。整個系統由太陽能板和蓄電池提供穩定電源，擺脫了傳統智能垃圾箱需要布線的地域限制，從而節省了成本。

5）微處理器。將STM32開發板用于處理傳感器等元器件的感知數據，并發送指令控制整個設備的運行。

6）電機。系統電機包括2種，一種為步進電機，將安裝在絲桿滑臺上的垃圾托盤運送到指定位置；另一種為舵機，控制垃圾托盤的轉動和垃圾箱蓋的開合。

7）通信模塊。用于云服務器的物聯網信息傳輸，實現對垃圾箱的遠程監控。

圖2 系統工作流程

1.2 硬件控制系統設計

1.2.1 多傳感器檢測

傳感器是智能垃圾分類箱在完成復雜任務時必不可少的電子元件。在設計的垃圾箱內安裝HC-SR04超聲波傳感器，其探測距離為2～400 cm，采用I/O口TRIG觸發測距。當檢測到有信號返回時，將通過I/O口ECHO輸出1個高電平，高電平持續時間即為超聲波從發射到返回的時間，根據時間計算距離，見式（1）。

式中：為高電平持續時間；為聲速，通常取340 m/s。

根據箱體的實際大小，將4個超聲波傳感器分別安裝在不同子箱體的正上方約20 cm處，設定檢測距離為26.8 cm。當垃圾分類箱的剩余容量小于20%時，STM32控制板將通過ESP8266WiFi模塊向云服務器發送信息。此時，小程序端將收到同步信息，并提醒管理人員該垃圾箱即將滿溢，必須及時清理。為了保證智能垃圾箱僅在有投放垃圾人員靠近時才進行識別工作，在垃圾投放入口旁安裝1個超聲波傳感器和光敏傳感器，分別判斷是否有人靠近投放垃圾，以及是否需要開啟燈光，設定超聲波檢測距離為30 cm。光敏傳感器能夠控制LED燈的開關，以實現白天和夜晚垃圾箱的正常工作。

1.2.2 電源電量智能監測

這里提供一種智能垃圾箱節能控制系統及方法，采用太陽能板和蓄電池提供電源。為了解決傳統太陽能供電不足的問題，設計了一種蓄電池電量智能監測系統，其檢測流程如圖3所示。INA226電壓電流監控器模塊通過I2C協議與STM32控制板通信，可檢測0～36 V范圍內電源總線上的電壓，通過普通蓄電池電壓與電池電量的關系，實時檢測判斷蓄電池的剩余電量[12-13]。當檢測到電源電量小于或等于20%時，INA226模塊將會觸發控制程序，打開垃圾箱的箱蓋，進入手動工作模式。當INA226模塊檢測到電池電量大于或等于80%時，垃圾箱蓋將會關閉，恢復自動識別工作模式。基于該邏輯，實現了2種工作模式的自動切換，避免了傳統太陽能垃圾箱存在的缺點。

1.2.3 電機驅動與控制

步進電機由STM32控制，控制板通過TB6600型驅動器驅動步進電機轉動，帶動滾珠絲桿轉動，使安裝在絲桿滑臺上的垃圾托盤做橫向移動，在運動到對應的垃圾子箱旁邊時停止。舵機的型號為MG995，其工作扭矩為1.27 N·m，轉動角度為180°，由STM32控制板控制。根據識別的垃圾種類控制安裝在滑臺上的舵機轉動45°，在重力作用下傾斜的垃圾將被倒入指定子箱。控制垃圾箱蓋開關的電機選擇同型號舵機，分別安裝在前后兩端控制2個箱蓋。

圖3 電源電量檢測流程

1.3 上位機軟件設計

為了方便垃圾箱管理人員查看管理垃圾箱，采用物聯網技術，通過云服務器實現人與物的實時交互。利用ESP8266WiFi模塊將硬件控制設備與網絡云平臺相連接，環衛人員可通過小程序實時查看垃圾箱的容量狀態。在垃圾箱容量即將滿溢時環衛人員會收到提醒，便于及時清理垃圾，這在一定程度上節省了人力成本，并提高了工作效率。小程序界面如圖4所示。

圖4 小程序界面

2 MobileViT輕量級視覺模型

2.1 數據集制作

基于現實生活中的應用場景，數據主要來源于人員較集中的場所，如校園、公交車站、公園等，并涵蓋了20種常見的生活垃圾，如礦泉水瓶、口罩、果皮等。根據我國城市生活垃圾分類標準的要求，將20種垃圾劃分為廚余垃圾、可回收物、其他垃圾和有害垃圾四大類[14]，每類垃圾的具體數量如表1所示。數據集的來源為網絡及手機拍照，共收集垃圾圖像8 500張，平均每種垃圾有425張圖像，將數據集按照8∶2的比例劃分為訓練集和測試集，分別包含6 800張和1 700張圖像。

2.2 MobileViT視覺模型

CNN在學習圖像表征信息方面有著天然的歸納偏置優勢（權重參數共享與平移不變性），在一些資源有限的視覺分類任務中具有較廣泛的應用，但CNN只能在空間信息域建立局部依賴關系。基于自注意力機制的視覺轉換器（Vision Transformer，ViT）模型對輸入特征圖具有捕捉全局感受野的能力，能夠在空間維度上建立全局依賴關系，從而學習到全局視覺表征信息，但基于自注意力機制的網絡結構通常具有較大的參數量和計算量[15]。針對上述2點，MobileViT模型能夠有效結合CNN模型的歸納偏置優勢和ViT模型的全局感受能力，同時具有輕量化網絡的特點，比較適合應用于智能垃圾箱這種資源有限的邊緣端設備中，MobileViT網絡架構如圖5所示。

表1 垃圾圖像數據集

Tab.1 Garbage image data set

圖5 MobileViT網絡架構

從圖5可以看出，MobileViT模型的核心組成為MobileViT block，它通過結合應用CNN和ViT，能夠更好地獲取局部表征（Local representations）和全局表征（Global representations）的視覺信息。MobileViT的初始層是一個卷積核為3×3的卷積層，其下采樣操作的stride取值為2。然后連接初始層的是MV2層和MobileViT block模塊，MV2是MobileNetV2模型中的一種倒殘差網絡結構，其特征圖的維度先升后降，維度更高時經激活函數后，損失的信息將會變少[16]。MobileViT模型的關鍵是MobileViT block，首先將特征圖通過一個卷積核為3×3的卷積層進行局部特征建模，然后通過一個卷積核為1×1的卷積層來調整通道數量，并通過Unfold、Transformer和 Fold操作對結構進行全局特征建模，隨后再利用一個卷積核為1×1的卷積層將通道數量調整回原始大小，接著通過捷徑分支與原始輸入特征圖進行拼接（沿通道方向），最后再通過一個卷積核為3×3的卷積層進行特征融合，從而得到其輸出。為了能夠將MobileViT模型應用到文中的垃圾分類任務中，將MobileViT模型進行一定改動，使其輸出層為1×1×20。改動后的MobileViT模型結構如表2所示。

表2 MobileViT結構

Tab.2 MobileViT structure

3 實驗與結果分析

3.1 實驗環境與設置

數據集訓練使用的電腦為64位Windows10系統，配置為i5-12500H，8 GB內存，GPU為NVIDIA RTX 3060顯卡，4 GB獨立顯存。電腦運行環境為11.1版本的CUDA，Pytorch深度學習框架，其版本為1.10.1。在實驗訓練過程中，將原始圖經過中心裁剪后得到256×256的模型輸入。模型訓練采用AdamW優化算法，設置學習率（LR）為0.001，訓練周期（Epoch）為200輪，批次（batch size）為32，正則化系數為0.01。

3.2 訓練結果與分析

為了驗證MobileViT模型相較于當前應用廣泛的AlexNet、ResNet50和MobileNetV3模型具有更高的性能，更加適合應用于垃圾分類領域中資源有限的邊緣設備，這里采用相同的自建數據集對目前部分主流網絡模型分別進行了訓練，結果見表3和圖6。

表3 不同模型的實驗結果

Tab.3 Experimental results of different models

圖6 不同模型訓練精度

從表3和圖6可知，經過200輪訓練后，MobileViT模型的準確率為92.05%，MobileNetV3模型的準確率為88.76%，ResNet50模型的準確率為90.13%，AlexNet模型的準確率為75.89%。與MobileNetV3模型相比，MobileViT模型在參數量和模型大小相近的情況下，其準確率高出3.29%。與ResNet50模型相比，MobileViT模型的準確率與其相近，但ResNet50模型的參數量和模型大小卻是MobileViT模型的4.5倍和4.7倍，這對于資源有限的嵌入式設備并不友好。此外，相較于AlexNet模型，MobileViT模型在準確率、模型參數量、模型大小等方面均明顯占優。顯然，綜合多方面來看，MobileViT輕量級視覺模型與目前部分主流網絡模型相比，表現出更好的性能，更適合于移動端和嵌入式等這類資源有限的垃圾分類智能設備。

此外，在數據集有限的情況下，為了使模型更快收斂，并獲得更好的性能，MobileViT模型的訓練將結合深度學習中的遷移學習思想來提高其性能表現。這里先采用ImageNet數據集對MobileViT模型進行分類任務的預訓練，使其預先獲得良好的圖像特征提取能力，得到一個預訓練權重。然后，重新構建MobileViT模型，加載預訓練權重，并將其輸出層調整為20，以對應文中自建數據集的垃圾種類數量。最后，使用自建數據集對MobileViT模型進行二次訓練，并輸出保存最終的模型權重。對比分析了模型訓練過程中的準確率和損失值，其訓練過程如圖7所示。

由圖7可知，經過200輪訓練后，基于遷移學習思想訓練的MobileViT模型的準確率達到98.01%，而未使用遷移學習方式訓練的MobileViT模型的準確率為92.05%，二者相差5.96%。顯然，遷移學習訓練的應用使得模型的準確率在數據集不變的情況下得到明顯提高。此外，基于遷移學習訓練的MobileViT模型，其訓練過程更快趨于穩定，損失值更快趨于收斂，這從側面充分表明遷移學習應用的必要性。

圖7 MobileViT模型訓練精度與損失

3.3 模型測試與分析

為了得到MobileViT模型實際識別推理所耗費的時間，從實際生活環境中獲取了100張垃圾圖像進行測試，并將其劃分為20種垃圾圖像，每種類別各含5張照片（不同角度、不同光照下）。經實際驗證統計，平均每張圖像的推理時間約為17.8 ms，部分測試結果如圖8所示。

圖8 部分垃圾圖像測試結果

4 結語

針對傳統機器視覺在垃圾分類領域存在的問題，從視覺模型、控制系統邏輯及上位機軟件等方面著手，設計了一種更為高效的智能垃圾分類裝置，有效提高了垃圾識別的準確率及垃圾分類的管理效率。

1）視覺模型采用MobileViT輕量級視覺模型，它在自建數據集的訓練準確率達到92.05%，明顯優于部分主流模型。在此基礎上引入了遷移學習，進一步將模型識別準確率提高到98.01%，從而獲得一個性能更優的視覺模型。

2）控制系統以STM32單片機為主控芯片，結合多電機和多傳感器檢測技術，通過樹莓派4B串口通信，能夠實現垃圾自動分類、設備能源自給和工作模式自動切換等多項功能。

3）上位機軟件結合先進的云服務技術，實現了小程序端物聯網通信，有效提高了智能垃圾分類裝置的管理效率，進一步提高了垃圾自動分類系統的應用價值。

[1] 孫曉杰, 王春蓮, 李倩, 等. 中國生活垃圾分類政策制度的發展演變歷程[J]. 環境工程, 2020, 38(8): 65-70.

SUN Xiao-jie, WANG Chun-lian, LI Qian, et al. Development and Evolution of China's Domestic Waste Classification Policy System[J]. Environmental Engineering, 2020, 38(8): 65-70.

[2] MA Han-xu, YE Yong, DONG Ji, et al. An Intelligent Garbage Classification System Using a Lightweight Network MobileNetV2[C]// 2022 7th International Conference on Signal and Image Processing (ICSIP) Suzhou, China IEEE, 2022: 531-535.

[3] 宋鐵. 基于機器視覺的家庭智能分類垃圾桶設計研究[D]. 上海: 東華大學, 2019: 51-58.

SONG Tie. Research on Design of Household Intelligent Classified Trash Bin Based on Machine Vision[D]. Shanghai: Donghua University, 2019: 51-58.

[4] 康莊, 楊杰, 郭濠奇. 基于機器視覺的垃圾自動分類系統設計[J]. 浙江大學學報(工學版), 2020, 54(7): 1272-1280.

KANG Zhuang, YANG Jie, GUO Hao-qi. Automatic Garbage Classification System Based on Machine Vision[J]. Journal of Zhejiang University (Engineering Science), 2020, 54(7): 1272-1280.

[5] BIRCANO?LU C, ATAY M, BE?ER F, et al. RecycleNet: Intelligent Waste Sorting Using Deep Neural Networks[C]// 2018 Innovations in Intelligent Systems and Applications (INISTA) Thessaloniki, Greece IEEE, 2018: 1-7.

[6] 康歡. 基于深度學習的生活垃圾分類算法和移動端系統設計[D]. 廣州: 廣東工業大學, 2021: 1-7.

KANG Huan. Classification Algorithm of Domestic Waste Based on Deep Learning and Design of Mobile Terminal System[D]. Guangzhou: Guangdong University of Technology, 2021: 1-7.

[7] 袁建野, 南新元, 蔡鑫, 等. 基于輕量級殘差網路的垃圾圖片分類方法[J]. 環境工程, 2021, 39(2): 110-115.

YUAN Jian-ye, NAN Xin-yuan, CAI Xin, et al. Garbage Image Classification by Lightweight Residual Network[J]. Environmental Engineering, 2021, 39(2): 110-115.

[8] CHEN Zhi-chao, YANG Jie, CHEN Li-fang, et al. Garbage Classification System Based on Improved ShuffleNet V2[J]. Resources, Conservation and Recycling, 2022, 178: 106090.

[9] 李金玉, 陳曉雷, 張愛華, 等. 基于深度學習的垃圾分類方法綜述[J]. 計算機工程, 2022, 48(2): 1-9.

LI Jin-yu, CHEN Xiao-lei, ZHANG Ai-hua, et al. Survey of Garbage Classification Methods Based on Deep Learning[J]. Computer Engineering, 2022, 48(2): 1-9.

[10] MEHTA S, RASTEGARI M. MobileViT: Light-Weight, General-Purpose, and Mobile-Friendly Vision Transformer[EB/OL]. 2022: https://arxiv.org/abs/2110.02178.

[11] 李海丹, 鄭麗萍, 周涵, 等. 我國生活垃圾組分的時空分布特征回顧[J]. 環境工程, 2022, 40(9): 126-134.

LI Hai-dan, ZHENG Li-ping, ZHOU Han, et al. Review on Temporal and Spatial Distribution Characteristics of Domestic Waste Components in China[J]. Environmental Engineering, 2022, 40(9): 126-134.

[12] 付華圓. 電動汽車蓄電池剩余電量估計算法的研究與實現[D]. 杭州: 杭州電子科技大學, 2011: 17-21.

FU Hua-yuan. Research and Implementation of Estimation Algorithm for Battery Remaining Power of Electric Vehicle[D]. Hangzhou: Hangzhou Dianzi University, 2011: 17-21.

[13] 吉炫瑋. 基于STM32的蓄電池充放電控制及無線監測系統的設計[D]. 銀川: 北方民族大學, 2018: 34-38.

JI Xuan-wei. Design of Battery Charging and Discharging Control and Wireless Monitoring System Based on STM32[D]. Yinchuan: Beifang University of Nationalities, 2018: 34-38.

[14] 李鈞澤, 劉中梅. 我國城市生活垃圾分類制度現狀及法律對策[J]. 科學發展, 2022(11): 92-97.

LI Jun-ze, LIU Zhong-mei. Present Situation and Legal Countermeasures of Municipal Solid Waste Classification System in China[J]. Scientific Development, 2022(11): 92-97.

[15] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale[EB/OL]. 2020: https://arxiv.org/ abs/2010.11929.

[16] SANDLER M, HOWARD A, ZHU Meng-long, et al. MobileNetV2: Inverted Residuals and Linear Bottlenecks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA IEEE, 2018: 4510-4520.

Design of Automatic Garbage Classification System Based on MobileViT Lightweight Visual Model

YUAN Bin,ZHANG Chao-jun,LI Chen

(School of Mechanical and Energy Engineering, Zhejiang University of Science and Technology, Hangzhou 310023, China)

The work aims to design a more efficient automatic garbage classification system based on the lightweight network model to solve the problems of the traditional machine vision network model, such as large number of references, low efficiency and difficult landing. The innovative design of the structure could realize the automatic switching of four kinds of garbage classification and storage with different proportions and the working mode of the garbage bin. The STM32 control mechanism motor and a variety of sensors were used to communicate with the Raspberry PI 4B serial port to realize garbage classification and delivery. The cloud server realized the Internet of Things communication at the small program side to improve management efficiency. The MobileViT lightweight model was used to train on the self-built data set, and the training speed and accuracy of the model were improved by combining transfer learning. The feasibility was verified by comparing the model with the mainstream model. The accuracy of MobileViT model could reach 98.01%, the average reasoning time of a single image in the actual test was only 17.8 ms, and the number of model parameters was only 5.6×106. The accuracy was 9.25% higher than that of lightweight network MobileNetV3 under the similar parameters. The performance indexes were better than those of traditional ResNet50 and AlexNet models. The design of automatic garbage classification system based on MobileViT lightweight visual model can complete the task of automatic garbage classification more efficiently. The accuracy and speed of the model meet the actual demand, and it is very friendly to the edge equipment in the field of garbage classification.

garbage classification; smart garbage bin; MobileViT; lightweight; transfer learning

TP23；TB486

A

1001-3563(2023)23-0208-08

10.19554/j.cnki.1001-3563.2023.23.025

2022-12-08

國家自然科學基金（62103340）

責任編輯：彭颋