基于機器視覺的垃圾分揀系統設計

陳美玲 朱溫涵 劉佳成 鄭陽

摘? 要：由于人們生活水平的不斷提高，隨之產生的生活垃圾也不斷增多。為解決靠人力進行垃圾分類效率低下的問題，對自動垃圾分揀系統進行研究，并設計一種基于機器視覺的垃圾分揀系統。使用搭載有攝像頭的樹莓派作為主控單片機，利用卷積神經網絡來分辨攝像頭所拍攝垃圾的類型，借助Arduino控制舵機自動開合垃圾桶，實現垃圾分類。經過測試分析，系統的準確精度均能達到70%以上，準確精度較好，籍此人們能夠輕松處理生活垃圾。

關鍵詞：機器視覺；樹莓派；卷積神經網絡；Arduino

中圖分類號：TP311? 文獻標識碼：A? 文章編號：2096-4706（2023）04-0018-05

Design of Garbage Sorting System Based on Machine Vision

CHEN Meiling1， ZHU Wenhan2， LIU Jiacheng1， ZHENG Yang3

（1.Nanjing Tech University Pujiang Institute， Nanjing? 211200， China; 2.Graduate School Qinhuangdao Branch， Northeastern University， Qinhuangdao? 066004， China; 3.Jiamusi University， Jiamusi? 154007， China）

Abstract： With the continuous improvement of people's living standards， the amount of domestic garbage generated is also increasing. In order to solve the problem of inefficient waste sorting by manpower， the automatic waste sorting system is studied and a waste sorting system based on machine vision is designed. The Raspberry pie equipped with a camera is used as the main control MCU， and the Convolution Neural Network is used to distinguish the type of garbage captured by the camera. The steering gear is controlled by Arduino to automatically open and close the garbage can， realizing garbage classification. After testing and analysis， the accuracy of the system can reach more than 70%， and the accuracy is good， so people can easily handle domestic garbage.

Keywords： machine vision; Raspberry pie; Convolution Neural Network; Arduino

0? 引? 言

截至目前，全國每天的生活垃圾生產量已經超過4.5億噸，而全國生活垃圾清運量僅為2.29億噸。合理地進行垃圾分類是有效進行垃圾處理、減少環境污染的關鍵舉措，也是最有效的垃圾科學管理方式[1]。

在國內，北京領邦儀器公司研發出了一款采用機器視覺技術和光學檢測技術的工業零件檢測機器人，該機器人可實現對高精度零件進行檢測分揀[2]；在國外，ABB公司于2020年上海舉辦的進博會上，展示了最新研發產品——YuMi智能垃圾分類機器人[3]。該機器人能夠實現垃圾的初步化過濾，對垃圾迅速準確地進行識別，多自由度機械臂靈活分揀，垃圾分類分揀完成后的數據傳遞等功能。目前，隨著深度學習技術的不斷進步，借助高速的計算機視覺技術實現自動分揀垃圾有現實的可能性[4]。

1? 理論基礎

在20世紀40年代，人工神經網絡由于無法完成非線性分類、反向傳播訓練速度慢的發展進入了一段很長的低迷期。2006年，深度信念網絡的概念被提出，由于該方法對手寫字體識別的效果好，使得更多人投身于此。深度神經網絡的快速發展，使得神經網絡訓練的速度大大提高。

1.1? 卷積神經網絡

與常規神經網絡不同，卷積神經網絡能夠解決處理大尺寸圖像的三個明顯缺點：一是圖像向量化造成空間信息丟失，二是參數過于龐大而導致的訓練困難，三是大量的參數會導致網絡的過擬合。在本設計中，垃圾分類的圖片數據良莠不濟，使用卷積神經網絡可以很好地解決這個問題。

1.2? 卷積層

在機器視覺中運用卷積神經網絡，卷積層是它的核心。不同的卷積核可以提取例如角、水平、線性等特征。每一層圖片經過卷積后得到的計算公式為：

其中， 表示第i層的數據寬度， 表示第i-1層的輸入數據寬度，p[i]是對第i層數據進行0填充的大小，f [i]是第i層過濾器的維度，s[i]是第i層過濾器的步長。以上公式同樣適用于輸入圖片的高度。

1.3? 池化層

池化層通常按一定周期規律插入到連續的卷積層之間。所謂池化即為壓縮網絡中原有數據參數的大小，以此來達到簡化卷積神經網絡計算，減少卷積層中的相互聯系單元，同時控制過擬合這一目的。

通常有三種大值池化的操作方法：最大值池化（Max Pooling）、平均池化（Mean Pooling）和隨機池化（Stochastic Pooling）。實踐證明，最大池化的效果比其余二者的都好。

1.4? 全連接層

在卷積神經網絡中，全連接層多位于網絡末端后兩層。全連接層的作用則是將這些圖形數據進行整合，然后進行歸一化處理。圖1是一個簡化的全連接層設計流程圖。

全連接層的計算相對于前面的卷積運算來講容易得多，當使用多次卷積和最大池化操作對原始圖像像素特征提取之后，再乘以提前在全連接層中定義好的權重參數，接下來通過Softmax函數激活，得到的結果是對應輸入圖像所對應的類別的概率大小，最后通過概率判斷輸入圖像的類別。

2? 總體設計

首先在模型訓練及預測方面，本文使用個人PC機自帶的GPU，使用卷積神經網絡模型ResNet對預處理過的數據集進行訓練及預測。由于樹莓派的體積小，可布置在多個復雜環境。若預測效果較為滿意，則將該模型重新部署到樹莓派端使用。

在樹莓派端的垃圾分揀系統包括Arduino Mega 2560、樹莓派4B、樹莓派專用攝像頭，設計結構如圖2所示。

本設計以兩類主控板分別對整個垃圾分揀系統進行聯合控制。首先通過在樹莓派端訓練預測模型，再使用其專用攝像頭來獲取需要分揀的垃圾數據，圖片經過卷積、池化、激活等一系列深度學習處理，最后進行歸類并顯示在其連接的顯示器上[5]。同時，樹莓派會將歸類結果通過串口發送給Arduino，Arduino將根據結果控制相應舵機的啟停，并根據當前視野內是否出現垃圾為依據控制傳送帶上電機的移動，進而實現塑料、金屬、紙張、紙板四類生活垃圾分類分揀的效果。

3? 硬件系統

首先在PC端上使用GPU進行模型訓練及預測，接著在準確性、快速性達標的情況下，將該模型網絡部署到樹莓派端，進而實現實時垃圾分類。在本章中，將介紹本設計所用到的硬件環境。

3.1? CPU與GPU

GPU，又稱視覺處理器，是一種專門在私人PC機、移動設施上對圖像和圖形做相應計算和處理的單元。GPU的存在使得其可以為CPU分擔大部分冗長復雜的圖像處理工作，使得顯卡減少了對CPU的依賴；CPU，又稱中央處理器，是計算機控制系統中的核心器件，它能夠通過各類邏輯運算電路完成信息處理、程序運行等功能。CPU主要包括控制器及運算器兩大部分[6]。

該設計所使用的硬件環境如表1所示。在GPU產生之前，傳統處理二三維圖像的方法都是使用CPU，然而由于CPU不只對圖像進行處理，還有其他繁多的任務。隨著機器視覺技術的發展需求，GPU作為專門處理圖像的單元而產生。CPU和GPU的合作運行，最大程度上發揮了電腦的性能。然而由于圖片數據大，CPU處理圖像速度緩慢等因素，故選擇單獨配置使用GPU來對模型進行訓練。

3.2? 樹莓派與圖像識別模塊

本設計采用樹莓派（Raspberry Pi）4B開發板作為主控模塊，是一片僅有身份證大小的微型計算機，也是單片機的一種。樹莓派4B開發板在同價位的開發板中，性價比較高，其擁有多種不同規格的外設接口，可以連接顯示屏、鼠標、鍵盤等外設，其中的GPIO接口擴展模塊也能夠各種各樣識別的傳感器。主板上有提前預留好的接口，可以與樹莓派專用的500萬像素攝像頭完美連接。樹莓派專用攝像頭實物圖如圖3所示。

可以看到攝像頭與樹莓派連接方便，使主控板和圖像提取模塊集成在一個區域，為垃圾分揀系統的實物設計留足了空間。Python為其主要的編程語言，同時也可以使用基于ARM框架的其他編譯語言。在本設計中主要在樹莓派中運用機器視覺中的TensorFlow+keras算法框架。

3.3? Arduino與數字舵機模塊

Arduino是一個既有硬件又有軟件的開源電子平臺：硬件部分是集成各個模塊功能、能夠與外設連接的Arduino電路板，軟件部分則是Arduio IDE，與keil4類似，用作個人計算機端的程序開發環境。由于其編程語言的簡單及人性化，故使用者可以將一些常用的語句組合函數化，這使得使用者能夠快速入門。

該設計使用Arduino Mega2560作為舵機控制的控制板，其實物圖如圖4所示。它是采用USB接口的核心電路板，具有54個數字I/O口，針對本項目垃圾歸類類別多這一難點，可以同時控制多個舵機。

在舵機方面，本文使用20KG舵機，根據實際情況，既可組裝成多自由度的機械臂，又可與垃圾桶蓋結合，組裝成智能垃圾桶。在電壓保持恒定輸入的情況下，由PID位置式算法控制舵機可以精準迅速地達到所要求的角度。故針對各種復雜的垃圾，該舵機能很好地勝任分揀的任務。

4? 垃圾分揀系統的實現

在本節中，將實現垃圾分揀系統所用到的AlexNet模型在PC端、樹莓派端上有效的運行，并對結果進行分析。

4.1? 模型框架選取

TensorFlow是一個端到端的開源符號式數學系統，被廣泛應用于先進機器學習技術，可以隨時隨地在云端、本地甚至是瀏覽器中訓練部署模型；PyTorch是由Facebook人工智能研究院于2017年提出的，在機器視覺領域，它具有相當簡潔高效快速的框架，入門容易，設計理念是追求最少的封裝，使初學者能夠迅速入門。

TenorFlow與Pytorch的區別如表2所示。雖然TensorFlow入門難度大，編程難度也更大，但對于大數據的數量顯然較Pytorch要高，另外其社區學習資源、代碼更豐富，當代卷積神經網絡框架TensorFlow較為成熟，程序代碼已可以運用在Windows、Linux系統上。本文通過網絡上預先獲取到的圖片數據集，在Windows系統下，使用PC端中的GPU來對AlexNet卷積神經網絡模型進行訓練。為使得本設計能更符合工業化生產要求及更貼近實際生活，故采用TensorFlow作為框架[7]。

4.2? PC端模型預測

將數據集輸入提前布置好的AlexNet網絡模型代碼當中，使用PC端進行模型訓練和預測，預測腳本的代碼編寫思路是：首先載入訓練好的模型，接下來讀入圖片信息進行預測，最后展示預測的效果。使用數據爬取技術對三個數據集分別進行預測，測試結果如表3所示。

由表3可知，對三個大小差別不大的圖片數據集進行預測，其準確精度均能達到70%以上，準確精度較好；另外其分析圖片的實際時間差別不大，使用PC端GPU基本能符合快速性要求。以上，垃圾分類在PC端預測能夠得到較好的結果，可以將模型重新部署到樹莓派端。

4.3? 樹莓派端模型預測

將代碼和圖片集拷貝到樹莓派上，使用樹莓派攝像頭進行垃圾分類：激活虛擬環境后，克隆代碼并進入代碼目錄，測試好視頻接口后，打開攝像頭運行代碼開始垃圾分類。在攝像頭視野內手動放入一個礦泉水瓶，樹莓派檢測結果如圖5所示。

可以看到，樹莓派在多個時間段內判斷礦泉水瓶均屬于plastic（塑料），該圖片分類效果較好。接下來，再放入形狀與礦泉水瓶類似的罐裝可樂瓶，樹莓派檢測結果如圖6所示。

可以看到，樹莓派在多個時間段內判斷罐裝可樂瓶均屬于metal（金屬），該圖片分類效果較好。接下來，再放入不規則形狀的衛生紙，樹莓派檢測結果如圖7所示。

不斷翻轉手中的衛生紙，檢測結果均為paper（紙），該圖片分類效果較好。最后，再放入與紙材料類似的平面紙板，樹莓派檢測結果如圖8所示。

以上，可以看到四種垃圾在30秒內失誤數都較少，整體準確率均達到80%以上，故部署在樹莓派端的模型分類可以達到預期效果。

4.4? Arduino端分揀實驗

將Arduino與樹莓派串行連接，攝像頭實時拍攝需要分揀的生活垃圾，顯示屏則用作顯示當前分類的結果；Arduino控制4個舵機進而帶動垃圾桶進行開合，基于機器視覺的垃圾分揀系統圖如圖9所示。

當樹莓派檢測結果為plastic時，舵機1轉動45度；當檢測結果為metal時，舵機2轉動；當檢測結果為paper時，舵機3轉動；當檢測結果為carboard時，舵機4轉動。舵機是由信號線輸入一個PWM信號進而控制一定的角度并鎖死，現場圖片分類時，其中一個分類情況下，舵機轉動如圖10所示。

可以看到，當垃圾分類結果出現時，其中一個舵機轉動，由上述實驗結果可以得到結論：PC端內GPU可以較好地使用訓練好的模型進行預測，將模型部署到樹莓派端后，樹莓派也能在快速性的基礎上對垃圾圖片進行準確分類，同時與樹莓派進行串口通信的Arduino也能夠控制相應的舵機轉動，進而能夠將計算機有效代替人力實現垃圾分類分揀。

5? 結? 論

本設計在PC端和樹莓派端分別進行模型訓練，在GPU端使用訓練好的模型預測數據進行匯總分析后，將AlexNet網絡模型部署到樹莓派端使用，得到了多個準確的分類實驗結果，與此同時Arduino上的相應舵機角度轉動也較為精確。以上，實現了基于機器視覺的垃圾分揀系統所要求的準確性及穩定性，實驗結果較好，成本在可控范圍內；相較人力分揀而言，可代替大量重復工作，達到快速性的效果，在硬件和算法進一步完善更新的基礎上，有較好的市場前景。

參考文獻：

[1] 王蓉蓉.基于機器學習的垃圾識別與分類研究 [D].蘭州：蘭州理工大學，2021.

[2] 李健凱.基于深度學習的視覺機器人垃圾分揀系統設計 [D].天津：天津工業大學，2021.

[3] 肖揚.基于機器視覺的廢紙箱分類識別技術研究 [D].鄭州：河南大學，2020.

[4] 王喆.基于機器視覺的醫療垃圾桶識別抓取方法研究 [D].濟南：齊魯工業大學，2020.

[5] 張鳳.智能垃圾分揀系統關鍵技術研究 [D].成都：成都理工大學，2020.

[6] 黃帥.基于機器視覺的大型生活垃圾焚燒過程診斷方法研究 [D].杭州：浙江大學，2020.

[7] 段昆昕，江秋儀，陳鋒楠，等.基于樹莓派下智能分類垃圾桶設計 [J].中國新技術新產品，2022（1）：37-39.

作者簡介：陳美玲（1984—），女，滿族，吉林四平人，副教授，碩士，研究方向：智能控制、圖像處理。

收稿日期：2022-09-23

基金項目：校一般科研課題（njpj2021-2-04）