基于神經網絡的智能垃圾分類軟件設計與實現

余東 敬超*

（桂林理工大學信息科學與工程學院，廣西 桂林541004）

我國垃圾分類始于20 世紀90 年代，但垃圾分類仍然處于原地踏步的窘境，沒有被居民接受，長期處于“試行”狀態。直到2019 年1 月31 日，《上海市生活垃圾管理條例》正式成為地方性法規，并于2019 年7 月1 日起強制實施，當地垃圾分類才取得顯著效果。2020 年初，桂林市就宣布開始在全市全面啟動生活垃圾分類工作，垃圾分類已成為居民日常生活中所必須面對的問題。

本文設計的是一款運行在Android 手機系統的APP[1]，通過在 Android 應 用 本 地 部 署 預 訓 練 神 經 網 絡ResNeXt-101-32x16d-wsl 模型，實現視頻實時智能垃圾分類，同時在APP 中構建生活中常見的垃圾物品，具有6800 多條數據信息的數據庫，從而實現語音和文字查詢垃圾類別功能。最后整體采用CS 模式，使用Flask 構建遠程服務器，實現客戶端和服務器之間的數據傳輸。經過單元測試和確認測試，AI 識別準確率在90%以上，APP 各個功能模塊運行正常，性能穩定可靠。Android 程序設計采用MVVM 模式，實現數據驅動、低耦合度、可復用性，同時做到了垃圾分類離線識別，大大提供了用戶體驗。

1 神經網絡設計

1.1 神經網絡概述[2]

在缺乏大規模數據標注數據集的情況下，本文設計采用遷移學習來獲得能夠提取特征的CNN 網絡，采用的是神經網絡ResNeXt-101-32x16d-wsl 預訓練模型，該模型對Instagram（9.4億）數據集進行弱監督訓練，對ImageNet-1k 中finetune 的參數進行微調，具有很強的圖片特征提取能力。

首先根據圖片類別數目確定神經網絡結構，然后制作數據集，對獲取數據進行清洗、增強，確定超參數之后，開始訓練神經網絡，在訓練過程中記錄損失函數值和驗證集通過率，用于參數調優，最后將神經網絡部署到其他平臺進行應用，實現AI識別功能。

1.2 構建數據集

本文設計的神經網絡可以識別生活中常見的4 大類40 小類垃圾物品，收集到的網上開源數據有14000 張圖片左右。此外，使用多線程爬蟲爬取百度圖片17 萬張圖片，爬取的圖片是根據關鍵詞搜索出來的結果圖片，除了我們需要的圖片，還有許多相關圖片，如搜索“煙頭”的圖片，會有煙蒂柱、戒煙圖片等臟數據，此外，還有圖片是非RGB 三通道圖片，也是臟數據，都需要進行數據清洗。進行數據清洗之后，一共還有73600 張圖片，按照8：2 的比例對數據進行劃分為訓練集和驗證集。

訓練前需對數據進行預處理，將圖片等比例縮放到1：1，然后再進行中心剪切，尺寸為224*224，最后對圖片進行水平翻轉，高斯噪聲，旋轉角度等。

1.3 模型訓練及部署

在本節主要過程為加載數據集，構建神經網絡，訓練神經網絡及神經網絡部署。

（1）加載數據集。使用Torch 的DataLoader 接口，加載本地磁盤已經經過清洗的數據集，在加載過程中，對數據進行打亂、增強，其中數據增強的Python 相關代碼如下：

（2） 構建神經網絡。 這里采用預訓練模型ResNeXt-101-32x16d-wsl，加載預訓練參數之后，凍結網絡參數，最后修改網絡的全連接層，使神經網絡能夠做到對40 類圖片進行分類，其構建過程的Python 相關代碼如下：

（3）模型訓練。這個過程中涉及定義優化器和損失函數、是否斷點續訓、參數保存等等，整體訓練的Python 相關代碼如下：def train_network（**arg）：

經過測試確定模型訓練的超參數，對預訓練模型ResNeXt-101-32x16d-wsl 訓練了16 批次之后，損失值和準確率變化如圖1 所示，其中損失函數值最低為0.248，驗證集準確率最高為90.8%。

（4）模型部署。本設計需要將神經網絡部署到Android 客戶端，這里使用PyTorch 官方在PyTorch 版本1.3 以上提供的模型轉化工具PyTorchMobile。

圖1 損失函數值和驗證集通過率變化圖

2 軟件實現

2.1 AI 識別垃圾類別功能實現

通過 Jetpack CameraX 組件調用手機攝像頭，在PreviewView 控件中實現畫面預覽，自定義一個Image analysis圖像分析器，CameraX 會將視頻畫面的每一幀圖片傳入這個圖像分析器，在圖像分析器中，調用神經網絡模型對圖片進行識別，對識別結果進行解析之后，通過回調，將識別結果也就是圖片中物品所屬的垃圾類別返回并顯示在手機頁面上，同時為了防止光線過暗，添加了手電筒功能。

2.2 語音查詢垃圾類別功能實現

在科大訊飛官網注冊一個賬號并創建一個具有語音識別功能的應用，拿到APPID 用于初始化語音識別API。自定義一個按鈕控件AudioButton 和錄音彈窗AudioDialog，重載錄音按鈕的onTouchEvent（）函數，并實現錄音動畫。

AudioButton 按鈕具有三種狀態：未按住按鈕的正常狀態、一直按住的錄音狀態和手指移動到按鈕范圍之外的取消錄音狀態，其中后兩者分別對應onTouchEvent 的ACTION_DOWN 和ACTION_MOVE 事件，不同的狀態會觸發不同的事件和彈窗效果。按鈕按下時，觸發錄音彈窗并開始錄音，實時將錄音發送到訊飛開放平臺進行語音識別，通過對語音識別API 的SpeechRecognizer 設置，使得返回的結果是已經經過了分詞處理。如：“西瓜皮是什么垃圾”，返回的結果為：西瓜皮、是、什么、垃圾，經過簡單的字符串匹配，確定用戶要查詢的關鍵詞為“西瓜皮”，在得到語音識別結果和關鍵詞之后，通過回調將信息傳給AudioButton，再回調給Fragment，之后通過關鍵詞查詢數據庫，最后將語音識別結果和查詢結果展示給用戶。具體實現如圖2 所示。

圖2 智能垃圾分類界面

2.3 文字檢索垃圾類別功能實現

將SearchView和RecyclerView控件結合構成一個帶下拉列表的搜索框，在搜索框SearchView 中輸入垃圾物品的名稱或關鍵詞，會實時對數據庫進行查詢并將搜索結果顯示在下拉列表RecyclerView 中。 實時搜索主要是重載 SearchView.OnQueryTextListener 中的onQueryTextChange（）方法，每當搜索框SearchView 中內容發生改變時，都會被onQueryTextChange（）方法監聽到，在onQueryTextChange（）方法中根據搜索框里的內容對數據庫進行模糊查詢，并將查詢結果顯示在RecyclerView中。文字檢索頁面效果圖如3 所示。

圖3 文字檢索頁面

2.4 生活垃圾百科功能實現

該功能主要是對垃圾數據庫數據分類展示的效果，主要是將TabLayout 和ViewPager2 控件結合起來實現不同類別垃圾數據頁面可以左右滑動和點擊TabLayout 進行切換[3]，在每個頁面中都是通過RecyclerView 和PagedListAdapter 對數據進行展示的。實現界面如圖4 所示。

2.5 分享與反饋功能實現

分享功能是通過Android 自身提供的底層API 實現的，可以將要分享的內容分享到手機上可以被分享的軟件。相關代碼如下：

反饋功能是通過第三方庫okhttp3 實現服務器和客戶端之間的數據傳輸，主要是將用戶輸入到文本框EditText 中的信息發送到遠程服務器，服務器在成功接收信息之后向客戶端返回一個成功標志，并將反饋信息記錄到服務器數據庫中。

圖4 生活垃圾百科頁面

本文基于Android 平臺設計了一款具有實時AI 識別、語音查詢、文字檢索等對垃圾進行分類的功能的移動應用軟件[4]，能夠滿足居民日常垃圾分類的需要。一方面能夠及時且有效解決居民因垃圾分類知識儲備不足而難以對垃圾物品進行正確垃圾的問題；另一方面從長期來看，潛移默化中提高居民垃圾分類的本領，同時也是對我國環保事業的一份助力。