基于深度學習的智能垃圾桶設計

潘仲勛，葛宇童，董京偉，牛 爽，劉振曄

（1.北京工業大學軟件學院，北京100124；2.北京工業大學計算機學院，北京100124）

1 研究意義及現狀

本項目基于對全球智能化家居的調查和分析，通過總結各國不同的智能家居的特點，設計出以機器學習為基礎的智能家居系統。項目主要注重的是智能家居對于語音的識別，這樣既可以體現出智能家居的智能性，還可以將不同的家居統一成一個系統。在項目的設計方法中，采用先調研再設計測試，最后實現整體設計的方法，體現了結構化和模塊化的項目設計，可以很好地保證整個系統的完整性。

1.1 研究意義

智能家居最終目的是讓家庭更舒適、更方便、更安全、更符合環保。隨著人類消費需求和住宅智能化的不斷發展，今天的智能家居系統將擁有更加豐富的內容，系統配置也越來越復雜。現今市場上銷售的智能家居缺少整體性，只是簡單的模塊堆積，缺少智能性。現計劃設計研發一種對房屋整體性把控的智能家居系統，分為兩種模式：人工通過智能語音控制；無人時傳感器對房間進行自主控制。

實現智能垃圾桶的智能分類。垃圾分類被提上國家發展戰略，設計一款便于實現垃圾分類的垃圾桶顯得十分必要。目前垃圾分類面臨最大的問題是居民不清楚垃圾如何分類。現計劃研究一款垃圾桶，使用者只需要說出要丟的垃圾名字，就能實現對應種類的垃圾桶開蓋，通過軟硬件結合實現智能垃圾桶的智能分類。

家居的自動化。隨著自動化的普遍趨勢，家居的自動化也已經成為了必然的趨勢，而在無人在家時，家居能否能自動運行成為了關鍵。

人工語音識別進行電器的控制。現今市場上售賣的智能家居缺少整體性，一個家居只能獨立完成其功能，無法與實現人機交互、萬物互聯，缺少智能性。現計劃設計研發一種物聯網智能模塊，將電器智能化。通過人工語音識別進行電器的控制。

本項目主要通過以下四個方面的研究，來實現上文所述的三大基本構想。

第一部分為智能識別判斷人的語音內容研究。語言識別必是實現人工智能、智能家居的一個重要途徑。準確地識別人類語言的研究便是實現的第一步。

第二部分為語言識別與物聯網模塊結合。實現人工語言識別后，就需要對應家居做出對應的反應。實現語音識別模塊以及物聯網模塊相結合。

第三部分為通過傳感器對環境信息的采集，以及綜合自主分析，實現對家居的自動控制。現在隨著自動化的普遍趨勢，家居的自動化已經成為了必然的趨勢，而在無人在家時，家居能否自動運行成為了關鍵。

第四部分為設計新型物聯網模塊，實現普通電器也能聯網，進行語音或者APP控制，實現對普通電器的智能控制。現今市場上售賣的家居廠家眾多，要求廠家生產出來的家居都支持同一個系統的語音控制，顯然不現實。但可以研究能完成特定物聯網功能的模塊，并將普通電器進行改造，使其成為智能電器，能接受人類語音的命令。通過人類語音識別進行電器的控制。

1.2 國內外研究現狀

自1984年世界上第一套智能家居在美國建成以來，歐美和東南亞等經濟較發達的國家先后提出了各種智能家居的方案。智能家居在美國、日本、德國、法國、韓國的廣泛應用，為世界范圍內智能家居產業標準制定和業務模型探索起到了至關重要的作用。1998年微軟提出“維納斯計劃”之后，相關行業都在積極推動這個產業的發展。但是從嚴格意義上來說，目前仍處于初級啟動階段。

美國智能家居以數字家庭和數字技術改造為契機，偏重于豪華感，追求舒適和享受，但其能源消耗很大，不符合現階段世界范圍內低碳、環保和開源節流的理念。日本的智能家居是開發、設計、施工規模化與集團化，以人為本，注重功能，兼顧未來發展與環境保護，大量采用新材料、新技術，充分利用信息、網絡、控制與人工智能技術，實現住宅技術現代化。德國的智能家居追求專項功能的開發，注重基本的功能性。韓國政府對智能小區和智能家居采取多項政策扶持，規定在首爾等大城市的新建小區必須具有智能家居系統，目前，韓國全國80%以上的新建項目采用智能家居系統，產生了像三星、LG等知名的智能家居品牌。

3.1.2 個人出版物的海外傳播現狀 對于個人出版物來說，作者由于長期在某一國家從事武術教學工作，對該國的語言較為了解，能夠保證語言的表達更加準確，但是出版物中的教學內容卻缺乏標準。當前，許多在國外從事武術教學的教師，武術習練背景參差不齊，許多沒有赴外教學許可的人員也在傳播中國武術。由于教學人員自身業務素質的不足，導致其出版的紙質教材或視頻影像中，教學內容不標準，動作錯誤頻出，為中國武術的海外傳播帶來了阻礙。

2 智能垃圾分類箱總體結構設計

2.1 日常家庭垃圾產生情況

垃圾分類是環境質量全面改善的必然要求，垃圾分類是化解“鄰避效應”的必然要求[1]。筆者們對于家庭日常垃圾產生情況進行調研，此調研依據作為設計垃圾桶功能分區的重要前提。通過數據搜集，數據分析以及相關文獻研究得到以下分析情況。

通過“全國各省歷年統計年鑒”搜集了家庭日常購買產品情況，包裝行業的數據，國家地區垃圾產生量，具體如表1所示。

表1 日產生各類垃圾質量占比

從表1中可以看出不可回收垃圾和廚余垃圾日產生占比基本一致，可回收垃圾產生量最大，對于家庭來說，有害垃圾產生量最小。

2.2 功能區域劃分

目前，國內家用垃圾分類普及率低，原因在于垃圾分離所需垃圾桶數量多、某些垃圾異味容易散發[2]。根據日常家庭垃圾產生情況，筆者們設計了以下垃圾桶，如圖1所示。

圖1 垃圾桶

3 語音識別模塊及其技術基礎

此程序使用的是Python語言，同時也使用了百度云提供的語音識別技術。選擇Python進行編程是因為其編寫簡單、代碼簡潔且功能強大，使用其所擁有的各種包、庫來完成語音識別的功能。

程序分為兩個部分。第一個部分是實時進行用戶的語音錄入，使用Python的PyAudio來實現這一功能，設置采樣率為百度語音識別所需要的16 000，并將其保存為一個wav文件；第二個部分是調用百度云提供能的語音識別技術的庫函數進行語音向字符串的轉換。

在開發的初期，普通話的語音識別有50 000次的免費試用次數，也大大降低了產品開發的相關成本，比較適合項目的需要。

4 利用深度學習實現根據圖片識別垃圾

4.1 深度學習的優缺點

深度學習是近些年以來人工智能領域的一項非常火爆的技術。它在數字圖像處理、自然語言處理、語音識別等領域有著廣泛的應用。它有著學習能力強、覆蓋范圍廣、適應性好、數據驅動、上限高、可移植性好等優點，但同時也存在著計算量大、便攜性差、模型設計復雜、容易存在偏見等客觀缺點。因此筆者們在實驗過程中通過圖像增強優化來提高各種垃圾的特征，通過提高訓練次數來盡量找出最優模型的方式來盡可能地提高準確率[3]。

4.2 數據集采集和標注

深度學習是近十年來人工智能領域取得的重要突破。它在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領域的應用取得了巨大成功[4]。垃圾圖片的數據集通過網絡上大量的彩色垃圾圖片進行采集，收集了金屬工具、塑料包裝等二十種，共計一千余張的垃圾圖片，如圖2、圖3所示。通過json文件進行對垃圾突變類型的標注。

圖2 垃圾圖片數據集種類

圖3 垃圾圖片數據集（部分）

4.3 圖像增強優化

為了能夠最大化地利用數據，利用少量的數據能獲得更多的訓練集和更好的訓練效果，對訓練數據圖片進行增強是一個十分有效的手段，于是將一張原圖片進行旋轉，平移后能強調某些特征，擴大圖像中的不同垃圾物體特征之間的差異，加強圖像判斷和識別效果，具體如圖4、圖5所示。

圖4 對圖片的隨機平移

4.4 訓練模型問題及優化

在實驗的過程中，筆者們發現模型對于所要預測的圖片的明暗色彩區分度并不是很高，導致在有些特殊場景下分不清不同種類的垃圾，有時會因此出現堆疊垃圾的漏識現象。針對這個問題，筆者們通過提高epoch（訓練次數），將training loss降低并且將模型不斷優化保存以及利用上述所提到的圖像增強優化來不斷提高不同種類垃圾之間的特征值差異這兩種方法來提高準確性。

4.5 預測效果

通過對原圖像與預測圖像進行對比，效果基本符合預期，具體如圖5、圖6所示。

圖5 對圖片的隨機旋轉

圖6 原圖像

4.6 結語

通過以上對圖片增強處理以及對與模型的訓練次數及優化和數據集的優化處理后，垃圾分類識別的準確度得到了顯著提高，但是仍然存在著在較暗環境下的垃圾堆疊、漏識、誤識現象。但是由于使用的深度學習方法所用到的硬件要求并沒有很高，并且也并不需要外接設備來進行實時監控，同時也有著可觀的準確率，符合實際場景的分類需求。

圖7 預測圖像