基于語音識別的智能分類垃圾桶設計與實現

王亞磊 季曄 李彬 馮崇 丁文豪

摘? 要：為改善人們的生活體驗，提高人們生活的自動化、智能化水平，設計一款基于語音識別的智能分類垃圾桶，實現垃圾桶實時聯網、智能分類等功能。該垃圾桶采用Kaldi工具對輸入音頻進行處理，實現語音識別，識別結果通過串口通信經上位機傳輸給單片機，單片機控制舵機轉動，實現對垃圾的分類。同時，垃圾桶的內置傳感器可以實時獲取垃圾桶內溫度等狀態信息，并通過ESP266模塊上傳云端，能夠讓用戶在APP終端實時了解垃圾桶內的情況。該設計成本低廉，分類準確率高，可用于智能家居等多種場景，有著廣闊的應用前景。

關鍵詞：語音識別；智能垃圾桶；Kaldi；垃圾分類；智能化；人工智能

中圖分類號：TN912.34? 文獻標識碼：A? 文章編號：2096-4706（2023）17-0156-04

Design and Implementation of Intelligent Classification Garbage Bin Based on Speech Recognition

WANG Yalei1， JI Ye1， LI Bin1， 2， FENG Chong1， DING Wenhao3

（1.School of Intelligent Manufacturing， Luoyang Institute of Science and Technology， Luoyang? 471023， China; 2.Henan International Joint Laboratory of Cutting Tools and Precision Machining， Luoyang Institute of Science and Technology， Luoyang? 471023， China; 3.School of Mechatronics Engineering， Henan University of Science and Technology， Luoyang? 471003， China）

Abstract： To improve people's living experience and enhance their level of automation and intelligence， a speech recognition-based intelligent classification garbage bin is designed to achieve real-time networking and intelligent classification of garbage bins. The garbage bin uses Kaldi tool to process input audio and achieve speech recognition. The recognition results are transmitted to the Single-Chip Microcomputer through serial communication through the upper computer， and the Single-Chip Microcomputer controls the rotation of the servo to achieve garbage classification. At the same time， the built-in sensor of the garbage bin can obtain real-time temperature and other status information inside the garbage bin， and upload them to the cloud through the ESP266 module， allowing users to understand the situation inside the garbage bin in real time on the APP terminal. This design has low cost， high classification accuracy， and can be used in various scenarios such as smart homes， which has broad application prospects.

Keywords： speech recognition; intelligent garbage bin; Kaldi; garbage classification; intelligence; artificial intelligence

0? 引? 言

隨著經濟的發展，人們物質生活日益豐富，同時也產生了大量的垃圾。過去垃圾的處理方式通常是焚燒、掩埋，對空氣和土壤造成了嚴重的污染。在此情況下，2017年國務院辦公廳下發《生活垃圾分類制度實施方案》，此舉加速了垃圾分類的推進與實施。垃圾經過分類，再進行處理減少了對環境的污染，提高了垃圾的回收利用率。本文根據垃圾分類過程中的痛點，介紹了一種基于語音識別的智能分類垃圾桶，將垃圾分為可回收垃圾、廚余垃圾、有害廢物和其他廢棄物4種類型。

本文通過語音識別技術，實現無接觸垃圾投放并進行分類，提高垃圾的回收率。語音識別運用Kaldi工具對輸入語音進行信息處理，實現語音識別并分類，經上位機通過Python程序中的串口通信功能將識別結果傳輸給單片機，單片機控制對應垃圾種類的舵機轉動并用語音播報模塊播報垃圾種類。溫度傳感部分采用DS18B20溫度傳感器識別垃圾桶內溫度并由數碼管外部顯示，利用ESP8266模塊將溫度信息上傳至物聯網平臺，使用戶在手機端可遠程查看垃圾桶的環境溫度，避免發生安全問題。

1? 智能分類垃圾桶的結構與原理

1.1? 智能分類垃圾桶的結構

智能分類垃圾桶由底座、4個扇形垃圾桶、垃圾投放機構等部分組成，其構成及外形如圖1所示，

1.2? 智能分類垃圾桶的原理

如圖2所示，智能分類垃圾桶的工作原理為：將垃圾放在入口的轉盤上，通過輸入垃圾類型的自然語言指令，麥克風將收集到的音頻信息，傳送給裝有Kaldi的上位機，Kaldi將識別結果傳送給STC89C51主控芯片，主控芯片控制舵機執行指令，旋轉一定角度，實現垃圾投放，同時語音播報模塊輸出所投放的垃圾類型。智能垃圾桶內置DS18B20溫度傳感器，一方面通過STC89C51主控芯片，將垃圾桶內溫度傳輸到溫度顯示模塊；另一方面，通過ESP8266模塊，將垃圾桶內溫度上傳到Wi-Fi模塊，用戶可以在無線終端實時觀察內部溫度，此功能可實現高溫報警，防止內部著火。

2? Kaldi語音識別原理與模型的搭建

語音識別目前應用于手機、計算機、平板電腦和其他類型機器，使機器能夠接受、處理、識別和理解人類話語，它使用自然語言作為輸入來觸發動作，使我們的設備能夠響應我們的口頭命令。Kaldi是一種先進的自動語音識別（ASR）工具包，包含目前在ASR系統中使用的幾乎所有算法，以及詳細的文件和腳本用于構建完整的識別系統。本文Kaldi的使用在Linux系統下安裝和運行。

Kaldi對收集的音頻信息進行采樣頻率轉換、去噪等預處理，然后將音頻信息轉換成特征向量，進行語音模型訓練，獲得聲學模型。工作過程中，通過對實時獲取的音頻信息進行解碼，得到最終的識別結果。解碼中，先使用聲學模型統計各個音素的概率，然后用語言模型對音素評分，獲得最終識別結果。

在語音識別中，Kaldi可以對語音作信號處理，借助聲學模型和語言學模型，解碼獲得語言文本。圖3是語音識別的過程。本文使用Kaldi工具，根據實際需求搭建自己的聲學模型和語言模型，幫助完成語音識別。Kaldi的數據準備需要4個文本內容——wav、spk2utt、utt2spk和text。其中，wav文本包含了音頻編號和音頻的絕對路徑，spk2utt包含了音頻編號和對應的發音著編號，utt2spk包含了說話人編號和此人所有的音頻編號，text則是每個音頻中的發音文本，如表1所示。

發音詞典（Lexicon）表示了每個字、詞與音素之間的對應關系，用來把聲學模型和語言模型連接起來，用于解碼工作。Lexicon文件中包含了音頻文本中所有詞匯與音素之間的對應，一般還需要對音頻文本進行分詞操作，由于本次錄制音頻內容都為詞匯，則可以直接進行音素對應。為了獲取每個詞的發音，可以下載中文語音的發音詞典集，本次采用了清華大學實驗室的中文語音數據集中的詞典。將所有的詞匯與音素對應后，存儲在Lexicon中，其中SIL表示靜音音素。如圖4所示。

根據發音詞典和靜音因素的結合，可以由Kaldi工具中的prepare_lang.sh生成L.fst，構成有限狀態轉換器。有限狀態轉換器每個狀態節點通過弧線相連，每條弧上包含了輸入和輸出內容，還有相應的權重。L.fst中包含了每個詞匯從初始狀態到末端狀態的路徑，路徑上包括輸入的音素以及輸出的詞。Kaldi工具中具備的繪圖功能，可以將fst可視化輸出。

對text分詞處理，可以獲得語料，由于本次設計中詞匯并不需要做分詞處理，可以將text直接當作語料處理。在對語料中詞匯做統計處理后，運用Kaldi中的ngram-count命令，可以獲得語料的統計文件以及一元的語言模型。利用生成的語言模型，使用Kaldi工具的format_lm_sri.sh命令，即可獲得G.fst。如圖5所示。

mfcc特征中保留了音頻中語義部分的內容，過濾掉背景音等無效音素，對音頻運用make_mfcc.sh和compute-cmvn-stats.sh命令提取聲學特征和計算倒譜均值方差歸一化系數后，就能利用train_mono.sh命令結合L.fst和G.fst訓練單因子聲學模型。考慮到音素的發音通常受相鄰音素的影響，還需要進一步訓練三音子模型。將訓練出的三音子模型導入Kaldi的online_demo項目下，即可利用麥克風或者音頻文件進行語音識別，輸出文本。

3? 硬件選型

當前單片機芯片的種類有很多，根據實用性和可操作性，最終選擇了宏晶公司生產的STC89C52RC芯片。輸入音頻，經上位機語音識別后，會輸出垃圾種類。編寫的Python程序可以讀取垃圾種類，并將其利用Python中的串口通信功能發送給單片機，用來控制舵機和語音播報模塊的運行。

舵機是常見的執行部件，可以用在需要較為精確地控制角度變化的控制系統，通常用于遙控玩具中，也可以用在小型機器人項目中。本裝置選用簡單可控的SG90舵機，其價格便宜，應用較廣，可以用來模擬垃圾桶蓋的開關。

在垃圾類別被識別出后，除了舵機模擬對應類別垃圾桶蓋的開關，還需要語音播報模塊用來外放垃圾種類，幫助居民掌握垃圾分類知識。DY-SV17F是一種語音播報模塊，具有多種工作模式，板載32 MB大小的存儲空間，可以直接通過USB接口傳輸音頻文件來自定義語音播放的內容。

垃圾分類過程中，安全問題不容忽視。針對安全隱患，本文添加了溫度檢測部分。包含溫度檢測模塊和Wi-Fi通信模塊。目前用于溫度檢測的傳感器種類有很多，如SHTC3、MCP9808T-E/MC、AD592、DS18B20等，本文選用了DS18B20，DS18B20具有體積小、接線方便、傳輸速率高等優點。該傳感器正常運作下電壓范圍為3.0～5.5 V，零待機功耗，能夠以0.5 ℃的精準度測量-10～+85 ℃的溫度，支持自定義多精度的溫度分辨率，在溫度檢測和控制系統中應用廣泛。

程序中，初始化函數可以根據信號線的電平變化來判斷傳感器是否存在，寫字節函數可以按位從低到高將數據發送出，讀字節函數則按位讀取從傳感器傳輸過來的數據。DS18B20的各個功能是按照指令表，由單片機寫入的命令來運行。

4? 系統軟件設計

舵機采用定時器作為定時時鐘發出脈沖信號，根據定時器溢出公式計算出初值。選用定時器0輸出脈沖信號，程序包括定時器初始化和定時器中斷。初始化中包括設置定時器工作方式和設置初值等，初始化完成后，每達到重裝載值就會進入定時器中斷函數，定時器中斷中將重置初值并計數，根據舵機的PWM周期按轉動角度的占空比依次輸出高低電平。

語音播報模塊用于播報垃圾種類，采用IO觸發模式，低電平觸發，4個IO口分別控制播報4個垃圾類別。垃圾類別由上位機傳輸到單片機后，隨即拉低對應IO口引腳。

上位機完成語音識別后，Python程序會讀取識別的垃圾種類結果，利用serial庫的串口通信功能將結果發送給單片機。

單片機的串口通信在初始化后，每當上位機傳輸數據時，單片機會進入串口中斷，在中斷中將數據存儲在全局變量中，根據變量數值來判斷垃圾的種類。

DS18B20溫度傳感器的控制需要嚴格按照時序圖進行，在溫度數據檢測的過程中，需要編寫傳感器的初始化、寫入字節和讀取字節的功能函數。傳感器初始化完成后，即可按照指令集向傳感器寫入轉換溫度并讀取溫度的命令，轉換完成后，讀取字節函數就能將轉換后的溫度數據存儲在變量中。

為了避免局域網或者藍牙傳輸數據的距離限制，本文將溫度數據經ESP8266傳輸到物聯網平臺，物聯網平臺提供了遠程可靠的數據通信功能，集成了設備管理、數據安全通信和消息訂閱等能力，向下支持大量設備，允許設備數據發送到云端。阿里云生活物聯網平臺是阿里云搭建的一個公有云平臺，提供了開發、調試、運維及管理等功能，可快速實現消費裝置的智能化，支持開發設備在國內及海外激活。在該平臺開發設備，平臺提供了蜂窩、Wi-Fi、以太網等多種設備接入方案，設備下也提供了多種自定義功能。設備注冊成功后，平臺會提供用戶名及密碼，保障了用戶隱私安全，同時支持多個設備接入。在人機交互方面，平臺支持免開發的云智能APP功能及自由化的界面設計，界面中可綁定功能屬性來顯示屬性內容，快速簡便地實現設備界面的可視化。設備調試功能中，用戶可調試設備下的各個功能，根據設備發送的內容對設備進行調整，排除故障。

ESP8266模塊與單片機以串口通信方式傳輸數據，利用AT指令控制Wi-Fi模塊運行。開始透傳后，ESP8266模塊會將從單片機發來的數據由TCP端口發送到阿里云服務器，實現單片機向云服務器的數據傳輸。

溫度檢測部分硬件如圖示。單片機上電后數碼管顯示正常，溫度數據經ESP8266模塊傳輸到阿里云服務器，在云智能APP中同步顯示，如圖6所示。

5? 結? 論

本文將語音識別與垃圾分類結合，通過訓練的語音模型完成語音識別，整個系統以單片機為主控制器，將語音識別后的信息以串口通信的方式從上位機傳輸給單片機。外設則搭配了舵機、語音播報模塊、溫度檢測模塊、顯示模塊和Wi-Fi通信模塊。在獲得語音識別結果后，舵機模擬對應種類垃圾桶的開合，語音播報模塊播放垃圾種類。系統控制溫度檢測模塊實時采集垃圾桶的環境溫度，并通過兩位數碼管顯示。溫度信息還通過Wi-Fi通信模塊傳輸到阿里云平臺，通過云智能APP顯示，使得可以遠程觀測溫度，避免發生安全事故。通過實際結果測試，設定的垃圾種類詞匯語音識別率達72%左右，溫度檢測值可以在數碼管準確顯示，阿里云平臺調試結果正常，能夠在APP界面觀測到溫度值，實現了溫度信息的遠程查看。

參考文獻：

[1] 廖盛澨，曾俊，徐崇.基于Kaldi的智能語音識別在物聯網中的應用研究 [J].電聲技術，2022，46（1）：10-13.

[2] 王凱.基于Kaldi的語音識別研究 [D].南京：南京郵電大學，2021.

[3] 李春雨.基于Kaldi的語音識別系統構建與調優 [D].長沙：湖南大學，2021.

[4] 彭燕子，柏杰，曹炳堯，等.基于Kaldi的AI語音識別在嵌入式系統中的應用研究 [J].工業控制計算機，2020，33（9）：64-67.

[5] 張德良.深度神經網絡在中文語音識別系統中的實現 [D].北京：北京交通大學，2015.

[6] 李娜，葛萬成.語音關鍵詞識別系統的模型訓練及性能評價 [J].信息通信，2020（3）：8-10.

[7] 陳康寧.基于深度學習的語音關鍵詞檢測技術研究 [D].廣州：華南農業大學，2019.

[8] 溫登峰. 基于循環神經網絡的語音識別聲學建模研究 [D].重慶：重慶郵電大學，2019.

[9] 楊勝捷，朱灝耘，馮天祥，等.基于Kaldi的語音識別算法 [J].電腦知識與技術，2019，15（2）：163-166.

[10] 王成.基于深度學習的語音識別方法研究 [D].西安：西安工程大學，2018.

[11] 袁翔.基于HMM和DNN的語音識別算法研究與實現 [D].江西：江西理工大學，2017.

作者簡介：王亞磊（1991—），男，漢族，河南平頂山人，助教，碩士，主要研究方向：機器人工程；季曄（1982—），男，漢族，江蘇大豐人，副教授，博士，主要研究方向：機器人機構學；李彬（1982—），男，漢族，山東濟南人，教授，博士，主要研究方向：先進制造技術研究；馮崇（1989—），男，漢族，河南駐馬店人，講師，碩士，主要研究方向：機器人系統集成；丁文豪（1999—），男，漢族，江西豐城人，碩士在讀，主要研究方向：機械工程領域。