基于圖像識(shí)別與語音識(shí)別的智能分類垃圾箱

摘 要：隨著經(jīng)濟(jì)的迅速發(fā)展，垃圾分類受到了越來越多的重視。設(shè)計(jì)了一種以STM32F103C8T6為主控芯片的智能分類垃圾箱，由LD3320語音識(shí)別模塊、SYN6288語音播報(bào)模塊實(shí)現(xiàn)對(duì)語音關(guān)鍵詞的識(shí)別以及相應(yīng)信息的播報(bào)，由OpenMV4 h7 plus實(shí)現(xiàn)對(duì)垃圾類別的識(shí)別，之后語音播報(bào)垃圾的種類并且舵機(jī)將對(duì)應(yīng)的垃圾箱門打開。垃圾被放入垃圾箱時(shí)，判斷垃圾箱內(nèi)垃圾容量是否已滿，若已滿則通過藍(lán)牙串口將對(duì)應(yīng)垃圾箱已滿信息發(fā)送給手機(jī)APP；同時(shí)還能通過太陽能板對(duì)電池充電。經(jīng)過一系列測試，智能分類垃圾箱對(duì)各類垃圾的識(shí)別率均達(dá)到了99%，減少了由于垃圾處理不合理而產(chǎn)生的環(huán)境污染問題。

關(guān)鍵詞：STM32F103C8T6單片機(jī)；垃圾圖像識(shí)別；OpenMV4 h7 plus；語音關(guān)鍵詞識(shí)別；語音播報(bào)；對(duì)射式紅外傳感器

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）10-00-04

0 引 言

近些年，隨著我國經(jīng)濟(jì)的高速發(fā)展、居民生活水平不斷提升，生活垃圾總量保持增長態(tài)勢，生活垃圾的處理壓力也不斷增大。目前，垃圾分類主要依靠居民自發(fā)進(jìn)行，雖然取得了一定的效果，但是亂投亂放的現(xiàn)象仍然不可避免。因此，綜合現(xiàn)有垃圾分類的問題，本文設(shè)計(jì)了一款基于圖像識(shí)別與語音識(shí)別的智能分類垃圾箱，該產(chǎn)品不僅能對(duì)需要投放的垃圾進(jìn)行分類，還能夠播報(bào)識(shí)別的垃圾種類、自動(dòng)打開垃圾箱門、檢測垃圾箱容量是否已滿、向手機(jī)發(fā)送垃圾箱已滿的信息、使用對(duì)射式紅外傳感器和太陽能板實(shí)現(xiàn)節(jié)能等。該智能分類垃圾箱提高了垃圾分類的效率，為垃圾分類的實(shí)現(xiàn)提供了便利渠道。

1 整體方案設(shè)計(jì)

基于圖像識(shí)別與語音識(shí)別的智能分類垃圾箱以STM32F103C8T6作為系統(tǒng)的控制和運(yùn)算數(shù)據(jù)處理單元，采用語音識(shí)別模塊識(shí)別用戶說出的關(guān)鍵詞后，舵機(jī)打開相應(yīng)的垃圾箱門，同時(shí)語音播報(bào)模塊播報(bào)對(duì)應(yīng)垃圾箱的分類。通過OpenMV4 h7 plus對(duì)指定位置的垃圾進(jìn)行識(shí)別，并判斷垃圾箱內(nèi)容量是否已滿，若是，則通過藍(lán)牙串口發(fā)送垃圾箱容量已滿的信息給手機(jī)APP。同時(shí)，通過安裝在垃圾箱上的紅外傳感器感應(yīng)是否有人存在，從而使系統(tǒng)處于待機(jī)狀態(tài)或者開機(jī)模式。基于圖像識(shí)別與語音識(shí)別的智能分類垃圾箱的硬件結(jié)構(gòu)如圖1所示。

系統(tǒng)由STM32F103C8T6單片機(jī)、OpenMV4 h7 plus、SYN6288語音播報(bào)模塊、對(duì)射式紅外傳感器、LD3320語音識(shí)別模塊、MG90舵機(jī)以及HC-05藍(lán)牙模塊組成。系統(tǒng)上電后，語音識(shí)別模塊首先識(shí)別用戶說出的語音關(guān)鍵詞，之后通過語音播報(bào)模塊播報(bào)對(duì)應(yīng)垃圾箱的分類并控制對(duì)應(yīng)舵機(jī)打開垃圾箱門。圖像識(shí)別部分通過OpenMV4 h7 plus對(duì)垃圾進(jìn)行識(shí)別，將識(shí)別的結(jié)果通過I/O口發(fā)送電平信號(hào)給單片機(jī)STM32F103C8T6，之后語音播報(bào)垃圾種類，主控制器將對(duì)應(yīng)垃圾箱門打開。發(fā)送垃圾箱已滿信息部分則是在檢測到垃圾箱內(nèi)垃圾容量已滿的情況下，通過藍(lán)牙串口將對(duì)應(yīng)的垃圾箱容量已滿信息發(fā)送給手機(jī)。節(jié)能部分通過對(duì)射式紅外傳感器感應(yīng)是否有人體存在，從而控制系統(tǒng)的狀態(tài)。

2 硬件設(shè)計(jì)

2.1 主控芯片的選擇

STM32為ARM公司出品的高性能、低功耗的32位Cortex-M3 CPU，STM32F1系列的最高工作頻率為72 MHz，該芯片集成了32～512 KB的FLASH存儲(chǔ)器，6～64 KB的SRAM存儲(chǔ)器。STM32F4系列的工作頻率高達(dá)168 MHz，具備多種外設(shè)，如ADC、DAC、SPI、DMA、IC和UART等。STM32實(shí)時(shí)性強(qiáng)，對(duì)數(shù)據(jù)的處理速度更快。STM32F103C8T6最小系統(tǒng)包括外部引腳電路、電源濾波電路、晶振電路、降壓電路、復(fù)位電路、LED電路、SWD下載電路、系統(tǒng)時(shí)鐘電路和USB電路[1]，綜上可知，該芯片符合本系統(tǒng)對(duì)外設(shè)和運(yùn)算能力的要求。因此，本系統(tǒng)的主控芯片選用STM32F103C8T6。STM32F103C8T6芯片電路如圖2所示。

2.2 圖像識(shí)別部分

OpenMV是一個(gè)開源、低成本、功能強(qiáng)大的機(jī)器視覺模塊。OpenMV模塊以STM32H7為核心，集成了OV7725攝像頭芯片，在小巧的硬件模塊上，向開發(fā)者提供Python編程接口[2]。OpenMV上的機(jī)器視覺算法包括數(shù)字識(shí)別、人臉檢測、標(biāo)志物識(shí)別、眼球跟蹤、色塊尋找等。可以實(shí)現(xiàn)物體分類、跟蹤固定標(biāo)記物、二維碼條形碼識(shí)別等，并且操作簡單，使用方便。OpenMV利用卷積神經(jīng)網(wǎng)絡(luò)搭建跟蹤框架，對(duì)圖像中的物體目標(biāo)進(jìn)行實(shí)時(shí)預(yù)測與追蹤，OpenMV攝像頭可獲取每幀圖像的特征，對(duì)圖像的顏色、紋理、形狀等特征點(diǎn)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，將訓(xùn)練好的數(shù)據(jù)模型和原圖進(jìn)行對(duì)照[3]。本系統(tǒng)采用OpenMV4 h7 plus對(duì)垃圾進(jìn)行分類識(shí)別，對(duì)常見垃圾進(jìn)行拍照，并且將拍攝的不放垃圾的圖片設(shè)置為空白對(duì)照組，之后將模型上傳至云端進(jìn)行訓(xùn)練。將訓(xùn)練后的模型導(dǎo)入OpenMV4 h7 plus，完成模型訓(xùn)練后，把垃圾放到指定位置時(shí)，可以通過OpenMV4 h7 plus對(duì)其進(jìn)行識(shí)別。同時(shí)，SYN6288語音合成模塊播報(bào)對(duì)應(yīng)的垃圾分類情況并且將對(duì)應(yīng)垃圾箱的門打開。

2.3 語音識(shí)別播報(bào)

語音識(shí)別功能采用LD3320語音識(shí)別模塊實(shí)現(xiàn)，該模塊能實(shí)現(xiàn)對(duì)關(guān)鍵詞的識(shí)別，具有獨(dú)有的快速而穩(wěn)定的優(yōu)化算法，可識(shí)別中英文，具有非特定人語音識(shí)別等優(yōu)點(diǎn)。LD3320是一款由ICRoute公司出品的語音識(shí)別專用芯片，該芯片集成了語音識(shí)別處理器和部分外圍電路，包括A/D和D/A轉(zhuǎn)換器、麥克風(fēng)接口、聲音輸出接口等[4]，可以很方便地和芯片管腳連接，并且此模塊無需外接其他輔助芯片，即可實(shí)現(xiàn)語音識(shí)別或者人機(jī)交互對(duì)話。語音播報(bào)采用SYN6288語音合成模塊，該模塊接收需要實(shí)現(xiàn)從文本到語音轉(zhuǎn)換的文本數(shù)據(jù)，之后通過喇叭進(jìn)行語音播報(bào)。SYN6288中文語音合成芯片是北京宇音天下科技有限公司于2010年初推出的一款性價(jià)比更高、效果更自然的中高端語音合成芯片[5]。該模塊通過軟件將需要的聲音轉(zhuǎn)換為十六進(jìn)制數(shù)據(jù)并加入代碼。該模塊與單片機(jī)通過串口連接，單片機(jī)通過串口向該模塊發(fā)送包含聲音內(nèi)容的GB2312編碼，之后該模塊播放接收的聲音[6]。該模塊支持多種格式的文本，能夠?qū)崿F(xiàn)播報(bào)相應(yīng)垃圾種類的功能。LD3320模塊電路如圖3所示。SYN6288模塊電路如圖4所示。

2.4 藍(lán)牙發(fā)送信息

采用HC-05藍(lán)牙模塊實(shí)現(xiàn)與手機(jī)的無線通信。使用者可以通過該藍(lán)牙模塊自帶的LED燈的狀態(tài)判斷藍(lán)牙的連接狀態(tài)，該模塊具有使用靈活、成本低、功耗低、易攜帶、部署應(yīng)用簡單等優(yōu)點(diǎn)[7]。選用HC-05藍(lán)牙模塊可以實(shí)現(xiàn)該模塊與主控芯片的雙向通信，并且能夠?qū)崟r(shí)反饋，支持串口通信，有效提高藍(lán)牙發(fā)送信息的快速性和穩(wěn)定性[8]。HC-05的工作原理：給所需要的設(shè)計(jì)增加雙向（全雙工）無線通信功能。HC-05藍(lán)牙模塊可用于單個(gè)單片機(jī)控制器連接其他藍(lán)牙設(shè)備，也可以使用在2個(gè)微控制器之間，具有串行功能的通信過程中[9]，通過RX和TX引腳與主控芯片進(jìn)行信號(hào)傳輸。當(dāng)垃圾放入垃圾箱時(shí)，若紅外傳感器持續(xù)被遮擋，則表示垃圾箱容量已滿。單片機(jī)通過I/O引腳識(shí)別到紅外傳感器的信號(hào)發(fā)生變化后，將垃圾箱容量已滿的消息通過藍(lán)牙模塊發(fā)送至手機(jī)端。HC-05藍(lán)牙模塊電路如圖5所示。

2.5 節(jié)能部分

節(jié)能部分采用太陽能充電板與對(duì)射式紅外傳感器實(shí)現(xiàn)。紅外傳感器通常被稱為紅外探測器。對(duì)射式紅外傳感器采用FTR9606高靈敏度槽型光耦器件進(jìn)行感應(yīng)，其由一個(gè)紅外發(fā)光二極管和光電三極管組成，通過比較器輸出，具有波形好、靈敏度高、信號(hào)干凈、驅(qū)動(dòng)能力強(qiáng)等優(yōu)點(diǎn)，通過檢測人體是否存在，從而實(shí)現(xiàn)系統(tǒng)狀態(tài)的控制；并且系統(tǒng)裝載了太陽能充電板，可將太陽能轉(zhuǎn)換為電能，并儲(chǔ)存在蓄電池中。硅太陽能電池作為一種可以通過光化學(xué)效應(yīng)或者光電效應(yīng)直接將接收的光能轉(zhuǎn)化為電能的裝置，在經(jīng)過陽光的照射后，可將太陽能轉(zhuǎn)化為可輸出的電壓及電流，現(xiàn)在已被廣泛用于生產(chǎn)、生活[10]。太陽能電池能夠?qū)﹄姵爻潆姡?jié)能環(huán)保。對(duì)射式紅外傳感器電路如圖6所示。

3 軟件程序設(shè)計(jì)

3.1 語音識(shí)別+播報(bào)程序的實(shí)現(xiàn)

使用LD3320語音識(shí)別模塊識(shí)別用戶需要投放垃圾的語音，之后將識(shí)別的信息傳送到單片機(jī)進(jìn)行分析處理，再由SYN6288語音播報(bào)模塊自動(dòng)播報(bào)識(shí)別出的垃圾種類，同時(shí)將對(duì)應(yīng)垃圾種類的垃圾箱門打開，從而實(shí)現(xiàn)對(duì)垃圾的精準(zhǔn)分類。語音識(shí)別+播報(bào)程序如圖7所示。

3.2 圖像識(shí)別+播報(bào)程序的實(shí)現(xiàn)

對(duì)于垃圾圖像識(shí)別及語音播報(bào)的實(shí)現(xiàn)，首先通過OpenMV4 h7 plus的攝像頭識(shí)別放在指定位置的垃圾，再通過I/O口將識(shí)別的垃圾種類信息傳至單片機(jī)進(jìn)行處理，若沒有識(shí)別到垃圾，則不播報(bào)垃圾種類信息。之后由SYN6288語音播報(bào)模塊播報(bào)攝像頭識(shí)別的垃圾種類，并且舵機(jī)將相應(yīng)的垃圾箱門打開。圖像識(shí)別+語音播報(bào)程序如圖8所示。

3.3 垃圾箱容量檢測+無線通信程序的實(shí)現(xiàn)

對(duì)于垃圾箱容量檢測及無線通信的實(shí)現(xiàn)，首先初始化對(duì)射式紅外傳感器和藍(lán)牙模塊，若垃圾箱內(nèi)的紅外傳感器檢測到垃圾遮擋時(shí)，則發(fā)送低電平給STM32F103C8T6，之后通過藍(lán)牙串口將垃圾箱容量已滿的信息發(fā)送到手機(jī)端。本功能實(shí)現(xiàn)了對(duì)垃圾箱垃圾的及時(shí)處理。垃圾箱容量檢測+無線通信程序如圖9所示。

3.4 系統(tǒng)節(jié)能程序的實(shí)現(xiàn)

對(duì)于系統(tǒng)節(jié)能程序的實(shí)現(xiàn)，首先通過對(duì)射式紅外傳感器感應(yīng)是否有人體存在，若感應(yīng)到人體存在，則開啟工作模式，所有外設(shè)準(zhǔn)備工作；若未感應(yīng)到人體存在，則系統(tǒng)處于待機(jī)狀態(tài)，以降低系統(tǒng)功耗。系統(tǒng)可通過太陽能充電板對(duì)電池充電。系統(tǒng)節(jié)能程序如圖10所示。

4 實(shí)驗(yàn)測試結(jié)果

垃圾箱系統(tǒng)實(shí)物如圖11所示。將各模塊搭建完成后，通過測試?yán)R(shí)別準(zhǔn)確率、語音識(shí)別準(zhǔn)確率、信息發(fā)送準(zhǔn)確率等，發(fā)現(xiàn)系統(tǒng)可正常運(yùn)作。系統(tǒng)上電后，用戶說出需要投放的垃圾名稱，語音識(shí)別模塊能夠正確識(shí)別對(duì)應(yīng)的垃圾種類，舵機(jī)能夠準(zhǔn)確打開相應(yīng)的垃圾箱門。將要識(shí)別的垃圾放到待識(shí)別區(qū)域，垃圾能夠被準(zhǔn)確識(shí)別。垃圾箱識(shí)別到垃圾如圖12所示。垃圾箱未識(shí)別到垃圾的準(zhǔn)確率圖如圖13所示。垃圾箱識(shí)別到垃圾的準(zhǔn)確率圖如圖14所示。

5 結(jié) 語

根據(jù)國家統(tǒng)計(jì)局和生態(tài)環(huán)境部發(fā)布的《2018年全國大、中城市固體廢物污染環(huán)境防治年報(bào)》可知，目前，我國城市生活垃圾的產(chǎn)生量已經(jīng)高達(dá)22 802萬噸/年，與此同時(shí)，這個(gè)數(shù)據(jù)還在不斷增長。因此，垃圾分類對(duì)改變我國目前的垃圾現(xiàn)狀尤為重要。本文介紹了基于圖像識(shí)別與語音識(shí)別的智能分類垃圾箱，實(shí)現(xiàn)了垃圾種類的圖像識(shí)別播報(bào)、語音識(shí)別垃圾種類及播報(bào)相應(yīng)垃圾種類、檢測垃圾箱容量是否已滿、發(fā)送垃圾箱容量已滿信息以及通過太陽能板對(duì)電池充電等功能，經(jīng)過實(shí)驗(yàn)測試，系統(tǒng)能夠達(dá)到預(yù)期要求。基于圖像識(shí)別與語音識(shí)別的智能分類垃圾箱能夠解決垃圾焚燒產(chǎn)生的環(huán)境問題以及垃圾填埋占用大量土地資源且可能造成二次污染的問題，具有較大的研究和應(yīng)用價(jià)值。

注：本文通訊作者為黃志芳。

參考文獻(xiàn)

[1]付文新，王洪豐.基于STM32單片機(jī)和DHT11溫濕度傳感器的溫濕度采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].光源與照明，2022（3）：119-121.

[2]何文華.基于STM32的智能防疫門禁裝置設(shè)計(jì)[J].電子技術(shù)與軟件工程，2022，29（7）：116-120.

[3]王梁，韋春明，陳俊潔.基于OpenMV圖像識(shí)別的垃圾分類小車系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].河南科技，2022，41（18）：15-20.

[4]易紅梅，易紅玉，黃東香.基于LD3320語音模塊的簡易投影燈控制系統(tǒng)[J].西部皮革，2018，40（22）：59.

[5]陳雙燕，陳佳堯，湯巧治.便攜式語音稱重器的設(shè)計(jì)與實(shí)現(xiàn)[J].遼寧科技學(xué)院學(xué)報(bào)，2021，23（3）：13-15.

[6]林星妍，王雨樂，薛皓聞，等.一種光伏智能導(dǎo)盲頭盔[J].中國新技術(shù)新產(chǎn)品，2022，30（23）：11-14.

[7]楊桐，秦玉娟，李世紀(jì).基于藍(lán)牙測距的機(jī)場智能行李箱的設(shè)計(jì)[J].信息通信，2020，34（7）：121-123.

[8]李洋博，趙澤林，李圓，等.基于32單片機(jī)控制的智能語音刷卡系統(tǒng)[J].電腦編程技巧與維護(hù)，2019，24（3）：125-127.

[9]滕啟龍.基于單片機(jī)的共享汽車控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].時(shí)代汽車，2023，20（7）：141-143.

[10]成健，廖建飛，楊震，等.太陽能電池多晶硅表面激光制絨技術(shù)研究進(jìn)展[J].材料導(dǎo)報(bào)，2023，37（6）：16-25.