基于NodeMCU智能語音交互家居系統(tǒng)設計

黃玲　王霄　邵健　胡娟　張譯

摘要：針對傳統(tǒng)家居家電設備很難直接與市場上的語音助手結合，同時高技術產品價格很難惠民，智能家居控制系統(tǒng)因設計成本過高很難實現普及的現象，本文提出將樹莓派和NodeMCU開發(fā)板聯(lián)合開發(fā)一款性價比極高的智能語音交互家居系統(tǒng)。設計使用樹莓派4B+在Linux系統(tǒng)下運行百度云平臺提供的SDK加上麥克風陣列和CSI攝像頭實現語音識別、語音合成和人臉識別等功能。利用Pythonserial庫實現與Arduino串口通信，樹莓派將語音識別到的指令下發(fā)至Arduino，從而實現人與硬件設備語音交互。NodeMCU通過內置ESP8266芯片使用ArduinoIDE編譯將傳感器采集到的數據通過TCP協(xié)議與物聯(lián)網云平臺連接，實現數據的遠程存儲，家庭環(huán)境信息的遠程觀測和遠程控制。運行結果顯示，實現家居環(huán)境數據無線傳輸與語音交互的功能要求，設計成本低廉，功能強大且擴展方便。本系統(tǒng)實現了多平臺交互，提高了多任務并行處理能力。

關鍵詞：智能家居;樹莓派;語音識別;NodeMCU;傳感器;物聯(lián)網云平臺

【Abstract】Inviewofthefactthattraditionalhomeappliancesaredifficulttodirectlyintegratewithvoiceassistantsonthemarket，thepriceofhigh-techproductsisdifficulttobenefitthepeople，andsmarthomecontrolsystemsaredifficulttoachievepopularizationduetohighdesigncosts，thisarticleproposesRaspberryPiisusedtodevelopahighcost-performancesmartvoiceinteractivehomesystemjointedwithNodeMCUdevelopmentboard.ThedesignusestheRaspberryPi4B+toruntheSDKprovidedbytheBaiducloudplatformundertheLinuxsystem，plusthemicrophonearrayandCSIcameratorealizefunctionssuchasspeechrecognition，speechsynthesisandfacerecognition.ThePythonseriallibraryisusedtocommunicatewiththeArduinoserialport，andtheRaspberryPisendsthevoice-recognizedinstructionstotheArduinotorealizethevoiceinteractionbetweenhumansandhardwaredevices.NodeMCUusesthebuilt-inESP8266chiptocompilewithArduinoIDEtoconnectthedatacollectedbythesensortotheIoTcloudplatformthroughtheTCPprotocolforrealizingremotestorageofdata，remoteobservationandremotecontrolofhomeenvironmentinformation.Theoperationresultsshowthatwirelesstransmissionofhomeenvironmentdataandthefunctionalrequirementsofvoiceinteractionarerealized，thedesigncostislow，thefunctionispowerfulandtheexpansionisconvenient.Thesystemrealizesmulti-platforminteractionandimprovesthemulti-taskparallelprocessingcapability.

【Keywords】smarthome;RaspberryPi;voicerecognition;NodeMCU;sensors;IoTcloudplatform

作者簡介：黃玲（1997-），女，碩士研究生，主要研究方向：無線傳感器網絡;王霄（1985-），男，博士，副教授，碩士生導師，主要研究方向：無線傳感器網絡、嵌入式系統(tǒng);邵?。?995-），男，碩士研究生，主要研究方向：無線傳感器網絡;胡娟（1992-），女，碩士研究生，主要研究方向：無線傳感器網絡;張譯（1995-），男，碩士研究生，主要研究方向：無線傳感器網絡。

0引言

數據時代快速發(fā)展，電子技術及其電子產品在現實生活中廣泛普及，給人們的生活帶來極大的便利。開發(fā)智能家居技術產品更是提供人們享受生活的重要平臺，智能家居系統(tǒng)使用網絡將各種家居設備連接起來，實現智能化的控制、監(jiān)測、提醒等功能[1]，既能給用戶提供舒適、健康、方便的生活環(huán)境，還能夠遠程監(jiān)測家庭環(huán)境信息并能夠遠程控制家電開關，提高了居民生活的安全性[2]。

目前，智能家居的控制方式主要采用無線控制或手動控制[3]。其中，手動控制精確性比較高，但對于那些肢體有障礙或者年紀比較大反應遲緩的人而言，手動控制不太適用，當下采用無線控制的方式成為了學界的研究熱點，只是現如今的傳統(tǒng)家居家電設備很難直接與市場上的語音助手結合，而且高技術產品價格也并不惠民，智能家居控制系統(tǒng)存在因設計成本過高而難以做到大范圍普及的現象。尤其在時下的老齡化社會，對于某些老人群體而言，則很難跟上這個智能化的社會發(fā)展。

針對上述問題，本文提出用樹莓派和NodeMCU開發(fā)板聯(lián)合開發(fā)一款性價比極高的智能語音交互家居系統(tǒng)，通過樹莓派在Linux系統(tǒng)下運行百度云平臺提供的SDK加上麥克風陣列和CSI攝像頭實現語音識別、語音合成、人臉檢測等主要功能。讓其足不出戶便能知道天下事，還能通過安全門連接攝像頭來實現人臉監(jiān)測，安全區(qū)域預警等功能，室內檢測老人是否摔倒，心率和血壓檢測實時發(fā)送至云端存儲，既滿足了家人遠程監(jiān)測的需求，還能實時控制家用電器并進行一些救助措施。

1系統(tǒng)總體框架圖

對智能家居系統(tǒng)整體設計，為保證系統(tǒng)運行的穩(wěn)定性、準確性和實時性，需要軟硬件的聯(lián)合運行。本設計系統(tǒng)以樹莓派和NodeMCU聯(lián)合作為控制器，來實現家庭環(huán)境監(jiān)測、家用電器控制、室內外控制、安防管理及家庭設備語音交互等功能，樹莓派通過百度云平臺實現語音識別、語音合成及人臉識別功能，通過麥克風陣列對人聲進行錄音，傳輸至云服務器平臺來做語音識別，再將識別的文字提取出來。如果有對應的文字指令則通過串口傳送至Arduino執(zhí)行需要處理的文字對應程序。Arduino再發(fā)送AT指令給NodeMCU，建立TCP透傳模式實現云服務數據通信。使用ArduinoIDE環(huán)境來編寫NodeMCU程序，在配置環(huán)境時添加ESP8266安裝即可。這樣就可以使用該環(huán)境實現程序下載，對于NodeMCU而言只提供了3V的輸出電壓，不能滿足一些傳感器5V的工作電壓。為解決這一問題，將ArduinoNano的5V電源提供給NodeMCU的VIN引腳，傳感器5V連接到VIN引腳提供工作電壓。與Tlink物聯(lián)網云服務器建立TCP透傳模式數據通信。傳感器選用DHT.11、MQ_2、PIR、水泵、減速電機、麥克風雙陣列、CSI攝像頭。使用LabVIEW作為上位機在PC機上進行調試，利用虛擬儀器平臺實時采集家居環(huán)境信息便于調試家用電氣設備，使用更加簡潔、方便的無線傳輸方式—物聯(lián)網通信，就能夠將傳感器感知到的信息發(fā)送至云服務器，實現數據的準確顯示、存儲和反饋。系統(tǒng)總體設計框架如圖1所示。

2系統(tǒng)功能設計

系統(tǒng)實現的功能主要有利用樹莓派和NodeMCU與百度AI交互平臺通信實現語音識別、語音合成、人臉識別功能及實時控制家電設備，與此同時將家庭環(huán)境監(jiān)測數據遠程傳輸至云端實現遠程存儲、遠程訪問、遠程控制等功能。對此擬展開研究論述如下。

2.1語音識別功能

本智能家居設計系統(tǒng)主要利用的是百度AI交互平臺的語音識別技術。首先利用與樹莓派連接的麥克風雙陣列對人聲進行錄音，然后樹莓派再利用自帶的WiFi模塊將錄音傳送至服務器，服務器再將數據傳送至百度AI交互平臺的語音識別API。語音識別API經過內部的一系列處理將語音識別成文字傳送至服務器，服務器再對數據進行一系列處理后發(fā)送到樹莓派，主控裝置通過接收的指令再操控各種家庭設備[4]。在環(huán)境優(yōu)良的情況下采集的錄音，API的語音識別率高達99%，借助現成的應用技術封裝好的接口，百度AI開放平臺提供的Python的SDK在樹莓派上運行。百度智能云提供的應用接口如圖2所示。

由圖2可知，先是在百度云上注冊賬號，創(chuàng)建應用，在創(chuàng)建中添加應用名稱、應用接口、接口選擇和應用描述。此后平臺會自動生成三元組，這3個與云平臺提供的SDK用來連接自己創(chuàng)建的應用。將樹莓派上的Linux系統(tǒng)上配置好Python編譯環(huán)境，下載語音識別PythonSDK客戶端通過AipSpeech庫實現語音識別的程序。

2.2語音合成功能

語音合成是通過機械的、電子的方法產生人造語音的技術。語音合成技術經過共振峰合成、波形拼接合成、基于隱馬爾可夫模型的統(tǒng)計參數合成等數個發(fā)展階段[5]，迄今為止，語音合成主要是通過深度神經網絡實現，能將任意文字信息實時轉化為標準流暢的語音朗讀出來，其中也涉及到多個學科的前沿技術。本系統(tǒng)采用百度AI交互平臺提供的語音合成功能非常簡單，只需在樹莓派4B+上運行Python腳本文件，根據百度云平臺提供的技術文檔，調用的方式采用HTTP協(xié)議，從而與百度云功能連接在一起。百度云會提供眾多語言環(huán)境的SDK，本次設計采用Python語音作為快速原型開發(fā)。研究后可知，語音合成步驟如圖3所示。

2.3人臉識別功能

人臉識別特指利用分析比較人臉視覺特征信息進行身份鑒別的計算機技術。利用百度云提供的眾多語言環(huán)境的SDK中就有人臉模塊，而人臉識別也只是里面的一個函數定義，需要調用該模塊再結合語音識別中提供的三元組即可實現對人臉識別的功能，同時需要在樹莓派上接入CSI攝像頭實現調用。程序中設定當語音識別到開門指令時打開攝像頭模塊，進行拍照，上傳至云平臺與預先設置的人臉庫中的樣本做比較，比較后返回相識度。設定閾值，相識度高的即為目標人物。

3系統(tǒng)硬件設計

系統(tǒng)硬件通過NodeMCU和樹莓派控制及各種傳感器搭建智能語音控制系統(tǒng)。樹莓派利用自帶的WiFi模塊實現與云平臺交互，通過樹莓派上的Linux系統(tǒng)運行云平臺提供的SDKPython腳本代碼，采用CS攝像頭和麥克風雙陣列實現語音識別、合成和人臉監(jiān)測等。NodeMCU在ArduinoIDE環(huán)境中對程序進行編寫。再將溫濕度傳感器DHT.11、人體感應傳感器PIR、煙霧傳感器MQ_2、減速電機傳感器、水泵和NodeMCU連接，實現對家居環(huán)境的監(jiān)測，采用TCP協(xié)議與Tlink物聯(lián)網平臺通信，將所監(jiān)測到的數據遠程傳輸到手機端或PC端。

3.1NodeMCU與各傳感器模塊

3.1.1溫濕度傳感器模塊

為了實現對家居環(huán)境溫濕度信息的采集，本設計系統(tǒng)選用DHT.11作為溫濕度傳感器。該款傳感器的濕度精度為±5%RH，溫度精度為±2℃，量程濕度為20～90%RH，溫度采集范圍是-20℃～60℃，將其與NodeMCU連接，將采集的數據反饋給溫控設備實現智能調節(jié)。對于DHT.11傳感器采用的串口單總線的方式與NodeMCU的D4引腳連接。能夠實現數據的校驗數據發(fā)送格式為：8bit濕度整數數據+8bit濕度小數數據+8bit溫度整數數據+8bit溫度小數數據+8bit校驗位，一般的小數值為0。校驗方式為：8bit校驗位=8bit濕度整數數據+8bit濕度小數數據+8bit溫度整數數據+8bit溫度小數數據。NodeMCU與DHT.11的硬件連接如圖4所示。

3.1.2MQ_2氣體傳感器

為了實時監(jiān)測家庭環(huán)境中可燃或有毒氣體的含量，本系統(tǒng)采用MQ_2傳感器來檢測家居環(huán)境的煙霧濃度，當傳感器所處環(huán)境中存在可燃氣體時，傳感器的電導率隨空氣中可燃氣體濃度的增加而增大。使用簡單的電路即可將電導率的變化轉換為與該氣體濃度相對應的輸出信號。通過單片機來檢測高低電平，由此來檢測環(huán)境氣體。

檢測中利用傳感器阻值與被測氣體濃度的計算關系式可得：

其中，n，m均為常數。n與氣體檢測靈敏度有關，除了隨傳感器材質和不同的氣體種類外，當所測量處溫度的不同也會發(fā)生變化;m稱為氣體分離率，表示隨氣體的濃度而變化的傳感器的靈敏度，研究表明m值多處于1/2和1/3比較合適。設計時，與MQ_2的數字引腳連接，設定閾值，當超出閾值時引腳為高電平。

3.1.3PIR傳感器

在智能家居環(huán)境中，有時需要檢測人員何時離開或何時進入該區(qū)域或接近該區(qū)域的基本項目或產品。本設計系統(tǒng)選用的是PIR傳感器。PIR基本上是由熱釋電傳感器制成的，可以檢測紅外輻射的水平。因為人是恒溫動物，所以在無人進入探測區(qū)時，紅外輻射比較穩(wěn)定，一旦人體紅外線輻射進來，經光學系統(tǒng)聚焦就使熱釋電器件產生突變電信號，從而發(fā)出警報。研究可知，該種傳感器功耗和成本都很低，鏡頭視角范圍廣闊，不僅堅固耐用，而且易于接口。

PIR傳感器本身具有2個插槽，每個插槽均由對IR敏感的特殊材料制成。當傳感器閑置時，2個插槽都檢測到相同量的IR，即從房間或墻壁或室外輻射的環(huán)境量。當諸如有人或動物的溫暖物體經過時，則先會攔截PIR傳感器的一半，這會導致兩半之間的“正向差異”變化。當該暖體離開感應區(qū)域時，情況會發(fā)生相反的變化，從而使傳感器產生負的差分變化。人體感應模塊的連接如圖5所示。當感應到人體時，NodeMCU采用灌電流點亮LED燈。

3.1.4水泵和減速電機傳感器模塊

通過微處理器控制水的用量，可節(jié)約大量的水資源、防止水浪費等，同時可通過手機App遠程觀看水閥開關情況，可實現遠程關閉功能。該項目設計中，電機將用于對窗簾的智能控制。但由于微處理器很難直接驅動水泵和電機模塊，設計中結合L9110S四路電氣驅動板來共同驅動。水泵和電機驅動的連接示意如圖6所示。

3.2物聯(lián)網云平臺

對比不同云平臺發(fā)現，TlinK物聯(lián)網平臺更適合家居系統(tǒng)的開發(fā)，使用WiFi技術實現網絡通信連接，充分利用家庭WiFi覆蓋的優(yōu)勢。Tlink智能家居物聯(lián)網云平臺可以接入市面上各種傳感器，而不是綁定自己的專屬硬件，從而給用戶更大的選擇空間，降低采購成本。傳輸層由各種網絡和云計算平臺等組成，負責傳遞和處理感知層獲取的信息。多比智能云網關是專門針對云組態(tài)SCADA分布系統(tǒng)應用推出的前置智能數據采集，能將溫度、濕度、PH值、光強度、CO2數據遠傳到云端數據服務器中，也可以對數據進行本地存儲，具有遠程查詢，斷點續(xù)傳的特點，確保系統(tǒng)的數據完整性。數據遠程存儲的研發(fā)界面如圖7所示。

Tlink智能家居物聯(lián)網云平臺可以按照不同的項目規(guī)模大小、軟硬件配置，靈活配置實時畫面、控制界面、趨勢圖、報表、告警、手機App等。例如，對于溫濕度、光照參數等，可收集每個節(jié)點的數據，進行存儲和管理，實現整個測試點的信息動態(tài)顯示，并根據各類信息來自動控制家電設備，對異常信息進行自動報警。為了在演示上具有直觀性，對DHT.11傳感器呼氣實現數據進行上傳。物聯(lián)網App移動終端的菜單界面如圖8所示。

本設計采用了云組態(tài)模式，對家居環(huán)境信息可以實現共享，授權后也可一起管理家居設備，實現遠程檢測和遠程控制功能。智能家居管理者還可發(fā)布二維碼或者鏈接，在將其提供給訪問者后，輸入密碼即可訪問。

登錄后進入顯示主界面，實時觀測系統(tǒng)提供的數據，實現數據的遠程存儲，彌補了微處理器的內存不足的缺點。與此同時，界面還能夠兼具觀測天氣預報等情況，實時預測最近五天的天氣。綜上所述，可得云組態(tài)控制界面如圖9所示。

3.3樹莓派的選型與傳感器的連接

3.3.1樹莓派的選擇

樹莓派的功能非常強大，這是一款基于ARM的微型電腦主板，具有8個GPIO引腳，以SD卡為內存硬盤，卡片主板周圍有4個USB接口和一個100以太網接口，相當于一臺計算機，能運行真正的現代操作系統(tǒng)，可以連接鍵盤和鼠標，接入因特網，并向電視或顯示器輸出高清圖像。樹莓派的B型板還帶有內嵌的以太網接口，配有廉價易用的USBWiFi適配器。而且樹莓派的開發(fā)環(huán)境具有易用性。

本次設計選用樹莓派的4B+作為主控平臺，通過百度AI開放平臺提供的SDK實現語音識別、語音控制運行云平臺提供的SDKPython腳本代碼，樹莓派4B+發(fā)揮的是統(tǒng)籌全局的作用。

3.3.2麥克風模塊

設計時需要在線實現語音識別和語音合成功能。對語音識別來說，可通過樹莓派來采集聲音信號，接著保存為wav格式，再上傳至百度云平臺對采樣率、位深和聲道進行處理。之后返回編碼格式識別出文字。同樣，語音合成功能就是將文字信息推送至云服務，云平臺處理后再返回給MP3的編碼格式。從而實現將文字轉為語音播報的功能，采用的麥克風為麥克風雙陣列，既可做到遠場拾音、回音消除，而且也有著體積小巧和構造靈活等特點。還可直接與樹莓派連接起來，安裝驅動也很簡單。

3.3.3CSI攝像頭模塊

CSI攝像頭具有500萬像素，15cm排線直接接入樹莓派主板，本設計通過其與樹莓派連接實現人臉在線檢測功能，樹莓派官方的攝像頭已經配置并安裝好了PFC軟排線，只需要把排線插入到樹莓派4B+的CSI接口上，注意需要把接口黑色部分提起，然后插入排線，最后壓緊即可。此外，隨攝像頭還配備了一個調節(jié)焦距用的旋鈕。

4軟件設計與流程

軟件開發(fā)平臺設計了采用ArduinoIDE開發(fā)、ArduinoNano和NodeMCU聯(lián)合開發(fā)模式。其中，ArduinoNano串口檢測樹莓派下發(fā)的指令，響應指令狀態(tài)。NodeMCU負責與傳感器的連接和發(fā)送至云服務器，且與ArduinoNanoIIC連接實現響應Nano指令。從而實現語音反饋、傳感器采集信息和電機控制。程序設計流程如圖10所示。

5結束語

本文提出將樹莓派和NodeMCU開發(fā)板聯(lián)合開發(fā)一款性價比極高的智能語音交互家居系統(tǒng)，設計使用樹莓派4B+在Linux系統(tǒng)下運行百度云平臺提供的SDK加上麥克風陣列和CSI攝像頭實現語音識別、語音合成、人臉檢測等主要功能，實現人與硬件設備語音交互。NodeMCU通過內置ESP8266芯片使用ArduinoIDE編譯將傳感器采集數據通過TCP協(xié)議與物聯(lián)網云平臺連接，實現數據的遠程存儲、家庭環(huán)境信息的遠程觀測、遠程控制。設計采用2款主流硬件，樹莓派實現完整的操作系統(tǒng)安裝，調用物聯(lián)網云平臺API連接，實現家居環(huán)境監(jiān)測、家用電器控制、安防管理及語音交互功能。產品將傳感器技術、WiFi技術、物聯(lián)網平臺、LabVIEW技術結合起來實現對環(huán)境實時監(jiān)控并及時控制，采用無線技術，不需任何布線，實施方便。系統(tǒng)穩(wěn)定性，可靠性好，設計系統(tǒng)軟硬件拓展方便，安全性高。整個系統(tǒng)操作簡單，方便，能在短時間內進行熟練操作，產品功耗低，可以用移動電源供電，安裝快捷方便，能快速組建一個實時遠控系統(tǒng)。

參考文獻

[1]周宏偉.智能家居的系統(tǒng)結構及相關無線通信技術研究[J].數字通信世界，2019（3）：115.

[2]滿莎，楊恢先，彭友，等.基于ARM9的嵌入式無線智能家居網關設計[J].計算機應用，2010，30（9）：2541-2544.

[3]劉碩，趙彥博，杜佳林，等.基于藍牙的物聯(lián)網智能家居系統(tǒng)設計[J].通信與信息技術，2020（02）：72-73，61.

[4]孫全寶.基于語音識別的智能家居系統(tǒng)設計[J].物聯(lián)網技術，2020，10（7）：105-106，110.

[5]薛輝.基于語音合成的智慧導游系統(tǒng)的研究與設計[J].信息技術，2020，44（2）：112-115，120.