基于深度學習的多模態控制插座系統設計

摘 要：隨著深度學習技術應用于國計民生的諸多領域，智能家居進入千家萬戶，為大眾生活帶來極大便利。當前，市面上已有多種類型的智能插座，其中多數是由用戶通過手機上的專用APP進行操作，但在某些場景中存在無法直接操控的情形。為滿足各類用戶對插座智能控制的需求，文中設計了一款基于深度學習的多模態控制智能插座系統，該系統使用傳感器捕捉用戶手勢獲取圖像、語音和聲紋等多模態信息，通過肢體、自然語言等方式來快速、準確地識別用戶的控制意圖，實現對插座的控制。系統硬件由ESP8266模塊、繼電器驅動電路模塊、語音采集與識別模塊、攝像頭模塊、樹莓派模塊等構成；系統軟件實現了聲紋控制、手勢控制、安卓APP控制等功能。系統具備手勢識別控制、聲紋識別與語音控制功能，同時，針對用戶遠程控制的需求，開發了配套的應用APP及網頁系統，實現了不同情景的功能性優化，滿足了用戶的個性化需求。

關鍵詞：物聯網；深度學習；多模態控制；手勢識別；聲紋識別；智能插座

中圖分類號：TP391.9 文獻標識碼：A 文章編號：2095-1302（2024）08-0-03

DOI：10.16667/j.issn.2095-1302.2024.08.027

0 引 言

隨著科技的發展與技術的進步，人們對生活有了更高的期許，人工智能（AI）技術的廣泛應用給我們的工作和生活帶來了極大便利，智能家居也逐步走進大眾生活。插座是人們日常生活中隨處可見的基本開關電器，其功能及種類也很多[1]，在日常生活中具有重要作用。但據消防部門統計，我國近10年發生的火災中，約30%是由插座引起的，居諸種失火原因之首，給公民的生命和財產造成了巨大損

失[2]。人們不再滿足于傳統插座所能提供的基本功能，對插座的安全性也越來越重視，因此迫切需要對家用電器進行智能化、安全化管理，智能插座應運而生。智能插座是在物聯網理念下，基于智能家居概念開發的一種產品，在智能家居系統中起關鍵作用[3-4]。相較于傳統插座而言，智能插座具有使用安全穩定、操作簡單便捷等諸多優點[5]，它可以自動斷電，避免電器長期處于通電狀態引發安全事故[6]，同時在一定程度上達到了節能環保的目的。

隨著智能化家居時代的來臨，智能插座愈來愈受到市場追捧，報告顯示，2020年全世界的智能插座營銷額為25億元。據預測，2026年智能插座的市場將達到104億元[7]。目前市面上的智能插座大都成本較高且功能單一，無法滿足用戶日益增長的需求[8]，因此關于智能插座的研究不斷深入。

對于一些殘障人士和老年人來說，由于他們自身的生理缺陷，不便用傳統插座來控制用電系統及家用電器，一些特定人群專用的插座逐步出現。文獻[9]設計了一款盲人專用的智能插座，文獻[10]介紹了一種通過捕捉殘疾人語音指令來開啟家用電器的家居系統。在發生火災等緊急情況時，因插座已連接手機中的云平臺，故人們可按照系統提供的正確逃生路線逃生，減少人員傷亡[11]。

傳感器對信息的傳遞和命令的智能化有著重要意義，丁素英[12]討論了智能家居系統中傳感器的應用，如溫濕度傳感器、紅外線傳感器、光敏傳感器等的配合使用，以滿足人們的生活需要。

市面上的多種智能插座可以借助家庭網絡接入互聯網，使用手機上的APP應用軟件遠程控制插座開關，便于使用者可視化檢測插座狀態，防止因忘記關用電器而引發安全問題。我國作為一個人口大國，存在數量龐大的殘疾人，他們的生活因為生理缺陷受到限制，例如盲人無法準確使用手去控制用電器，而科技可以助力殘疾人實現日常生活自理。基于深度學習的多模態控制插座系統利用深度學習模型訓練手勢和聲音信息并準確識別，可為使用者提供高效、便利、安全、可控的智能用電系統。用戶能夠自主管理家用電器，同時輔以手機APP等多模態插座控制方式，使系統可以適應復雜的環境，滿足使用者需求。

1 系統設計

1.1 總體設計

系統由控制端和被控端組成。控制端負責環境通信和語音手勢等相關信息的識別與處理；被控端負責執行控制端發送的指令，并對指令的執行結果進行反饋。系統通過樹莓派解析手勢及聲紋輸入，經由MQTT服務器實現插排的遠程控制和遠程讀取。ESP8266單片機是控制端和被控端的通信與控制樞紐，通過繼電器驅動電路來驅動繼電器實現對用電設備的通、斷電操作；系統設置了聲紋識別與語音控制、手勢控制和手機APP控制功能，可以進行近距離遙控控制。系統總體設計如圖1所示。

1.2 系統工作流程

基于深度學習的多模態控制插座系統提供了3種控制方式，分別是語音控制、手勢控制和手機端APP控制。語音控制需要用戶說出正確的系統喚醒詞后再接收語音控制輸入信息，接著系統通過聲紋識別判定該用戶是否為合法用戶。若為合法用戶，則執行用戶指令；若為不合法用戶，則不執行該指令。手勢控制需要操控者對著攝像頭模塊做出相應手勢，連接在樹莓派上的攝像頭模塊采集用戶手勢圖像并依此解析出正確數字，開啟對應電器。手機端APP控制需要用戶通過點擊APP端對應電器的按鈕開關來啟停對應編號的電器。

2 系統硬件設計

2.1 被控端電路設計

基于深度學習的多模態控制插座系統的被控端硬件電路包括繼電器驅動電路、下載復位電路和ESP8266模組電路。ESP8266模組電路通過相應引腳點位高低控制繼電器驅動電路開關，實現對插座的控制。在圖2中，借助該電路既能實現上電復位又可以實現手動復位。系統上電一瞬間，電容相當于短路，即RST復位端口加+5 V高電平，實現上電復位。系統正常運行后，在需要復位時，按下微動開關將電容短路，可以實現手動復位。

2.2 攝像頭模塊

攝像頭模塊用于獲取人的手勢，用戶在攝像頭前比出相應手勢，攝像頭實時拍攝采集用戶手勢，并將拍攝的手勢圖像存放到樹莓派指定的文件路徑下。智能插座系統采用CSI攝像頭和樹莓派相結合的方式設計，CSI攝像頭在CPU和內存使用方面進行了優化，可以處理圖像并將其保存到內存中。不僅如此，它還可以充分利用硬件視覺管道。

2.3 語音模塊

語音模塊負責獲取聲音輸入，指定用戶發出的指定語音命令由樹莓派處理。采集聲音的傳感器負責把振動轉換成電腦可讀的電流信號，轉換過程以聲音波形的形式顯示，包含講話的音調、音色和音量信息。電腦接收到聲音波形后進行聲紋識別，大多數情況下，聲音波形里除了人聲還包括很多雜聲，識別的第一步是把人聲從中分離出來。

2.4 樹莓派模塊

樹莓派模塊是插座系統的控制終端，與普通的51單片機、STM32等嵌入式微處理器相比，其不僅可以實現對I/O引腳的控制，還可以運行與之相對應的操作系統，完成更復雜的管理、調度任務，并支持上層應用的開發，給開發者提供更廣闊的應用空間。樹莓派體積小，成本低，能正常完成某些PC應用程序任務，也適合作為插座系統的控制終端。

系統硬件各模組之間連接的實物如圖3所示。

3 系統軟件設計

3.1 手勢識別

手勢識別使用Intel開源的計算機視覺庫OpenCV和GoogleResearch開源的跨平臺多媒體機器學習模型應用框架MediaPipe。OpenCV提供了大量Python接口，在此基礎上利用MediaPipe框架使用基于規則的手勢識別方法，將CSI攝像頭獲取的圖像通過MediaPipe框架檢測并標定出手部21個

關鍵點（圖4），然后利用關鍵點[0，1，2，3，6，10，14，19，18，17，10]構造出一個凸包（圖5），計算在凸包外的關鍵點[4，8，12，16，20]。例如：數字手勢“1”的關鍵點8在凸包外，數字手勢“2”的關鍵點8、12在凸包外。

3.2 語音聲紋識別

聲紋識別功能基于GitHub中yeyupiaoling的“基于Tensorflow實現聲紋識別”項目改進而成。為了檢測出使用者說出的具體命令，項目使用Python中speech_recognition的PocketSphinx，并在speech_recognition中替換了查詢字典，將其較為龐大的字典替換為只存在項目所需命令的

字典。

為減少出現與命令相似的其他語音或噪聲觸發命令，項目中添加了snowboy喚醒詞檢測引擎。通過設定實時語音檢測器detector來檢測是否有喚醒詞出現。例如，本項目中的喚醒詞為一般生活中較少提及的“貓頭鷹”，當使用者說出喚醒詞后，會喚醒回調函數detected_callback，使其執行相應操作。在本項目中，當使用者說出“貓頭鷹”后，會喚醒簡單語音識別功能和聲紋識別功能。聲紋識別過程如圖6

所示。

3.3 基于安卓的APP

手機端APP便于用戶隨時隨地便捷地操控智能家居。手機端控制APP通過與MQTT服務器通信獲取插座狀態，遠程控制插座。用戶通過安卓APP控制相應用電器的開關，通過圖形化界面反饋給用戶各用電器的狀態。手機端APP為用戶提供操控家電設備的圖形界面，通過MQTT云服務器對用戶在操作界面上發出的操控指令進行分析和解析，便于隨時隨地操控智能家居。APP工作流程如圖7

所示。

4 結 語

基于深度學習的多模態控制插座系統在傳統插座的基礎上，添加了一系列識別算法并進行了系統優化，實現了手勢控制、聲紋控制和手機APP控制，使插座不僅發揮了家庭用電港口的作用，也能成為家中智能電器的控制中樞。該系統使得行動不便的老年人和殘疾人的生活質量得以提高，也為工業互聯網設備控制和管理提供了一種可行方法。

注：本文通訊作者為徐楠。

參考文獻

[1]胡長鵬，馬海霞，林思敏，等.一種基于WiFi無線通訊的智能插座設計與實現[J].機電工程技術，2021，50（8）： 70-73.

[2]劉悅，江燕.論智能插座的處境[J].家電科技，2018，38（4）： 18-19.

[3]劉詩涵，齊勝男，王全山.基于藍牙技術的智能插座設計[J].中國科技信息，2018，30（10）：47-49.

[4]周德尚.智能插座在智能家居中的應用[J].中國科技信息，2020，3（17）：51.

[5]葉志鵬，李剛.基于物聯網設計的智能插座[J].電子制作，2020，27（13）：29-30.

[6]于樹科，瞿國慶，陳煒.基于STM32F107的能耗管控型物聯網WiFi插座的設計[J].物聯網技術，2018，8（10）：100-101.

[7]虞剛杰，郝文嘉，董世元，等.基于WiFi的智能插座安全管理系統設計[J].電工技術，2023，44（8）：20-23.

[8]阮東文，劉冰，馬孟欽，等.智能插座在廣州的發展前景調查研究[J].中國高新科技，2019，3（15）：67-69.

[9]路佳杰.一種盲人智能插座轉接器[J].安徽科技，2022，35（8）：48-50.

[10] MTSHALI P，KHUBISA F. A smart home appliance control system for physically disabled people [C]// 2019 Conference on Information Communications Technology and Society（ICTAS）. Durban，South Africa：[s.n.]，2019：1-5.

[11] WU H K，PENG Y C，CHEN Y M，et al. Development of fire escape system integrated with smart socket [C]// 2023 9th International Conference on Applied System Innovation（ICASI）. Chiba，Japan：[s.n.]，2023：104-105.

[12]丁素英.智能家居系統中傳感器的應用研究[J].濰坊學院學報，2023，23（2）：40-43.

收稿日期：2023-08-22 修回日期：2023-09-27

基金項目：2018年度國家自然科學基金（41801303）；2020年度金陵科技學院“課程思政”優秀教學團隊項目（2020SZTD004）；2021年教育部產學合作協同育人項目（202102342012）；2021年教育部產學合作協同育人項目（202102563004）；江蘇省大學生創新項目（202313573013Z）；江蘇省大學生創新項目（202213573011Z）；江蘇省大學生創新項目（202213573124T）；2023年度金陵科技學院創客虛擬班（2023010）；江蘇省大學生創新創業訓練計劃項目（202313573128T）

作者簡介：陳 琪（2004—），女，研究方向為嵌入式開發、物聯網相關技術。

徐 楠（1973—），女，博士，副教授，主要從事物聯網應用、物聯網信息安全研究工作。