基于手勢識別的智能家居人機交互系統(tǒng)

張家源 劉建華 傅周超 嚴涵 齊子康 程博洋

摘要：智能家居是一種新興的物聯(lián)網(wǎng)技術(shù)系統(tǒng)，基于手勢識別控制智能家居的人機交互系統(tǒng)設(shè)計，是一種新的改善傳統(tǒng)智能家居人機交互的方案。利用中智訊公司的機器視覺平臺模擬獲取操作者的手勢，并與控制器進行命令交互，結(jié)合AI高清攝像頭以及智能節(jié)點控制等單元，搭建一個智能家居感知控制系統(tǒng)。通過試驗測試采集并分析數(shù)據(jù)，結(jié)果表明，該系統(tǒng)具有良好的可行性，簡單直觀實現(xiàn)新的智能家居控制方式。

關(guān)鍵詞：手勢識別；計算機視覺；人機交互；物聯(lián)網(wǎng)；Zigbee

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）13-0105-03

開放科學(xué)（資源服務(wù)）標識碼（OSID）

0 引言

近年來，隨著人工智能、機器視覺等領(lǐng)域的高速發(fā)展，手勢識別技術(shù)在人機交互、AR等領(lǐng)域取得了不錯的成果。目前，手勢識別技術(shù)是當下非常流行的一種人機交互技術(shù)，這種技術(shù)提供給用戶便捷、靈活的交互方式，面向智能家居的手勢控制方式又具有操作簡單、人機交互友好等優(yōu)點，所以這種技術(shù)是未來智能家居的發(fā)展趨勢之一。

目前，手勢識別技術(shù)大致可以分為三個等級：二維手型識別、二維手勢識別、三維手勢識別。其中，前兩者是基于畫面中的二維坐標信息進行手勢識別，而三維則由于包含深度信息（z坐標）在識別技術(shù)和系統(tǒng)上都有更復(fù)雜的實現(xiàn)方式。例如利用Hausdorff距離模板匹配思想來實現(xiàn)手勢的識別[1]、基于DTW的手勢識別算法[2]、基于CRF和HMM混合模型的手勢識別[3]等。其中，易靖國等人[4]提出通過Kinect深度攝像頭采集信息并用Hu矩進行提取手勢特征，利用BP（Back Propagation） 神經(jīng)網(wǎng)絡(luò)的手勢識別方法很好地適應(yīng)復(fù)雜環(huán)境，本文在此基礎(chǔ)上，通過Zigbee搭建平臺模擬實現(xiàn)智能家居手勢交互控制，以此分析測試。

1 系統(tǒng)功能需求分析

傳統(tǒng)的智能家居控制方式以手動開關(guān)或無線方式控制，當遙控器或開關(guān)失靈無法控制家居設(shè)備時，家居設(shè)備的使用往往會遇到很大的不便。本文設(shè)計的手勢控制智能家居，能在沒有遙控器的情況下，使用手勢直接控制智能家居設(shè)備，方便了用戶使用智能家居設(shè)備，擺脫了遙控器或者開關(guān)的制約。目前的手勢識別產(chǎn)品，由于識別率較低，沒有得到大面積推廣。該系統(tǒng)的實現(xiàn)將使手勢控制智能家居的識別率提升，推動其在智能家居領(lǐng)域的應(yīng)用。該系統(tǒng)主要通過智能攝像頭識別手勢，把手勢映射為智能家居設(shè)備開關(guān)指令，通過ZigBee無線網(wǎng)絡(luò)通信技術(shù)控制空調(diào)、電風(fēng)扇、燈光的開關(guān)狀態(tài)。本系統(tǒng)實現(xiàn)如下功能：

1） 手勢圖像采集：目前常用的手勢特征包括輪廓、邊緣、圖像特征向量、區(qū)域直方圖特征等，在安卓系統(tǒng)端使用統(tǒng)計分析技術(shù)，通過統(tǒng)計樣本特征向量來確定分類器。

2） 手勢識別：在安卓端對采集的圖像進行手勢的識別。

3） 執(zhí)行控制：把識別的結(jié)果轉(zhuǎn)變?yōu)榭刂菩盘枺ㄟ^無線傳感器控制智能家居設(shè)備。

2 系統(tǒng)框架設(shè)計

系統(tǒng)總體硬件組成如下：1） AI高清攝像頭；2） 智能邊緣計算網(wǎng)關(guān)；3） 智能+產(chǎn)業(yè)套件，其中智能產(chǎn)業(yè)套件由ZigBee節(jié)點天線、風(fēng)扇、LED燈、繼電器、RJ45通信連線、步進電機、ZigBee無線節(jié)點、智慧家居套件節(jié)點等組成。本系統(tǒng)是利用機器視覺平臺模擬操作者與控制器進行人機交互，共分為三個部分：操作者動作采集部分、傳感器被控制部分、數(shù)據(jù)處理部分。各部分功能如下：1） 操作者動作采集：操作者面向攝像頭做出命令動作，攝像頭將識別手勢數(shù)據(jù)傳送至數(shù)據(jù)處理中心，進行圖像識別處理；2） 傳感器：接收數(shù)據(jù)處理中心發(fā)來的控制命令并完成相應(yīng)指令，如風(fēng)扇轉(zhuǎn)動（停止），LED燈的亮（滅）等；3） 數(shù)據(jù)處理中心：協(xié)調(diào)系統(tǒng)控制流程，完成數(shù)據(jù)交換與圖像識別處理。系統(tǒng)總體框圖如圖1所示：

本系統(tǒng)的軟件設(shè)計主要分為邊緣計算網(wǎng)關(guān)網(wǎng)絡(luò)配置、數(shù)據(jù)中心處理、動作識別算法設(shè)計以及各智能產(chǎn)業(yè)套件的無線連接。下面主要介紹數(shù)據(jù)處理中心設(shè)計。

數(shù)據(jù)處理中心主要負責(zé)數(shù)據(jù)的集中處理計算，包括整個系統(tǒng)的數(shù)據(jù)傳輸、信息處理等。當攝像頭采集和處理數(shù)據(jù)完畢后，數(shù)據(jù)包將傳送至數(shù)據(jù)處理中心，通過算法進行分析和識別，再將其控制命令發(fā)送至傳感器完成相應(yīng)指令。其軟件工作流程如圖2所示。

在軟件系統(tǒng)內(nèi)建立識別庫樣本，設(shè)置不同手勢完成對應(yīng)操作，如手勢“2”完成開關(guān)風(fēng)扇、開啟LED操作等。

4 系統(tǒng)實現(xiàn)

4.1 識別模塊

在識別模塊中，系統(tǒng)負責(zé)抓拍用戶手勢圖像，并進行預(yù)處理，然后提取手部外觀特征構(gòu)建樣本，同時根據(jù)參數(shù)進行識別并反饋輸出識別信息至數(shù)據(jù)處理中心進行處理。其識別結(jié)果與圖片中手部的外觀特征有關(guān)，如位置、輪廓、紋理，也與圖像矩、圖像特征向量以及區(qū)域直方圖特征有關(guān)。因此，需要反復(fù)進行訓(xùn)練，補充擴大樣本庫才能提高識別準確性。

用戶手勢動作識別的過程具體如下：

1） 獲取手勢動作。在對手勢動作的加速影像進行識別判斷、綜合分析之前，首要的基礎(chǔ)就是要能夠順利地獲取手勢的有效動作數(shù)據(jù)。這種有效地動作表現(xiàn)為在比較明顯的靜止時間內(nèi)出現(xiàn)短暫的動作區(qū)段。

2） 建立樣本庫。本次系統(tǒng)所采用的模式識別主要運用的是處理分析法，這種方法的本質(zhì)就是對手勢影像的每一個動作進行信息采集，構(gòu)建強大的動作樣本庫，在庫內(nèi)針對每一個動作手勢，進行不同的分解識別，然后對其進行處理分析。

3） 模塊識別。對于采集的手勢動作影像數(shù)據(jù)庫具有很高的要求，能夠有效地提取分析庫內(nèi)動作的有效特征，并生成特征的子空間；也可以將動作的子特征再次投影，構(gòu)成一組新的數(shù)據(jù)庫，將其與有效的動作片段庫進行對比，找出操作者的動作區(qū)別，更精準地分別識別操作者動作。

4.2 控制模塊

識別信息結(jié)果與構(gòu)建模型進行校對，若兩者相吻合，則輸出命令控制傳感器，完成相應(yīng)指令，如圖3、圖4所示。

5 實驗測試結(jié)果與分析

5.1 動作識別功能測試

操作者完成各個手勢動作樣本采樣，設(shè)置A、B兩組正反手勢識別，C組在復(fù)雜背景下進行，每種手勢采樣數(shù)量各為10，測得誤識別率最高為25%，不識別率為0%，C組偏差過大，不作展出（由數(shù)據(jù)看出，手勢的正反也對識別有一定影響，且復(fù)雜的背景環(huán)境也對識別有很大干擾，猜測是算法模型問題導(dǎo)致）。重復(fù)數(shù)次實驗后，A、B兩組各動作的誤識別率和不識別率表1所示。

5.2 操作者定位測試

通過攝像頭不僅可以抓取操作者的手勢動作，同樣也可以獲取操作者的位置信息，對于操作者的位置信息檢測到人體在室內(nèi)的位置，通過圖像校正的功能對操作者進行有效定位，可以對單純的手勢識別進行補充，系統(tǒng)可以通過操作者的位置信息判定手勢控制的有效時段，更好地控制智能家居的反應(yīng)效果。

6 結(jié)束語

本文研究基于手勢識別的智能家居控制系統(tǒng)，主要是對用戶手勢進行識別，并能準確地操控智能家居產(chǎn)品，完成相應(yīng)的指令。采用Python的開源Web 應(yīng)用框架Django搭建手勢識別系統(tǒng)，以此對智能家居進行控制。經(jīng)測試，系統(tǒng)能較好地識別手勢并作出相應(yīng)指令。后續(xù)研究包括：進一步調(diào)整優(yōu)化算法，提高識別準確度、分別對不同場景下不同干擾下對手勢識別[5]、準確分類手勢類型[6]并通過卷積神經(jīng)網(wǎng)絡(luò)進行識別訓(xùn)練[7]。

參考文獻：

[1] 蘇九林.Hausdorff距離在手勢識別中的運用[D].上海：上海海事大學(xué)，2004.

[2] 佟喜峰，樊鑫.基于DTW的手勢識別算法[J].計算機與數(shù)字工程，2022，50（8）：1782-1786.

[3] 蔡旻，高涵文，李華一，等.基于CRF和HMM混合模型的手勢識別方法[J].計算機應(yīng)用與軟件，2021，38（11）：162-166.

[4] 易靖國，程江華，庫錫樹.復(fù)雜背景下的手勢識別方法[J].數(shù)字技術(shù)與應(yīng)用，2016（9）：50-53.

[5] 楊波，宋曉娜，馮志全，等.復(fù)雜背景下基于空間分布特征的手勢識別算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2010，22（10）：1841-1848.

[6] 解迎剛，王全.基于視覺的動態(tài)手勢識別研究綜述[J].計算機工程與應(yīng)用，2021，57（22）：68-77.

[7] 萬宇.基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的手勢識別及應(yīng)用[D].武漢：江漢大學(xué)，2020.

【通聯(lián)編輯：唐一東】