基于Kinect的智能家居系統(tǒng)

摘 要： 針對傳統(tǒng)基于物聯(lián)網(wǎng)技術(shù)的智能家居系統(tǒng)用戶參與感不強、無法進行自定義手勢操控等問題，設(shè)計一套基于Kinect的智能家庭管理系統(tǒng)。通過深度傳感器得到彩色數(shù)據(jù)流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流，從而獲取人體的動作軌跡，并自定義手勢操控方式來實現(xiàn)家居的智能控制。由于深度數(shù)據(jù)對光照和背景干擾等因素有較強的魯棒性，提高了手勢及軌跡識別的準確性和可靠性。在明暗兩種光照條件下，對該文定義的4種手臂姿勢、3種動作任務(wù)和5種微小手勢的識別實驗表明，該文設(shè)計的系統(tǒng)能夠滿足智能家居的基本需求。

關(guān)鍵詞： Kinect； 深度傳感器； 手勢識別； 智能家居系統(tǒng)

中圖分類號： TN915?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2016）18?0149?04

Abstract： Since the traditional smart home system based on Internet of Things technology has the poor user participation， and can’t perform the user?defined gesture control， a smart home management system based on Kinect was designed. The color data flow， depth data flow and skeleton data flow are got by means of the depth transducer， so as to obtain the movement track of human behavior. The gesture control pattern is self?defined to realize the home smart control. The depth data has strong robustness for light and background disturbance， which can improve the accuracy and reliability of gesture and track recognition. The defined four arm gestures， three movement missions and five tiny hand gestures were recognized in the experiments at the bright and dark lighting conditions. The results show that the designed system can satisfy the basic demand of smart home.

Keywords： Kinect； depth sensor； gesture recognition； smart home system

0 引 言

自21世紀初，智能家居在歐美國家發(fā)展迅速，而在中國，智能家居尚處于萌芽期，目前仍處于基本模型的探索階段[1]。現(xiàn)有的智能家居系統(tǒng)主要有基于物聯(lián)網(wǎng)的智能家居[2?3]和基于移動互聯(lián)網(wǎng)的智能家居[4]系統(tǒng)。總的來說，智能家居系統(tǒng)的研究已經(jīng)有了很多突破性成果，但是還尚未成熟，在基于視覺的人體姿態(tài)識別和聲音識別來控制家居系統(tǒng)的正確率方面尚不令人滿意。

Kinect具有感知外界的CMOS紅外傳感器以及可與用戶交流的音頻系統(tǒng)[5]。CMOS紅外傳感器通過黑白光譜的方式來感知世界，并實時再現(xiàn)環(huán)境，完成體感識別，使人類擺脫遙控器等常用的控制裝置。音頻系統(tǒng)可以識別人類發(fā)出的聲音指令，從而實現(xiàn)對系統(tǒng)的控制。以上兩種方式豐富了智能家居系統(tǒng)信息識別的方式，使得系統(tǒng)更加完善，更加人性化。

基于Kinect在人體姿態(tài)識別和聲音識別的出色表現(xiàn)，本文將Kinect應(yīng)用于智能家居系統(tǒng)，通過Kinect提供的彩色數(shù)據(jù)流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流，獲取人體的動作軌跡及手勢，通過程序解算獲得其含義并產(chǎn)生相應(yīng)的指令，將該指令通過串口傳遞至RZ?51單片機，進而由單片機控制家居系統(tǒng)。本文所設(shè)計的系統(tǒng)彌補了傳統(tǒng)的基于可見光圖像處理的方式在手勢識別時易受光照、背景干擾等因素影響的缺陷，提高了手勢及軌跡識別的準確性和可靠性。實驗結(jié)果表明，該系統(tǒng)能識別預(yù)定的4種手臂姿勢、3種動作任務(wù)和5種微小手勢，并能準確遙控家居系統(tǒng)。

1 系統(tǒng)框架設(shè)計

本文設(shè)計的智能家居系統(tǒng)由人體跟蹤定位模塊、聲音采集處理模塊、計算機編程處理模塊和單片機控制模塊4部分組成，其整體系統(tǒng)設(shè)計框架如圖1所示。其中，前兩個模塊由Kinect自帶的CMOS紅外傳感器和音頻系統(tǒng)來完成，并將獲得的信息通過USB接口傳遞給計算機。CMOS紅外傳感器可以對人體的48個部位進行實時追蹤，還可以識別出完整的RGB色彩，用于對采集圖像進行視覺處理[6]。聲音采集處理模塊中的Kinect 陣列技術(shù)基于噪聲消除、回波抑制和波束成形技術(shù)來屏蔽環(huán)境噪聲。在實際開發(fā)時，通過處理Kinect 獲取的音頻數(shù)據(jù)流來記錄語音并監(jiān)視語音波束角度的變化[5]。

在計算機編程處理模塊對Kinect提供的信息進行處理。對于視覺圖像，可以通過反投影直方圖比對等算法獲得其中蘊含的信息[6]。然后根據(jù)這些信息產(chǎn)生相應(yīng)的指令，利用串口通信方式將信息傳遞至單片機[7]。單片機在接收到指令后，與硬件電路結(jié)合產(chǎn)生響應(yīng)，控制家居設(shè)施（如電視機、電風扇、空調(diào)等）的工作狀態(tài)。比如，電風扇的轉(zhuǎn)與停，電燈、空調(diào)的開與關(guān)等。

2 基于Kinect的手勢識別

2.1 手臂姿勢識別

通過Kinect提供的骨骼數(shù)據(jù)流，可以實時獲取人的骨骼信息，如關(guān)節(jié)坐標等。設(shè)定頭的位置為坐標原點[X0，Y0]，左手的坐標為[Xlh，Ylh]，分別設(shè)定不同手勢下[X0]與[Xlh]，[Y0]與[Ylh]之間的坐標差閾值，當實時監(jiān)測到的手與頭的坐標差達到某一閾值時，即滿足預(yù)設(shè)手勢要求，給出手勢識別結(jié)果。由此可以設(shè)定Kinect所識別的人體的48個骨骼節(jié)點坐標，來完成對不同手勢以及不同姿勢的識別要求。

2.2 動作捕獲

在實際應(yīng)用過程中，可以利用Kinect提供的彩色數(shù)據(jù)流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流，獲取人體的動作軌跡，對軌跡進行定義，用于給單片機發(fā)送相應(yīng)的指令，控制家居設(shè)施的工作狀態(tài)。

基于2.1節(jié)設(shè)定的四個手臂姿勢的判別依據(jù)，將動作軌跡規(guī)定如下：當識別到一個特定手勢后進入下一個預(yù)設(shè)的手勢識別，當依次達到所設(shè)定手勢后，即完成一次動作任務(wù)。

如圖3所示，當識別左手向下45°手勢后，進入左手平放0°手勢識別，之后進行左手向上20°手勢識別，最后到左手向上45°手勢識別，最終完成一個動作捕獲過程，并認定該動作為左手向上45°。類似的，一共定義了左手向上45°動作任務(wù)、左手向上24°動作任務(wù)和左手平放0°動作任務(wù)。

2.3 微小手勢識別

除了定義一個動作任務(wù)來完成對家居設(shè)施工作狀態(tài)的控制外，本文還進一步研究了微小手勢的識別，能夠?qū)崿F(xiàn)對單手伸出1～5根手指的5種微小手勢進行識別。對彩色數(shù)據(jù)流進行處理，將圖像從RGB色彩空間轉(zhuǎn)換到HSV空間，減小環(huán)境亮度對識別的影響，然后設(shè)定閾值對手掌部分進行二值化篩選。效果如圖4所示。

3 實驗結(jié)果與分析

在本文設(shè)計的智能家居系統(tǒng)中，人體跟蹤定位模塊中的手勢識別、動作捕獲和微小手勢識別的正確率決定了對家居設(shè)施工作狀態(tài)的控制正確率。為了測試本文提出的手勢識別、動作捕獲和微小手勢識別方法對光照和復(fù)雜背景的魯棒性，實驗在明亮、昏暗兩種光照條件和單一背景（實驗室白墻背景）、復(fù)雜背景（真實家居環(huán)境下包含不同家具、電器等背景）兩種環(huán)境下進行測試，分別測試20個人的4種手臂姿勢、3種動作捕獲任務(wù)和5種微小手勢的識別正確率，實驗結(jié)果如表1～表4所示。

由表1～表3的實驗結(jié)果可知，本文提出的手臂姿勢識別、動作捕獲和微小手勢識別方法對包含不同家具、電器等的復(fù)雜背景魯棒性非常強，僅微小手勢中的4根手指和5根手指兩個手勢在復(fù)雜背景下識別正確率為90%和95%，其他手勢均為100%。由實驗結(jié)果可以看出，目前提出的算法對于復(fù)雜背景下的智能家居控制非常有效，能夠準確地控制家居電器的工作狀態(tài)。還給出了單一背景視頻下，明亮和昏暗兩種不同的光照下，3類不同姿勢的平均識別結(jié)果，如表4所示。由結(jié)果可知，由于本文采用深度數(shù)據(jù)，對光照有著較強的魯棒性，因此不論光照如何變化，都能夠準備識別動作。圖6給出了光照變化下，基于動作任務(wù)左手向上45°捕獲識別控制風扇工作狀態(tài)的結(jié)果。兩種光照下均能正確控制風扇的工作狀態(tài)。

4 結(jié) 語

本文設(shè)計了一種基于Kinect的智能家居系統(tǒng)，詳細介紹了系統(tǒng)的框架與識別方式。不同于其他智能家居系統(tǒng)，本系統(tǒng)將Kinect應(yīng)用到家居系統(tǒng)中，通過采集人體的彩色數(shù)據(jù)流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流，并設(shè)計不同的手臂姿勢、動作任務(wù)和微小手勢來遙控家電。本文方法由于使用深度數(shù)據(jù)，彌補了傳統(tǒng)的基于可見光圖像處理的方式在手勢識別時易受光照、背景干擾等因素影響的缺陷，提高了手勢及軌跡識別的準確性和可靠性。經(jīng)過實驗驗證，在光照變化下均能夠準確操控家居系統(tǒng)。

參考文獻

[1] 申斌，張桂青，汪明，等.基于物聯(lián)網(wǎng)的智能家居設(shè)計與實現(xiàn)[J].自動化與儀表，2013，28（2）：6?10.

[2] 童曉渝，房秉毅，張云勇.物聯(lián)網(wǎng)智能家居發(fā)展分析[J].移動通信，2010，34（9）：16?20.

[3] 蘇本躍，王廣軍，章健.基于物聯(lián)網(wǎng)環(huán)境下體感交互技術(shù)的智能家居系統(tǒng)[J].中南大學(xué)學(xué)報（自然科學(xué)版），2013，44（z1）：181?184.

[4] 邵鵬飛，王喆，張寶儒.面向移動互聯(lián)網(wǎng)的智能家居系統(tǒng)研究[J].計算機測量與控制，2012，20（2）：474?476.

[5] 楊文超，吳亞東，趙思蕊，等.智慧家庭管家設(shè)計與實現(xiàn)[J].微型機與應(yīng)用，2015，34（11）：64?68.

[6] 吳文斌，李斌，閻驥洲. Kinect人機交互開發(fā)實踐[D].北京：人民郵電出版社，2013.

[7] 鄭方磊，夏春蕾，戴曙光.基于單片機的家庭多功能監(jiān)控系統(tǒng)的設(shè)計[J].信息技術(shù)，2014（7）：66?69.

[8] 許艷旭，張琦，武霞.基于OpenCV的實時手勢識別算法[J].信息技術(shù)，2013（4）：99?102.