基于Kinect傳感器姿態采集PPT控制系統軟件設計

高小梅

摘 要：設計一款可以通過人體動作對PPT進行簡單播放、翻頁、停止等簡單操作的控制系統。該系統主要有外設和pc機組成。通過Kinect體感傳感器采集人體姿勢信息，在pc機中進行預處理、判斷是否符合觸發條件，在執行相應的操作。總而言之，本論文就是主要圍繞姿勢識別展開，通過kincet傳感器姿態采集系統，然后對姿勢進行識別最終實現對控制。

關鍵詞：人機交互；Kinect傳感器；姿態識別；PPT控制系統

隨著人機交互在人們生活中的發展，大家越來越提出智能化，實現正真的人機交互。我們致力于研究出，一種全新的操控方式，基于kinect的姿勢控制。通過人的姿態來控制PPT，可以更直觀，更高效。增強PPT渲染力，說服力。也更符合現代人的需求，隨心所欲更智能化。所選用Kinect體感手勢識別傳感器，其能夠捕捉、跟蹤以及解密人體的動作和手勢，它通過對深度圖像和骨骼圖像的分析實現動態手勢識別。在骨骼圖像的20個骨點中選取至少2個有效骨骼點，通過追蹤這些骨骼點的位置來實現對手部的追蹤；再通過對手部深度圖像的分析來實現動態手勢識別。

一、Kinect的簡單介紹

（一）Kinect簡介

Kinect是微軟為其Xbox 360游戲主機和Windows平臺PC打造的一款運動感知輸入設備，作為一款體感外設，它實際上是一個采用全新空間定位技術（Light Coding）的3D體感攝像頭，利用即時動態捕捉、影像辨識、麥克風輸入、語音辨識、社群互動等功能，允許玩家使用身體姿勢和語音命令通過自然用戶界面技術與Xbox 360交互，從而完全擺脫了傳統游戲手柄的束縛。

（二） Kinect的主要配置有

RGB攝像頭：為Xbox 360提供紅、綠、藍三顏色通道，主要作用在于面部識別和動作追蹤；

深度傳感器：深度傳感器有紅外線投影機加單色CMOS傳感器組成，雖然功能并不復雜，但它可以讓Xbox 360真正“看到”3D空間，而不是通過計算得出空間數據；

多點陣麥克風：主要功能是為了聊天以及語音命令識別，并可以幫助過濾環境噪聲；

定制處理器和微軟的定制軟件：所有硬件都由微軟設計的軟件控制，商業目的。

（三）結構

Kinect有三個攝像頭，中間是一個RGB攝像頭，用來獲取640×480的彩色圖像，兩邊是兩個深度傳感器，左側的是紅外線發射器，右側的是紅外線接收器，用來檢測玩家的相對位置。Kinect的兩側是一組四元麥克風陣列，用于聲源定位和語音識別。

（四）kinect for windows SDK 功能介紹

骨骼追蹤：對在Kinect視野范圍內移動的一個或兩個人進行骨骼追蹤，可以追蹤到人身體上的20個節點。此外，Kinect還支持更精確的人臉識別。

深度攝像頭：利用“光編碼”技術，通過深度傳感器獲取到視野內的環境三維位置信息。

音頻處理：與Micorsoft Speech的語音識別API集成，使用一組具有消除噪聲和回波的四元麥克風陣列，能夠捕捉到聲源附近有效范圍之內的各種信息。

感應器：彩色和深度鏡頭，輔助感應傾斜驅動馬，達完全相容所有Xbox 360裝置。

二、Kinect程序流程

基于Kinect SDK中的API函數完成kinect解決方案，如下圖所示，主要包括5個部分：初始化，獲取圖像，分析跟蹤狀態，顯示圖像，以及退出。下面將分別介紹。

Kinect SDK中的API函數以“Nui”開頭，一般命名為“NuiXXXX”。為了與Kinect SDK中的API函數區別，kinect解決方案中的函數均以“KinectXXXX”命名，內部調用Kinect SDK中的API函數。

（一）初始化

對應KinectNuiInit（）函數，初始化Kinect設備，設置攝像頭仰角，打開顏色流、深度流和骨架流。

（二）獲取圖像

對應KinectGetDepthImage（）、KinectColorFrameToImage（）和KinectGetSkeleton（）函數，從顏色流、深度流和骨架流中獲得數據幀，轉化為openCV中的IplImage圖像類型。

上面的3個函數調用了KinectGetFrame（）、KinectDepthFrameToImage（）和KinectColorFrameToImage（），獲取數據幀，并且轉化為對應圖像類型。

（三）分析跟蹤狀態

對應KinectJudgeTrack（），判斷當前的跟蹤狀態以及控制權所示情況。

KinectJudgeTrack（）調用了KinectPointDistance（）和KinectPointHorizontalDistance（），求出兩點之間的距離以及兩點之間的水平距離。

三、演示系統結構

（一）演示框架

本文的虛擬演示系統是通過對骨骼數據的追蹤來捕捉人體的動作來控制圖片的移動，放大，縮小，旋轉等操作，從而形成一個能與人交互的一個虛擬演示系統，總體結構如下：

圖1 系統操作方案

（二）對骨骼數據的追蹤

先定義骨骼點，通過定義的骨骼點確定骨骼位置；再定義一個骨骼狀態函數，通過這個骨骼狀態函數來捕捉人體的動作，最后通過時間模型來對骨骼數據進行追蹤。

圖2 骨骼追蹤模式

（三） 圖片操作

通過對骨骼的追蹤，確定到手的位置，然后定義操作的動作來識別是對圖片進行什么操作。先獲取圖片的中心位置，然后在進行操作。

圖3 圖片操作方案

（四）視頻窗口

定義一個KinectSensor對象用來表示Kinect設備，定義一個數組來存放獲取到的圖像數據，再通過Loaded方法來來初始化視頻數據并接收視頻流，最后利用kinectSensor_ColorFrameReady方法來獲取視頻數據并顯示出來。

圖4 數據采集結構

（五）預演示

該方案應用體感外設作為LED全彩屏的手勢輸入終端。設備通過識別操作者的手勢、動作來實現LED全彩屏的動作。

手勢輸入終端是一種新型的輸入終端，它不同于傳統意義上的輸入終端，比如鍵盤、鼠標、游戲手柄等，它通過人體的手勢以及動作將操作指令下達給設備。

本方案將體感外設作為新型的輸入設備操作LED全彩屏，顛覆了以往LED屏只能顯示無法互動的缺點。改變了以往LED顯示后臺操作的模式，實現了觀眾即是操作者的設計理念。

通過體感外設可以準確將用戶輪廓提取出來，通過輪廓提取用戶動作信息，并對用戶信息進行建模。