基于Kinect的手勢識別與閾值法

陳保 蘇順開

摘要：Kinect技術的發展，讓人機交互的方式由傳統的鍵盤、鼠標轉化成了對人體動作的識別。在識別人體手勢的基礎上，對深度圖像的對象獲取成了進一步圖像處理的關鍵，閾值法是常用的對象獲取方法。本文中對閾值法區分對象和背景詳細描述，得出獲取最佳閾值表達式。

關鍵詞：Kinect 深度圖像 對象 閾值

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2016）07-0056-02

1 手勢識別的基本方法

隨著現代科學技術的發展，人體向機器發布施令方式除了傳統的鼠標鍵盤外，利用人體動作和手勢與機器進行交互成了目前的研究熱點問題。微軟的體感技術設備能夠獲取深度圖像、人體骨骼及手勢動作或聲音，向人們提供了一種全新的人機交互模式。基于Kinect的人體動作識別技術目前僅能識別簡單的目標行為，一般動作是單一的，場景也比較簡單。復雜動作和多目標或多行為的人體識別還是不多見的，手勢動作識別過程是動態的系統過程，識別方法目前主要有基于模板和基于概率統計或基本語法的方法。如下圖1所示。

人體手勢動作識別的下個步驟就是人體三維建模，Kinect設備有攝像頭和紅外設備，能夠對拍攝的物體生出三維數據。但是雖然Kinect有紅外發射器但是它并不能直接提供原始的紅外數據，還需要在計算機內部進行數據處理，從而得到所拍攝物體的深度數據。事實上深度數據是由深度圖像得到的，所以要對深度數據處理前，要先獲取被拍攝物體的深度圖像。

2 Kinect獲取對象的閾值法

Kinect對獲取的深度圖像進行數據處理主要采取的是閾值法，所謂閾值法就是指將要處理的數據與系統內已經設置好的一組數據相比較，然后根據結果和給定的閾值相比較，查看結果是否在閾者范圍之內來決定是否保留或刪除該數據的一種處理方式。閾值法最大的優點就是直觀并易于實現，在深度圖像處理時常常用于圖像分割，所謂圖像分割是指對圖像進行分區，它所依據的主要元素就是圖像上的部分特征，包括圖像上像素灰度、目標紋理、色彩等。圖像分割往往把用戶需要的部分作為提取對象，而其它部分則作為背景。利用圖像分割可以將用戶感興趣的部分從背景中分離出來。

圖像的特征往往用像素的灰度級來表示，容易提取，將用戶感興趣的圖像和背景圖像之間選擇一個閾值，將所有灰度值大于閾值的點歸為用戶感興趣的對象點，其它的值則表示為對用戶無用的背景點。圖像處理中的閾值點可以用下面的公式表示：

其中表示為圖像中所選取點的灰度級的值，用戶感興趣的圖像的像素表示為1，而背景像素的灰度級表示為0，T表示為系統所選定的閾值，表示經過灰度級的閾值處理后的新圖像。

如果T的值完全取決于，則T被稱為全局閾值，這種對圖像處理的方法比較簡單，并且易于實現，但是圖像處理的精度不高，往往對圖像有特殊的要求，比如圖像的整體背景和對象區分比較明顯。但是在實際的圖像處理中，很難遇到這種比較簡單的情況，往往處理的圖像比較復雜，整個圖像的閾值完全取決于一個的可能性不大，所以設置這樣一個閾值不能很好的區分對象和背景圖像。這里一般有兩種方法來解決這個問題，一個是設置多個閾值，將要處理的圖像進行分割，分割成不同的區域，然后按區域進行閾值設置，不同的區域按不同的閾值來處理，在一個區域內相當于全局閾值方式來獲取對象或背景。另一種處理方法就是對灰度級進行校正，將圖像的像素的灰度級校正到可以區分對象和背景。

閾值處理圖像法的關鍵，就是選取合適的閾值。對于精度要求不高的圖像可以采取灰度直方圖，用眼睛觀察直方圖的峰谷，多次對比最后來確定閾值。但是對于精度要求較高的要處理的圖像，這種方法顯然不適合，需要用精確的數學表示方法來獲取圖像的閾值。假設圖像的像素的灰度級具有正態概率分布的特征。對像的分布函數為，而背景的像素分布函數為，兩者的方差分別為和，在圖像中所占的面積分別為和。由此可以求出圖像的概率密度函數為：

假設此處理圖像的閾值為t，將灰度值在t之下的作為用戶感興趣的點，即對象點，將灰度值在t之上的點稱為背景點。將背景點錯誤記為對象點的概率記為，將對象點被錯誤記為背景點的概率記為。

總的可能出錯的概率為：

令上式達到最小值，即可求得最佳閾值t，利用求導公式對上式求導并令其為0可得。，化簡后可得：

因為：，，將上述各算式整理并代入可得：。對該式兩邊取對數并去掉分母可得到如下式子：

，假設

，可以得出：，并由此可以得出圖像的最佳閾值為：。

在人體動作步履研究中，多是基于二維圖像對人體模型進行提取，由于二維圖像的局限性，不同的視角下獲得的信息常常分歧較大。三維模型可以很好的解決因視角變換激發的問題及遮擋景象，適合于三維空間的人體姿勢表達，可人體模型是基于三維技術和立體匹配的編碼。Kinect通過深度圖像處理技術獲得人體模型的三維信息，結合二維圖像可獲得更切確的三維模型信息。

3 對PPT操作進行手勢識別

下面是使用C#編程，利用閥值來實現對PPT操作進行手勢識別的一段代碼：

//手臂垂直舉起的閥值

private const double ArmRaisedThreshhold = 0.2；

//判別右手是否舉起，若已舉起，為True

bool isRightHandRaised = （rightHand.Y - rightshoulder.Y） > ArmRaisedThreshhold；

//判別左手是否舉起，若已舉起，為True

bool isLeftHandRaised = （leftHand.Y - leftshoulder.Y） > ArmRaisedThreshhold；

//當左手舉起，控制PPT開始執行

if （isLeftHandRaised） //判左手是否舉起，若左手已舉起，為真。

{

if （！isBeginScreenActive）

{

isBeginScreenActive = true；

System.Windows.Forms.SendKeys.SendWait（"{F5}"）； //執行快捷鍵F5

}

}

else

{

isBeginScreenActive = false；

}

//當右手舉起，就停止PPT的執行

if （isRightHandRaised） //判右手是否舉起，若右手已舉起，為真

{

if （！isStopScreenActive）

{

isStopScreenActive = true；

System.Windows.Forms.SendKeys.SendWait（"{Esc}"）； //即按Esc鍵

}

}

else

{

isStopScreenActive = false；

}

參考文獻

[1]M.Camplani and L.Salgado.Efficient Spatio-Temporal Hole Filling Strategy for Kinect DepthMaps[C].Proc.SPIE8290，Three-Dimensional Image Processing （3DIP） and Applications II，February，2012：336-339.

[2]任海兵，祝遠新，徐光，林學，張嘵平.基于視覺手勢識別的研究—綜述[J].電子學報，2000（02）：118-121.

[3]劉偉華，樊養余，雷濤.基于深度圖像的運動人手檢測與指尖點跟蹤算法[J].計算機應用，2014（05）：1442-1448.

[4]楊波，宋曉娜，馮志全.復雜背景下基于空間分布特征的手勢識別算法[J].計算機輔助設計與圖形學學報，2010（10）：1841-1848.