基于手部動作的人機交互算法實現

基于手部動作的人機交互算法實現

當前智能人機交互系統逐漸成為科技研究的一個重要方向。在這一發展潮流下，手勢識別成為了一種新興的人機交互操作方式。本文對人機交互系統進行研究，提出了一套基于手部動作的人機交互算法。該算法通過攝像頭捕捉圖像，并對采集來的圖像進行高斯濾波等前端處理，然后利用背景差分進行運動目標檢測，接著利用基于Ycbcr空間的膚色檢測技術找到運動目標中的手部區域，并對手部區域進行運動分析，最后根據識別出來的手部動作進行相應的操作。實驗結果表明該算法可以較好的去除背景噪聲的干擾，對操作者手勢進行實時有效的識別，并對遙控小車發出指令，實現了基于手部動作的智能人機交互。該算法具有廣闊的發展和應用前景，實現了更為智能方便的人機交互。

隨著科技的發展，人機交互在各行各業都有著廣泛的應用前景。而隨著人機交互的發展，智能化成為了人機交互系統的主要發展方向。相較于傳統的人機交互方式，比如鍵盤輸入，鼠標輸入，新型的人機交互方式可以為使用者帶來更大的便利，比如圖像輸入，語音輸入。簡單地說，圖像輸入是基于數字圖像處理技術的輸入方式，經過攝像頭采集和計算機處理對圖像和視頻進行處理，屏蔽噪音，提取有用信息，進而完成相應的操作指令。圖像輸入的主要方式是手勢識別、人臉識別、動作識別。

動作識別算法是對一系列圖像中包含的動作進行識別分析的算法，主要由前端噪聲處理、目標檢測、和目標行為分析組成。對運動檢測的主要方法有幀間差分法，背景差分法。幀間差分法實時性好，背景不積累，算法簡單，計算量小；背景差分法不受背景干擾，算法簡單易實現。

本文對基于手部動作的人機交互算法進行研究，目的是通過識別操作者的手部動作對小車進行控制。本算法直接調用攝像頭采集實時視頻，對操作者手部動作進行噪聲過濾，運動和膚色檢測、動作分析并發送相應的指令。

基于手部動作的人機交互算法

本文提出的基于手部動作的人機交互算法框圖如圖1所示。在初始視頻采集模塊，通過攝像頭采集視頻，對采集來的視頻流進行高斯濾波、形態學濾波等做前端處理，濾除噪聲，以便對操作者手部動作進行提取和檢測。在運動目標檢測模塊，通過背景差分得到運動目標。在膚色特征檢測模塊，通過膚色識別，輪廓提取等處理進一步濾除圖像中的干擾信息，得到更為精準的手部區域。在手部運動分析模塊，通過質心提取，運動特征點定位識別手部動作在圖像中的位置，進一步確定操作者手部的運動軌跡和方向，從而翻譯出操作者的真實意圖，并在人機交互模塊對遙控小車進行操控。

圖1 基于手部動作的人機交互算法框圖

初始視頻采集

捕捉靜態背景

由于在實際操作中背景會因為操作者身處的環境不同而受到或多或少的干擾，要想從復雜的背景中提取出清晰的影像，需要考慮采集時，背景是否受光線因素影響，操作者是否移動等相關因素。所以為了提取出相對穩定清晰的影像，本算法自視頻開始采集后采用第26幀的圖像作為背景圖像，

濾除前25幀圖像中的噪聲和干擾。這樣提取出來的的背景相對干凈，噪聲干擾少。

確定背景圖重心

為了準確的定位重心坐標，需要使用矩計算物體形狀的重心，面積，主軸和其它的形狀特征等。由公式（1）：

其中x，y，i，j是待處理區域的坐標（單幀圖像中的像素點坐標）。

令Xc，Yc表示區域重心的坐標，則如公式（2）所示：

在二值圖像的情況下，M00表示區域的面積。

因為操作者體型不同，所以為了更準確的定位重心，需要設定一個重心上移量。

高斯濾波

高斯濾波的作用在于消除高斯噪聲，對信號做平滑處理。在圖像處理中，高斯濾波是一種常用的減噪手段。其算法原理就是將中心像素點的值用其鄰域內像素值的加權平均代替。

形態學濾波

形態學濾波的基本方法有：腐蝕、膨脹、開啟、閉合。腐蝕可以細化圖像中的目標，消除邊界點；膨脹可以粗化圖像中的目標，可以填補圖像中的縫隙；開啟可以使圖像變得光滑，有效過濾噪聲點，具體操作是先腐蝕，再膨脹；閉合可以消除圖像中的狹窄的間斷，填補輪廓的裂痕，具體操作是先膨脹再腐蝕。本算法采用了開啟運算。

運動目標檢測

背景差分法

背景差分法是一種常用的運動區域檢測的方法，通過將當前幀與背景幀作對比差分，檢測出運動區域。背景差分法檢測運動目標速度快，檢測準確，易于實現。

如不考慮噪音n（x，y，t）的影響，視頻每一幀圖像I（x，y，t）可以看作是由背景圖像b（x，y，t）和運動目標m（x，y，t）組成：

由式（3）可得運動目標m（x，y，t）：

而在實際中，由于噪音的影響，式（4）不能得到真正的運動目標，而是由運動目標區域和噪音組成的差分圖像d（x，y，t），即：

得到的運動目標需要做進一步處理，閾值分割是最常用的方法：

式中T為一閾值，本文既采用這種閾值分割法。

膚色特征檢測

膚色識別

在現實生活中受限于環境因素，不同時刻的光照、顏色各異的燈光、噪聲的背景等很多因素都可以對膚色識別產生或大或小的干擾。為了盡可能小的減少環境因素的干擾，本算法采用YCbCr膚色空間。因為人眼對于亮度的變化較為敏感，且根據相關研究顯示，不同人種的膚色的不同主要在于亮度分量，因此在膚色識別中一般剔除亮度分量， ，只關注Cb、Cr兩個顏色分量。

YCbCr與RGB的轉換公式如下：

圖像二值化

圖像的二值化處理就是將圖像上每一個像素的灰度置為0或255，即將256個亮度等級的灰度圖像通過適當的閾值過濾，大于閾值的置為255，小于閾值的置為0，從而獲得仍然可以反映圖像整體和局部特征的二值化圖像。在本算法中，高于閾值的圖像即為手部目標，低于閾值的圖像即為背景。

理想方式下，為選取一個合適的閾值，記t為目標與背景的分割閾值，目標像素數占圖像比例，平均灰度；背景像素占圖像比例，平均灰度。圖像的總平均灰度為：

從最小灰度值到最大灰度值遍歷t，當t使得值

最大時，t即為分割的最佳閾值。

在本算法中，由于膚色檢測比較特殊，并不能簡單采用理想方式找到最佳閾值。經試驗設定，當Y分量像素值在70～255，Cb分量像素值在80～128，Cr分量像素值在134～165之間視為膚色區域，即該區域像素點置為255，其他區域像素點置為0。

繪制輪廓集

為了更好地識別運動目標的形狀，也為了更好地定位運動目標的坐標，需要將運動目標的輪廓勾勒出來。因為輸入的圖像為二值圖像，可以較為容易的將整幅圖像中的輪廓掃描出來，并將所有輪廓的邊界點坐標存儲于一個特殊的矩陣中。利用這些坐標，我們可以輕易地繪制出一個包含多個輪廓的輪廓集。

設定輪廓最小外界矩形的面積閾值

雖然膚色識別可以過濾掉大多數背景干擾，但在實際應用中，人體的其他部位以及背景環境中的類膚色干擾因素依然會影響系統對于手勢的識別。因此本算法采用設定一個輪廓最小外接矩形的面積閾值，從而在整幅圖像所有輪廓中找到手臂的輪廓，即輪廓的最小外接矩形。這樣可以提高算法的準確性和實用性。

手部運動分析

信息提取

設重心坐標為（Gx，Gy），輪廓最小外界矩形的四個頂點坐標是（Ax，Ay）、（Bx，By）、（Cx，Cy）、（Dx，Dy）

設（AVERx，AVERy）為頂點坐標平均值

將四個坐標點橫坐標排序，設橫坐標最小的頂點為（MINx，MINy），橫坐標最大的頂點為（MAXx，MAXy）。

若AVERx＞Gx，則運動特征點為（MAXx，MAXy），反之特征點為（MINx，MINy）。

信息分析

攝像頭開始采集后，每隔48幀系統會采集一幅圖像，共采集4次。經過上述處理后得到一個特征點，記為特征點1、特征點2、特征點3、特征點4。然后根據特征點坐標變化的規律進行手部運動分析。若特征點4的橫坐標大于特征點3，特征點2和特征點1橫坐標，則視為向右移動；若特征點4的橫坐標小于特征點3，特征點2和特征點1橫坐標，則視為向左移動；若特征點4的縱坐標大于特征點3，特征點2和特征點1縱坐標，則視為向上移動；若特征點4的縱坐標小于特征點3，特征點2和特征點1縱坐標，則視為向下移動。

指令發送與接收

借助 Visual C++編譯環境的MFC模式下的MSComm控件可以實現系統與串口的通信。MSComm是Microsoft公司提供的用于串行通信編程的控件。借助該控件，應用程序可以方便的借助串口收發數據。MSComm控件提供了多種通信命令的使用接口以及兩種處理通信的方法：事件驅動方式和查詢方式。本系統采用查詢方式。借助無線收發模塊可以實現指令的遠距離傳輸，本系統采用的是BM100B模塊，BM100B模塊采用GFSK調制方式，可工作在315/433/490/868/91MHZISM頻段，具有尺寸小，功率大，靈敏度高，傳輸距離遠，通信數慮高，內部自動完成通信協議轉換和數據收發控制等特點。用戶可以利用該模塊提供TTL、232或485串行數據接口自行配置摸塊的串行速率，工作信道，發射功率，通訊數率等參數。

實驗結果

本文采用Visual C++ 編程軟件和OpenCV對實時采集的視頻進行了前端噪聲處理，之后通過背景差分法得到運動目標，通過膚色檢測找到具有膚色特征的目標，然后通過運動分析識別手部運動，最后與小車進行交互。圖2為基于手部動作的人機交互算法實驗結果示例，實驗中規定當操作者手從上到下移動時，系統發出前進指令；當操作者手從下往上移動時，系統發出后退指令；當操作者手從左往右移動時，系統發出左轉指令；當操作者手從右往左移動時，系統發出右轉指令。如圖2（a）和（b）所示，當操作者手從左往右移動時，小車也從左往右移動。如圖2（c）和（d）所示，當操作者手從下往上移動時，小車也從下往上移動。

圖2 基于手部動作的人機交互算法實驗結果示例

結語

本文提出了一套基于手部運動的人機交互算法，該算法可以對手部運動進行提取，進而根據提取到的特征點進行運動分析，最后根據分析的結果能夠通過智能控制系統進行人機交互。該方法可以用于一些適用于殘障人士的特殊場合，方便他們進行操作，具有識別準確，反應速度快的特點。

10.3969/j.issn.1001- 8972.2016.20.019