基于多點特征提取的手勢識別的研究

宋昆哲 閆曉虎 田樂 王奇俊 劉珂

摘 要：手勢識別系統是指人類用語言中樞建立起來的一套用手掌和手指位置、形狀構成的特定語言系統。為了解決傳統手勢識別計算量大的問題，在已有的手勢識別基礎上，提出一種重心距離的手勢識別方法。通過膚色檢測方法進行手勢分割，計算手的重心，將手的邊緣的點與重心點的距離按順時針方向或者逆時針方向遍歷，就會出現五個峰值，分別是五個手指。實驗結果表明，與現有方法相比，此方法在識別速度方面有了明顯的提高。

關鍵詞：手勢識別；膚色檢測；手勢分割；指尖檢測

中圖分類號：TP391.4 文獻標志碼：A 文章編號：2095-2945（2018）25-0028-02

Abstract： Gesture recognition system （GRS） is a special language system composed of palm and finger position and shape， which is established by human language center. In order to solve the problem of heavy computation in traditional gesture recognition， a new gesture recognition method based on barycentric distance is proposed. The skin color detection method is used to segment the hand gesture， calculate the center of gravity of the hand， and traverse the distance between the edge of the hand and the center of gravity clockwise or counterclockwise， and there will be five peaks， five fingers respectively. The experimental results show that the recognition speed of the proposed method is much higher than that of the existing methods.

Keywords： gesture recognition； skin color detection； gesture segmentation； fingertip detection

1 概述

手勢作為一種人類日常普遍使用的交互方式，因其形象生動而成為了人機交互中的非常重要的一部分。目前的人機手勢交互因為技術的限制還處于比較低級的階段，主要是基于計算機視覺的手勢識別方式?；谟嬎銠C視覺的手勢識別方式是通過攝像頭捕獲圖像，依據算法來獲得手勢的相關特征信息。

2 手勢識別的步驟簡介

手勢識別主要分為五個步驟：圖像獲取、目標檢測、圖像分割、特征提取、分類器設計。

3 研究方法

3.1 圖像獲取

圖像獲取也就是圖像的數字化過程，使用高清攝像頭采集圖像，將實時采集后具有不同像素的圖像經過codebook算法的處理，為手勢檢測與切割做準備，從像素中讀取圖像的象征，并且利用單色圖像、灰度級、分辨率以及亮度和對比度，來減小背景對前景的影響。而彩色圖像通常用三字節的R，G，B來表示，通過三個通道顏色的變化和三個通道顏色的疊加來得到不同的顏色。

3.2 目標檢測

背景差分法是目前運動檢測中最常用的一種方法，它是利用當前圖像與背景圖像的差分來檢測出運動區域的一種技術。它對于動態場景的變化，如光照和外來無關事物的干擾等特別敏感。該算法首先選取背景中的一幅或幾幅圖像的平均作為背景圖像，然后把以后的序列圖像當前幀和背景圖像相減，進行背景削去。這里我們采用手動背景法，用人去觀察背景圖像，選取某一幀圖像作為背景圖像，然后把其他物體與選定的背景圖像進行分析運算。

3.3 圖像分割

圖像邊緣分割是補償圖像的輪廓，增強圖像的邊緣及灰度跳變的部分，通過下列算子實現。

（1）Sobel算子：對噪聲有平滑抑制作用，但得到的邊緣較粗，可能出現偽邊緣。

（2）Prewitt算子：利用像素點上下和左右鄰點的灰度差，能去掉部分偽邊緣，對噪聲具有平滑作用，但對圖像邊緣檢測的可能造成邊緣點的誤判。

（3）Canny算子： 弱化了噪聲的影響，然而對圖像邊緣檢測過于細化，同樣不利于圖像紋理特征的提取。

（4）Roberts算子：Roberts算子能夠較好的去除偽邊緣，定位較準，垂直方向邊緣的性能好于斜線方向，但Roberts算子對噪聲較敏感，提取圖像邊緣較粗。

因此，采用多算子融合的圖像邊緣提取方法，該方法克服了噪聲的影響，較好結合四種算子的優點。

3.4 特征提取

第一步處理方法是將距離過近的線段融合在一起，方法是對所有線段進行遍歷。首先固定一條線段，將其余線段依次與該線段進行比對，確定其余線段的起點或終點是否在以該固定線段的兩個端點為斜對角線的矩形框架內。若滿足上述條件則進行下一步判斷，確定這兩條線段的夾角是否小于12度以及在矩形框架內部的端點到該線段的距離是否小于50。若以上條件均滿足則將這兩條線段最遠的兩個端點確定為一條新的線段，并將原先的兩個線段刪除，上述過程進行完后回溯重新對所有線段進行遍歷直至不再有新的線段產生。

第二步處理方法是對第一步處理方法所遺漏的線段進行進一步處理。這次考慮的是兩條線段相交且兩條線段的端點分別不在以另一條線段的兩個端點為斜對角線的矩形框架內的線。首先固定一條線段，依次將其余線段與該線段進行比對，若斜率相同則不予以處理，若斜率不同則計算兩線段所在的兩條直線的交點坐標，若該交點的橫坐標分別在兩線段各自兩端點的橫坐標范圍內，則說明兩線段有交點。接下來繼續判斷這兩條線段的夾角是否小于12度，若小于則將兩條線段最遠的兩個端點合并為一條新的線段，將原來的兩個線段刪除，之后回溯重新對所有線段進行遍歷直至不再有新的線段產生。

第三步處理方法是對點的處理。以上兩步可以將干擾的重復線段除去，但因為每個手指的兩側都會各有一條線段，所以這一步是將每個手指的兩條線段的上端點合并在一起。該步驟的方法是將所有線段的上端點存入一個新的矩陣中固定一個點，對其余所有點進行遍歷，判斷兩點之間距離是否小于40，若小于則取兩點之間的中點作為新的點，并將原來的兩點刪去，接下來回溯重新對所有點進行遍歷直至不再有新的點產生。

3.5 分類器設計

BP神經網絡是一種神經網絡學習算法，是由輸入層、中間層和輸出層組成的階層型神經網絡，中間層可擴展為多層。相鄰層之間各神經元進行全連接，而每層各神經元之間無連接。當一對學習模式提供給網絡后，各神經元獲得網絡的輸入響應產生連接權值。然后按照減小期望輸出與實際輸出誤差的方向，從輸出層經各中間層逐層修正各連接權，回到輸入層。此過程反復交替進行，直至網絡的全局誤差趨向給定的極小值，即完成學習的過程。

下面每個手勢用攝像頭拍攝8張照片，將傅里葉變換后的結果導入神經網絡中進行分析，分類效果良好（表1）。

參考文獻：

[1]顧立中.基于表達的手勢識別及人機交互研究[D].上海：上海交通大學，2008：45-67.

[2]覃文軍.基于視覺信息的手勢識別跟蹤算法研究與實現[D].沈陽：東北大學，2010：13-41.

[3]公衍超，萬帥，楊楷芳，等.利用雙目視覺視頻的實時三維裸手手勢識別[J].西安電子科技大學學報（自然科學版），2014，41（4）：130-136.

[4]楊波，宋曉娜，馮志全，等.復雜背景下基于空間分布特征的手勢識別算法[J].計算機輔助設計與圖形學學報，2010，22（10）：1841-1848

[5]吳杰.基于深度學習的手勢識別研究[D].成都：電子科技大學，2015：1-79.