基于HOG特征提取和SVM的手勢識別方法研究

李國玄 馬凱凱 王文博

商丘工學院機械工程學院，河南商丘 476000

0 前言

手勢是一種自然、直接、符合用戶習慣的交互方式，具有快速、非接觸、容易理解等優勢，因此，對手勢識別的研究可以增強用戶的沉浸感體驗，使交互體驗更為直觀和舒適。隨著人工智能的迅速發展，人機交互技術也越來越趨于智能化和人性化，手勢識別作為人機交互領域中一個具有挑戰性的問題，多年來一直是科研工作者研究的熱點[1-2]。目前，國內外針對手勢識別的研究主要分為基于2D攝像頭的二維手型識別、二維手勢識別，以及基于3D攝像頭的三維手勢識別，前兩種完全基于二維層面，第三種包含深度信息。最初，研究者主要是利用機械設備輔助檢測人手的各個關節的位置、角度信息，從而識別手勢含義。傳統的人機交互技術是指通過計算機輸入、輸出設備，以有效的方式實現人與計算機對話的技術，它包括機器通過輸出或顯示設備給人提供大量有關信息及提示請示等，是計算機用戶界面設計中的重要內容之一[3-4]。隨著科技的發展，人們逐漸不滿足傳統的接觸型交互，手勢識別作為非接觸型的一種交互方式，不僅實現了便捷的操作方式，還完成了人與計算機的互動和交流。目前，手勢識別在手語識別、人機交互、機器人控制、智能監控、視覺環境操作等領域均有應用，未來將在更多行業、更多方面發揮價值[5]。

1 手勢圖像采集

目前，手勢識別在醫療服務促進與聾啞人的交流、智能機器操作的便捷、提高汽車駕駛安全度等方面得到廣泛應用，根據采集手勢圖像的設備不同分為基于數據手套的手勢識別和基于計算機視覺的手勢識別。基于視覺的識別方式具有直觀性、自然性和豐富性的特點，使操作者更加自然地進行人機交互，已經成為手勢識別的研究重點[6-7]。本文研究對象是靜態手勢的識別，對于一幅圖片首先分割出手勢部分，其次在手部區域提取某種特征來描述手勢特性，最后利用手勢形態特征分類方法對手勢進行識別，手勢識別數據處理流程如圖1所示。

本文采用筆記本自帶攝像頭采集圖像，在視頻流中每隔1 s隨機抓取一幅手勢圖像，考慮到手勢識別過程中實際情況的復雜性，如光照強度、手勢的形態、背景復雜程度等，對采集的手勢圖像進行歸一化處理，提高手勢識別率。共采集6種手勢，每種手勢1,000張圖片，手勢數據集如圖2所示。

2 手勢圖像分割

在手勢識別過程中，將獲取到的手勢信息轉換成可用計算機處理的數字圖像時，圖像的生成、采集、變換及傳輸過程中會受到各種因素的干擾。為了降低手勢圖像的復雜多樣性對手勢特征提取和訓練過程中的影響，提高特征提取和識別的可靠性，需要對采集的手勢圖像進行預處理，即過濾掉圖像中不需要的部分，增強圖像中的特征信息。通過對采集的RGB圖像分析，手勢本身形態不一，圖像背景及光照強度都會對手勢形態造成影響，包括背景的變化、圖像采集設備的性能、運動跟蹤的靈敏度、類膚色區域等，都給手勢的檢測帶來了困難[8-9]。

目前，基于視覺的分割方法有3類：

（1）閾值法：首先對采集的RGB圖像做灰度變換，生成灰度直方圖，選擇直方圖中的最小值作為分隔的閾值，小于閾值的區域設置為全黑，大于閾值的區域設置為全白；

（2）模板匹配：首先建立一個標準的樣本庫，提取樣本庫的特征并保存為XML格式，同樣提取采集圖像的特征向量與文件中的向量做對比，計算向量之間的距離，選擇距離最小的作為模板匹配的結果輸出；

（3）物理特征：主要根據膚色的色彩空間分割手勢，膚色特征具有較好的聚類特征，利用這種特征區分手勢區域，提高識別效果。

膚色作為手部區域的明顯特征，在實際應用中容易受到環境變化，如位置變化、有色光源產生的色彩偏移等，這使得整個手部區域存在較大的差異，在圖像處理中常用的膚色空間包括RGB、YUV和YCbCr等顏色空間。YUV是從全彩色圖像中產生一個黑白圖像，提取出3個主要的顏色變成兩個額外的信號來描述顏色，從RGB中提取亮度值來減少顏色信息量，這些值可以重新組合來決定紅、綠、藍的混合信號。YUV和RGB的轉換如式（1）所示。

其中，Y表示亮度；U表示色度；V表示密度。

YCbCr是膚色檢測常用的模型空間，其中，Y代表亮度，Cr代表圖像中的紅色分量，Cb代表圖像中的藍色分量。人的膚色在外觀上的差異是由色度引起的，YCbCr顏色空間中CbCr的顏色區間類似于橢圓形狀，要判斷圖像中的像素是否在橢圓范圍內，從而確定該點是否是待研究的像素點，遍歷整個圖像區域，確定膚色的范圍。將圖像轉換到YCbCr空間并且在CbCr平面進行投影，如式（2）所示：

其中，Y表示顏色亮度成分；Cb表示藍色濃度偏移量；Cr表示紅色濃度偏移量。

在YCbCr模型下，強度Y對色彩在CbCr平面的分布作用不大，采用線性近似值的辦法來找出膚色子空間的邊界，膚色像素點的范圍為77≤Cb≤127，并且133≤Cr≤173，假設該膚色像素點的灰度級為g(x, y)，代碼說 明if(77≤Cb≤118&&120≤Cr≤127)，g(x,y)=0; else g(x,y)=255。YUV和YCrCb各通道的膚色檢測效果圖如圖3所示。

由圖3可以看出，YUV顏色空間相對于YCbCr空間的聚合度較低，三維的膚色空間轉化為二維CbCr空間的話，膚色區域會形成一定的形狀，產生很好的聚類效果，所以本章基于膚色模型的手勢識別選擇YCbCr膚色空間。基于YCbCr膚色轉換分割的效果如圖4所示。

3 手勢圖像預處理

隨機采集的圖像容易受環境的干擾，不可以作為圖像處理的輸入圖像，在視覺圖像處理前需要對原始圖像做預處理，主要目的是使感興趣區域的特征更明顯，衰減其不需要的特征[10-11]。直方圖均衡化的原理是通過重新分布圖像的灰度值來達到增強圖像對比度的效果。通過直方圖均衡化之后，把在灰度區間[a, b]內原圖像的像素點映射到圖像變換后的 [z1,zk] 區間， [z1,zk]的范圍較大，將原圖像灰度區間的像素點z映射到子區間z12的函數如式（3）所示：

此函數的曲線形狀如圖5（a）所示，將區間[a, b]擴展到區間[z1,zk]上，增強圖像的特征。如果選擇的圖像像素灰度值不唯一或者大部分分布在區間[a, b]，如圖5（b）所示，則可以使用式（4）的映射函數：

如果需要增強敏感區域的灰度細節，同時又可以保留其他灰度上的細節，可以在不同的區間上分段灰度處理，那么研究的灰度區間得以延伸，同時壓縮不需要圖像灰度空間，使對比效果更加明顯，如圖5（c）所示，也可以利用平滑函數對采集的圖像進行尺度變換，如圖5（d）所示。

通過函數變換得到各灰度值所對應的像素數不完全匹配，首先設定灰度值的分布，才能達到直方圖均勻性的目的，假設灰度級zi上的像素點的數量為pi，qi是進行灰度變換之后要得到的數目。從圖像的原點開始找到灰度值k1，使得則重新對灰度級z1,z2,…,zk1-1上的像素點轉換到新的圖像上，求灰度值k2，使得所以另一個子區間的像素值zk1,…,zk2-1分別被映射到灰度級z2上。循環上面的操作步驟到灰度值處理結束，如圖6所示。

通過YCbCr膚色空間轉換的模型檢測出視頻中類膚色區域，該膚色區域包含手、手臂、臉部、頸部和與膚色區域灰度值相等的噪聲點。在視場中，手部和臉部是主要的膚色區域，篩選剔除面積小于200的輪廓，根據膚色區域近似矩形的特點，計算矩形的高與寬比值，滿足box[i].size.height/box[i].size.width＞0.7，0.9＜box[i].size.height/box[i].size.width＜1.2，膚 色 區 域為手部。本文采用的二維直方圖Otsu的自適應閾值分割手勢方法是一種圖像灰度自適應的分割算法，其中一維Otsu算法有計算簡單、自動選擇閾值等優點，多用在圖像分割中。一維Otsu算法對環境有較高的要求，而且要求像素點平均分布[12]，當圖像中有噪聲時，會導致分割的效果不理想。本文采用二維Otsu算法，發現背景和前景的像素點主要分布在矩形區域的對角線上，邊界點和噪聲點分布在對角線的兩側[13]。

通過二維Otsu算法計算劃分出來的有效區域B的閾值，實驗結果對比如圖7所示。

4 手勢識別

在視覺識別領域，常用的靜態手勢識別方法包括3種：第1種為模板匹配技術，其原理是建立圖像數據庫給不同的手勢做標簽，提取實時采集圖像的特征并與數據庫圖像的特征參數比較相似度，輸出匹配度最高的手勢結果；第2種為統計分析技術，通過概率論的統計方法把含有相同手勢的圖像放到一個分類器中，提取圖像的特征向量信息，即維度信息，采用貝葉斯決策的算法設計分類器，根據該方法得到用于分割不同手勢的距離和夾角的值，從而達到對手勢識別的目的；第3種為神經網絡技術，這種方法需要具有自主能力，具有分布性特點，在識別前都需要一個對神經網絡的訓練階段[14-15]。本節的手勢識別采用HOG特征提取+ SVM分類相結合的手勢識別方法，流程圖如圖8所示。

提取手勢圖像的HOG特征，如局部圖像目標的表象、形狀、像素分布以及邊緣方向的密度分布。HOG特征維數的計算，HOGDescriptor* hog =newHOGDescriptor(cvSize(64, 48), cvSize(8, 6), cvSize(8, 6), cvSize(4, 3), 9)。cvSize(64, 48)表示窗口的大小，cvSize(8, 6)表示塊（block）的大小，cvSize(8, 6)表示塊滑動增量（blockStride）大小，cvSize(4, 3)表示胞元（cell）的大小。一張尺寸為640×480的圖片包含（blockSize.width/cellSize.width)*(blockSize.height / cellSize.height）個胞元（cell），所以一個塊（block）含有9A個梯度直方圖。按照所給出的數據，可得結果為36，按照所給出的數據，可得結果為230,400，如圖9所示。

SVM是一種二分類的模型，主要思想是在數據空間找到一個超平面，該平面可以把數據分為兩類，并且這兩類數據到超平面的距離最短。

本節研究手勢識別屬于線性不可分的情況，對采集的數據點進行分類，實際上是通過f(x)=ωTx+b算出結果，然后根據正負號來進行類別劃分。在超平面確定的情況下，我們就能夠找出所有的支持向量，然后計算出間隔margin，找出所有margin中最大的那個值對應的超平面，用數學語言描述就是確定w、bmargin最大，這是一個優化問題，其目標函數可以寫成：

（1）構建拉格朗日函數，如式（5）所示：

其中，α=(α1,α2,…,αN)T＞0為拉格朗日乘子向量，優化問題就轉化為求函數極大、極小問題，如式（6）所示：

例如，它的約束不等式中有一個不等式不滿足約束，y2(ωx2+b)-1＜0，則

（2）求解minω,b L(ω,b,α)，求偏導數并令其等于0，如式（7）所示：

（3）求解minω,b L(ω,b,α)對α的極大值，如式（8）所示：

?i＞0,i =1，, 2這,…是, 原N問題的對偶最優化。

（4）超平面公式求解，如式（9）所示：

求解出b*的值，即找到分類效果最好的平面，支持向量就是此平面上的點，觀察原問題的對偶問題，若(xi,yi)為非支持向量，那么yi(ωxi+b)-1＞0要達到max?最大化的目的，有使 ?i=0，得出結論

為了提高分類器的泛化能力，針對某一手勢要保持統一且不能有遮擋，可以發生輕微變化，例如旋轉比較小的角度，或者使用不同的人作出手勢。負樣本的選擇至關重要，不能包含當前要識別的手勢，保證與識別的區域有一定的差異性，盡量選擇背景比較復雜的圖片，會加快匹配速度。對采集的圖像樣本進行統一裁剪，如圖10所示。

實驗分別采用支持向量機、模板匹配和神經網絡3種方法對手勢識別的效果進行比較，每種手勢、每種方法采集100張，得出靜態手勢的識別率如表1所示。

表1 3種手勢識別方法效果對比

由表1可以看出，在相同訓練集數據中，基于支持向量機的識別方法比模板匹配和神經網絡的識別率高。模板匹配的手勢識別方法對模板的要求較高，原圖像中除了包含手勢之外，其他無關信息全部灰度處理，增加了計算量；神經網絡作為一種以人腦結構為基礎的運算模型，需要大量的節點和神經元進行策略分析，運行效率低且算法復雜；基于HOG特征提取+SVM分類相結合的手勢識別方法優點在于樣本集少，特征提取準確等特點，并且根據3種方法的識別率結果可知，該算法的手勢識別率較高，且識別穩定性較好。

5 結束語

本文首先介紹了手勢識別在人機交互領域的應用，其次分析了手勢分割存在的技術難點，對比了現有手勢分割和手勢識別方法的特點，最后重點研究了基于YCrCb膚色空間的手勢分割和基于SVM手勢識別的算法流程。通過實驗結果分析，驗證了本文采用的HOG+SVM手勢識別算法對手勢形態和復雜背景等因素具有較強的魯棒性。