基于不變矩和支持向量機的手勢識別

董立峰，阮 軍，馬秋實，汪 雷

(武漢理工大學 信息工程學院，湖北 武漢430070)

手勢識別[1]、人臉識別、指紋識別和唇讀識別等都是符合人際交流習慣的備受關注的人機交互技術，在計算機輔助啞語教學、電影特技處理、醫療研究和智能機器人等各個領域均有廣泛的應用。其中，基于計算機視覺的手勢識別因其設備成本低廉、操作自然方便等特點越來越受到人們的追捧，是手勢識別未來的發展趨勢。然而，人手的自由度和彈性、背景、光照以及噪聲等因素給手勢識別帶來了很大困難，如何克服這些困難以獲得更加自然、和諧、完善的手勢識別系統是當今人們研究的目標。

手勢特征選取和分類器設計一直是影響手勢識別效果及速度的兩個關鍵問題。良好的特征應具有可靠性、可區別性、數量少以及獨立性強等特點，比較常用的特征提取方法有Hu矩[2]、Zernike矩、傅里葉輪廓矩和小波矩等。其中,Zernike矩的優勢是能夠構造任意的高階矩，對噪聲不敏感，主要用于圖像恢復；傅里葉描述子具有較好的輪廓描述能力，但對細節特征非常敏感，誤識率比較高；小波矩雖然能達到很高的識別率但需首先對圖像進行歸一化處理，計算比較復雜。本文的仿真實驗在背景單一、光照情況良好的條件下進行，選擇了能同時滿足平移、旋轉和比例不變性的Hu不變矩、手勢輪廓的凹陷個數以及其周長與面積比為作為主要的特征參數。

目前，基于視覺的手勢識別算法研究主要有通過計算模板的相關系數來進行模板匹配的手勢識別、用神經網絡方法進行手勢識別以及基于Euclidean距離的手勢識別等。支持向量機[3]是基于結構風險最小化的一種新的模式識別方法，在解決小本、非線性及高維模式識別問題中具有許多特有的優勢。本文在對手勢輪廓進行Hu不變矩特征提取的基礎上設計了支持向量機分類器，對分類器進行訓練和測試，實驗結果證明,系統具有很高的識別率。

1 特征的選擇

1.1 不變矩理論及參數選擇

矩的定義源于概率理論,是一種重要的數字特征，同時也具有直觀的物理意義。手勢圖像函數f(x,y)的(p+q)階原點矩(也稱普通矩)定義為：

其中,xp和yq為變換核,p,q=0,1,2,…。

如果手勢圖像函數是分段連續且在xy平面的有限部分中有非零值，即函數的各階矩存在，其(p+q)階中心矩可表示為：

其 中 ,(xˉ=m10,yˉ=m01)表示手勢圖像的重心坐標，p,q=m00m000,1,2,…。

為了保持幾何矩的尺度不變性，歸一化后的幾何矩為：

根據Hu氏理論，通過各種不同級別的幾何矩的數學組合，可以得到7個特征量。當圖像移動、旋轉和比例大小改變時，它們具有保持其數值不變的特性,因此稱這7個特征量為不變矩特征量。實驗中對采集的視頻按幀讀取靜態圖像并計算Hu矩，最后取平均值作為標準值。可以看出,高階矩不僅計算量大，而且更容易受到噪聲的影響，因此本文取前4個Hu矩作為前4個特征參數 M1～M4：

手勢輪廓的凸包和凹陷可用于描述手勢的形狀，由于文中自定義的10個手勢各具形態,手指的數目不盡相同，手勢的凸包和凹陷也是不同的,它們能很好地體現手以及手狀態的特征，因此考慮提取手勢的凹陷點數目作為手勢的特征向量。其計算方法是首先計算輪廓是否為凸，再計算其連接凸包的外接多邊形并提取出來，根據外接多邊形計算凹陷點個數,如圖1所示。本文選取手勢輪廓的凹陷個數作為第5個特征參數N5。

手勢輪廓的周長定義為手勢輪廓在手勢矩形區域內包含的像素總數，通過掃描手勢輪廓圖中的手勢矩形區域，計算黑色點個數即可算出周長。手勢輪廓的面積定義為輪廓部分和起始點連線構成的封閉部分的面積，其值受輪廓方向的影響有可能為負值。本文構造輪廓的周長與面積之比作為第6個特征參數N6。

1.2 特征值提取

在本文設計的基于計算機視覺的手勢識別系統中，首先以幀為單位對攝像頭采集到的手勢視頻采用了圖像平滑、色彩空間轉換、圖像二值化、邊緣檢測、輪廓提取以及形態學處理等算法進行圖像預處理以獲得手勢的二值化圖像、邊緣圖像以及輪廓矩陣，然后分別對每幀手勢輪廓進行Hu矩、輪廓周長面積比和凹陷個數等的運算，得到各個手勢的特征值。圖2所示為樣本視頻進行訓練時提取到的0～9手勢輪廓樣本。

表1列出了手勢輪廓的 Hu矩前4個矩 M1～M4、輪廓周長面積比N5和凹陷個數N6的特征值,它們都是對學習視頻中所有幀數的手勢輪廓分別求特征值并計算平均值得到的。這里的識別率為0～9每一種手勢于視頻模式下分別對5組測試視頻進行檢測，然后對分別獲得的識別率求平均值獲得的。其中，9的識別率偏低是由于其手勢輪廓與3相近,容易造成分類時的判斷錯誤。

表1 0～9手勢的輪廓特征值及視頻模式識別率

2 支持向量機

2.1 基本原理

SVM是統計學習理論中最年輕的部分,主要用于解決有限樣本情況下的模式識別問題。它的基本思想是在樣本空間或特征空間構造出最優超平面,使超平面與小同類樣本集之間的距離最大,從而達到最大的泛化能力。算法思路如下：

(1)設 訓 練 集 為{xi,yi}， 其 中 ，{xi}∈Rn，yi∈{1,-1}，i=1,2,…,n。非線性函數φ實現從輸入空間X到特征空間Z(Z∈Rm)的映射，核函數為：

(2)在特征空間構造最優分類超平面:

其中,w是權重向量，約束條件為：

其中,ai≥0,i=1,2,…,n。

得到最優解：

(3)計算：

(4)求得決策函數：

2.2 核函數選擇

根據泛函數的相關理論,只要一種函數滿足Mercer條件,它就對應某一變換空間的內積,此函數稱為內積函數或核函數。核函數的種類有很多,常用的有以下幾種:

(1)樣條核函數

其中,s、c、d 為參數。

(3)徑向基(RBF)核函數

(4)Sigmoid核函數

其中,ρ、b為參數。

在這4種核函數中，本文選取了RBF核函數，因為在低維、高維、小樣本和大樣本等情況下，RBF核函數均適用，具有較寬的收斂域，是較為理想的分類依據函數。

2.3 參數最優化選擇

核函數的參數和誤差懲罰因子C是影響支持向量機性能的關鍵因素。C用于控制模型復雜度和逼近誤差的折中，C越大則對數據的逼近誤差越小,同時模型也會越復雜，支持向量機的推廣能力也變得越差。RBF中的σ用于控制回歸逼近誤差的大小，從而控制支持向量機的個數和泛化能力，其值越大則支持向量數目變少,同時精度變差;相反,則支持向量數目變多，精度變高。

尋找最佳的(C，γ)參數組使該 SVM的性能最好,最簡單的方法是分別選取不同的參數組合，得出不同的錯誤率，選取其中錯誤率最小的參數組合作為最優化選擇，這種方法也叫做“窮舉法”。本文采用了臺灣林智仁教授開發的libsvm支持向量機庫中的工具“grid.py”進行了參數的優選，該工具是采用網格遍歷法，由gnuplot生成的搜索結果顯示出最小錯誤率時的參數，即最優參數為(8.0,0.5)。

3 仿真實驗

本文設計的手勢識別系統采用了C語言、Code::Blocks開發平臺、OpenCV2.3.1[4]計算機視覺開源庫和35萬像素攝像頭。該系統主要包括手勢跟蹤、手勢圖像預處理、特征提取和手勢識別4個部分。系統框圖如圖3所示。

本系統的程序整體框架分為學習模式和識別模式，識別模式包括視頻文件識別模式和攝像頭識別模式。處于學習模式時，通過讀取配置的手勢視頻文件獲取學習模板，對每一幀圖片進行濾波、閾值分割和輪廓提取等預處理得到手勢輪廓圖像，獲取手勢輪廓的Hu矩和其他特征參數，訓練特征參數后并保存，生成相應的判別界面函數。視頻文件識別模式通過對每一幀圖片進行預處理和特征參數提取后調用svmPredict函數進行分類預測，結果顯示在屏幕上。處于攝像頭模式時，首先讀取攝像頭采集的圖像，設置鼠標事件和界面窗口，選定跟蹤目標的區域和大小，計算目標區域的色彩直方圖和反射投影。本文選取了傳統的Camshift跟蹤算法用于跟蹤目標并提取跟蹤窗口的目標，對跟蹤目標圖片進行預處理并計算特征參數，最后進行手勢識別并顯示識別結果。程序運行的最后均要釋放資源。

圖4為攝像頭模式下手勢識別的截圖，圖中實時顯示出了手勢的外接矩形、外接多邊形、手勢輪廓、直方圖和識別率等信息。

本文開發的基于Hu矩和SVM的手勢識別系統能夠實現在視頻模式和攝像頭模式下對0～9十種手勢的實時識別,但光照條件要求相對比較高，人手與攝像頭需要保持在一定的距離范圍內。目前只選擇了Hu矩中的M1～M4、手勢輪廓的凹陷個數 N5以及周長與面積的比N6作為特征參數，如何選取更好的特征參數以提高系統識別性能需要進一步研究。

[1]任雅祥.基于手勢識別的人機交互發展研究[J].計算機工程與設計，2006，27(7)：1201-1204.

[2]FLUSSER J,SUK T,ZITOWA B.Moments and moment invariants in pattern recognitong[M].Chichester:John Wiley&Sons Ltd,2009.

[3]羅瑜.支持向量機在機器學習中的應用研究[D].成都：西南交通大學，2007.

[4]LAGANIèRE R.OpenCV 2 Computer vision application programming cookbook[M].Birmingham:Packt Publishing Ltd,2011.