利用雙目視覺視頻的實時三維裸手手勢識別

公衍超， 萬 帥， 楊楷芳， 陳 浩， 李 波

(西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710072)

手勢作為一種符合人類行為習(xí)慣的交互方式，以其直觀、生動、形象的特點，被認(rèn)為是自然人機(jī)交互技術(shù)中非常重要的一部分[1]．傳統(tǒng)的手勢識別技術(shù)是基于數(shù)據(jù)手套的方法[2]．這種方法通過多個傳感器可以準(zhǔn)確獲得手指或手臂的關(guān)節(jié)角度及空間運(yùn)動軌跡等信息，但其設(shè)備昂貴，佩戴數(shù)據(jù)手套的交互方式也極大地限制了交互自由性．近年來，一些研究者基于計算機(jī)視覺研究了一些基于標(biāo)記的方法[3]．這些方法的思路是在人手上貼上不同顏色或形狀的標(biāo)記，通過攝像頭來捕獲這些標(biāo)記，從而獲得手勢的相關(guān)特征信息．相比數(shù)據(jù)手套，這種方法成本更低且在操作上少了一些限制，但同樣限制了人機(jī)交互的自由性．

目前基于裸手的手勢識別技術(shù)得到廣泛研究．這種方法不需要額外的傳感器或標(biāo)記，完全釋放了人機(jī)交互的自由性，是最貼近人類感知最簡單直接的一種交互方式．與二維裸手手勢識別技術(shù)[4-7]相比，三維裸手手勢識別技術(shù)[8-9]考慮了手勢深度的影響，所以，目前三維裸手手勢識別技術(shù)以其更自然的交互方式得到越來越廣泛的關(guān)注．文獻(xiàn)[8]用一個kinect深度攝像機(jī)獲取手勢的三維信息并通過K-NN分類器實現(xiàn)了對三維手勢的識別．但這種基于商用深度攝像機(jī)的三維手勢識別系統(tǒng)一般成本較高．Sato等[9]提出用2個普通攝像機(jī)獲取人手位置及運(yùn)動方向，最后通過一種神經(jīng)網(wǎng)絡(luò)識別三維手勢．但這種方法的手勢識別率較低，并且此方法對手勢區(qū)域進(jìn)行分割時基于兩個假設(shè)：環(huán)境亮度基本不變；識別場景不存在比人手更大的類膚色物體．這些假設(shè)限制了此方法的廣泛應(yīng)用．綜上，目前急需開發(fā)成本低、識別率高、魯棒性強(qiáng)的三維裸手手勢識別方法．

手勢面積作為一種簡單的手勢特征信息，不僅可以區(qū)分不同的手勢，同時在三維空間中其與手勢深度有直接的關(guān)系，即深度越大，面積越小，所以基于手勢深度與手勢面積的關(guān)系可以有效地在三維空間中進(jìn)行手勢識別．筆者首先依據(jù)雙目視覺原理分析了手勢深度與手勢面積的關(guān)系，依據(jù)此關(guān)系提出三維裸手手勢識別算法．為進(jìn)一步降低算法復(fù)雜度，提出了一種基于極線約束規(guī)則[10]的簡單的圖像立體匹配算法．

1 雙目立體視覺系統(tǒng)中手勢面積與手勢深度的數(shù)學(xué)關(guān)系

圖1 雙目視覺原理

圖1所示為雙目視覺原理，Π1、Π2、Π3、Π4分別表示物體平面、相機(jī)平面、左相機(jī)成像平面、右相機(jī)成像平面．a(chǎn)b為物體，其長度為L；albl為物體在左相機(jī)上成的像，長度為Ll；arbr為物體在右相機(jī)上成的像，長度為Lr；u表示物距，vl、vr分別表示左、右相機(jī)的像距；兩個相機(jī)的焦距分別為fl、fr．

由相似三角形原理，可得

Ll/vl=L/u．

(1)

同時，焦距、物距、像距滿足

1/fl=1/u+1/vl．

(2)

所以，由式(1)和式(2)，可得

Ll=L/(flu)-L/u2．

(3)

假設(shè)L足夠小，則物體ab可以看做一個點，Ll即表示點的面積，而手勢可以近似看做有限多個點的集合，所以手勢在左相機(jī)上的成像面積Al可以表示為

Al=∑ (L/(flu)-L/u2)=∑ (L/fl)(1/u)-(∑L)(1/u2) ．

(4)

同理，手勢在右相機(jī)上的成像面積Ar為

Ar=∑ (L/fr)(1/u)-(∑L)(1/u2) ．

(5)

這里，定義手勢面積A為Al與Ar的均值，即

(6)

當(dāng)手勢在相機(jī)前方運(yùn)動時，手勢大小與相機(jī)焦距都是不變的．若左右相機(jī)型號相同，焦距大小一樣，則式(6)可以被簡化為

A=[∑ (L/fl)] (1/u)-(∑L)(1/u2)=α(1/u)+β(1/u2) ，

(7)

其中，參數(shù)α、β為固定值．最終得到手勢深度u與手勢面積A滿足式(7)所示的關(guān)系．

下文詳細(xì)描述基于式(7)的關(guān)系提出的三維裸手手勢識別算法的具體實現(xiàn)．

2 利用雙目視覺視頻的實時三維裸手手勢識別算法框架及其實現(xiàn)

圖2為筆者提出的算法框架．首先對兩個攝像機(jī)進(jìn)行標(biāo)定[11]，獲取標(biāo)定后的參數(shù)．視頻采集模塊負(fù)責(zé)獲取兩個攝像機(jī)的圖像，將左右圖像對傳輸給圖像預(yù)處理模塊．圖像預(yù)處理模塊[12]分別分割左右圖像對中的手勢區(qū)域及區(qū)域的質(zhì)心點．立體匹配模塊依據(jù)極線約束規(guī)則找到質(zhì)心的匹配點，再由匹配點得到視差．三維信息獲取模塊結(jié)合視差與攝像機(jī)標(biāo)定后的參數(shù)，依據(jù)雙目視覺原理，計算質(zhì)心點的深度．手勢區(qū)域經(jīng)過面積計算模塊獲得手勢的面積．三維手勢識別模塊根據(jù)手勢深度與手勢面積的關(guān)系對手勢進(jìn)行識別．下面描述各模塊的具體實現(xiàn)．

圖2 利用雙目視覺視頻的實時三維裸手手勢識別算法框架

2.1 攝像機(jī)標(biāo)定與圖像預(yù)處理

選用平面模板兩步標(biāo)定法[13]進(jìn)行攝像機(jī)標(biāo)定．該方法的標(biāo)定精度較高，同時避免了傳統(tǒng)方法設(shè)備要求高、操作繁瑣等缺點．左右攝像機(jī)輸出的圖像經(jīng)過圖像預(yù)處理模塊后得到分割的手勢區(qū)域及區(qū)域的質(zhì)心點．為了保證算法的實時性，采用基于膚色分割的手勢識別算法．基于膚色分割的手勢識別算法的缺點是易受環(huán)境亮度及類膚色物體的影響．筆者首先對左右圖像對進(jìn)行色彩均衡[14]以減小環(huán)境亮度對手勢識別的影響．均衡后的圖像通過類膚色分割模塊進(jìn)行手勢區(qū)域分割．RGB顏色空間對光照十分敏感，且R、G、B這3個通道的相關(guān)性較強(qiáng)，所以類膚色分割算法一般在YCrCb或HSV顏色空間中進(jìn)行．按照下面規(guī)則進(jìn)行類膚色分割：當(dāng)像素點的Cr、Cb分量分別在133～166、79～129之間時，其被認(rèn)為處在膚色區(qū)域．將膚色區(qū)域及其他區(qū)域像素點的Y分量分別置為255、0，得到二值化圖像．在獲得二值化圖像過程中，不可避免地會受到噪聲的干擾，導(dǎo)致圖像中存在不連續(xù)區(qū)域及粗糙的區(qū)域邊緣，這里采用形態(tài)學(xué)濾波器來消除不連續(xù)區(qū)域，選用canny算子檢測算法平滑區(qū)域邊緣．最后采用文獻(xiàn)[15]中的8鄰域搜索法提取手勢輪廓．

2.2 立體匹配與三維信息獲取

針對立體匹配，國內(nèi)外學(xué)者提出了很多算法[16]．這些算法要將較多的特征點進(jìn)行匹配，算法復(fù)雜度過高且容易出現(xiàn)誤匹配．筆者將面積作為手勢識別的特征信息，不同面積對應(yīng)不同手勢，而面積可以認(rèn)為是手勢在與攝像機(jī)成像平面平行的平面上的投影，此平面上的所有點的深度都是一樣的，所以只需計算一點的深度即可確定手勢的深度．綜上，針對傳統(tǒng)立體匹配方法的缺點，結(jié)合筆者提出算法的特點，提出一種應(yīng)用極線約束規(guī)則只對手勢質(zhì)心點進(jìn)行匹配的立體匹配算法，在大大降低了復(fù)雜度的同時，算法引入了極線約束規(guī)則與均值統(tǒng)計量計算過程，保證匹配的準(zhǔn)確性．

在雙目視覺系統(tǒng)中，根據(jù)極線約束定義，左圖像上pl點在右圖像上的匹配點pr一定位于右圖像的極線上，同時對于平行攝像機(jī)模型，極線與圖像的行平行．筆者使用平行攝像機(jī)模型，且2個攝像機(jī)的型號相同，所以經(jīng)過攝像機(jī)標(biāo)定模塊后，輸出的左右圖像在同一個平面上且是行對準(zhǔn)的，所以pl與pr點的縱坐標(biāo)是相等的．基于以上理論，算法的具體步驟如下:

(1) 假設(shè)手勢質(zhì)心點坐標(biāo)為(xc，yc)，應(yīng)用圖像預(yù)處理算法，求得(xc，yc)在左右圖像對的對應(yīng)點分別為(xl，c，yl，c)、(xr，c，yr，c)．

(2) 理論上，yl，c與yr，c應(yīng)該是相等的，但由于相機(jī)存在標(biāo)定誤差，兩值通常存在差別．所以在實際匹配中，通常在一個包括極線的帶狀區(qū)域內(nèi)搜索匹配點．基于以上分析，應(yīng)用極線約束規(guī)則：若 |yl，c-yr，c|≤ 10，則記下此時左右質(zhì)心點坐標(biāo)作為有效數(shù)據(jù)，并對下一幅圖像繼續(xù)執(zhí)行(1)；若不滿足，則舍棄該數(shù)據(jù)，并對下一幅圖像繼續(xù)執(zhí)行(1)；當(dāng)已處理的圖像達(dá)到5幅時，執(zhí)行(3)．

(8)

同時將已處理的圖像數(shù)清零．

圖3 手勢面積與手勢深度的關(guān)系

結(jié)合立體匹配求得的視差及相機(jī)標(biāo)定參數(shù)，根據(jù)文獻(xiàn)[17]的方法得到手勢質(zhì)心點的深度．

2.3 基于手勢面積與手勢深度關(guān)系的三維手勢識別

由2.2節(jié)已經(jīng)得到手勢深度，下面說明手勢面積的獲取過程．在第1節(jié)推導(dǎo)過程中將手勢面積看做是有限多個點的集合，所以這里定義手勢面積為手勢區(qū)域內(nèi)包含的像素點總數(shù)．設(shè)計對3種手勢進(jìn)行識別，分別是手掌、剪刀、錘頭．選擇20個年齡段為20～40歲的成年人作為測試者，其中男性15人，女性5人．每個測試者分別做出3種手勢并距攝像頭由遠(yuǎn)到近移動，移動中手勢可以有水平與垂直運(yùn)動．在移動過程中提取手勢及人臉的面積及深度．

由第1節(jié)得出手勢面積與手勢深度應(yīng)滿足式(7)所示的二次多項式的形式，圖3為提取的數(shù)據(jù)，也完全驗證了這一結(jié)論．圖中人臉與手掌、手掌與剪刀、剪刀與拳頭、拳頭以下共4條分界線用實線表示．3種手勢及人臉的面積之間具有明顯的界限，所以通過面積可以簡單有效地識別3種手勢，同時消除人臉的影響．用式(7)所示的式子對4條邊界線模型化，得到

A=αD1+βD2，

(9)

表1 參數(shù)列表

最終提出的手勢識別方法的基本步驟如下:

(1) 計算手勢質(zhì)心點深度u，分別計算左右圖像中手勢面積Al、Ar，取均值作為當(dāng)前手勢的面積A．

(2) 按照式(9)計算得到人臉及3種手勢邊界線的分界點A1、A2、A3、A4，此時，u1=u2=u3=u4=u．在實際手勢識別場景中，圖像中可能存在除手勢本身之外的多個類膚色物體，例如同時出現(xiàn)人手及人臉．在識別中，筆者將每一個類膚色物體都看做是待識別手勢，對類膚色物體同樣經(jīng)過步驟(1)～(2)得到其深度、面積及分界點．

(3) 最終根據(jù)表2對手勢進(jìn)行識別．

表2 手勢識別

以上提出的算法將面積作為手勢識別的特征信息，其計算十分簡單，同時面積與深度具有的良好的對應(yīng)關(guān)系，決定了提出算法可以快速有效的在三維空間中識別面積具有明顯差別的手勢．手勢的面積差別越大，圖3中分界線之間的距離越大，則手勢識別的準(zhǔn)確率會更高．這里說明，當(dāng)存在其他類膚色物體，距攝像頭距離與人手近似，且面積也近似時，提出的算法易出現(xiàn)誤判．但在實際的手勢識別應(yīng)用中，一般人臉及人手通常出現(xiàn)在攝像頭的前景區(qū)域，背景區(qū)域存在的類膚色物體的面積相對較小[9]，所以本算法在實際應(yīng)用中的識別準(zhǔn)確率可以保證．

3 算法性能

搭建三維手勢識別系統(tǒng)測試所提算法的性能，如圖4所示．系統(tǒng)使用的攝像頭為2個普通網(wǎng)絡(luò)攝像頭，分辨率為 640×480．雙目攝像頭采集的圖像傳給計算機(jī)進(jìn)行處理，使用的計算機(jī)為普通計算機(jī)，主要配置為：CPU頻率為 2.67 GHz，內(nèi)存為 4.00 GB．選擇未參加圖3數(shù)據(jù)提取的5人作為測試者，包括4名男性，1名女性，年齡段在25～35歲．每個測試者分別做3種手勢并距攝像頭由遠(yuǎn)到近移動，在10個不同位置采樣．在每個采樣位置，手在平行于攝像頭成像平面的平面上分別垂直向上、向左傾斜、向右傾斜放置．每種手勢可以得到150個測試數(shù)據(jù)．這里特別說明實驗中手勢識別背景的選擇，對于手勢識別來說，復(fù)雜的背景應(yīng)包括兩方面的特征：一是背景中包括各種顏色各種形狀的物體，而不能只有單色單一物體；二是背景中有類膚色的物體，例如人臉．算法在復(fù)雜背景下的識別效率是檢驗算法性能的標(biāo)尺，所提算法在圖5和圖6所示的復(fù)雜背景下進(jìn)行性能驗證．下面分別從處理速度、手勢識別準(zhǔn)確率、魯棒性這3個方面說明所提算法的性能．

圖4 筆者提出算法的性能

首先對算法速度進(jìn)行說明，圖4(a)為算法中每個模塊的平均運(yùn)行時間．這里運(yùn)行時間不包括攝像機(jī)標(biāo)定模塊．因為攝像機(jī)標(biāo)定需要人的操作，其處理時間受人的主觀影響較大，并且攝像機(jī)一旦標(biāo)定完成，在以后的手勢識別過程中其參數(shù)是固定不變的，不受測試環(huán)境的影響．系統(tǒng)總運(yùn)行時間為 29.149 ms，所以對于兩路輸入分辨率 640×480 的視頻，算法處理速度可達(dá) 34.31幀/秒，完全滿足實時性的要求．三維手勢識別部分的耗時很少，立體匹配、三維信息獲取、面積計算及三維手勢識別模塊共占總運(yùn)行時間的9%．預(yù)處理模塊占總運(yùn)行時間的86%，若對此模塊進(jìn)行優(yōu)化，可進(jìn)一步提高系統(tǒng)的速度．表3為幾種基于裸手的手勢識別算法的性能比較．由表3可以看出，筆者所提算法處理速度是最快的，針對 640×480 的圖像，平均處理一幀耗時 0.014 6 ms．

表3 基于裸手的手勢識別算法性能比較

由表3可以看出，目前大部分算法是二維的，只有很少算法實現(xiàn)了三維手勢識別．與僅有的三維手勢識別方法相比，筆者所提算法的識別率較高．圖4(b)為統(tǒng)計的3種手勢的識別準(zhǔn)確率，平均識別率達(dá)到92.70%．圖3中的數(shù)據(jù)決定了不同手勢具有不同的識別準(zhǔn)確率，一種手勢的面積與其他手勢面積差別越大，其識別準(zhǔn)確率越高．手勢識別錯誤通常由以下原因造成：一是攝像機(jī)有一定的有效成像范圍，超過了此范圍手勢面積的計算就會出現(xiàn)誤差；二是雖然算法中用了色彩均衡來減小環(huán)境亮度對手勢識別的影響，但較惡劣的環(huán)境亮度仍會導(dǎo)致手勢面積計算不準(zhǔn)確．這里需要說明，筆者提出的算法具有很強(qiáng)的開放性，手勢識別數(shù)目可以通過兩種方式簡單添加：一是添加面積與本文識別的手勢有較明顯差別的手勢；二是添加與深度有關(guān)的其他手勢特征信息，例如手勢周長．此種方法可以明顯提高手勢識別準(zhǔn)確率．上面兩種方式僅需修改圖2中的面積計算模塊及三維手勢識別模塊即可．

筆者提出算法的另一個明顯優(yōu)點是手勢識別性能具有較強(qiáng)的魯棒性．圖5和圖6為一測試者的手勢識別實驗結(jié)果．圖中上方的字表示是哪個攝像機(jī)拍攝的圖像，“×”表示質(zhì)心點．圖5和圖6分別驗證了筆者所提算法在手的深度變化及手在平行于成像平面的平面上旋轉(zhuǎn)時都能準(zhǔn)確地識別相應(yīng)手勢并同時消除類膚色物體的影響，例如人臉，人臉是在手勢識別中最常見、影響最大的類膚色干擾噪聲．

圖5 手的深度變化時筆者提出算法的性能圖6 手不同旋轉(zhuǎn)角度時筆者提出算法的性能

4 總 結(jié)

筆者提出了一個利用雙目視覺視頻的快速三維裸手手勢識別算法．基于雙目視覺原理，手勢面積與手勢深度的關(guān)系首先被分析，利用此關(guān)系及提出的基于極限約束規(guī)則的快速立體匹配算法，最終實現(xiàn)了快速的三維手勢識別．筆者所提算法具有成本低、識別率高、速度快、魯棒性強(qiáng)、開放的特點．后續(xù)工作是，首先繼續(xù)提高筆者提出算法的識別性能，包括增加識別的手勢數(shù)目及提高手勢識別準(zhǔn)確率；其次是將所提算法應(yīng)用于人工智能等領(lǐng)域，例如沉浸式虛擬環(huán)境體驗、機(jī)器人交互、家電遙控等．

[1] 馬英紅, 楊家瑋, 惠雷放, 等. 一種新穎的手部運(yùn)動跟蹤系統(tǒng) [J]. 西安電子科技大學(xué)學(xué)報, 2012, 39 (1): 79-85.

Ma Yinghong, Yang Jiawei, Hui Leifang, et al. Novel Hand Motion Tracking System [J]. Journal of Xidian University, 2012, 39 (1): 79-85.

[2] Kumar P, Rautaray S S, Agrawal A. Hand Data Glove: a New Generation Real-time Mouse for Human-computer Interaction [C]//Proceedings of IEEE International Conference on Recent Advances in Information Technology. Piscataway: IEEE, 2012: 750-755.

[3] Han Y M. A Low-cost Visual Motion Data Glove as an Input Device to Interpret Human Hand Gestures [J]. IEEE Transactions on Consumer Electronics, 2010, 56(2): 501-509.

[4] Murthy G R S, Jadon R S. Hand Gesture Recognition Using Neural Network [C]//Proceedings of 2010 IEEE 2nd International Advance Computing Conference. Piscataway: IEEE, 2010: 134-138.

[5] Varkonyi K A R, Tusor B. Human-computer Interaction for Smart Environment Applications Using Fuzzy Hand Posture and Gesture Models [J]. IEEE Transactions on Instrumentation and Measurement, 2011, 60(5): 1505-1514.

[6] Yun L, Peng Z. An Automatic Hand Gesture Recognition System Based on Viola-jones Method and SVMs [C]//Proceedings of International Workshop on Computer Science and Engineering. Piscataway: IEEE, 2009: 72-76.

[7] Qing C, Georganas N D, Petriu E M. Real-time Vision-based Hand Gesture Recognition Using Haar-like Features [C]//Proceedings of IEEE International Conference on Instrumentation and Measurement Technology. Piscataway: IEEE, 2007: 1-6.

[8] Sohn M K, Lee S H, Kim D J, et al. 3D Hand Gesture Recognition from One Example [C]//Proceedings of IEEE International Conference on Consumer Electronics. Piscataway: IEEE, 2013: 171-172.

[9] Sato Y, Saito M, Koike H. Real-time Input of 3D Pose and Gestures of a User’s Hand and Its Applications for HCI [C]//Proceedings of Virtual Reality Annual International Sympoisium. Piscataway: IEEE, 2001: 79-86.

[10] 向登寧, 鄧文怡. 利用極線約束方法實現(xiàn)圖像特征點的匹配 [J]. 北京機(jī)械工業(yè)學(xué)院學(xué)報, 2002, 17(4): 21-25.

Xiang Dengning, Deng Wenyi. Image Feature Points Matching Using the Epipolar Line Constraint [J]. Journal of Beijing Institute of Machinery, 2002, 17(4): 21-25.

[11] 賈靜, 吳成柯. 秩1約束下基于圓球的相機(jī)標(biāo)定算法 [J]. 西安電子科技大學(xué)學(xué)報, 2013, 40(2): 1-4.

Jia Jing, Wu Chengke. Rank-1 Constraint for Camera Calibration Based on Spheres [J]. Journal of Xidian University, 2013, 40(2): 1-4.

[12] 汪云飛, 畢篤彥, 黃飛. 一種用于圖像分割的等周算法改進(jìn) [J]. 西安電子科技大學(xué)學(xué)報, 2012, 39(2): 87-94.

Wang Yunfei, Bi Duyan, Huang Fei. Improved Isoperimetric Algorithm for Image Segmentation [J]. Journal of Xidian University, 2012, 39(2): 87-94.

[13] Zhang Z Y. Camera Calibration with One-dimensional Objects [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(7): 892-899.

[14] Cai J, Goshtasby A. Detecting Human Faces in Color Images [J]. Image and Vision Computing, 1999, 18(1): 63-75.

[15] 陳忠碧, 張啟衡. 一種適合于多目標(biāo)檢測的圖像分割方法 [J]. 光電工程, 2004, 31(5): 34-37.

Chen Zhongbi, Zhang Qiheng. An Image Segmentation Algorithm Suitable for Multi-object Detection [J]. Opto-Electronic Engineering, 2004, 31(5): 34-37.

[16] 劉煥云, 王軍寧, 何迪, 等. 仿生模式識別目標(biāo)自適應(yīng)跟蹤算法 [J]. 西安電子科技大學(xué)學(xué)報, 2013, 40(4): 142-148.

Liu Huanyun, Wang Junning, He Di, et al. Research on Biomimetic Pattern Recognition for Object Adaptive Tracking Algorithm [J]. Journal of Xidian University, 2013, 40(4): 142-148.

[17] Bradski G, Kaehler A. Learning OpenCV: Computer Vision with the OpenCV Library [M]. Sebastopol: O’Reilly Media Incorporated, 2008: 405-458.