基于支持向量機的人機交互媒體播放界面手勢識別方法

張琳欽

(安徽工業經濟職業技術學院 計算機與藝術學院,合肥 230051)

0 引言

人工智能到來,云計算和物聯網技術逐漸興起,人們對計算機能夠正確執行命令和操作的需求越來越大[1]。在遠程電子醫學中,構建一個更好的人機互動平臺,已經成為互聯網時代的重要技術需求和趨勢[2]。由于手勢的應用場景越來越復雜,在近距離攝像機的拍攝情況下,手勢的辨識越來越不能完全適應人體的需要,而距離、角度等因素也會對手勢的辨識產生很大的影響[3]。如果手勢與攝像機的鏡頭沒有對準就拍攝,那么畫面中的手勢就會出現扭曲,甚至是手指交叉,導致手勢特征發生變化,計算機系統也會出現錯誤識別。因此,在復雜的工作環境中,必須對手勢識別技術進行深入探索和開發。

王勇等[4]利用 FM序列波雷達多維特征,建立了一種用于卷積型神經網絡的手勢辨識算法。在此基礎上,利用時間-頻率的方法對手勢運動的雷達信號進行了分析,得到了手勢運動的多維參量。針對手部特征的提取與準確識別問題,采用多分支網絡和多維特征融合的方法,對其進行了研究。但該算法不能克服手勢辨識信息不足的問題,識別精度不高。韓崇等[5]選擇FM連續波雷達作為研究基礎,提出一種手勢識別的方法。采用多普勒法對手部反射的毫米波雷達進行了靜態多普勒消除,并通過動態目標的濾波,降低了對手勢信號的干擾和運算的工作量。在此基礎上,給出了一種基于移動目標的手勢空間特征壓縮表達算法,通過手勢移動的主導速率描述手勢動作的特點,從而對多維度進行了壓縮,同時保持了動作中的主要特點。但這種識別技術未有效過濾手勢圖像的掩模,導致識別精度不高。

為了解決現有方法的不足,進一步提高手勢識別精度,本文將支持向量機應用到了人機交互媒體播放界面的手勢識別中,實現人與機器的交流。與現有方法不同,該方法創新性利用Cam Shift方法跟蹤用戶手勢,提取出人機交互媒體播放界面中的手勢特征,克服了手勢辨識信息不足的問題。引入高斯濾波函數,過濾手勢圖像的掩模,確定手心位置,完成手勢圖像的分割。利用支持向量機的分類閾值,計算手勢圖像的分類面,引入拉格朗日算法,將最優分類面問題轉化為對偶性問題,完成播放界面的手勢識別。

1 人機交互媒體播放界面手勢識別方法設計

1.1 提取人機交互媒體播放界面中的手勢特征

人機交互媒體播放界面中,通過引入特征搜索窗口,對手勢跟蹤的窗口進行分割,并將用戶的手勢圖像存儲在跟蹤窗口中[6]。在搜索窗口內,結合逐步細化原則,在人機交互媒體播放界面刪除非手勢區域,確定手勢區域范圍,具體步驟如下:

步驟1:如果手勢跟蹤窗口依次為Kx、Ky、Kw和Kz,提取手勢特征之前,先初始化四個手勢圖像跟蹤窗口;

步驟2:利用Cam Shift方法對人機交互媒體播放界面中用戶的手勢進行跟蹤[7],得到初始的手勢區域搜索窗口;

步驟3:調整手勢區域的搜索窗口,確保搜索窗口與跟蹤窗口中的手勢包圍盒一致,計算出包圍盒的長寬比φ,如果φ在[0.5,0.85]區間內取值,可以直接提取出用戶手勢圖像的空間特征,如果φ不在[0.5,0.85]區間內取值,執行步驟4;

步驟4:分割用戶的手勢圖像,在手勢區域中提取出膚色特征,并進行編碼,然后再對該膚色區域進行顏色識別,計算出目標像素點在手勢區域中的個數,計算公式為[8]:

(1)

式中:L表示包圍盒的長度,也是搜索區域的長度;W表示包圍盒的寬度,即搜索區域的寬度;函數可以利用公式(2)表示:

(2)

式中,Ω0表示目標像素在用戶手勢圖像中存在的區域。

步驟5:通過對其他膚色區域進行識別,選取一塊具有適當比例的長方形,以判斷用戶的手部位置,將所選取的長方形與用戶的手部位置相匹配,并將所述位置信息賦值給Kx、Ky、Kw和Kz,執行步驟2。

根據以上步驟即可確定用戶的手勢區域,然后在手勢區域內提取出用戶手勢的特征。為了提高手勢識別的準確性,提取出的用戶手勢特征必須能夠反映出手勢動作的運動學特性。

在人機交互媒體播放界面中,波峰數量、手勢的長度和能量特征都可以作為用戶手勢的主要特征。其中用戶手勢長度可以通過下式計算得到[9]:

L=dz-dq

(3)

式中:dz表示手勢軌跡產生的終點;dq表示手勢軌跡形成的起點。

假設用戶手勢產生的能量為Em,通過下式計算:

(4)

式中:αxi、αyi和αzi表示用戶手勢產生過程中在x軸、y軸和z軸的加速度;gx、gy和gz表示地球引力作用下的重力加速度。

用戶手勢在每一個坐標軸產生的加速度會對應一個波峰數,那么用戶手勢的波峰數特征可以通過下式計算:

B=Bx+By+Bz

(5)

式中,Bx、By和Bz表示αxi、αyi和αzi對應的波峰數。

根據以上過程,提取出人機交互媒體播放界面中的手勢特征。

1.2 分割人機交互媒體播放界面手勢

人機交互媒體播放界面中的手勢區域有很多特征點,假設用戶手掌的位置與攝像機之間的距離在1 m以內,依據指尖朝上、手心對準攝像頭的原則,使得手掌所在的平面與攝像機平面之間的夾角在45°以內,通過手勢分割,處理手勢的深度信息,其步驟如下:

步驟1:在手勢深度圖像中,定義Ap,q為其中一個像素點;

步驟2:通過掃描用戶手勢的深度圖像,得到圖像中深度值最小的點Xmin;

步驟3:假設λdepth=20為用戶手勢深度圖像分割的閾值,得到手勢形成范圍[10]:

(6)

步驟4:利用二值化概念,處理手勢圖像所在范圍,得到手勢圖像的掩模Y(p,q),即:

(7)

在手勢形成范圍內,預先分割手勢圖像的深度特征,包括手腕信息和手臂信息。根據深度特征識別冗余信息后對其消除,可以增強人機交互媒體播放界面的手勢識別效果[11]。

消除冗余信息之前,先定位到手心的位置,由于手心的范圍大于手指的范圍,因此手勢圖像的掩模點密度最大,引入高斯濾波函數,過濾掉手勢圖像的掩模Y(p,q),計算出濾波結果的標準差[12],即:

(8)

高斯濾波的引入可以確定用戶的整個手部范圍,用Yf(p,q)表示,在手部范圍內選擇一個與最大灰度值對應的特征點Sg,將Sg作為手心位置。

確定了用戶手勢圖像中的手心位置后,分割手勢范圍,步驟如下:

步驟1:將手勢區域內切圓的圓心作為手心的位置,e=1 pxl為分割的初始值;

步驟2:增加e的大小;

步驟3:當從屬范圍內95%的點都在切圓范圍內時,即可分割手勢范圍,即:

ψ=H-W-Z

(9)

式中:W表示手腕區域;Z表示手掌區域。

通過確定用戶手勢圖像中的手心位置,完成人機交互媒體播放界面手勢的分割。

1.3 識別人機交互媒體播放界面手勢

人機交互媒體播放界面手勢識別中,利用支持向量機將用戶手勢圖像劃分為兩類,選擇其中一類圖像,提取出手勢圖像的特征向量,利用下式表示手勢圖像的樣本集合[13]:

(10)

假設ξ代表支持向量機的分類閾值,利用下式計算出手勢圖像的分類面:

(11)

(12)

式中,hχ表示拉格朗日與手勢圖像的乘子。將(xχ,yχ)代入到公式(12)中,經過多次迭代,利用支持向量機訓練手勢圖像樣本。

迭代處理之后,利用支持向量機的尋優策略,得到人機交互媒體播放界面手勢圖像的最優分類函數,識別人機交互媒體播放界面手勢[15],即:

(13)

綜上所述,利用支持向量機得到手勢圖像的最優分類函數,識別人機交互媒體播放界面手勢。

2 實驗分析

2.1 實驗環境參數

考慮到攝像機傳感器單位時間內可以獲取100幀數據,為了避免采集到的手勢數據出現冗余,需要在如下實驗參數下開展實驗,保證實驗數據的質量。

實驗硬件環境:2xXeon E5-2620 V3的CPU、16G顯存、32G內存以及雙 K40M的GPU。

實驗軟件環境:Windows 10操作系統。

2.2 實驗數據

實驗數據是利用開源軟件LIBSVM-3.55在MATLAB下獲取的,利用攝像機拍攝10個人的手勢圖像,攝像機的型號為海康威視螢石交互網絡監控攝像機CS-F2-31WFSRT。像素為100萬dpi,最低照度為 0.01 lx,鏡頭3 mm,分辨率720 px×720 px。為了保證實驗結果的真實性,選擇第3次拍攝的手勢圖像,組成訓練數據集,其他7次拍攝到的手勢圖像組成測試集,根據支持向量機的原理,分類訓練集中的手勢圖像。實驗數據集組成如圖1所示。

圖1 實驗數據集組成

在圖1的實驗數據集中,十種手勢圖像的實驗數據量如表1所示。

表1 實驗數據量

在測試集中,選擇手勢1進行手勢識別效果測試,由于攝像機采集的手勢數據會受到各種因素影響,導致手勢圖像的邊緣出現鋸齒,以圖2的手勢圖像作為實驗數據進行識別。

圖2 手勢圖象

2.3 手勢識別

利用文中方法識別用戶手勢的原始圖像,得到如圖3所示手勢識別結果。根據圖3的結果可知,采用文中方法識別人機交互媒體播放界面手勢時,能夠清晰保留手勢圖像的邊緣特征,具有較強的圖像濾波能力,提高了手勢識別的質量。

圖3 手勢識別結果

2.4 對比分析

為了避免實驗結果的單一性,將基于FMCW雷達的識別方法和基于時空壓縮特征表示學習的識別方法與文中方法作對比,分別測試實驗數據集中十種手勢的定位精度和識別效率,手勢識別準確率測試結果如圖4所示。從圖4的結果可以看出,采用基于FMCW雷達的識別方法時,對數據集中十種手勢的識別準確率在50%至70%之間,說明FMCW雷達對手勢的識別存在一定誤差。采用基于時空壓縮特征表示學習的識別方法時,對數據集中十種手勢的識別準確率有所提高,在60%至80%之間。采用文中方法時,由于支持向量機能夠對手勢圖像進行分類,并跟蹤手勢圖像多特征點,可將人機交互媒體播放界面中手勢的識別準確率提高到90%以上。

圖4 手勢識別準確率測試結果

3 結論

本文提出一種基于支持向量機的人機交互媒體播放界面手勢識別方法,經過實驗測試發現,該方法可以識別到人機交互媒體播放界面中的手勢,并將手勢識別準確率提高到90%以上。本文的研究雖然取得一定成果,但是還存在需要改進的地方,其中人機交互媒體播放界面中用到的手勢識別方法有很多,對于軌跡手勢和非軌跡手勢的融合研究不夠完善,這也是下一步研究工作的重點。