基于手部關鍵點和膚色的手勢識別①

李 光,王長元,薛鵬翔

1(西安工業大學 兵器科學與技術學院,西安 710021)

2(西安工業大學 計算機科學與工程學院,西安 710021)

3(西安工業大學 理學院,西安 720021)

在計算機領域不斷發展的今天,飛行模擬器[1,2]以其安全性、經濟性、可靠性、高逼真度等特點,特別是混合現實技術的發展給操作員提供了很大的沉浸感,已經成為飛行員訓練和飛機研發過程中不可或缺的試驗仿真設備,飛行模擬作為虛擬交互的典型應用之一,對手部自然交互[3,4]要求比較高,需求也極為迫切.由于接觸式測量方式價格成本高昂,人的動作容易受到硬件設備的約束,阻礙人手完成自然的肢體動作,在自然性和精度方面受到限制,所以目前基于計算機視覺手部交互方式在各行各業都有重大意義.

飛行模擬環境下的手勢需要操縱油門、操作桿等,其傳統的膚 色分割容易受到面部膚色的影響,其手部輪廓特征太單一,而且采用傳統的傅里葉描述子又容易受到背景、手的姿態變化等影響,在其飛行模擬操作下都會受到遮擋影響,從而影響其識別精度.

基于計算機視覺的手勢識別中,手勢分割中文獻[5]用膚色分割法和SVM 對手勢進行識別；基于運動的分割方法,例如幀間差分法[6]；運用Kinect 基于深度的圖像[7]等.特征提取中用手勢圖的灰度、顏色等信息[8],這些特征容易獲得,但是容易受到環境光照影響；統計特征中包括梯度方向直方圖(HOG)[9]等；基于形狀不同的表示方式,如傅里葉描繪子[10]、基于邊界特征點[11]、不變矩[12]等.本文就是基于膚色和手勢輪廓進行特征提取,結合特征點連接骨架進行傅里葉描述子特征提取.

手勢識別算法有很多種.例如支持向量機、基于模板[13]、基于卷積神經網絡[14]、隱馬爾科夫模型[15]、動態時間規整[16]等.針對本文的小樣本和快速計算選用支持向量機進行分類.

1 主要創新點

本文方法的創新點是首先根據不同光照環境通過最大類間方差法[17]來求取二值化圖像中的最佳閾值從而適應光照變化,其次在傳統的膚色分割上結合手部特征點進行區域分割,解決飛行模擬環境下的臉部膚色、遮擋、光照影響；然后進行手部輪廓和手部特征點連接骨架的傅里葉描述子特征提取,解決傅里葉描述子特征易受到背景、手的姿態變化影響的問題,并且為了實現縮放不變性,對變換系數做了歸一化處理.最后,用支持向量機對數據進行訓練、識別.本文工作流程圖如圖1所示.

圖1 工作流程圖

手部特征點主要是基于美國CMU Perceptual Computing Lab 開源的手部關鍵點檢測模型[18,19].手部關鍵點檢測模型共輸出22 個關鍵點,其中包括手部的21 個點,第22 個點表示背景.通過22 個關鍵點能夠快速準確地定位出手部的位置,并且能夠很好地分割出手部區域.如圖2,為手部標注的21 個特征點.手部關鍵點結合膚色輪廓特征對其手勢遮擋具有抵抗作用,并且結合手勢輪廓能夠很好地表示手勢.本文通過此方法提取手勢特征,再通過SVM 分類識別方法進行飛行模擬環境下靜態手勢模型訓練和手勢識別.

圖2 手部標注的21 個特征點

2 手部特征提取

2.1 改進的手部區域分割算法

首先分割出手勢的區域,后面才能進行特征提取.2015年,文獻[9]使用Kinect 研究了基于深度圖像的3D 手勢識別,識別率達76.6%.但其識別率并不高,并且還有Kinect 攝像頭的限制.膚色是人體手部最顯著的特征.本文采用常規的膚色檢測,對手部進行膚色信息提取,但是常常會有一部分的面部膚色等干擾,結合特征點對手部分割,提高其準確性；而且傳統膚色處理容易受到不同光照的影響,本文根據不同光照環境通過最大類間方差法來求取二值化圖像中的最佳閾值從而適應光照變化,以提高其魯棒性.

在諸多彩色模型中,膚色在YCbCr 顏色空間中有很好的聚類特性,并且YCbCr 顏色空間對光照變化不敏感,所以可以利用這種特性來區分手勢區域,其中Y表示亮度,分量Cb表示藍色分量和亮度值之差,分量Cr反映了RGB 輸入信號紅色部分與亮度值之間的差異.如圖3所示.

圖3 YCbCr 分量直方圖

在YCbCr 空間,膚色像素點會聚集到一個橢圓區域.先定義一個橢圓模型,然后將每個RGB 像素點轉換到YCbCr 空間比對是否在橢圓區域,是的話判斷為皮膚.本文將從視頻中獲取的幀圖像從RGB 空間轉換到YCbCr 空間以實現膚色的檢測.RGB 空間與YCbCr空間之間的轉換公式為：

本文采用基于YCbCr 空間的OTSU 自適應閾值算法作為圖像分割算法.

OTSU 算法[13](大津法或最大類間方差法)使用的是聚類的思想,把圖像的灰度數按灰度級分成2 個部分,使得兩個部分之間的灰度值差異最大,每個部分之間的灰度差異最小,通過方差的計算來尋找一個合適的灰度級別來劃分.所以可以在二值化的時候采用OTSU算法來自動選取閾值進行二值化.

設t為設定的閾值,w0 為分開后前景像素點數占圖像的比例,u0 為分開后前景像素點的平均灰度,w1 為分開后背景像素點數占圖像的比例,u1 為分開后背景像素點的平均灰度.

圖像總平均灰度為：

從L個灰度級遍歷t,使得t為某個值的時候,前景和背景的方差最大,則這個t值便是我們要求得的閾值.其中,方差的計算公式如下：

此公式計算量較大,可以采用：

OTSU 算法被認為是圖像分割中閾值選取的最佳算法,計算簡單,不受圖像亮度和對比度的影響.因此,使類間方差最大的分割意味著錯分概率最小.

本文選用的基于YCbCr 膚色模型和手勢特征關鍵點的分割方法能夠很好地解決面部膚色影響.圖像分割效果如圖4所示.

圖4 手勢部分圖像分割

2.2 傅里葉描述子特征提取

物體的形狀識別是模式識別的重要研究方向,廣泛用于圖像分析、機器視覺和目標識別的應用中.在計算機中物體的形狀表示方式有多種：邊界曲線上點的坐標序列,邊界上的點到物體中心的距離以及邊界上的點隨弧長變化的切線方向等.傅里葉描述子的基本思想是：假定物體的形狀是一條封閉的曲線如圖5所示,沿邊界曲線上的一個動點P(l)的坐標變化x(l)+iy(l)是一個以形狀邊界周長為周期的函數,這個周期函數可以用傅里葉級數展開表示,傅里葉級數中的一系列系數z(k)是直接與邊界曲線的形狀有關的,稱為傅里葉描述子.

圖5 假定的封閉曲線

此函數是連續的周期的,所以可以通過傅里葉級數來表示：

式中,ak就是傅里葉描繪子.

傅立葉描述子算法優點可以很好地描述輪廓特征,并且只需少量的描述子即可大致代表整個輪廓.傅里葉描述子與輪廓形狀的尺度、方向和起始點有關,對傅立葉描述字進行簡單的歸一化操作后,即可使描述子具有平移、旋轉、尺度不變性,即不受輪廓在圖像中的位置、角度及輪廓的縮放等影響,是一個魯棒性較好的圖像特征.

圖6 手部邊緣輪廓

對手部的輪廓特征提取如圖6所示.傅里葉描述子提取物理特征雖說計算快速簡單,易受到背景、手的姿態變化,且對手勢描述能力有限等問題.本文在手勢輪廓的基礎上增加了手勢關鍵點的輪廓特征如圖7所示,這樣提取的手勢特征能夠更好的表示手勢,并且具有一定的魯棒性.

圖7 結合特征點連接骨架的手勢輪廓

3 支持向量機算法

本文通過在飛行模擬環境下的計算需求和樣本條件下,選擇支持向量機作為分類算法.支持向量機(Support Vector Machine,SVM)是一種非常重要和廣泛的機器學習算法,SVM 的算法出發點是盡可能找到最優的決策邊界,這個邊界距離兩類數據點最遠.更進一步的,是距離兩類數據點的邊界最遠,所以定義最接近邊界的數據點定義為支持向量.最后,我們的目標變為找到這樣一個直線(多維叫超平面),它與支持向量有最大的間隔.使得模型的泛化能力盡可能的好,因此SVM 對未來數據的預測也是更加準確的如圖8所示,尋找最大化margin.

圖8 分類模型圖

設這個平面用g(x)=0 來表示,其法向量用w表示,點與平面實際距離為r點,與平面的距離可以用g(x)的絕對值來度量(稱為函數間隔).

懲罰函數亦稱處罰函數,是一類制約函數.對于約束非線性規劃它的制約函數稱為懲罰函數,系數稱為懲罰因子.引入懲罰因子C的SVM(軟間隔支持向量機)的目標函數為：

SVM 是一種有堅實理論基礎的新穎的小樣本學習方法.它基本上不涉及概率測度及大數定律等,因此不同于現有的統計方法.從本質上看,它避開了從歸納到演繹的傳統過程,實現了高效的從訓練樣本到預報樣本的“轉導推理”,大大簡化了通常的分類和回歸等問題.模型圖如圖9.

圖9 引入C,ξ的分類模型圖

4 實驗分析

本文使用作者實驗室的項目中飛行模擬環境中的采集的手勢數據集,該數據集中所有的 數據在室內的自然光下收集,沒有任何特殊光照,收集的設備是的普通攝像機,一共8 種手勢(推動油門、手持操作桿、自然狀態、基本的指令手勢等).數據集共3200 張,每個手勢400 張,共10 個人參與,參與者均是模擬飛行環境中的隨機采取手勢圖片,每人采集數目不等.同時利用旋轉平移等操作對得到的手勢庫進行擴充.然后對整個手勢庫中的每張照片中的手勢輪廓線計算傅里葉描述子并保存,保存格式為“x_i”,表示手勢_x 的第i張圖片.訓練集與測試集按3：1 的比率分配.測試集800 張,訓練集2400 張.圖10經過膚色處理的手勢數據集片段；圖11是經過關鍵特征點的手勢數據集片段.

圖10 經過膚色處理的手勢數據集

本文提出的算法在Python 中實現,手勢識別準確率在98%.實驗結果見表1.

圖11 經過關鍵特征點的手勢數據集

表1 手勢識別實驗結果

4.1 實驗結果對比

表2為使用本文方法與其他文獻作對比,文獻[20]提出用YCbCr 色彩空間檢測膚色對輸入的圖像分割出感興趣的手勢區域,然后再通過深度學習的方法訓練出手勢識別的模型.文獻[9]從圖像的3D 數據出發,以Kinect 作為輸入設備,提出了一個基于深度圖像的3D手勢識別系統框架.文獻[21]采用表面肌電(sEMG)信號進行手勢識別,sEMG 采集的趨勢之一是帶有等距電極的多通道臂帶.即通過逐步進行包裝器選擇特征和減少維數提高sEMG 的分類性能.考慮到40 個維度,對于帶有高斯核的支持向量機和LMNN 技術的結合,平均精度為94%.而本文采用膚色結合特征點對手部分割、特征提取,并用SVM 向量機針對飛行模擬環境下的手勢進行識別,準確率達到98%.

表2 本文與其他文獻對比

5 結論與展望

本文結合現有的美國CMU Perceptual Computing Lab 開源的手部關鍵點檢測模型,使用膚色進行二值化處理,結合手部關鍵點準確分割手勢,接著對圖像進行腐蝕膨脹處理,在對手勢輪廓特征提取的基礎上加上手部關鍵點特征經過SVM 訓練和測試實驗后可知,此算法可以在飛行模擬環境中,面對背景復雜,遮擋影響,光照影響,能夠有效地進行特征提取,極大地提高了手勢識別效率.對于靜態手勢識別平均識別率能夠達到98%.論文不足點：當面部和手部有重合時,特征提取時有一定的影響.因此本文在手勢識別的完善上還有一定的提升空間,接下來將進一步研究.