基于SVM與Inception-v3的手勢識別①

吳斌方,陳 涵,肖書浩

1(湖北工業大學 機械工程學院,武漢 430068)

2(武昌首義學院 機電工程研究所,武漢 430064)

引言

近年來,機器學習(machine learning)領域快速發展,圖像識別技術日益成熟,人機交互方式也隨之改變.手勢識別是人機交互中最簡單、最直觀的一種交互方式.該方式擺脫鍵盤、鼠標、按鍵等硬件束縛,具有簡單易學、操作方便、動作直觀等特點,極大增加用戶體驗感和人機互動性.

手勢識別技術可分為兩種:基于數據手套技術和基于機器視覺技術[1].國內外學者針對機器視覺手勢識別技術都有相應的研究與發展,Mahmoud 等[2]利用YCbCr 顏色空間和深度信息結合高斯混合概率模型(GMM)計算手部區域,利用隱馬爾可夫模型(HMM)進行手勢識別.Saha 等[3]利用Kinect 傳感器采集數據和隱馬爾可夫模型(HMM)進行手勢識別;隱馬爾可夫模型(HMM)是手勢識別領域常用的方法,該方法需要大量參數,對識別時間和效率有一定影響.Tusor 等[4]利用模糊神經網絡(FNN)根據預處理后的手勢數據建立手勢特征模型,用模糊推理進行手勢識別;該方法網絡層數淺,學習能力較弱,訓練過程容易出現過擬合,識別效果不好.Marin 等[5]利用Leap motion 傳感器和深度相機提取指尖間角度、距離和空間坐標等參數作為手部特征,將特征饋送到SVM 和隨機森林進行手勢識別,該方法對硬件的要求高,樣本預處理較為復雜.任彧等[6]運用方向梯度直方圖(Histograms of Oriented Gradient,HOG)提取手勢特征,利用SVM 學習識別手勢,消除了光照和手部旋轉對手勢識別的影響,但背景要求單一,識別準確率不高.朱越等[7]利用HSV 和RGB 顏色空間聯合進行手勢分割,根據手勢輪廓像素變化判斷手勢,該模型對膚色的抗干擾能力較差,適應面窄,識別種類局限.操小文等[8]利用8 層的卷積神經網絡對手勢樣本進行訓練和識別,該方法需花費長時間設計定義網絡模型,且樣本背景需單一,抗干擾能力差.

本文針對手勢識別提出了一種SVM 手勢分割與遷移學習相結合的方法,利用SVM 對樣本進行手勢分割,采用遷移學習方法將Inception-v3 模型進行finetuning,通過實驗對比獲得最優性能的超參數,得到新的手勢識別網絡模型.本文使用SVM 對樣本手勢分割增加了手勢分割的魯棒性和強適應性,消除了膚色、光照、旋轉和背景等因素的干擾,運用遷移學習簡化定義和設計CNN 的工作,節省大量網絡設計和網絡訓練時間,構建的模型在識別準確率和識別效率上均有一定提升.

1 卷積神經網絡與遷移學習

卷積神經網絡是一種深度前饋神經網絡,是深度學習領域的一個重要分支[9],它在圖像處理領域表現出優越的性能.卷積神經網絡將原始圖像信息分塊處理,能適應圖像特征的平移旋轉,且分塊處理特征信息后參數明顯減少,對提高模型學習效率有顯著影響.

傳統機器學習方法學習訓練的過程需要龐大的訓練數據集,且測試數據集的數據分布需與訓練數據集相同.在大數據時代背景下,輕松獲取所需領域且滿足工作任務需求的龐大數據集仍存在一定的難度.另一方面,在監督學習完成學習任務時,需要大量的人工將訓練數據集進行逐一對應的標注,耗費大量的人力物力,對于一般的高校的機器學習研究或者小型公司的機器學習技術開發都有極大的障礙.測試數據集的數據分布亦常難以與訓練數據集的數據分布一致,給傳統的機器學習方法帶來一定的難度.

遷移學習可以很好的解決上述問題,遷移學習是運用已存有的知識對不同但相關的領域的問題求解的一種新的機器學習方法[10].遷移學習在源領域模型上僅需少量的訓練數據集便可以建立一個針對目標領域的新模型,對數據分布不同的目標領域進行預測和分析.

2 實驗數據準備與預處理

2.1 樣本采集

網絡上的手勢數據集較匱乏且不滿足實際需求,遂利用實驗室設備采集手勢數據集,采集10 類不同手勢各250 張,共2500 張手勢樣本,取出每種手勢樣本中的25 張作為驗證數據集.采集到的2500 張樣本進行尺寸歸一化處理,得到2500 張640×360 像素的手勢樣本,提高手勢識別準確率.部分樣本如圖1所示.

2.2 樣本增強處理

將2500 張樣本隨機高斯模糊化處理,將樣本與二維的高斯分布的概率密度函數作卷積,隨機模糊樣本.

其中,σ為正態分布的標準偏差,(u2+v2)為模糊半徑r的平方.

對樣本進行旋轉偏移處理,隨機對樣本添加少量噪聲,增強網絡識別的魯棒性,防止網絡產生過擬合現象對測試結果造成影響.

2.3 SVM 手勢分割

手勢識別的重要的一個步驟是對樣本中的手勢進行分割,提取重要的感興趣區域信息,剔除多余背景和環境對識別準確率造成的干擾.傳統的通過膚色閾值對手勢進行分割的方法一般有2 種,在RGB 空間膚色閾值分割、HSV 空間膚色檢測.

RGB 空間膚色閾值分割中R(0～255),G(0～255),B(0～255)3 種像素值同時滿足式(2),式(3)則為膚色.

圖1 樣本采集

當背景顏色與膚色相同或相似時,會對膚色分割造成一定干擾,對背景要求較高.

HSV 空間膚色建模要求H(色調Hue),S(飽和度Saturation),V(亮度Value)滿足式(4)則為膚色.

H、S、V三通道的值對應HSV 空間中的某一點,實際環境中光照的亮度會帶來色調的改變,對光照強度的強適應性給膚色檢測帶來一定噪聲.

本文利用SVM 將手部區域與背景區分開,形成手勢分割.SVM 在對圖像的二分類處理問題有出色的表現,泛化能力較強.其基本的思想是將在低維空間非線性可分的兩類映射到高維空間,求解出一個超平面(hyper lane)在高維空間線性可分的兩類數據完成分類.本次實驗采用線性(liner)核函數(kernel):K(x,y)=xT·y,目標函數懲罰系數C=1.0.利用Python 的Tkinter 模塊編寫可視化界面對樣本進行標記,將手部區域與背景區域區分開,如圖2所示,其中紅色標記為手部區域,綠色點標記為背景區域.

圖2 SVM 樣本標記

標記完成后利用SVM 學習并顯示結果,各手勢分割方法分割結果如圖3所示.通過對比實驗效果,上述前兩種方法都有一定局限性,RGB 空間膚色閾值分割只有在背景單一和光照穩定的條件下膚色分割效果較好,有一定的局限性,如圖3(b)所示;HSV 空間膚色建模對光線的魯棒性較強,但分割離散,膚色區域不連續,無法分割出完整手勢,如圖3(c)所示.利用SVM 學習后對手勢進行分割的效果明顯優于基于RGB 和HSV膚色分割的方法,如圖3(d)所示,不僅在手部區域連續性較好,對環境的要求也較低,且該方法魯棒性和靈活性將強,對于膚色區別較大的實驗者只需重新學習即可得到滿足需求的手勢樣本.

利用訓練好的SVM 模型對2500 張樣本進行批量手勢分割處理,最后將手勢分割后的樣本選取適當的全局閾值,經過全局二值化處理,得到2500 張手勢二值樣本,如圖4所示.

3 實驗方法

本次實驗采用遷移學習方法將Inception-v3[11]模型結構作為訓練模型的結構基礎.Inception-v3 模型由谷歌提出,其網絡思想與其他深度網絡主要有幾點不同,一方面網絡使用更小的卷積核代替尺寸相對較大的卷積核,例如將兩個3×3 的卷積核代替一個5×5 的卷積核.另一方面網絡將n×n例如3×3,7×7 的二維卷積拆分成兩個1×n,n×1 例如3×1,1×3 和7×1,1×7 的二維卷積,這種方式讓網絡參數量大大減少,在加快運算速度的同時也減少了過擬合的情況,且這種對卷積結構的不對稱拆分使特征空間保留完整,網絡非線性表達的能力也更強.網絡使用Batch Nomalization(BN)算法[12],通過規范化方法將輸入分配到均值為0 方差為1 的正態分布,有效解決深層網絡的梯度消失問題,大幅增加訓練效率和收斂后的樣本分類的準確率.

圖3 各方法手勢分割結果

圖4 二值化處理樣本

將Inception-v3 中Softmax 回歸層一維輸出大小從1000 類定義為所需識別手勢的10 類,保留除Softmax層外所有層的參數,將網絡的底層作為一個特征提取器,只訓練最后一層參數達到模型能夠識別10 類手勢的目的.模型通過標簽平滑方式進行模型正則化,首先對于輸入的手勢樣本x,使用式(5)計算對應標簽的概率.

其中,k為手勢標簽類別,Zi為尚未歸一化的對數概率.手勢樣本在對應標簽上在分布為q(k|x),將樣本損失定義為交叉熵損失函數:

最小化交叉熵等價于最大化標簽對數似然期望,其梯度為:

用q’(k|x)代替標簽分布q(k|x)=δk,y:

其中,δk,y為狄拉克δ函數,(1–ε)與ε分別為實際分布和固定分布的權重.

Fine-tuning 微調是訓練深度卷積神經網絡的技巧之一,原理是采用模型原有參數作為網絡的初始化參數,凍結部分網絡層,降低學習效率,以目標數據作為輸入在原有參數基礎上訓練參數.Fine-tuning 后的網絡模型更易訓練,節省大量訓練時間,精度會相較直接隨機初始化參數的網絡有所提高.

完成定義網絡模型后將手勢分割后的二值化樣本導入模型訓練,凍結網絡175 層參數,調整網絡超參數得到不同準確率和交叉熵損失函數曲線.

4 實驗與結果

4.1 實驗

本次實驗環境為Windows 10 操作系統,采用GTX1060 顯卡在Tensorflow 深度學習框架下完成實驗.

為增強模型性能,快速達到收斂,讓網絡具有較好的識別效果和節省適當的訓練、識別時間,調整網絡模型的一系列超參數作縱向對比實驗.訓練集訓練與測試集測試均在GPU 加速環境下運行.模型采用RMSPro[13]梯度下降算法,設置衰減值為0.9,ε=1.0.

設定默認批次大小(batch size)為64,學習效率(learning rate)為0.045,迭代次數(epoches)為2000,得到迭代次數與準確率和損失函數的關系.由圖5看出,模型在1000 次迭代后基本趨于穩定,準確率隨迭代次數增長的波動較小,損失函數也基本趨于穩定,考慮迭代次數增加對網絡模型產生過擬合情況的影響,迭代次數恒定設置為1000.

圖5 迭代次數對模型的影響

對比學習效率對模型識別準確率和損失函數的影響,學習效率對模型訓練起至關重要的作用,較低的學習效率導致模型收斂速度較慢,訓練時間較長;而較高的學習效率則可能會導致模型不收斂,損失函數值波動較大.因此設定4 種分別為0.001,0.015,0.045,0.080 不同的學習效率對模型進行訓練,對比結果如圖6所示.

從圖6可以看出,圖6(a)中損失函數和準確率函數圖像震動劇烈,準確率較低,損失函數值始終高于0.5,網絡模型收斂情況較差;圖6(b)中圖像震動有些許減少,相較圖6(c)、6(d)波動任較大.圖6(c)、6(d)在迭代初期損失函數值較大,迭代后期收斂明顯且圖像震動幅度較小,適宜訓練模型,對比圖6(c)、6(d)對訓練集的平均準確率和損失函數值,選擇圖6(c)學習效率0.045作為最終模型學習效率.

最后探究每次迭代樣本批次大小(batch size)的選擇,不同的批次大小會對網絡模型的準確率和訓練效率產生影響,選擇過小的批次會導致準確率震蕩較大,模型無法收斂;選擇較大的批次會導致內存容量不足,參數更新緩慢,降低運行速度,徒增訓練時間.實驗選擇批次大小為32、64、128 和256 等4 種不同批次大小作對比,得到結果如表1.

從表1得出,批次大小為32 和64 的模型在訓練時間上與大批次模型相比有一定的優勢,準確率與批次大小為128 的模型相比有略微差距,綜合考慮選擇批次大小為128 個樣本導入網絡模型完成訓練.

4.2 實驗結果

網絡模型訓練完成后對實時拍攝不同測試者手勢樣本進行預測,選取3 位測試者10 種不同手勢各50 張共1500 張樣本,收集手勢識別預測結果,如表2所示,可知,本文利用遷移學習訓練卷積神經網絡模型對實時獲取的靜態手勢識別準確率較理想,平均準確率達到96.3%,平均識別時間達到39.2 ms,在識別速度上基本滿足實際應用需求.

4.3 方法對比與分析

將本文方法與傳統的手勢識別方法做對比,驗證本文提出算法模型性能,對比結果如表3所示.

文獻[2]中方法參數量大,計算速度慢導致模型識別速度慢效率低.文獻[6]中方法對于手勢區域在整體圖像所占比例的干擾較大.文獻[7]識別速度快,無法排除手指并攏的手勢干擾,識別準確率較低.文獻[8]中能排除一定噪聲干擾,網絡結構較簡單泛化性能較差.本文方法在識別準確率突出,識別反饋速度較快,內因在于采用SVM 進行手勢分割后得到的二值化樣本純凈,特征利于網絡學習,遷移學習方式構建的網絡模型層數深,對特征的學習能力強,善于分類,在模型設計和參數訓練的時間上相較傳統卷積神經網絡花費少,泛化性能強.

圖6 學習效率對模型的影響

表1 不同批次大小模型訓練結果

表2 測試結果

表3 各種手勢識別算法對比

5 結論

本文方法將支持向量機和遷移學習相結合,利用SVM 進行手勢分割取得的效果相比其他顏色空間手勢分割方式的效果較好,具有較好的魯棒性和靈活調整能力;利用遷移學習將已訓練好的卷積神經網絡作為基礎,訓練全連接層參數,需要的訓練數據集較少,大量縮減卷積神經網絡構建和網絡的訓練時間,取得96.3%的平均識別準確率和39.2 ms 的平均識別反饋時間,基本能滿足實際應用需求.