基于深度學(xué)習(xí)的手勢識別研究

沈雅婷

摘 要：目前一些相對成熟的手勢識別算法，如基于模板匹配的方法、基于人工神經(jīng)網(wǎng)絡(luò)的方法以及基于隱馬爾科夫模型的方法，都存在計算復(fù)雜的劣勢，而基于深度學(xué)習(xí)的手勢識別具有一定優(yōu)勢。通過深度學(xué)習(xí)提取多層網(wǎng)絡(luò)簡化的高價值易用特征，通過向量等表示，簡化算法以實現(xiàn)良好的識別效果。通過攝像頭采集室內(nèi)復(fù)雜背景下的手勢圖像，在計算能力、存儲能力強大的PC平臺通過深度學(xué)習(xí)處理圖像，提取特征，然后進行分類識別，能提高識別準(zhǔn)確率。通過改進硬件或算法還可提高識別效率及安全性。

關(guān)鍵詞：深度圖像;預(yù)處理;特征提取;深度學(xué)習(xí);手勢識別

0 引言

手勢是人機交互的一種重要手段，是簡單且自然的交流方式[1]。手勢識別是計算機科學(xué)和語言技術(shù)研究的主題。手勢識別可通俗解釋為通過計算機理解人體語言，無需直接接觸機械設(shè)備即可使人類和機器進行自然交互[2]。手勢識別在人機交互智能領(lǐng)域起著重要作用，但由于其在相對復(fù)雜的環(huán)境中處理困難，因此需要探究出更加適宜的方法。

早期大多通過有線技術(shù)連接計算機系統(tǒng)和用戶，從而將用戶手勢信息準(zhǔn)確地傳送給識別系統(tǒng)，完成手勢識別[3]。如數(shù)據(jù)手套通過傳感器將諸如用戶手的位置和方向數(shù)據(jù)信息發(fā)送給計算機，再通過機器學(xué)習(xí)算法進行識別。雖檢測效果良好，但穿戴過程給操作者帶來極大不便且價格昂貴[4]。此后，數(shù)據(jù)手套被光學(xué)標(biāo)記方法所取代。光學(xué)標(biāo)志放置在人手上，就可將手的位置和變化通過紅外線傳給系統(tǒng)屏幕。該方法效果良好，但仍需復(fù)雜設(shè)備。雖然外部設(shè)備干預(yù)可以提高手勢識別的準(zhǔn)確性和穩(wěn)定性，但無法實現(xiàn)手勢的自然表達。為此，自然手勢識別被針對視覺的手勢識別取而代之[5]。

許多專家學(xué)者傾向于使用深度學(xué)習(xí)研究手勢識別。視覺手勢識別（即識別自然手勢）可以使用手勢來控制或與設(shè)備交互，無需接觸設(shè)備。由視頻設(shè)備捕獲的手勢圖像序列通過計算機技術(shù)處理，該過程可以是相關(guān)的深度學(xué)習(xí)算法經(jīng)過復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)層的篩選提煉，獲取高價值的特征[6]。視覺手勢識別分割易受硬件之類的外部環(huán)境影響，導(dǎo)致通常使用的機器學(xué)習(xí)算法識別精度偏低。因此，基于深度學(xué)習(xí)的手勢識別成為熱門研究領(lǐng)域[7]。

1 視覺手勢識別與流程

手勢識別基本流程如圖1所示。

首先，通過攝像頭捕獲圖像信息流，之后進行預(yù)處理，如過濾噪聲數(shù)據(jù)（手勢檢索和分割）;然后輸入識別系統(tǒng)，針對手勢特征運用深度學(xué)習(xí)進行特征提取;最后通過訓(xùn)練完成分類算法以及系統(tǒng)定義的人工語法進行識別輸出[8]。

靜態(tài)手勢和動態(tài)手勢的特征提取和分析過程不一樣，靜態(tài)手勢只需通過各種方法對圖像進行判斷，動態(tài)手勢是一個變化過程，是一段時間內(nèi)的動作集合，因此系統(tǒng)需要定義動態(tài)手勢的開始和結(jié)束時間戳。動態(tài)手勢通過一些手段能夠成為靜態(tài)手勢 [9]。

針對視覺的手勢識別重點在于圖像處理，手勢的特征提取直接影響最終的識別結(jié)果（本文提及的手勢識別即針對視覺的手勢識別）[10]。傳統(tǒng)的針對視覺的手勢識別包含多種算法，如何提高手勢識別的一致性和魯棒性一直是研究重點[11]。

2 相關(guān)技術(shù)及發(fā)展

通過神經(jīng)網(wǎng)絡(luò)對手勢進行識別研究較多，但由于手勢軌跡的維數(shù)較大導(dǎo)致神經(jīng)網(wǎng)絡(luò)節(jié)點較多，從而使整個網(wǎng)絡(luò)復(fù)雜計算量增大[12]。研究發(fā)現(xiàn)通過深度學(xué)習(xí)算法限制玻爾茲曼機對手勢軌跡進行特征提取，進而使用神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練識別，比單純使用神經(jīng)網(wǎng)絡(luò)算法識別率要高。

深度學(xué)習(xí)作為一種新型的機器學(xué)習(xí)算法被廣泛研究，有很多深度學(xué)習(xí)模型，如自動編碼器、去噪聲自動編碼器、卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)和限制玻爾茲曼機等[13]。在ASL數(shù)據(jù)集中，不管是訓(xùn)練集還是測試集，普通手勢識別算法準(zhǔn)確性都不及深度學(xué)習(xí)算法。因為深度模型能夠有效利用多層網(wǎng)絡(luò)，通過層層抽象的方式深度提取輸入數(shù)據(jù)的深層特征[14]。

本文首先通過深度學(xué)習(xí)算法對手勢軌跡進行特征提取，然后對處理后的軌跡應(yīng)用分類算法（如分類器softmax）進行識別[15]。

詳細(xì)流程如下：①通過Kinect采集深度圖像，如MNIST、ASL數(shù)據(jù)集，可壓縮，可加密、輸入;②對圖像進行預(yù)處理，例如噪音過濾等（手勢檢索與分割）;③通過深度學(xué)習(xí)算法對傳入的手勢數(shù)據(jù)進行高價值特征提取，數(shù)據(jù)特征可用向量等表示;④通過對樣本訓(xùn)練獲得分類器，然后通過分類器對提取后的高價值特征數(shù)據(jù)進行分類識別[16];⑤輸出（按要求描述相應(yīng)手勢，通過相應(yīng)的描述驅(qū)動對應(yīng)程序）。

2.1 特征提取——深度學(xué)習(xí)

特征在手勢識別建模過程中起著十分重要的作用[17]。人手特征分為基于圖像外觀的特征和基于人手模型的特征[18]。基于圖像外觀特征簡單易操作，基于人手模型特征可以識別更復(fù)雜的人手動作，但要求是深度圖像，最終算法的準(zhǔn)確性由特征良好性決定[19]。手工選擇需要專業(yè)知識和大量時間進行調(diào)整，十分困難，完全憑借運氣和經(jīng)驗[20]。深度學(xué)習(xí)是機器學(xué)習(xí)的新領(lǐng)域，深度學(xué)習(xí)構(gòu)建的模型具有多層結(jié)構(gòu)，原樣本空間經(jīng)過對海量數(shù)據(jù)的訓(xùn)練逐層轉(zhuǎn)換為一個新的特征空間，從而能學(xué)習(xí)出更有用的特征。這類似于人類從原始信號的低級抽象，逐漸往高級抽象迭代，并且在高級抽象層執(zhí)行終極分類或預(yù)測，獲取高的準(zhǔn)確性 [21]。

2.1.1 深度學(xué)習(xí)基本思想

2.1.2 深度學(xué)習(xí)訓(xùn)練過程

（1）采用自下而上的無監(jiān)督學(xué)習(xí)。①逐層構(gòu)建單層神經(jīng)元;②使用wake-sleep算法對每一層進行調(diào)整，一次僅調(diào)整一層，逐層調(diào)整。這個過程可看作是一個特征學(xué)習(xí)過程，這是與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比最大的不同[22]。

（2）自頂向下的監(jiān)督學(xué)習(xí)。將學(xué)習(xí)獲取的每層參數(shù)作為第一步，在頂部編碼層添加如Logistic回歸、SVM等分類器，然后通過對已標(biāo)記數(shù)據(jù)的監(jiān)督學(xué)習(xí)，使用梯度下降法微調(diào)網(wǎng)絡(luò)參數(shù)[23]。

2.1.3 深度學(xué)習(xí)模型與方法

（1）自動編碼器（AutoEncoder）。將input信號輸入到encoder編碼產(chǎn)生code，即輸入的表示是code，然后通過decoder解碼，如果輸出信息類似于輸入信號input（理想情況下相同），那么code是可用的[24]。因此，通過調(diào)整encoder和decoder參數(shù)以最小化重構(gòu)誤差，獲得輸入input信號的第一個表示，即code[25]。

（2）稀疏自動編碼器（Sparse AutoEncoder）。將[L1]的Regularity約束添加到AutoEncoder上（[L1]主要是將每層中的大多數(shù)節(jié)點約束為0，只有少數(shù)不為0），就可以得到Sparse AutoEncoder法[26]。

（3）降噪自動編碼器（Denosing AutoEncoder）。在自動編碼器基礎(chǔ)上，噪聲添加于訓(xùn)練數(shù)據(jù)中，自動編碼器必須通過學(xué)習(xí)去除該噪聲獲得未被污染的輸入[32]。因此，編碼器通過學(xué)習(xí)穩(wěn)健表示輸入信號，其泛化能力優(yōu)于普通編碼器。

（4）限制玻爾茲曼機（Resricted Boltzmann Machine）。假設(shè)相同層中的節(jié)點之間沒有鏈接，一層是可見層，即輸入數(shù)據(jù)層[v]，一層是隱藏層[h]。若假設(shè)所有節(jié)點都是[0，1]隨機變量節(jié)點，全概率分布[pv，h]滿足Boltzmann分布，稱為RBM[33]。

（5）深度置信網(wǎng)絡(luò)（Deep Believe Network）。由幾個RBM結(jié)構(gòu)單元組成，堆棧中每個RBM單元的可見層神經(jīng)元數(shù)量等于之前RBM單元中隱藏層神經(jīng)元數(shù)量[34]。使用輸入樣本訓(xùn)練第一層RBM單元，并使用輸出訓(xùn)練第二層RBM模型，通過堆棧增加層使模型性能得以改善。

（6）深度玻爾茲曼機（Deep Boltzmann Machine）。增加RBM隱藏層中的層數(shù)可以獲得DBM，訓(xùn)練方法是首先使用無監(jiān)督的預(yù)訓(xùn)練方法獲得初始權(quán)值，然后使用場均值算法，最后再用監(jiān)督方式進行微調(diào)[35]。

（7）卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）。卷積神經(jīng)網(wǎng)絡(luò)具有多層，每層通過多個二維平面組成，每個平面通過許多獨立神經(jīng)元組成，它是第一個成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法[36]。

2.2 不采用深度學(xué)習(xí)特征提取的手勢識別方法

手勢識別是通過分析手勢的特征判斷手勢類型的過程[37]，特征的優(yōu)秀程度對手勢判斷的準(zhǔn)確性有很大影響[38]。常用的手勢識別方法有基于模板匹配的方法、基于人工神經(jīng)網(wǎng)絡(luò)的方法和基于隱馬爾科夫模型的方法[39]。上述幾種方法對比如表1所示。

3 實驗分析

對特征提取和手勢分類相關(guān)算法的研究和改進：首先通過深度學(xué)習(xí)算法進行高價值特征提取，數(shù)據(jù)特征可用向量等表示，然后通過傳統(tǒng)機器學(xué)習(xí)分類算法進行手勢分類[40]。

用于實驗的手勢圖片中，手勢通常在復(fù)雜的環(huán)境中，如各種復(fù)雜背景因素、過亮或過暗的光、或與采集設(shè)備距離不同[41]。手勢數(shù)據(jù)大小不確定，太大需壓縮，可通過H.264算法對其進行壓縮。手勢數(shù)據(jù)可預(yù)處理，過濾噪音。實驗數(shù)據(jù)通常是小型MNIST數(shù)據(jù)集和ASL手勢數(shù)據(jù)集，或者由Kinect在復(fù)雜室內(nèi)背景中直接拍攝RGB手勢圖像。使用Kinect通過紅外線發(fā)射與接收獲取深度圖像更好，易于手勢分割，能提高識別準(zhǔn)確度[42]。Kinect是微軟2010年推出的體感外設(shè)，深度攝像頭獲取人手運動的視頻信息，接著分割出人手前景。由于深度圖像中的每個像素點的值對應(yīng)于攝像頭距離場景中點的深度值，因此容易分割[43]。手部分割方法包括閾值分割、像素點聚類、結(jié)合彩色圖像和深度圖像等[44]。要有足夠的訓(xùn)練樣本，以便能訓(xùn)練出高精準(zhǔn)度的分類器[45]。

硬件配置：建議處理器主頻達到雙核2.66GHz。深度數(shù)據(jù)采集輸入設(shè)備[46]： Kinect for XBOX360（用于PC輸入需裝驅(qū)動）或Kinect for Windows攝像頭。

安全性：建議對傳輸過程進行加密，并可通過開源加密算法OpenSSL對壓縮數(shù)據(jù)進行加密[47]。

4 應(yīng)用分析

隨著人工智能的不斷發(fā)展，人機交互對傳統(tǒng)接觸式交互方式提出了挑戰(zhàn)，新一代交互方式將以無接觸、高效自然的交互為主流[48]，目前手勢交互已成為熱門話題[49]。手勢識別增強了現(xiàn)有的人機交互模式，實現(xiàn)更直接、更自然、更和諧的人機對話，并將帶來新的應(yīng)用，如手語識別[50]。

5 結(jié)語

手勢識別研究進展對交互速度的發(fā)展至關(guān)重要，改進的手勢識別技術(shù)為人機交互提供一種新的非接觸式交互模式。運用深度學(xué)習(xí)通過多層網(wǎng)絡(luò)結(jié)構(gòu)，從Kinect獲取深度圖像，基于深度學(xué)習(xí)解決實際應(yīng)用中的手勢識別高價值特征提取問題，以及用向量等表示數(shù)據(jù)特征問題。

目前手勢識別研究仍集中在追求高精確度的算法技術(shù)層面，將來應(yīng)整合心理學(xué)和人體工程學(xué)等研究成果，提高算法性能。

參考文獻：

[1] 張雨晨，甘俊英，余飛，等. 基于深度學(xué)習(xí)的應(yīng)急手勢識別算法研究[J]. 五邑大學(xué)學(xué)報：自然科學(xué)版， 2018，132（2）：57-63.

[2] BOBICK A F， WILSON A D. A state-based approach to the representation and recognition of gesture[J]. IEEE Trans Pattern Analysis & Machine Intelligence，1997，19（12）：1325-1337.

[3] KOHLER M. Special topics of gesture recognition applied in intelligent home environments[C].International Gesture Workshop， 1997：285-296.

[4] 常津津，羅兵，楊銳，等. 基于深度學(xué)習(xí)的交警指揮手勢識別[J]. 五邑大學(xué)學(xué)報：自然科學(xué)版， 2018，132（2）：42-48，70.

[5] JIA P， HU H H， LU T， et al. Head gesture recognition for hands‐free control of an intelligent wheelchair[J]. Industrial Robot An International Journal， 2007， 34（1）：60-68.

[6] 張勛， 陳亮， 胡誠，等. 一種基于深度學(xué)習(xí)的靜態(tài)手勢實時識別方法[J]. 現(xiàn)代計算機， 2017（34）：8-13.

[7] VILLARREAL M， FRIDMAN EA， AMENGUAL A， et al. The neural substrate of gesture recognition[J]. Neuropsychologia， 2008， 46（9）：2371-2382.

[8] FROLOVA D， STERN H， BERMAN S. Most probable longest common subsequence for recognition of gesture character input[J]. IEEE Transactions on Cybernetics， 2013， 43（3）：871-880.

[9] 郭雷. 手勢識別中手分割算法[J]. 軟件， 2015， 36（4）：81-83.

[10] YING W X. Recognition of complex dynamic gesture based on HMM-FNN model[J]. Journal of Software，2008，19（9）：2302-2312.

[11] FERRO J M， MARTINS I P， MARIANO G， et al. CT scan correlates of gesture recognition[J]. Neurol Neurosurg Psychiatry， 1983， 46（10）：943-952.

[12] 郭迎，吳蘊翔. 人工智能背景下的無人機手勢識別設(shè)計研究[J]. 科技創(chuàng)新與應(yīng)用， 2018， 242（22）：44-45.

[13] TORIGE A， KONO T. Human-interface by recognition of human gesture with image processing-recognition of gesture to specify moving direction[C]. IEEE International Workshop on Robot and Human Communication，1992：105-110.

[14] 桑農(nóng)，倪子涵. 復(fù)雜場景下基于R-FCN的手勢識別[J]. 華中科技大學(xué)學(xué)報：自然科學(xué)版， 2017（10）：54-58.

[15] NAM Y，WOHN N，LEE-KWANG H. Modeling and recognition of hand gesture using colored Petri nets[J]. IEEE Transactions on Systems， Man， and Cybernetics -Part A： Systems and Humans， 2002， 29（5）：514-521.

[16] PAULRAJ M P， YAACOB S， DESA H， et al. Extraction of head and hand gesture features for recognition of sign language[C]. IEEE International Conference on Electronic Design，2008：1-6.

[17] 易生， 梁華剛， 茹鋒. 基于多列深度3D卷積神經(jīng)網(wǎng)絡(luò)的手勢識別[J]. 計算機工程， 2017， 43（8）：243-248.

[18] 郭雷. 動態(tài)手勢識別技術(shù)綜述[J]. 軟件導(dǎo)刊， 2015， 14（7）：8-10.

[19] HE G F， PARK J W， KANG S K， et al. Development of gesture recognition-based serious games[C]. IEEE-EMBS International Conference on Biomedical and Health Informatics， 2012：922-925.

[20] FR？HLICH M，WACHSMUTH I. Gesture recognition of the upper limbs — from signal to symbol[C]. International Gesture Workshop on Gesture and Sign Language in Human-Computer Interaction. Springer-Verlag， 1997：173-184.

[21] FR？HLICH M， WACHSMUTH I. Gesture recognition of the upper limbs — from signal to symbol[C]. International Gesture Workshop on Gesture and Sign Language in Human-computer Interaction， 1997：173-184.

[22] RAUTARAY S S， AGRAWAL A. Design of gesture recognition system for dynamic user interface[C]. IEEE International Conference on Technology Enhanced Education， 2012：1-6.

[23] PICKERING C A. The search for a safer driver interface： a review of gesture recognition human machine interface[J]. Computing & Control Engineering Journal， 2005， 16（1）：34-40.

[24] OSHITA M， MATSUNAGA T. Automatic learning of gesture recognition model using SOM and SVM[C]. International Symposium on Advances in Visual Computing，2010：751-759.

[25] VO M T， WAIBEL A. Multi-modal HCI：combination of gesture and speech recognition[C]. Human-Computer Interaction， INTERACT ‘93， IFIP TC13 International Conference on Human-Computer Interaction， 1993：69-70.

[26] KAWASHIMA M， SHIMADA A， TANIGUCHI R I. Early recognition of gesture patterns using sparse code of self-organizing map[C]. International Workshop on Advances in Self-Organizing Maps， 2009：116-123.

[27] ZHANG X， CHEN X， ZHAO Z Y， et al. Research on gesture definition and electrode placementin pattern recognition of hand gesture action SEMG[C].International Conference on Medical Biometrics， 2008：33-40.

[28] NAKAYA Y，NAKAKUKI T，HIKITA M，et al. A practical approach for recognition of hand gesture and distinction of its singularity[C].IEEE International Conference on Automation and Logistics， 2010：474-479.

[29] SCHWARTZ R L， BARRETT A M， CRUCIAN G P， et al. Dissociation of gesture and object recognition.[J]. Neurology， 1998， 50（4）：1186-1188.

[30] DADGOSTAR F， SARRAFZADEH A， FAN C， et al. Modeling and recognition of gesture signals in 2d space： a comparison of nn and svm approaches[C]. IEEE International Conference on TOOLS with Artificial Intelligence， 2008：701-704.

[31] BHATT J， LOBO N D V， SHAH M， et al. Automatic recognition of baby gesture[C]. IEEE International Conference on TOOLS with Artificial Intelligence， 2003：610-615.

[32] KRIARA L， ALSUP M， CORBELLINI G， et al. RFID shakables：pairing radio-frequency identification tags with the help of gesture recognition[C]. ACM Conference on Emerging NETWORKING Experiments and Technologies， 2013：327-332.

[33] LUíS TARRATACA. The current feasibility of gesture recognition for a smartphone using J2ME[C]. ACM Symposium on Applied Computing， 2009：1642-1649.

[34] RASHID O， AL-HAMADI A， MICHAELIS B. Integration of gesture and posture recognition systems for interpreting dynamic meanings using particle filter[C]. Soft Computing and Pattern Recognition， 2011：47-50.

[35] TORIGE A， KUNO K. Human-interface by recognition of human gesture with image processing-recognition of speed change and rapid reaction on motion change[C]. IEEE International Workshop on Robot and Human Communication. 2002：250-255.

[36] YI Z， WU S H， YUAN L， et al. Applications and recognition of gesture trajectory using HMM[J]. Semiconductor Optoelectronics， 2015， 36（4）：650-656.

[37] GEETHA M， MANJUSHA C， UNNIKRISHNAN P， et al. A vision based dynamic gesture recognition of indian sign language on Kinect based depth images[C]. International Conference on Emerging Trends in Communication， Control， Signal Processing & Computing Applications， 2014：1-7.

[38] TAN W， WU C， ZHAO S， et al. Recognition of dynamic hand gesture based on SCHMM model[C]. Control and Decision Conference， 2009：2478-2482.

[39] SHIMADA A， KAWASHIMA M， TANIGUCHI R I. Improvement of early recognition of gesture patterns based on a self-organizing map[J]. Artificial Life & Robotics， 2011， 16（2）：198-201.

[40] STAMENOVA V， ALMEIDA Q A， BLACK S E， et al. Hemispheric differences in the production and recognition of gesture errors[J]. Brain & Cognition， 2007， 63（2）：198-199.

[41] LI Z， ANTAO T， YANG L. Hand gesture recognition of sEMG based on modified kohonen network[C]. International Conference on Electronics， Communications and Control， 2011：1476-1479.

[42] ZHENG W， ZHANG D. Handbutton： gesture recognition of transceiver-free object by using wireless networks[C].IEEE International Conference on Communications， 2015：6640-6645.

[43] TAO Y， YUAN G E， WANG L. The method of gesture recognition based on moment invariants[J]. Computer Engineering， 2004， 30（18）：127-129.

[44] MORIMOTO K， MIYAJIMA C， KITAOKA N， et al. Statistical segmentation and recognition of fingertip trajectories for a gesture interface[C]. International Conference on Multimodal Interfaces. 2007：54-57.

[45] TAN T D， GUO Z M. Research on location and gesture recognition of hand based on binocular stereo-vision[J]. Computer Engineering & Design， 2012， 33（1）：259-264.

[46] KO Y. Hash-based early recognition of gesture patterns[J]. Artificial Life & Robotics， 2013， 17（3-4）：476-482.

[47] GEETHA M， ASWATHI P V. Dynamic gesture recognition of Indian sign language considering local motion of hand using spatial location of key maximum curvature points[C]. Intelligent Computational Systems. IEEE， 2013：86-91.

[48] CHOI C， AHN J H， BYUN H. Visual recognition of aircraft marshalling signals using gesture phase analysis[C].Intelligent Vehicles Symposium. IEEE， 2008：853-858.

[49] IRTEZA K M， AHSAN S M M， DEB R C. Recognition of hand gesture using hidden Markov model[C]. International Conference on Computer and Information Technology， 2013：150-154.

[50] ZHANG H， WANG Y， DENG C. Application of gesture recognition based on simulated annealing BP neural network[C].International Conference on Electronic and Mechanical Engineering and Information Technology， 2011：178-181.

（責(zé)任編輯：杜能鋼）