基于人工智能的無穿戴人體姿態識別技術研究

苗凱 曲海洲 徐何江

手勢跟蹤與識別是一項至關重要的技術，它直接影響著人機交互能否進一步發展，同時也是當前比較熱門的研究與發展課題。目前，國內外的專家學者已經從不同的側重點對對手勢識別進行了深入的研究，也取得了一定的成功，但囿于手勢識別的學科交叉性和復雜性，仍有諸多問題亟待深入研究。

國內外同類研究情況

國際上對手勢識別技術的研究已經進行了相當長的時間。1893年，Bell實驗室的Grimes最先取得了“數據手套”的專利，開創了手勢識別研究的先河。到20世紀90年代，手勢識別技術開始突飛猛進的發展。1987年，VPL公司生產了一種Data Glove的數據手套，通過使用者手套上的傳感器來探測手指的位置和狀態信息;1991年，富士通公司設計了一款手勢符號的輸入系統，可以識別46個不同的手勢類型;1995年，Christopher Lee等人完成了一個操縱機器人的手勢控制系統;同年，Starner則以HMM為基礎，實現了動態手語的識別，其短句的識別率達高到92%以上;隨后，Davis設計了可以識別7種手勢的基于計算機視覺的手套系統;Huang使用三維神經網絡的方法所創建的手語識別系統可以識別15個不同的手勢;Assam和Grobel則采用隱式馬爾科夫鏈的識別方法建立手勢識別系統，對視頻流中的幀圖像進行手勢分析和識別，手勢識別的正確率達到91.3%以上;Zhu使用的是主成分分析的建模方法，以手勢本身成分的統計結構為特征，完成對手勢識別的目標。

進入21世紀，在人機交流的領域，國際上已經研究成功了多種模式的人機交流系統，并且將其付諸于應用。2003年7月，索尼計算機娛樂公司（Sony Computer Entertainment ）發布了一款名為EyeToy的手勢識別設備，這種設備能將玩游戲者的視頻資料傳輸到游戲的畫面中，使游戲與玩游戲者互動。同年12月，美國密歇根州的Cybernet Systems技術研發公司成功開發出一套名為GestureStorm的軟件系統，天氣預報員通過使用這種系統，只需將手輕輕撥動幾下就能制造出特別的視頻效果來配合他們所預報的天氣。2008年，Toshiba位于英國劍橋（Cambridge）的研究實驗室，在IFA上直觀展示了圖片辨識及手勢辨識與電視操作結合的技術。主要是透過攝影機捕捉人手的動作，一旦握拳則進入操作模式，放松變為掌面則表示關閉操作。

國內對手勢識別的研究雖然較晚，但仍然取得了很大的發展和成果。最早的高文等人以“Cyber—Glove”數據手套為硬件基礎，使用隱式馬爾可夫鏈模型與人工神經網絡相結合的方法對各種不同手勢含義進行識別，其平均識別率可達到91%。隨后他又將動態高斯混合模型應用在手語字典中對其進行學習與識別，識別率高達到97.5%。在計算機視覺的基礎上，祝遠新等通過模板分類匹配等方式對動態的獨立手勢進行識別，通過融合手勢運動信息和皮膚顏色信息，成功的進行了復雜背景下的手勢分割，平均識別率高達到90%以上。張秋余、姚開博利用AdaBoost分類器與手勢的不變矩Hu特征相結合的方法對靜態手勢進行識別，識別率達高達95%。

段洪偉通過使用臺灣大學林智仁（Lin Chih—Jen）副教授等開發設計的LSSVM算法對靜態手勢與動態手軌跡進行識別，取得了很好的識別效果，其算法的主要思想是把手的質心坐標作為HMM模型的輸入，通過概率計算估計出一個最佳的結果作為最后的識別結果;山東大學的徐立群等人則是以CAMSHIFT算法為基礎，對動態手勢的軌跡特征進行分析，可以識別6種動態手勢，且識別效果較好。2000年，任海兵等提出了連續動態手勢的時空表現模型，其核心思想是利用動態時空規整算法（DTW）對動態手勢進行識別，平均識別率達到97%。隨后，戴國忠等在HMM的基礎上提出一種HMM—FNN動態手勢識別模型，他是把動態手勢分別分解為手型的變化、XY平面上的運動和Z方向上的運動，再通過日常的經驗來進行輔助和優化，該混合模型對手勢識別的效果明顯優于傳統的HMM模型。張凱、葛文兵等引進了平面立體匹配算法，其核心思想是將手勢的視差圖轉換為平面圖，然后再進行模板匹配，實現了基于機器視覺的手勢識別，由于平面圖不能完全反映圖像的全部信息，故識別精度一般，但是為我們提供了一種手勢識別研究的新方向。

可以看到，經過全世界科研工作者的努力，在手勢識別領域，目前已經有了許多研究成果，并有一部分成功的轉化為應用，服務于科學研究或者日常生活。但是囿于復雜的環境及作為主體的人手具有很多不確定因素，使得手勢識別技術仍然面臨著許多困難與挑戰亟需解決。例如動態手勢的識別中就存在以下兩個突出問題：一是時間的不一致性，即不同人做同一種手勢或者同一個人在不同的時刻做同一個手勢，由于運動速率不同，所耗費的時間各不相同;二是手勢分割，即如何準確地識別動態手勢的開始和結束。

無穿戴人體姿態識別系統研究的現實意義

本項目主要研究手勢的動態捕捉與識別，通過對關鍵點檢測、手勢軌跡獲取、去噪與特征提取及模板制作與模板匹配的關鍵技術進行研究，提取捕捉到的手勢軌跡特征，與訓練所得手勢模板進行匹配，返回最佳匹配結果。最終目標是形成一套基于人工智能的無穿戴人體姿態識別系統，用戶通過該系統可以自定義手勢，通過計算機根據采集的有限手勢數據自動分析并生成模板，滿足用戶個人的手勢識別需求。

本項目的研究涉及圖像處理、模式識別、計算機視覺、人工智能等多門學科，在實現更加自然、和諧、符合人類行為習慣的人機交互方式的同時，還有助于促進多學科的發展和不斷融合。手勢識別還可廣泛應用于虛擬現實、三維設計、臨場感、可視化、醫學研究、智能監控等領域，具有良好的社會和經濟效益。

無穿戴人體姿態識別技術的研發內容

本項目主要包括以下開發內容：標準手勢數據的采集;手勢模板的制作;實時手勢分割;實時手勢與手勢模板的匹配。

標準手勢數據的采集。手勢數據分為二維手勢數據和三維手勢數據，通過外部攝像頭或傳感器采集。三維手勢數據通過雙目攝像頭（如leapmotion）、數據手套或激光雷達攝像頭采集，二維手勢數據亦可通過上述設備采集到的三維數據投影得到，也可利用普通單目攝像頭采集（精度低于上述設備）。根據特征點位置的不同，采集到的手勢數據可以分為手類型（左右手）、掌心位置，手腕位置，手指關節位置（單目攝像頭識別能力較差），以及各特征點的速度。

手勢模板的制作。手勢模板的制作需要采集標準手勢作為訓練數據，考慮到用戶自定義手勢的訓練數據數量和質量有限。故用統計法采集用戶輸入的標準數據點并提取數據特征生成初始模板。由于標準樣本有限，在之后的識別過程中，可能會有較高的錯誤率，出現識別錯誤時，用戶可以選擇提交該次手勢數據以優化模板。

實時手勢分割。手勢分割是為了劃分手勢軌跡的識別區段，定義開始記錄位置和結束記錄位置，在結束記錄時將手勢軌跡特征與模板進行匹配。對于有既定標準的手勢，可以分析手勢的結束和起始特征并提前定義分割算法;對于用戶自定義手勢，起始和結束特征無法預料，需要進行實時數據記錄和匹配，匹配成功則自動進入下一手勢檢測狀態，該步驟的算法復雜度與待匹配模板數和手勢特征數正相關。

手勢與模板的匹配。手勢與模板的匹配是將手勢分割后的軌跡數據經過特征提取后與各個模板進行相關度計算，不同類型的特征對結果的影響也不同，因此相關度計算需要考慮各個特征的權重值。將匹配度最高且匹配度超過一定閾值的模板視為匹配結果。實時手勢由于自由度大，變化多樣，因此形狀和時序都有不確定性，而檢測誤差會帶來抖動和噪點。匹配前需要對手勢軌跡進行前處理并提取具有較強魯棒性的特征。

無穿戴人體姿態識別技術的主要技術經濟指標

手勢識別準確率。對于自定義手勢，準確率由用戶上傳的標準手勢復雜度，差異性和數據質量決定。對于有既定標準的手勢，如樂隊指揮手勢、交警指揮手勢、手語等。比對模板小于10個時，準確率高于90%;比對模板大于10個或模板之間差異非常小時，準確率高于70%。

手勢識別速度。對于無需考慮時序特征的動態手勢，延時低于80ms，此延遲不會被人眼明顯察覺，對于需要考慮時序特征的動態手勢，延遲低于150ms，此延遲會被人眼察覺，但識別結果的輸出只略微滯后于結束動作，不影響識別的實時性。對于沒有定義起始和結束特征的自定義手勢，實時性低于300ms，此延遲會影響到輸出的實時性，但是足夠在下一手勢結束前分析出手勢識別結果，滿足不要求實時性而要求動手過程中識別結果沒有遺漏的手勢識別需求。

模板訓練難度。即使沒有受過專業訓練的用戶也可以輕松訓練自定義模板。開始模板訓練模式后，用戶重復演示標準手勢生成標準樣本，樣本應盡可能包含可能存在的手勢變化，每種變化重復5次以上，并標定手勢標簽。

無穿戴人體姿態識別技術實施方案

本項目流程如圖1所示，首先從設備接口獲取軌跡點，按一定時間間隔采樣以減少待分析數據量，提取其中對識別結果有重要影響的關鍵點。再根據采樣點和關鍵點的位置和速度信息進行手勢分割，確定待識別的手勢軌跡?？紤]到手勢分割失敗會直接影響之后的識別，故加入了分割失敗時的處理措施，以及時跳過當前手勢的檢測，進入下一手勢檢測。得到成功分割的手勢軌跡后，進入前處理和特征提取階段。如果考慮軌跡的時序特征，即每一軌跡點出現的先后順序是一定的，那么先進行關鍵點時序與標準時序的對齊，并將其余采樣點的時序坐標進行相應的拉伸。之后過濾由檢測誤差和手勢不穩帶來的干擾點并將軌跡點坐標歸一化。如果不考慮時序特征，則跳過時序對齊，進行去噪和歸一化處理。前處理后得到更方便提取特征和模板比對的軌跡點。對多種特征如各點方向向量、密集度、極值點等進行提取，并根據重要性進行權重分配。最后進入匹配階段，將各特征數值與模板的對應特征值進行比較，計算歐式距離，得到與各模板的匹配度。如果存在多個相近匹配度，則進入二級匹配，否則直接將匹配度最高的模板作為識別結果。用戶可以對識別結果進行反饋，如果識別錯誤，提交該軌跡和正確結果到后臺，以優化模板，直到符合輸出要求。

關鍵點檢測算法。手在關鍵動作處會有停留，導致關鍵位置附近的點相對密集。將密集度曲線劃分若干區域，每個區域尋找大于閾值的最大密集度點作為關鍵點。如圖2，橫坐標代表某時刻區間，縱坐標表示該區間的采樣點數。

時序對齊算法。手勢軌跡是一個時間序列，需要比較匹配度的兩段手勢的時間序列的長度可能并不相等，具體表現為手勢的快慢。所以在比較匹配度之前，需要將其中待匹配手勢的時間序列進行適當拉伸，而且要保證相同關鍵點的時間序列一一對應，以達到更好的對齊。采用動態時間規劃（DTW）算法來實現該效果。如圖3所示，構造一個矩陣網格，橫坐標為模板時間序列，縱坐標為手勢軌跡時間序列，折線經過的矩陣元素（i，j）表示模板i時刻與手勢j時刻具有對應關系的采樣點，采用動態規劃的方法獲取該路徑。保證關鍵點不遺漏的情況下使用盡可能少的采樣點可提高該算法的計算效率。

去噪與特征提取。對于軌跡中的噪點，可以采用貝塞爾曲線來處理。貝塞爾曲線是一種通過控制點來生成平滑曲線的繪圖方式。將采樣點作為控制點構建貝塞爾曲線具有降噪的作用，對于由手勢不穩造成的起伏點，檢測誤差造成的前后錯亂點和異常點，貝塞爾曲線均能保持原有的軌跡趨勢。對于細節變化多樣但是趨勢一定的手勢，貝塞爾曲線有將相似軌跡趨同化的作用。圖4是同一人重復三拍子手勢記錄下的三組軌跡采樣點，可以發現三組采樣點的熱區圖仍有較大差別，相同特征較少。而通過貝塞爾曲線處理后，記錄的貝塞爾曲線采樣點映射到熱區圖上，軌跡重合率非常高，特征明顯。因此，貝塞爾曲線處理可以有效去噪和提取特征。

涉及時序的手勢還可以提取定向角作為識別特征。時序對齊后，計算相鄰采樣點構成的方向向量，通過下式得到序列的定向角度后，為了提高識別率，合并相似特征并減少計算量，將該角度除以45°進行量化并從1編碼至9，如圖5所示。記錄各方向向量組成特征向量。該特征向量不僅含有速度特征（向量長度），方向特征（向量方向），由于排列順序由時序決定，向量首尾相接，包含了軌跡的形狀特征。

板制作與模板匹配。對于貝塞爾曲線處理后的軌跡特征，使用位置特征的矩陣模板進行匹配。模板制作的數據來自于標準手勢數據樣本。將標準手勢數據經過采樣、去噪、歸一化后，映射到按照一定間隔劃分區域的矩陣中。矩陣中的數字代表落在該區域內的點數。數字越大表示手勢經過該區域的可能性越大。將該模板中的數值歸一化處理，保證所有模板矩陣中的數據之和相等。匹配階段，待識別手勢數據也同樣經過采樣、去噪、歸一化、矩陣化處理，然后將矩陣中大于一定閾值的數值賦為1，小于一定閾值的數值賦為0，該特征矩陣記錄了待識別手的位置特征。將其與模板矩陣對應數值相乘求和，得到一個代表手勢與該模板匹配程度的值。對所有模板都進行同樣操作后比較各匹配度大小，選擇匹配度遠大于其他項的模板作為匹配結果。

手勢模板的制作需要采集標準手勢作為訓練數據，考慮到用戶自定義手勢的訓練數據數量和質量有限。故用統計法采集用戶輸入的標準數據點并提取數據特征生成初始模板。由于標準樣本有限，在之后的識別過程中，可能會有較高的錯誤率，出現識別錯誤時，用戶可以選擇提交該次手勢數據以優化模板。

目前手勢跟蹤與識別屬于比較熱門的研究與發展課題，本項目已在多項技術上取得良好的進展，包括基于貝塞爾曲線的去噪與特征提取技術、基于leapmotion等多種標準手勢數據采集方法等。本項目研究的手勢姿態識別是人機交互領域的關鍵技術，為國務院發布政策、十三五規劃、政府報告、領導講話等都有對人機交互行業做了一些綱領性的指導，為行業發展做好了指引。手勢識別技術的應用讓人們逐漸擺脫傳統的輸入方式，為人類提供了更加多元化、人性化的服務。

（作者單位：杭州科技職業技術學院企業文化研究所）