基于虛擬現實的人機交互中的多特征手勢識別追蹤算法的研究

摘 要：文章首先分析了虛擬現實人機交互中的要點部分，總結為視線選擇與虛擬場景構建，并對其中的構成要點技術加以論述。在此基礎上重點探討實現虛擬現實人機交互環境下多特征手勢識別的追蹤算法，結合實際案例整理出識別后的多特征手勢虛擬圖，幫助人們更直觀地了解虛擬現實技術下手勢識別效果。

關鍵詞：虛擬現實；人機交互；多特征手勢識別；追蹤算法

中圖分類號：TP301 文獻標識碼：A

A Study of the Multi-Feature Gesture Recognition Tracking

Algorithm in VR-Based Human-Computer Interaction

CHEN Chuntie

（Beijing ZANVR Technology CO.，LTD，Beijing 100085，China）

Abstract：This paper firstly analyzes the main points of virtual reality （VR） human-computer interaction，summarizes the construction of visual selection and virtual scene，and discusses some of the key techniques.On this basis，the paper focuses on the implementation the multi-feature gesture recognition tracking algorithm in VR human-computer interaction.Combined with the actual case，the recognized virtual images of the multi-feature gesture are sorted out，helping people more intuitively understand the gesture recognition effect with VR technology.

Keywords：virtual reality；human-computer interaction；multi-feature gesture；tracking algorithm

1 引言（Introduction）

利用虛擬現實人機交互軟件來進行多特征手勢識別，視線選擇直接影響到最終的手勢識別功能實現。選擇正確的視線手勢識別才能順利進行，從而滿足虛擬現實人機交互系統中的識別追蹤需求[1]。手勢識別追蹤屬于動態信息捕捉，在信息準確程度和更新時間上均要達到規定標準，實現選擇首先需要確定控制點，也就是交換過程中的視線中心，通過中心確定來進行視覺方向判斷，使用者在觀看交互點過程中，實現視覺上的轉換，并將多特征手勢識別到計算機軟件中[2]。在多特征手勢識別追蹤算法中，視線選擇也可以理解為是手勢捕捉點的控制，將各個手勢基本定位點進行捕捉，更精準地將多特征動態手勢識別人機交互系統中。

2 虛擬現實人機交互中的要點部分（The key points

of virtual reality human-computer interaction）

虛擬現實場景構建需要借助陀螺儀來檢驗效果，對多特征手勢動態進行準確捕捉觀察。無論動態手勢做出怎樣的變化，在陀螺儀定位效果下均能準確地定位數據捕捉點變化[3]。虛擬環境下攝像機變化方向需要與實際多特征手勢保持一致，靜止狀態向動態轉變過程，需要在追蹤算法幫助下完成。多特征手勢通過數據捕捉來構建虛擬場景，需要針對運動過程中存在的抖動誤差進行處理，避免這部分特征也進入到最終的追蹤捕捉中[4]。借助陀螺儀進行虛擬環境的視野觀看，不論使用者朝向哪個方向，虛擬環境中的攝像機就會跟著進行朝向，其中最為關鍵的開發要點就是控制抖動性。由于人朝向同一個方向靜止觀察，并不會一動不動，微小的移動可能會對相機產生很多的抖動。實驗證明，通過一系列算法可以顯著降低抖動性。移動過程中速度越快，所產生的抖動也越難以控制。虛擬場景構建過程中，首先需要進行抖動降低，將其控制在需要的范圍內，數據捕捉過程中通過這種方法來構建相互聯系，從而達到最佳控制管理效果。掌握人機交互中的要點部分，多特征手勢追蹤才能進入到更準確的范圍中[5]。

3 多特征手勢識別追蹤算法（Multi-feature gesture

recognition tracking algorithm）

3.1 手勢識別特征提取

（1）HOG特征的提取

該種特征提取算法中，采用圖像描述來進行現場構建。面對多特征手勢，在提取中首先需要確定外觀，對外部輪廓進行特征提取，描繪出與手勢動作相一致的虛擬場景，并通過這種虛擬場景構建來繼續增強多特征手勢描繪準確程度[6]。該種特征提取算法經常被應用在安全識別中。多特征手勢變化較多，應用該種追蹤方法后最終的控制效率也會有明顯增強。在多特征手勢追蹤中應用HOG提取方法，會將手勢圖像細分成為多個單元，每個單元中都有不同的特征，從而描繪出手勢變化中的邊緣圖像。并將這些細分的單元格統一劃分到同一個區域中，這樣提取的梯度邊緣圖也聯通在一起。多特征手勢的HOG特征生成流程見圖1。圖1中的block單元為人為回合產生的區域，其中涵蓋的單元內容可以根據現實需求來完善，從而實現手勢動作最為精準的控制。

（2）動態手勢圖像分區處理

應用HOG特征區域方法后，手勢變化的分區處理也有突破性的創新。根據不同情況下的手勢變化，將其分為5個區域，如圖2所示。將手掌所處于的中心區域劃分為0區域，沿中心區域按照逆時針方向分別劃分為1—4個區域。這種手勢變化與傳統的手勢變化相比較，減少了4個分區模式下的重疊問題，將手勢動作更好地展現出來。不同區域中的手勢動作在捕捉中，要將誤差控制保持一致。重疊問題解決后，手勢動作的細節部分也得到展現，可以將所捕捉的動作實時體現在虛擬現實人機交互系統中，從而實現手勢處理更高效的運轉和使用。手勢捕捉任務結束后可以進入到接下來的算法融合中。通過算法之間的相互配合來進行現場控制，通過算法之間的轉換來將手勢動作具體變化展現出來。endprint

（3）HOG特征提取追蹤算法

采用高斯函數運算方法來進行現場計算構建，對手勢邊緣所捕捉到的灰階圖像進行圓滑處理，計算公式如下：

其中表示所捕捉的動態點在坐標中的具位置，確定所捕捉多特征手勢的動態識別點建立子集，在自己的交互處理中提升最終的捕捉效果。邊緣部分的梯度值也會受到手勢動態捕捉過程中的像素影響，手勢動態捕捉過程中邊緣抖動影響也更加嚴重。對于這種情況，在具體的像素捕捉控制過程中可以設計出坐標取值子集的范圍。系統在運算過程中根據參數結果進行自動誤差補償，數據經過調整后所捕捉到的手勢邊緣也更圓潤，手勢動態捕捉結果與實際情況之間也更貼合。

3.2 HOG手勢特征融合

實現手勢特征融合需要建立在加權矩陣基礎上，通過系統內部的特征默認融合，來進行交互處理。將不同手勢變化中的標志點進行跟蹤捕捉，特征融合過程中僅針對手勢動作變化來進行，因此在初級處理階段會對圖像進行灰階處理，避免圖像色彩對特征融合進行造成影響。特征融合采用向量與矩陣之間的相互融合，手勢圖像特征向量集合為，全局特征則用向量表示。不同特征所受到的影響度有很大不同，如果直接將其應用在特征融合中，不同影響之間相互作用會造成最終的手勢識別誤差。在特征融合前會進行向量之一的歸一化，確定子集在相互影響模式中能夠保持同等向量的影響，從而通過這種方法來幫助提升最終的虛擬現實人機交互算法提取，確定需要的數據子集范圍。融合前捕捉的多特征手勢虛擬圖如圖3所示。特征融合建立在手勢特征提取和子集向量基礎上，并通過這種方法來進行現場特征提取構建，從而達到最佳控制配合效果。

3.3 SVW模型算法應用

（1）核函數選擇

將所捕捉到的手勢變化信息，建立在高維空間基礎上，體現出手動捕捉信息的非線性變化，從而實現核函數對現場特征的全面構建和體現。不同特征環境下函數運算所針對的參數條件，均通過不同函數模型配合來高效實現，核函數運算公式如下：

核函數運算需要從不同方向來進行，以上公式中的運算對象僅為非線性變化的描述。多特征手勢識別是針對動態性的動作來進行，將其轉化進入到虛擬現實交互系統中，則只能針對系統內部的變化特征來進行，捕捉各個點變化，盡可能地縮短點與點之間的距離，并通過這種構建方法來繼續強化所進行的現場捕捉設計。點之間流程程度提升后所描繪出的手勢動作也更逼真，從而達到多特征手勢識別效果。應用核函數運算公式來實現對多特征手勢的追蹤，還應該在其中體現出不同方案的控制效果，以及現場需要繼續深入完善的內容，從根源上解決誤差所帶來的影響問題。

（2）SVM應用后多分類器問題解決

應用SVM算法涉及多種不同的核函數運算模式，應用多分類器后存在分類函數之間的轉變問題。解決此類問題需要在追蹤算法應用上進行繼續深入完善，將不同類型的算法進行歸類總結，并按照涵蓋的數據進行分類。分別用不用的未知數來代表向量和子集，進行兩者之間關系的轉變。建立L（y，f（x，a））=0或者1。當y=f（x，a）時，最終的結果為0；當y≠f（x，a）時，所計算的結果也與實際情況存在差異性。在該運算方法中對最終的分類進行了嚴格的區分，在結果上也與實際情況能夠保持一致。將分類方法結合這一公式進行運算，最終的運算結果才能更符合實際情況，避免受分類結果影響導致最終的多特征手勢動態捕捉出現錯誤。運算過程中的風險規避也體現在這一方面。通過現場的各項參數構建，對于多特征手勢動態中所能夠體現出的問題，充分與設計方案相互結合，體現出虛擬現實技術中各項控制點之間的相互結合。算法中所體現出的多特征手勢識別追蹤，還要考慮數據傳輸受環境影響可能會產生的誤差，在交互過程中需要將數據與虛擬環境相互結合使用，并排除數據傳輸中產生的誤差。

（3）SVM多分類算法應用

應用多分類算法來進行判別函數分類，根據所得到的分類結果來重新組成不同的單元格格式，算法分類同樣要基于不同的數據子集基礎上。根據各個系統之間的相互控制來共同完善。多分類算法應用需要建立在手勢分區基礎上，對不同區域的手勢動態進行捕捉，基于現實手勢基礎上來構建出虛擬模擬手勢，實現虛擬人機交互，將多特征手勢變化整合到其中，多分類算法可以同時面對多項數據處理任務，實現數據構建應用與現場控制方案之間更好的結合。根據所建立的核函數運算模型來進行二次劃分，根據追蹤算法需求來進行手勢邊緣識別處理，進入到更適合的基礎方向中。

4 基于時空軌跡的動態手勢識別（Dynamic gesture

recognition based on space-time trajectory）

4.1 時空軌跡的動態手勢特征

建立在時空軌跡基礎上的手勢特征提取，首先要確定其位置，觀察在時空軌跡中手勢所處位置，繼而進行關鍵部分的放大處理，方便對手勢變化進行捕捉與識別。對于位置軌跡的描述同樣需要借助向量來進行，確定手勢變化過程中的角度。建立如下公式：。可以將手勢變化過程中的不同角度坐標帶入到其中，通過運算得出更詳細的結果與數值，從而進行時空軌跡下的動態手勢特征捕捉。同時進入到虛擬現實人機交互模式下的畫面中可能會存在干擾因素，通過角度計算來確定位置的目的也是將這部分干擾數據篩選掉，實現更準確的多特征手勢識別追蹤。

4.2 HMM動態手勢軌跡識別

軌跡識別是手勢認證的重要基礎。當需要識別的手勢處于動態模式下，則需要將整個運動過程中的軌跡詳細描述在虛擬現實人機交互系統中。通過軌跡描述來精準地反映出手勢運動過程，對邊緣部分進行精細化處理。HMM技術是通過建立統計模型來確定軌跡運動中經過的各個坐標點，再通過建立子集來將運動軌跡還原到計算機虛擬系統中，顯示出最終經過灰階處理的影響。應用HMM技術所實現的軌跡識別具體程序構成如圖4所示，識別期間會進行相關序列的建立，并通過系統內部隨機生成來形成手勢動作邊緣區域，達到最佳仿真效果。動態手勢邊緣部分的虛化處理要高于靜態手勢，這樣在仿真效果上才能保持近似。

5 結論（Conclusion）

綜上所述，虛擬現實技術是一種可以創建和體驗虛擬世界的計算機技術，它利用計算機生成一種模擬環境，是一種多源信息融合交互式的三維動態視景和實體行為的系統仿真，可借助傳感頭盔、數據手套等專業設備，讓用戶進入虛擬空間，實時感知和操作虛擬世界中的各種對象，從而通過視覺、觸覺和聽覺等獲得身臨其境的真實感受。虛擬現實技術是仿真技術的一個重要方向，是仿真技術與計算機圖形學、人機接口技術、多媒體技術、傳感技術和網絡技術等多種技術的融合，是一門富有挑戰性的交叉技術。

參考文獻（References）

[1] 孟祥軍，趙文華，馬志慶，等.醫學移動軟件中虛擬現實人機交互方案的研究[J].中國醫學裝備，2017，14（8）：112-114.

[2] 王瑜.Virtools虛擬環境中人物角色的相關設計方法[J].信息技術，2017（1）：56-58.

[3] 彭露茜，姚加飛.利用軌跡模板匹配方法的實時動態手勢識別[J].單片機與嵌入式系統應用，2017，17（8）：17-20.

[4] 張寧，劉迎春，沈智鵬，等.虛擬現實技術在專門用途英語教學中的應用研究綜述[J].計算機科學，2017，44（s1）：43-47.

[5] 王命延，胡茗，楊文姬.機器人跟蹤手勢姿態圖像運動準確性仿真[J].計算機仿真，2017，34（8）：346-350.

[6] 姚恒，袁敏，秦川，等.改進線性外推法預估器的手勢跟蹤[J].應用科學學報，2017，35（1）：81-89.

作者簡介：

陳春鐵（1982-），男，本科，VR研究員.研究領域：虛擬現實，人工智能.endprint