虛擬現實人機交互中多特征手勢檢驗算法研究

摘 要：文章首先對虛擬現實人機交互的概念和常用方向進行探討，在此基礎上重點論述功能實現所建立的基礎，提出通過仿真模擬來對多途徑手勢進行使用驗證，幫助提升人機交互過程中各個手勢實現的仿真能力。對于當前的交互功能實現，本文所總結的技術方法具有可行性，應用在設計階段安全且穩定。

關鍵詞：虛擬現實；人機交互；多特征手勢；檢驗算法

中圖分類號：TP301 文獻標識碼：A

1 引言（Introduction）

虛擬現實技術是一種利用程序匯編和光學原理，來營造出仿真的游戲氛圍，從而實現玩家對計算機內場景更真實的體驗[1]。虛擬場景人機交互技術實現了計算機與使用者之間的交融匯合，對游戲內部場景體驗也變得更貼近真實場景。應用該項技術展開虛擬設計，實現場景內部更真實的交融匯合。當前設計方案中比較常見的內部控制問題虛擬現實技術應用在識別系統中，能夠將所捕捉到的真實場景轉化成為虛擬場景，并在系統內部自動識別掃描，在此環境下所開展的各項安全識別功能能夠更好的實現[2]。當前虛擬現實技術應用廣泛，在不同場景內使用均得到體現。該項功能實現在算法上有很大差別，需要技術人員掌握這一特征，并從更深層次進行分析，選擇一項能夠促進場景交換任務全面進行的匯編程序，為控制管理任務進行建立一個適合的基礎環境。

2 虛擬現實技術常用方向（The common application

fields of virtual reality）

在一些需要仿真的環境中常常使用到虛擬現實技術。通過建立起適合現場工作任務進行的環境，實現對需要構建場景的高度仿真，在技術層面上也能達到更理想的仿真交互效果[3]。手勢檢驗算法是虛擬現實技術應用中比較常用的范圍。通過建立起適合工作任務進行的虛擬仿真環境，對數據運算進行檢驗，從而更全面了解當前的工作運行使用環境。有關于現場工作任務的開展，建立起適合的環境也十分重要。常用方向大部分都涉及需要虛擬交換的場景。應用該項技術后，不僅所交換的場景內部環境得到控制，計算機所模擬出的場景也與實際情況相符合，更有利于控制計劃進行，使用者也能更全面地感受到內部場景變化。目標跟蹤也常用該項技術進行。根據不同用戶使用需求來展開跟蹤，進行場景之間的交互跟蹤，建立在虛擬現實場環境內的跟蹤體系，不僅反應速度快，對信息的處理效率也會有明顯提升。

3 基于手勢的人機交互的主要任務與配置（The

main tasks and configurations of human-computer

interaction based on gestures）

3.1 位置跟蹤

建立在人機交互環境下所開展的位置跟蹤技術，首先需要一個適合的匯編語言環境，建立起位置跟蹤目標，并熟悉掌握各個功能模塊之間聯系體系。接收器是跟蹤功能實現的基礎部分，對于所建立的手勢驗算體系需要從綜合控制層面開展，運動跟蹤難度較大。處于該種環境下進行的各項綜合均處于合理分配環境下，跟蹤器與現場各項功能之間需要更合理配合，發現影響因素后采取技術性方法解決，才能達到理想的控制效果。基于手勢檢驗方法所開展的各項人機交互任務，位置跟蹤只是功能之一，采用鳥群運算方法后所得出的運算結果在功能上更加合理，各個控制接收器之間也能夠更合理的配合。運動環境跟蹤難點在于參考點是動態的，應用虛擬現實技術后動態點也變得更加具體，從而達到運動過程中變化參數更精準的捕捉。

3.2 頭盔顯示器

虛擬現實技術將操作者帶入到計算機系統中所呈現的畫面內，頭盔顯示器需要與運動跟蹤器結合使用，佩戴頭盔顯示器后能夠將使用者帶入到運動的場景中，從而達到更理想的使用效果。模擬出人機交互運行狀態，隨著運動進行，這種控制功能也能得到更好的提升。頭盔顯示器應用的呈像原理與常規狀態不同，能夠顯示出與真實場景相近的內容，快速將人物帶入到計算機所虛擬的視覺環境內。無論是游戲還是訓練使用，這種技術方法所營造出的氛圍更加逼真。同時應用第一視覺所進行的各項現實系統控制也十分有效，建立起長期的工作環境能夠幫助提升最佳顯示使用效果。虛擬現實技術只是一項程序顯示技術，需要進行算法與實際程序之間的轉換，具體呈現出的內容還需要進行開發設計。

4 基于手勢的人機交互過程及關鍵技術（Human-

computer interaction process and key technology

based on gestures）

4.1 交互過程

手勢是虛擬現實技術中仿真實驗的一種，受訓者手部運動會通過一系列數據檢驗算法傳輸到計算機系統運行控制中，傳感過程中任務的手部運動模式與現實情況之間存在很大的關系，傳感器輸出的參數是后續控制計劃進行所參照的依據。交互主要是任務與虛擬場景之間的一個交換過程。建立擬人環境后通過這種方法能夠達到更理想的控制效果。通過對虛擬場景下的手勢運動捕捉，感應數據手套中有大量的數據捕捉點，運動期間這些參數數據都是不斷變化的，通過這種方法來達到更理想的控制效果，從而實現全面控制計劃[4]。手套佩戴后需要對各個感觸點進行校正，達到最佳使用效果，虛擬系統內所顯示的各項參數也能達到與實際情況相一致的效果。對于當前環境下比較常見的使用功能問題，建立一個長期性的虛擬場景，從而實現對參與訓練者手部運動的捕捉。整個交互過程如圖1所示。

觀察圖1可以發現，準備工作結束后進入到更深層次的使用功能中，佩戴者需要操縱手部動作并實現各個系統之間更全面的控制功能，有關于使用期間數據捕捉的需求，建立在這一環境中也能實現全面參與效果。手勢識別功能實現后可以進入到具體的虛擬操作流程中，在虛擬現實技術中實現對手勢運動的具體劃分控制，從而達到更理想的設計控制效果。當前常用技術性方法中，建立起使用效果并觀察各個系統之前的配合能力，也能幫助全面提升工作積極性，為管理計劃開展建立一個穩定的基礎環境[5]。手勢識別開展與其他層面的管理控制功能之間有很大關系，這也是系統運行控制中所必須要達到的部分。只有建立起需要的功能，接下來開展手勢控制才能更順利。endprint

4.2 虛擬手建模

利用虛擬現實技術來進行手勢變化虛擬仿真，需要根據手勢檢驗算法來開展基礎建模，建立起適合工作任務進行的仿真環境。首先是將手部進行分解，設置換分出不同的控制環境，觀察控制任務開展期間是否存在可能會影響信息傳輸的風險，對風險部分做出預防控制。虛擬手的分解可以分為兩部分：手掌與手指。其中手指還可以繼續劃分成為五個不同的手指，分別進行多種控制。仿真虛擬建模想要針對這五個手指與手掌分別進行，技術允許的情況下還可以對不同控制關節進行仿真建模，這樣仿真手運動控制也能更符合實際情況，在運動功能上與實際使用需求保持一致。虛擬手與現實手的運動均處于仿真環境下，常規環境中開展各個控制管理任務都需要觀察手部運動變化，在關節控制作用下手指與手掌部分相互配合，根據指令來完成不同動作。設計建模期間要盡可能地減小指令間隔時間，這樣仿真手與現實的手部運動在頻率與動作幅度上能保持高度一致[6]。配合虛擬現實技術所開展的各項仿真功能，建模過程中會針對各個手指關節進行坐標定位，這樣在運動中才不會產生隱患。常見技術性問題配合實際使用需求來深入研究，從而實現對仿真手靈敏度的提升。建模期間發現坐標中存在問題，能夠通過控制方法來進行完善解決，幫助達到最佳設計管理效果。一旦所建立的模型正式投入使用，運動反應不靈敏的現象將長期存在，難以通過技術性方法解決。

4.3 數據手套校正

數據手套通常是統一制作并出廠使用的，生產過程中容易出現數據參數誤差問題，需要統一校正，最終數據結果準確才能投入到使用中。數據手套校正需要佩戴并檢驗數據結果，這樣校正任務進行才能保證最佳效果，避免在設計中產生隱患問題。傳感器在捕捉數據期間，與真實的手部運動很容易產生誤差，校正檢驗期間要掌握這一誤差隱患，計算出數據的正常控制范圍，并建立起更高效的控制管理環境，系統之間相互配合來實現更強大的控制功能。數據手套校正還包括兩根相鄰手指之間的間隔和張力，將所檢驗得到的數據與正常范圍內的數據進行比較，從而判斷設備是否可以正常使用，以及在功能層面上需要繼續深入完善的部分。不同訓練人員手部大小和運動模式存在差異性，校正期間要掌握這一差異性，設置出手掌部分運動的具體范圍，并結合實際技術性方法加以控制解決，這樣數據手套使用時可以滿足不同方向的需求，在控制能力上也會得到明顯提升。校正需要在最大范圍與最小范圍控制內進行，對數據驗證也能更高效開展。

校正時僅需受訓者戴上數據手套，做以下三種手勢：（1）五指并攏平伸；（2） 握緊拳頭；（3）手指盡量張開。上述三種手勢數據手套18個傳感器的輸出分別記為最小彎曲（張幅）值WanQuMin[n]、最大彎曲值WanQuMax[n]、最大張幅值ZhangFuMax[n]（其中n=0，1，…，17，表示18個傳感器編號，前14個表示各手指及手掌傳感器，后4個表示指間張幅傳感器）。

4.4 虛擬手驅動

虛擬現實人機交互過程中的手部運動和控制功能實現，需要建立在驅動器基礎上，通過建立一個適合的基礎環境，達到更加豐富的控制效果。驅動設計需要考慮在功能上是否存在數據交互問題，并保持手部姿勢與所需要訓練的動作一致，這樣在檢驗過程中即使存在功能隱患問題，也能更好地控制解決。佩戴數據傳輸手套后進入到驅動模塊中，各個系統之間的相互配合工作也能達到與實際情況相一致的內容。發現虛擬驅動功能與現場交互任務之間存在相近的部分，可以改變進入到下一姿勢訓練中。佩戴者能夠熟悉掌握虛擬現實技術所模擬出的場景與實際情況之間的不一致，也能達到更高效的使用效果。手部在完成旋轉等高難度動作時，參與到其中的關節數量多，參數捕捉也存在一定難度，對此需要進行全方位控制。驅動設置后需要與虛擬手之間相互連接，在運動過程中進行更高效的數據傳輸。利用虛擬轉換技術來模擬出更真實更高效的現實場景，達到最佳設計控制效果。

訓練人員戴上數據手套，完成各種手勢，此時數據手套各傳感器的輸出記為：Input[n]（其中n=0，1，…，17）。虛擬手每個指段及手掌的彎曲、旋轉角度由下式決定θ1[j]=（Input[n]–WanQuMin[n]）×90/（WanQuMax[n]-WanQuMin[n]），j表示各指段及手掌的編號，j=0，1，…，13；n=0，1，…，13。

指間張幅角度由下式決定

θ2[k]=（Input[n]–WanQuMin[n]）×60/（ZhangFuMax[n]-WanQuMin[n]）

k表示指間張角編號，k=0，1，2，3；n=14，15，16，17。

上述運算過程便是在不同動作指令下驅動器對手勢的檢驗和運算原理，其中包含可能會影響到數據穩定性的各項控制能力。運算檢驗是建立在長期工作環境下的，具體使用過程中要掌握這一特征，選擇合理運算公式，并在檢驗過程中進行算法與實際方案之間更合理的控制，達到最佳運算管理效果。選擇正確的檢驗方法能夠幫助確定最合理的虛擬受控制系統，實現虛擬現實技術中人機交互的手勢算法驗證，同時將時間間隔控制在最佳范圍內。

4.5 手勢定義和識別

訓練過程中不同手勢所表達的含義也有很大差異性。要尊重并掌握這一差異性，進行更深入的內部控制。觀察到手勢變化后便能將其轉換成為一種手勢語言。手勢分為靜止與動態兩種。對虛擬手各項變化數據進行捕捉時，首先要確定是出于靜止狀態還是動態變化模式，在此基礎上進行更深入的變化判斷。手勢定義也是虛擬現實技術實現的一個重要基礎。確定系統運行變化中所存在的動作改變，再進行更深入的現場控制，也能模擬出實際變化環境。將現實中的手部變化動作通過信號接收器傳輸到系統內部，系統內接收到這一信息后會自動識別并發出與之相對應的控制指令，虛擬手接收到之后在計算機系統內的控制才能隨之開展。

為保障傳輸過程中的數據靈敏度，通常會設計18個感應器，分別位于不同關節位置，捕捉更靈動的運動效果。參數轉變過程中這18個感應器會匯合成為最終5個手指部分的運動程序，檢驗算法公式如下：endprint

Y F Input，Input Input=…（[0][2]，[17]）

其中，Input[n]（n=0，1，…，17）表示數據手套傳感器輸出，Y={1，2，3，4，5}，表示 5 種手勢中的一種。

算法公式中所得出的數據結果會結合在實際運算內容中，形成更長期穩定的效果圖，函數便是所形成的表達數據內容之一。

4.6 多特征手勢檢驗算法應用

手勢運動形式較多的情況下，檢驗算法也要與之保持一致，觀察是否能夠從技術層面加以強化，促進最終的控制功能不斷提升。仿真訓練中比較常用這種方法。操作人員通過這一技能來達到更高效的虛擬場景操作控制，并避免在接下來設計控制中出現影響最終功能實現的風險隱患。不同使用功能趨勢下手勢檢驗也可以繼續深入改變，優化設計過程中需要的部分，通過這種方法也能達到更理想的控制效果。應用該算法在不同的人機交互實驗中，都應該確定一個綜合使用功能，并根據功能來不斷地強化完善，對系統所進行的控制也能達到更理想的效果。人機互換是建立在虛擬現實基礎上進行的高仿真任務，充分控制各個系統之間的配合程度，來營造出更適合的控制環境。

5 結論（Conclusion）

本文研究了虛擬訓練中基于手勢的人機交互及其關鍵技術，給出詳細的實施方法與步驟，實際應用表明本文方法可以讓受訓者感覺真實自然的交互。動態手勢在虛擬操作中占有重要的地位，目前還沒有成熟的方法。對于復雜的動態手勢識別，還需要今后進一步地加以研究。

參考文獻（References）

[1] 藺薛菲.虛擬現實三維場景建模與人機交互應用技術研究[J].藝術與設計：理論版，2017（4）：100-102.

[2] 呂靜.基于虛擬現實技術的軟件界面設計與研究[J].赤峰學院學報（自然版），2017，33（01）：6-8.

[3] 張寧，劉迎春，沈智鵬，等.虛擬現實技術在專門用途英語教學中的應用研究綜述[J].計算機科學，2017，44（s1）：43-47.

[4] 張俊，王譽潔，陳凱，等.虛擬現實場景漫游技術的實現及其在規劃領域的應用[J].城市勘測，2017（3）：35-37.

[5] 蔡雷，李巖.虛擬現實與3D打印技術深度融合——以北京市第六十五中學特色課程為例[J].中小學信息技術教育，2017（01）：60-61.

[6] 孔祥溢，王任直.虛擬現實技術在神經外科手術規劃及教學培訓中的應用[J].中國醫學物理學雜志，2017（06）：641-643.

作者簡介：

賴晶亮（1977-），男，碩士，講師.研究領域：人機交互，圖像處理，職業教育.endprint