適用于GCS人因工程評估的低成本人手數據捕獲技術研究

陳必然，曹建

（1.海裝重慶局，重慶，400042；2.海軍航空工程學院兵器科學與技術系，山東煙臺，264001）

1 可行性分析

LM利用物體對紅外照射不同特性而形成光場，在光場數據上，對手部特征進行數據處理與分析，可以比較準確的檢測反射光場中的極點（如手指和物體尖端）和特定形狀的較大范圍反射面（手掌）。然后采用雙攝像頭由雙目視覺原理獲得深度圖像，并形成深度場點云。通過驅動內部的分析軟件在可視范圍識別手、手勢和工具。

桌面部署時，LM放置于手部下方平面，從成像的角度來看，LM存在著先天性的不足，特別是當手掌掌心的朝向發生突變時容易帶來圖像二義性問題。比如，手掌掌心垂直向下和垂直向上時所成的深度圖像相近，法線方向由-90度快速變化到+90度時，會導致識別錯誤。雖然從V2版驅動開始，引入了骨骼追蹤結合機器學習的匹配算法，提高了跟蹤算法準確性，但由手掌法線快速變化帶來的圖像二義性仍然存在。幸運的是，對于GCS的操作控制而言，設備實操很少有快速翻轉手掌的情況。

2 關鍵技術

每一幀數據提供可視范圍內追蹤數據、手勢和整體運動各種參數（以列表形式提供），包含所有手、手指、工具的各種參數。手參數包括了手掌坐標（mm）、速率（mm/s）、法線方向等，手指又包含了每一關節的姿態參數。連續、實時保存如此巨大的數據是需要研究的關鍵。

為此，動作捕獲從設計上著重考慮三點：一是采用單獨后臺程序，盡可能的節約硬件資源，避免丟幀；二是利用內存映像文件技術，采用共享內存存放截獲的數據，使數據對系統內其它軟件可見，也為日后其他擴展功能提供接口；三是建立數據讀寫緩沖區，并設置乒乓結構提高數據吞吐量，最終以二進制文件形式進行存儲。

上述三點中，內存映射文件起到核心作用。其不光要保存重要幀數據，還要記錄程序預處理后的特征數據，降低GCS評估時的運算量。

按照人因工程學原則，人機之間的關系可歸納為人機功能、信息、位置以及人機力的關系，研究的重點見表1。其中，“人機界面交互”重點研究如何確保人機界面各種類型控件及操作單元的交互滿足地面操作人員高效、便捷、舒適的獲取信息、執行操作控制的需求，是需要根據作業任務不斷優化、完善的核心內容。對于GCS而言，不論作業任務是何種類型（情報監測類、指揮決策類、操作執行類），均是按照一定時序的硬件操作子動作序列。

在分析坐標系基礎上， 基于指尖點、遠指關節點、近指關節點和指掌關節點均處在同一平面內的假設條件，提出了兩種基于關鍵點建模的手指模型：采用平面四邊形約束食指、中指、無名指和小指中各關節關系；采用平面三角形對拇指關節進行建模，討論了通用型操作的單一手指空間約束關系。

對于存在大量設備手柄、面板、開關交互的無人機操作，更加關系手部動作及設備交互的模型建立，為此建立多個手指的空間關系模型仍有大量問題需要解決。

為了支撐GCS人因工程評價工作，需要量化設計階段“標準”操作動作和運行階段實際手部動作差異。由于每一個人機交互操作過程，均可以按照時間序列分解成子動作序列，兩個時序動作的差異性數據可以由子動作序列中若干“關鍵幀”的差異數據加權得到。上面的子動作“關鍵幀”我們重點考慮那些導致交互設備狀態變化的起始和結束手部動作。在存儲子動作手部坐標狀態基礎上，添加交互啟停時間戳數據，就構成了交互過程序列化數據建模。

子動作匹配算法用于匹配標準數據與操作數據，將輸出偏差值作為評估參數。其難點體現在兩方面，一是不同人手部姿態的差異性，二是具體的匹配算法的運算強度。

為了對人手差異具有魯棒性，設計階段可以由多人操作，采集大量數據，歸一化后作為訓練樣本集，通過分類算法生成“標準”值。

3 工作流程

按照GCS研制驗證過程，利用LeapMotion實現低成本人手數據捕獲分為如下三個步驟，設計階段捕獲研究人員及測試人員數據，結合交互界面空間分布，生成“標準手”數據→實戰環境中，捕獲無人機操作手部動作數據→數據回收后利用評估系統進行數據分析。

從數據流角度對上述過程進行分析。設計階段采集大量數據，歸一化后作為訓練樣本集，通過分類算法生成“標準手”值，并實現數據存儲 。

4 實驗結果

按照上文敘述的方法，由多人對測試設備旋鈕操作進行了捕獲，通過訓練建立了旋鈕操作的標準數據，并通過虛擬現實技術生成了“回放”數據的圖像序列。

經過技術實驗，文中的方法可以滿足人手捕捉準確性與實時性的要求：從回放數據結果來看，準確性上虛擬手在姿態、運動等方面與真實手一致，實時性方面，滿足ARAT標準。下一步的研究主要從三方面展開，一是通過實際使用，在捕獲更多數據，進一步優化“標準手”數據；二是不斷拓展采用空間約束的人機交互設備數據庫范圍，增大適用范圍；三是研究細化利用LeapMotion實現低成本人手數據捕獲評估的具體方法。

參考文獻

[1]胡弘，晁建剛，林萬洪等.Leap Motion 虛擬手構建方法及其在航天訓練中的應用[J]．載人航天，2015，21(3):257-262．

[2]汪年結，劉宇，高浪等.基于機器視覺的抓握狀態模型及其適用性[J].計算機應用與軟件，2015，32(8)：166-169．