應用虛擬現實技術的人機交互仿真系統開發

曹文鋼， 王 銳， 張紅旗， 陳帝江， 彭五四

（1. 合肥工業大學機械與汽車工程學院，安徽 合肥 230009；2. 華東電子工程研究所，安徽 合肥 230058）

虛擬現實（Virtual Reality簡稱VR）技術是20世紀90年代最重要的科技成就之一，與傳統的計算機系統相比它具有多感知性、沉浸感、自治性、交互性4個顯著的特征[1]。該技術可以對真實世界的行為活動進行仿真，并對用戶的位置、姿態、語言等做出實時響應，借助一些交互設備可以使參與者以接近自然的方式與虛擬環境中的對象進行交互，從而使參與者和虛擬環境之間建立起實時的交互關系，產生與真實環境中相似的感覺體驗。

人因工程是研究人和機器、環境的相互作用及其合理結合，使設計的及其和環境系統適合人的生理、心理等特點，達到在生產中提高效率、安全、健康和舒適的目的的學科。它要求設計者在設計時充分考慮使用者的能力和限制，為用戶提供一個應用便利、交互友好的設計[2]。然而由于前期設計階段缺少可用的評價模型和手段，人因工程學方面的要求難以被充分考慮，經常需要反復設計，消耗大量時間和成本。虛擬現實技術的引入將為這一問題的解決帶來一種新的思路，其主要優勢有以下幾點：

（1） 利于擺脫對物理模型的依賴；

（2） 利于在設計早期發現缺陷并及時修正；

（3） 利于快速調整所關心的變量；

（4） 利于記錄、保存相關操作數據。

基于VR技術多方面的優勢，國內外一些研究機構都在進行這方面的嘗試。例如，美國Marshall空間飛行中心研制出載人航天器的VR 座艙進行人因工程學研究，指導座艙布局設計并訓練航天員熟悉航天器的艙內布局、界面和位置關系，并演練飛行程序[3]。國內方面，北京航天醫學工程研究所也在進行這方面的研究工作，如應用VR技術開展載人航天器乘員艙內顏色匹配性的工效學研究，提高艙顏色匹配性工效設計的逼真性、靈活性和經濟性[4]。目前這些研究還主要集中在航空航天領域，在軍事中應用較少，而現代武器控制系統大多界面復雜、交互性強、危險性高，人因工程研究非常重要。本文應用虛擬現實技術開發了一套可用于人機交互研究的集成仿真系統，以實現對雷達顯控臺布局的測評和改善工作，從而提高其安全性、可靠性和可用性。

1 系統的構成及實現原理

該系統的硬件設備主要包括：SGI VSS80工作站、科視Montage LX50被動立體投影系統、視頻信號分配器、數據手套（5DT Data Glove 16）、跟蹤器（Ascension FOB)、立體眼鏡。軟件：Division Mockup2000i2、RapidVRM、Trackd、Pro/E。其集成方式如圖1所示。本系統采用1塊尺寸為2.6米（寬）×2.0米（高）的屏幕、1臺仿真計算機、1臺視頻信號分配器和2臺5000 ANSI流明的投影儀組成一個單通道被動立體投影顯示系統，將虛擬顯控臺顯示在屏幕上。操作者佩戴立體眼鏡在實際尺寸的虛擬顯控臺前進行實時交互操作，如按啟動鍵來啟動設備，調節旋鈕控制參數。系統中用戶進行操作的虛擬顯控臺模型包括幾何模型和控制邏輯模型兩部分[5]。

圖 1 系統集成圖

幾何模型使用Pro/E進行建模，然后通過格式轉換導入Division中通過紋理貼圖，打開立體開關投影就可以直觀地呈現出顯控臺場景；圖2為本文所設的顯控臺的簡化幾何模型，約1.5米長，含18個指示燈，12個按鍵，4個旋鈕，4個儀表和1個顯示屏。

控制邏輯模型是對控制邏輯的定義，如按鍵、旋鈕與指示燈、儀表之間的對應關系等。這里借助Division的事件觸發機制實現控制邏輯。例如，當操作人員按下開機按鍵R1時，邏輯模型會控制A指示燈亮，同時開機音樂被觸發，其后臺控制過程如圖3所示。

圖 2 幾何模型圖

圖3 邏輯控制原理圖

2 關鍵技術

2.1 三維建模與數據轉換

Division 本身沒有建模功能，需要先用Pro/E對顯控臺進行建模然后通過三維數據接口模塊MockupConverter 進行數據轉換。通常情況下有兩種方式往Division 入模型：① 數據量小的模型可以通過Proewildfire2.0 或之后的版本轉換成Productview 的*.ed 文件；② 利用第三方軟件object_adapters_11.0 在 DOS 環境下調用proe2pv_init.exe 文件對已有的模型進行處理，然后輸出包括幾何文件、材料文件、材質文件和VDI 文件在內的結果文件（可以處理大型模型）。

2.2 外設集成

由于數據手套、跟蹤器不能直接跟Division 進行交互，這里選擇VRCO 公司的Trackd 軟件和Visual Advantage 公司的RapidVRM 插件架設一座“橋梁”。其原理過程如圖4 所示。

圖4 外設集成原理圖

以上過程的實現需要對trackd.conf 文件進行重定義和修改，并創建一個reg文件將RapidVRM插件的信息導入注冊表，從而實現對Trackd 獲取信息的解析和 Division 信息的反饋。并在trackd.conf 文件中需要預定義外設名、數據傳輸速率、內存地址標示、數據流關鍵字等：

DeviceOption DX controller Rumble 0 （Rumble 0 為本機對應的外接設備名稱）

DeviceOption DX baud 19200 定義傳輸速率

ConnectorOption Shm2 key 4127 定義內存地址標識

DefineConnector Shm2 shm out 1 定義共享內存和跟蹤傳感器個數和數據流關鍵字

2.3 運動跟蹤和手指姿勢跟蹤

系統中使用5DT公司的Data Glove 16 數據手套共有16個光電傳感器，由合成彈力纖維制造而成，其中嵌入16 個光學纖維傳感器，分別用于測量各個手指1、2 關節的屈伸角度、做收展動作時手指間的夾角、基部關節和中間關節的彎曲曲率、相鄰兩個手指之間的伸展角度、拇指的平移和手腕部的彎曲曲率。（各個傳感器的輸出數據在0～1之間，對應的角度范圍為0°～90°。）通過16個傳感器返回的實時數據跟蹤手指姿勢。

位置跟蹤器（Ascension FOB）是數據手套交互中的輔助設備，用于測量腕部的6個自由度值和控制虛擬手的空間位置和方向。通過發射器發射形成磁場，然后由接受器感受磁信號，通過信號處理器計算出傳感器相對于發射器中心的空間位置和方向[6]。（跟蹤器在工作范圍（±1.5 m）內工作效果較好，但是其精確性容易受到工作空間中導磁導電體影響，因此位置跟蹤器的發射器、傳感器等元件應遠離金屬、磁導體。）位置跟蹤器與數據手套配合使用，實現對虛擬手運動跟蹤和手指姿勢跟蹤。

2.4 操作識別和命令獲取

本系統研究對象只有兩種操作動作：按按鍵和擰旋鈕。通過控制文件中預定義語句，即時判斷動態捕捉到的操作人員的手的動作是否有效。計算機可以對這兩種動作進行識別，控制文件中預定義語句的邏輯定義如下：同時滿足以下條件時，“按按鍵”動作有效：

（1） 食指伸直；

（2） 食指位置與按鍵有接觸；

（3） 接觸時間大于設定值。

同時滿足以下條件時，“調節旋鈕”動作有效：

（1） 拇指和其他四指都處于彎曲收縮狀態；

（2） 兩指或兩指以上數目的手指與旋鈕有接觸；

（3） 接觸時手指呈順時針旋轉或逆時針旋轉。

從系統開始運行，計算機將所有的操作命令數據保存在計算機內，研究人員通過檢測和分析這些數據，可以對操作人員的工作績效和作業標準進行評估和測試。例如，誤操作次數，操作反應時。

2.5 系統顯示技術

系統中的模型顯示，采用單通道被動立體顯示技術。在顯示信號的轉換過程中，使用立體信號轉換器，解決計算機主動式輸出信號轉換為被動式信號的問題。把圖形工作站輸入的一路主動式信號源，轉換成兩路被動式信號輸出給兩臺投影機，將一個視點自動調整為左右眼兩個視點，使圖像映射在銀粉屏幕上。觀測者佩戴過立體眼鏡觀看時，根據偏振原理，通過偏振光眼鏡，用戶的左右眼都只能看見各自的圖像（即被動同步的立體投影）。這種在虛擬系統中直接模擬左右眼圖像，與傳統的單一圖像偏振立體顯示系統相比，不僅不需要昂貴的視頻分離器，而且立體效果更加逼真。圖5 為系統單通道被動立體顯示原理圖。

圖5 單通道被動立體顯示原理圖

3 實驗應用

為驗證本實驗系統的可行性，對3種基于不同布局原則設計的顯控臺設計方案，進行了操控績效測評實驗。方案A按照重要性原則，將最重要的控件集中放置在最便于操作的位置，如將按鍵1、按鍵2等所有的按鍵集中地放置在面板中央，便于手動操作，指示燈1、指示燈2等所有儀表集中放置在面板上方，便于眼部觀察。

方案B使用頻度原則，將使用頻率最高的控件集中放置在最便于操作的位置，如將旋鈕1、旋鈕2等所有的按鍵集中地放置在面板中央，便于手動操作，儀表1、儀表2等所有儀表集中放置在面板上方，便于眼部觀察。

方案C按照功能性原則，將完成同一功能的相關部件成組進行布置，如儀表1與控制它的旋鈕1、儀表2和控制它的旋鈕2全部放置在控制面板的A區；相應地，按鈕1、按鈕2和指示燈1、指示燈2放置在B區，依此類推；設計A、設計B和設計C都放置了4個儀表、18個指示等和12個按鈕，實驗開始后，儀表會隨著旋鈕的旋轉改變指示范圍，任意一個儀表的指針超出正常范圍（誤操作），對應的報警燈都會變亮，警報聲響起，需要操作者按下相應的按鈕才能消除警報。如果有按鍵被按下而警報未解除即產生了誤操作。

實驗目的是為了比較這3種設計的操作反應時、誤操作率等操控績效參數有無差異及差異大小。實驗共邀請了20名有相關操作經驗的人員參加實驗，按照有關實驗設計方法和控制方法嚴格實施實驗，所得初步實驗分析結果如表1。

實驗結果表明，方案C的平均操作反應時要長于方案B，方案A又長于B，但三者的誤操作率按C、A、B依次增高，因此，對于操作正確率要求更高的情況，宜采用方案C；對于操作反應時間要求更高的情況，可采用方案B。上述實驗很好地驗證了本仿真系統的應用可行性，為開展更多類似實驗提供了參考。

表 1 顯控臺布局設計實驗數據結果

4 結 論

本文基于虛擬現實技術開發了一個可應用于人因工程研究的集成仿真系統。使用磁跟蹤器和數據手套解決運動跟蹤和手指姿勢跟蹤問題；通過先建立邏輯定義，再預定義語句對操作動作進行判斷從而識別有效動作；利用Division的事件觸發功能實現對操作動作的實時響應；應用單通道被動立體投影系統實現立體顯示。初步實驗結果驗證了該系統的可行性，為虛擬現實環境下的人因工程學研究探索了一新方法。

[1] 張樹生, 楊茂奎, 朱名銓, 等. 虛擬制造技術[M]. 西安: 西北工業大學出版社, 2006. 32-33.

[2] 孫林巖. 人因工程[M]. 北京: 中國科學技術出版社, 2001. 2-3.

[3] TICKER R L, AZZOLINI J D. 2000 survey of distributed spacecraft technologies and architectures for NASA’s earth science enterprise in the 2010-2015 time frame [R]. NASA Technical Memorandum, NASA/TM-2000-209964, NASA Goddard Space Flight Center, Greenbelt, MD, 2000: 107-110.

[4] 周前祥, 曲戰勝, 姜國華, 等. 載人航天器乘員艙內顏色匹配性設計虛擬現實系統的研究[J]. 系統仿真學報, 2002, 14(9): 1171-1174.

[5] 王 穎, 廖可兵, 郭 陽, 等. 集成人機交互仿真系統研制與應用[J]. 系統仿真學報, 2007, 11(19): 2493-2495.

[6] 羅 斌, 何鐵凝, 鄭 澎. 基于WTK 的數據手套交互控制模塊設計與實現[J]. 計算機仿真, 2004, 21(8): 2493-2495.