交互式機艙漫游系統關鍵技術研究?

肖劍波 胡大斌 胡錦暉

（海軍工程大學動力工程學院武漢430033）

交互式機艙漫游系統關鍵技術研究?

肖劍波 胡大斌 胡錦暉

（海軍工程大學動力工程學院武漢430033）

船舶機艙環境設備眾多、場景復雜、管系縱橫交錯，論文根據機艙訓練需求，開展了基于虛擬現實技術的交互式機艙漫游系統關鍵技術研究。首先介紹了基于網絡的分布式系統硬件結構及模塊化軟件結構；結合實際系統存在的網絡及硬件采集數據延遲等情況，開展了運動預測與平滑算法研究；最后對系統中虛擬人、操作手、視點等的矩陣變換進行了研究；試驗結果表明，系統具有較好的沉浸感，可以滿足船員艙室漫游、設備交互操作、聯網訓練等要求。

虛擬現實；機艙；交互；漫游

Class NumberTP391

1 引言

隨著計算機圖形學、人機交互學、網絡通信等的發展，虛擬現實技術日益成熟，應用也越來越廣泛［1］。相比于傳統的實船訓練或者基于半實物仿真的模擬訓練系統而言，基于虛擬現實技術的交互式訓練，具有費用低、時間短、施訓靈活等特點。船舶機艙環境設備眾多、場景復雜、管系縱橫交錯，利用虛擬現實技術構建機艙復雜環境［2］，實現機艙的三維可視化及漫游交互系統，對提高船員培訓效率具有重要的現實意義。

2 系統設計

船舶機艙交互漫游系統是以虛擬現實技術、人機交互方式構建的漫游系統［3～4］，主要實現如下功能：進行第一視角漫游；機艙內部及船外自然環境仿真；操作提示語言顯示及語音播放；系統文件記錄功能；虛擬人與操控臺碰撞檢測功能；虛擬人、手等的實時姿態顯示；操控臺的指令響應；分布式交互仿真。

系統具有離線和聯網兩種使用模式：離線使用時，本系統獨立運行，用戶可對艦船內部艙室布局、設備、艦船外部進行直觀地預覽、評估，并可對設備進行操作控制，開展單系統、單設備獨立訓練；聯網使用時，本漫游交互系統以聯邦成員的形式加入到分布交互式仿真系統中，為崗位人員提供逼真的虛擬工作場景（包括設備的儀表顯示等），同時，將崗位人員的操作信號發送到仿真系統中。

2.1 硬件結構

系統基于網絡的分布式硬件結構，硬件組成包括：

1）計算機及網絡設備；

2）頭盔式顯示器（Head Mounted Display）；

3）6DOF運動跟蹤傳感器；

4）數據手套（Data Glove）；

5）Wand操作桿。

硬件結構如圖1所示。

圖1系統硬件結構圖

2.2 軟件模塊

聯網訓練模式采用HLA1516體系結構，選用Vega Prime、DI-Guy作為三維仿真開發軟件，基于Creator構建場景機艙布局、艙室設備等三維模型，通過Vega Prime實現場景模型的驅動控制及機艙外部自然環境等的渲染，運用DI-Guy實現往場景中添加特定行為的人物，并實現便捷改變虛擬人的服飾、顏色。系統軟件包括場景顯示模塊，硬件設備輸入模塊，界面操作模塊，人物顯示與控制模塊，數據通訊模塊，配置文件解析模塊，提示信息模塊，音響效果管理模塊等多個部分組成。

3 關鍵技術

3.1 運動預測與平滑

交互式機艙漫游系統是建立在網絡環境上的分布式系統，各節點通過網絡彼此交換數據，這就必然存在傳輸延時［5］；另一方面，系統中用于測量頭部、手腕運動的6DOF運動跟蹤傳感器以及測量手部各關節運動的數據手套都是通過RS323與上位計算機相連的，計算機獲得的測量參數必然存在延時。從這些具體的數據問題中，可以抽象出一個共同的技術問題，就是延時的確定與補償問題。

確定延時大小基礎是利用時鐘同步技術所建立的統一時間基準。

1）網絡傳輸延時

在接收節點，假設其迭代計算為等間隔循環計算，迭代周期為T，這樣每個迭代周期的起始時刻為t=kT，k=0，1，2…，并假設在每個迭代計算周期內的計算流程為：采樣本機數據→接收網絡數據→模型計算→輸出（本機及網絡數據）。這里約定，用編號k標記迭代運算周期，由于網絡數據接收與迭代計算無固定的相位關系，這里用編號m標記與接收的數據包相關的量。

這樣假如在第k個計算周期獲得了網絡數據（意即此時網絡數據為新數據），記下此刻的時間tm，顯然kT＜tm＜(k+1)T，假設該數據包的時間戳為tstm，則該數據包的總傳輸延時為

假如網絡延時為恒定的情況下，顯然tm-tm-1=-。在一般情況下，網絡延時的波動是比較大的，因此這一假設是不成立的；但對于節點數目比較少的局域網來說，可認為此假設近似成立。另假設前一次收到數據的時間為tm-1（它位于某一計算周期[kmT，(km+1)T]之內），前二次收到數據的時間為tm-2（依次類推），則對于k+1周期以后的各計算周期，如果沒有收到新數據，必須進行估計。

2）預估算法

對于第k+i(i≥1)個計算周期，采用下面的方法進行狀態估計：滑方法獲得狀態：

其中，Xm，Xm-1分別是在tm時刻和tm-1時刻收到的數據包中包含的系統狀態量，tk+i表示狀態估計時刻的時間點，(k+i+1)T＜tk+i＜(k+i+2)T。是先將Xm向前移動一段時間ε（即認為它是未來值），然后在利用點(Xk，tk)和(Xm，tstm+ε)進行線性內插，獲得Xk+1。

現假設在k+1計算周期以后的各周期內，均能收到網絡真實數據，則有

式（1）稱為一階估計，式（2）稱為二階估計。

4）傳感器數據延時

傳感器測量延時的確定方法是：計算機在采樣傳感器數據時，首先向傳感器接口發送采集指令，記錄這一時間點tk，當接收到傳感器數據后記錄此刻的時間，則按下面的式子確定傳感器測量延時：

可見，估計就是利用歷史值的線性組合預測未來值，也就是在由歷史值張成的一個線性子空間中，取未來值的一個近似。

3）平滑問題

假設在第k個計算周期內采用的是估計值Xk，而在第k+1個計算周期是收到了網絡數據（真實值）Xm，k+1計算周期假如直接使用此時收到的網絡數據Xm作為Xk+1，則如果比較大時，易引起跳動。

解決的方法是在k+1計算周期采用下面的平

其中α為實驗參數，且0＜α＜1。

在延時確定以后，補償方法與上面的計算原理一致，不再贅述。

3.2 人物驅動與編輯

場景中人物接收來自硬件輸入模塊的數據驅動人物運動，將數據信息處理后，得到人的姿態信息和用戶進行虛擬操作的結果信息，并將姿態和虛擬操作結果發送給三維場景效果顯示模塊。

1）DI-GUY人物實時動作驅動

DI-Guy先進的運動引擎使人物的一舉一動都十分逼真，它的動作庫擁有2000多個基本動作及其過渡動作［6］，但在實際的應用中這些動作并不能滿足要求，而且這些是固化的動作，在虛擬場景中虛擬人只能完成簡單、既定的操作，無法實現復雜操作動作和人物的實時驅動控制，即只能實現訓練的演示而無法實現真正意義上的訓練，從而極大地限制了虛擬人在各種實時訓練系統中的應用［7］。

DI-Guy提供了可以實現對虛擬人體物理結構（全身關節）進行控制的API，克服了固化動作的缺點，將DI-Guy從單純的演示系統中解放出來［8］。DI-Guy虛擬人由14個基本關節構成，包括頸關節、左右肩關節、肘關節、腕關節、腰關節、胯關節、膝關節、踝關節。另外，針對特殊人員提供特殊的關節控制，如飛行指揮員人物模型提供對手指關節的控制以實現特殊手勢的表達。

DI-Guy提供的關節的實質是建立在Open?Flight格式人體模型文件基礎上的DOF（Degree Of Freedom，簡稱DOF）節點，關節的運動即是提供各自由度方位數據來驅動各節點的運動［9～10］。DI-Guy人體的14個關節均為3自由度DOF，即關節運動只能繞X、Y、Z軸旋轉運動。系統選用Flock of Birds六自由度跟蹤器，配合數據手套捕獲人體各關鍵關節的運動參數，傳遞給虛擬人相應關節以實時驅動虛擬人身體的運動。

2）DI-GUY場景人物添加

DI-Guy包含了大約100個照片級人物的模型，包括八種士兵和一系列專業人員，如飛行指揮員、帶防毒面具的應急人員、警察等，其它還包括多個普通男性和女性市民。DI-Guy使用行業標準的OpenFlight模型，從而可以利用建模工具建立修改所需引用的人體模型并添加到人物庫中。

人體是由200多個關節組成的復雜實體，如手臂、頭、身軀、腿及腳等，而手臂也有很多組成部分，由后臂、前臂、手掌組成。在虛擬環境的幾何建模中，通常采用層次建模方法以對人體模型有一個規范而詳盡的定義。利用樹形結構表示實體各個組成部分即可表示成分層結構，分層結構通過子對象及其之間的聯結表達，表現各子對象間拓撲特性。樹根為人體重心、樹的內部結點為骨架層上的人體各關節點（如肩關節、肘關節等），樹的外部結點為部位層上的人體各部位（如頭部、胸部等）。用Mul?tigen Creator建模工具在樹形結構的基礎上采用自底向上流程進行人體外形建模，將人體模型及紋理文件放至DI-Guy安裝目錄下即完成了自定義人體模型的添加。

3）人物編輯

DI-Guy人物只提供固定人物特征的替換，而且模型也是加密的，因此對人物特征的編輯組合不夠靈活，為解決該問題，為用戶提供更加靈活的組合和擴展方法；本系統借用了DI-Guy的自定義人物驅動思想和模型，從建模層就把頭盔、馬甲、手持物、面部表情等特征單獨分離開來。提供對頭盔、馬甲、手持物、面部表情的自由組合和編輯。

4 結語

系統仿真運行平臺采用普通商用計算機（基本配置如下：intel I3處理器，Geforce GTX 760顯卡，4GB內存），試驗結果表明：仿真過程平均運行速率為30fps，系統具有較好的沉浸感，可以滿足船員艙室漫游、設備交互操作、聯網訓練等要求。圖2為系統運行效果圖。

圖2手指與操控臺按鈕碰撞檢測響應

本文在分析機艙訓練需求的基礎上，介紹了基于網絡的分布式系統硬件結構及模塊化軟件結構；結合實際系統存在的網絡及硬件采集數據延遲等情況，開展了運動預測與平滑算法研究；并對場景中DI-GUY人物實時動作驅動和自定義人物編輯等進行了研究。為船舶機艙虛擬訓練提供了技術基礎，并對城市漫游、室內設計展示、工業仿真、數字博物館等具有借鑒意義。

［1］龔立，張曉鋒，沈雅慧.艦艇虛擬艙室訓練環境設計研究［J］.計算機與數字工程，2014，42（4）：725-728. GONG Li，ZHANG Xiaofeng，SHEN Yahui.Virtual War?ship Compartment Environment Design［J］.Computer& Digital Engineering，2014，42（4）：725-728.

［2］錢江，余昆，顏聲遠，等.大型船舶駕駛室數字化人機工程設計評價方法［J］.中國艦船研究，2014，9（4）：18-24. QIAN Jiang，YU Kun，YAN Shengyuan，et al.Ergonomic design evaluation method for the wheelhouse on large ships［J］.Chinese Journal of Ship Research，2014，9（4）：18-24.

［3］商蕾.基于視景仿真的船舶駕駛艙人機工程設計評價研究［J］.武漢理工大學學報：交通科學與工程版，2011，35（4）：840-844. SHANG Lei.Research on bridge man-machine engineer?ing evaluation based on visual simulation［J］.Journal of Wuhan University of Technology（Transportation Science＆Engineering），2011，35（4）：840-844.

［4］曾鴻，張均東，任光，等.船舶機艙三維視景仿真系統設計與實現［J］.系統仿真學報，2014，26（2）：363-375. ZENG Hong，ZHANG Jundong，REN Guang，et al.Design and Implementation of Marine Engine Room Three-dimen?sional Visual Simulation System［J］.Journal of System Simulation，2014，26（2）：363-375.

［5］李榮川，陳寧，聶壘鑫.基于三維視景的立體顯示及漫游系統開發［J］.船舶工程，2013，35（3）：105-108. LI Rongchuan，CHEN Ning，NIE Leixin.Stereo Display and Roam Program Development Based on 3D Vision［J］. SHIP ENGINEERING，2013，35（3）：105-108.

［6］鄧賢暉，張玉梅.大型艦船虛擬導引訓練系統研究［J］.計算機與數字工程，2013，41（4）：580-583. DENG Xianhui，ZHANG Yumei.Vitual Guided Training System on the Warship［J］.Computer&Digital Engineer?ing，2013，41（4）：580-583.

［7］胡維華，錢克寵.三維跑步場景與多角色虛擬人的融合設計［J］.計算機工程與科學，2010，32（3）：52-54. HU Weihua，QIAN Kechong.Designing the Multi-Media Treadmill Fusion With Multiple Characters and Structured Scenes［J］.Computer Engineering&Science，2010，32（3）：52-54.

［8］馬立元，謝建華，張睿.某型導彈虛擬訓練系統中虛擬人運動控制的實現［J］.計算機工程與應用，2005，11：205-207. MA Liyuan，XIE Jianhua，ZHANG Rui.Accomplishment of virtual human movement control of virtual operation sys?tem of certain missile［J］.Computer Engineering&Appli?cation，2005，11：205-207.

［9］張松濤.海上搜救模擬器中虛擬人的應用研究［D］.大連：大連海事大學，2011. ZHANG Songtao.The application of virtual human in mari?time search and rescue simulator［D］.Dalian：Dalian Mari?time University，2011.

［10］常高祥，徐曉剛，張雷.虛擬維修中虛擬人的動作模型設計［J］.工程圖學學報，2011，1：99-103. CHANG Gaoxiang，XU Xiaogang，ZHANG Lei.The De?sign of Virtual Human's Action Models in Virtual Mainte?nance［J］.Journal of Engineering Graphics，2011，1：99-103.

Research on Key Technologies of Interactive Roaming System for Marine Engine Room

XIAO JianboHU DabinHU Jinhui
（College of Power Engineering，Naval University of Engineering，Wuhan430033）

There are lots of equipment and pipes in the marine engine room，which makes the environment complexity in the scene.In this paper，based on the requirements of cabin training，the design and development of interactive roaming system for en?gine room based on VR is researched.The hardware structure and software module of the distributed system based on network are in?troduced at first.Aimed to solve the problem of data acquisition delay due to network and hardware of the system，motion prediction and smoothing algorithm are carried out.Finally，matrix transformation of the virtual person，operator hand and viewport are stud?ied.Experimental results show that the system has good sense of immersion and can meet the requirements of engine room roaming，equipment interactive handling and networking training.

virtual reality，engine room，interactive，roaming

TP391

10.3969/j.issn.1672-9722.2017.07.021

2017年1月8日，

2017年2月27日

國家自然科學基金項目（編號：51179196）資助。

肖劍波，男，博士，講師，研究方向：機艙自動化與仿真，視景仿真及虛擬現實技術。胡大斌，男，教授，博士生導師，研究方向：艦船動力裝置仿真及機艙自動化。胡錦暉，男，博士，講師，研究方向：船舶動力裝置仿真及機艙自動化。