沉浸式虛擬環(huán)境在水電仿真培訓(xùn)系統(tǒng)中的應(yīng)用研究

張衛(wèi)君，邱 洋，薛 飛

（北京中水科水電科技開發(fā)有限公司，北京100038）

0 引言

隨著仿真建模技術(shù)、虛擬現(xiàn)實(shí)技術(shù)、網(wǎng)絡(luò)技術(shù)、仿真支撐平臺(tái)技術(shù)的發(fā)展，水電仿真技術(shù)也在不斷進(jìn)步并廣泛應(yīng)用到水電技術(shù)人員培訓(xùn)考核鑒定與仿真研究中[1-3]。水電仿真培訓(xùn)技術(shù)的發(fā)展經(jīng)歷了基于實(shí)物模型的仿真系統(tǒng)、仿真機(jī)+盤臺(tái)設(shè)備仿真系統(tǒng)、全數(shù)字仿真培訓(xùn)系統(tǒng)3個(gè)不同階段，當(dāng)前，隨著沉浸式虛擬現(xiàn)實(shí)技術(shù)的飛速發(fā)展，水電仿真培訓(xùn)已進(jìn)入到沉浸式三維虛擬現(xiàn)實(shí)仿真培訓(xùn)技術(shù)階段。將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于水電仿真培訓(xùn)，利用計(jì)算機(jī)模擬產(chǎn)生一個(gè)三維空間的虛擬水電廠，提供受訓(xùn)學(xué)員關(guān)于電廠空間、環(huán)境特效、作業(yè)操作、設(shè)備控制等的模擬，讓學(xué)員如同身臨其境一般，提高培訓(xùn)的生動(dòng)性、真實(shí)性、有效性[4]。

虛擬現(xiàn)實(shí)技術(shù)涵蓋了桌面VR、沉浸式VR及增強(qiáng)現(xiàn)實(shí)（AR）。本文研究內(nèi)容是在OTS2000虛擬現(xiàn)實(shí)水電仿真培訓(xùn)系統(tǒng)研究及成功應(yīng)用的基礎(chǔ)上，將多通道投影技術(shù)、基于MEMS傳感器的人體動(dòng)作捕捉及虛擬人驅(qū)動(dòng)技術(shù)、虛擬現(xiàn)實(shí)引擎技術(shù)應(yīng)用到水電仿真培訓(xùn)中，構(gòu)建一套沉浸式水電站虛擬環(huán)境，即沉浸式VR技術(shù)在OTS2000系統(tǒng)中的應(yīng)用研究。通過創(chuàng)造個(gè)性化的虛擬培訓(xùn)環(huán)境及VR的交互式學(xué)習(xí)培訓(xùn)方式，可以實(shí)現(xiàn)趣味性與挑戰(zhàn)性并存的境界，參與者可完全投入其中。

1 沉浸式環(huán)境硬件配置

沉浸式水電廠運(yùn)行仿真培訓(xùn)系統(tǒng)硬件結(jié)構(gòu)配置如圖1，由立體弧形幕、3通道三維投影儀、穿戴式人體動(dòng)作捕捉設(shè)備、3 D立體眼鏡、圖形工作站、信號(hào)采集工作站和交換機(jī)組成。

圖1 硬件系統(tǒng)配置

圖形工作站運(yùn)行虛擬現(xiàn)實(shí)引擎，生成三維立體場(chǎng)景信號(hào)，經(jīng)融合軟件進(jìn)行邊緣融合、曲面校正后，由圖形卡同步輸出3路視頻信號(hào)給投影儀，投射至大型立體弧形幕中。立體視頻輸出信號(hào)由虛擬現(xiàn)實(shí)引擎控制左右眼視角信號(hào)實(shí)現(xiàn)，參與者通過佩戴快閃式立體3 D眼鏡，沉浸在高度逼真的水電站場(chǎng)景中，體驗(yàn)水電站水機(jī)、電氣設(shè)備的正常、異常、事故狀態(tài)及其動(dòng)作過程，進(jìn)行設(shè)備虛擬巡視、檢查、漫游、操作及事故處理。

采用基于MEMS的慣性運(yùn)動(dòng)捕捉系統(tǒng)，實(shí)現(xiàn)人體運(yùn)動(dòng)數(shù)據(jù)采集。動(dòng)捕節(jié)點(diǎn)利用9軸運(yùn)動(dòng)傳感器進(jìn)行姿態(tài)計(jì)算，計(jì)算出的數(shù)據(jù)通過無線通信方式傳送給數(shù)據(jù)采集板，數(shù)據(jù)采集板與主機(jī)之間通過串口方式連接。通過實(shí)時(shí)捕捉和樣本識(shí)別來驅(qū)動(dòng)虛擬人與虛擬場(chǎng)景的互動(dòng)，參與人員通過虛擬人與虛擬的設(shè)備及場(chǎng)景的交互，還需要進(jìn)行精確碰撞檢測(cè)并結(jié)合手勢(shì)判斷來實(shí)現(xiàn)。

2 系統(tǒng)體系結(jié)構(gòu)

沉浸式虛擬現(xiàn)實(shí)平臺(tái)仿真功能實(shí)現(xiàn)基于OTS2000仿真系統(tǒng)，虛擬現(xiàn)實(shí)平臺(tái)負(fù)責(zé)三維場(chǎng)景管理與顯示、三維交互、沉浸式交互設(shè)備接口，并與OTS2000系統(tǒng)的一體化接口實(shí)現(xiàn)互聯(lián)與互操作。Simu3D虛擬現(xiàn)實(shí)平臺(tái)體系結(jié)構(gòu)圖如圖2所示[4]。

圖2 Simu3D虛擬現(xiàn)實(shí)平臺(tái)體系結(jié)構(gòu)圖

3 關(guān)鍵技術(shù)研究

3.1 虛擬人的行為仿真

虛擬人行為仿真包括虛擬人體模型的構(gòu)建、人的動(dòng)作過程仿真、語言交流和面部表情等的仿真。在水電運(yùn)行虛擬環(huán)境中的虛擬人行為主要有巡視行為和操作行為，巡視行為如站立、行走、蹲下等，操作行為如閥門、按鈕、把手、開關(guān)等操作。利用運(yùn)動(dòng)捕捉系統(tǒng)獲取的實(shí)訓(xùn)人員軌跡數(shù)據(jù)，對(duì)虛擬人相應(yīng)關(guān)節(jié)進(jìn)行驅(qū)動(dòng)，通過對(duì)虛擬人關(guān)節(jié)的動(dòng)作控制實(shí)現(xiàn)虛擬人動(dòng)作，從而實(shí)現(xiàn)實(shí)訓(xùn)人員在虛擬水電運(yùn)行場(chǎng)景中的各種運(yùn)動(dòng)及操作模擬（圖3）。

3.2 水電運(yùn)行場(chǎng)景中的人體動(dòng)作識(shí)別

沉浸式水電站場(chǎng)景中的人體動(dòng)作識(shí)別包括人體靜態(tài)姿勢(shì)識(shí)別和人體動(dòng)作序列識(shí)別。運(yùn)動(dòng)捕捉系統(tǒng)實(shí)時(shí)采集各關(guān)節(jié)點(diǎn)運(yùn)動(dòng)數(shù)據(jù)，根據(jù)采集到的數(shù)據(jù)對(duì)肢體動(dòng)作進(jìn)行識(shí)別，如手部運(yùn)動(dòng)主要是指左右手的向左向右揮動(dòng)、向前伸出、向上舉起等。我們通過這些手勢(shì)動(dòng)作來和應(yīng)用程序進(jìn)行交互，比如完成旋轉(zhuǎn)、點(diǎn)擊、調(diào)取菜單、確認(rèn)等，識(shí)別流程如圖4所示。

圖3 虛擬人行為仿真

圖4 人體動(dòng)作識(shí)別流程

在水電運(yùn)行場(chǎng)景中，動(dòng)作大都是手臂和腿的運(yùn)動(dòng)，因此將手臂和腿作為特征提取的主要關(guān)節(jié)。根據(jù)手臂的坐標(biāo)、歐拉角和腿的歐拉角判斷出動(dòng)作所屬區(qū)域，將樣本進(jìn)行分層訓(xùn)練。根據(jù)人體骨骼特征提取出上身關(guān)節(jié)對(duì)應(yīng)的4維骨骼特征數(shù)據(jù)和6個(gè)關(guān)節(jié)在全局坐標(biāo)系下的三維坐標(biāo)值以及4組歐拉角，一共使用34個(gè)特征描述人體關(guān)節(jié)的運(yùn)動(dòng)信息，采用主成分分析法對(duì)數(shù)據(jù)降維，求解特征值和特征向量。

3.3 水電運(yùn)行操作動(dòng)作的語義映射

在沉浸式水電運(yùn)行仿真系統(tǒng)中，通過運(yùn)動(dòng)捕捉系統(tǒng)獲取的低延遲、高精確度的關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)，需要經(jīng)過動(dòng)作識(shí)別，辨識(shí)為水電運(yùn)行現(xiàn)場(chǎng)工作中的巡視、操作、驗(yàn)電、設(shè)置圍欄、掛牌等操作。典型人體動(dòng)作庫中包含幾百種人體動(dòng)作，為了提高人機(jī)交互的實(shí)時(shí)性，我們不需要辨識(shí)全部的人體動(dòng)作，而是選取典型操作定義一組人體交互的語義，辨識(shí)這些語義對(duì)應(yīng)的動(dòng)作即可。我們預(yù)先定義沉浸式虛擬環(huán)境中的各種操作模式下的語義動(dòng)作如下頁表1。

我們通過設(shè)計(jì)一種支持優(yōu)先級(jí)混合的動(dòng)作編排方法，能使虛擬人的動(dòng)作控制更加靈活。多個(gè)動(dòng)作同時(shí)發(fā)生時(shí)，設(shè)定每個(gè)動(dòng)作權(quán)重來控制關(guān)鍵幀動(dòng)畫變形系數(shù)，以實(shí)現(xiàn)不同優(yōu)先級(jí)動(dòng)作的同時(shí)渲染。在層次化骨骼建模方法的基礎(chǔ)上，建立動(dòng)作關(guān)節(jié)點(diǎn)和骨骼模型相對(duì)應(yīng)的肢體關(guān)聯(lián)關(guān)系，設(shè)定關(guān)節(jié)的變形權(quán)重，通過對(duì)發(fā)生位移的關(guān)節(jié)點(diǎn)位置進(jìn)行加權(quán)求和，從而計(jì)算出多個(gè)動(dòng)作發(fā)生時(shí)關(guān)節(jié)點(diǎn)的新位置，實(shí)現(xiàn)多個(gè)動(dòng)作的關(guān)鍵幀同時(shí)變形的效果。

表1 虛擬人動(dòng)作語義表

4 結(jié)束語

沉浸式虛擬環(huán)境水電仿真培訓(xùn)系統(tǒng)是在OTS2000三維虛擬現(xiàn)實(shí)仿真培訓(xùn)系統(tǒng)基礎(chǔ)上增加多通道三維立體投影系統(tǒng)和人體動(dòng)作捕捉設(shè)備，使受訓(xùn)者能完全置身于一個(gè)虛擬化的水電運(yùn)行環(huán)境之中并與之交互，讓學(xué)員如同身臨其境一般，提高培訓(xùn)的生動(dòng)性、真實(shí)性、有效性。

本文研究的沉浸式虛擬平臺(tái)已成功開發(fā)并應(yīng)用于中國水科院自動(dòng)化仿真實(shí)驗(yàn)室虛擬現(xiàn)實(shí)項(xiàng)目建設(shè)，其關(guān)鍵技術(shù)的研究成果和設(shè)備配置可推廣應(yīng)用于水電仿真培訓(xùn)建設(shè)項(xiàng)目中。