基于虛擬現(xiàn)實的協(xié)同訓(xùn)練系統(tǒng)研究與實現(xiàn)

【摘要】針對許多特殊場合的應(yīng)急處理訓(xùn)練中存在的問題，綜合應(yīng)用虛擬現(xiàn)實技術(shù)、網(wǎng)絡(luò)通信技術(shù)、三維圖像技術(shù)、數(shù)據(jù)庫技術(shù)，設(shè)計并實現(xiàn)了一個基于虛擬現(xiàn)實技術(shù)的多用戶協(xié)同訓(xùn)練系統(tǒng)，并給出了在航空乘務(wù)培訓(xùn)中應(yīng)用示例，希望對于其他分布式訓(xùn)練系統(tǒng)的開發(fā)具有借鑒作用。

【關(guān)鍵詞】虛擬現(xiàn)實;協(xié)同訓(xùn)練;多用戶;網(wǎng)絡(luò)環(huán)境

【中圖分類號】G434【文獻(xiàn)標(biāo)識碼】B【論文編號】1009—8097(2010)04—0120—03

引言

在國際上，VR與仿真技術(shù)非常普遍與成熟。在遠(yuǎn)程協(xié)作的分布式VR與仿真系統(tǒng)方面，他們制定了一系列標(biāo)準(zhǔn)、協(xié)議和算法。在國外虛擬環(huán)境中的協(xié)同式訓(xùn)練系統(tǒng)也有研究，比較有代表性的是SecuReVi系統(tǒng)，它是利用MASCARET模型設(shè)計的虛擬環(huán)境中多人協(xié)同滅火的消防員訓(xùn)練系統(tǒng)，還有些遠(yuǎn)程醫(yī)療手術(shù)協(xié)作訓(xùn)練系統(tǒng)，這些系統(tǒng)多數(shù)是在研究階段，成型產(chǎn)品極為少數(shù)。和一些發(fā)達(dá)國家相比，我國協(xié)同VR與仿真技術(shù)還有一定的差距，其應(yīng)用也主要集中在軍事院校和研究所，也取得了一定研究成果[1][2]，特別是在分布式VR與仿真領(lǐng)域里，國內(nèi)在這方面的研究也有所開展[3][4]。

由于教育培訓(xùn)軟件的應(yīng)用長期局限于平面的文字及圖像表述，即使近年來動態(tài)圖形圖像表現(xiàn)形式大大提高了內(nèi)容的表現(xiàn)效果，但仍無法真正滿足人類視覺、聽覺……甚至是感覺上的認(rèn)同效應(yīng)。因此，當(dāng)前傳統(tǒng)的CBT(計算機支持的教育培訓(xùn)體系，Computer Based Training)訓(xùn)練方式已在一定程度上無法滿足高科技培訓(xùn)的需要，基于計算機虛擬現(xiàn)實仿真技術(shù)的協(xié)同式訓(xùn)練系統(tǒng)將視景仿真和協(xié)同工作的概念引入CBT中，它拋棄了傳統(tǒng)的訓(xùn)練必須在真實的環(huán)境和場地下進(jìn)行的觀念;同時也克服了傳統(tǒng)訓(xùn)練無法模擬某些現(xiàn)場環(huán)境的缺陷，如飛機上、地鐵中、商廈里等，它使受訓(xùn)人員不用再冒著一定的危險、不用再在投入巨額的設(shè)備購買和場地布置的情況下就能參加訓(xùn)練。通過應(yīng)用現(xiàn)代化的虛擬現(xiàn)實技術(shù)進(jìn)行協(xié)同式訓(xùn)練系統(tǒng)的研發(fā)，將克服實際場地演練的諸多不足，不僅花費小，對環(huán)境沒有污染，而且沒有危險，是未來技能培訓(xùn)的主要手段之一[5][6]。系統(tǒng)在各種高危領(lǐng)域和應(yīng)急處理場合有著廣泛的應(yīng)用，可應(yīng)用于工廠企業(yè)、航空、地鐵公司、社區(qū)、商店等大型場所的應(yīng)急訓(xùn)練;還可用于部隊演習(xí);學(xué)校、研究所大型實驗;網(wǎng)絡(luò)游戲;遠(yuǎn)程醫(yī)療等。該系統(tǒng)的研究將推動計算機虛擬現(xiàn)實仿真技術(shù)的發(fā)展，促進(jìn)了計算機科學(xué)在現(xiàn)實生活中的應(yīng)用。本文以航空客艙乘務(wù)員應(yīng)急處理訓(xùn)練為例，介紹基于虛擬現(xiàn)實的協(xié)同訓(xùn)練系統(tǒng)的設(shè)計過程、原理及關(guān)鍵技術(shù)的實現(xiàn)。

一 系統(tǒng)描述

基于虛擬現(xiàn)實的協(xié)同訓(xùn)練系統(tǒng)是一個綜合應(yīng)用虛擬現(xiàn)實技術(shù)、網(wǎng)絡(luò)通信技術(shù)、三維圖形圖像技術(shù)和數(shù)據(jù)庫技術(shù)設(shè)計和開發(fā)的一個虛擬仿真訓(xùn)練軟件，具有在虛擬仿真環(huán)境中進(jìn)行多用戶協(xié)同操作和基于知識庫的智能評判功能特點。系統(tǒng)利用三維技術(shù)構(gòu)建各種虛擬訓(xùn)練場景(如飛機、地鐵等)，多個用戶在這樣的虛擬仿真環(huán)境中，通過網(wǎng)絡(luò)進(jìn)行文字和語音的通信、相互合作完成一個訓(xùn)練任務(wù)。同時，系統(tǒng)提供任務(wù)的知識庫進(jìn)行操作過程的正確性判斷和提示，并詳細(xì)記錄各個用戶操作過程，提供專家進(jìn)行評判(如圖1所示)。系統(tǒng)采用了視景仿真、多用戶協(xié)同、知識庫與匹配策略的技術(shù)，并在訓(xùn)練過程中具有多感知性、實時性、互操作性以及真實臨場性的特征，可廣泛應(yīng)用于特定環(huán)境下一個團隊通過相互配合，相互協(xié)作來有效地完成訓(xùn)練任務(wù)

在此系統(tǒng)基礎(chǔ)上，加入具體應(yīng)用的環(huán)境(3D場景)，利用系統(tǒng)接口和核心功能設(shè)計具體應(yīng)用的驅(qū)動模塊，形成具體應(yīng)用的系統(tǒng)。如進(jìn)行飛機客艙火災(zāi)應(yīng)急處理訓(xùn)練，系統(tǒng)將裝入一個飛機機艙的場景和訓(xùn)練角色，多人通過網(wǎng)絡(luò)、視景等多種交互方式協(xié)同地進(jìn)行飛機客艙火災(zāi)應(yīng)急處理，形成了某一特定應(yīng)用的協(xié)同式訓(xùn)練的應(yīng)用系統(tǒng)。

基于虛擬現(xiàn)實的協(xié)同訓(xùn)練系統(tǒng)主要有如下應(yīng)用特點:

1 基于虛擬現(xiàn)實的協(xié)同式訓(xùn)練系統(tǒng)，通過模擬現(xiàn)場的實際情況，從而提高實際操作人員對各種實際環(huán)境的協(xié)同處理能力。系統(tǒng)尤其適合于模擬高危領(lǐng)域的操作訓(xùn)練，如火災(zāi)、地震、防恐等;

2 克服了傳統(tǒng)訓(xùn)練中實景再現(xiàn)困難、場地特殊、人員調(diào)度復(fù)雜等環(huán)境因素，適合于飛機、地鐵、鬧市、商住大廈等情況較復(fù)雜地區(qū)的訓(xùn)練模擬;

3 降低對人員財物等的安全威脅，也便于人員時間上的安排與調(diào)度，減少人力、財力等各方開支，并且間接性地減少了對周圍環(huán)境的污染。適合于要求團隊組員同時在現(xiàn)場進(jìn)行協(xié)同訓(xùn)練的場合，如遠(yuǎn)程醫(yī)療專家合診、網(wǎng)絡(luò)游戲;

4 利用計算機手段，實現(xiàn)訓(xùn)練模擬，運用多媒體的實現(xiàn)方式，提高人員訓(xùn)練熱情和整體訓(xùn)練效果，因而也適用于原理或操作較枯燥的訓(xùn)練內(nèi)容，如學(xué)校、研究所等實驗仿真。

二 系統(tǒng)實現(xiàn)原理

整個系統(tǒng)實現(xiàn)由三層結(jié)構(gòu)組成(如圖2所示)。底層是操作系統(tǒng)與開發(fā)API組成的支撐環(huán)境，中間層是由核心程序與接口組成的系統(tǒng)平臺，頂層是三維場景模型與系統(tǒng)功能驅(qū)動組成的應(yīng)用程序。

系統(tǒng)平臺主要由三維場景子系統(tǒng)、協(xié)同通信子系統(tǒng)和訓(xùn)練管理子系統(tǒng)組成。其主要特點:將多用戶協(xié)同處理計算機模擬的理念，具體應(yīng)用到行業(yè)技能訓(xùn)練的領(lǐng)域中，并在訓(xùn)練過程中，采用了視景仿真、協(xié)同、知識庫的技術(shù)。

(1) 三維場景子系統(tǒng)

三維場景子系統(tǒng)是用三維造型來模擬現(xiàn)實訓(xùn)練環(huán)境的一種實時渲染圖形系統(tǒng)。系統(tǒng)完成的主要模塊有模型導(dǎo)入、運動仿真、場景設(shè)置、碰撞檢測等。

模型導(dǎo)入利用功能強大的三維造型軟件，如3DS Max，MAYA制作三維模型，紋理以及動畫等，然后輸入至訓(xùn)練場景中，具體包括:3D對象導(dǎo)入、角色導(dǎo)入、動畫導(dǎo)入、材質(zhì)和紋理的設(shè)置、坐標(biāo)設(shè)置、比例變換等等。運動仿真是對場景中人和物體運動的一種數(shù)學(xué)物理描述以及控制，它包括各種運動類型，如走、跑、轉(zhuǎn)身、站立、蹲下、取物等等。場景設(shè)置主要是提供改變某些場景的參數(shù)，改善視覺效果，便于觀察和響應(yīng)不同的訓(xùn)練要求，具體包括:燈光設(shè)置、視角設(shè)置、環(huán)境設(shè)置、特殊效果設(shè)置(如火，煙霧)、聲音設(shè)置、紋理材質(zhì)設(shè)置、動態(tài)對象的位置、方向和比例設(shè)置、坐標(biāo)設(shè)置等等。碰撞檢測主要是防止物體間的相互干涉以及作為某些事件的觸發(fā)器，由檢測類型和檢測算法二大部分組成。檢測類型主要有視線范圍檢測(LOS line-of-sight)、三腳架法(TRIPOD)、凸塊檢測方法(BUMP)。LOS、TRIPOD、BUMP的算法主要是加入按一定規(guī)則分布的線段矢量，計算與干涉物體的交點，距離，方向以及設(shè)置回調(diào)函數(shù)。

(2) 同步通信子系統(tǒng)

協(xié)作通信系統(tǒng)完成的功能由語音通信、場景同步通信二大部分組成。

語音通信主要提供學(xué)員之間相互協(xié)調(diào)聯(lián)絡(luò)的通信平臺，也是協(xié)同訓(xùn)練中對講、交談等的語音工具。

這里語音通信部分主要采用點對點(也可組播)的語音通信，是針對一個點實現(xiàn)話音的實時采集、處理、播放，同時可與其它點進(jìn)行可靠的網(wǎng)絡(luò)語音數(shù)據(jù)傳送和接收。對于前者，采用Windows MDK的低層音頻服務(wù)，因為低層音頻服務(wù)中的回調(diào)機制為我們提供了音頻數(shù)據(jù)，設(shè)備驅(qū)動程序控制音頻設(shè)備在后臺完成錄音和放音的具體操作，通過回調(diào)機制，我們又可以檢測到什么時候用完一個數(shù)據(jù)塊，并及時傳送下一個數(shù)據(jù)塊，從而保證了聲音的連續(xù)，有了這種單機上的實時采集、回放功能后，接下來的工作就是在網(wǎng)絡(luò)上傳送語音數(shù)據(jù)。在點對點網(wǎng)絡(luò)傳輸方面，選擇基于無連接的UDP協(xié)議，UDP用戶數(shù)據(jù)報協(xié)議能夠向若干臺目標(biāo)計算機發(fā)送數(shù)據(jù)，接收發(fā)自若干個源計算機的數(shù)據(jù)。在采集話音回放之前，一方面將自己的語音傳給網(wǎng)絡(luò)，另一方面接收網(wǎng)絡(luò)傳來的語音，具體是利用Windows Socket API實現(xiàn)的。

場景同步通信主要提供多用戶之間場景一致的功能，它由服務(wù)器、會話、用戶、網(wǎng)絡(luò)消息和分布式對象組成。

多用戶服務(wù)器是基于客戶/服務(wù)器技術(shù)，所有用戶之間的通信必須通過服務(wù)器。一個用戶與其他用戶交互必須連接到一個會話上，一個用戶同時只能連接一個會話，并且只能與連接到同一會話的用戶通信。用戶有二個參數(shù)，一是用戶名，二是用戶ID，一個客戶在連接或產(chǎn)生會話前必須設(shè)置用戶名。網(wǎng)絡(luò)消息是用戶之間通信的主要方法，這個消息類似窗口消息，可以在消息中附帶數(shù)據(jù)。分布式對象是另一個用戶間傳送信息的機制，它相關(guān)于場景中某一個實體，且按照一定規(guī)則分布到所有用戶機上，分布式對象是類的一個實例，它有自己的屬性，需要時可以通過網(wǎng)絡(luò)通信來更新。同步通信技術(shù)借鑒了國外的DIS(分布式交互系統(tǒng))和HLA(高層架構(gòu))等技術(shù)。

(3) 訓(xùn)練管理子系統(tǒng)

訓(xùn)練管理系統(tǒng)主要是用于處理訓(xùn)練相關(guān)的信息，它完成的功能有訓(xùn)練知識庫、實時跟蹤記錄、沖突解決機制等。

訓(xùn)練知識庫主要包括訓(xùn)練數(shù)據(jù)庫、訓(xùn)練規(guī)則和匹配策略。訓(xùn)練數(shù)據(jù)庫主要有學(xué)員信息、課程信息、訓(xùn)練信息等等。訓(xùn)練規(guī)則主要有角色定義與分配規(guī)則、評判規(guī)則、記分規(guī)則，其中評判規(guī)則包括動作執(zhí)行者、動作間的關(guān)系、施加對象以及次數(shù)等等。匹配策略主要是有序無序的匹配、規(guī)則樹的遍歷。

實時跟蹤記錄實際上是對學(xué)員的操作流進(jìn)行管理的一個模塊，它主要有觸發(fā)事件、操作信息收集、發(fā)送與接收(操作信息)和記錄器組成。

沖突解決機制主要是多學(xué)員在協(xié)同訓(xùn)練中發(fā)生操作沖突時的一種消除機制。其中簡單的方法是加鎖解鎖、延時的方法，比較高級的有優(yōu)先級和擁有權(quán)的處理。

三 系統(tǒng)應(yīng)用示例

客艙火災(zāi)應(yīng)急處理訓(xùn)練是利用協(xié)同訓(xùn)練平臺開發(fā)的一個應(yīng)用實例，主要是在模擬飛機機艙內(nèi)協(xié)作完成滅火訓(xùn)練任務(wù)。這個訓(xùn)練任務(wù)描述如下:

客機平穩(wěn)而正常地行駛著，乘客們安靜地享受著舒適的空中之旅，艙內(nèi)的乘務(wù)員出現(xiàn)在各自的位置上，此時，公共信息廣播:此次航班由上海飛往北京，祝各位旅客旅途愉快。30秒后，前工作區(qū)的學(xué)員看到屬于她的信息窗顯示:附近有怪異的煙味，請速核查。并且她看到絲絲煙霧飄散。該學(xué)員先去查核哪里發(fā)生火情，確定是在壁櫥的衣帽間，用手試探門的涼熱，其信息窗口顯示兩級溫度信息:門是涼的/門很燙手;該學(xué)員使用話機通知乘務(wù)長，并請求附近的乘務(wù)員速帶滅火器材來協(xié)助，本人去駕駛艙拿應(yīng)急斧，取來應(yīng)急斧，在門上開一個小洞，來支援的乘務(wù)員拿海倫滅火器來了，對著洞口噴滅火劑，直至火滅，開門檢查燃燒物，防止死灰復(fù)燃。最后把火災(zāi)的處理結(jié)果報告乘務(wù)長，由乘務(wù)長報告給機長。

該應(yīng)用實例包括一個三維實例場景和一個實例驅(qū)動模型。三維實例場景就是飛機機艙、火、煙霧、角色及其他設(shè)施，驅(qū)動模型是具體應(yīng)用的情節(jié)腳本，由滅火操作、協(xié)作規(guī)則、評判規(guī)則等許多事件構(gòu)成的。應(yīng)用實例系統(tǒng)主要界面如圖3所示。

四 結(jié)束語

在網(wǎng)絡(luò)環(huán)境和多用戶視景交互的支持下，人們可以通過交互設(shè)備，利用聽覺、視覺、觸覺在虛擬的環(huán)境中協(xié)作完成訓(xùn)練任務(wù)，從而形成一套具有“視景”和“協(xié)同”特色的訓(xùn)練軟件。本文主要描述了一個基于虛擬現(xiàn)實的多用戶協(xié)同訓(xùn)練系統(tǒng)的結(jié)構(gòu)設(shè)計、技術(shù)架構(gòu)、網(wǎng)絡(luò)通信和應(yīng)用示例。隨著基于虛擬現(xiàn)實技術(shù)的CBT系統(tǒng)正在逐步取代過去單機、單一任務(wù)的CBT系統(tǒng)，將給計算機培訓(xùn)提供一種嶄新的系統(tǒng)訓(xùn)練方式，能使許多特殊場合的訓(xùn)練變得非常方便，同時極大提高培訓(xùn)的效果。本系統(tǒng)中設(shè)計的技術(shù)和方法希望對于其他分布式訓(xùn)練系統(tǒng)的開發(fā)具有借鑒作用。

參考文獻(xiàn)

[1] 龐津津，戴述賈.分布式系統(tǒng)仿真技術(shù)研究及其實現(xiàn)[J].火力與指揮控制， 2001，(1): 37-40.

[2] 洪津，張萬軍，謝慶華，陳明宏，王永健.虛擬維修訓(xùn)練系統(tǒng)發(fā)展綜述及其關(guān)鍵技術(shù)探討[J].解放軍理工大學(xué)學(xué)報(自然科學(xué)版)，2000，(1):63-67.

[3] 王潤崗，花傳杰，唐科群，王艾萍.坦克車炮長協(xié)同訓(xùn)練仿真系統(tǒng)設(shè)計與實現(xiàn)[J].火力與指揮控制， 2008，(9):112-114.

[4] 袁海波，劉厚泉，吳雪峰.虛擬場景動態(tài)交互式可視化的研究[J].電腦與信息技術(shù)，2008，(6):7-9.

[5] 湯衛(wèi)華，滅火救援協(xié)同戰(zhàn)術(shù)訓(xùn)練探析[J].公安研究， 2007，

(1):46-47

[6] 劉艷，邢志祥，劉偉.虛擬現(xiàn)實技術(shù)在消防模擬訓(xùn)練中的應(yīng)用研究進(jìn)展[J].消防科學(xué)與技術(shù)，2009，(3):214-216.