基于語義的虛擬仿真平臺框架的設計與研究

徐慧靖，胡小梅，張 翼

(上海大學 機電工程與自動化學院，上海 200072)

0 引 言

隨著科學技術的進步和發展，增強現實技術[1-3]與虛擬現實技術[4-6]逐步應用于人們的生活、工作、學習當中，隨之出現的虛擬仿真平臺與傳統的虛擬仿真平臺相比發生了較大的變化。目前的虛擬仿真平臺框架[7]已經不能完全適用于現有的虛擬仿真平臺，為此，提出了一個具有通用性、多技術集成、可擴展性的基于語義的虛擬仿真平臺框架。首先對所提出框架的相關工作進行詳細描述；然后對框架的特征進行介紹并基于語義將框架分為6個層次；再以相關案例對該框架進行應用和驗證；最后得出相應的結論。

1 相關工作

從20世紀90年代以來，運用計算機進行模擬和仿真已經成為科學和工程等眾多領域內解決問題的主流方法，與理論分析、實驗研究一起成為科學研究的三大支柱方法之一[8]。虛擬仿真是由計算機硬件、軟件以及各種傳感設備等構成的人工信息虛擬環境，可以在計算機中逼真地模擬出現實世界中存在的事物以及創造出現實世界中不存在的事物。虛擬仿真涉及計算機圖形學、人機交互技術、可視化顯示技術、傳感技術等多個領域。虛擬仿真的應用可以極大地節約社會資源，縮短研究、生產等方面的周期。

虛擬仿真平臺是以虛擬仿真軟件為核心，結合相關的硬件設備，實現虛擬物體創建以及仿真的系統。傳統上，建立虛擬仿真平臺所采用的技術方法有：

(1)基于美國NI公司圖形化編程語言的LabVIEW的動態顯示功能和Matlab/Simulink仿真開發工具構建虛擬仿真平臺[9]。

(2)通過.NET技術結合多媒體技術，構建基于Web的虛擬仿真平臺[10]。

(3)運用VRML建模語言構建具有動態性、交互性的三維虛擬仿真場景的虛擬仿真平臺[11]。

近年來，增強現實技術與虛擬現實技術高速發展，虛擬仿真平臺也隨著這些技術的發展而不斷產生新的應用。增強現實技術是將計算機生成的虛擬物體、場景信息等疊加到真實場景中，實現對現實場景的增強[12]。基于增強現實的虛擬仿真平臺有：運用谷歌公司的可穿戴式的增強現實設備—谷歌眼鏡(Google Glasses)，可與谷歌強大的分布式搜索引擎對接[13]，并借助谷歌提供的軟件開發包，構建虛擬仿真平臺；美國高通(Qualcomm)公司研發的Vuforia，是一套專業的增強現實軟件開發包，通過與Unity 3D引擎結合，能夠實現物理、化學、工程、醫療等多領域的虛擬仿真實驗[14]。

虛擬現實技術，是一種可以創建和體驗虛擬世界的計算機仿真技術，能夠利用計算機生成一種多源信息融合的、三維的、可交互的動態實景，提供使用者視覺、聽覺、觸覺等多感官的模擬，給使用者身臨其境的體驗[15]。基于虛擬現實的虛擬仿真平臺有：日本的Sonoda等研制的模擬電站培訓仿真系統，提供了和真實場地同尺寸的虛擬空間，應用三維立體顯示技術制作了大量三維模型和用戶界面，使得培訓人員能夠像在真實環境中一樣完成操作培訓[16]；法國標致雪鐵龍(PSA)公司利用CAVE系統、被動式單通道立體投影系統、光學跟蹤系統、力反饋系統等，構建工業虛擬仿真平臺，進行汽車設計的檢視、虛擬裝配等[17]。

2 基于語義的虛擬仿真平臺框架的設計與研究

2.1 基于語義的虛擬仿真平臺框架的特征

文中提出的基于語義的虛擬仿真平臺框架是一個虛擬仿真平臺的高層結構，高度抽象，超越了算法以及數據結構，基本著眼點在于虛擬仿真平臺框架和需求與實現之間的交互，是一個用于理解系統級目標的框架結構。該框架具有以下幾點特征：

(1)通用性：媒體類型上，框架能夠展示文本、圖形、圖像、聲音、觸覺等多媒體信息，對于各個應用領域的信息基本上都可以使用，而非只能使用特定領域的信息。應用對象上，該框架適用于大多虛擬仿真平臺，由于框架采用模塊化設計，對于傳統的虛擬仿真平臺、現階段較為流行的增強現實和虛擬現實以及未來出現的虛擬仿真平臺都有較強的適應性。

(2)多技術集成：目前的虛擬仿真平臺使用的技術系統是多樣化的，單一技術系統的框架難以適用于當前的發展。該框架集成多種技術系統，從用戶進行數據信息輸入操作到獲取計算機數據信息這一過程中，采用人機交互、協同、可視化顯示等多技術集成，共同搭建出一個通用的虛擬仿真平臺的框架。

(3)可擴展性：在如今的信息化時代，虛擬仿真平臺的信息量逐漸增加，信息的展示方式也不盡相同，任何框架都無法預測到未來所有的變化。該框架具有可擴展性，通過對每一層次增加新的構件模塊，可以實現每一層次的功能與實現方式的可擴展性，并且這種方式不會改變框架的整體結構。

(4)個性化：虛擬仿真平臺的設計者可針對自身的具體需求，利用該框架搭建出不同的虛擬仿真平臺，以滿足特定領域的需求。

2.2 基于語義的虛擬仿真平臺框架的層次結構

基于語義的虛擬仿真平臺框架是滿足各種不同類型的虛擬仿真平臺的系統集成框架，能夠支持圖、文、聲、觸感等不同類型媒體的通用信息的集合，并且通過擴展方式不斷集成新的技術。根據以上要求，文中提出的框架如圖1所示。整個框架結構根據語義分為6個層次，分別為應用對象層、人機交互層、解釋層、語法層、映射層以及虛擬空間層，并通過語義模型逐層地提取語義信息。

圖1 基于語義的虛擬仿真平臺框架

2.2.1 應用對象層

應用對象層包含的是用戶，具體而言，是指虛擬仿真平臺的使用者。使用者日益增長的新需求是推動虛擬仿真平臺發展的根本動力，任何虛擬仿真平臺的設計與使用都必須滿足使用者的要求。在該框架中，用戶通過人機交互層實現與虛擬仿真平臺之間的交互，用戶的語義信息，如文字、手勢位姿、視點改變等通過人機交互層的輸入設備傳達給虛擬仿真平臺，通過輸出設備接受虛擬仿真平臺的語義信息，如圖像、圖形、文字、音頻、觸感等信息。

2.2.2 人機交互層

人機交互層包含輸入設備以及輸出設備。輸入設備是用于獲取用戶語義信息，并將其傳輸到解釋層進行數據處理。輸出設備是為用戶提供計算機語義信息，能夠將經由解釋層中場景繪制的計算機語義以用戶便于獲取的方式提供給用戶。輸入和輸出設備大體上可分為接觸式和非接觸式兩類。

(1)接觸式設備。

接觸式輸入設備是人機交互技術發展以來應用最多、發展最久的人機交互設備。最常用的接觸式輸入設備有鼠標、鍵盤、手寫板、控制桿等。隨著智能手機的普及以及大屏、多屏時代的到來，觸摸屏、光筆等也得到了越來越多的應用。近年來，虛擬現實以及增強現實技術逐步的發展使得常規的接觸式輸入設備無法滿足相應的需求，數據手套、磁定位跟蹤器等設備也應運而生。

接觸式輸出設備較多地應用在聽覺以及觸覺上的計算機語義信息輸出。聽覺上，接觸式輸出設備主要為耳麥、耳機等各種音頻輸出設備。觸覺上，接觸式輸出設備主要為觸覺、力反饋器，例如用觸覺、力反饋器獲取用戶的移動語義來移動虛擬環境中的虛擬物體時，當碰到障礙物，觸覺、力反饋器會直接通過觸覺反饋出碰撞信息，實現真實、自然的人機交互。

(2)非接觸式設備。

非接觸式輸入設備在日常生活中也會經常接觸到，常見的有話筒、攝像設備、掃描儀等。為了提高用戶語義的輸入效率以及考慮到部分殘障人士無法利用接觸式輸入設備實現與計算機系統的交互，眼動跟蹤系統近年來逐漸成為非接觸式輸入設備的研究熱點。伴隨著大場景下的虛擬仿真以及智能空間中實現場景驅動，空間跟蹤定位系統等新一代的非接觸式輸入設備得到了極大的發展。

非接觸式輸出設備最常應用于視覺以及聽覺上的計算機語義信息輸出。聽覺上，非接觸式輸出設備有音響、功放等各種音頻輸出設備。由于用戶通過視覺能夠獲取更多以及更直觀的信息，因此大多數研究者致力于研究視覺上的非接觸式輸出設備，關于此類的輸出設備有顯示器、移動智能終端的顯示屏以及主、被動投影儀等，硬件的集成化、多功能化、模塊化以及軟件的快速發展促進了顯示內容由以前的文字、二維圖形、圖像轉變為三維圖形、立體圖像等。

2.2.3 解釋層

解釋層是將用戶語義解釋為計算機語義或將計算機語義解釋為用戶語義，包含數據提取、特征識別以及場景繪制，數據提取、特征識別用于將用戶語義轉換為計算機語義，場景繪制用于將計算機語義轉換為用戶語義。

數據提取是對人機交互設備中輸入設備所獲取的原始數據庫中的數據信息進行篩選和提取，以此獲取有效的數據信息。例如，用戶用數據手套獲取的原始手勢數據信息中，即有抓取、移動等有效的數據信息，也有大量的用戶無意識的數據信息。特征識別是對經由數據提取后的數據信息進行分析和識別，提取出其中能夠表示信息本質的特征。例如，先通過數據提取獲得抓取、移動、旋轉等有效信息，再進行特征識別獲得在虛擬環境中虛擬物體的具體操作。數據提取和特征識別都是用于對原始數據庫中的數據信息進行整理和歸納，從而加快虛擬仿真平臺對數據信息的處理速度，避免服務器對無用的數據信息進行處理和運算而占用過多的內存。

場景繪制用于對映射層中進行視圖映射和音頻映射的視圖對象和音頻對象實現在虛擬場景內的具體描述，通過人機交互設備中的輸出設備傳達給用戶。場景繪制既可以實現當前虛擬場景的修改，也可以實現新的虛擬場景的創建。

2.2.4 語法層

語法層是利用算法將解釋層中由數據提取和特征識別后的數據信息進一步轉化為能夠映射的模式和結構。語法層是將用戶語義轉換為計算機語義的核心步驟，主要包含交互算法以及協同算法。

(1)交互算法。

交互算法是人機交互技術的關鍵內容，任何人機交互操作都必須以交互算法為依托。如圖2所示，交互算法就是將用戶語義，例如移動、縮放、旋轉等操作，轉化為計算機語義，實現虛擬仿真平臺中虛擬對象的移動、縮放、旋轉等。優化的交互算法能夠實現用戶與虛擬仿真平臺之間實時的、準確的、自然的交互。

圖2 交互算法演化

(2)協同算法。

協同算法是虛擬仿真平臺在網絡環境下，實現多人協同操作的關鍵技術。在虛擬仿真平臺中，運用協同算法，能夠將多用戶有效地聯系在一起，實現共同操作。如圖3所示，多用戶可以利用協同算法實現非交叉式的共同協作，當某一用戶對虛擬仿真平臺中的某一模塊進行操作時，其他用戶無法實現對同一模塊的操作，保證模塊的唯一操作性以及虛擬仿真平臺的安全性、有序性。

圖3 協同算法演化

2.2.5 映射層

映射層是用于將語法層處理后的屬性、結構、模式等結合虛擬空間層中的底層數據，實現對視圖對象以及音頻對象的映射。映射層根據映射對象的不同，可以分為視圖映射和音頻映射。用戶語義經過人機交互層、解釋層以及語法層處理后生成的計算機語義通過映射，將虛擬空間中的底層數據進行相對應的轉換。

2.2.6 虛擬空間層

虛擬空間層包含底層數據，是通過映射層實現映射的虛擬對象。底層數據一部分是虛擬仿真平臺所自帶的原始數據，另一部分是通過人機交互設備中的輸入設備將底層數據輸入到虛擬仿真平臺中。底層數據是所有類型原始數據的統稱，包含文本數據、圖形數據、圖像數據、音頻數據等。底層數據是用戶的具體操作對象，是虛擬仿真平臺的重要載體。

3 應用案例

按照文中提出的基于語義的虛擬仿真平臺框架，設計并開發了一款基于C/S架構并采用增強現實技術的FANUC機器人示教虛擬仿真平臺。該虛擬仿真平臺搭載于移動智能終端中，如圖4所示。該平臺為用戶提供FANUC機器人的基本信息示教，例如，介紹基本參數信息、關鍵軸的運動、重要部件的拆分等功能。

圖4 FANUC機器人示教虛擬仿真平臺演示圖

在該虛擬仿真平臺中，依照提出的基于語義的虛擬仿真平臺框架，可以進行以下分析：

應用對象層中，用戶是指FANUC機器人示教虛擬仿真平臺的使用者。

人機交互層中，輸入設備是移動智能終端的觸摸屏，用戶通過觸摸屏實現虛擬仿真平臺具體功能的響應。輸出設備是移動智能終端，移動智能終端的顯示屏可以顯示文字、圖形、圖像等數據信息，移動智能終端的音響可以展示音頻信息。

解釋層中，需要進行數據提取以及特征識別的有模型的尺寸大小、轉動速度等，進行場景繪制的是電機的拆分、機械腕的拆分、軸的轉動、具體細節的音頻提醒等。

語法層中，所運用的虛擬仿真平臺引擎為Unity引擎。語法層中的交互算法是通過在Unity引擎中編輯C#腳本實現按鈕響應，并將交互算法封裝于FANUC機器人示教虛擬仿真平臺中。現階段設計的虛擬仿真平臺沒有涉及到協同部分，接下來的工作要實現人—機協同以及人—人協同。人—機協同是實現通過操作虛擬仿真平臺中模型的運動帶動真實世界中機器人的運動，人—人協同是實現多用戶通過多部移動智能終端共同實現某一操作。

映射層中，需要對文字顯示、模型拆分等視圖信息進行視圖映射，對音頻提示信息進行音頻映射。

虛擬空間層中，底層數據包含Unity引擎中自帶的原始數據信息，例如字體的顏色、按鈕的形狀等；也包含導入Unity引擎的數據信息，例如模型數據信息通過3ds Max軟件進行繪制，再導入到Unity引擎中。底層數據通過Unity引擎封裝于FANUC機器人示教虛擬仿真平臺中。

4 結束語

隨著增強現實技術和虛擬現實技術的不斷進步，虛擬仿真平臺也在不斷發展，在虛擬仿真平臺的設計和使用中，都需要通用的虛擬仿真平臺框架。對基于語義的虛擬仿真平臺框架進行設計和研究，介紹分析了框架的特征，并將框架內容分為6個層次，對所劃分的應用對象層、人機交互層、解釋層、語法層、映射層以及虛擬空間層進行詳細介紹。再以FANUC機器人示教虛擬仿真平臺這一案例對所提出的框架進行驗證。在該框架的基礎上，未來的研究重點在于設計框架中各層次的特殊模塊，進一步增強框架的通用性以及適應性。