VR技術(shù)在變電站仿真培訓(xùn)系統(tǒng)中的應(yīng)用研究

王 磊，楊國(guó)練，陳 維，牟旭東，王瑞強(qiáng)

(1.國(guó)網(wǎng)甘肅省電力有限公司培訓(xùn)中心，甘肅 蘭州 730070；2.國(guó)網(wǎng)甘肅省電力有限公司設(shè)備管理部，甘肅 蘭州 730900；3.國(guó)網(wǎng)甘肅省電力有限公司天水供電公司，甘肅 天水 741099)

0 引言

隨著計(jì)算機(jī)技術(shù)和仿真技術(shù)逐漸發(fā)展成熟，虛擬現(xiàn)實(shí)(virtual reality，VR)技術(shù)也帶動(dòng)諸多行業(yè)快速進(jìn)步[1]。相關(guān)研究在各行各業(yè)也取得了巨大的成績(jī)。其中，沉浸式仿真技術(shù)的研究較為深入且貢獻(xiàn)較為突出[2]。其通過(guò)多種硬件設(shè)備和軟件系統(tǒng)的結(jié)合，使得參與者完全融入逼真、交互式的虛擬場(chǎng)景[3]。與此同時(shí)，在培訓(xùn)現(xiàn)代變電站工作人員中，變電站沉浸式仿真培訓(xùn)系統(tǒng)起到無(wú)可替代的重要作用[4-5]。但目前國(guó)內(nèi)外有關(guān)330 kV變電站沉浸式仿真培訓(xùn)系統(tǒng)的研究相對(duì)較少，面臨較多的難題。鑒于此，本文在前人的經(jīng)驗(yàn)和成果的基礎(chǔ)上，利用多通道視頻輸出技術(shù)和Kinect體感的交互虛擬技術(shù)，構(gòu)建一種體驗(yàn)感和互動(dòng)性更強(qiáng)的沉浸式仿真培訓(xùn)系統(tǒng)。該研究結(jié)果能為后續(xù)變電站沉浸式仿真培訓(xùn)系統(tǒng)的開發(fā)提供參考。

1 變電站沉浸式仿真培訓(xùn)關(guān)鍵技術(shù)

1.1 沉浸式系統(tǒng)需求設(shè)計(jì)

變電站沉浸式仿真培訓(xùn)系統(tǒng)中，硬件部分實(shí)現(xiàn)虛擬場(chǎng)景的立體聲音效果和視覺效果，軟件部分實(shí)現(xiàn)變電站的場(chǎng)景仿真，從而達(dá)到虛擬實(shí)境的效果。沉浸式仿真培訓(xùn)系統(tǒng)如圖1所示。

圖1 沉浸式仿真培訓(xùn)系統(tǒng)

沉浸式仿真培訓(xùn)系統(tǒng)由Kinect體感捕捉交互系統(tǒng)、教員管理系統(tǒng)、變電站綜自系統(tǒng)仿真、變電站電網(wǎng)仿真、沉浸式變電站場(chǎng)景仿真、變電站運(yùn)行邏輯仿真六大模塊組成。所有模塊通過(guò)仿真運(yùn)行支撐平臺(tái)完成交互信息、同步時(shí)間、控制協(xié)調(diào)等過(guò)程[3,6]。變電站電網(wǎng)仿真模塊能達(dá)到電網(wǎng)短期、中長(zhǎng)期過(guò)程的一體化仿真，將一次設(shè)備有功、無(wú)功等遙測(cè)量以及刀閘狀態(tài)、斷路器的遙信量傳輸給變電站運(yùn)行邏輯仿真模塊，同時(shí)接收來(lái)自變電站運(yùn)行邏輯仿真模塊的信息。沉浸式變電站場(chǎng)景仿真的引擎開發(fā)為Unity3D。該引擎將變電站三維圖像通過(guò)多通道輸出技術(shù)輸出到大型3D弧幕，使用模型和場(chǎng)景編輯器構(gòu)建變電站設(shè)備和場(chǎng)景模型，然后通過(guò)體感交互式設(shè)備接收實(shí)時(shí)數(shù)據(jù)，并將數(shù)據(jù)經(jīng)過(guò)人體骨骼運(yùn)動(dòng)數(shù)據(jù)解析轉(zhuǎn)變?yōu)樘摂M場(chǎng)景中的虛擬角色行為[7-10]。

變電站運(yùn)行邏輯仿真是在電網(wǎng)一次設(shè)備提供信息的前提下，對(duì)繼電保護(hù)自動(dòng)裝置、直流系統(tǒng)、交流系統(tǒng)、防誤系統(tǒng)等的邏輯行為進(jìn)行模擬；同時(shí)，把二次回路和一、二次設(shè)備的仿真結(jié)果傳輸至場(chǎng)景和自動(dòng)化綜合仿真的2個(gè)模塊，并作出相應(yīng)的就地操作、遙調(diào)、遙控等指令[11-12]。變電站綜自系統(tǒng)仿真模塊的主要功能是模仿變電站監(jiān)控系統(tǒng)的功能。Kinect體感捕捉交互系統(tǒng)通過(guò)Kinect體感交互技術(shù)實(shí)現(xiàn)精準(zhǔn)捕獲，分析所有人員的局部和全身肢體動(dòng)作信息，然后將結(jié)果傳輸至虛擬場(chǎng)景并促發(fā)虛擬個(gè)體和虛擬場(chǎng)景之間的互動(dòng)，通過(guò)手勢(shì)和三維設(shè)備的精準(zhǔn)碰撞檢測(cè)來(lái)判斷學(xué)員的動(dòng)作，最后將動(dòng)作時(shí)間提交給變電站進(jìn)行邏輯仿真。教員管理系統(tǒng)模塊的功能是控制、監(jiān)視、管理培訓(xùn)全過(guò)程。

軟件系統(tǒng)邏輯關(guān)系如圖2所示。

圖2 軟件系統(tǒng)邏輯關(guān)系圖

硬件系統(tǒng)包括網(wǎng)絡(luò)交換機(jī)、工作站、Kinect傳感器、大型立體弧幕+3D互動(dòng)投影結(jié)構(gòu)。大型立體弧幕+3D互動(dòng)投影由2組共6臺(tái)3D互動(dòng)投影組成，功能是分別接收主圖形工作站輸出的不同視頻信號(hào)。通過(guò)視頻融合器協(xié)同處理后，投影儀將獲取的三維場(chǎng)景圖像輸送至立體弧幕中。接著，學(xué)員通過(guò)3D眼鏡即可沉浸在模擬的變電站場(chǎng)景中，感受變電站中一、二次設(shè)備的異常、正常、故障情況，思考相應(yīng)的解決途徑，同時(shí)也可操作、處理事故，檢查、巡視虛擬設(shè)備。圖形工作站的功能有以下3個(gè)方面：①分配沉浸式變電站仿真培訓(xùn)軟件系統(tǒng)，從而達(dá)到培訓(xùn)仿真的目的；②接收和處理多通道輸出的2組視頻信號(hào)，從而達(dá)到模擬左右眼視頻輸出的效果；③通過(guò)USB數(shù)據(jù)接口連接工作站和Kinect設(shè)備，從而達(dá)到體感交互虛擬場(chǎng)景的目的。從工作站的功能可以視為主工作站的功能。當(dāng)主工作站出現(xiàn)故障時(shí)，從工作站立即進(jìn)入工作狀態(tài)。

1.2 虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)

此次研究利用多通道視頻輸出技術(shù)、Kinect體感交互虛擬技術(shù)和體態(tài)識(shí)別的場(chǎng)景漫游技術(shù)，構(gòu)建一種體驗(yàn)感和互動(dòng)性更強(qiáng)的沉浸式仿真培訓(xùn)系統(tǒng)。投影式沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的基礎(chǔ)是多通道視頻輸出技術(shù)。研究通過(guò)在計(jì)算機(jī)DirectX圖像引擎和仿真應(yīng)用程序兩者間連接3D轉(zhuǎn)換接口程序，實(shí)現(xiàn)多通道視頻輸出技術(shù)。如果仿真軟件通過(guò)計(jì)算機(jī)DirectX圖像引擎進(jìn)行圖像描繪，3D轉(zhuǎn)換接口將會(huì)得到所描繪的圖像數(shù)據(jù)，同時(shí)把圖像調(diào)整為具有3D效果的左右兩側(cè)數(shù)據(jù)。隨后通過(guò)3D轉(zhuǎn)換接口程序，將左右兩側(cè)數(shù)據(jù)分別輸送至兩個(gè)投影機(jī)上，以此模擬人左右兩眼的輸出，進(jìn)而得到3D立體成像效果。Kinect體感交互的虛擬人驅(qū)動(dòng)技術(shù)是指精準(zhǔn)捕獲學(xué)員的局部和全身肢體運(yùn)動(dòng)情況，然后實(shí)時(shí)跟蹤捕獲到的六自由度位置信息，接著通過(guò)數(shù)據(jù)接口軟件實(shí)時(shí)將跟蹤信息傳遞給沉浸式變電站場(chǎng)景仿真軟件，從而實(shí)現(xiàn)逼真的動(dòng)作仿真。數(shù)據(jù)實(shí)時(shí)捕捉是利用骨骼追蹤控制技術(shù)處理由Kinect傳感器得到的景深數(shù)據(jù)，從而實(shí)現(xiàn)人體骨骼關(guān)節(jié)點(diǎn)的跟蹤，進(jìn)而實(shí)時(shí)控制虛擬人的相應(yīng)骨骼節(jié)點(diǎn)。骨骼數(shù)據(jù)源于Microsoft Kinect SDK開發(fā)包的SkeletonStream流。研究從SkeletonStream流獲取骨骼數(shù)據(jù)，每一幀數(shù)據(jù)包括骨骼對(duì)象的相應(yīng)集合。其中，每個(gè)骨骼對(duì)象所包含的信息為骨骼關(guān)節(jié)的數(shù)據(jù)和位置，每個(gè)關(guān)節(jié)均有且只有一個(gè)標(biāo)記號(hào)和3D向量數(shù)據(jù)。因此骨骼關(guān)節(jié)點(diǎn)的追蹤信息可以被獲取，從而保證使用者的動(dòng)作和虛擬模型的運(yùn)動(dòng)軌跡相同。Microsoft Kinect SDK能夠?qū)崿F(xiàn)20個(gè)主要關(guān)節(jié)點(diǎn)的動(dòng)態(tài)跟蹤，但仍然不能識(shí)別更為精細(xì)的動(dòng)作。

本研究實(shí)現(xiàn)體感交互技術(shù)的方式為識(shí)別樣本和實(shí)時(shí)數(shù)據(jù)捕捉。其中，在人體動(dòng)作手勢(shì)識(shí)別方面，采用動(dòng)態(tài)時(shí)間規(guī)整(dynamic time warping,DTW)算法。

該算法本質(zhì)是模板匹配算法，其具體識(shí)別、檢測(cè)步驟如下所示。首先，設(shè)置參考模板，也就是標(biāo)準(zhǔn)手勢(shì)從開始到結(jié)束期間的所有3D深度數(shù)據(jù)，可以用R={R(1),R(2),...,R(M)}表示。第m幀手勢(shì)模擬特征數(shù)據(jù)用R(m)表示，m=1,2,...,M。R(1)表示受試動(dòng)作起點(diǎn)的數(shù)據(jù)，R(M)表示受試動(dòng)作終點(diǎn)的數(shù)據(jù)。需要分析的手勢(shì)動(dòng)作數(shù)據(jù)用T={T(1),T(2),...,T(N)}表示。第n幀的分析手勢(shì)特征數(shù)據(jù)用T(n)表示，n=1,2,...,N。T(1)表示手勢(shì)起點(diǎn)的數(shù)據(jù)，T(N)表示手勢(shì)終點(diǎn)的數(shù)據(jù)。通過(guò)計(jì)算兩者的距離得到相似度情況。若距離越大，則相似度越低；反之，則相似度越高。為了計(jì)算相似度，需要知道相應(yīng)幀序號(hào)。2幀特征矢量間的距離用d[T(n),R(m)]表示。可以看出，距離函數(shù)的值為實(shí)際距離度量。設(shè)置特征向量的獲取方式為每秒30幀。通過(guò)類比分析特征數(shù)據(jù)和模板，即可以根據(jù)兩者的相似度獲取動(dòng)作手勢(shì)的參考模板，進(jìn)一步促發(fā)虛擬人做出相應(yīng)的手勢(shì)動(dòng)作。因此,該方法能夠?qū)W(xué)員的細(xì)微動(dòng)作進(jìn)行較為精準(zhǔn)的識(shí)別。

動(dòng)作和漫游任務(wù)相關(guān)性如表1所示。

表1 動(dòng)作和漫游任務(wù)相關(guān)性

變電站培訓(xùn)要求控制虛擬人在一、二次設(shè)備區(qū)間的漫游操作，但動(dòng)作驅(qū)動(dòng)不能滿足虛擬人的所有漫游操作。本文引入體態(tài)識(shí)別的場(chǎng)景漫游技術(shù)控制虛擬人的轉(zhuǎn)向和漫游。虛擬人物可以實(shí)現(xiàn)實(shí)時(shí)跟蹤學(xué)員的轉(zhuǎn)向、行走等體態(tài)動(dòng)作。該技術(shù)分析、識(shí)別人體骨骼圖像幀數(shù)據(jù)并獲得虛擬人物的驅(qū)動(dòng)指令。假設(shè)需要作出虛擬人的行走指令，具體操作步驟如下所示。

①得到人物的骨骼數(shù)據(jù)，并對(duì)骨骼數(shù)據(jù)進(jìn)行分析。

②處理骨骼數(shù)據(jù)，并得到虛擬人的動(dòng)作指令。結(jié)合表1所示漫游指令和動(dòng)作特征的相關(guān)性，在行走畫面分析的基礎(chǔ)上，完成行走控制任務(wù)、實(shí)現(xiàn)漫游控制。轉(zhuǎn)向控制可以分為2種情況，分別是靜止?fàn)顟B(tài)和動(dòng)態(tài)過(guò)程中的轉(zhuǎn)向。為了達(dá)到理想的控制效果、正確區(qū)分2種狀態(tài)下的轉(zhuǎn)向，需要控制人物的轉(zhuǎn)向速度和連續(xù)性，將虛擬人物作為中心，轉(zhuǎn)向速度設(shè)置為每幀5°。

2 變電站沉浸式仿真培訓(xùn)系統(tǒng)分析

2.1 虛擬仿真效果分析

研究通過(guò)分塊的方式構(gòu)建虛擬變電站，完成建模后再進(jìn)行場(chǎng)景組合。多通道輸出技術(shù)需結(jié)合多臺(tái)投影儀共同輸出完成試驗(yàn)展示。

多通道視頻輸出效果和場(chǎng)景漫游效果如圖3所示。由圖3(a)可知，左右兩邊圖像模仿人的左右兩眼，畫面具有非常高的立體感，帶給參與人員極高的參與感。虛擬人向前行進(jìn)和向右轉(zhuǎn)彎的場(chǎng)景漫游效果如圖3(b)所示。所設(shè)計(jì)的變電站仿真培訓(xùn)系統(tǒng)能夠?qū)崿F(xiàn)一、二次設(shè)備的漫游仿真，逼真顯示虛擬人物的轉(zhuǎn)動(dòng)和漫游。結(jié)合虛擬變電站效果圖可以看出，所構(gòu)建的變電站沉浸式仿真培訓(xùn)系統(tǒng)逼真且清晰。

圖3 多通道視頻輸出效果和場(chǎng)景漫游效果

兩種仿真培訓(xùn)系統(tǒng)優(yōu)劣對(duì)比如表2所示。在體驗(yàn)感和沉浸感方面，沉浸式仿真培訓(xùn)系統(tǒng)都強(qiáng)得多。在實(shí)時(shí)性和開發(fā)性方面，原有仿真培訓(xùn)系統(tǒng)也不如沉浸式仿真培訓(xùn)系統(tǒng)。原有仿真培訓(xùn)系統(tǒng)在系統(tǒng)集成方面效果較好，但是它并不具有交互多樣性。由表2可知，沉浸式仿真培訓(xùn)系統(tǒng)性能更優(yōu)，更加適用于當(dāng)前我國(guó)變電站仿真培訓(xùn)系統(tǒng)。

表2 兩種仿真培訓(xùn)系統(tǒng)優(yōu)劣對(duì)比

2.2 識(shí)別率效果分析

由于捕捉范圍對(duì)人體動(dòng)作識(shí)別率的影響極大，首先設(shè)置0.5～2.0 mm、2.0～3.5 mm、3.5～5.0 mm這3種捕捉范圍內(nèi)的識(shí)別率情況。人體動(dòng)作識(shí)別準(zhǔn)確率對(duì)比如圖4所示。

圖4 人體動(dòng)作識(shí)別準(zhǔn)確率對(duì)比

圖4中，動(dòng)作1～8分別為原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳。捕捉范圍為5.0～2.0 mm時(shí)，動(dòng)作1～動(dòng)作8的識(shí)別準(zhǔn)確率為96%、94%、94%、93%、98%、92%、94%、81%。在捕捉范圍為3.5～5.0 mm時(shí)，相比較于0.5～2.0 mm捕捉范圍的準(zhǔn)確率，8種動(dòng)作的識(shí)別準(zhǔn)確率均有所提高，提高幅度約為1%。在捕捉范圍為2.0～3.5 mm時(shí)，8種動(dòng)作的準(zhǔn)確率均比0.5～2.0 mm捕捉范圍的識(shí)別準(zhǔn)確率更低。綜上分析，Kinect體態(tài)識(shí)別技術(shù)的最佳捕捉范圍為2.0～3.5 mm。

研究選取不同身高、體重、性別的試驗(yàn)人員，人數(shù)總計(jì)為60人，抽取200次數(shù)據(jù)結(jié)果。人體動(dòng)作識(shí)別準(zhǔn)確率統(tǒng)計(jì)結(jié)果如圖5所示。

圖5 人體動(dòng)作識(shí)別準(zhǔn)確率統(tǒng)計(jì)結(jié)果

圖5中，動(dòng)作1～動(dòng)作8分別為原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳。在采集到的200個(gè)樣本中，動(dòng)作1～動(dòng)作8的樣本數(shù)量分別為24、26、30、30、32、16、24、18，相應(yīng)的識(shí)別準(zhǔn)確率分別為95%、93%、93%、92%、97%、91%、93%、80%。從整體來(lái)看，左手朝胸部揮動(dòng)作的識(shí)別準(zhǔn)確率最高，而手握拳的識(shí)別準(zhǔn)確率最低。

3 結(jié)論

針對(duì)目前變電站仿真培訓(xùn)系統(tǒng)存在體驗(yàn)感不足、交互性低等現(xiàn)狀，本研究利用虛擬現(xiàn)實(shí)技術(shù)，提出一種新的沉浸式培訓(xùn)系統(tǒng)設(shè)計(jì)方案。該方案利用多通道視頻輸出技術(shù)和Kinect體感的交互虛擬技術(shù)，構(gòu)建了一種體驗(yàn)感和互動(dòng)性更強(qiáng)的沉浸式仿真培訓(xùn)系統(tǒng)。對(duì)比不同捕捉范圍的識(shí)別準(zhǔn)確率，確定Kinect體態(tài)識(shí)別技術(shù)的最佳捕捉范圍為2.0～3.5 mm。原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳的識(shí)別準(zhǔn)確率分別為96%、94%、94%、93%、98%、92%、94%、81%。200次抽樣數(shù)據(jù)中，左手朝胸部揮動(dòng)作和手握拳動(dòng)作的識(shí)別準(zhǔn)確率分別是最高和最低的。

通過(guò)對(duì)原有仿真培訓(xùn)系統(tǒng)和沉浸式仿真培訓(xùn)性能的對(duì)比分析可知，變電站沉浸式仿真培訓(xùn)系統(tǒng)的交互多樣性更強(qiáng)、實(shí)時(shí)性更高、體驗(yàn)感更強(qiáng)、系統(tǒng)集成開發(fā)功能更優(yōu)。由于現(xiàn)有Kinect體感交互技術(shù)在識(shí)別虛擬人物轉(zhuǎn)向方面還存在一些缺陷，因此識(shí)別的速度和精度還需要進(jìn)一步提高。這也是未來(lái)需要突破的方向。