混合現(xiàn)實(shí)技術(shù)的運(yùn)檢作業(yè)支持系統(tǒng)的研究

國網(wǎng)湖北省電力有限公司檢修公司 趙 然 汪楊凱 李云越 曾宏宇 葉 雷

設(shè)備的維護(hù)及檢修方法通常以電子文檔的形式進(jìn)行存儲和記錄，在檢修過程中，運(yùn)檢人員需提前打印標(biāo)準(zhǔn)化作業(yè)指導(dǎo)卡，按照作業(yè)指導(dǎo)卡的內(nèi)容開展檢修工作，然而由于運(yùn)檢人員的技能水平參差不齊、作業(yè)指導(dǎo)卡的內(nèi)容很難體現(xiàn)和指導(dǎo)現(xiàn)場檢修工藝的實(shí)際過程，導(dǎo)致現(xiàn)場運(yùn)檢效率較低，本文提出采用一種基于混合現(xiàn)實(shí)技術(shù)的運(yùn)檢作業(yè)支持系統(tǒng)，該系統(tǒng)不僅能夠使運(yùn)檢人員直觀的了解維護(hù)及檢修工作內(nèi)容，也可以作為維護(hù)及檢修過程優(yōu)化的參考依據(jù)。

目前，變電站運(yùn)檢人員對設(shè)備的培訓(xùn)學(xué)習(xí)主要通過圖紙、培訓(xùn)課件、檢修期間設(shè)備的解體檢修或者進(jìn)入設(shè)備制造廠來了解設(shè)備的結(jié)構(gòu)原理，學(xué)習(xí)周期較長；在對設(shè)備進(jìn)行檢修或者操作時，運(yùn)檢人員需對設(shè)備結(jié)構(gòu)比較了解，按照標(biāo)準(zhǔn)化作業(yè)指導(dǎo)卡上的流程進(jìn)行作業(yè)，每完成一項(xiàng)內(nèi)容進(jìn)行打勾確認(rèn)，然而由于編制標(biāo)準(zhǔn)化作業(yè)指導(dǎo)卡的人員素質(zhì)不一、運(yùn)檢人員技能水平參差不齊，導(dǎo)致標(biāo)準(zhǔn)化作業(yè)指導(dǎo)卡的可參考性較低，工作效率較低。

1 混合現(xiàn)實(shí)技術(shù)（MR）

混合現(xiàn)實(shí)技術(shù)（MR）通過在虛擬環(huán)境中引入現(xiàn)實(shí)場景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。通過 HoloLens 創(chuàng)建并呈現(xiàn)全息圖（Hologram），全息圖可包含聲音，并且可以從 Hologram 所處空間的真實(shí)位置發(fā)出，通過揚(yáng)聲器實(shí)現(xiàn)。全息圖不僅可以用手勢交互，當(dāng)你發(fā)出語音指令時，也會收到相應(yīng)的回復(fù)，實(shí)現(xiàn)交互。如圖1所示。

2 在變電站中的應(yīng)用設(shè)想

利用混合現(xiàn)實(shí)技術(shù)（MR）的技術(shù)特點(diǎn)，通過MR技術(shù)在實(shí)際設(shè)備上實(shí)現(xiàn)標(biāo)準(zhǔn)化操作和作業(yè)，再把實(shí)操實(shí)訓(xùn)和逼真的事故預(yù)演結(jié)合起來，使運(yùn)檢人員在知道怎么做的情況下，同時知道什么不能做，積極主動的掌握知識點(diǎn)和技能，以達(dá)到技能和安全水平同步提高的目的。

以400V開關(guān)和1000kV HGIS開關(guān)間隔為例，對復(fù)雜的盤柜進(jìn)行虛擬再現(xiàn)，對盤柜的各個零件進(jìn)行三維建模，再程序編寫生成一個可以與實(shí)際盤柜1:1還原的虛擬盤柜，實(shí)現(xiàn)設(shè)備內(nèi)部物理結(jié)構(gòu)仿真，以及設(shè)備的虛擬裝備和拆解，正確反映不同狀態(tài)。

圖1 混合現(xiàn)實(shí)顯示設(shè)備圖示

3 實(shí)現(xiàn)的預(yù)期功能

二維碼識別：通過二維碼的獲取來實(shí)現(xiàn)相關(guān)應(yīng)用指令的切換。

設(shè)備虛擬拆裝：通過虛擬仿真形式的拆裝來幫助運(yùn)檢人員全面了解設(shè)備形狀、尺寸、內(nèi)部結(jié)構(gòu)以及裝配關(guān)系等。

實(shí)時數(shù)據(jù)三維可視化：對于運(yùn)檢數(shù)據(jù)提供出三維可視化功能，幫助運(yùn)檢人員對相應(yīng)情況做到更加直觀的了解。

遠(yuǎn)程專家輔助：通過專家遠(yuǎn)程介入的方式幫助運(yùn)檢人員解決無法自主解決的問題。

4 系統(tǒng)中各個功能模塊的設(shè)計(jì)及其實(shí)現(xiàn)分析

4.1 二維碼識別模塊

在這一系統(tǒng)中，主要的人工識別形式就是二維碼，以此來對URL地址以及電力設(shè)備進(jìn)行識別。具體識別過程中，借助于HoloLens眼鏡對二維碼進(jìn)行掃描，以此來實(shí)現(xiàn)二維碼信息的獲取，并根據(jù)獲取到的信息完成相關(guān)應(yīng)用指令的切換。在該系統(tǒng)中，二維碼識別被用作每一項(xiàng)功能的入口，它有著正確性、實(shí)時性等的性能優(yōu)勢，可以為用戶帶來更好的應(yīng)用體驗(yàn)。

系統(tǒng)應(yīng)用中，該技術(shù)主要是把原本已經(jīng)十分成熟的條形碼識別技術(shù)ZXing作為基礎(chǔ)來實(shí)現(xiàn)的一種先進(jìn)技術(shù)。之所以不直接采用ZXing技術(shù)來識別，是由于該技術(shù)需要對多種情況進(jìn)行綜合考慮，并兼顧多種條形碼以及低端手機(jī)的識別，所以其掃描程序的實(shí)現(xiàn)速度就非常慢，有時甚至?xí)霈F(xiàn)無法識別的情況。基于此，該系統(tǒng)對這一技術(shù)進(jìn)行了優(yōu)化，讓二維碼識別速度和識別精度都實(shí)現(xiàn)了進(jìn)一步的提升。同時，該系統(tǒng)也可以通過Air tao手勢來實(shí)現(xiàn)識別程序的激活，并根據(jù)不同的提示音來判斷是否識別成功。

4.2 設(shè)備虛擬拆裝功能

在該系統(tǒng)中，設(shè)備虛擬拆裝功能屬于一項(xiàng)核心功能，通過該功能的實(shí)現(xiàn)，可以對一線運(yùn)檢工作人員了解變電站各個設(shè)備的形狀、尺寸、結(jié)構(gòu)以及裝配關(guān)系等的這些信息起到至關(guān)重要的輔助作用。

在該系統(tǒng)的具體應(yīng)用中，通過語音識別的形式來操作和轉(zhuǎn)換各個設(shè)備的三維模型。但是由于系統(tǒng)中應(yīng)用的HoloLens并沒有識別中文的能力，所以系統(tǒng)的語音識別為英文形式。在“move model”這一語音指令輸入到系統(tǒng)之后，用戶可以借助于拖拽手勢將對模型進(jìn)行位置移動；在“rotate model”這一語音指令輸入到系統(tǒng)之后，用戶可拖拽模型實(shí)現(xiàn)旋轉(zhuǎn)，這樣就可以對模型的各個角度進(jìn)行細(xì)致觀察；在“expand model”這一語音指令輸入到系統(tǒng)之后，設(shè)備會自動將三維模型中的各個部件拆分開來，以此來為用戶的觀察提供足夠便利，在此過程中，用戶也可以對設(shè)備中的各個部件進(jìn)行裝配等的相關(guān)操作。在“reste model”這一語音指令被系統(tǒng)接收之后，原本拆解的三維設(shè)備模型將會自動復(fù)原。

4.3 數(shù)據(jù)的實(shí)時三維可視化

在進(jìn)行變電站的運(yùn)行檢查中，工作人員最關(guān)注的內(nèi)容就是各個設(shè)備具體的運(yùn)行狀況，所以在該系統(tǒng)的設(shè)計(jì)中，就引入了數(shù)據(jù)的實(shí)時三維可視化模塊設(shè)計(jì)。

具體設(shè)計(jì)中，系統(tǒng)后端主要通過KEP-Server來實(shí)現(xiàn)OPC形式的服務(wù)器建設(shè)，通過這樣的方式，就可以讓OPC形式的數(shù)據(jù)得到實(shí)時接收，然后用JAVA來編寫相應(yīng)的接口程序，并對OPC形式的數(shù)據(jù)做打包處理，最后將打包好的JSON格式數(shù)據(jù)傳遞給系統(tǒng)前端，使其在WebSocket這一技術(shù)的支撐作用下為客戶端建立起全雙工形式的實(shí)時通信。對于接收到的OPC數(shù)據(jù)，該系統(tǒng)將WebGL技術(shù)作為基礎(chǔ)，對Three js引擎進(jìn)行開發(fā)，這樣就實(shí)現(xiàn)了OPC數(shù)據(jù)的三維可視化功能。借助于這個三維可視化引擎，可以將OPC數(shù)據(jù)顯示在一個三維形式的場景內(nèi)，在顏色、形狀數(shù)據(jù)的實(shí)時變化過程中，這個三維場景內(nèi)的模型也會隨之變化，并提供了實(shí)時報(bào)警等的諸多功能。

在具體應(yīng)用中，首先借助于HoloLens這一混合現(xiàn)實(shí)設(shè)備來進(jìn)行二維碼掃描，進(jìn)而將制定的Web頁面打開，這樣就可以實(shí)現(xiàn)對實(shí)時數(shù)據(jù)以及三維模型的訪問。為了讓三維場景具有更強(qiáng)的沉浸感，頁面背景設(shè)置為透明形式，并支持全屏顯示。在系統(tǒng)測試中，主要是借助于OPC模擬數(shù)據(jù)的形式進(jìn)行測試。

4.4 遠(yuǎn)程專家輔助功能

在具體的變電站運(yùn)檢工作中，如果一線運(yùn)檢工作人員遇到了十分復(fù)雜的問題，不能自主進(jìn)行解決，此時就需要通過專家的指導(dǎo)和幫助來解決相應(yīng)的問題。在這樣的情況下，遠(yuǎn)程專家的實(shí)時介入就變得至關(guān)重要。基于此，在該系統(tǒng)中，就為運(yùn)檢工作人員提供了遠(yuǎn)程專家輔助功能。該功能的實(shí)現(xiàn)主要是將云平臺作為基礎(chǔ)，以此來實(shí)現(xiàn)專家的遠(yuǎn)程輔助，并通過該平臺提供出相應(yīng)的方案來解決為題。

此系統(tǒng)主要通過Ubuntu這一云平臺系統(tǒng)內(nèi)的Nginx實(shí)現(xiàn)Web服務(wù)器建設(shè)，然后借助于WebRTC（網(wǎng)頁實(shí)時通信）技術(shù)來進(jìn)行遠(yuǎn)程專家輔助系統(tǒng)的開發(fā)。在該系統(tǒng)的具體應(yīng)用中，如果一線運(yùn)檢工作人員遇到了無法自主解決的問題，可以請專家進(jìn)入系統(tǒng)為其提供的虛擬會議室，通過HoloLens將相應(yīng)的信息以第一視角音視頻形式發(fā)給專家，在接收到相應(yīng)的信息之后，專家便可按實(shí)際情況和現(xiàn)場工作人員進(jìn)行溝通，以此來為一線運(yùn)檢工作人員提供專業(yè)性的指導(dǎo)。通過這樣的方式，就可以幫助一線運(yùn)檢工作人員及時有效地解決遇到的難題。

結(jié)語：綜上所述，在當(dāng)今的變電站運(yùn)檢工作中，傳統(tǒng)的運(yùn)檢方式已經(jīng)難以滿足變電站實(shí)際的運(yùn)檢需求，所以就需要應(yīng)用到更加科學(xué)、先進(jìn)的運(yùn)檢技術(shù)和運(yùn)檢系統(tǒng)。通過利用混合現(xiàn)實(shí)技術(shù)（MR）對復(fù)雜盤柜進(jìn)行虛擬再現(xiàn)，可以與真實(shí)設(shè)備結(jié)合，更加準(zhǔn)確真實(shí)的對設(shè)備虛擬裝備和拆解，使運(yùn)檢人員能夠直觀的了解設(shè)備內(nèi)部結(jié)構(gòu)，提高工作和培訓(xùn)學(xué)習(xí)效率。因此，在具體的變電站運(yùn)檢中，電力企業(yè)一定要注重混合現(xiàn)實(shí)技術(shù)的合理應(yīng)用，并通過相應(yīng)系統(tǒng)的建立來提升該技術(shù)的應(yīng)用效果，以此來全面提升運(yùn)檢質(zhì)量，保障電力供應(yīng)效果。