基于MR技術(shù)的配電房運(yùn)檢系統(tǒng)研究設(shè)計(jì)

張珊茹， 劉彬博， 秦方博， 許舒婷， 曾繁， 鄭筱瑩

(廣州城市理工學(xué)院，電氣工程學(xué)院，廣東，廣州 510800)

0 引言

隨著時(shí)代的發(fā)展，室內(nèi)工作人員較好地享受到了手機(jī)、電腦等二維產(chǎn)品帶來的賦能。在這場(chǎng)信息工業(yè)革命中，那些在外辦公、用手組裝、維護(hù)、修理、檢查和操作對(duì)象的戶外工作者卻鮮少受益，一線工作者尋求解放雙手、隨身移動(dòng)的AI產(chǎn)品的需求也日漸突出。在配電房的業(yè)務(wù)中，巡檢人員缺乏統(tǒng)一的評(píng)判標(biāo)準(zhǔn)、數(shù)據(jù)的整合調(diào)用；維修人員無法及時(shí)接收維修指令，維修故障類型眾多，專業(yè)師傅的培訓(xùn)無法全方位照顧到被培訓(xùn)者；傳統(tǒng)技術(shù)手冊(cè)不夠直觀，技術(shù)人員無法解放雙手，難以將現(xiàn)場(chǎng)情況實(shí)時(shí)反饋至專家以尋求幫助等問題與人們新時(shí)代下信息化、智能化、物聯(lián)化的需求相悖[1]。因此，本系統(tǒng)利用MR技術(shù)結(jié)合電力運(yùn)維，設(shè)計(jì)符合時(shí)代發(fā)展的操作系統(tǒng)以解決配電房運(yùn)檢工作及培訓(xùn)中存在的問題。本系統(tǒng)使用HoloLens混合現(xiàn)實(shí)設(shè)備進(jìn)行作業(yè)，人們無須攜帶手持設(shè)備或低頭緊盯屏幕，除了呈現(xiàn)二維信息外，更能在三維空間與使用者進(jìn)行交互，從而幫助用戶實(shí)現(xiàn)輕松的閱讀、查看、調(diào)用、操作、聯(lián)系處理等功能以提高配電房運(yùn)維作業(yè)和實(shí)操培訓(xùn)的效率，真正實(shí)現(xiàn)輕裝作業(yè)、智能化運(yùn)維[2]。

1 研究設(shè)計(jì)

1.1 系統(tǒng)功能

圍繞配電房3種業(yè)務(wù)模式設(shè)置巡檢流程、檢修項(xiàng)目以及輔助安裝3種業(yè)務(wù)場(chǎng)景。圖1為功能設(shè)計(jì)圖。

圖1 功能設(shè)計(jì)圖

巡檢流程：根據(jù)HoloLens頭顯的指示按照一定順序執(zhí)行，巡檢人員必須按照巡檢要求對(duì)設(shè)備進(jìn)行細(xì)致的檢查，并通過語音或者文字交互的方式錄入具體故障情況。巡檢人員可以查看以往巡檢記錄了解本配電房的巡檢狀況和設(shè)備的臺(tái)賬信息，還可以查看內(nèi)置的標(biāo)準(zhǔn)化機(jī)柜參數(shù)來甄別故障并防止誤導(dǎo)性的目視檢查。

檢修項(xiàng)目：接收到檢修任務(wù)的運(yùn)維人員針對(duì)故障問題進(jìn)行維保。通過瀏覽指導(dǎo)操作視頻或查找相關(guān)技術(shù)手冊(cè)了解具體的步驟，如遇維修困難也可遠(yuǎn)程聯(lián)系專家進(jìn)行指導(dǎo)。專家可以通過電腦屏幕截圖畫面并畫筆標(biāo)注傳回到眼鏡的顯示界面中，有利于維修人員更好地判斷故障問題。

輔助安裝：即在開關(guān)柜等設(shè)備投運(yùn)前進(jìn)行接線的相關(guān)操作。安裝人員可以根據(jù)視頻及輔助安裝的3D動(dòng)畫明確2個(gè)接線端口之間的接線情況，必要時(shí)還可查看安裝技術(shù)規(guī)范。

1.2 系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)主要分為基礎(chǔ)層、技術(shù)層、應(yīng)用層、功能層。基礎(chǔ)層即設(shè)備實(shí)現(xiàn)的基本軟硬件環(huán)境；技術(shù)層即本系統(tǒng)運(yùn)用到的相關(guān)技術(shù)；應(yīng)用層即本系統(tǒng)針對(duì)配電房運(yùn)維業(yè)務(wù)中的3種人員設(shè)計(jì)的應(yīng)用模式；功能層即本系統(tǒng)能夠?qū)崿F(xiàn)的功能需求，本系統(tǒng)架構(gòu)設(shè)計(jì)如圖2所示。

圖2 本系統(tǒng)架構(gòu)設(shè)計(jì)圖

1.3 巡檢設(shè)計(jì)要求

巡檢人員在檢查配電房的運(yùn)行狀況時(shí)，需要保證配電房溫度、濕度適宜，無小動(dòng)物入侵，記錄電壓、電流、功率因數(shù)、溫度、濕度等參數(shù)，并確認(rèn)線路、套管、指示燈、顯示屏、保護(hù)等元件是否一切正常，有無異味氣體、異常聲音、氧化變色或放電現(xiàn)象導(dǎo)致的開關(guān)觸頭灼燒等問題。由于設(shè)備長(zhǎng)年累月運(yùn)行，必然會(huì)造成一定的老化和磨損，巡檢人員在進(jìn)行正常的巡檢流程后需要填寫巡檢表單并上報(bào)故障問題，待維修人員處理故障情況，重新投入運(yùn)行。圖3為巡檢表單設(shè)計(jì)。

圖3 巡檢表單設(shè)計(jì)

2 關(guān)鍵技術(shù)

2.1 軟硬件開發(fā)環(huán)境

基于市面上最優(yōu)秀的混合現(xiàn)實(shí)設(shè)備HoloLens(見圖4)和Unity3D引擎平臺(tái)進(jìn)行開發(fā)。硬件環(huán)境方面：使用HoloLens一代頭顯設(shè)備、GTX1070以上的獨(dú)立顯卡或神經(jīng)計(jì)算加速設(shè)備。

圖4 HoloLens一代頭顯設(shè)備

軟件環(huán)境方面：使用C#編程語言控制客戶端并作為開發(fā)語言，編譯環(huán)境以Visual Studio 2019編寫各種腳本運(yùn)行，服務(wù)器使用的核心軟件環(huán)境包括JRE、Python、TensorFlow、Keras。使用的筆記本搭載Windows 10作為操作系統(tǒng)，基于Unity中的跨平臺(tái)功能，可以輕松地將項(xiàng)目部署到HoloLens和移動(dòng)設(shè)備。結(jié)合Microsoft正式發(fā)布推出的面向混合現(xiàn)實(shí)應(yīng)用程序的工具，一個(gè)開源跨平臺(tái)開發(fā)工具M(jìn)RTK v2，將Unity3D與MRTK v2相結(jié)合快速構(gòu)建原型，使其成為集合模型、腳本及控制模塊的綜合軟件平臺(tái)。利用官方提供的HoloToolkit包，將Unity3D中的程序發(fā)布到HoloLens混合現(xiàn)實(shí)端，該開發(fā)包可以在Unity3D的操作界面里模擬混合現(xiàn)實(shí)端的視野以及人機(jī)交互的功能。

2.2 人機(jī)交互技術(shù)

2.2.1 人機(jī)交互方式

人機(jī)交互功能包括Gaze交互、Gesture交互、Voice交互。其中，Gesture交互作為最常使用也是最主要的交互方式之一，在實(shí)際的交互中不會(huì)只有一種交互方式，一般是兩種以上相結(jié)合形成交互，將其結(jié)合凝視交互，并使用語音交互作為輔助。凝視交互相當(dāng)于光標(biāo)，而手勢(shì)交互相當(dāng)于鼠標(biāo)左鍵[3]。

2.2.2 人機(jī)交互設(shè)計(jì)

共設(shè)計(jì)了4種人機(jī)交互功能。

(1)設(shè)備信息狀態(tài)查看功能設(shè)計(jì)。巡檢人員帶上HoloLens頭顯，即可顯示配電房開關(guān)柜的詳細(xì)信息和實(shí)際運(yùn)行狀態(tài)參數(shù)。

(2)巡檢、維保指引功能設(shè)計(jì)。技術(shù)人員在本系統(tǒng)根據(jù)自動(dòng)提示逐一核對(duì)操作內(nèi)容，巡檢人員可以將設(shè)備的運(yùn)行狀態(tài)和參數(shù)通過語音或內(nèi)置鍵盤方式記錄。通過Gesture交互方式勾選確認(rèn)今天已完成并且無問題的選項(xiàng)，維保安裝人員可以根據(jù)視頻、語音、3D動(dòng)畫完成相關(guān)指令。

(3)表單上傳調(diào)用功能設(shè)計(jì)。在巡檢過程中可以調(diào)用以往數(shù)據(jù)輔助判斷，當(dāng)發(fā)現(xiàn)有不達(dá)標(biāo)或者故障設(shè)備時(shí)填寫表單，將故障指令上傳回終端。

(4)遠(yuǎn)程協(xié)作功能設(shè)計(jì)。當(dāng)檢修安裝人員需要幫助時(shí)，遠(yuǎn)程專家通過Mesh可以在任何地方出現(xiàn)，專家可以疊加情景數(shù)據(jù)幫助一線人員更快速有效地解決問題[4]。

2.3 全息可視化虛擬協(xié)作技術(shù)

利用Microsoft Mesh，一個(gè)混合現(xiàn)實(shí)平臺(tái)，使用戶具有身臨其境的臨場(chǎng)協(xié)同感受，用戶可以在各種平臺(tái)設(shè)備與3D內(nèi)容進(jìn)行交互式體驗(yàn)[5]。

通過采用Dynamics 365 Remote Assist + HoloLens的解決方案，即使專家不在場(chǎng)也能幫助身處異地的一線工作者與其進(jìn)行溝通，查看對(duì)方現(xiàn)場(chǎng)的情況。Azure的云端架構(gòu)可以與企業(yè)現(xiàn)有生產(chǎn)管理系統(tǒng)相結(jié)合，幫助企業(yè)更好地實(shí)現(xiàn)跨地區(qū)、跨部門的全息可視化溝通與協(xié)同。

2.4 空間錨點(diǎn)技術(shù)

為了防止混合現(xiàn)實(shí)應(yīng)用中的數(shù)字信息在現(xiàn)實(shí)物理世界中發(fā)生漂移，必須利用空間錨點(diǎn)技術(shù)保證物體的定位和方向?qū)ΜF(xiàn)實(shí)世界進(jìn)行視覺錨定。在眼鏡中的全息圖通過用戶的凝視和空間錨技術(shù)被移動(dòng)固定到現(xiàn)實(shí)世界的某一個(gè)位置，其能夠保持該物體在原來的位置，還能將空間中這些地圖信息和所在點(diǎn)的數(shù)據(jù)信息保存在本地存儲(chǔ)并在后續(xù)不斷更新[6]。

本項(xiàng)目利用空間錨點(diǎn)技術(shù)在云中對(duì)真實(shí)物理世界中的設(shè)備進(jìn)行數(shù)據(jù)化表示，實(shí)現(xiàn)設(shè)備數(shù)據(jù)的展示，對(duì)設(shè)備的相關(guān)信息內(nèi)容進(jìn)行數(shù)字化展示，即戴上HoloLens頭顯可以看到相關(guān)的信息，根據(jù)用戶及設(shè)備之間的定位，將設(shè)備虛擬信息在現(xiàn)實(shí)設(shè)備上疊加顯現(xiàn)。

2.5 視頻播放的實(shí)現(xiàn)

新建一個(gè)plane用來放置播放的視頻，如技術(shù)指導(dǎo)視頻；再創(chuàng)建一個(gè)Render Texture渲染器和一個(gè)Material材質(zhì)球，在材質(zhì)球上添加渲染器，材質(zhì)球的著色器選擇UI/default，并將倒閘操作的視頻放入Video Clip；再將創(chuàng)建好的Render Texture渲染器放入Render Mode渲染模式；最后將材質(zhì)球拖曳到我們的平面即可。

2.6 上傳調(diào)用的實(shí)現(xiàn)

巡檢人員針對(duì)巡檢過程中的事件進(jìn)行記錄，并將記錄結(jié)果上傳到后臺(tái)服務(wù)器，再由后臺(tái)服務(wù)器進(jìn)行轉(zhuǎn)儲(chǔ)操作等相關(guān)處理。事件記錄上傳處理技術(shù)基于WebAPI技術(shù)實(shí)現(xiàn)，后臺(tái)服務(wù)器響應(yīng)事件記錄請(qǐng)求處理，由SpringBoot框架技術(shù)、MySQL實(shí)現(xiàn)進(jìn)行數(shù)據(jù)的接收和存儲(chǔ)。大致流程是：用戶完成對(duì)巡檢事件狀態(tài)值的設(shè)定后進(jìn)行提交，應(yīng)用邏輯會(huì)處理表單數(shù)據(jù)，基于HTTP協(xié)議把表單數(shù)據(jù)上傳到后臺(tái)服務(wù)器，由后臺(tái)服務(wù)器接受來自用戶應(yīng)用的請(qǐng)求，對(duì)用戶應(yīng)用請(qǐng)求中攜帶的數(shù)據(jù)參數(shù)進(jìn)行處理，并把數(shù)據(jù)更新到MySQL數(shù)據(jù)庫(kù)中，整個(gè)事件記錄的過程就完成了。

用戶查看上傳到后臺(tái)的事件記錄，可以在前端頁(yè)面進(jìn)行操作，后臺(tái)服務(wù)器會(huì)對(duì)操作進(jìn)行處理，從MySQL數(shù)據(jù)庫(kù)中讀取事件記錄數(shù)據(jù)，而后在前端用戶界面渲染輸出事件記錄數(shù)據(jù)。

3 應(yīng)用效果

當(dāng)用戶佩戴上Microsoft HoloLens頭顯并打開設(shè)備后，它將自動(dòng)掃描以獲取空間Mesh網(wǎng)格數(shù)據(jù)，并使用法線確定空間平面的類型。在用戶走動(dòng)時(shí)HoloLens將會(huì)自動(dòng)掃描和更新空間數(shù)據(jù)，并在用戶當(dāng)前環(huán)境中集成疊加配電房的1∶1全息圖像。

本系統(tǒng)包括巡檢流程、檢修項(xiàng)目、輔助安裝項(xiàng)目三大部分。

第一部分為巡檢流程。被分配到任務(wù)的巡檢人員登錄進(jìn)入菜單欄，根據(jù)不同配電房的要求完成不同的巡檢指令，并記錄運(yùn)檢結(jié)果。當(dāng)發(fā)現(xiàn)有不達(dá)標(biāo)或者設(shè)備故障時(shí)填寫表單，說明故障問題，故障指令上傳回系統(tǒng)，實(shí)現(xiàn)效果如圖5、圖6所示。

圖5 安全制度及巡檢路線

圖6 巡檢表單后臺(tái)傳回?cái)?shù)據(jù)

第二部分為檢修項(xiàng)目。檢修人員根據(jù)巡檢人員發(fā)現(xiàn)的故障問題及時(shí)辦理工作票并開展檢修工作。通過查看操作規(guī)范視頻或技術(shù)手冊(cè)資料實(shí)時(shí)指引維修人員了解操作要點(diǎn)(見圖7)。

圖7 三維指導(dǎo)維修操作

第三部分為輔助安裝項(xiàng)目。安裝人員在配電房投產(chǎn)之前都需對(duì)配電柜進(jìn)行接線。根據(jù)本系統(tǒng)的輔助安裝教程和相關(guān)圖紙進(jìn)行接線(見圖8)，在完成各個(gè)配電柜的安裝并經(jīng)過檢測(cè)人員調(diào)試并驗(yàn)收合格后，即可投產(chǎn)到實(shí)際運(yùn)行中。

圖8 配電柜輔助安裝指導(dǎo)操作

4 總結(jié)

結(jié)合新時(shí)代下人們對(duì)于信息化、智能化、物聯(lián)網(wǎng)化的需求，通過Unity3D進(jìn)行業(yè)務(wù)開發(fā)，針對(duì)3種業(yè)務(wù)模式設(shè)計(jì)本系統(tǒng)的應(yīng)用滿足配電房運(yùn)維業(yè)務(wù)以及一線工作者尋求高效、輕裝作業(yè)的產(chǎn)品需求，使配電房運(yùn)檢工作管理更趨近智能化和現(xiàn)代化，從而進(jìn)一步提高檢查和維護(hù)效率，推動(dòng)電力運(yùn)檢工作的標(biāo)準(zhǔn)化、管理科學(xué)智能化和設(shè)備監(jiān)視自動(dòng)化，提高供配電設(shè)備的穩(wěn)定性和可靠性，具有一定的市場(chǎng)應(yīng)用價(jià)值。