基于混合現(xiàn)實(shí)技術(shù)探究工業(yè)智能運(yùn)維系統(tǒng)的設(shè)計(jì)與應(yīng)用

李海濤 林建雄 李秋婷 魏晉宏 韓宇

[摘? ? 要]在工業(yè)智能化的過程中，混合現(xiàn)實(shí)技術(shù)發(fā)揮了很大的作用，其現(xiàn)實(shí)和交互層的運(yùn)用，為機(jī)械設(shè)備的運(yùn)行與維護(hù)提供擬人化的功能設(shè)計(jì)，具有很廣闊的應(yīng)用前景，文章基于混合現(xiàn)實(shí)技術(shù)，對工業(yè)智能運(yùn)維系統(tǒng)進(jìn)行了設(shè)計(jì)和研究。

[關(guān)鍵詞]混合現(xiàn)實(shí)技術(shù);工業(yè)智能;運(yùn)維系統(tǒng)

[中圖分類號]TP391.9;TP399-CA [文獻(xiàn)標(biāo)志碼]A [文章編號]2095–6487（2021）10–00–02

Exploring the design and application of industrial intelligent operation and

maintenance system based on mixed reality technology

Li Hai-tao，Lin Jian-xiong，Li Qiu-ting，Wei Jin-hong，Han Yu

[Abstract]In the process of industrial intelligence， mixed reality technology has played a very important role. The use of its reality and interactive layer provides anthropomorphic functional design for the operation and maintenance of mechanical equipment. It has a very broad application prospect. Based on the mixed reality technology， the industrial intelligent operation and maintenance system is designed and researched.

[Keywords]mixed reality technology; industrial intelligence; operation and maintenance system

混合現(xiàn)實(shí)技術(shù)是當(dāng)前所有主流先進(jìn)技術(shù)的集成。其在運(yùn)維系統(tǒng)的應(yīng)用展示了很好的兼容性和交互性，為工廠車間的機(jī)床設(shè)備提供了全面的維護(hù)保養(yǎng)，高超的智能化完成了可以替代人的檢修任務(wù)，值得推廣和普及。

1 基于智能運(yùn)維系統(tǒng)的搭建

1.1 整體系統(tǒng)架構(gòu)

從整體看，混合現(xiàn)實(shí)技術(shù)（MR）是目前各種先進(jìn)技術(shù)的集成（圖1），MR就是VR技術(shù)、XR技術(shù)、AR技術(shù)等技術(shù)的聚集。混合現(xiàn)實(shí)技術(shù)由多層結(jié)構(gòu)組成，主要包括數(shù)據(jù)接入、邊緣設(shè)備、應(yīng)用業(yè)務(wù)、存儲(chǔ)數(shù)據(jù)、應(yīng)用實(shí)踐等結(jié)構(gòu)層次。

邊緣設(shè)備層的作用是采集安置在車間設(shè)備、車間監(jiān)控、工控設(shè)計(jì)端的大量傳感器輸送的各類信息數(shù)據(jù)。這是本套系統(tǒng)得以順利運(yùn)行所具備的前提條件。

數(shù)據(jù)接入層是按照實(shí)際情況對數(shù)據(jù)實(shí)施整個(gè)過濾和分流管理，同時(shí)把數(shù)據(jù)全部存入相同的空間里，也就是智慧云平臺(tái)。這個(gè)平臺(tái)還能存儲(chǔ)通過外部接口接入的外部信息數(shù)據(jù)，并且還能把通過上層應(yīng)用分析而產(chǎn)生的各種數(shù)據(jù)存儲(chǔ)起來，其中包括但不僅限于運(yùn)維操作流程、故障案列數(shù)據(jù)和及巡檢作業(yè)數(shù)據(jù)。通過智慧化認(rèn)知分析網(wǎng)絡(luò)實(shí)施處理后，這些數(shù)據(jù)會(huì)通過數(shù)據(jù)接口來對兩大應(yīng)用方向提供有力的支撐：①三大本系統(tǒng)里業(yè)務(wù)應(yīng)用層的運(yùn)維模塊，②其他上級或平行系統(tǒng)里的應(yīng)用內(nèi)容，如智慧廠區(qū)系統(tǒng)和其子應(yīng)用。

業(yè)務(wù)應(yīng)用層是這套系統(tǒng)的核心部分，包括多個(gè)檢修模塊，可以說所有的檢修和日常巡檢工作這套系統(tǒng)都包括了，只要有一個(gè)地方設(shè)備出現(xiàn)故障，運(yùn)維系統(tǒng)的應(yīng)用層的模塊就會(huì)迅速做出反應(yīng)，代替人工進(jìn)行巡檢或設(shè)備維修。這些功能的實(shí)現(xiàn)施系統(tǒng)調(diào)用API和平臺(tái)SDK相應(yīng)數(shù)據(jù)來得以實(shí)現(xiàn)的，在不同的應(yīng)用交互層設(shè)備上讓業(yè)務(wù)的應(yīng)用得到使用和運(yùn)行。

應(yīng)用交互層可以為應(yīng)用提供交互設(shè)備，這些設(shè)備是為遠(yuǎn)程專家、車間管理人員以及企業(yè)客戶提供查看、查找、實(shí)景展示等，主要有車間現(xiàn)場使用的移動(dòng)顯示設(shè)備與MR眼鏡和監(jiān)測所需的液晶屏、Web與電腦，讓用戶對輔助車間現(xiàn)場情況、設(shè)備狀態(tài)與有關(guān)生產(chǎn)決策進(jìn)行實(shí)時(shí)掌握。

1.2 系統(tǒng)的主要功能

（1）智慧車間的巡檢就是由智能運(yùn)維系統(tǒng)代替車間維修人員及設(shè)備管理者的工作，對車間內(nèi)所有設(shè)備開展巡檢。使用顯示設(shè)備，使用者可以獲得現(xiàn)實(shí)技術(shù)的支持，對車間和機(jī)床各部分的運(yùn)行狀態(tài)進(jìn)行了解。顯示的設(shè)備狀態(tài)信息數(shù)據(jù)經(jīng)過了信息密度和信息層級的變化，這樣就達(dá)到了環(huán)視車間和檢查機(jī)床個(gè)體的功能，并且還能對車間設(shè)備曾經(jīng)出現(xiàn)過的故障或異常、維護(hù)保養(yǎng)等進(jìn)行原始記錄，以便隨時(shí)查閱。

（2）智能安全預(yù)警系統(tǒng)。通過AR增強(qiáng)現(xiàn)實(shí)技術(shù)創(chuàng)建視頻實(shí)景地圖，并對實(shí)景信息進(jìn)行標(biāo)注，主要能識(shí)別車輛信息、人員違禁信息、對監(jiān)控區(qū)域的關(guān)鍵基礎(chǔ)信息進(jìn)行監(jiān)測、辨識(shí)和保護(hù)。然后將這些信息接入系統(tǒng)，形成系統(tǒng)、數(shù)據(jù)、信息的聯(lián)動(dòng)。這樣就能基于視頻實(shí)景畫面，開展指揮調(diào)度，各類應(yīng)急資源能夠得到直觀展示，促進(jìn)應(yīng)急指揮效率的提升，同時(shí)實(shí)施數(shù)字化的安全生產(chǎn)預(yù)案管理，迅速生成調(diào)度方案，開展實(shí)施的調(diào)度指揮。這樣的安全預(yù)警指揮平臺(tái)，可以對安裝工作進(jìn)行防范、處理以及事后的信息分析，對各類安全隱患或事件能夠做好預(yù)知、預(yù)判、預(yù)警以及預(yù)防的高效處理。

1.3 遠(yuǎn)程專家協(xié)助

遠(yuǎn)程專家協(xié)助就是將車間現(xiàn)場的設(shè)備實(shí)施狀況和采集到的一些數(shù)據(jù)，以視頻或圖片的方式傳遞給維修工程師的電腦或手機(jī)里。設(shè)備供應(yīng)商工程師根據(jù)提供的視頻與數(shù)據(jù)，進(jìn)行實(shí)時(shí)指導(dǎo)，由車間現(xiàn)場設(shè)備維修人員按照工程師的指導(dǎo)對設(shè)備的故障進(jìn)行查找和判斷。這樣就無須設(shè)備供應(yīng)商工程師到現(xiàn)場進(jìn)行指導(dǎo)故障的查找和維修，可以在幾百公路，甚至幾千公里之外進(jìn)行指導(dǎo)，維護(hù)效率提升，維護(hù)成本大幅降低。設(shè)備供應(yīng)商工程師持有的是專家端如圖2所示，車間技術(shù)人員運(yùn)行的是現(xiàn)場客戶端，通過攝像頭對現(xiàn)場故障設(shè)備進(jìn)行拍攝，然后把視頻和圖片傳輸?shù)竭\(yùn)行在另一端的PC上的專家端。在專家端PC上顯示的高清的三維圖像，可以形成多個(gè)畫中畫界面，廠商工程師可以隨意進(jìn)行切換多角度地觀察設(shè)備故障部位，一些故障點(diǎn)實(shí)施標(biāo)注定位，同時(shí)也可以開展雙向通信，將可能用到的相關(guān)信息，如設(shè)備原理圖、故障處理方案等傳輸?shù)浆F(xiàn)場客戶端，同時(shí)通過語音通信系統(tǒng)和現(xiàn)場的技師開展交流和討論，共同解決設(shè)備的故障。

2 智能運(yùn)維系統(tǒng)的關(guān)鍵技術(shù)

2.1 實(shí)施數(shù)據(jù)驅(qū)動(dòng)的車間運(yùn)行虛擬仿真技術(shù)

在運(yùn)維系統(tǒng)中還能用SolidWorks對現(xiàn)場的所有設(shè)備開展高度建模，同時(shí)運(yùn)用PIXYZ優(yōu)化減面后導(dǎo)入U(xiǎn)-nity 3D進(jìn)行開發(fā)。為得到現(xiàn)場設(shè)備的運(yùn)行數(shù)據(jù)，實(shí)時(shí)智慧運(yùn)維，這套系統(tǒng)會(huì)通過布置在車間多個(gè)設(shè)備的傳感器將一些數(shù)據(jù)回傳，并與設(shè)備的自身數(shù)據(jù)相互融合，完成后上傳到云端的數(shù)據(jù)庫里。經(jīng)過中間層的篩選，這些數(shù)據(jù)就能輸出，可以讓各個(gè)應(yīng)用層使用的數(shù)據(jù)，通過應(yīng)用層調(diào)用API獲得JSON數(shù)據(jù)進(jìn)行解析后，在運(yùn)用U-nity 3D引擎對應(yīng)UI數(shù)據(jù)將設(shè)備實(shí)施動(dòng)態(tài)畫面呈現(xiàn)出來。

2.2 房間級混合現(xiàn)實(shí)空間定位疊加技術(shù)

混合現(xiàn)實(shí)技術(shù)就是將車間里設(shè)備的信息數(shù)據(jù)和用戶顯示設(shè)備里的信息數(shù)據(jù)準(zhǔn)確地疊加在一起，形成設(shè)備的三維圖形。實(shí)現(xiàn)這項(xiàng)技術(shù)需要可穿戴設(shè)備具備很強(qiáng)整合、疊加能力，即要精準(zhǔn)并十分穩(wěn)定地感知設(shè)備位置、空間環(huán)境結(jié)構(gòu)、設(shè)備形態(tài)。鑒于此，這條系統(tǒng)設(shè)計(jì)并采取了融合定位算法來實(shí)現(xiàn)這些功能，可以把終端設(shè)備上面的紅外攝像頭拍攝的換面實(shí)施實(shí)時(shí)的SLAM結(jié)算，同時(shí)對一些關(guān)鍵設(shè)備，如巡檢車、機(jī)床等運(yùn)用Marker識(shí)別并標(biāo)記，然后采用融合實(shí)現(xiàn)了混合現(xiàn)實(shí)空間房間級厘米精度的定位。

2.3 混合現(xiàn)實(shí)顯示設(shè)備交互技術(shù)

（1）眼球凝視技術(shù)。在顯示設(shè)備里有和人的眼睛相對應(yīng)的跟蹤設(shè)備，即由紅外攝像頭組成，對得到相關(guān)的數(shù)據(jù)開展分析，根據(jù)分析后數(shù)據(jù)，可以向系統(tǒng)提供人眼凝視物體的相關(guān)數(shù)據(jù)，同時(shí)去除其他無關(guān)物體的信息。采取這樣的技術(shù)，能有效冗余信息，降低注意力被分散的可能性，提升工作效率。

（2）全景化直觀視頻實(shí)景應(yīng)用。這項(xiàng)AR技術(shù)是通過安裝廠區(qū)各處的視頻攝像機(jī)以及可以進(jìn)行高點(diǎn)俯瞰地面的球機(jī)，對這些區(qū)域設(shè)備層級進(jìn)行疊加描述，形成可視化、立體化、實(shí)體化的視頻實(shí)景，呈現(xiàn)所有監(jiān)控區(qū)域的情況，對該區(qū)域監(jiān)控目標(biāo)進(jìn)行視頻畫面標(biāo)簽添加，再通過標(biāo)簽聯(lián)動(dòng)技術(shù)實(shí)現(xiàn)低點(diǎn)視頻、人臉卡口、車輛卡口的聯(lián)動(dòng)，可以在高點(diǎn)全局畫面里以畫中畫的方式查看所有低點(diǎn)防控資源，實(shí)現(xiàn)高低兩級協(xié)同，組建立體化的防控體系。

（3）語音識(shí)別交互。這項(xiàng)技術(shù)是自帶的語言采集設(shè)備來收集用戶發(fā)出的語音，交由人工智能來實(shí)施處理，變成執(zhí)行代碼執(zhí)行控制任務(wù)。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)里主要是用在輸入大量文的進(jìn)行控制的場景，以及畫面中原本不存在的數(shù)據(jù)或設(shè)備的場景應(yīng)用。

2.4 三維視頻融合技術(shù)

三維視頻融合技術(shù)是一種MR技術(shù)，由增強(qiáng)現(xiàn)實(shí)和增強(qiáng)虛擬環(huán)境組成，通過安放在車間里各個(gè)角落以及機(jī)床設(shè)備上攝像機(jī)、工控設(shè)計(jì)端的傳感器、再加上頭戴設(shè)備上紅外攝像機(jī)，通過它們或投影設(shè)備，實(shí)時(shí)地將對象圖像區(qū)域和三維表面以紋理的方式注冊到三維虛擬環(huán)境中去，然后生成增強(qiáng)虛擬環(huán)境，讓實(shí)時(shí)的真實(shí)世界和虛擬環(huán)境之間建立聯(lián)系的紐帶。這項(xiàng)技術(shù)能以三維的方式在客戶終端展示車間某一區(qū)域設(shè)備運(yùn)行的狀態(tài)和機(jī)床設(shè)備關(guān)鍵部位的實(shí)時(shí)展示，可以在遠(yuǎn)程專家協(xié)助維護(hù)中提供更加三維多角度的設(shè)備故障部位細(xì)節(jié)，便于專家了解故障，判斷故障和解決故障。此外，還應(yīng)用了視頻增強(qiáng)技術(shù)，通過攝像機(jī)獲取相同動(dòng)態(tài)場景的多個(gè)低分辨率視頻序列，去重構(gòu)高分辨率的視頻序列，這樣在客戶端顯示的都是實(shí)時(shí)的高分辨率視頻圖像，如廠家需要對機(jī)床某部位進(jìn)行細(xì)微觀察，可以采取放大操作，高分辨率圖像可以清晰地展示機(jī)床故障部位的細(xì)微之處。

3 結(jié)束語

綜上所述，運(yùn)用當(dāng)今世界比較前沿的設(shè)計(jì)，基于混合現(xiàn)實(shí)技術(shù)設(shè)計(jì)了工業(yè)智能運(yùn)維系統(tǒng)，實(shí)現(xiàn)了設(shè)備維護(hù)所需的所有的自動(dòng)化功能，更好解放了手工操作和人工設(shè)備維護(hù)，降低了企業(yè)的維護(hù)成本，提升了工作效率。

參考文獻(xiàn)

[1] 魏一雄，張燕龍，張紅旗，等.面向頭戴式增強(qiáng)/混合現(xiàn)實(shí)設(shè)備的第三方視角技術(shù)研究[J].計(jì)算機(jī)工程，2021，47（06）：284-291.

[2] 孫臻，齊曉晨，孫海燕.混合現(xiàn)實(shí)設(shè)備助力圖書館設(shè)備運(yùn)維——微軟HoloLens在圖書館中的應(yīng)用實(shí)踐[J].大學(xué)圖書情報(bào)學(xué)刊，2021，39（3）：120-124.

[3] 湯勝，劉華鋒，彭鋼，等.混合現(xiàn)實(shí)技術(shù)MR在電網(wǎng)應(yīng)急搶修作業(yè)中的應(yīng)用研究[J].電子世界，2020（20）：174-175.

[4] 顧鴻良，朱文華，蔡寶，等.面向工程訓(xùn)練的混合現(xiàn)實(shí)技術(shù)開發(fā)與應(yīng)用[J].上海第二工業(yè)大學(xué)學(xué)報(bào)，2020，37（2）：159-164.

[5] 孫海渤，岳紅原，魏剛，等.基于混合現(xiàn)實(shí)技術(shù)的變電站智能運(yùn)檢輔助系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].工業(yè)控制計(jì)算機(jī)，2020，33（3）：9-11，14.