基于MR(混合現實)技術的城軌車輛智能運維教學平臺建設與應用研究

姜輝 郭玉臣 李育靈

摘要：為了解決城軌車輛專業在智能運維教學中出現的實訓設備幾乎空白、教學效果不佳等問題，提出建設一種基于混合現實技術的城軌車輛智能運維教學平臺。闡述了智能運維教學的背景，分析了混合現實技術用于城軌車輛智能運維教學的可行性，利用MR技術和計算機智能化手段設計并實現了集教學、實訓、考核、評價與遠程協助等功能于一體的教學平臺，彌補了國內城軌車輛智能運維實訓環境的空白，顯著提高了智能運維教學效果和評價效率。

關鍵詞：混合現實;智能運維;遠程協助;城軌車輛教學

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）22-0060-04

1 背景

隨著我國城市軌道交通建設高速發展，國內部分一、二線城市已經形成網絡化運營，面臨著建設與運維的雙重壓力，借助智能技術發展智能運維成為當前各大城軌運營企業更好地適應城軌交通網絡化運營需求、提升設備設施運維管理水平、推動創新技術裝備落地應用的主要方式[1]，這樣的發展趨勢對城軌車輛相關專業職業教育提出了新的要求。

2008年起，我國教育部門頒布一系列文件，明確指出職業教育要“遴選和開發1500套虛擬仿真實訓實驗系統”“支持與專業課程配套的虛擬仿真實訓系統開發與應用”“建設高速校園網絡及各種數字化教學裝備，建設職業教育虛擬仿真實訓基地”，從而確立了虛擬現實技術在職業院校實踐教學中的重要地位[2]。目前應用最廣泛的現實新技術有虛擬現實（VR） 、增強現實（AR） 和混合現實（MR） [3]，其中MR可以突破VR、AR的局限，具有更高的交互性和沉浸深度[4]。在軌道交通行業的相關專業教學中，引入 MR技術用于城軌車輛智能運維教學過程中，特別適用于車輛關鍵部件故障診斷、拆裝、維修等實際操作，因此，基于MR技術的城軌車輛智能運維教學平臺在提高教學效果、彌補城軌交通智能運維實訓教學空白等方面具有重大的意義。

2 平臺需求分析

2.1 現狀分析

目前，城軌車輛專業高職學生培養仍局限于傳統運維理念的灌輸，無法適應智能運維發展的需要，經調研，系統的軌道交通智能運維實訓平臺在我國高職城軌車輛專業教學中幾乎空白。

為此，本課題基于城軌車輛傳統課程教學，力求將城軌車輛智能運維概念融入教學，構建全新的數字教學實訓平臺，實現城軌車輛關鍵部件智能運維教學過程理實一體。實訓平臺是主體結構基于混合現實技術（MR） 的教學系統，涉及城軌車輛故障頻次較高的部件故障診斷、拆裝、維修等實際操作，并通過存儲、應用部件知識庫和既有故障信息，實現故障樹分析，通過 AI 云計算方法，模擬故障處置的專家決策，為學生提供智能運維全過程實訓環境。

依托該智能運維教學平臺，通過對城軌車輛特性建立完整、精細的三維模型，從原理、操作、維護等方面構建學習體系，實現知識的一體化、動態化;基于信息化技術手段，按照城軌車輛專業人才培養目標，實現以工作過程為導向的學習，幫助學習者完成特定工作領域、環境、條件下的綜合性工作任務，促成“工作過程中的職業學習”[5]。

2.2 功能分析

MR與3D交互展示功能：系統將課程中智能運維教學內容涉及的城軌車輛關鍵部件外觀和結構利用MR和3D建模技術創建出來，并在MR環境中添加文字、語音和交互控制，全方位地講解演示相關部件的工作原理、故障模式和智能運維方式。

沉浸式實訓環境與過程實訓結合功能：系統基于車輛關鍵部件的故障診斷、拆裝、維修等實際操作知識和智能運維概念，結合故障樹分析和云計算模式，實現故障診斷和故障智能決策仿真以及智能運維流程仿真。通過獲取周圍真實環境中，學生的操作數據與虛擬的動態畫面相結合，構建深入的交互式實訓環境，同時實時追蹤學員的操作進行智能判斷與評價，在實訓結束后提供實訓成果記錄，便于學員復盤反思二次學習。

教學測試功能：為檢驗教學與實訓成果，系統還將設置測試模塊。系統將為教員提供設置題庫的權限，題庫等數據存儲在數據庫中供MR眼鏡端獲取，操作考試過程與實訓相類似，考試全程也將自動進行實時監測并允許教師360度視角查看、檢查各處操作細節，操作考試與理論考試加權相加進行智能綜合評價，提高效率、彌補傳統教學的不足并優于傳統教學。

遠程協助功能：當學員遇到復雜的故障識別和檢修場景時，可能無法獨立解決問題，系統將設置遠程協助模塊為學生提供指導[6]。遠程協助中二者將共享虛擬空間畫面，遠程教員結合實際場景和學生反饋給出意見和建議，系統還允許教員上傳圖像、文字至虛擬空間和在虛擬空間做標記，輔助學員解決問題。

3 平臺總體設計

3.1 設計思路

結合城軌車輛智能運維和MR技術的特點，在軌道交通傳統課程教學的基礎上，平臺考慮以如下的思路設計實現。

1） 在MR環境中實現城軌車輛關鍵部件外觀、結構認知仿真。

在基于混合現實的城軌車輛智能運維的全息化教學中，通過播放文字字幕、語音、視頻，伴隨著可以看得見的真實城軌車輛關鍵部件的運行原理、拆裝過程，實現部件外觀、結構認知仿真。

2） 在MR環境中實現城軌車輛關鍵部件智能運維實訓過程評價。

在基于混合現實的城軌車輛智能運維的全息化教學中，通過設置實訓模塊和操作考核模塊，實現城軌車輛關鍵部件智能運維實訓考核預評價與最終考核評價。

3）在MR環境中提高3D渲染效率。

在MR控制系統中，在實現于編輯器中多軌道編輯語音、動畫、物體顯示等基本功能并編譯至終端設備的基礎上，通過平衡3D模型的精度或者面數與渲染之間的關系，提高MR環境中的3D模型渲染效率[7]。

4） 構建多人智能運維的教學環境。

利用MR技術所提供的平臺軟件，構建多人智能運維的教學環境，實現基于MR的多人智能運維的教學環境。

5） 在城軌車輛智能運維教學平臺中嵌入各專業課程模塊。

在基于混合現實的城軌車輛智能運維教學平臺中，與相關教師團隊一同研究智能運維相關原理的教學劇本，依據教學需要在平臺中嵌入不同模塊，分別對應不同城軌車輛關鍵部件的教學、實訓和考核，提高平臺自適應性，實現軌道交通專業多課程的嵌入和移植。

3.2 邏輯結構設計

邏輯上系統數據經過基礎數據層處理后，形成規范的關系和非關系數據庫，數據庫經數據引擎被系統業務邏輯模塊處理，處理結果供各應用模塊調用，最后以PC端、MR端軟件或手機端App形式供各類用戶使用。

系統建設考慮現在和未來發展需求。現階段解決軌道交通專業智能運維教學的痛點問題，同時做好接口等預留，為未來逐步引入其他專業課程教學數據進行全息體驗式教學做準備。

基于MR的城軌車輛智能運維教學平臺邏輯分為四層，分別是基礎數據層、業務邏輯層、應用接入層、展示層。

3.2.1 基礎數據層

基礎數據層是城軌車輛智能運維教學系統的一個核心的部分，對城軌車輛關鍵部件，如受電弓、塞拉門等進行精確地建模，實現外觀認知仿真的教學，需要收集課程理論資料、城軌車輛關鍵部件資料等，追蹤學員實訓和考試的行為、形成真實沉浸的交互并進行評判需要收集現實環境數據，檢驗學員理論知識的掌握程度還需要收集理論試題數據，對用戶進行管理需要收集班級信息、學員信息等，系統會把這些相關的數據都存儲在關系與非關系的數據庫。

3.2.2 業務邏輯層

業務邏輯層是在數據的基礎上完成任務的關鍵，以底層數據為基礎，在此基礎上實現故障識別、故障診斷、遠程協助、人機交互、智能評價、實訓流程引領、資料管理等邏輯功能。

故障識別和診斷主要是構造故障樹，利用云計算模式分析得出現有部件是否有故障、故障的具體情況，以提出解決方案。遠程協助是獲取佩戴MR頭顯的用戶看到的現實畫面，與遠程用戶共享，遠程用戶根據現實畫面做出提醒或標記在虛擬空間顯示，協作實際環境中的用戶完成操作。人機交互是結合用戶周圍的真實環境數據與MR虛擬環境，進行圖像、語音、視頻的渲染，給人身臨其境的實訓感受。智能評價是對比并分析學員操作過程、操作結果和正確的步驟、結果，給出評分和改正提醒。實訓流程引領是在實訓任務執行中對比維護流程和學員操作，進行正確的流程顯示和指導。資料管理是通過構造權限哈希表在平臺運行全過程維持有序性和規范性。

3.2.3 應用接入層

應用接入層包含城軌車輛智能運維教學的全過程邏輯。智能運維教學平臺的實訓教學遵循傳統教學由淺入深、由易到難的方法，通過三維視頻演示進行外觀結構的理論教學，在此基礎上進行MR環境下的虛擬操作引導和評價作為預考核，最終通過理論考試和MR環境下的操作考試來綜合檢驗智能運維平臺教學效果。遠程協助依托MR技術，可將教員的遠程指導在虛擬空間中顯示，實現精準糾錯和高效協助。

3.2.4 展示層

展示層方面分為兩部分，教員系統部署于PC端，學員系統部署于MR眼鏡端，另外遠程協助軟件資源可以部署在PC端和手機端。

3.3 拓撲結構設計

系統采用客戶/服務器模式，分內網、外網兩個部分。內網主要是平臺子系統服務器、數據庫和客戶端。服務器和數據庫完成數據存儲和邏輯計算，客戶端完成各系統使用;外網主要通過互聯網方式提供給用戶使用接口。

3.4 功能設計

1） 教學功能

結合所應用的城軌交通專業課的具體需要，直觀展示和講解每個知識點，如受電弓、塞拉門的結構認知和維護操作知識，根據其相應的機械特性和電氣特性建立完整、精細的3D模型，利用MR技術播放。從原理、操作、運維等方面進行文字和語音相結合的講解，并能夠對視頻做相應的播放、暫停、聲音控制等常規操作。

2） 實訓功能

在實訓模式下，不同專業的學生可以選擇相應的實訓任務進入三維實訓界面，界面顯示用戶和任務的基本信息以及任務的操作流程。用戶可根據需要選取工具，在虛擬環境中按照操作流程進行操作，系統智能監測用戶在平臺實訓環節中的實訓行為，并做出實時評價。一旦學生出現錯誤操作，系統提示扣分并引導學生按照正確的步驟完成任務，完成后自動進行得分統計和評價，規范學生操作技能，提高教學評價的效率。

3） 綜合測試評價功能

綜合測試評價功能分別面向管理員、教員和學生，允許教員設置題目、記錄設置歷史、實時查看學生考試情況和考試結果記錄，管理員設置測試環境。在測試模式下，學生選擇理論考試或操作考試進入不同界面，理論考試結束后可實時查看成績和解析，操作考試則進入相應的三維界面，正確選擇工具進行操作，系統將自動記錄操作并智能評價，給出測試結果和分析。

4） 遠程協助功能

遠程協助模式中，教員可遠程為在作業現場遇到突發情況、疑難故障等復雜情況時的學員提供精準、高效的解決方案。現場學員通過智能頭顯設備創建房間、向遠程教員發起視頻協助邀請，遠程教員將與學員實時共享虛擬空間圖像、音頻和視頻，根據學員的實時反饋在虛擬空間中做標記、文字或上傳文件，相應的標記轉化為三維模型立體浮現在學員眼前，精確指示故障所在和提醒正確操作步驟，以輔助解決問題。

5） 管理功能

管理功能包括用戶管理和數據管理。用戶管理涉及用戶的注冊、登錄管理和不同用戶的權限管理;數據管理涉及教學資料，實訓過程中學生的操作記錄數據，測試過程中學生的答題數據、系統評價數據以及遠程協助時參會人員數據等各方面管理。

3.5 流程設計

平臺包含學員系統和教員系統兩部分，分別部署在MR眼鏡端和PC端，對兩部分系統的流程設計進行分析。

學員系統的流程設計如圖3所示，學員佩戴MR頭顯后登錄進入模塊選擇頁面，包含城軌車輛專業的多門實訓課程，選擇對應課程后進入項目，項目界面具有教學、實訓、考核和設置四個子模塊。教學、實訓和考核三個子模塊的使用流程相類似，點擊子模塊進入任務選擇界面，選擇相應的任務即可開始操作。設置界面則允許學員進行畫質或聲音等的調整操作。

教員系統的用戶可劃分為管理員和教員兩種不同身份，具有不同的權限，筆者分別有針對性地設計使用流程。如圖4所示為管理員的流程設計，管理員系統首頁，包含班級管理、學員管理、教員管理和密碼設置四個子模塊，三個管理模塊都包含對相應對象的查詢、增加、修改、刪除以及導入和導出的操作，密碼設置則允許管理員設置登錄的密碼。

教員登錄后進入系統，面向教員的子模塊分別為學員監督、題庫管理、試卷管理、考試管理、考試統計以及密碼設置。進入學員監督模塊可選擇學員查看其當前在線情況和過往完成情況統計，進入管理模塊可進行對管理對象的查看和編輯，考試統計模塊提供考試總體統計情況和學員個人具體統計情況供教員查詢，以判斷教學效果。

遠程協助的使用流程分析為，用戶登錄后首頁包含創建房間、加入房間、個人信息和系統設置四個子模塊，進入房間后，房主可以邀請用戶，所有用戶都可以在房間頁面進行音視頻的管理、主屏幕切換、窗口模式設定、文件管理和個人信息的編輯，PC端用戶還可以在進入房間后進行截屏、錄屏、空間標記和消息發送，雙方可全程實時共享虛擬空間進行流暢的遠程協助操作。

4 實現與應用

4.1 電客車受電弓教學系統

系統分為教師端和學員端，電客車受電弓MR軟件資源部署于MR頭戴式顯示設備，教員軟件資源部署于PC或臺式電腦，兩端可獨立運行又能協作配合。

教員端初始界面為登錄界面，通過登錄信息，確定用戶身份和權限。用戶有兩種身份，分別為管理員和教員，管理員擁有班級、學員、教員管理等權限，實現相應模塊的數據的增刪改查以及導入導出功能;教員擁有題庫、試卷、考試管理及統計等權限，能方便快捷地在各個模塊設置多種題型的題目，以及實時查看學員的操作情況，有效提高教學工作的效率。

學員端集成了教學模塊、實訓模塊和考試模塊三個子系統。教學模塊通過對受電弓外觀、組裝、應急升弓、ADD風管斷裂等關鍵結構和操作進行準確嚴密的建模渲染，得到“臨場感”極強的三維演示動畫，用戶可自由選擇進入相應任務的三維場景，并進行場景展示細節的調整，如圖5所示，通過體驗式學習使學習效率、知識理解和知識記憶持久度得到大幅度提升。

實訓模塊中包含受電弓組裝、靜態壓力調整、升降弓時間調整、碳滑板更換四個任務，選擇任務進入對應全息虛擬空間，開始任務后，系統啟動倒計時并引領學員按照任務流程提示進行操作，系統智能實時檢測操作規范性并給出評分和提示，每個任務的各個步驟都通過系統自定義的流程節點數據結構進行記錄表達。測試模塊包含理論測試和操作測試兩個功能，操作測試中系統將全程追蹤評價，同時允許教師進行全方位的監測和細節的查看，達到公正、全面的評價效果。

4.2 遠程協助

系統還具備遠程協助的輔助功能，為學員在實訓中遇到的問題提供高效準確解答。學員無法獨立解決復雜故障，需要尋求幫助時，通過MR頭顯進入遠程協助模塊，進入教員創建的答疑室，教員接受后可實時為學員答疑解惑。雙方都可以設定合適的音頻播放效果和屏幕畫質顯示效果，教員通過立體標記和文字提醒指出問題所在，標記和文字會在虛擬空間中全息實時展現供教員參考。教員還可以通過上傳文件的方式為學員進行講解，通過截屏和錄屏記錄答疑過程，留存以供學員進行課后復盤和學員間的知識共享。遠程協助能夠克服地點和人數的限制，達到身臨其境的指導效果，幫助學員快速解決問題、掌握技能。

5 總結與展望

基于MR（混合現實）技術的城軌車輛智能運維教學平臺在城軌車輛專業傳統教學基礎上，運用MR（混合現實） 技術，將抽象復雜的智能運維概念轉化為具象的虛擬3D模型動畫，在虛擬世界、現實世界和用戶之間搭起交互反饋的信息回路，利用MR實時交互、三維配準的特點，結合云計算和故障知識庫在體驗式學習中引領學員熟悉和演練規范化的運維檢修操作，有效提高學生對智能運維教學環節和理解和實訓技能的掌握，并通過實訓和測試全過程的追蹤評價，減輕教學負擔，提高教學效率。

為更好地發揮系統作用，后繼需要做好以下工作：

1） 豐富平臺課程資源，拓展平臺適用面。通過與相關教師團隊討論、制定更多軌道車輛關鍵部件在MR環境下的教學劇本，使平臺集成更多的軌交專業課程模塊，橫向拓展平臺使用的專業適配性。

2） 提高平臺MR環境交互效果。通過觀察平臺現有課程的實訓和考核模塊在使用過程中的3D渲染效果和交互性，總結效果不足之處進行持續改進。

3） 推廣平臺至軌交大類以外的職業實訓教學中，助力數字教學模式的改革。嘗試將其他需要職業工作情境作為教學輔助的專業課程植入平臺，促進職業教育信息化變革。

參考文獻：

[1] 張凌翔.關于推進城市軌道交通智能運維發展的幾點思考[J].城市軌道交通研究，2021，24（S1）：4，197.

[2] 陳明選，黃浩，周潛.數字校園支撐職業院校教育教學改革的核心要點——《職業院校數字校園規范》解讀之二[J].中國職業技術教育，2020（34）：10-15.

[3] 顧君忠.VR、AR和MR-挑戰與機遇[J].計算機應用與軟件，2018，35（3）：1-7，14.

[4] Kucera M.Mixed reality：ich sehe was，was du nicht siehst[J].Kma - Klinik Management Aktuell，2021，26（4）：47-49.

[5] 李曉東，師偉.論職業教育課程中的“學習型”任務[J].職業技術教育，2021，42（17）：30-33.

[6] 袁振霞，邊亞東，趙毅，等.遠程協助虛擬仿真技術在土木類實踐教學中的探索[J].實驗室研究與探索，2020，39（10）：203-207.

[7] 周念梅.基于折紙的混合現實英語教學系統的設計與實現[D].濟南：山東大學，2019.

【通聯編輯：唐一東】