基于混合現實的動車組車鉤輔助檢修方法研究

史開志，肖 乾

（華東交通大學載運工具與裝備教育部重點實驗室，江西 南昌 330013）

隨著軌道交通行業的迅猛發展，高速列車運維環境也變得愈加復雜，其設施裝備運行安全問題顯得十分重要，當高速鐵路機電設備出現故障，傳統的維修手段已不能滿足當下需求[1]。存在維修方式老舊、操作人員維護不熟練、維修手冊內容更新遲緩導致維修進度不及時等問題，尤其面對動車組車鉤等復雜設備故障時更難滿足維修指導的需要[2]。近年來混合現實 （mixed reality，MR）發展迅速，該技術能夠實現真實與虛擬環境的相互融合，因其虛實結合的特點被大眾所熟知[3]。同時MR 技術具有高效性、便捷性的人機交互方式，能夠提高維護人員在虛實場景中實時操作的準確度，運用該技術能夠為機電設施設備出現故障時提供一種新興的解決方案[4-5]。例如張迎曉等[6]在配電網運維的各個環節中引入混合現實技術，改善了對設備信息的獲取，簡化了運維模式。余芬等[7]優化了手勢識別中指關節跟蹤注冊算法，研究混合現實技術的數據傳輸協議，以解決航空發動機維修人員對技術手冊理解困難、學習培訓缺乏實體案例、多終端協同維修等問題。

對于先進的運維模式來說，用最優的方式排除故障是核心關鍵，國內外學者針對高速列車運維智能化、智慧化開展了探索性工作，在故障處置領域積極尋求先進的虛擬現實技術來解決行業痛點。例如周韶澤等[8]提出了虛擬現實檢修視點模擬方法，實現了動車組檢視檢修的模擬流程。鄒俊俊等[9]針對鐵路客車轉向架的現場檢修作業流程，提出了一套虛擬檢修解決方案，可根據實際作業隨機生成模擬檢修處置流程，并實時記錄操作數據，最后對學員操作給出科學評價。Knopp等[10]以此為基礎，利用無線網絡將HoloLens 和Vuforia 圖像處理庫進行遠程整合，實現了基于混合現實的工業組件裝配和拆卸。陳華鵬等[11]提出一種面向結構物的鐵路設施多尺度模型，能夠利用歷史數據、感知數據和虛擬模型等對故障進行分析和處置。從已有的研究成果來看，國內外學者認為采用智能算法匹配故障以推送維修決策，融合虛擬現實技術的故障處置方法是智能運維體系下的關鍵應用手段。

本文借助三維數字技術構建了高速動車組車鉤MR 輔助檢修的數字模型，該模型通過對設備故障和維護中的數據進行充分融合以驅動檢修指導過程，在運維過程中實現了物理維護與虛擬維護的數據交互方式，搭建了適合高速動車組的復雜部件智能運維系統總體模型，并以動車組車鉤故障處置為例，研發了基于混合現實的動車組車鉤輔助檢修系統。

1 基于混合現實的動車組復雜部件智能運維系統框架

基于混合現實的動車組復雜部件智能運維系統總體模型由物理實體、虛擬實體和服務組成。借助數據交互技術，數據在線監測平臺可獲得物理實體環境中的設備狀態數據，融合多傳感器獲取的實時物理量數據，可通過遺傳（GA）算法、人工免疫（AI）算法、粒子群（PSO）算法等多種智能算法，運用于故障識別診斷和壽命預估兩大內容體系中，為MR 輔助檢修提供前置條件和決策依據。

基于混合現實的智能運維具體在于如下幾方面：

1）虛實結合，應用在一個復雜的動車組部件維修過程中，虛擬維修解決方案要求虛擬部件與實際場景中的所有重要部件正確重疊結合，并保證其幾何同步、光照同步和時間同步。系統完成對識別目標與操作人員注視方向的實時動態追蹤，從而實現高精度的三維空間定位及配準。

2）數據融合，系統通過多維傳感器對關鍵部件的狀態、溫濕度、應力和振動等數據進行實時監測，當設備故障發生時，數據服務中心將通過維修指導系統后臺對故障信息進行匹配及分類，并根據故障指令的處理結果匹配故障，從而根據故障指示對應的數據庫調用相應的解決方案。HoloLens 配備了深度感知攝像模組，維修人員使用該模組功能可實現對現場維護環境空間信息的實時獲取，反饋給服務系統并修正維修過程。當故障情況難以判斷時，可以通過對虛擬和物理環境下的數據進行實時融合疊加，由遠程專家在線進入現場維護環境中引導檢修，通過實時融合虛擬和物理環境下的數據，達到故障處置引導的目的。

3）模擬分析，系統基于Unity3D 的虛擬仿真技術，通過三維建模、機械設備動作編程、傳感器信息傳輸和存儲等技術，實現對設備維修過程的監控模擬和實時分析。該系統可以實時跟蹤維修現場，獲取維修現場的圖像特征，判斷維修操作是否正確，防止因維修不當造成的設備二次損壞，保證維修方案的可靠性。

2 基于混合現實的動車組車鉤輔助檢修方法

本文以動車組車鉤為對象，構建基于混合現實的動車組車鉤輔助檢修系統。通過多種傳感設備監測獲得車鉤的運行狀態，識別標定形成實體維修環境。

2.1 技術路線及其框架

基于混合現實的動車組車鉤輔助檢修系統的技術框架如圖1 所示，系統包括故障匹配與診斷、故障維護指導、維護空間感知、虛實融合疊加和人機交互等5 大模塊。

圖1 基于混合現實的動車組車鉤輔助檢修系統技術框架Fig.1 Technical framework of auxiliary maintenance system for coupler of EMU based on mixed reality

故障匹配與診斷部分完成對實際裝置中各傳感器的故障信息的收集，并對其進行識別及分類，生成相應的故障標識碼，同時與其所對應的維護解決方案指令進行匹配綁定，針對各種故障情況推出相應的處理方法；故障維護指導部分針對不同故障對應的維修手冊制定出更加科學的維護流程及方案，同時通過環境虛實疊加、遠程專家輔助等多種方式實現對故障的維修操作引導；維護空間感知部分完成對維護實際環境的自然特征點提取及識別，維護目標的動態跟蹤和空間位姿的數據解算；虛實融合疊加部分通過對環境感知特征分析還原，構建出實際三維空間坐標，通過與HoloLens 投影空間的坐標轉換，得到虛實疊加的混合現實視效；人機交互部分通過手勢識別，視線追蹤，語音識別等先進交互方式對混合現實系統界面內容進行便捷操作，大大提升用戶體驗。

2.2 系統開發流程

為了實時監控設備維修指導過程，提出了一種基于Unity3D-HoloLens 的動車組車鉤故障維修指導的新方法。首先利用多傳感器融合監測車鉤實時狀態數據，監測到的故障數據經過識別分類后存入數據庫，并由數據庫導出數據至三維數字建模平臺MAYA，通過三維信息模型構建技術，建立了車鉤維修指導過程的數字模型；然后生成Unity3D 可識別的格式并導入集成虛擬現實平臺，搭建MR 開發環境，對操作內容進行動作編程，形成可調用的維修指導片段，與分類后對應的故障內容進行ID 綁定，形成匹配的維修指導方案；最后在方便用戶穿戴的HoloLens 眼鏡中匹配混合現實坐標關系，完成虛實融合的三維疊加視效，并利用自然人機交互手段在虛實環境中進行故障維修指導流程的操作及驗證。系統開發技術路線如圖2 所示。

圖2 系統開發技術路線圖Fig.2 System development technology roadmap

3 基于混合現實的動車組車鉤輔助檢修關鍵技術

3.1 故障智能診斷

智能診斷是根據故障信息和推送的維修案例進行的。系統利用采集的動車組車鉤振動信號和紅外圖像通過深度學習進行信息融合預處理。一方面，結合基于MobileNet 的信號分類器，完成對車鉤運行狀態信息的提取，并給出判斷結論；另一方面，在信息識別網絡中加入多尺度卷積，可以更好地提取狀態信息的語義特征。

MobileNet 卷積神經網絡是一種輕量級深度神經網絡，具有模型體積較小、可訓練參數較少、計算量較小等優點，它可以大量降低模型的參數量和計算量，同時又保證了模型的性能，從而達到為模型加速的目的。傳統的神經網絡中的全卷積操作逐漸被MobileNet 網絡的深度卷積和逐點卷積所取代，這被稱為深度可分離卷積[12]。全卷積與深度可分離卷積的結構如圖3 所示。

圖3 全卷積與深度可分離卷積的結構Fig.3 Structures of full convolution and depth-separable convolution

3.2 虛實注冊融合

幾何一致性在虛擬物體疊加到真實場景的擬真渲染中起著重要作用，是實現混合現實虛實注冊效果的必要條件之一，系統需要在現實環境精確地判定攝像機的位置和姿態，使其與現實中特定的地點位置正確重疊[13]。

目前有兩種常見的基于人工識別和自然特征點的虛擬現實幾何一致性注冊融合算法，兩種算法均能有效地處理真實和虛擬環境下融合的空間幾何相似性問題[14-15]。

根據應用場景特點，本文對復雜環境的特征提取進行了研究，提出了一種基于SURF 的特征提取改進方法，以一種更加有效的方式來實現動車組車鉤維護環境特征點的提取與描述，更符合維修環境特征點提取精度的要求。有4 個主要步驟。

1）構建Hessian 矩陣。建立Hessian 矩陣是用來產生一個穩定的邊界（突變點）來進行特征提取。對于圖像I（x，y）的Hessian 矩陣如下

H 矩陣的判別式是

在構造Hessian 矩陣時，首先要對圖象進行高斯濾波，經過濾波后的Hessian 矩陣表達式為

式中：（x，y）為像素位置；L（x，y，σ）＝G（σ）I（x，y）為圖像的高斯尺度，是通過圖像和各種不同的高斯卷積而獲得的。

2）構建尺度空間。

3）精確定位特征點。

4）主方向確定。

在提取了場景的特征點后，進行了特征點匹配、相機姿態估計、姿態校正和相機姿態確認等操作。系統通過對比維修環境數據庫中的基準幀和HoloLens 攝像機獲取的當前幀圖像，將其特征點進行匹配，并與現實場景進行重疊，從而在真實維護場景中實現虛擬維護指導方案的MR 虛實結合指引。

3.3 MR 故障遠程指導

遠程故障指導是指根據維修內容，由智能匹配的專家進行遠程協助，并通過移動終端和MR 設備HoloLens 視頻流通話進行遠程協作。關鍵是遠程空間標注，可以準確實現三維空間的遠程指導。

系統通過搭建音視頻通訊，傳輸包含HoloLens空間矩陣信息的視頻數據，經過HoloLens 與Unity3D 空間矩陣轉換及2D 標注到3D 空間的轉換實現遠程空間標注。

1）獲取相機空間矩陣數據。利用環境感知攝像機采集真實環境圖像，并從中提取特征點，然后對相鄰幀的特征點進行匹配，通過特征點相對位置的變化反推當前的旋轉角度和位移，從而計算出運動特征，得到攝像機矩陣和投影矩陣數據[16]，并存儲當前攝像機的方向和位置，然后將攝像機空間矩陣轉換為Unity3D 空間矩陣，如圖4 所示。

圖4 相機空間矩陣轉換示意圖Fig.4 Schematic diagram of camera space matrix conversion

2）二維標注到三維空間的坐標轉換。MR 設備HoloLens 的每一幀視頻數據包含空間矩陣數據，專家端在二維圖像標注后確定標注形狀（i）、中心點（X1，Y1）、長度和寬度（L1，W1）數據，然后將其發送給混合現實端。由該空間矩陣數據，可以求出攝影機在該標記時刻的位置C1及該影像的四個投影點（P1，P2，P3，P4)，所述標記點的屏幕位置C2和所述標記點的長度、寬度（L2，W2）可以由數據（X1，Y1）按比例計算得出，標記點在空間的實際位置C3可以通過在標記時間點從攝像機位置C1到C2的發射線的碰撞來檢測。在該空間中的大小尺寸（L3，W3)可以由C1，C2，C3和（L2，W2）的距離比例計算，從而產生（C3，L3，W3）對應的標注實例（i），所述標記方向可為朝向C1或當前照相機位置。

3.4 自然人機交互方法

基于混合現實技術的動車組車鉤輔助檢修系統的信息交互主要由數據交互和人機交互兩部分組成，數據交互實現了設備的傳感器數據與虛擬維護環境的交互，而人機交互則實現了虛擬維護與實際維護的多模態交互。多模態人機交互是利用人機工程學原理，研究人－機－環境之間的協調關系。這里的“人”指的是人的多種感官器官，“機”指的是MR 交互設備，“環境”指的是虛實結合的交互環境[17]。在故障診斷指導系統中，利用數據和人機交互技術，實現了人員、設備、環境三方面的數據信息交互。

1）手勢識別。用戶不需要使用手套等額外產品，基于HoloLens 混合現實設備，采用TOF 技術采集手勢深度圖，在保證精度的前提下，可以快速識別手勢，由于外部影響很小，用戶體驗效果較好。

2）視線追蹤。瞳孔位置信息的獲取能夠實現準確的全息圖定位、舒適的瀏覽體驗和提高顯示質量。瞳孔注視的方向將作為眼動追蹤結果的一部分被計算出來。在沒有任何互動的情況下，基于HoloLens 的自動眼球定位 （automatic eye positioning，AEP）允許設備自動計算用戶的瞳孔位置并進行校正。

3）語音識別。語音識別的深度工作原理也是機器學習訓練的結果，其本質是模式識別。完整的語音交互過程包括輸入和輸出過程，當計算機接收到用戶的語音輸入后，需要完成語音特征識別和語義理解，并通過與現有模型的比較，選擇匹配度最高的模型作為識別結果輸出。

4 動車組密接式車鉤氣路及控制系統故障MR 輔助檢修

4.1 輔助檢修對象

以SCHARFENBERG 自動車鉤為輔助檢修對象，要求在其關鍵部件設置不同傳感設備，信息相互融合為其整體狀態監測及故障診斷提供重要依據，為了便于描述MR 輔助檢修過程，根據該車鉤結構組成特征可將其分為車鉤頭，牽引桿，電纜吊架，軸承座，氣路及控制等5 部分。假設氣路及控制部分監測到特征信號異常發生故障預警A5，系統將從數據庫索引中匹配出輔助檢修方案，編號為N5。如圖5 所示。

圖5 車鉤特征劃分及故障編號示意圖Fig.5 Coupler feature division and fault numbering diagram

4.2 輔助檢修內容

針對動車組密接式車鉤氣路及控制故障的MR輔助檢修內容主要包括虛實環境融合疊加，數據信息雙向映射，故障維護輔助指導3 部分。

1）虛實環境融合疊加，通過使用HoloLens 運行系統，調用深度掃描相機對車鉤維護環境進行特征提取，轉換為三維空間數據存儲到MySQL 數據庫并生成可識別的點云空間Slam 模型，同時建立與維修目標車鉤保持高度一致性的三維仿真模型，達到虛實環境融合疊加的效果。

2）數據信息雙向映射，通過在關鍵部件位置布置多信息融合傳感器，實現車鉤狀態全感知，數據實時監測并存儲，發生異常數據時識別到車鉤故障類型A5，智能匹配出輔助檢修方案P5，形成輔助檢修處理流程，通過自然人機交互方式觸發相應的功能及數據輸入。

3）故障維護輔助指導，動車組密接式車鉤氣路及控制故障處置流程包括清理外表污漬，涂抹肥皂水，觀察氣泡產生情況，最后更換破損氣路部件。維修人員可根據虛實融合的輔助指導按步驟進行操作，GUI 界面出現相應的操作提示和響應內容，實時操作動作通過傳感設備完成數據交互，如遇疑難問題和復雜操作時可申請專家遠程引導，通過多端設備實現虛實融合環境中的空間標注和指引，進行異地多人協同的MR 輔助檢修作業。

5 結論

針對動車組車鉤故障維修方式老舊、檢修手冊內容滯后，專業維修工作不能及時完成，本文采用混合現實技術與數據交互相結合的方法，研究了基于混合現實的動車組車鉤輔助檢修方法。該方法充分利用故障維護流程的信息，對維護過程進行驅動及引導，使虛擬維護環境與實際維護環境的數據進行雙向交互，構建了適合于動車組車鉤的MR 輔助維修指導體系，應用了新型的人機交互方法，使得維護目標-信息服務-物理環境等多向交互更為自然，能夠大大提高車鉤故障處置的效率和安全。