嵌入增強現實功能的軌道交通交互式輔助維修原型系統構建技術*

楊 萌 王偉明 魏小娟 張 勇

(1.石家莊鐵道大學電氣與電子工程學院，050043，石家莊；2.中國鐵道科學研究院集團有限公司電子計算技術研究所，100081，北京；3.中國人民解放軍32181部隊，050000，石家莊//第一作者，碩士研究生)

隨著軌道交通設備復雜性的增加，設備介紹、故障分類與維修指南等信息海量增長，通用紙質或電子資料對設備信息管理的標準不一，維修人員操作過程中無法獲得直觀有效的指導信息，極大地制約了軌道交通設備維修行業的發展。

交互式電子技術手冊[1-2](IETM)是美軍為提高武器裝備的戰斗力、降低裝備保障成本而提出的一種技術資料電子化的實現方法。IETM按照統一標準規范，將設備的各種工程和技術信息以數字化形式存儲在電子設備中，通過人機交互方式提供設備基本原理、操作使用和維修指南等內容的技術出版物，代替了傳統紙質技術手冊，在設備生命周期中為設備性能維護與維修保障提供技術支持[3-5]。根據其數據格式、顯示方式和功能，可將IETM分為5級。目前，第Ⅳ級基于數據庫的IETM已經實現并應用在復雜設備上。

IETM作為美國國防部的一個重要戰略組成部分，其主要現役裝備和全部新研發裝備均配套或同步開發了IETM，如美國陸軍的AH-64D直升機的數字化維修系統[6]，采用數字化維修技術來降低飛機維修人員的工作量，通過記錄與維修任務有關的數據，如人力、備件、工具及時間等，不斷改善維修方法和維修過程，從而提高維修效率，降低維修成本。

IETM技術的研究在我國起步較晚。2002年，中航一集團西飛公司按照《飛機電子技術手冊編制要求》的統一要求，為“新舟”60客機編制了全套電子化用戶技術資料“MA60飛機技術出版物”[7]。在軌道交通領域，同濟大學提出了一種基于IETM的地鐵車輛互操作維修保障平臺[8]，將軌道車輛紙質資料電子化，建立便攜式終端輔助維修保障系統，有效地提高了地鐵車輛的維修效率。中國鐵道科學研究院電子計算技術研究所運用IETM通用標準S1000D對動車組技術資料進行了結構化編碼，并制定了動車組技術資料的數據模塊編碼和信息控制碼[9]。

然而現有的IETM多以手持式終端作為載體，限制了維修人員的視線范圍與操作靈活性，使得維修指導信息與維修場景分離，維修人員無法做到學習與操作同步，降低了維修可靠性。增強現實(AR)技術通過頭戴式設備將虛擬的物體疊加到現實場景中，并利用靈活的人機交互手段增強維修人員與輔助維修系統的信息交換能力[10]，可有效解決上述問題。

1 AR輔助維修技術

將AR技術應用到復雜裝備的維修中，稱為AR輔助維修技術[11]。AR輔助維修技術通過為維修人員提供結合真實場景的有針對性、可交互的動態信息，輔助維修人員完成操作[12-13]。軌道交通維修任務中，維修人員需要設備使用說明和故障排除指南等大量維修指導信息，這些信息包括文字、圖片、視頻、音頻、3D模型等媒體資源。維修人員通過佩戴搭載AR輔助維修系統的頭戴式設備，可同時看到真實維修場景與虛擬信息，利用人機交互功能對系統進行操作，如選擇和切換等，在輔助信息的指導下完成設備拆裝和故障維修等操作。當遇到無法解決的問題時，維修人員可通過遠程模式連線后方專家進行求助，頭戴式設備上的攝像機將采集到的現場狀況與設備的故障情況通過遠程通信手段發送給后方專家，專家以第一視角對設備的故障情況作出實時判斷，并通過語音、三維模型等形式實時推送維修步驟，指導維修人員完成維修任務。

因此，將AR功能嵌入到IETM中，構建一種具有統一的信息管理規范，輔助維修信息與維修場景實時結合的交互式輔助維修系統(以下簡為“AR-IETM”)，可顯著提高維修作業效率，降低由于維修人員缺乏經驗造成維修工作失誤的可能性。

2 AR-IETM系統構建

根據AR技術對維修工作的輔助功能，結合IETM對維修資料的存儲管理方式，將AR功能嵌入到IETM中構建適用于軌道交通設備的AR-IETM原型系統。AR-IETM是通過三維注冊技術、人機自然交互技術等為維修人員提供設備維修指南與培訓等功能的新一代IETM技術。利用AR技術對實際場景的增強功能，通過三維注冊跟蹤顯示技術將技術資料按照實際維修需求實時疊加到真實環境中，維修人員通過人機自然交互技術感知維修場景與設備的狀態變化，并對系統發出控制指令，使維修人員從手持設備中解放出來，將注意力集中在維修設備上，減少操作失誤，提高維修效率；AR-IETM在網絡環境下與服務器端進行遠程連接，服務器根據需求對特定維修人員推送維修任務，并且提供遠程協助功能，降低設備維保成本。

2.1 AR-IETM硬件系統構建

面向軌道交通設備維修的AR-IETM系統以自行研發的光學透射式AR 頭戴式顯示器為載體。該系統集成了可穿戴計算機，用于存儲維修培訓信息、案例庫等維修培訓技術資料，并搭載了RGB-D(三色深度)相機、慣性測量單元(IMU)等傳感器。其中，RGB-D相機用于讀取維修現場信息并為虛擬信息疊加提供相應的深度信息，降低背景光照對系統的影響；IMU用于在人機交互過程中，為系統提供維修人員位姿信息。

2.2 輔助維修信息三維空間顯示

AR-IETM將輔助維修信息以多媒體形式顯示在實際維修場景中，這是區別于傳統IETM的一個顯著特點。維修信息三維空間顯示主要包括輔助維修虛擬信息生成與虛擬信息疊加兩部分，如圖1所示。由圖1可知，利用AR設備上的RGB-D相機獲取維修現場的彩色圖像和深度圖像，確定需要維修的設備，將設備發出的故障信號與維修人員做出的設備狀態輔助判斷作為專家系統的輸入，與系統知識庫中的故障診斷規則進行匹配。系統根據知識庫制定維修策略，并根據維修策略觸發數據庫中相對應的虛擬模型，并在AR頭戴式顯示器中顯示。

為使虛擬信息無縫疊加在真實維修場景中，虛擬物體的位姿應與真實世界的物體具備一一對應關系。本文采用基于點云匹配的三維注冊方法對虛擬物體進行疊加。如圖2所示，以某待維修的電路板為例，首先利用RGB-D相機對電路板進行彩色圖像和深度圖像的采集，生成點云數據；然后與已經建立的待識別標準點云進行配準計算，獲得維修對象在攝像機坐標系中的位置坐標；最后將虛擬物體投影到相應位置，并顯示在AR頭戴式顯示器中。

圖1 維修信息三維空間顯示流程

圖2 基于點云匹配的注冊疊加過程

2.3 AR-IETM人機自然交互

AR-IETM通過手勢、語音、頭部位姿等人類行為信息進行自然交互，解放維修人員雙手。當維修人員遇到無法解決的問題時，通過無線網絡與遠程專家取得聯系，實現遠程協助與網絡交互，提高維修質量。

頭部位姿跟蹤交互是以頭部姿態和空間位置為主要信息載體，通過搭載在AR設備上的IMU測量頭部在三維空間中的角速度和加速度，并以此解算出頭部的姿態信息。通過對頭部位姿進行空間測量，分析用戶的注意方向與意圖，選擇點擊區域，依據對頭部空間位置變化的跟蹤，實現三維場景的移動。

手勢識別用于實現用戶內容選擇的確認。

對手部區域的識別是實現手勢識別的關鍵，RGB-D相機獲取的可見光圖像受背景光照影響很大，因此首先利用深度圖像對手部圖像進行分割，其次對手背移動與手指指尖位置進行探測。并且通過跟蹤由指尖動作帶來的深度圖像像素變化識讀點擊動作；通過判斷手勢的靜止時間與手勢的移動距離來識別動態手勢信息。

為解放工作人員雙手，AR-IETM還可以采用語音交互作為輔助交互手段，通過安裝在頭戴式設備上的麥克風采集語音信號。語音識別模塊通過識別用戶指令，觸發虛擬信息生成系統加載對應的輔助操作信息；此外，利用語音識別技術還可實現對AR-IETM內容的快速檢索。

2.4 AR-IETM任務模型構建

AR-IETM在第Ⅳ代IETM整合設備技術資料和工程數據的基礎上，通過將輔助維修信息以多媒體形式疊加到工作場景中，以提高維修人員對維修內容的理解能力，使維修人員獲得實時的維修操作指導，實現培訓和維修作業同時進行。

在軌道交通維修輔助過程中，維修作業描述、維修作業指導和維修人員能力評估等成為AR輔助維修主要任務模型。如圖3所示，維修作業描述模型是依據IETM S1000D標準，使用統一的媒體包裝語言對維修過程、操作規范等內容進行抽象描述；維修作業指導模型是根據對維修內容的描述，激活相應的多媒體資源，并疊加到工作場景中，使維修人員獲得直觀的操作指導，并按照維修人員對系統發出的交互指令，完成維修任務；人員能力評估模型是對維修過程進行記錄，對維修人員的操作過程進行評分，并在系統中生成該維修人員的學習記錄。操作過程可作為新的維修知識反饋給系統規則庫，使其進行學習，不斷增強輔助維修能力。

圖3 AR輔助維修任務模型

3 AR-IETM輔助維修實例

依托石家莊鐵道大學城市軌道交通通信安全與行車控制央企重點實驗室，對進出站檢票機半實物仿真模型構建AR-IETM原型系統，并利用該原型系統輔助維修人員對其拆裝與維修。

維修工作完成后，維修人員對該系統做出了評價。AR-IETM的系統性能評價需要建立相應的評價標準。本文采用滿意度(CSD)、直觀度(CID)和舒適度(CCD)作為評價AR-IETM系統的指標[14]。評價分數與對應評價指標如表1所示。

表1 評價分數確定原則

將12人隨機編為Ⅰ、Ⅱ兩組，Ⅰ組使用AR-IETM系統，Ⅱ組使用傳統的紙質維修手冊。試驗結束后每位參評者給出AR-IETM系統和紙質維修手冊的滿意度、直觀度和舒適度評價分數,評價結果如表2所示。通過對表2中Ⅰ、Ⅱ兩組在CSD、CID、CCD 3個指標分數的平均值進行比較可知，AR-IETM系統在CSD、CID指標上明顯高于傳統維修方法，而在CCD指標上兩者差別較小，說明AR-IETM系統在輔助維修方面具有良好表現。

表2 兩組維修方法主觀評價平均分值比較

4 結語

信息化、智能化是軌道交通維修行業的發展趨勢。本文對IETM在設備維保工作的應用進行了分析，通過將AR技術與IETM技術結合，為軌道交通設備維修工作提供了一種結合真實場景的、可與維修人員交互的輔助維修系統，提高了維修工作的便捷性與有效性，并且對實現該系統的關鍵技術進行了初步研究。試驗結果表明，該系統在維修指導操作方面具有良好的表現。在復雜野外條件下，進一步提升系統對維修對象的識別能力和對虛擬物體三維注冊的抗干擾能力，使得AR-IETM從原型系統走向實用化，是本文的進一步研究內容。