軌道交通設備遠程運維輔助檢修孿生系統的設計及應用*

姜良奎 楊朝霞 林 藍 韓 勇

(1.西南交通大學設計藝術學院， 611731， 成都； 2．中車青島四方機車車輛股份有限公司， 266111， 青島；3．中國海洋大學信息科學與工程學部， 266100， 青島∥第一作者， 正高級工程師)

0 引言

目前，我國軌道交通智能制造的基礎理論和技術體系建設較為滯后，亟需通過信息化、智能化手段改善設備運維管理現狀。對于傳統的軌道交通設備運維軟件，國內外比較成熟的研究有：文獻[1]提出基于B/S(瀏覽器/服務器)架構的設備OSS(運維支撐系統)，通過傳感器在線數據檢測及傳輸進行設備故障分析;文獻[2]基于信息化技術手段開發了京滬高鐵標準化作業平臺，實現了移動端的基礎數據共享，由后臺進行綜合管理;文獻[3]提出基于 RFID(射頻識別)的列車運維系統，通過標簽讀取數據進行可視化分析。這些系統的后臺大多采用了目前流行的移動互聯網技術，但可視化手段單一，用戶在客戶端的操作感不足，體驗感較差。

AR(增強現實)技術的引入突破了傳統的二維局限，通過加入三維動畫、視頻等可視化形式，更有助于用戶對信息的理解。該技術通過跟蹤用戶佩戴的智能眼鏡在現實世界中的位姿來判斷用戶的視線方向，并精確疊加虛擬信息，以增加信息交互的真實感。目前AR在軌道設備方面也有成功的應用案例，例如：文獻[4]提出了基于Open Frameworks框架和改進AR碼的軌道交通列車仿真系統，該系統實現了虛擬列車在真實的軌道模型上行駛的場景；文獻[5]提出搭載在移動端的AR裝配系統，用戶可使用手指觸屏拾取零件與真實設備的交互操作。但這些交互方式相對單一，沒有具體針對軌道交通設備運維進行研發設計。

綜上所述，傳統的軌道交通設備運維軟件主要存在以下問題：①在運維計劃、實際作業、信息反饋之間沒有健全的閉環機制，運維效率低下；②對技術人員的要求較高，各崗位技術職工分工獨立明確，不同崗位運維人員難以進行有效溝通；③需要大量的人力、時間來支持這些運維軟件的運作。

數字孿生是實現物理與信息融合的一種有效手段，而設備運維車間物理世界與信息世界的交互與融合是實現“工業4.0”、“中國制造2025”、工業互聯網、基于CPS(信息物理系統)的制造等目標的瓶頸之一。文獻[6]闡述了數字孿生車間的系統組成、運行機制、特點、關鍵技術等，在此基礎上探討了基于車間孿生數據的車間物理世界和信息世界的交互與共融理論和實現方法。文獻[7]為虛擬現實平臺的搭建過程提供了清晰有效的建模思路及優化方法。文獻[8]提到了Netty(JBOSS公司提供的一個基于客戶端服務器的java(計算機編程語言)開源框架)建立在NIO(同步非阻塞)基礎之上，對NIO進行封裝優化，具有高性能、高可靠性、異步非阻塞、基于事件驅動等優點。

AR與軌道交通設備的緊密結合，對軌道交通設備的智能化有著重要的意義。本文基于移動安卓平臺，將AR與VR(虛擬現實)技術混合，集成開發形成軌道交通設備遠程運維輔助檢修孿生系統，并重點對以下3個方面進行深入研究：①支持用戶隨時隨地在線自我學習，通過局部虛擬三維動畫進行教學操作指導，并研發在線自測模塊；②將AR技術應用到技術人員的視頻通話中，實現在虛擬模型上疊加實時三維標識工具，使不同崗位技術人員間的溝通更加形象、直觀；③集成用戶手勢捕捉，更好地與虛擬模型交互。

1 軌道交通設備遠程運維輔助檢修孿生系統的架構

軌道交通設備遠程運維輔助檢修孿生系統采用C/S(客戶端/服務端)架構，其系統架構如圖1所示。

注：ID——身份標識號;箭頭方向代表通常意義上3層架構的邏輯方向，表示整個系統從最底層數據層到離用戶最近的最上層應用層的遞進。

以動車組轉向架的檢修指導流程為例，現場檢修人員借助移動設備或智能眼鏡的攝像頭掃描并識別出真實轉向架的特征點，覆蓋同等比例的虛擬模型后，可支持在線學習指導；現場檢修人員也可通過視頻通話方式，將現場檢修第一視角共享給遠程技術人員，此時遠程技術人員通過點擊移動設備屏幕觸屏，在虛擬模型上疊加線條、箭頭、扳手、錘子等標記，進行相關維修操作的三維指導動畫展示，并實時傳輸給現場檢修人員，以指導現場檢修。軌道交通設備遠程運維輔助檢修孿生系統分為應用層、技術層和數據層3個層次。

1) 應用層。應用層的功能分為3個模塊：①用戶模塊實現用戶注冊和登錄,獲取好友列表、視頻通話功能；②學習模塊實現在線觀看設備UI(用戶界面)文字介紹、局部三維動畫檢修操作視頻，并可通過在線操作考試檢測其學習效果；③遠程指導模塊可基于視頻通話實現雙方屏幕共享，通過觸屏交互在虛擬模型上實現維修指導操作。

2) 技術層。技術層的主要技術包括：①基于Netty的服務器通信技術，該技術結合Spring開源框架、Mybatis開源框架構建了服務器端，可實現不同客戶端之間信息的讀取處理和數據交換；②基于混合開發集成的AR遠程指導技術,其將Android Studio集成開發工具的訊飛語音和聲網通話服務打包成aar文件，并集成到unity平臺進行開發操作,該技術結合Vuforia軟件實現視頻通話、模型識別操作，并導出支持APK(Android應用程序包)的文件，供用戶使用。

3) 數據層。數據層的數據存儲在MySQL數據庫中，主要包括3種類型：①用戶數據，用以存儲用戶ID、用戶名、密碼等用戶基本信息及好友列表信息；②考試數據，用以存儲考試題目的名稱、難度等；③設備數據，用以存儲設備ID及設備特征點數據。數據存儲采用SQLite數據庫存儲、Shared-Preferences數據存儲、文件存儲3種方式。

2 軌道交通設備遠程運維輔助檢修孿生系統的關鍵技術

2.1 基于Netty的服務器通信技術

本系統基于TCP(傳輸控制協議)的長連接實現可靠、高頻率的雙向實時通信，基于Netty、Spring、Mybatis的混合框架開發服務器將服務器端分為通信層、業務邏輯層、數據層。其中：通信層使用基于Netty的NIO框架，該框架是與用戶進行數據交換的通道，主要負責客戶端連接、消息讀取、信息處理，并進行相應的業務分發；業務邏輯層接收來自通信層的消息，將不同類型的業務分配至對應的處理方式中；數據層采用Mybatis框架，該框架使用DAO(數據訪問對象)模式實現數據庫接口，把業務邏輯和數據訪問解耦，直接操作數據表。

由于TCP存在粘包問題，本系統可預先對消息包進行處理，將其分為消息頭和消息體兩部分，并在消息頭中加入消息體的長度數據，以設計合適的消息協議棧。消息體分為消息長度、保留字節、消息類型3個部分，其大小分別為2字節、1字節、1字節，以盡量保證消息包的體積，有效解決粘包問題，提高序列化和反序列化的速率。將消息類型設計在消息頭中，服務器端收到二進制文件后，將根據消息類型將其反序列化成POJO(簡單無規則java對象)。

通過Netty框架中的IdleStateHandler類進行客戶端心跳檢測，若15 s內客戶端未向服務器端發起讀寫操作，則由服務器主動向客戶端發送空閑心跳包，在ConcurrentHashMap類中設置空閑次數。若空閑次數超過3次，則斷開Channel連接，以避免資源浪費。

2.2 基于混合開發集成的AR遠程指導技術

2.2.1 混合開發技術

由于Unity3D軟件出色的渲染功能及多平臺兼容的特性，本系統采用基于Unity3D和Android(安卓軟件系統)混合開發的模式。為保證系統布局的統一性，本系統的混合開發以C#語言為主導，主要在Unity3D軟件中開發，導入由Android Studio中視頻通話等模塊功能封裝成的aar包，通過編寫腳本實現系統的基本功能。本系統可導出在Android平臺上安裝的APK文件，將客戶端搭載在手機移動端和智能眼鏡端，其客戶端框架如圖2所示。

圖2 軌道交通設備遠程運維輔助檢修孿生系統的客戶端框架示意圖

2.2.2 視頻通話技術

視頻通話是遠程AR交互的基礎。由于移動設備自帶的后置攝像頭會與Vuforia軟件的攝像頭沖突，故采用Vuforia軟件的攝像頭進行畫面傳輸共享，現場客戶端通過截屏推流功能將用戶視角共享至遠程用戶。

2.2.3 坐標轉換技術

現場用戶需接收遠程用戶手指觸屏數據的屏幕像素坐標，通過坐標轉換將屏幕像素坐標繪制在世界坐標系上，并基于追蹤算法實現AR效果。坐標軸轉換的計算式如下：

式中：

Zc——相機坐標系下的Z坐標；

u、v——表示像素平面坐標；

u0——圖像的中心像素坐標和圖像原點像素坐標之間相差的橫向像素數；

v0——圖像的中心像素坐標和圖像原點像素坐標之間相差的縱向像素數；

dx、dy——分別表示像素坐標系和圖像坐標系之間的轉換關系，即x方向和y方向下一個像素所占長度；

f——相機焦距；

R——旋轉矩陣；

T——平移向量；

0——零向量;

XW、YW、ZW——分別為世界坐標系下的X、Y、Z三維坐標。

3 軌道交通設備遠程運維輔助檢修孿生系統的功能模塊

3.1 用戶模塊

3.1.1 用戶的注冊和登錄

如圖3 a)所示，在初始界面輸入用戶名、密碼，與已有數據庫表進行匹配，實現登錄功能。若系統內無該賬戶，點擊注冊按鈕后將跳轉至用戶登錄界面，如圖3 b)所示，此時用戶需填寫基本信息。系統將檢測數據庫表中是否存在相同的數據，若不存在，則提示注冊成功。

a) 用戶登錄

3.1.2 獲取好友列表

用戶登錄后，可從系統的數據庫中讀取在線好友數據，并在列表中顯示其基本信息。點擊指定的好友對話框可發起一對一的視頻通話請求，如圖4所示。若對方點擊同意，則可建立視頻通話。

圖4 發送視頻通話界面截圖Fig.4 Screenshot of sending video call interface

3.2 學習模塊

3.2.1 在線學習模塊

用戶在菜單欄點擊“study”(學習)按鈕，界面將呈現學習面板。系統彈出提示信息，提示用戶將移動設備攝像頭對準當前設備。系統將采用物體識別方式利用Vuforia算法提取場景內的特征點，并與Vufoira軟件云存儲庫內的數據進行對比，匹配成功后則精準疊加同比例虛擬模型。點擊“細節講解”，可通過浮動UI面板查看設備指定部位的基本信息，如圖5所示，此時指定部位模型將高亮顯示。

注:Data——數據;Exam——考試;About——關于;Logout——注銷。圖5 設備的UI文字介紹界面截圖Fig.5 Screenshot of UI text introduction interface of the device

如圖6所示，點擊“拆解流程”后，系統將以虛實結合的方式展示設備指定部位的相應維修操作分步指導動畫，供用戶反復觀看。

圖6 設備的維修學習動畫界面截圖Fig.6 Screenshot of equipment maintenance learning animation interface

3.2.2 在線考試模塊

在普通用戶登錄模式下，點擊“Exam”按鈕，可從數據庫隨機抽取不同難度的考題，以UI面板的方式向用戶展示“考試題目”及“考試難度”，用戶可以選擇“開始作答”或點擊“下一題”切換題目，如圖7所示。點擊“開始作答”時,考試題目將以UI方式切換到右上方予以展示。若點擊“下一題”，系統則隨機抽取新題目供用戶測試。

圖7 普通用戶的考試界面截圖Fig.7 Screenshot of the examination interface of ordinary users

若為管理員登錄模式，點擊“Exam”按鈕，系統將跳轉到題庫后臺的管理界面，支持查看所有題庫數據，包括題目的編號、名稱、難度等，并可對題目進行增加、刪減、修改、查詢等操作。

3.3 遠程指導模塊

3.3.1 屏幕共享模塊

當用戶雙方建立起視頻通話時，系統將跳轉到用戶角色選擇界面，此時需根據用戶角色先點擊選擇UI面板中的“現場維修”或“遠程指導”。其中：現場維修端采用Vuforia軟件自帶的攝像頭，可將當前設備畫面共享至遠程指導端；遠程指導端則開啟移動設備前置攝像頭。若視頻畫面卡頓，可在左側菜單欄調節當前畫面的分辨率，系統默認的分辨率為2 560像素×1 040像素。

3.3.2 模型標記模塊

遠程指導端通過手指觸屏點擊“虛擬模型”，基于上文的坐標轉換計算式,坐標轉換在所點擊的屏幕位置處精準添加指定標記(如線條、箭頭等)來指示當前需檢修部位，也可添加扳手、錘子等維修工具，給現場維修端實時展示維修動畫，并提供維修技術指導。現場維修端的巡檢人員可在屏幕右側看到當前所使用的工具，如圖8所示。

圖8 添加三維標記指示設備檢修部位Fig.8 Adding three-dimensional marks to indicate the maintenance parts of the equipment

3.3.3 觸屏交互模塊

遠程指導端通過手指觸屏點擊模型需維修部位，系統將循環展示設備局部維修的操作指導動畫，需拆解部位的設備模型將高亮顯示。現場維修端可在右側對話框中點擊“使用工具”和“維修部位”來查看相關信息。用戶可使用兩個手指觸碰虛擬模型，系統將通過判斷手指觸屏個數和觸屏點距離實現模型的放大、縮小、旋轉等操作，如圖9所示。

圖9 現場維修端的觸屏交互Fig.9 Touch screen interaction on field maintenance end

4 結語

本文設計的軌道交通設備遠程運維輔助檢修孿生系統，引入了AR、VR技術，基于Netty服務器通信技術和基于混合開發集成的AR遠程指導技術，采用智能化、自動化的手段提高了軌道交通設備運維的指導效率和管理水平。該系統的主要創新之處在于：基于AR智能交互技術構建了以車輛轉向架設備為例的軌道交通設備運維指導的可視化平臺，支持技術人員進行遠程診斷和操作指導，設備的檢修效率大為提升；通過立體UI界面和局部模型覆蓋的三維指導動畫，很大程度給用戶帶來了虛實結合的觀感，使技術人員與用戶間的信息交流傳遞更加直觀。

軌道交通設備遠程運維指導系統雖然已經實現了其既定的基本功能，系統運行穩定，但仍然存在以下問題需要進一步改善：①基于物體識別的追蹤技術，其識別效果和精度受光強的影響較大，應研究解決在不同光照條件下追蹤算法的穩定性；②系統目前的應用范圍仍較窄，只能為軌道交通車間的少數設備提供運維指導，在下一步的系統開發中應擴充至多個應用場景，實現對其他設備的智能運維。