基于空間增強(qiáng)現(xiàn)實(shí)技術(shù)的軌道車輛檢修訓(xùn)練關(guān)鍵技術(shù)研究

李 愷，張倩菡

（廣州鐵路職業(yè)技術(shù)學(xué)院，廣東 廣州 510430）

軌道交通車輛作為人們出行的選擇之一，已經(jīng)越來(lái)越普遍。隨著我國(guó)交通強(qiáng)國(guó)戰(zhàn)略的實(shí)施，全國(guó)軌道交通車輛保有量不斷提升。軌道交通車輛數(shù)量的增加給運(yùn)維企業(yè)帶來(lái)了不小挑戰(zhàn)，其中最主要的是車輛檢修。軌道車輛檢修過(guò)程繁雜，待檢部件種類多，數(shù)量大，因此需要大量車輛檢修工人。根據(jù)市場(chǎng)調(diào)研，全國(guó)軌道交通行業(yè)車輛檢修工人的缺口達(dá)到了20 萬(wàn)人。傳統(tǒng)的檢修工人培養(yǎng)模式效率低下、效果差，難以滿足現(xiàn)行軌道交通行業(yè)的高速發(fā)展。因此，針對(duì)軌道車輛多人協(xié)同檢修訓(xùn)練方法，亟待改善培訓(xùn)效率，筆者在此基礎(chǔ)上提出基于空間增強(qiáng)現(xiàn)實(shí)技術(shù)的軌道車輛多人協(xié)同檢修訓(xùn)練方法。

1.多人協(xié)同交互平臺(tái)的構(gòu)建

空間增強(qiáng)現(xiàn)實(shí)技術(shù)是一種借助虛擬現(xiàn)實(shí)設(shè)備，將實(shí)際的物理空間作為顯示介質(zhì)，再將虛擬影像疊加到實(shí)際物體像上，達(dá)到虛實(shí)融合效果的技術(shù)。SAR 通過(guò)將顯示設(shè)備與用戶分離開的方式，降低交互時(shí)的設(shè)備負(fù)載和認(rèn)知負(fù)荷。融合的影像與用戶個(gè)體相互獨(dú)立，運(yùn)行多個(gè)用戶從各個(gè)角度觀察虛實(shí)融合的影像，具有良好的魯棒性，對(duì)用戶來(lái)說(shuō)具備良好的協(xié)同感知、環(huán)境感知和空間感知。SAR 的架構(gòu)如圖1 所示。

圖1 空間增強(qiáng)現(xiàn)實(shí)技術(shù)架構(gòu)

車輛檢修過(guò)程中，往往不是依靠單個(gè)檢修工人進(jìn)行，日常車輛檢修往往是多人同時(shí)進(jìn)行。一方面，同時(shí)作業(yè)可大大提升車輛檢修效率，另一方面，因?yàn)檐囕v上的一些測(cè)試需要兩人或者多人同時(shí)完成，比如車門防夾測(cè)試，就需要一人在司機(jī)室操作，另外10 人需要在車輛中對(duì)應(yīng)的車門位置做防夾測(cè)試。為了更好地模擬實(shí)際車輛檢修過(guò)程，就需要訓(xùn)練系統(tǒng)具備多人協(xié)同訓(xùn)練的功能，因此需要搭建多人協(xié)同交互平臺(tái)。平臺(tái)框架如圖2 所示。

圖2 多人協(xié)同交互平臺(tái)框架圖

通過(guò)使用Hololens 作為客戶端設(shè)備供學(xué)員使用，我們搭建服務(wù)器，利用服務(wù)器與客戶端進(jìn)行數(shù)據(jù)交互，再將數(shù)據(jù)呈現(xiàn)給學(xué)員。這樣一來(lái)，各個(gè)學(xué)員就可以在訓(xùn)練過(guò)程中，實(shí)現(xiàn)與他人的交互，從而實(shí)現(xiàn)在虛擬場(chǎng)景下的多人協(xié)同作業(yè)訓(xùn)練。

2.基于空間增強(qiáng)現(xiàn)實(shí)技術(shù)的交互方法

人機(jī)交互有許多種，傳統(tǒng)的以鼠標(biāo)鍵盤為設(shè)備輸入端的交互不再適用于實(shí)物虛擬檢修訓(xùn)練。空間增強(qiáng)現(xiàn)實(shí)技術(shù)中有許多交互方法，如基于觸控的交互、基于手勢(shì)或姿勢(shì)的交互、基于控制器的交互、手持投影儀交互、實(shí)物交互和多模態(tài)交互等等。

2.1 基于手勢(shì)的交互方法

在軌道車輛檢修訓(xùn)練中，我們要求訓(xùn)練者應(yīng)與實(shí)際作業(yè)一致，雙手有實(shí)物或者是虛擬的檢修工具。因此，要在此類虛擬訓(xùn)練中解放雙手，可考慮基于手勢(shì)或姿勢(shì)的交互作為主要交互手段。圖3 為基于手勢(shì)的交互方法。

圖3 基于手勢(shì)的交互方法

現(xiàn)代理論研究認(rèn)為，人類的手勢(shì)交互分成多個(gè)階段，這些階段可以反映出人類的意圖，在實(shí)際交互過(guò)程中的特征也是這些情況的共同反映。從相關(guān)研究分析得出，人手的交互狀態(tài)分為以下幾個(gè)階段：

準(zhǔn)備階段：當(dāng)用戶明確自己需要達(dá)到某種目的之后，在用戶腦海中要將自己的任務(wù)演練一遍，規(guī)劃完成任務(wù)的流程，制定完成步驟，這就是用戶操作中的心理準(zhǔn)備過(guò)程。當(dāng)用戶心理準(zhǔn)備階段完成以后，就根據(jù)需要完成任務(wù)的困難程度，對(duì)任務(wù)進(jìn)行拆解分類，根據(jù)安裝心理準(zhǔn)備的實(shí)際情況，做出手勢(shì)的初步姿態(tài)。

運(yùn)動(dòng)階段：從初步姿態(tài)開始，用戶開始按照腦海中設(shè)計(jì)完成的動(dòng)作，做出預(yù)設(shè)手勢(shì)，手勢(shì)運(yùn)動(dòng)軌跡可循，動(dòng)作平穩(wěn)，由于已經(jīng)進(jìn)行心理規(guī)劃，故速度較快。一般性的同一個(gè)動(dòng)作軌跡，是大腦的一次信號(hào)傳輸指揮手部按照規(guī)劃進(jìn)行動(dòng)作。

過(guò)渡階段：從一個(gè)動(dòng)作過(guò)渡到另一個(gè)動(dòng)作的過(guò)程中，用戶頭腦中會(huì)有思考時(shí)間，因此在動(dòng)作銜接中會(huì)出現(xiàn)短暫的間隙，即信號(hào)的傳輸在大腦中進(jìn)行調(diào)整，從而在行為上出現(xiàn)停頓，或者動(dòng)作過(guò)程減速等。

基于手勢(shì)的交互方法，可用手部姿態(tài)完成人機(jī)交互。實(shí)現(xiàn)手勢(shì)交互分為手部識(shí)別和姿態(tài)確認(rèn)兩個(gè)步驟，即先需要確定空間中哪個(gè)物體是手，確定手以后就得確定手的姿態(tài)。手部識(shí)別現(xiàn)已較為成熟，大都采用圖像識(shí)別的方式通過(guò)建立手部骨架模型對(duì)空間物體對(duì)比從而識(shí)別手部，手部姿態(tài)也是通過(guò)手部骨架姿態(tài)來(lái)進(jìn)行識(shí)別手勢(shì)。手部骨架如圖4 所示。

通過(guò)對(duì)手勢(shì)進(jìn)行編碼就可以得到相應(yīng)的人機(jī)交互代碼，比如圖4 手勢(shì)可以作為數(shù)字“3”進(jìn)行輸入，也可作為第三模式或者暫停。

圖4 手部骨架模型

2.2 基于語(yǔ)音的交互方法

語(yǔ)音交互作為人機(jī)交互中最為直接的方式，在車輛檢修中最為實(shí)用。語(yǔ)音交互即機(jī)器能夠“聽懂”用戶的語(yǔ)言，然后執(zhí)行相應(yīng)的指令或者進(jìn)行合理的回復(fù)。語(yǔ)音交互主要經(jīng)過(guò)語(yǔ)音識(shí)別、自然語(yǔ)言處理、人機(jī)對(duì)話和語(yǔ)音合成四個(gè)步驟。其處理流程如圖5 所示。語(yǔ)音識(shí)別技術(shù)是語(yǔ)音交互的第一步，通過(guò)傳感器（麥克風(fēng)）采集聲波信號(hào)，將聲波信號(hào)轉(zhuǎn)換為電信號(hào)并進(jìn)行解碼的過(guò)程，從而將聲波轉(zhuǎn)換為機(jī)器能理解的內(nèi)容，即語(yǔ)音識(shí)別是從語(yǔ)音信號(hào)到文字內(nèi)容的解碼過(guò)程。自然語(yǔ)言處理是指設(shè)備（計(jì)算機(jī)）對(duì)自然語(yǔ)言進(jìn)行處理，提取文本語(yǔ)義的過(guò)程。在語(yǔ)音交互技術(shù)中，自然語(yǔ)言處理是其中最為重要的環(huán)節(jié)，因?yàn)橹挥性诔浞痔幚砗梦谋緝?nèi)容，系統(tǒng)才能根據(jù)文本語(yǔ)義進(jìn)行下一步的處理或者是操作。

圖5 語(yǔ)音交互處理流程圖

人機(jī)對(duì)話是指設(shè)備（計(jì)算機(jī)）與自然人進(jìn)行語(yǔ)音交互，通過(guò)自然友好的方式給用戶提供便捷性，從而高效地完成任務(wù)。人機(jī)對(duì)話是智能語(yǔ)音交互中重要的支撐技術(shù)，在對(duì)人類語(yǔ)音進(jìn)行識(shí)別和內(nèi)容處理后，通過(guò)該技術(shù)對(duì)語(yǔ)音信息的狀態(tài)，生成自然的、合理的、有效的回復(fù)，以實(shí)現(xiàn)時(shí)間上連續(xù)的智能語(yǔ)音交互。

語(yǔ)音合成是指將文本內(nèi)容自動(dòng)地生成聲音信號(hào)的過(guò)程，是語(yǔ)音識(shí)別的逆過(guò)程。現(xiàn)今語(yǔ)音合成已經(jīng)較為成熟，有許多成熟的框架，只需根據(jù)用戶需求進(jìn)行二次智能優(yōu)化，對(duì)必要的信息進(jìn)行提煉和補(bǔ)充即可。

3.結(jié)語(yǔ)

隨著新技術(shù)革命和產(chǎn)業(yè)革命的迅猛發(fā)展，給軌道交通行業(yè)帶來(lái)了深刻影響，尤其是空間增強(qiáng)現(xiàn)實(shí)技術(shù)的相關(guān)核心技術(shù)取得顯著進(jìn)步，展示出蓬勃發(fā)展的趨勢(shì)。本文結(jié)合將新技術(shù)與傳統(tǒng)檢修訓(xùn)練相互結(jié)合，借助空間增強(qiáng)現(xiàn)實(shí)技術(shù)提高學(xué)員在拆裝過(guò)程中的交互效率和訓(xùn)練效果。針對(duì)檢修訓(xùn)練搭建了多人協(xié)同平臺(tái)，研究訓(xùn)練系統(tǒng)中的關(guān)鍵技術(shù)，論述訓(xùn)練中的交互方法，為軌道交通行業(yè)檢修訓(xùn)練方法提供參考。