軍事裝備虛擬維修訓(xùn)練系統(tǒng)設(shè)計(jì)*

姚 愷 黃少羅 王晉生

（1.陸軍工程大學(xué)石家莊校區(qū) 石家莊 050000）（2.陸軍步兵學(xué)院石家莊校區(qū) 石家莊 050000）

1 引言

目前，我軍正處于基本實(shí)現(xiàn)機(jī)械化、信息化不斷深入的關(guān)鍵階段，在此形勢(shì)下，武器裝備信息度、集成度、復(fù)雜度都明顯增加，同時(shí)也對(duì)維修人員的維修能力提出了更高的要求。因而，在裝備維修工作中，了解武器裝備構(gòu)成，熟悉其運(yùn)行原理，提高維修保障人員維修水平成為維持裝備良好的戰(zhàn)技性能、提升單裝作戰(zhàn)能力的重要影響因素［1］。面對(duì)裝備內(nèi)部大量的零部件以及相互間的復(fù)雜約束關(guān)系，常規(guī)去情況下，維修保障人員依靠隨裝出廠的維修手冊(cè)以及個(gè)人的修理經(jīng)驗(yàn)開(kāi)展裝備維修工作，但裝備故障存在耦合性，任何載體資料都不能盡述全部故障［2］。在此基礎(chǔ)上，提出基于混合現(xiàn)實(shí)理論的裝備虛擬維修訓(xùn)練系統(tǒng)框架。

2 維修訓(xùn)練系統(tǒng)框架設(shè)計(jì)

2.1 混合現(xiàn)實(shí)理論

根據(jù)虛擬環(huán)境與真實(shí)環(huán)境的交互層級(jí)，虛擬現(xiàn)實(shí)技術(shù)分為虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）和混合現(xiàn)實(shí)（MR）三類。虛擬現(xiàn)實(shí)是完全的數(shù)字虛擬世界，所有操作皆通過(guò)虛擬指令或操作完成，不會(huì)與真實(shí)世界產(chǎn)生交互；增強(qiáng)現(xiàn)實(shí)是將簡(jiǎn)單的2D圖片或文字疊加至真實(shí)環(huán)境，也是在真實(shí)環(huán)境基礎(chǔ)上增加部分虛擬環(huán)境的做法，同樣無(wú)法與真實(shí)世界產(chǎn)生交互；混合現(xiàn)實(shí)處于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)之間，它是計(jì)算機(jī)、人、真實(shí)環(huán)境的交互混合仿真系統(tǒng)，具有沉浸感強(qiáng)、實(shí)時(shí)交互的特點(diǎn)。1996年加拿大學(xué)者M(jìn)ilgram提出的“虛擬-現(xiàn)實(shí)連續(xù)體”（Virtuality Continuum）框架很好地定義了混合現(xiàn)實(shí)，這也是學(xué)術(shù)界普遍認(rèn)可的一種定義方式，如圖1所示［3］。

圖1 虛擬-現(xiàn)實(shí)連續(xù)體框架

在上述框架中，數(shù)字世界和實(shí)體世界分處連續(xù)體兩個(gè)極端，分別代表純粹的虛擬世界和真實(shí)世界，混合現(xiàn)實(shí)是數(shù)字世界和真實(shí)世界之間的混沌區(qū)域，換言之，混合現(xiàn)實(shí)并沒(méi)有嚴(yán)格的界定，應(yīng)用技術(shù)更靠近虛擬世界為增強(qiáng)虛擬（AV），反之更靠近真實(shí)世界則為增強(qiáng)現(xiàn)實(shí)（AR）。

2.2 維修訓(xùn)練系統(tǒng)功能結(jié)構(gòu)

如圖2所示，虛擬維修系統(tǒng)主要由跟蹤注冊(cè)、人機(jī)交互、數(shù)據(jù)管理和引導(dǎo)信息4個(gè)模塊組成［4］，基本思路是用裝備的數(shù)字模型替代實(shí)體模型，用基于虛擬技術(shù)開(kāi)展的維修訓(xùn)練代替實(shí)裝維修訓(xùn)練。其中，跟蹤注冊(cè)模塊采集維修人員頭部位姿信息，融合虛擬設(shè)備信息并清晰的呈現(xiàn)在屏顯界面；人機(jī)交互模塊采用語(yǔ)音、手勢(shì)以及觸控筆等交互方式使得系統(tǒng)準(zhǔn)確理解維修意圖并做出及時(shí)正確的反饋；數(shù)據(jù)管理模塊用于存儲(chǔ)用戶信息、維修數(shù)據(jù)等；引導(dǎo)信息模塊融合維修人員操作指令及維修數(shù)據(jù)資料后形成維修引導(dǎo)式信息，經(jīng)過(guò)渲染后呈現(xiàn)在維修人員視野中。

圖2 虛擬維修系統(tǒng)功能模塊組成

針對(duì)上文虛擬維修系統(tǒng)的功能要求，筆者設(shè)計(jì)了基于混合現(xiàn)實(shí)技術(shù)的維修系統(tǒng)體系結(jié)構(gòu)［5］，如圖3所示。

圖3 維修系統(tǒng)體系結(jié)構(gòu)

硬件層：系統(tǒng)以高性能計(jì)算機(jī)工作站為仿真主機(jī)，以微軟Windows xp操作系統(tǒng)為客戶端系統(tǒng)，包含實(shí)現(xiàn)人機(jī)交互所需各類硬件設(shè)備。

軟件層：維修系統(tǒng)采用3Dmax軟件進(jìn)行場(chǎng)景建模，使用unity引擎驅(qū)動(dòng)場(chǎng)景，實(shí)現(xiàn)語(yǔ)音、手勢(shì)以及觸控指令的輸入和反饋，跟蹤、確定維修人員在虛擬場(chǎng)景中位置，存儲(chǔ)大量維修文本資料、維修模型資料以及拆裝序列信息等數(shù)據(jù)。

應(yīng)用層：系統(tǒng)具備維修訓(xùn)練、維修引導(dǎo)兩大功能模塊。

用戶層：維修人員訓(xùn)練過(guò)程引導(dǎo)、提示，反饋結(jié)果通過(guò)操作界面呈現(xiàn)在用戶面前。

3 系統(tǒng)組成模塊設(shè)計(jì)

3.1 混合注冊(cè)模塊

跟蹤注冊(cè)技術(shù)準(zhǔn)確定位實(shí)體世界中的目標(biāo)模型，并將虛擬系統(tǒng)生成的數(shù)字物體穩(wěn)定、真實(shí)地融入實(shí)體環(huán)境中，是混合現(xiàn)實(shí)技術(shù)的核心［6］。常用的跟蹤注冊(cè)技術(shù)為同步定位和建圖技術(shù)（SLAM），理論思想是基于計(jì)算機(jī)視覺(jué)的注冊(cè)算法與基于硬件傳感器的注冊(cè)算法相結(jié)合，如圖4所示，基本框架包括傳感器、前端、后端、回環(huán)檢測(cè)和建圖5部分內(nèi)容。

圖4 SLAM系統(tǒng)組成

傳感器讀取相機(jī)圖像信息并進(jìn)行預(yù)處理；前端視覺(jué)里程計(jì)預(yù)估相鄰圖像間的圖像采集器的運(yùn)動(dòng)；后端接收攝像機(jī)位置和在不同時(shí)間測(cè)量的循環(huán)檢測(cè)的信息，并為獲取布局一致的軌跡和地圖進(jìn)行非線性優(yōu)化；回環(huán)檢測(cè)主要判斷相機(jī)是不是經(jīng)過(guò)當(dāng)前位置，并消除累計(jì)誤差；建圖即根據(jù)估計(jì)的軌跡建立地圖。除傳感器數(shù)據(jù)可以通過(guò)相機(jī)攝像頭采集，其余內(nèi)容均通過(guò)算法在PC端完成。

3.2 人機(jī)交互模塊

考慮到維修系統(tǒng)的實(shí)用性以及經(jīng)濟(jì)性，系統(tǒng)設(shè)計(jì)兩種工作模式，分別為維修訓(xùn)練模式和維修引導(dǎo)模式［7］。日常虛擬環(huán)境下的維修訓(xùn)練采用第一種工作模式，主要借助觸控筆在多點(diǎn)式觸控屏幕上完成交互操作，系統(tǒng)采集操作指令并通過(guò)聲音、震動(dòng)、文字等方式予以反饋；故障現(xiàn)象不明導(dǎo)致無(wú)法做出正確維修決策的情況下采用第二種工作模式，前端視覺(jué)傳感器自動(dòng)識(shí)別故障部件，維修人員利用語(yǔ)音、手勢(shì)與后臺(tái)數(shù)據(jù)庫(kù)產(chǎn)生交互，利用故障推理技術(shù)選擇合適的排除方法，技術(shù)允許的情況下，也可遠(yuǎn)程連接相關(guān)專業(yè)維修人員進(jìn)行遠(yuǎn)程維修引導(dǎo)。

3.2.1 觸控筆交互

觸控交互指令基于射線碰撞監(jiān)測(cè)原理產(chǎn)生，以觸控筆為媒介進(jìn)行交互，維修人員通過(guò)觸控筆前端的射線選擇物體或部件，當(dāng)射線碰撞虛擬環(huán)境并產(chǎn)生碰撞，維修人員通過(guò)長(zhǎng)按相應(yīng)的按鈕實(shí)現(xiàn)虛擬環(huán)境的選擇、縮放，圖5為觸控筆的外觀示意圖［8］。

圖5 觸控筆外觀示意圖

3.2.2 語(yǔ)音交互信

準(zhǔn)確辨識(shí)維修人員話音內(nèi)容是有效交互的前提和關(guān)鍵，本質(zhì)是基于語(yǔ)音特性參數(shù)的模式識(shí)別，即模式匹配原理。換言之，通過(guò)學(xué)習(xí)，系統(tǒng)可以根據(jù)特定的模式對(duì)輸入的語(yǔ)音進(jìn)行歸類，然后根據(jù)特定的匹配模式找到最佳匹配結(jié)果［9］。如圖6是基于模式匹配原理的話音辨識(shí)系統(tǒng)框圖。

圖6 話音辨識(shí)系統(tǒng)框圖

現(xiàn)有語(yǔ)音識(shí)別功能多數(shù)利用特定平臺(tái)API實(shí)現(xiàn)，必須依賴網(wǎng)絡(luò)進(jìn)行，且識(shí)別并不是很好。因此，正文采用微軟自帶的Microsoft Speech SDK實(shí)現(xiàn)話音辨識(shí)，預(yù)先制定8條指令，包括：開(kāi)始維修、光標(biāo)上（下、左、右）移、上一步、下一步、提示、連接后臺(tái)、確認(rèn)、返回。系統(tǒng)采集維修人員語(yǔ)音指令信息，確認(rèn)開(kāi)始維修后，自動(dòng)識(shí)別故障設(shè)備，彈出故障列表，維修人員通過(guò)上述指令進(jìn)入特定故障維修引導(dǎo)界面。

3.2.3 手勢(shì)交互信息

通常，維修環(huán)境存在大量噪音干擾，導(dǎo)致系統(tǒng)無(wú)法檢測(cè)到維修人員語(yǔ)音指令，此時(shí)應(yīng)將指令方式自動(dòng)切換至手勢(shì)指令輸入。筆者設(shè)計(jì)采取視覺(jué)融合慣性的方法識(shí)別維修人員的手勢(shì)。建立手勢(shì)指令樣本集，提取并處理樣本集特征，通過(guò)訓(xùn)練建立手勢(shì)庫(kù)；將監(jiān)測(cè)到的維修人員手勢(shì)與訓(xùn)練結(jié)果進(jìn)行比對(duì)，判斷識(shí)別出的最可能的手勢(shì)并輸出指令結(jié)果，圖7為手勢(shì)識(shí)別流程框圖。

圖7 手勢(shì)識(shí)別流程

基于Hololens核心手勢(shì)，設(shè)計(jì)虛擬維修常見(jiàn)的手勢(shì)指令，包括：選擇、放大（縮小）、移動(dòng)等常見(jiàn)手勢(shì)。圖8為放大（縮小）的手勢(shì)變化，正向?yàn)榭s小手勢(shì)，反向?yàn)榉糯笫謩?shì)。

圖8 放大（縮小）手勢(shì)變化

3.3 引導(dǎo)信息模塊

維修引導(dǎo)模式下，綜合考慮成像效果、佩戴舒適感以及經(jīng)濟(jì)性等因素，引導(dǎo)信息模塊硬件采用光學(xué)透視型頭戴顯示器Hololens作為混合現(xiàn)實(shí)顯示設(shè)備，軟件通過(guò)在Windows環(huán)境下運(yùn)行OSG（Open-SceneGraph）框架渲染語(yǔ)音、文字、圖像等引導(dǎo)信息并完成輸出。維修訓(xùn)練模式下，通過(guò)立體投影或分屏技術(shù)，將維修人員的虛擬交互過(guò)程投影到其他3D/2D顯示設(shè)備中，便于開(kāi)展演示互動(dòng)分享。

3.4 數(shù)據(jù)管理模塊

虛擬維修系統(tǒng)的數(shù)據(jù)庫(kù)資料包含維修文本資料和維修模型資料。維修文本資料根據(jù)不同型號(hào)裝備可進(jìn)行補(bǔ)充完善，按照故障類型、對(duì)象信息、維修流程、注意事項(xiàng)等進(jìn)行分層分類管理。維修模型資料包含維修對(duì)象3D模型、維修工具3D模型、環(huán)境模型、紋路和貼圖等數(shù)據(jù)。

圖9 引導(dǎo)信息生成原理框圖

虛擬系統(tǒng)不僅可以針對(duì)特定型號(hào)裝備進(jìn)行虛擬維修訓(xùn)練，也可在緊急情況下實(shí)現(xiàn)引導(dǎo)式維修，因此對(duì)3D模型進(jìn)行有效組織管理至關(guān)重要。維修過(guò)程本質(zhì)是維修人員拆卸與裝配目標(biāo)對(duì)象的過(guò)程，在建模中則應(yīng)重點(diǎn)考慮零部件間的拆裝信息關(guān)系，確保相互之間能夠精準(zhǔn)匹配。基于此，本文構(gòu)建層次化的拆裝關(guān)系模型，包含零件信息、拆裝序列、拆裝路徑和拆裝約束4個(gè)方面的信息［10］。表1為各要素包含的相關(guān)拆裝信息。

表1 拆裝模型要素信息表

4 目標(biāo)拆卸技術(shù)分析

拆卸與裝配是裝備維修過(guò)程中的重要環(huán)節(jié)，裝配可以看作是拆卸的逆過(guò)程，此環(huán)節(jié)對(duì)拆卸進(jìn)行研究。根據(jù)目標(biāo)的分解程度，拆卸可以分成完全拆卸和目標(biāo)拆卸。具體來(lái)說(shuō)，完全拆卸是將具體裝備或單體設(shè)備分解至獨(dú)立不可拆解的零件為止，主要應(yīng)用于結(jié)構(gòu)原理研究；目標(biāo)拆卸是在明確拆卸目標(biāo)的基礎(chǔ)上，解除目標(biāo)零件的所有約束，按拆卸序列逐步拆解，最后完成拆卸目標(biāo)的過(guò)程，主要用于具體零件的更換或維修［11］。基層級(jí)換件維修的過(guò)程即為目標(biāo)拆卸的應(yīng)用過(guò)程。因此，研究維修訓(xùn)練重在對(duì)研究對(duì)象進(jìn)行目標(biāo)拆卸建模研究。

4.1 目標(biāo)拆卸基本原理

利用圖論進(jìn)行目標(biāo)拆卸序列規(guī)劃的基本原理是：首先，根據(jù)目標(biāo)對(duì)象部件的定向連接圖，計(jì)算其完整的剖面集矩陣。然后，從矩陣中提取連續(xù)字符的行以分離圖形，并計(jì)算分段圖形的秩。如果秩只是減少1，則對(duì)應(yīng)于行的邊緣是組合的定向切割集。每個(gè)這樣的部件切割集將定向部件的原始連接圖形分成兩個(gè)子圖，所有部件裝配序列就都可以循環(huán)分割得到［12］。

假定目標(biāo)部件的連接關(guān)系為

公式中，V表示包含在目標(biāo)組件中的一組可移除零件，E表示被移除的目標(biāo)零件之間的一組關(guān)聯(lián)連接。如果集合L可以分成兩個(gè)對(duì)應(yīng)聯(lián)通的子圖，存在：

且滿足：

目標(biāo)拆卸的割集合Ecut可以表示為

根據(jù)上述拆卸原理，目標(biāo)組件的限制部分可以被逐一釋放，并且兼顧單次拆卸和步驟最少原則，這樣，就可以獲得定向圖表示的拆卸目標(biāo)序列。

4.2 軸承架拆卸序列生成

以軍事裝備中常見(jiàn)傳動(dòng)齒輪軸承架為例，圖10為軸承架三維模型零件編號(hào)圖。按照上文所述拆卸原理，運(yùn)用目標(biāo)拆卸約束解除法，獲得拆卸序列對(duì)應(yīng)的與或分割有向圖，見(jiàn)圖11。

圖10 軸承架三維模型零件編號(hào)圖

分析虛擬拆卸結(jié)果，該傳統(tǒng)齒輪軸承拆卸序列編號(hào)如圖12所示。整個(gè)拆卸序列生成10個(gè)割集Ecut，按照拆卸約束解除規(guī)則，10個(gè)割集對(duì)應(yīng)10個(gè)拆卸步驟。在目標(biāo)拆卸中，沒(méi)有發(fā)生零件碰撞和穿透，沒(méi)有破壞性拆卸，拆卸步驟少，拆卸效果好，符合實(shí)際拆卸要求。

圖11 軸承架有向拆卸分割圖

圖12 軸承要拆卸序列

5 結(jié)語(yǔ)

本文提出基于混合現(xiàn)實(shí)理論的軍事裝備虛擬維修訓(xùn)練系統(tǒng)設(shè)計(jì)方法，能夠同時(shí)滿足日常維修訓(xùn)練、突發(fā)情況下引導(dǎo)維修的需求。系統(tǒng)采用桌面顯示和頭戴顯示兩者模式，通過(guò)語(yǔ)音、手勢(shì)指令實(shí)現(xiàn)了維修人員能與虛擬維修環(huán)境的有效交互，運(yùn)行平臺(tái)技術(shù)成熟，二次開(kāi)發(fā)成本低，開(kāi)發(fā)周期短，對(duì)不同類型裝備的虛擬維修訓(xùn)練、虛擬操作訓(xùn)練系統(tǒng)的開(kāi)發(fā)具有借鑒指導(dǎo)意義。