基于HoloLens的船舶輔機拆裝系統研究與實現

商 蕾， 王 冰， 楊志勇, 何業蘭

(1. 武漢理工大學 a. 能源與動力工程學院； b. 武漢理工大學 計算機科學與技術學院， 武漢 430063；2. 國家水運安全工程技術研究中心， 武漢 430063)

船舶輔機是船舶輪機系統的重要組成部分，船舶輔機復雜多樣，不僅理論知識的學習具有一定的難度，拆裝更是需要花費較多的時間和精力。目前，“船舶輔機拆裝”課程是航海類院校的必修課，也是海事局規定的船員適任證書的評估科目。在傳統的教學過程中，對于輔機設備的實操訓練集中在拆裝實驗室。在學生基數大及實驗設備少的現狀下，學生很難獲得足夠的訓練時間，實際動手能力亟待提高。

本文運用增強現實技術，開發一套基于HoloLens的船舶輔機拆裝系統，除了為學生提供不限時長、高沉浸感及輕便的交互式虛擬拆裝訓練場景外，還為他們創建一個虛實結合和多人協同的操作訓練環境。本文從系統框架功能設計、模型搭建優化、人機交互和多人協同等方面詳細闡述。

1 系統功能框架設計

1.1 系統功能

基于HoloLens增強現實技術，船舶輔機拆裝系統在使用過程中，不需要電腦、冗雜的數據線、手柄和鼠標等外圍設備，用戶只需佩戴HoloLens眼鏡結合手勢就可實現所有的操作。用戶進入系統后，先選擇輔機設備，再選擇學習模式和訓練模式進行試驗學習[1]。

1) 學習模式利用三維仿真等手段，展示各個船舶輔機設備的工作原理及拆裝結構。

2) 訓練模式則會模擬真實的拆裝環境，根據用戶選擇的輔機設備加載對應的虛擬模型和工具，用戶可進行拆裝練習。系統會自動檢測用戶的每一步操作，判斷操作的正確性，當出現操作錯誤時，系統會根據要求提示正確操作的流程，系統功能見圖1。

1.2 系統框架

基于HoloLens增強現實技術的船舶輔機拆裝系統技術框架見圖2，其中增強現實平臺是系統的核心。系統通過HoloLens采集真實環境中的信息和多個用戶交互信息后，進行同步空間掃描定位，將交互信息與數據庫信息進行匹配，然后通過多人協同在多個HoloLens設備上進行增強現實顯示[2]。

2 模型搭建

模型搭建是系統開發的必要環節，是組成數據庫的重要內容，也是實現虛擬拆裝的基石，采用3ds Max三維建模軟件進行模型搭建。由于本系統虛擬拆裝是在HoloLens增強現實環境下進行的，考慮到實際虛擬拆裝過程中要進行模型移動和旋轉等操作，所以搭建的三維模型不僅要在外形上追求真實，還要盡可能地減少其內部面數和優化其結構。這樣才不會使HoloLens的內存和GPU由于模型太復雜而過度消耗，影響人機交互的實時性和系統運行的穩定性。

本系統在模型搭建方面主要研究并解決模型表面紋理及材質的優化和拆裝過程建模2個主要問題。

2.1 模型表面紋理和材質的優化

系統中船舶輔機虛擬模型是按照真實環境下的輔機設備尺寸及比例搭建的。由于船舶輔機設備的數量和種類繁多，設備表面也復雜多樣，為使輔機模型表面材質和紋理都要盡可能地還原真實船舶輔機設備。本系統在給模型添加材質時采用UV展開操作的方式，將虛擬模型表面展開成一個完整平面，根據虛擬模型表面的形狀紋理對平面進行繪制。采用這種方法可通過一張帶有紋理的UV貼圖就能呈現出整個船舶輔機虛擬模型表面的紋理效果；同時，有些設備表面有一些標志性的結構或不參與交互部件，可在其表面添加帶有法向通道的凹凸貼圖來呈現，這樣便可減少虛擬模型面數，降低GPU的消耗，提高系統運行的實時性和穩定性。一船用泵模型的UV展開圖見圖3，結果證明采用此方法優化的模型，很大程度減少了系統內存占有量。

場景的光影效果需要多組燈光組件進行光照計算和實時渲染，實時計算和渲染將耗費大量HoloLens GPU性能。所以，在模型布光后，進行光照烘焙，將生成的光照烘焙貼圖直接應用于船舶輔機靜態設備模型上，這樣在使用系統時就不必進行實時光照計算，大大節省GPU性能。

2.2 拆裝過程建模

船舶輔機設備復雜多樣，為確保拆裝系統與真實環境中保持一致，除了要搭建虛擬船舶輔機整體模型，還需對拆裝過程進行過程建模。如果拆裝過程沒有優化，或者過程繁瑣、復雜，就會導致在實際虛擬拆裝過程中出現層次混亂，拆裝邏輯不符合要求的問題。因此，過程建模是本系統研究的核心之一，是實現拆裝操作可視化、拆裝邏輯合理的重要依據。

為滿足真實船舶輔機拆裝邏輯要求，拆裝過程建模采用層次型模型與關系型模型相結合的方式，該方式既能保證船舶輔機虛擬設備零部件層次結構清晰，又能以節點方式連接各個部件之間父子等級關系，便于管理和調用[3]。

根據交通運輸部海事局規定的船舶輔機拆裝評估的考試特點，拆裝過程包含：

1) 工具選擇。拆裝過程中使用的工具必須符合規范要求。

2) 拆裝順序。拆裝過程應嚴格按照設備說明書中的要求進行拆裝，父子等級關系明確，各部分的拆裝邏輯符合要求。

3) 拆裝動作。比如拆裝船舶油馬達的時候，配流軸、端蓋和內部活塞都有各自嚴格的拆裝軌跡。

以拆裝多作用內曲線柱塞油馬達為例，對拆裝層次/關系模型方法的樹狀結構進行說明見圖4。樹狀結構的根節點為進行拆裝的船舶輔機設備。

葉子節點上下父子等級關系的細化程度要根據交通運輸部海事局對船舶輔機拆裝評估的要求來劃分，其遵循的規則有

1) 為每一個節點的零部件匹配到專用拆裝工具。

2) 為每一個節點的零部件進行順序編號，如多個節點的拆裝不分先后順序，則統一編號。

3) 為父子等級關系制定好邏輯腳本，確定好拆裝先后及順序。

4) 為每個節點部件的拆裝軌跡設定好關鍵幀動畫，使每一個部件的拆裝路徑都符合要求。

3 人機交互

人機交互是系統增強現實應用的核心技術。本系統的人機交互的研究與實現主要分為虛擬模型的選取和交互手勢的實現兩個部分。

3.1 選取虛擬模型

本系統采用射線碰撞檢測的方式實現虛擬模型的選取。射線碰撞原理見圖5。系統通過HoloLens向用戶眼睛凝視方向發射一條射線與虛擬三維模型零部件之間進行碰撞檢測。射線與泵的某個虛擬部件交點為P。射線與前后剪切面相交于P1(X1,Y1,Z1)和P2(X2,Y2,Z2)點，通過P1點與P2點的坐標及連線可確定P點的信息。

已知射線上每一個點的坐標都可用該射線單位向量E與模M表示，則P點坐標為

P=P1+E×M

或

P=P2-E×M

(1)

已知碰撞體部件所在模型上的3個基準點A(XA,YA,ZA)、B(XB,YB,ZB)、C(XC,YC,ZC)，則這3個基點所構成三角形內的任何一點的坐標都可以由變量κ、ν以及A、B、C三點坐標為

P=A+κ×B-A+ν×(C-A)

(2)

(0<κ、ν<1,κ+ν<1)

則有

P1+E×M=(1-κ-ν)×A+κ×B+ν×C

(3)

從而得出方程組

(4)

由式(4)可計算出κ、ν和模M的值，然后代入式(3)中可得出P點的坐標，對比HoloLens中運用同步定位與建圖SLAM(Simultaneous Localization and Mapping)技術自動生成的深度圖中虛擬零部件的空間坐標[4-5]，即可確定發生碰撞的部件，實現虛擬模型的選取。

3.2 實現交互手勢

交互手勢的實現是本系統另一大亮點，選中目標后通過交互手勢進行拆裝，徹底擺脫了對鼠標及鍵盤等輸入設備的依賴。通常在增強現實交互手勢的研究中，根據應用目的和手勢狀態將交互手勢分為靜態手勢和動態手勢兩種方式分別進行檢測識別[6]。本系統主要采用動態手勢檢測，將手放置于用戶眼前120°×120°的視角里：通過采集人體手部骨骼節點的深度圖，得出骨架節點的運動軌跡作為主要的手勢識別特征；通過對比骨架節點的起點、終點和移動距離，然后處理計算分類，最終得出手勢識別結果[7-8]。兩個重要手勢分別為

1) Bloom 手勢，用于執行返回及退出命令。

2) Air tap 手勢，主要是執行點擊與確認命令。

4 基于HoloLens的多人協同

為滿足復雜設備多人虛擬拆裝操作，本文設計并實現基于HoloLens的多人協同。所謂多人協同操作就是系統可滿足多個用戶同時進行一臺虛擬輔機設備的拆裝，在拆裝過程中，所有用戶都可以對虛擬輔機設備進行拆裝操作，且所有拆裝過程都同步進行。這樣既能使虛擬拆裝更貼近真實環境下的拆裝訓練，也能夠提升學員之間的互動性。多人協同的數據傳遞是通過Socket協議實現的，通過Server/Client服務器的接口來搭建服務器端和傳遞客戶端數據[9]。多人協同主要研究并解決了兩個主要問題：

1) 多人協同中訪問沖突的解決策略。

2) 多人協同中場景虛實結合的一致性。

4.1 沖突解決策略

在進行船舶輔機拆裝系統多人協同的操作時，多個學員可能會在同一時刻拆裝并控制同一零部件，如果系統不能處理好多個對象訪問同一輔機零部件的情況，就有可能導致系統的異?；蛘弑罎?，因此設計一個健全的多人協同訪問沖突的解決策略尤為重要。服務器要利用參加協同操作的用戶的數據信息進行仿真計算，判斷沖突并能有效解決沖突。

在船舶輔機多人協同拆裝仿真時，每一個用戶的操作對于服務器模擬計算來說權重都是一樣的，每次計算都要根據用戶最新一幀完整的操作數據進行，仿真計算完成并進行實時可視化呈現，才能不影響各個用戶的操作體驗。多個用戶協同操作時，用戶之間會有意識地進行沖突避讓，按先后順序進行操作。服務器模擬仿真計算會在設定的周期內完成運算，一般不會出現訪問同一零部件的沖突；但不能避免的訪問沖突也會出現，比如當兩個用戶之間合作進行某一船舶輔機大部件的拆裝時，會進行部件的傳遞，此時部件不可避免地被兩個用戶同時接觸，服務器仿真計算這時會出現數據沖突。因此，要運用一定策略讓部件屬于被傳遞的用戶，并順利完成傳遞操作[10]。

針對用戶在船舶輔機拆裝實驗中的操作特點，研究并設計一種多人協同中訪問沖突的解決策略見圖6。當服務器根據各個用戶的最新一幀完整的操作數據進行仿真計算時，如果過程中出現訪問數據沖突，服務器會按照具體的應用特點根據先來后到的規則選擇正確的客戶端操作為優選操作，服務器篩選數據進行仿真計算，結果再進行訪問數據沖突判斷，直到沖突消失，最后將仿真計算結果輸出，并進行可視化呈現。

4.2 虛實結合的一致性呈現

本系統多人協同方案是通過多臺HoloLens 眼鏡協同實現的，在協同操作時，各個參與拆裝操作的用戶通過手勢、語言與眼鏡凝視與虛擬輔機模型進行交互，只有用戶在自己的HoloLens 眼鏡中看到的虛擬模型跟其他用戶看到的虛擬模型一致，才是真正的協同操作。因此，系統必須保證虛擬模型在現實場景中的位置和結構的實時一致性和各個零部件約束一致性。比如：用戶1進行操作時，協同拆裝用戶2也可看到整個操作過程，而且用戶2看到的虛擬模型狀態與用戶1看到的狀態一樣時，繼續進行自己的拆裝操作；參與協同的其他用戶也可實時看到用戶2的操作結果[11]。

本系統運用如下的方法實現虛實結合場景的一致性：

1) 建立一個船舶輔機虛擬模型數據庫，各個協同用戶的HoloLens 設備都有一份本地的虛擬模型狀態數據，每當用戶拆裝虛擬輔機模型的某個零部件時，只要修改各個用戶設備的虛擬模型狀態數據即可，這些操作都是在操作之前離線進行的。

2) 在操作進行時，網絡框架不會傳遞整個虛擬模型的狀態數據，只要傳遞虛擬模型中被操作的零部件的位置、姿態和約束關系的數據，各個協同拆裝用戶接受數據并在本地進行數據更新。這樣既實現了虛實結合場景的一致性，同時又在很大程度上減少數據網絡傳輸帶寬壓力，保證模型拆裝交互過程的實時同步。

5 系統實現效果

特選取較為復雜的HoloLens 多人協同虛擬拆裝進行所搭建系統的功能展示。

將3臺HoloLens通過WiFi連接到同一個局域網中(多臺設備原理相同)。任意選擇其中一臺作為主機即服務器端，其他兩臺則為客戶端。主機先進入系統，根據訓練科目選擇不同的輔機設備，把選中的三維虛擬模型擺放在合適的空間位置，并開始測試。系統運行展示見圖7，圖7a)所示為主機第一視角拍攝圖。接著，另外2臺HoloLens進入系統，與主機建立連接，進行多人協同實操訓練，效果見圖7b)。

圖7 船舶輔機拆裝系統運行展示

每個用戶都可以通過手勢選取不同的虛擬拆裝工具，如：十字螺絲刀、10 mm內六角扳手、6.5 mm內六角扳手等工具對相應部件進行拆裝。拆裝訓練過程中，用戶相互之間可同步看到整個拆裝過程，不存在訪問沖突。

從實際效果來看，多人協同操作人機交互良好，系統運行流暢。

6 結束語

本文研究并實現了一套基于HoloLens增強現實技術的船舶輔機拆裝系統，將AR技術應用于實際的輪機專業教學中。所搭建的系統開發的功能和技術構架，解決了輔機虛擬模型優化、人機交互及基于AR的多人協同操作等技術難點。基于C編程環境和Unity3D三維驅動引擎，完成了系統的研發及測試。用戶可通過本系統在現實環境中添加船舶輔機設備三維模型，不用借助任何輸入設備，用手勢即可完成拆裝操作。該系統在輪機專業培養及海事系統大證考試評估等方面有著廣闊的發展前景，節省成本且提高效率。另外，所探討的基于HoloLens的虛實結合技術同樣適用于絕大多數機械行業的維修檢測工作，將會對機械制造等行業未來的發展產生積極影響。