基于三維虛擬船舶的駕駛員實操訓練平臺開發

,,

(1.大連海事大學 航海學院，遼寧 大連 116026；2.中國海事服務中心 考試中心，北京 100029)

基于三維虛擬船舶的駕駛員實操訓練平臺開發

王德龍1,任鴻翔1,朱耀輝2

(1.大連海事大學 航海學院，遼寧 大連 116026；2.中國海事服務中心 考試中心，北京 100029)

針對STCW公約馬尼拉修正案的實施和船舶駕駛員的實操培訓，開發不受時間和地點限制的訓練平臺，運用人機交互技術設計并優化人機交互界面；運用三維建模技術建立船舶、港口、航標、小島等三維模型；應用船舶操縱性分離建模理論，建立船舶運動6自由度數學模型；運用場景漫游技術、碰撞檢測技術以及三維交互技術實現三維場景中漫游與交互；結合專家系統及智能評估技術，實時給出訓練輔助信息及對訓練效果的評判。在平臺上可以完成船舶進出港操縱、船舶避碰、船舶甲板設備操作及保養等訓練和考核。經測試表明，該平臺可以滿足公約及船公司對船舶駕駛員訓練的需求。

水上運輸；訓練平臺；虛擬現實；船舶操縱；評估

《STCW公約》馬尼拉修正案已于2012年1月1日正式生效，修正案指出可以通過認可的培訓、工作經歷以及航海模擬器培訓等途徑來滿足船舶駕駛員的適任要求，實際培訓過程以授課為主，結合模擬器操作訓練的模式完成。可以看出，公約修正案更加注重航海模擬器對于船舶駕駛員的培訓。目前，國內外主流的船舶操縱模擬器廠商和科研機構，都有比較成熟的全功能大型船舶操縱模擬器，可以用于船舶駕駛員的培訓，但普遍存在2個問題：成本較高；進行培訓和練習的時間和場地受限。針對第一個問題，各研究機構研發了桌面版船舶操縱模擬器，大大降低了硬件設備的成本。針對第二個問題，研究人員逐步將研究重點放在基于移動端的船舶操縱模擬器的開發上。然而，在船舶甲板設備操作訓練方面，以及消防救生相關操作方面(包括救生艇的釋放回收、檢查保養等)的功能還相對較少，致使海上環境模擬的真實度還不夠(缺少船舶甲板設備的操作模擬)。另外，在海上事故調查中可以發現，由于甲板設備操作不當(包括消防救生設備的操作)而造成的事故每年都有發生。針對以上問題，考慮在桌面版船舶操縱模擬器的基礎上開發基于虛擬三維船舶的駕駛員訓練平臺。

1 整體框架

駕駛員實操訓練平臺整體構架見圖1。

圖1 訓練平臺整體架構

船舶駕駛員訓練平臺以三維虛擬整船平臺(簡稱整船平臺)為核心，目的是為受訓人員營造一個相對真實的海上航行環境。整船平臺接收到教練站的練習文件后，將相關信息傳輸給三維視景庫和船舶運動數學模型數據庫、雷達和電子海圖，生成包括港口、目標船以及水文氣象環境在內的航行環境，在船舶運動數學模型的驅動下，受訓人員可以操作整船平臺在這個三維虛擬環境中航行；航行過程中，受訓人員如果操作船舶甲板設備、航海儀器等，專家系統會給出該設備的信息提示；如果出現誤操作，專家系統則會給出警告信息；每項具體操作結束或者進行中，在整船平臺中調用智能評估系統，則會給出當前操作的評估結果。

2 關鍵技術

2.1 三維建模技術

三維建模技術主要有幾何建模技術、基于圖像的建模技術以及混合建模技術3種。幾何建模技術是一種傳統構造三維虛擬場景的方法，以真實場景為基礎，在建模軟件中，以點-線-面-體的方式構造三維模型，這種建模方法可以忽略復雜的表達算法和關系算子，但是對于用戶計算機圖形學的技術要求比較高；基于圖像的建模技術利用已有的離散圖像或視頻作為建模依據，實時生成不同視點的場景畫面，其缺點在于交互性不強；混合建模技術是將幾何建模技術與圖像建模技術結合，利用幾何建模技術生成標準的圖形庫，利用圖像建模技術將照片轉化為三維模型(見圖2)的紋理和形狀，這樣不僅能夠大幅減少紋理創作的工作量，同時真實程度更好。

圖2 三維船舶模型

在本訓練平臺中，使用混合建模技術，利用3D Studio Max場景建模工具完成三維船舶建模工作。船舶三維建模流程如下[1-2](見圖3)：①基礎數據準備，包括資料收集整理，編寫策劃文檔，制定模型制作及命名規則；②制作簡模，包括合理分布模型密度、合并相同材質模型、避免出現2個面片間距過近、刪除不可見的面片等；③為模型指定材質，運用貼圖烘培技術表現模型物體的光照和陰影效果，目前對三維模型的渲染主要通過2種方式予以實現，即靜態烘焙與基于著色器的局部動態光照模型；④模型整合。

圖3 建模流程

2.2 三維場景交互技術

三維場景交互技術中關鍵技術包括碰撞檢測技術和虛擬漫游技術。本文碰撞檢測技術采用層次包圍盒的方法[3]，根據船舶各設備的特點綜合運用SphereCollider，WheelCollider，BoxCollider和Mesh-Collider這4種碰撞檢測包圍盒。

主要使用第一人稱手動漫游和第三人稱手動漫游，完成三維虛擬船舶上的漫游，以及操作設備的同時觀察另一視角的畫面。另外第一人稱自動漫游和第三人稱自動漫游都是以自動尋路為主[4]。

第一人稱視角手動漫游，每個更新周期內，根據鼠標傳入的變化量更新攝像機的旋轉和平移矩陣，計算攝像機的位置以及觀察點的位置。

第三人稱視角手動漫游，與第一人稱視角手動漫游類似，惟一不同點在于攝像機的位置和觀察目標的位置需要通過算法確定。攝像機觀察位置的確定方法有2種：①觀察目標與角色分離，令觀察目標實時跟隨角色；②直接將角色作為觀察目標。為了體現較為真實的跟隨感，采用第一種方法，利用虛擬力算法[5]，將角色作為引力點，吸引攝像機實時跟隨。攝像機自身位置利用公式確定。

(1)

式中：dfollow為攝像機與角色保持的距離；Mrot為旋轉矩陣。

2.3 人機交互界面設計技術

2.3.1 人機交互界面接口及輸入輸出設計原則

人機交互軟件接口的形式可分為：下拉型菜單、級聯型菜單、彈出框式菜單、工具欄菜單、圖標式菜單、鏈接菜單。用圖表欄表示圖標的功能按鈕是較為可行的方法，也是一種較為直觀的界面接口模式。

軟件交互界面的窗口設計(輸入和輸出設計)需要根據信息的重要層次和清晰程度進行科學的統籌規劃，要始終保持界面簡潔明了大氣。根據眼視光學的特性在眼睛不容易發生疲勞或較容易集中精力的界面區域安排擺放較為重要的交互信息。幫助信息和較次要的提示信息盡量放在屏幕下方。界面表示效果是人機交互界面效果的最好體現。單一文字搭配形式單調易造成審美疲勞，用圖形代替文字，給用戶以更加直觀的印象，操作目的更加明確。

2.3.2 技術細節

人機交互界面中包含了多個組成元件，這些元件可實現不同功能。元件包含色彩、方向、形狀、位置和紋理等視覺特征。界面設計過程中，要盡可能多地使用能引起用戶視覺注意的元件。采用國際照明委員會L×a×b×色彩模型，在單一尺度下，元件視覺注意程度值的計算方法如下。

單一尺度下元件i的視覺注意程度值[7]為

參考圖形元件的用戶注意程度值，分析元件的重要性和使用頻率。采用兩兩比較的方法，每次比較相對重要的元件加一分，使用頻率高的加一分，完全對比后得到元件的重要度的總得分Ii和使用頻率的總得分Fi，通過加權的方法得到元件的重要性Si=αIi+βFi。根據元件的重要性程度，重新優化初步設計的人機交互界面。

2.4 船舶運動數學模型

坐標系采用慣性坐標系和附體坐標系，見圖4。o0x0y0z0為固定于地球表面的慣性坐標系；oxyz為附體坐標系，為簡化方程將原點取在船舶重心處。

圖4 慣性坐標系及附體坐標系

根據船舶操縱性分離模型(MMG)理論，分別計算船舶6自由度動力學方程[8]中螺旋槳和舵自身產生的力及力矩、作用于裸船體、螺旋槳、舵上的外力和力矩(包括風、浪的干擾力和力矩)。在計算過程中，需要用到船舶運動輔助方程，參考文獻[9-10]計算縱向、橫向和垂向的位移及歐拉角等未知量。

3 平臺實現

利用3DMax場景建模工具建立整船三維模型，在Unity3D場景開發平臺下，開發人機交互界面，調用三維視景庫及船舶運動數學模型，驅動三維船舶在場景中運動與交互，建立基于三維虛擬船舶的駕駛員訓練平臺。

3.1 主界面設計

主界面的功能需求為：①可以在全船快速漫游；②設備操作時，可以根據實際需求看到不同的視角；③部分設備操作所需工具的放置問題；④多人操作功能的實現與觸發；⑤船員訓練時，實現輔助信息提示功能；⑥實現考試相關功能的設置。

根據功能需求，結合人機交互界面設計理論，主界面采用級聯菜單的方式，一級目錄使用圖標的形式，擺放于主界面的左上角，不用時可收起。經過元件重要程度計算后，圖標布局見圖5，從左到右依次為二維導航、三維導航、工具、零件庫、輔助窗口、輔助控制命令、輔助信息顯示、考試信息相關設置。

圖5 主界面UI

主界面效果如圖6所示。

圖6 訓練平臺人機交互界面

在功能方面，二維導航和三維導航滿足了快速定位方面的需求(圖6a)，左上角為二維導航，右上角為三維導航)，用戶可以快速定位到整船平臺的任意位置，與此同時，也會對整船有一個整體上的認識。實船上一些操作需要用到工具，如果每次都要到工具間取工具太過麻煩，因此，將工具單獨放在主菜單中(圖6c)，左上角選項列表)；船上羅經等設備需要拆裝，拆下來的零件自動進入零件庫，安裝的時候在零件庫中取出即可(圖6c)，左上角選項列表)。實船中，操作某些設備時(如救生艇)，操作者經常會關注不同的區域，人機交互界面中的輔助窗口將顯示操作者所關注的另一視角。在整船平臺中自動識別當前操作者所做的操作，并在輔助窗口中顯示具體的區域(圖6d)，右上角窗口)。船舶生產實際中，經常需要多人協助操作，在整船平臺中，利用輔助控制命令控制虛擬化身的方式，實現多人操作的效果(圖6d)，左上角選項列表)。出于訓練方面的考慮，當漫游到整船平臺的某一部位時，專家系統將會給出部位的名稱，并顯示在右下角輔助信息區域，如果操作該設備，專家系統會將該設備的操作注意事項顯示在該區域，如果出現誤操作，專家系統會將警告信息顯示在左下角(圖6a)，右下角窗口)。利用考試信息相關設置菜單項，可以設置考試相關信息，進而檢驗訓練的效果，這里包括單人操作，以及多人在聯網的情況下的協作(圖6b)，左上角選項列表及中部窗口)。

3.2 船舶三維模型及運動數學模型建模

針對散貨船“長山?！陛啠鶕笆鋈S建模技術，建立三維船舶模型；根據船舶運動數學模型建模技術建立船舶運動6自由度數學模型，模型精度基本可以滿足訓練平臺的要求。

“長山海”總長189.99 m；兩柱間長185 m；船寬32.26 m；型深18 m；設計吃水11.3 m；方形系數0.848 3；棱形系數0.851 8；滿載排水量56 907.13 m3；壓載排水量23 861.73 m3；型排水體積57 209.0 m；縱距0.35 nm；橫距0.18 N·m；滿舵應舵時間28 s。

3.3 數據接口

整船平臺是整個訓練平臺的核心，其他模塊需要與其連接，為其傳輸數據，或者受其控制，因此，需要定義好整船平臺與各模塊之間的數據接口。數據接口選擇共享內存的方式實現，整船平臺以及各模塊均向共享內存寫入數據，并讀取該共享內存中的數據。另外，每個模塊輸出的數據需要存入數據庫中，便于日后數據分析與維護。由于篇幅關系，數據接口的具體數據結構此處不再展開。

4 實例分析

以船舶進港操作為例，操作分為2部分，其一是船舶進出港操縱避碰方面的內容，另一個是整船三維設備的操作。

4.1 船舶離港航行

航行環境設置：北風3級，漲潮流0.1 kn，滿載離港航行，一條目標船。出港航行，初始狀態已經離開泊位，在港內以1 kn的速度航行。訓練開始后，學員可以和駕駛真實船舶一樣，操作三維船舶中車舵等設備，控制船舶的姿態，使其在三維場景中運行；同時，可以走到橋樓甲板左右舷觀察周圍目標的動態(圖7a)和b))，也可以在駕駛室中觀察(圖7c))；在練習結束后，調用智能評估模塊，給出評估成績(圖7d))。

圖7 船舶離港航行

4.2 船體三維設備操作

圖8 甲板設備操作(貨艙)

以貨艙操作為例，開艙過程中如果出現錯誤項，界面左下角會有警告提示。如圖8所示，當前在操作操縱桿，準備開艙，右下角提示當前選中項以及該項的操作方式；艙并未開啟，原因在于當前貨艙圍緊(艙蓋水密裝置)未完全打開，艙蓋無法開啟，左下角給出了警告提示信息“有圍緊未打開”。

5 結論

構建基于三維虛擬船舶的駕駛員實操訓練平臺，在該平臺上，可以對船舶駕駛員的船舶操縱避碰技術、船舶甲板設備使用以及消防救生設備使用等進行系統的訓練。該平臺不受時間和場地的限制，學員隨時可以進行上述訓練；另外，在訓練過程中和訓練結束后平臺會自動給出相應的提示和改進建議，這是傳統大型船舶操縱模擬器所不具備的。

在平臺開發過程中，難點主要有以下幾個方面：系統運行效率、整船設備人機交互方式與實船設備使用的沖突平衡問題、輔助信息自動提示及操縱過程的智能評價。在后續的研究中，可考慮針對上述問題做進一步研究，例如，在保證模型真實度的情況下，對模型作進一步精簡；開發更多的功能模塊，如船舶裝卸貨作業、接送引航員的操作、自由降落式救生艇的釋放與回收操作等；研究船舶自身設備操縱規律，訓練過程中，更加智能地給出錯誤提示及修正建議等。

[1] 李治軍.基于Unity3D的船舶舵機艙虛擬現實設計與研究[D].大連:大連海事大學,2014:27-28.

[2] 曾鴻.視景仿真技術在輪機模擬器的應用研究[D].大連:大連海事大學，2012:11-14．

[3] 楊眉.虛擬環境中碰撞檢測問題的研究[D].青島:青島科技大學,2009.

[4] 曾鴻,張均東,任光,等.船舶機艙三維視景仿真系統設計與實現[J].系統仿真學報,2014,26(2):363-368,375.

[5] Geraerts R. Camera planning in virtual environments using the corridor map method[C]. Motion in Games,2009:194-206.

[6] STAS G, LIHI Z M. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):1915.

[7] 王寧,余隋懷,肖琳臻,等.考慮用戶視覺注意機制的人機交互界面設計[J].西安工業大學學報,2016,36(4):334-339.

[8] 張秀鳳,尹勇,金一丞.規則波中船舶運動六自由度數學模型[J].交通運輸工程學報，2007，7(3)：40-43.

[9] 李子富,楊鹽生.船舶在規則波中縱搖與升沉運動仿真[J].大連海事大學學報,2002,28(4):13-16.

[10] 賈欣樂,楊鹽生.船舶運動數學模型[M].大連:大連海事大學出版社,1999.

Development of a Training Platform for Ship Officers Based on the Three Dimensional Virtual Ship

WANGDe-long1,RENHong-xiang1,ZHUYao-hui2

(1.Navigation College, Dalian Maritime University, Dalian Liaoning 116026, China;2.Examination Center, China Maritime Service Center, Beijing 100029, China)

With the implementation of the Manila amendment to the STCW convention, more and more attentions were focused on ship officers’ training. So, it is necessary to develop a training platform without the limitation of time and place. A human-computer interaction interface was designed and optimized. 3D models of ship, port, navigation marks, small islands etc. were established. A ship motion mathematical model with six degrees of freedom was set up based on the separate modeling theory of maneuvering. By using 3D scene roaming technology, collision detection technology and 3D interaction technique, the assessment results and auxiliary information of the training could be shown in time. In this platform, the training and examination can be done, including the deck equipment operation and maintenance, the maneuvering of ship entering or leaving port, ship collision avoidance, etc. It is shown that this training platform can meet the requirements of the convention on ship officers’ training.

shipping; training platform; virtual reality; ship maneuvering; assessment

U675.79

A

1671-7953(2017)06-0191-05

10.3963/j.issn.1671-7953.2017.06.043

2017-02-04

2017-03-01

國家863高技術研究發展計劃(2015AA016404)；交通部應用基礎研究項目(2014329225370)

王德龍(1986—)，男，博士生

研究方向：交通信息工程及控制，船舶操縱避碰理論，智能評估