船舶機艙多通道視景虛擬仿真系統

李婷云，黃建偉，郭家建

（福建船政交通職業學院，福州 350007）

0 引言

傳統的輪機模擬器仿真形式多為半物理二維實物仿真，半物理二維實物仿真是指模擬對象多以與實船相一致的控制盤臺為主進行物理模擬和數學仿真，各種機電設備和管路等仿真對象則進行計算機數學模型數字仿真。這種人機交互效果不太理想，機艙畫面真實感不足，而且很難進行各種實船的故障模擬和智能評估。

現在新型的輪機模擬器多以三維虛擬仿真為主，通過計算機的實時計算場景，把事先建模存儲好的虛擬場景根據用戶的操作指令進行實時調用和渲染顯示。新型的輪機模擬器三維仿真主要包含兩個方面，一是能夠反映實體的三維虛擬模型，二是能夠在虛擬環境中實現交互操作，通過ROUTE節點把仿真可視化的結果和獲取的仿真數據模型上傳到客戶端，得到反映用戶的操作模型和數學模型。這些模型可以驗證現有的仿真系統模型數據的有效性和真實性，方便用戶學員對實船進行漫游察看熟悉設備，了解設備工作原理，并為熟練操作機電設備打下基礎。虛擬機艙替代實際機艙，節約教學成本，可以開展一些實船上難以開展的故障模擬和應急訓練。

多通道視景仿真系統采用多通道融合技術、邊緣融合技術、幾何校正技術等進行計算機成像和無縫拼接，實現寬視角和反算控制算法進行投影圖象的非線性幾何拼接和校正，其亮度融合技術和算法基于冪函數，場景真實感增強，具有較強的視覺沖擊力和良好的交互能力。多通道視景仿真系統能夠為用戶提供高度沉浸感和直觀立體感，越來越多高品質的輪機模擬器對視景仿真提出了更高的要求和標準。場景漫游和虛擬交互是視景仿真的重要基礎，方便用戶在三維場景中進行自由的訪問和操作，交互拾取時能夠提供高效便捷的三維拾取功能，支持用戶更好的交互場景和高效的人機交互行為，并能利用虛擬儀表、虛擬指示燈、虛擬指示盤臺等動態地展示虛擬交互結果。

1 多通道視景仿真模擬器系統框架

多通道視景仿真模擬器系統在沉浸式環境搭建、真實感圖形生成和虛擬交互技術進行了大量的研究和改進提升。隨著可編程圖形硬件的出現，傳統的著色器和渲染技術被取代，固定渲染被更加逼真的實時渲染和特效渲染所取代。自動漫游是一種較為高級的交互模式，取代了固定線路的漫游模式，固定路線的漫游雖然也是采用計算機三維建模技術進行場景建模和視景繪制，但只能固定在幾個。特定的視角之間切換，限制了用戶與三維虛擬場景的交互操作，無法做到真正意義上的自由漫游。新的自動漫游利用路徑優化算法和三維拾取有效性判斷算法提高了實時交互的高效性和快速性，允許用戶在訓練時自由漫游和操作虛擬設備，允許用戶通過視景仿真通道設置的各個ROUTE節點切換到設備的內部結構查看，或者開關閥門查找故障部位，進行常規的故障處理和應急訓練。

圖1為設計的多通道視景仿真模擬器系統虛擬仿真框架圖，按模塊可分為二維數學模型、三維仿真模型、三維場景模型、路徑優化算法模型、三維拾取有效性算法模型等。二維數學模型是整個三維仿真系統的數據交互和處理基礎，三維仿真模型是三維視景場景真實度和直觀立體感的重要表現形式和模塊化基礎，三維場景模型是復雜的機艙場景的真實再現。

圖1 多通道視景仿真模擬器系統虛擬仿真框架圖

機艙設備繁多復雜，管路之間交聯互通，需要建立重點機電設備的幾何模型和數學模型，忽略次要設備的模型構建，優化建模技術和渲染措施，以分層和分組對機艙設備場景進行數據結構重組和編輯，采用環境映射、凹凸映射等模擬出機艙機電設備的表面材質和紋理，以求更大程度復現機艙全貌和更接近機電設備實物，相同三維模型自定義重復調用和相同材質場景模型圖形化處理，即預先對模型進行渲染處理后得到靜態的光照和陰影效果圖，然后把這些效果圖和紋理圖存儲到數據庫里，虛擬場景需要調用的時候只需到數據庫調用相對應的紋理圖即可(如圖2)，不需要計算機重新計算，減少了實時渲染計算量。解決了圖形引擎的高效性，使視景畫面感更加流暢，增強了系統的實時性。

圖2 不同環境映射和光照渲染下的主機模型

多通道視景仿真模擬器系統的軟件開發環境有Virtual 4.0，VS.NET2010和Matlab，以及三維建模 CREATOR、VEG、VRP等虛擬仿真軟件和自主研發WEB-VR-TOOL插件等。輪機系統的數學模型采用 Matlab建模并仿真驗證后使用VS.NET2010編寫，三維圖形引擎使用Virtual 4.0和自主研發WEB-VR-TOOL插件。實驗平臺配有多通道柱幕、球幕系統、穹幕系統、洞穴式投影系統、SGI Onyx4高性能圖形服務器、TP9100存儲系統、中控系統、矩陣切換系統、音響功放等硬件設備，并在此基礎上開發了船舶多通道視景仿真模擬器系統。

2 多通道視景仿真模擬器系統關鍵技術

2.1 雙目成像

在用戶自由漫游的過程中，為了實現目標點的立體靈活效果，圖形引擎提供了虛擬攝像機，在雙目匯聚的投影方式下時刻感知目標點的三維坐標位置和虛擬攝像機 CAMERA的三維坐標位置，采用三維拾取算法得到當前虛擬系統屏幕中心區域的三維坐標，并將三維坐標設為目標點，當兩臺虛擬攝像機視向發生變化，虛擬系統里的模擬人的視向保持同步變化，保持仿真系統界面銜接順暢自然。當用戶關注的虛擬對象角度和距離發生變化，攝像機到目標點的距離和角度也會發生變化，否則用戶看到的圖像會失真和不協調。特別是對于重點仿真建模的機電設備的多維度多角度環繞展示，環繞展示時周圍的環境不斷變化容易造成用戶垂直視覺差較大，而重點展示的目標和攝像機的距離不變，但展示角度在不斷變化，觀眾的視覺集中在目標物體上，虛擬攝像機要保持對目標物體的立體效果，需要間距呈比例變化，虛擬畫面呈現出頻繁的變化和渲染效果，增加用戶的雙眼調節負擔，變化過快容易引起惡心和眩暈感。雙目成像采用兩個視覺窗口分別渲染兩臺虛擬攝像機的圖像，讓兩臺虛擬攝像機的各個參數都保持一致，盡量減少最大視差的限制和匯聚角的限制。

2.2 幾何校正

多通道投影虛擬系統要想展示一幅完全一致的全景畫面，不管通道數多少、投影屏幕為何形狀、投影機的位置擺放得如何精準，都要采取一定的畫面融合技術和算法來規避和矯正曲面的修改和構造，避免線性失真和梯形失真，使相鄰通道的虛擬圖像通過貝塞爾曲面算法進行校正，使相鄰通道的圖像光柵無縫對接保持圖像光柵對齊。對齊校正的核心是使原始畫面和投影屏幕之間的映射關系進行變換，利用貝塞爾曲面算法在計算機中重建虛擬攝像機采集的原始屏幕圖像矩陣，并計算投影曲面各特征點的坐標，根據原始畫面的特征點的坐標關系獲得變形校正所需的映射關系矩陣，該映射關系對幀進行緩存處理和紋理貼校正，以期達到畫面變形校正的效果。

貝塞爾曲面算法實際上計算變形曲面網格點的坐標，通過一組多邊折線的各個頂點確定和構造出一個基于三次方貝塞爾曲線的自由曲面：

該式為三次方貝塞爾曲線公式，P1為貝塞爾曲線起點坐標；P2為貝塞爾曲線終點坐標；C1為起點對應的控制點坐標；C2為終點對應的控制點坐標；U為插值系數；P（u）為生成的貝塞爾曲線上的點的坐標。改變U可以得到不同光滑度的貝塞爾曲線。使用 4條貝塞爾曲線可以構造出一變形屏幕的邊界。這些邊界點的坐標可以通過網格直接對幀緩存進行幾何校正，網格作為基本圖元，可以在網格的多邊形上進行紋理貼圖，也可以將網格的經緯線進行融合帶光柵對齊調整。計算網格結點坐標的方法如下：

式中M為網格的縱向分段數，N為網格的橫向分段數，i為網格結點的行號，j為網格結點的列號，Pij為原始網格結點的坐標，為變形后網格結點的坐標。

變形網格結點坐標算法是由原始網格結點的坐標加上兩個修正項疊加而成，前一個修正項表示上邊界網格結點相對原始節點位置的橫向偏移，被以線性減少的方式疊加到本列各點的橫坐標上，后一個修正項表示下邊界網格結點相對原始位置的橫向偏移，被以線性增加的方式疊加到本列各點的橫坐標上。根據屏幕分辨率得出M、N的值，代入貝塞爾曲面算法式得出校正后的網格節點和自由曲面。

2.3 邊緣融合

為了提高虛擬現實系統中的直觀立體感和真實感，大型的虛擬船舶機艙仿真采用多臺投影機多通道拼接大幅虛擬場景，各個通道的畫面和場景采取視錐體和幀緩存進行畫面分割，分割后的場景必須有重疊部分，保證多通道投影虛擬環境下各通道的觀察者左右眼位置一致，輸出圖像正確拼接，保證最佳的視覺差效果，對重疊區域的大小即融合帶的寬帶進行校正，利用幾何校正和邊緣融合算法對投影畫面進行無融合帶處理。融合帶的寬度和畫面間的亮度直接影響投影屏幕上的拼接效果，利用多通道高分辨率輸出的圖像處理器合成圖像，消除光學縫隙和屏幕縫隙，利用邊緣融合處理器進行圖像校正和統一，融合帶寬度的大小可以幾何校正階段光柵對齊得到。亮度是由于投影圖像有重疊造成畫面違和，如果未做畫面亮度處理，銜接處會有接縫感，需要對其進行過渡處理才能減少畫面的重疊使畫面一致。邊緣融合技術有硬件融合、軟件融合、集成式融合。邊緣融合技術的實質是將多臺投影機投射出的三維虛擬畫面進行邊緣重疊，并通過融合圖像技術和邊緣融合算法，對融合帶進行幾何矯正、色彩處理， 利用顯卡的幀緩存和實時渲染插件進行實時渲染和處理，達到改變畫面顏色和亮度的目的，獲得超高分辨率的無縫連接高清投影畫面。邊緣融合算法的核心是利用多次渲染技術讓圖形卡改變幀緩存融合區域圖像的亮度像素值，使疊加后圖像的亮度和正常投影圖像無縫銜接，無違和感和突兀感。

實際的投影畫面效果會受到各種因素的影響，投影圖像邊緣區域的亮度衰減、金屬幕的各向反射度不同、投影機自身色偏等，都將使融合帶凸顯，影響融合效果和違和感。采用融合函數可以調節亮度系數 α，進一步調整融合帶中心位置CENTRAL POSITION的亮度，讓融合帶呈現線性漸變。

三次樣條函數通過一個n階多項式定義出調整融合帶的光滑的樣條曲線，只要改變樣條曲線的型值點，就可任意改變曲線形狀，待定系數和約束條件可以求解出不同的樣條，因此可以增強融合算法的實用性和光滑度，調整融合帶不同區域的過渡過程，從而適應各種投影環境。

附加條件為M0= Mn= 0：

要確定唯一的待定系數，需要附加條件，不同的附加條件求解得到不同的樣條。一般7個型值點可以繪制出一條樣條曲線，當附加條件和待定系數確定后，通過控制這些型值點的位置，可以調處不同的曲線形狀，也可進一步改變曲線的形狀，從而調整出融合帶不同區域的過渡過程，對過渡融合帶圖像的 RGB(X, X, X)通道分別進行融合調節可以達到最佳處理效果和融合效果。

圖3 輪機模擬器多通道視景仿真

圖4 輪機虛擬視景技術實驗平臺立體投影柱幕

2.4 多通道畫面同步

多通道畫面同步的核心是同步機制和仿真數據的同步，服務器在對每一幀的初始輸入設備信息處理后，控制各通道的左右眼虛擬攝像機進行控制型值點的變換，比如POSITION位置變換和ROTATION旋轉變換，變換和旋轉后的攝像機視點和視向通過客戶端進行數據包解析，獲取各個通道的數據并賦給左右眼攝像機進行場景渲染。利用實時渲染插件對虛擬數據包進行實時渲染和繪制，然后把交互結果通過線程發送給服務器，并等待下一幀攝像機參數信息的傳輸和繪制。仿真數據的同步是指用戶端與服務器的數據包參數調用一致，數據結構為交互點名稱加上交互一級二級類型、值域等，每個參與實時交互的三維實體都有一個大類編號，屬于交互點一級類型。同時，交互點二級類型指在同一大類中不同的三維實體再一次進行編碼，與一級類型共同來確定三維模型的類型。為方便虛擬場景快速便捷地調用三維模型，給虛擬場景劃分不同的區域，標出不同的分區號，區內序列號是為了在同一個區域內交互點的序號，也是采用十進制編碼，方便快速檢索交互點，保持客戶端與服務器端的數據包結構的同步。

3 小結

三維虛擬仿真系統中最重要的人機交互界面是視覺通道，利用算法實現同步機制和仿真數據的同步，多通道投影立體效果較好，可以實現更逼真的視覺效果和立體效果，增強三維虛擬仿真系統的沉浸感和直觀立體感，多通道同步機制和邊緣融合算法技術是多通道視景仿真系統的核心交互基礎，給用戶更良好的沉浸感和清晰直觀的視景效果，還提高了用戶交互操作下的三維場景無縫鏈接和動態實體之間的融合拾取，大大提高了系統畫面感和交互要求的性價比。克服了傳統模擬器的不足，提升輪機模擬器的仿真深度和層次，促進新型輪機模擬器仿真的升級和革新。