船舶智能航行感知系統集成設計研究

薛敏 耿建寧

1. 海裝裝備項目管理中心 北京 100071；2. 中船航海科技有限責任公司 北京 100074

引言

智能化是現代船舶發展的重要方向，主要是從智能感知到智能決策，進而實現船舶智能控制的過程，以達到解放人力、智能避碰和自主航行的目的。而一艘船舶從設計到生產再到試驗，涉及面廣且專業性強，技術發展和改進難度較大。因此，雖然智能船舶的發展極其重要和迫切，但其技術發展和實施過程卻極其緩慢。

1 國內外現狀研究

我國智能船舶的發展遵循系統布局、創新驅動、梯次推進、重點突破的原則，按照“輔助決策-遠程控制-無人自主”的研發路徑有序開展。依托國家重大科研項目和“產學研用”專業化協作團隊，經過幾年的研究與探索，我國在智能船舶和船舶自主航行領域取得了較好的成果。但是在船舶智能領域，對于增強現實技術在船舶輔助駕駛領域的研究起步較晚。天津航標處利用AR技術構建虛擬助航系統，通過GPS+3D技術獎虛擬航標精準投放至全球，船舶借助專用設備，航行至該區域，實時采集到虛擬助航系統、虛擬航道規劃服務每位船舶遠洋航行提供高效助航服務。

2015年，法國艦艇建造局（DCNS）在歐洲海軍裝備展上發布了XWIND 4000“全數字化”概念艦設計方案，該方案運用了語音控制技術、體感技術、增強現實技術，使艦員在艦橋上擁有360°全方位視野。所有的數字化系統均運行于安全的數據中心體系結構上，該體系結構處于能根據作戰需求變化而分配相應資源的虛擬環境中。

2019年，日本三菱重工在海空天防務展發布了將用于日本30DX護衛艦上的“先進綜合戰情中心”設計方案，該方案運用了船舶智能操控技術、增強現實技術，通過360°環狀屏幕墻將駕駛室、態勢感知室、主機和動力控制室、戰情中心聯合在一起，提供全景展示環境，可以顯示護衛艦的全向的外部環境，融合來自艦上電光探測系統，紅外系統、視頻系統甚至雷達傳感器的圖像和數據，使戰斗指揮員及時獲取和利用最新的情況信息，同時還可以讓艦員通過多功能控制界面執行作戰、導航和通信等幾乎全部的艦上指揮與控制工作。

2019年法國BAE公司將來自雷達、聲吶、光電設備等態勢感知的數據和其他戰術信息通過數據連接到AR眼鏡，在某型護衛艦上進行測試。展現在指揮員眼前的是虛擬的真實世界，友艦位置等信息數據將直接展現在這個視野中，讓艦員一目了然自己的狀態和位置，在艦上隨時隨地獲取戰術態勢和其他關鍵信息。可以通過AR眼鏡檢測視野內遠處的物體，并通過AI獲取該物體的分類數據，如果數據與看到的數據不匹配，可以直接對數據進行修改，如果發現可疑目標威脅到本方艦艇，可以直接在系統中標定該目標，整個系統的用戶都能看到，能夠在戰斗環境中建立起更高效、更準確的工作流程。

2018 年，英國海洋電子設備制造商Raymarine研發一款用于游艇的導航軟件——RaymarineClearCruise AR。該系統通過高清攝像頭采集船舶前方的實時視景，利用船載設備和傳感器獲取到視景中物標（例如：船舶、浮標）的對應信息，運用增強現實技術，將生成的虛擬信息疊加到視景中，將實時的增強視景呈現在電子屏幕上。安裝該軟件的游艇可以做到：①清楚地識別周圍裝有 AIS 的船只；②不同船舶的顏色編碼，確定物標的狀態和風險等級；③低能見度條件下，使游艇周圍的浮標等可視化。該系統由于安裝在游艇上，相對于其他類型船只速度較快，需要計算機快速處理大量船舶數據。

與國外典型船舶智能產品相比，國內的同類產品起步晚、發展慢，技術尚需成熟，需開展智能航行感知系統設計，以彌補船舶智能航行領域的缺陷。

2 系統設計

本文提出了一種船舶智能航行感知系統集成設計，主要包括航行態勢感知和AR輔助決策系統設計兩部分。

2.1 航行態勢感知——以計算機視覺為基礎的智能感知產品

航行態勢感知是船舶自主航行的基礎。如果將智能船舶比作人，船舶自主航行比作人的行走，那么航行態勢感知傳感器相當于綜合利用人的眼睛、耳朵和鼻子等感官對周圍環境進行感知。航行態勢感知技術包括態勢感知傳感器、態勢感知數據融合等技術。

態勢感知傳感器是集成激光雷達、導航雷達、紅外攝像、RGB攝像及PTZ全方位視頻監控和其他導航傳感器及設備，利用傳感器技術和計算機視覺的最新進展，通過信息融合和智能學習，實現船舶環境實時可視化和感知。通過實時采集雷達回波信息、全景激光雷達點云信息、視頻信息，進行信息去噪、整合、特征提取等預處理，基于智能技術，開展圖像處理等研究，實現目標自動檢測與識別。

態勢感知傳感器主要包括激光雷達、全景視覺、全景紅外、S波段雷達、X波段雷達。為了滿足不同船舶的航行需求，對空間分辨率、感知范圍、目標識別率、環境及處理效率各方面有不同的要求，為了更好地支撐不同的態勢感知需求，各傳感器對比如下表所示。

表1 傳感器對比分析表

船舶航行態勢感知數據往往有多個數據源，為了充分發揮多源數據價值，確保態勢信息的正確性和全局性，需要對多源態勢感知數據進行融合處理。針對航行中的船舶等目標，雷達、AIS、激光等主要信息源進行信息融合疊加顯示，實現各個信息源探測的目標結果進行正確的坐標統一。數據融合方法包含貝葉斯網絡[1]、D-S 證據理論[2]、粗糙集理論[3]、神經網絡等[4]。

近年來，隨著深度學習技術的發展，基于深度學習的數據融合方法逐漸受到人們的關注。深度學習的顯著特征是可以自動從數據中提取目標特征，所提取的高層特征具有表征性強、語義性好的特點[5]。因此，基于深度學習的數據融合是一種特征級數據融合，通過多次感知數據的迭代能夠更好地實現智能態勢感知，通過對激光雷達、全景視覺和全景紅外等感知數據的融合，能夠更好地輔助航行指揮員進行態勢感知，提高航行安全性。

2.2 AR輔助決策系統——以人工智能為基礎的船舶智能產品

傳統航行態勢的分析依靠人來處理多來源、多種形態的態勢信息，對目標的觀測手段為航行觀察視頻、導航雷達、AIS等，同一個目標不同來源的文字、圖片、視頻信息等需交叉比對，從而獲取一個目標的信息，工作量大，信息處理智能化程度不高，數據利用率低；另外，對于航行態勢感知的范圍不足，因駕駛室瞭望視野受限，兩側及向后視野不佳，夜間和雨雪霧天氣情況下人工瞭望受限，無法顯示艦艇全向的外部環境。智能航行態勢感知系統，通過增強現實技術將目標進行疊加，可提供多維態勢展示能力。

增強現實（Augmented Reality，簡稱AR）是一種實時地計算攝影機影像的位置及角度并加上相應圖像的技術，從而將真實世界信息和虛擬世界信息“無縫”集成。通過該技術將視頻采集到的觀察視頻與電子海圖數據及傳感器觀測到的數據信息進行疊加，可以實現真實世界的數據的信息集成，將電子海圖立體起來，直觀的向用戶全面展示航行態勢[6]。

為了將觀察視頻與地理信息更好的對準，采用OSGEarth技術，OSGEarth技術提供了一個地理空間的開發工具包和地形引擎，該技術利用包含投影坐標系及經緯度信息的地形數據進行定位，無論何種數據源的數據，只要能確定投影參考系，便能保證被放置在正確的位置上。且該技術提供開放式的繪圖標準，操作和數據的交互，一個統一的標準，使得該技術可以包含更多的數據源。基于此技術，可以完成三維地理空間的構件及增強現實功能的實現。

圖1 AR輔助決策系統示意圖及結構圖

2.3 智能航行感知系統功能

智能航行感知系統可以實現如下功能：

2.3.1 視頻接收及處理，通過視覺傳感器，接收外部的觀察視頻，并對視頻流進行解析顯示，可通過智能圖像處理功能識別視頻圖像中的目標。

2.3.2 數據源數據處理及整合功能。接收導航雷達、AIS、位置傳感器、速度傳感器等傳統的導航傳感器的信息，并對其進行解析處理，獲取船舶的運動狀態及周圍目標的運動狀態信息。對電子海圖數據的信息處理，獲取地理信息、礙航物、助航物等信息。

2.3.3 數據融合功能。融合視覺、雷達、AIS等接收的目標信息，融合海圖數據及視頻數據。

2.3.4 OSGEarth為引擎的三維地理空間開發。對視頻信息進行畸變處理后，進行三維坐標系標定，建立為OSGEarth的基礎圖層。通過組合傳感器及融合后的目標信息，將數據進行整合，建立為目標圖層。通過海圖數據的基礎地理信息解析及視頻數據，將助航物、礙航物、海圖危險信息等進行信息進行整合，建立為海圖標記圖層。

2.3.5 海圖作業功能。通過建立的三維地理空間，提供測距、量算、計劃航線、錨泊監控等輔助海圖作業功能。

2.3.6 報警管理。對危及航行安全的避碰信息、擱淺信息、沉船等礙航信息進行報警管理。

智能航行態勢感知系統通過5部分模塊的有機結合，實現了在三維空間坐標系中將攝像頭視頻流和目標、航行海圖要素、避碰及本地傳感器等信息有機融合，為駕駛員的操縱決策提供了信息支撐，有效提升了船舶智能航行水平。

3 結束語

以各航行態勢感知傳感器為支撐，本文提出一種集成了航行態勢感知和AR輔助決策系統的智能航行感知系統，具備多源數據輸入和數據處理能力，在智能航行設備的研發和推廣方面具有極大的優勢。同時，依托遠洋和內河實船試驗和船舶航行支撐，可以獲取各類設備的實船試驗數據，為智能船舶航行的發展提供基礎。