船舶增強現實導航系統中計算機視覺技術的應用

吳薔薇，曲 蕾

(1. 山東青年政治學院，山東 濟南 250001；2. 中國船舶集團有限公司第七一四研究所，北京 100101)

0 引 言

目前傳統的導航技術主要有全球定位系統GPS（Global Positioning System）、船舶自動識別系統AIS（Automatic Identification System）、電子海圖顯示與信息系統ECDIS（Electronic Chart Display and Information System）、船載航行數據記錄儀VDR（Voyage Data Recorder）等。

傳統的導航系統及助航設備相對獨立，船舶駕駛員需要對多臺設備的信息進行綜合分析，實時監守在屏幕前，無法實現智能化航行[1]。同時，船舶安裝導航系統及相關設備是有一定要求的，如國際海事組織對AIS 系統的強制安裝要求是船體300 t 以上，在近海航行中的一些小型船舶不滿足強制安裝的要求。本文以近海航行為例，提出一種基于增強現實的船舶導航系統，分析船舶航行中距離測量對目標處理及檢測的方法。

1 關鍵技術分析

1.1 增強現實技術

增強現實（Augmented Reality，AR）是一種將計算機實時捕捉、生成的虛擬信息（包括圖像、聲音、文本信息、實時場景、三維模型等）嵌入到真實世界中，實現虛擬景象和真實環境的良好融合，從而實現對現實增強的新型技術[2]。

AR 技術能夠實現虛擬世界和真實環境的信息集成，能夠完整、真實地保存真實環境信息，并幾乎可以實時對采集的信息進行處理、增強，具有實時交互性。由于AR 比較突出的特點，這項技術在工業、醫療、交通、消防等領域具有良好的應用前景。

增強現實系統主要組成部分如圖1 所示。AR 技術主要由獲取單元、辨別處理單元、虛實嵌入單元、顯示單元4 個部分組成。

圖1 AR 技術的主要組成單元示意圖Fig. 1 Schematic diagram of the components of AR

獲取單元用于信息的采集，包括圖像、聲音、視頻等；辨別處理單元是識別、提取采集得到的信息，并將其和航行所需的有效信息進行三維模型對比；虛實嵌入單元是將虛擬的三維模型準確地添加在采集到的信息中，實現虛擬和現實的疊加；顯示單元將經過提取、檢測、處理后的信息直接呈現給船舶駕駛員。

增強現實技術的實現依賴于顯示技術，目前常見的顯示系統包括基于光學的透視式顯示系統、基于視頻的透視式顯示系統、投影式顯示以及虛擬視網膜顯示。

1.2 計算機視覺技術

計算機視覺（Computer Vision）技術的出現，使得機器能夠學習人或其他生物的行為，利用計算機及其他相關設備模擬、仿真生物的視覺系統，通過對圖像、視頻等信息進行處理，提取相應的有效信息，從而實現辨別方向、姿態調整、躲避障礙物等功能。

計算機視覺技術是典型的交叉學科產物，綜合了生物工程、計算機等多個學科，圖像處理、模式識別是其中的核心技術。隨著計算機深度學習的發展，計算機視覺技術在一定程度上已經達到了質的飛躍，是實現船舶航行自動化、智能化的必要手段之一[3]。

圖像處理、機器視覺技術的快速發展是計算機視覺技術出現的前提和基礎。然而，計算機視覺又不同于前兩者，圖像處理主要是根據圖像的大小、顏色、形狀對圖像進行處理。機器視覺是利用機器代替人眼或其他生物的視覺系統進行目標的捕捉、測量及分析。一般情況下，計算機視覺不僅包括了圖像處理這個步驟，同時又增加了模式識別這一過程。

不同于機器視覺，計算機視覺更注重對環境的識別和感受，主要研究任務可以分為4 類：分類、檢測、分割、跟蹤。圖像分類是指對圖片進行整體劃分，將不同的圖像劃分到不同的類別，是計算機視覺中最基礎的一項任務。

目標檢測重點關注圖片中的指定目標，檢測內容包括確定待測目標所屬類別和出現概率以及確定目標的具體位置信息（包括時間信息和空間信息）。

計算機視覺的核心任務也是關鍵技術之一就是圖像語義分割，具體是指將整個目標圖像劃分成各不相同的像素組，然后對每一個像素組分別進行標定和分組。簡單來說，就是輸入一張RGB 圖像（height*width*3）或是灰度圖（height*width*1），輸出的分割圖中的每一個像素都包含類別標簽（height*width*1）。

分割是在像素級別對圖像進行分割，劃分出像素來自于哪些不同的物體，和目標檢測相比，分割更細致、更準確。以分割為基礎，在進行AR 虛實交互時，真實環境與虛擬世界能夠準確地進行交互。

目標跟蹤是指在某個或某幾個場景中追蹤某一個或多個指定的目標，廣泛應用于無人駕駛和視頻監控領域。計算機視覺的應用領域非常廣泛，目前在醫療、智能駕駛、公共安全等領域的應用已經具有一定規模。在智能駕駛應用方面，計算機視覺技術綜合多種傳感器的輸出信息，對獲取的視覺信息進行劃分、定位、檢測，能夠最大程度地輔助智能駕駛平臺實現規劃路徑、預測障礙物、控制方向等功能。因而使用計算機視覺以及目標跟蹤技術可以很好地幫助船舶實現虛擬導航。

對于船舶航行，安全性最重要。海上航行，航道寬、船舶密度小，但天氣多變，容易遇到惡劣天氣，如臺風等。同時，海上水文環境復雜，如漩渦、礁石等。此外海洋生物對船舶也會造成危險。而相對于海上遠洋航行來說，近海航行的航道窄、船舶密度大，建筑物對信號的影響，也同樣存在著很大的危險性。所以，對導航系統的信息采集和處理以及實時性提出了更高的要求。

2 增強現實船舶導航系統

2.1 系統整體設計

國際海事組織指出在未來的船舶航行中不僅要增強船舶航行能力，提高海上安全，還需要保護海洋環境，這就要求未來的船舶航行要能夠實現智能化、信息化、安全化[1]。AR 技術應用在船舶導航系統中，能夠將原來需要由駕駛員分析和處理的大量信息交由AR 進行分析、整合和處理，從而實現船舶航行的智能化、信息化、安全化。圖2 為基于增強現實的船舶導航系統示意圖。

圖2 基于增強現實的船舶導航系統示意圖Fig. 2 Diagram of ship navigation system based on augmented reality

攝像頭實時捕捉航向中的靜態物體、動態物體以及船舶在航行中的運動信息（姿態、位置等），并對目標進行跟蹤定位，同時將物體的信息傳送至計算機。根據相關物體信息，計算機完成對物體的三維建模生成虛擬物體并和真實環境實現拼接，駕駛員可以通過顯示屏中虛實融合的場景實時觀察航路中的情況。

計算機生成的虛擬物體可以直接使用圖形函數生成，也可以利用軟件進行建模后導出，虛擬物體的三維建模坐標系如圖3 所示。在增強船舶導航系統中，由于航行的特殊性，不僅要建立靜態物體的三維模型，如橋梁、港口等，還需要關注運動物體的建立，比如浮標、其他船舶等。

圖3 虛擬物體三維建模原理圖Fig. 3 Virtual object 3D modeling schematic diagram

對目標進行跟蹤定位不僅要捕捉航行中的各種物體，還要實時記錄船舶的航向和位置等，配合虛擬物體三維建模，保證虛擬世界和真實世界的連續性，實現精確的虛擬融合。目標跟蹤的過程中，不僅是對一個目標的跟蹤，在大多數情況下，是對多個目標進行跟蹤。目前最常用的目標跟蹤方法是判別類模型方法[3]，這種方法是對背景和目標進行區分，可以更好地捕捉重點目標，是安全航行的基礎。

2.2 航行中的距離測量

近海航行中，傳統的導航不具備規劃和預警功能，幾乎是憑借著駕駛員的經驗完成航行，但由于航道比較復雜，加上建筑物的影響，導致無法提前規避，使得航行中經常出現碰撞事故，測距功能就顯得尤為重要。

計算機視覺測量系統是利用圖像采集設備（攝像頭）獲取圖片信息，選擇合適的圖像檢測方法，提取特征目標，根據圖像測距原理，完成距離的計算，并將測量結果反饋給控制系統，作出提前規劃和預警，避免事故的發生[4]。

攝像頭的測距功能是根據凸透鏡成像原理實現的，假設透鏡的焦距為f，u為捕捉到的物體到透鏡光心的距離，即物距，v為物體在攝像頭上成像后與光心的具體，即像距，根據透鏡成像原理可得：

將式（1）進行變換可得目標距離公式：

2.3 船舶目標的圖像處理

圖像采集模塊的輸出信息中包含大量噪聲，在對目標進行檢測前，需要對采集得到的圖像信息進行處理，在一定程度降低噪聲對圖像質量的影響，提高精度，常用的處理方法有灰度處理、濾波。

灰度處理可以提高對目標的提取精度和整個處理系統的工作效率，常用的是最大值法、平均值法和加權平均值法。濾波可以有效地提取目標對象的特征，采用合理的濾波算法不僅可以最大程度地降低噪聲，同時還能最大限度地保留目標對象的特征。按照去噪算法可以分為空域去噪和變換域去噪，空域去噪中經典的方法包括均值濾波、中值濾波，變換域去噪常用的是小波變換去噪法[5]。

均值濾波是利用取均值的方法代替原圖中的像素值，即選擇一個大小為M的模板，這個模板是由其鄰近的若干像素組成，求出模板中所有像素的均值，填充到輸出的圖像中，原理如下：

其中：g(s,t) 為原始圖像；f(x,y)為濾波處理后的圖像；M為大小為m×n的 濾波器窗口；Sxy為中心點在(x,y)處。

中值濾波的原理是把數字圖像中某一點的像素值用這個點的一個鄰域中所有點像素值的中值代替，使得其周圍的值接近真實值，實現消除噪聲的功能。

其中：g(x,y) 為處理后的圖像；W為二維模板，通常為 2 ×2， 3 ×3的 區域； (k,l)為目標像素點周圍的像素點。

根據不同頻帶上的噪聲和信號具有的小波分解系數不同，根據這一原理將各個頻帶上不同的噪聲對應的小波系數去除，同時原始信號的小波分解系數被保留下來，再對處理后的系數進行重新構建，獲得處理后的信號。

2.4 測試結果

傳統導航技術依賴AIS 技術和全球衛星導航技術，衛星導航技術可以幫助船舶實現精確定位，AIS 技術可以幫助識別其他船舶或者動態目標。但在船舶操作過程中對航道方向的把握或者孤立的危險目標避讓，經常需要讓工作人員來對相關信息進行辨別。特別是隨著船舶不斷增大，很多時候觀察視野相對受限，因而使用增強現實技術可以有效幫助識別航道以及危險物。

以近海真實船舶航行為例，搭載并使用增強現實導航系統的測試結果如圖4 所示。圖中虛線內為船舶航行的航道，虛線外為近海兩側建筑，多為靜態物體，中間實線表示預定航向。而在真實航行中，虛線其實并不存在，但是通過增強現實技術可以將航道的邊線標識出來，讓船員更好實現安全航行。與此同時增強現實技術還可以將岸邊以及航道上出現的其他船舶進行增強顯示，這樣配合AIS 技術可以更好地讓船員注意視野盲區內的其他船舶。

圖4 增強現實導航系統測試圖Fig. 4 Enhanced display of navigation system test diagrams

從測試結果可以看出，整個導航系統可以實時測出航向、航速和航道偏差＞同時，航道附近以及航行方向中的物體均能被準確地識別并添加在導航圖中，可以實現提前預警以及路徑規劃的目的，大大降低了航行風險，同時也可以減輕駕駛員的負擔。

3 結 語

結合增強現實和計算機視覺技術的船舶導航系統能夠實現虛實融合，可以更好地為船舶航行提供服務。為了應對更復雜的航行環境，以及實現船舶航行的安全化、智能化，后續還需要在信息高效處理方面進行研究。