基于傳感器和AI技術(shù)的智能航行研究概述

于柏楓

（大連中遠海運川崎船舶工程有限公司，遼寧 大連 116052）

0 引言

國際海事組織的海事安全委員會將海上自主水面船舶定義為一艘在不同程度上可以獨立于人的交互作用而運行的船，如圖1所示。一艘船上若要正常航行，需要同時進行很多的操作，智能航行能夠體現(xiàn)在各個部分，但在本文中主要關(guān)注自主環(huán)境感知的問題，船舶智能化設(shè)計在船舶運行的不同階段具有不同的任務(wù)。出發(fā)前，要規(guī)劃好航線。在這個規(guī)劃中，對于不同的天氣條件自動優(yōu)化路線是非常重要的，特別是在冰雪覆蓋的水域[1-2]。智能化在船舶航行中扮演一個關(guān)鍵的角色。

圖1 “凱征號”智能船舶

智能航行系統(tǒng)大致由感知系統(tǒng)和控制兩部分組成。在一艘船上，感知部分包括船舶定位、雷達和其他探索環(huán)境的傳感器系統(tǒng)，而控制系統(tǒng)包括例如推進和轉(zhuǎn)向系統(tǒng)。船舶的控制系統(tǒng)是非常先進的，因此即使是最難滿足的推進需求也可以用傳統(tǒng)的方位角推進器來滿足，在一個吊艙中一般設(shè)有由一個發(fā)動機和一個螺旋槳組成的推進器[3]。這些推進器可以圍繞指定的角度旋轉(zhuǎn)360度，使得即使是龐大的船只也能快速安全地進入狹窄的港口。此外，全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)與動態(tài)定位系統(tǒng)相結(jié)合的控制系統(tǒng)，可以抵消外部環(huán)境帶來的作用力，以保持其位置和航向盡可能接近指定位置(無錨)，即它可以保持航線穩(wěn)定，而不是被波動的風浪影響[4]。但是用于海洋環(huán)境的綜合感知系統(tǒng)在自主操作方面仍未得到充分發(fā)展，需要用其他感知傳感器和通過人工智能與多傳感器融合技術(shù)結(jié)合的方法來補充。

多傳感器感知系統(tǒng)的主要好處是通過優(yōu)勢互補提高了系統(tǒng)的可用性和完整性，一種傳感器不能檢測到的目標可以用另一種傳感器檢測到；同種功能的不同傳感器可以進行交叉驗證。多傳感器感知技術(shù)被廣泛運用了在自動駕駛汽車[5]，移動測圖[6]，基于機載和無人機的遙感[7]，機器人技術(shù)[8]等領(lǐng)域中。但是海洋感知系統(tǒng)的發(fā)展受到多種因素的阻礙，特別是惡劣的天氣或者在極地地區(qū)，所以傳感器系統(tǒng)需要在多種技術(shù)輔助，以保證不受天氣影響。

近年來，人工智能算法在學術(shù)界和工業(yè)界都取得了巨大的成功。因此，將人工智能技術(shù)應(yīng)用于智能船舶設(shè)計和傳感器融合是很自然的。AI[8-9]在不同的海洋傳感器數(shù)據(jù)具有了大量的研究和應(yīng)用，但針對復雜環(huán)境感知的研究和應(yīng)用較少。在這種情況下，需要從融合傳感器數(shù)據(jù)的角度，以AI方法為手段，提供所需的環(huán)境感知和傳感器完整性監(jiān)測。

本文綜述了智能航行感知系統(tǒng)的相關(guān)背景研究、設(shè)備和方法，其中包括了傳感器的選擇和人工智能技術(shù)。本文的結(jié)構(gòu)如下。第一節(jié)介紹了智能船舶領(lǐng)域的最新進展；第二節(jié)介紹相關(guān)的傳感器技術(shù)；第三節(jié)介紹已經(jīng)成功應(yīng)用于融合多模態(tài)數(shù)據(jù)的人工智能技術(shù)；第四節(jié)展望未來智能航行的發(fā)展。

1 背景

與公路、鐵路和航空運輸一樣，海上運輸也在朝著自主、智能的方向發(fā)展。自主和智能系統(tǒng)降低來自于人類操作失誤的風險及其相關(guān)成本，使新型機器人操作成為可能，如果在系統(tǒng)的設(shè)計階段得到適當實施，還可以降低建造和運營成本。智能船舶的研究和項目主要集中于北歐，近期亞洲國家也加入了研究，包括中國、日本、韓國和新加坡。主要的研究活動集中在大型的公司和研究機構(gòu)，最著名的項目包括MUNIN[14]，AAWA[11],芬蘭西海岸Jaakonmeri海上進行測試的OneSea Ecosystem，挪威的集裝箱船Yara Birkeland號，SIMAROS, AUTOSEA[15]和ROMAS項目，中國無人貨船發(fā)展聯(lián)盟及其測試區(qū)域，日本的遠程操作計劃，還有新加坡也在在智能船舶設(shè)計也展開了很多研究。這些宏偉的智能船舶項目中不乏應(yīng)用了傳感器技術(shù)和人工智能技術(shù)。

2 船舶傳感器技術(shù)介紹

智能船舶航行中常用的傳感器主要分為4類：視覺傳感器（相機），遙感傳感器（無線電雷達，激光雷達），音頻傳感器（麥克風），定位傳感器（衛(wèi)星導航satellite navigation（SatNav）和慣性導航系統(tǒng)Inertial Navigation System（INS）。而人工智能技術(shù)主要與視覺傳感器和音頻傳感器相結(jié)合，即通過提取傳感器收集到的數(shù)據(jù)的相關(guān)特征，檢測識別位置物體或者環(huán)境。

圖2中展示了各種傳感器在智能船舶上的空間布局圖，圖2中的SatNav或者INS傳感器為智能船提供了絕對位置，為了傳感器能夠較好融合，即功能上優(yōu)勢互補，根據(jù)傳感器探測區(qū)域的遠近程度可以大致將傳感器分為兩類：（1）較遠距離：無線電雷達（RADAR）還有單目相機（天氣較好的情況下使用）；（2）較短距離：激光雷達（LiDAR），相機，音頻傳感器。融合相機、雷達，愈發(fā)成為一個在智能船舶設(shè)計領(lǐng)域的研究熱點。下面重點介紹視覺傳感器在智能船舶上的應(yīng)用，這是因為這種傳感器與人工智能技術(shù)結(jié)合較多，且應(yīng)用廣泛。

圖2 智能船舶傳感器空間布局結(jié)構(gòu)圖

2.1 視覺傳感器

常規(guī)的視覺傳感器是指所有至少能捕捉到與人眼相似的二維圖像的傳感器，其中包括RGB（Red-Green-Blue）相機、黑白相機和紅外相機。相機可以用于定位、測距、目標檢測和分類，這些都是一個自主系統(tǒng)的基本任務(wù)。但是在公海條件下，沒有路標來執(zhí)行基于相機的定位，所以要依賴一些有特殊的方法。單目相機測距可以通過立體化來完成的，兩個單目相機可以看作為一個立體相機(或者使用一個立體相機)，然后兩個相機和目標物三者構(gòu)成一個三角形，通過三角測量法[10]可以計算出距離。特別說明的是，基于三角測量的相機與目標物之間距離估計為D，估計誤差為，還有視差誤差三者間的關(guān)系如公式1所示。

另外，單目相機距離估計也可以利用相機的運動[12]來實施。但這些方法都有局限性，一旦相機視野中出現(xiàn)物體運動，或者有很多遮擋物等情況，測量的結(jié)果都極有可能出乎意料。為了克服這些外部環(huán)境的干擾，出現(xiàn)許多與深度學習相結(jié)合的新方法，論文[13]中提出了一種基于左右一致性的無監(jiān)督多損失融合的方法，可以在沒有真實標簽的情況下進行基于單目相機的深度估計。論文[14]中提出了一種距離感知損失，可以完全解決亮度恒定假設(shè)中的遮擋問題。表1中展示了各類海上船用視覺傳感器的性能對比。

表1 各類海上船用視覺傳感器的對比

各類相機都有各自的優(yōu)缺點，選擇取決于實際情況。如圖2中為了更好地進行環(huán)境感知，互補使用了兩種相機。在理想的海事條件下，彩色相機更適合于環(huán)境感知任務(wù)，因為彩色相機能夠獲得的物體特征更多，從而有利于完成各類任務(wù)，但在非理想條件下，單色相機可能更適合于此，這是因為彩色相機所能獲得的有效特征有限，而黑白相機在光線較暗的情況下表現(xiàn)更好。紅外相機的優(yōu)點就是能夠捕捉到熱輻射，某些物體與水溫度偏差較大的物體通常會在紅外相機的圖像上清晰可見，夜間也是如此，但是紅外相機的造價貴分辨率低，在特地場合才會使用。

3 智能船舶的人工智能技術(shù)介紹

本節(jié)的主要對與智能船舶相關(guān)的人工智能的最新技術(shù)進行介紹。人工智能驅(qū)動的海上環(huán)境感知系統(tǒng)的結(jié)構(gòu)圖如圖3所示。

圖3 人工智能驅(qū)動的海上環(huán)境感知系統(tǒng)的結(jié)構(gòu)圖

人工智能方法在智能船舶導航和環(huán)境感知領(lǐng)域的應(yīng)用包括目標識別、定位和軌跡優(yōu)化任務(wù)。2017年[15]的一項工業(yè)研究證明了利用深度學習來完善海上環(huán)境感知系統(tǒng)的可行性，他們提出使用深度學習處理不同傳感器融合數(shù)據(jù)的算法來進行智能船舶環(huán)境感知，本節(jié)重點介紹深度學習在智能船舶中目標檢測的應(yīng)用。利用圖像數(shù)據(jù)進行目標檢測的主要挑戰(zhàn)是數(shù)據(jù)的維數(shù)非常大。而且直接使用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)（CNN）并不簡單，因為CNN是圖像分類的算法，而一般的目標檢測算法在實際應(yīng)用中采用小滑動窗口遞歸搜索大圖像的所有區(qū)域，但是這樣做的缺點就是計算代價過大，而且圖像中待檢測物體的大小會隨著距離的變化而變化。RPN（The Region Proposal Network）[16]為處理這些問題提供了一個很好的方案。如圖4所示。

圖4 使用RPN的船舶探測的一般框架（船舶圖片來自源于MarDCT數(shù)據(jù)集[17]）

經(jīng)典CNN和RPN的主要區(qū)別是區(qū)域選擇（region proposal）層，它給出了感興趣物體的潛在區(qū)域。這大大減少了圖像中對象的搜索區(qū)域。當目標物（如小船）只覆蓋了一個非常小的像素區(qū)域時，它是特別有用的。表2列出了利用不同傳感器檢測海洋物體的近期研究。

表2 海洋目標檢測的相關(guān)研究

4 總結(jié)

本文主要介紹了智能船舶相關(guān)的可用傳感器同時指出了相應(yīng)傳感器的優(yōu)缺點，以及用于處理傳感器融合數(shù)據(jù)的適用深度學習算法。實際上智能船舶技術(shù)遠不止本文所述的，包括智能故障預(yù)測與健康管理（Prognostics and Health Management，PHM）技術(shù)為以安全、高效和成本效益的方式操作和維護復雜的智能船舶提供了保障，能效控制技術(shù)為發(fā)展綠色船舶理念，航線規(guī)劃路線技術(shù)等技術(shù)。