基于深度學習的三維感知算法在船舶自主靠泊場景中的應用

謝涵清，鄧乃銘

(上海交通大學高新船舶與深海開發裝備協同創新中心，上海200240)

0 引言

2018年，中國船級社發布了《自主貨物運輸船舶指南》[1]，指出了自主貨物運輸船的構造以及船舶各系統的目標和功能要求，其中就包括船舶自主靠離泊這一操作場景，規定了其場景感知等相關技術要求。感知技術是保證船舶自主系統的核心功能模塊，是自主靠泊的前提和決策控制的重要依據。本文以船舶自主靠泊感知算法為核心問題展開研究。

船舶領域常用的感知設備有攝像頭、雷達和激光雷達等。攝像頭具有特征稠密、顏色信息豐富等優點，但難以獲得空間信息。雷達和激光雷達能夠精準地獲取距離信息，但存在數據稀疏，特征不足等缺陷。近年來的研究基本可以分為基于點云的探測技術[2]，基于圖像的檢測技術[3]和基于多傳感器數據的檢測技術[4]，這些方法大多通過人工定義目標特征，泛化能力和精度都比較差。隨著人工智能的發展，深度學習技術逐步應用在無人船感知算法中，以圖像檢測為例，如文獻[5]將深度網絡Fast-RCNN應用在海上艦船目標檢測中，檢測的準確率和速度都有一定的提升。但是目前基于深度學習的多傳感器融合技術在船舶領域還未被實現與應用，而國內外這方面的技術已經在其他領域[6]取得不錯成果。

本文根據《指南》對船舶靠泊探測范圍和測量精度的要求，選擇攝像頭和激光雷達作為船舶自主靠泊的感知設備，設計并實現了基于深度學習的三維感知算法，使用卷積神經網絡提取點云與圖像的特征，利用空間連續卷積網絡將兩者特征進行深度融合，并在融合兩者優勢的特征圖上檢測三維目標。然后搭建了一個基于虛擬物理引擎的船舶靠泊仿真系統，實現以低成本創建船舶靠泊場景數據集。最后構建基于GNC框架的自主靠泊系統，進行靠泊仿真試驗，對算法性能進行驗證。

1 感知算法設計與實現

1.1 感知算法架構

本文采用攝像頭和激光雷達作為靠泊感知設備，構建基于深度學習的三維感知算法，框架如圖1所示。算法由3個核心網絡組成，用于特征提取的卷積神經網絡，用于特征融合的空間連續卷積網絡和用于目標識別與定位的檢測生成網絡。首先對點云進行預處理，生成卷積神經網絡能處理的數據格式。卷積神經網絡將處理后的點云或圖像作為輸入，輸出高語義的特征圖。空間連續卷積網絡將輸出的圖像特征融入點云卷積神經網絡的多層特征圖中。檢測生成網絡可以預測檢測框的類別和回歸檢測框的邊界。由于網絡比較復雜，若單單靠三維檢測流的損失函數進行模型訓練，圖像卷積神經網絡經過過長的反向傳播鏈，參數已經難以優化。為此，本文額外增加了以圖像為主的二維檢測生成網絡，通過二維檢測和三維檢測的聯合訓練，輔助模型參數更新，提高三維檢測的精度。

圖1 感知算法架構Fig.1 Perception algorithm framework

1.2 點云數據預處理

點云數據處理是對不規則且無序的點云進行規整化處理，盡可能保留靠泊場景的空間信息，將點云轉換成卷積神經網絡能使用的數據形式，降低了數據的空間復雜度，并加快計算效率。本文根據鳥瞰圖處理法（BEV）[7]，按0.1m的分辨率劃分點云的探測空間，將點云的高度和強度信息作為特征通道，生成點云映射到水平面上的多特征通道網格圖。若存在掃描點落在某網格單元的某高度空間范圍內，則該網格單元在該高度的特征值記為1，反之為0。網格單元的強度特征值為該位置豎直方向上的所有掃描點的強度平均值。

1.3 基于卷積神經網絡的特征提取

卷積神經網絡（CNN）是深度學習特征提取常用的方法，其具有表征學習的能力，利用卷積、池化等操作不斷提取和學習高層次的特征。本文選擇殘差網絡[8]作為點云和圖像特征提取的基礎，并在此基礎上進行優化，結構如圖2所示。殘差網絡是一種易于訓練的卷積神經網絡，由多個殘差塊組成。由于靠泊場景存在較多目標與本船距離較遠的情況，后續算法很難從殘差網絡輸出的低分辨率特征圖中提取豐富的信息。因此，本文結合殘差的思想在網絡尾部新增上采樣操作，增大輸出特征圖分辨率，并使用網絡中間的高分辨率特征圖恢復細節特征，用于后續特征融合和目標檢測使用。

圖2 殘差網絡結構Fig.2 Resnet structure

1.4 基于空間連續卷積網絡的特征融合

為了利用點云和圖像各自的優勢，需要將兩者的特征圖進行深度融合，以提高目標檢測識別和定位的精度。本文基于空間信息和多層感知器（M LP），提出了一種改進的空間連續卷積網絡[9]，將圖像卷積神經網絡提取的特征數據和點云空間信息，融入點云卷積神經網絡的多層特征圖中，構建更加稠密的點云特征圖，如圖3所示。若要計算點云特征圖中某網格單元（方塊1）待融合的特征，首先基于最鄰近算法找到與該網格單元距離最近的若干掃描點（灰黑色圓點），根據感知設備的空間幾何模型將這些掃描點映射到圖像的像素空間中，利用插值法找到對應的圖像特征（方塊2），最后將這些圖像特征和掃描點距離該網格單元中心的三維偏移量拼接在一起，使用多層感知器計算出該網格單元待融合的特征，最終與原始特征相加完成特征融合。

1.5 基于檢測生成網絡的目標識別與定位

圖3 空間連續卷積原理圖Fig.3 Spatial continuous convolution schematic

目標識別與定位是自主靠泊感知算法最終的結果輸出。本文提出一種基于全卷積的檢測生成網絡，使用卷積操作取代普通檢測網絡的全連接層，直接預測靠泊場景中各類目標的類別和回歸目標的邊界。二維與三維的檢測生成算法原理和步驟基本一致，文中以三維為例。該方法通過權值共享的方式重復利用參數，使檢測生成網絡更加高效。檢測生成網絡根據功能分為識別模塊和定位模塊。識別模塊能預測特征圖中每個網格單元可能存在的三維檢測框的各類別置信度，將概率最高的類別設為該檢測框的類別，其中背景也視為一種特殊的類別。定位模塊對三維檢測框的邊界進行回歸，得到能夠準確的三維檢測框。對于邊框回歸值，選擇簡化的中心點編碼，只需6個參數就可以確定三維檢測框的唯一位置，如圖4所示。相比八角編碼，需要學習的參數量更少，更容易訓練。在模型訓練時，計算檢測生成網絡輸出的結果與真實標簽的偏差，作為損失函數指導整個感知網絡的優化，尋找參數最優解。其中檢測框分類損失函數Lcls如式（1），回歸邊界的損失函數Lreg如式（2）和式（3），p與t分別為某網格單元對應的預測值與真實值，c為物體類別，i為邊界值。

圖4 中心點編碼原理圖Fig.4 Center point coding schematic

2 船舶靠泊仿真系統

2.1 仿真系統架構

為低成本獲取模型訓練數據集以及驗證算法在自主靠泊場景中的效果，本文將基于ROS和Gazebo建立自主靠泊仿真系統，模擬靠泊場景，框架如圖5所示。ROS是斯坦福大學人工智能實驗室主導開發的分布式機器人軟件框架，Gazebo是一個能夠與ROS完美兼容的仿真平臺。本文設計與實現了基于Gazebo多種物理引擎的靠泊仿真場景，定義光線環境，導入三維建模軟件設計的湖泊、碼頭標志物等模型，還原真實靠泊環境。基于FOSSEN[10]提出的船舶控制方程，構建無人船六自由度仿真模型，賦予無人船運動學和動力學性能，結合激光雷達、攝像頭、GPS、IMU等多種仿真傳感器，賦予無人船自由航行和環境感知等能力，其中考慮到靠泊的具體情況，將攝像頭布置在無人船的一側。此外，將自主靠泊等算法模塊包裝成ROS節點，在仿真系統中運行，并利用RVIZ工具實現數據可視化。

圖5 仿真系統架構Fig.5 Simulation system structure

2.2 靠泊場景數據采集與訓練

目前國內外還沒有可以應用在真實航運或靠泊場景中的公開多傳感器數據集，故本文基于仿真系統創建靠泊場景數據集，如表1所示。在靠泊仿真系統中遙控無人船，多角度多距離觀測靠泊目標，包括碼頭標志物和被補給船，采集激光雷達、攝像頭、GPS和IMU的傳感器數據，同時記錄多種靠泊目標的姿態和位置信息。通過坐標變換，計算靠泊目標與無人船的相對位置關系，結合靠泊目標的主尺度數據，獲得二維和三維邊界框，作為數據集的真實標簽（G round True），并按常用的KITTI格式[11]記錄。

表1 靠泊場景數據集Tab.1 Berthing scene dataset

以端到端的方式訓練感知網絡，使用小批量梯度下降法（MBGD），按序以0.01，0.001和0.0001的學習率，分別訓練迭代80000，40000和40000次。在靠泊場景數據集的測試集上測試，準確率達到94.6%，檢測效果較為優秀，基本滿足靠泊仿真要求。本文的訓練和測試過程均基于深度學習框架Pytorch，計算機的配置為Intel i5處理器、16 G內存和NVIDIA 1080ti顯卡。

3 自主靠泊仿真結果

3.1 自主靠泊系統

根據“決策-觀測-控制”邏輯完整構建自主靠泊系統架構，如圖6所示。觀測部分基于本文設計的三維感知算法，使用仿真傳感器采集的點云和圖像數據，實現對靠泊目標的實時檢測；決策與控制部分使用較成熟的靠泊決策和控制算法，根據指定的靠泊目標計算虛擬泊位區域或實時補給靠泊點坐標，使用ANN靠泊路徑規劃算法[12]確定靠泊路徑，使用LOS循跡算法[13]計算目標航向航速控制量，輸出控制指令到推進系統中，實現靠泊動作。

圖6 自主靠泊系統架構Fig.6 Autonomous berthing system framework

3.2 仿真試驗內容

為了驗證感知算法的有效性，本文針對指定的靠泊目標，完成碼頭靠泊仿真試驗和補給靠泊仿真試驗。碼頭標志物保持靜止，被補給船保持往返勻速直線運動。黑白色雙體船作為本船，當系統檢測到任務指定的靠泊目標時，執行自主靠泊任務。無人船通過感知算法完成對靠泊目標的探測工作，通過決策控制算法實現靠泊動作，其中感知算法運行頻率為1 Hz，決策控制算法運行頻率為5Hz。

3.3 仿真試驗結果

圖7 碼頭靠泊仿真試驗結果Fig.7 Dock berthing simulation experiment result

碼頭靠泊仿真試驗比對結果如圖7所示，補給靠泊仿真試驗比對結果如圖8所示。結果圖左側是軌跡圖，中間是x和y方向位移的時歷曲線，右側是首向和航速的時歷曲線。分析碼頭靠泊仿真試驗數據，碼頭標志物和探測結果基本一致，且無人船最終停靠在算法推算出來的虛擬泊位中，首向和航速符合靠泊要求，表明感知算法能成功識別碼頭標志物并給出精確的坐標，且較為成功地完成碼頭靠泊動作。分析補給靠泊仿真試驗數據，被補給船和探測結果基本一致，無人船最終與目標保持2m距離平行航行，穩定后的首向和航速基本一致，表明感知算法對被補給船的檢測精度符合預期，且擁有良好的補給靠泊效果。但是感知算法在部分時間還存在一定的誤差，其原因是感知算法運行頻率較低，傳感器數據沒有根據時間戳完全匹配，這種誤差在無人船做回轉運動時會被放大。

圖8 補給靠泊仿真試驗結果Fig.8 Supply berthing simulation experiment result

4 結語

本文針對船舶自主靠泊場景，構建基于深度學習的三維感知系統，通過卷積神經網絡和空間連續卷積網絡對點云與圖像進行特征提取和特征融合，通過檢測生成網絡生成三維檢測框的類別和邊界，實現對靠泊目標的識別與定位。通過自建船舶仿真系統，創建靠泊場景數據集，完成自主靠泊感知網絡的訓練，并測試達到預期的檢測精度。最后結合成熟的靠泊決策和控制算法，構建了基于GNC的自主靠泊系統，在仿真系統中完成自主靠泊試驗，驗證了算法的有效性，為實船自主靠泊應用提供了一種新的研究思路。但是本文設計的三維感知算法在運行速率方面仍有較大提升空間，有待未來進一步研究。