基于虛擬現實交互的智能船舶感知測試系統

祝添權，吳 勇，鄭 茂，初秀民

(1.武漢理工大學 國家水運安全工程技術研究中心，湖北 武漢 430063；2.閩江學院，福建 福州 350000)

智能船舶融合了先進感知、大數據、人工智能及自動控制技術，具有安全可靠、節能環保、經濟高效等顯著特點，是未來船舶發展的重點方向。在人工智能等先進技術的驅動下，智能船舶等級不斷提高，系統復雜性進一步增加，再加上多變的海洋天氣和復雜的海況，都為智能船舶測試評價提出了新的挑戰。為了測試智能船舶的性能水平，國內外高校和企業加大了對智能船舶測試技術的研發投入，歐洲先后建設4個無人船海上測試場，我國也在山東威海、廣東萬山、浙江舟山規劃建設3個海上測試場。2018年11月30日，廣東萬山無人船在海上試驗場正式啟用，并被授予測試場服務供應方認可證書，標志著我國智能船舶測試認證進入標準化、規范化時代。

然而，隨著研究的深入，學者們逐漸認識到：需要測試的航行場景錯綜復雜，如果全部進行實際海上測試，投入的時間和費用都將難以計量。現有的海上場地測試已經無法滿足智能船舶的測試需求，于是，專家學者們開始把目光轉移到一種不下水也能訓練智能船舶性能的方法——虛擬測試技術。虛擬測試技術是在仿真場景下，根據測試標準，對待測模型的性能和功能進行的測試技術。利用虛擬測試技術，不但能夠在船舶正式投入使用前找出存在的安全隱患，而且能夠對十分惡劣的海況下船舶的航行性能進行檢驗，確保產品的安全性和可靠性。

近年來，虛擬測試技術已被廣泛應用于航空航天、汽車、兵器制造等領域，但船舶領域的虛擬測試技術仍處于起步階段。測試數據集匱乏，無法滿足測試研究需求，測試方法研究進展緩慢，系統研究存在短板。針對以上問題，本文提出一種基于虛擬現實交互的智能船舶感知測試系統，對智能船舶感知測試系統進行詳細設計，同時對感知數據采集、數據重構和數據增廣3項關鍵性技術進行了針對性研究，旨在推進船舶智能航行感知系統測試集構成和測試方法更新。

1 系統框架

基于虛擬現實交互的智能船舶感知測試系統結構示意圖如圖1所示。基于虛擬現實交互的智能船舶感知測試系統主要由船舶智能航行感知采集子系統、虛擬仿真子系統和基于虛擬現實交互的平行測試與評估子系統組成。

圖1 基于虛擬現實交互的智能船舶感知測試系統結構示意圖

1)船舶智能航行感知設備采集子系統，包括雷達、攝像頭、AIS、GPS和羅經等感知設備，負責在真實世界中采集船舶航行數據，并生成真實數據測試集。一方面，得到的真實數據測試集更新到基于虛擬現實交互的平行測試子系統中供測試使用；另一方面，真實數據也同步更新到虛擬仿真子系統中進行仿真。

2)虛擬仿真子系統，包括船舶操縱仿真、雷達圖像仿真、AIS數據仿真和視頻圖像仿真等，負責對虛擬世界中的船舶航行環境數據進行仿真，生成虛擬數據測試集。

3)基于虛擬現實交互的平行測試子系統，其功能為將船舶智能航行感知設備采集子系統生成的真實數據集和虛擬仿真測試子系統生成的虛擬測試集更新到平行測試子系統中。被測智能船舶感知系統通過與該平行測試子系統互動開展集成測試，有效評測智能船舶的智能水平、環境認知能力和適應能力等。

此外，系統引入復雜與對抗性場景，將通過數據采集得到的實際真實數據和場景仿真得到的虛擬測試數據反饋到系統中，系統能夠自動生成較現階段復雜的新的航行場景，這些場景可以呈現復雜、動態的航行環境，以促使智能航行船舶進一步提高適應復雜航道環境的能力，促進船舶智能航行感知技術的發展。從這個角度來看，基于虛擬現實交互的智能船舶感知測試系統可以在人類專家的偶爾指導下進行自我升級。

綜上所述，所設計的基于虛擬現實交互的智能船舶感知測試系統與現有一般測試系統的關鍵區別在于：該系統以一種新的平行測試方法來測試智能船舶對復雜航道場景的感知能力，構建了一個人工閉環的平行智能測試模型，使其具有在人類專家指導下自動自我升級的認知機制。

2 關鍵技術

基于虛擬現實交互的智能船舶感知測試系統，采用真實原始數據與虛擬人工數據相結合的方式，對待測試智能船舶進行訓練和更新，在數據測試集成、構成上，主要應用了數據采集技術、數據重構技術與數據增廣技術。數據采集技術指通過船舶感知設備采集船舶及其周邊環境的信息，以獲取真實數據測試集；數據重構技術是以真實感知數據為基礎，根據復雜與對抗性的航行場景，進行航行環境數據的仿真，以獲取復雜與對抗性航行場景測試集；數據增廣技術主要用于增加訓練數據集，讓數據集盡可能的多樣化，使得訓練的模型具有更強的泛化能力。以下對所設計的測試系統中的數據采集、數據重構和數據增廣技術分別進行介紹。

2.1 數據采集技術

1) 雷達數據采集。首先，雷達反射回波經過變頻、放大和濾波等處理變成具有一定強度的模擬信號；其次，經A/D轉換為數字信號；再次，通過FFT(快速傅里葉變換)運算、雜波抑制、CFAR(雷達恒虛警)檢測等圖像處理；最后，生成雷達圖像。海事雷達圖像按照雷達輸出的信號類型，可分為模擬視頻圖像和數字以太網圖像。

(1) 模擬視頻圖像。雷達的模擬視頻圖像以VGA制式為主，如古野、JRC雷達等。雷達通過VGA接口輸出R、G、B三基色模擬信號和場、行同步信號。VGA信號多采用視頻編碼器，如海康威視DS-6701HTH-4K編碼器，將模擬視頻圖像按照H.265/H.264協議壓縮后，轉為數字碼流，再通過TCP/IP協議進行網絡傳輸。用戶可通過網口進行雷達圖像采集和存儲。

(2)數字以太網圖像。部分雷達提供以太網接口，如SIMRAD的4G連續波固態雷達，其內部以數字信號方式生成顯示圖像，并通過UDP協議在局域網內傳輸，用戶可以直接通過網口采集雷達圖像并實現對雷達的參數控制。

綜上所述，提供VGA接口的雷達輸出模擬視頻圖像后，需要通過圖像識別的方法識別雷達參數，系統較為復雜；提供以太網接口的雷達輸出數字以太網圖像后，可直接進行圖像采集和存儲，而且可以控制雷達參數設置，系統更加簡單，使用更加靈活。

2) 視頻數據采集。視頻數據采集過程中，攝像機輸出的視頻圖像信號可分為模擬信號和數字信號，輸出模擬信號的攝像機為模擬攝像機，輸出數字信號的攝像機以網絡攝像機為主。

(1)模擬攝像機。模擬攝像機輸出模擬視頻圖像，經視頻編碼器將模擬信號轉為數字信號，然后通過網絡進行傳輸。如?？低旸S-2CC11A7P-A攝像機，攝像機通過BNC接口輸出電平幅度為1 V、阻抗75 Ω的模擬信號，信號經編碼器的BNC接口輸入，并按照H.264視頻壓縮標準壓縮后轉為數字信號，最終遵循Ipv4/v6網絡協議，通過RJ45以太網接口進行傳輸。

(2)網絡攝像機。網絡攝像機提供以太網接口，輸出數字視頻圖像。網絡攝像機內部自帶網絡編碼模塊，通過網絡編碼模塊對模擬視頻圖像進行M-JPEG/H.264編碼壓縮成數字視頻圖像后，按照TCP/IP網絡協議直接通過以太網接口輸出數字視頻圖像。

綜上所述，網絡攝像機因組網靈活、采集存儲方便等特點，其整體性能已遠超傳統模擬攝像機，應用范圍更為廣泛。

3) AIS數據采集。AIS船臺一般提供RS422和RS232這2種接口，以串行方式輸出本船及目標船的靜、動態信息，用于在計算機系統上采集和處理信號。AIS信息的輸出遵循ITU-R M.1371協議。對于RS232接口的船臺，如古野FA-150，信號可直接傳輸至PC機。而對于RS422接口的船臺，如賽洋AIS9000-15，信號必須經過轉換器完成RS422信號到RS232信號的轉換，然后通過串口送入PC機[1]，由PC機完成信號的采集和處理。

2.2 數據重構技術

1)船舶運動仿真。目前，廣泛使用的船舶運動數學模型主要包括整體型模型、分離型模型和操舵響應模型[2]。

針對船舶操縱性的仿真，本文選用操舵響應模型，在建立模型之后，可使用歐拉法或龍格-庫塔等方法對狀態進行積分求解運算，以實現船舶運動狀態的仿真。

2) 雷達圖像仿真。雷達圖像仿真的3個主要要求為：一是要有明確的遮擋判斷算法，二是回波強度的計算要合理，三是要保證實時性。常見的雷達圖像仿真方法有以下幾種。

(1)掃描線求交算法[3]。掃描線求交算法基于岸線數據，岸線數據由若干線段組成。掃描線求交算法示意圖見圖2，先求出掃描線與岸線的交點，再利用Bresenham畫線算法從該點出發向岸側畫一段任意長度的線段，產生類似用鉛筆在海圖上沿岸線向陸地側涂抹的效果。掃描線求交算法生成仿真雷達圖像雖實時性得到滿足，但因缺少合適的遮擋判斷算法和回波強度算法，導致真實感較差。

圖2 掃描線求交算法示意圖

(2)射線追蹤算法[4]。射線追蹤算法是通過射線模擬電磁波對目標的入射，求出每條射線管投影坐標與射線管的出射場強，然后在圖像域上對所有射線管的貢獻進行累加，最后通過加窗處理獲得雷達圖像。射線追蹤算法具有較高的真實感，但要保證實時性使用的射線不能太多。

(3)基于雷達方程的回波強度算法[5]。高真實感的仿真雷達圖像離不開合理的回波強度算法，合理的回波強度算法可以判斷一個未被遮擋的目標是否應該顯示出來，更好地模擬增益和調諧功能?；诶走_方程的回波強度算法采用了雷達波的傳播衰減算法和雷達天線方位圖函數，實現了回波的橫向擴展和徑向擴展效果以及旁瓣假回波，使得仿真雷達圖像的真實感進一步提高。

3) 視頻圖像仿真。視頻圖像仿真是指在真實船舶航行環境基礎上利用三維仿真技術對現實場景進行模擬和還原。首先對島嶼、船舶、航標、水文等航行場景進行三維建模；之后將模型文件導入模型驅動平臺；最后通過程序對三維模型予以驅動。

4) AIS數據仿真。首先，根據船舶仿真數據，得出經緯度、航速航向等，再根據AIS消息1(船舶動態信息)和消息5(船舶靜態和航行相關信息)進行分類；其次，按照ITU-R M.1371協議，對AIS數據進行編碼，生成AIS仿真報文；最后，根據AIS船舶航行速度確定發送間隔，發送AIS仿真報文。

2.3 數據增廣技術

1)雷達圖像增廣。

(1) 海況條件。海雜波是指來自海表面的散射回波，在生成雷達回波圖像時，可以用典型的海雜波幅度分布隨機生成雜波圖像，疊加在雷達回波圖像上達到數據增廣的目的。典型的海雜波幅度分布模型有瑞利分布、對數正態分布、韋布爾分布和K分布，高錚對上述4種典型海雜波幅度分布模型進行仿真[6]，并使用海雜波的實際測量數據來檢驗模型的擬合度，結果表明，K分布模型更具實用性，可以描述多種海雜波的幅度分布規律。

(2) 雨雪條件?？罩械挠暄┰谝欢ǚ秶鷥瓤梢砸暈槭潜姸嗑鶆蚍植嫉纳⑸淞Ｗ?。每個散射粒子回波的任意變化導致總的回波幅度變化呈現隨機性。在生成雷達回波圖像時，同樣可以通過雨雪雜波幅度分布隨機生成雜波圖像，疊加在雷達回波圖像上達到數據增廣的目的。相比海雜波幅度分布，無論雷達分辨力的高低，都可以用瑞利分布來描述雨雪雜波的幅度分布[7]。

2)視頻圖像增廣。視頻圖像增廣可分為色彩增廣和幾何增廣。對于背景復雜的特性，常采用色彩增廣的方法，通過調節色彩圖像R、G、B這3個通道的亮度值，使其增廣后的圖像與原圖像具有不同的色彩呈現，以弱化訓練出的模型對目標色彩屬性的依賴；對于視角特性，常采用幾何增廣的方法，通過圖像翻轉、縮放、平移和旋轉等操作來改變目標在圖像中的位置，達到數據增廣的目的。此外，還可將翻轉、縮放、平移和旋轉等操作進行變組合來進行增廣。

3)AIS數據增廣。在實際AIS數據采集過程中，經常會出現某時間段數據缺失的情況。如單個船舶的AIS數據理論上是每10 s輸出1條AIS數據報文，但實際情況是由于雨霧天氣或地形的影響，時常出現2 min左右的數據缺失情況。因此，可通過人工隨機地去除單位時段內某些船舶AIS語句，或改變某一地區AIS語句的輸出頻率，以模擬地形遮蔽等特殊情況，生成新的測試數據樣本，從而達到數據增廣的目的。

3 結束語

本文基于數據采集、數據重構與數據增廣技術，提出了基于虛擬現實交互的智能船舶感知測試系統，實現了智能船舶航行感知系統測試與評估的目的。在系統結構上采用人工閉環的模式，使其可以不斷自我升級；在測試船舶感知能力上，采用平行測試的方法，使其不局限于實際測試場地；在測試數據集構成上，采用數據采集技術、數據重構技術、數據增廣技術，有效解決了現階段測試數據集匱乏的問題?；谔摂M現實交互的智能船舶感知測試系統不僅能為發展水上交通環境感知提供基礎數據，而且有助于促進人工智能與智能船舶融合，引領智能船舶技術體系發展，在未來智能船舶感知測試系統搭建上，有重要的應用價值。