海上船舶識別監測系統設計及示范應用

聶旭清 黃寧寧 趙 欽 凌玉榮 段 煉 鐘石娟 柳 迪

（1.廣東邦鑫數據科技股份有限公司,廣東 廣州 510000；2.南寧市公安局情報支隊,廣西 南寧 530001；3.廣西壯族自治區信息中心,廣西 南寧 530001；4.南寧師范大學城市健康與安全智能分析國際研究中心,廣西 南寧 530001；5.南寧師范大學地理科學與規劃學院,廣西 南寧 530001；6.南寧師范大學自然資源與測繪學院,廣西 南寧 530001）

當前，海洋經濟和海洋運輸蓬勃發展，海上船只數量急劇增加，港口內的船舶通行安全和規范管理越發重要，而船舶識別則是其中的關鍵環節。隨著當前機器學習在視頻和圖像理解上的飛速發展，基于視頻開展船舶的自動檢測成為可能[1]。應用人工智能技術感知港口船舶及其環境的實時狀況及變化趨勢，為用戶和管理者提供及時、動態、宏觀和綜合性信息，能極大提升港口監管水平和效率[2]。目前，傳統的視頻監控系統存在人力成本高和識別精確度不高等不足[3]，為此，本研究研發了海上船舶識別監測平臺。該平臺作為海洋智能基礎支撐系統，集成智能圖像處理組件，以光電圖像數據（定點攝像頭數據和移動攝像頭數據）為主，結合目標搜索雷達和抗電磁干擾與連續捕獲的AIS數據[4]，通過雷達主動探測海上船舶目標，對區域內出現的危險目標進行監測，智能識別采砂船、非法捕撈船等危險目標并對其采取識別、跟蹤與驅逐等手段。以下將從系統模塊設計、船舶智能檢測流程、船舶識別關鍵技術及平臺應用示范等方面進行闡述。

1 系統模塊框架

該平臺包括3個子系統：訓練中心子系統、算法中心子系統和應用分析子系統（如圖1）。

圖1 系統框架圖

1.1 訓練中心子系統

訓練中心包含算法生產、算法引入、算法引擎3個子模塊。算法生產模塊覆蓋自研算法生產的完整生命周期，能引入中集成主流AI廠商的通用算法能力；通過對自研算法與引入算法進行標準化的統一封裝，能高效便捷地對外提供基礎算法能力服務。

1.2 算法中心子系統

算法中心主要涵蓋了平臺已發布的算法。用戶可通過模型集市選擇適用的算法模型，通過創建應用或在線使用的方式調度算法引擎進行調度。

1.2.1 海上船舶類型檢測模塊

實現發現海洋水面區域內出現的危險船舶目標并進行監測，智能識別采砂船、捕撈船等危險目標。

1.2.2 船舶目標舷號字符檢測模塊

在船舶關閉AIS等身份識別設備后，通過調整光電平臺角度對船舶舷號字符進行聚焦識別，確定船舶舷號字符的具體信息。

1.2.3 算法管理模塊

該模塊主要針對在訓練中心已完成訓練發布至算法集市中的算法（包括自研算法、算法廠商供應算法），進行引入管控、版本管理、投產管理、算法信息及后臺配置管理。

1.2.4 算法監控模塊

該模塊針對系統資源使用情況提供可視化視圖，包括CPU、GPU、內存、網絡的使用情況，進行實時的展現。

1.3 應用分析子系統

1.3.1 用戶視圖模塊

該模塊具備完善的用戶管理、角色管理、權限管理功能。用戶管理以列表的形式展現用戶及角色信息，并針對性地提供用戶及角色的新增、編輯、查詢功能。

1.3.2 統計管理模塊

該模塊包括算法、應用、用戶、用戶費用等的統計報表。算法統計報表統計平臺現有算法的調用情況、識別準確率、調用成功率等。應用統計報表統計平臺應用的總數、調用量、調用成功率等。用戶統計報表統計平臺各類用戶的數量、狀態、活躍度等信息。用戶費用統計報表統計消費用戶算法單元調用量、使用量、消費情況。

1.3.3 運維管理模塊

為了使系統運行中的一些情況和用戶的操作有據可查，平臺需要提供安全日志、數據日志等日志功能。安全日志包括用戶活動（登陸、注銷）記錄、密碼修改記錄、鑒權記錄；數據日志包括數據集請求記錄、數據集范圍、數據集使用人、時間等記錄。

2 船舶智能檢測處理流程

船舶檢測模型構建流程如圖2所示。

圖2 船舶檢測模型構建流程圖

2.1 海上船舶數據采集

海上船舶樣本的采集方式包括：（1）通過架設在岸邊或者海面平臺上的攝像頭拍攝船舶樣本照片；（2）手持相機在港口或者隨船出海采集船舶照片；（3）從專業的船舶網站圖片庫下載海上船舶照片；（4）從海洋相關部門中直接獲取所需的船舶類型照片；（5）從開源的訓練數據庫中獲取相關船舶樣本圖片。

在實際檢測海上船舶的過程中，船舶大小、類型、背景等均為隨機條件，為了實現對大部分隨機條件下的海上船舶進行檢測，需要采集各種隨機條件下的船舶樣本，包括：（1）各種類型的船舶樣本；（2）各種距離的船舶樣本；（3）各種復雜光照（包含強光、弱光、逆光等）環境下船舶樣本；（4）各種氣象天氣（包含陰、晴、雨、霧等）下的船舶樣本；（5）各種海域（近海、遠海）環境下的船舶樣本；（6）各種角度下（正面、側面、斜面、反面等）的船舶樣本；（7）各種圖像分辨率下的船舶樣本；（8）各種光電傳感器的船舶樣本等。

樣本類型越豐富，檢測的效果越理想。在本研究的應用中，采集了20 000余張各類船只的圖片數據。

2.2 船舶數據的分類和樣本標注

2.2.1 確定船舶類別

海上船舶按照用途主要可以分為科考船、工程船、漁船、采砂船、集裝箱船、散貨船、液貨船、客輪、快艇、軍艦等類別。圖像包含豐富的顏色紋理等細節特征，在實時船舶檢測與船舶細分類任務方面更具優勢[5]，可通過對船舶外部形態特征的識別來檢測不同類型的船舶。如集裝箱船具有非常顯眼的多彩色外觀，軍艦和海警船一般是白色或者灰色涂裝；一般的漁船、快艇的尺寸較小，而貨船通常具有很大的尺寸；工程船甲板往往安裝復雜的工程勘察、起吊設備，而油輪的甲板比較簡潔等。總的來看，船舶外部形態特征主要包括顏色、船型大小、甲板構建物形態、船艙位置及船身尺寸比例等。通過對這些外觀的特征辨識，構建形成海上船舶分類數據庫和知識庫，為后期樣本標注提供參考依據。

2.2.2 樣本標注

基于具體的分類應用要求對船舶數據樣本進行標注。不同要求對數據標注格式要求不同，如有的需要勾勒出船的形態，有的僅需對圖片打一個分類標簽。

2.2.3 數據校驗

由于參與標注的工作者數量眾多，并且數據標注以及交付的過程可能存在不規范，因此，需要對海上船舶種類數據進行分揀、重新審查和抽樣校驗，刪除重復信息，糾正存在的錯誤，保證數據尺寸和分類標注一致性。

2.2.4 數據增強

為防止后期模型訓練時地過擬合，需要增加訓練的數據量和加入一定噪聲數據，以提高模型的泛化能力[6]。就此，通過對原有樣本進行隨機旋轉、隨機裁剪、色彩抖動、高斯噪聲和水平翻轉等操作，獲得更多的樣本。

2.2.5 數據安全管理

對原始數據和樣本進行加密、安全存儲、訪問控制、數據完整性保護，避免數據安全隱患，實現全方位、多層次的安全防護措施。

2.3 船舶智能識別模型的調優

基于Faster R-CNN系列、SSD系列、YOLO系統等經典目標檢測方法，在兼顧目標檢測的速率和精度的基礎上，通過大量樣本得到適合不同環境的模型，進而將其應用于實際的船舶檢測中。

3 船舶識別關鍵技術

在船舶特征識別場景研究中，會遇到境外船舶等數據量較少的情況，所以一方面要通過數據擴充技術，增加數據量和不同場景下的多樣化數據，另一方面要從模型學習策略角度引入遷移學習技術，提高模型面向小數據識別的能力。

3.1 深度學習模型的自動參數獲取

由于深度學習模型的架構復雜，神經網絡層數深，超參數多，對其的設定又需要很強的先驗知識，這讓深度學習方法與應用存在巨大的鴻溝。為此，需要貝葉斯優化的迭代優化算法自動設計和調整深度學習模型。該過程將原本耗費上千個GPU時的網絡架構搜索過程縮短到數十個GPU時，且搜索到的網絡的性能與耗費上千個GPU時搜索到的網絡十分接近。

3.2 模型的遷移學習

一些特殊環境和船只數據收集復雜且昂貴，構建大規模、高質量的帶標注數據集非常困難。因此，本研究引入遷移學習方法，對于一些特定船只目標的識別模型，在特征提取層和分類層之間加入自適應層，使得源域和目標域的數據分布更加接近，進而讓模型自動化地提取更具表現力的特殊環境和船只的特征，同時又滿足了實際應用中的端到端需求。

3.3 集群訓練計算架構

利用高性能并行計算設備GPU和FPGA來加速模型訓練，并通過Parameter Server進行模型的集群訓練。集群中的節點被分為兩類，即parameter server和worker，其中parameter server存放模型的參數，而worker負責計算參數的梯度。在每個迭代過程中，worker從parameter sever中獲得參數，然后將計算的梯度返回給parameter server，parameter server聚合從worker傳回的梯度，然后更新參數，并將新的參數廣播給worker。集群訓練策略如下：

策略1：模型并行。模型集群訓練指的是將模型部署到多臺設備上運行。

策略2：數據并行。在很多設備上放置相同的模型，并且各個設備采用不同的訓練樣本對模型訓練。

3.4 面向場景數據更新的自動增量學習

自動篩選其中難分數據進行主動增量式標注，結合模型工作時收集的關鍵難分樣本，設計更新數據組織與利用形式，形成自動增量學習的數據閉環。

4 海洋船舶人工智能云平臺示范應用

該平臺是海洋船舶監測、集成聯動、智能決策和快速處置一體化智慧平臺。在休漁期對國家級中心漁港陽江閘坡港進出港漁船進行漁船類型與弦號智能識別，為漁政執法部分提供休漁期漁船違規作業預警信息。平臺建設將算法、算力、數據和場景有機結合，打造集數據清洗、數據采集、算法開發、模型訓練、模型管理到模型調度于一體的海洋人工智能云平臺，形成一套全新的海洋人工智能生產模式。

基于人工智能技術及大數據平臺，結合監控、監測設備實現對海洋在線監控數據的實時接入和智能識別，管理人員可及時掌握不同海洋應用場景的狀態，真正實現海洋監控數據實時、直觀、動態、可視化、智能化的管理和展示。實現全方位、自動化的監控，實現在線監測數據的實時刷新、臨界提示、超標報警，實時掌握海域環境狀態。支持管理者對海洋監管形勢進行綜合分析，全面提升海洋監管水平。

平臺通過組件應用集成的方式，形成海洋智能圖像處理集成應用。輸出圖像視頻處理API、SDK，提供二次開發能力和擴展能力，為業務應用提供各項智能圖像視頻處理服務。

用戶可以通過平臺的開放接口，對中心和數據節點管理的數據資源和模型資源進行“透明”訪問。部門和機構可以利用交換系統對分散的數據資源進行整合，消除數據孤島。

5 結語

該平臺通過整合涉海多源數據開展了海上船舶識別及相關的信息共享與分析，促進海洋數據資源的匯聚應用，為海洋科學監控提供智能輔助決策，推進了涉海數據采集、挖掘、管理和共享等應用的智能化水平，為建設海洋人工智能云平臺提供了示范應用。已有工作為廣東現代海洋生態體系開發與建設提供基礎性、開放性、公共性服務，對快速賦能現代海洋產業、提升產業效率和加快產業轉型具有重要作用。