一種適用于智能船舶的分布式數據網絡平臺

鐘 偉, 陸錦輝

(1.海軍駐上海七一一所軍事代表室，上海 201108；2.上海船舶運輸科學研究所，上海 200135)

0 引 言

隨著智能船舶系統的功能日趨多樣化、復雜化，船舶數據呈現出海量、高維的特點，使得傳統的船舶數據網絡管理平臺已不能滿足現代船舶的應用需求。此外，網絡化、精細化和智能化的管理已成為海上運輸業賴以生存和發展的必備條件，而這種發展趨勢的基礎和關鍵是對船舶數據的合理管理與運用，進而推動船舶數據管理模式的不斷發展創新。本文提出一種適用于智能船舶的分布式數據網絡管理平臺,結合智能船舶系統固有的特點和船舶應用需求的多樣性，為船舶數據獲取、處理和分析建立良好的平臺，大大提高船舶數據的管理效率。

1 智能船舶分布式數據網絡平臺架構

船舶數據信息具有異構性和多源性，包括船位、航速、航向、風向、風速、水深、舵角指令、主機工作狀態、主機報警、貨物的溫度和濕度等。這些數據信息對應于船上的全球定位系統(Global Positioning System,GPS)、陀螺羅經、計程儀、測深儀、主機監控系統和冷藏集裝箱傳感器等設備。這些設備的型號和接口種類繁多，給數據采集帶來很大困難。此外，對于必須獲取的主機狀態參數和報警信息及與貨物有關的信息，不同船舶的信號數量和信號類型差別很大，且存在空間距離大、通信距離遠、信號點多和電纜數量多等問題。由此，為有效解決上述問題，對智能船舶分布式數據網絡平臺進行研究。智能船舶分布式數據網絡平臺集數據采集、融合、分析和遠程傳輸于一體，通過對采集的數據進行分析，實現船舶的智能網絡平臺管理、智能能效管理、智能航行管理和智能機艙管理等綜合性管理。

智能船舶分布式數據網絡平臺采用三層四級結構，從數據的角度可分為數據采集、數據傳輸、數據存儲和數據應用等4部分(見圖1)。

圖1 智能船舶分布式數據網絡平臺整體架構

數據采集主要利用傳感器技術、無線接入技術、嵌入式數據采集模塊和視頻監控設備等對船舶系統進行全方位的數據采集，具體的采集對象和內容包括船舶航行參數(船舶位置信息、航速、航跡、風速、風向、操舵命令和回應、回聲測探等)、機艙監控信息(主機系統、燃油系統、滑油系統、冷卻水系統、排氣系統、空氣系統、舵機系統、錨機系統、鍋爐系統和副機系統等)、船舶當前所處的環境信息(臺風路徑、海況等)及冷藏集裝箱溫度信息、視頻監控信息等。以機艙為例，船舶機艙作為船舶系統設備最集中的部分，對其數據進行采集和處理是一項相對繁重的工作，往往需同時處理上千個來自機艙各傳感器的數字信號、模擬信號和頻率信號等,并對其進行報警和發出相應的控制指令。該平臺通過數據接口,直接從智能機艙管理應用中獲取機艙監測數據，并以標準的格式輸出，存儲到數據庫中。對于智能航行，傳感器將氣象數據轉換成數據采集器所需的數字信號，以便進行測量。數據采集模塊通過總線掛接各種功能板來采集和處理分散配置的各傳感器信號，經過處理的數據用有線的方式傳輸至數據庫。

船端各設備之間的數據傳輸和各服務器之間的數據傳輸主要通過有線和無線局域網的方式實現；船舶近岸時采用無線局域網、無線電和3G/4G接入互聯網等方式通信；遠洋船舶與岸基主要依靠海事衛星通信系統通信，經過船端應用服務器的分析和處理，將數據包通過Web服務器、船舶海事衛星通信設備和海事通信衛星發送到衛星地面站，由衛星地面站中轉，經Internet傳輸到岸端數據網絡平臺。

為提高船舶數據的存儲容量和安全性，該數據網絡平臺建立有分布式數據庫，船舶各系統數據被采集之后經數據傳輸網絡存儲到各存儲節點，進行合理的數據備份和數據預處理。為提高數據的利用效率，對各存儲節點進行原始數據的合理保留及對預處理后的數據進行分層，在基礎應用層存儲基礎應用(如機艙設備故障檢測等)數據模型所需的數據，在高級應用層存儲高級應用(如船舶調度等)數據模型所需的數據。

數據應用主要分為船端應用和公司端應用2部分，其中船端利用感知層采集的信息，經過網絡層傳輸，可開展對船舶航行和貨物監測管理相關的應用。公司端應用可分為二級公司和總公司2部分，其中：各二級公司通過網絡層接收船端傳輸的信息，開展船舶動態監控和調度、貨物監控、應急處置、遠程醫療及船舶油耗管理等操作層面的應用；集團總公司系統除了可實現二級公司的功能之外，還可開展綜合分析和輔助決策等宏觀管理應用。

對于智能船舶分布式數據網絡管理平臺，數據存儲是至關重要的環節，數據存儲的優化程度很大程度上決定著數據管理和應用的效率。

2 船舶數據分布式存儲

分布式數據庫是船舶分布式數據網絡平臺的重要組成部分，其優化程度對船舶數據管理效率有關鍵性影響。常見的應用于船舶上的分布式數據庫是一種關系型數據庫，具有使用方便、易于維護和可用于復雜查詢等特點。隨著船舶數據量的不斷增大，這種關系型數據庫逐漸暴露出很多難以克服的問題。例如，隨著船舶功能應用服務的多樣化和精細化，數據庫運行過程中的并發負載逐漸增大，若數據庫無法承受如此高的并發量，可能會崩潰，導致用戶數據丟失或受損。為滿足智能船舶系統數據安全存儲和管理的需求，數據庫應具有高可用性、高性能、自治與集中相結合的控制結構等特點。

智能船舶分布式數據網絡平臺采用分布式數據庫，其架構見圖2，包括分布式數據存儲節點和數據庫引擎2部分。分布式數據庫引擎是系統的核心，負責SQL解析、重寫和執行等操作，同時對底層的眾多存儲節點進行管理。分布式存儲節點采用關系型數據庫，主要負責數據存儲、處理和同步。在船舶數據管理過程中，可靈活構建不同規模的數據庫集群，通過將業務數據分片到不同的數據庫存儲節點中，極大地降低普通數據庫面對海量數據時的壓力；通過將用戶的SQL請求分發到各節點子工作站上執行，充分利用各節點的計算資源，從而提高船舶系統服務器集群的運行效率。

圖2 分布式數據庫的架構

基于分布式數據庫基礎架構，對分布式數據庫集群下的各數據存儲節點進行應用分層劃分，數據庫的2層應以相同的標準配置，船舶設備數據采集網絡采集到的數據經預處理之后分別保存到實時庫、時序庫和關系庫中。分區的關系庫只保存本區的歷史數據;時序數據庫屬于內存中實時庫的擴展，主要保存具有快速順序變化特點的數據序列，即對某些量，保存其在某段時間內產生的歷史信息。在數據庫的2層中，一層向下服務于船舶基礎應用，如主機速度控制、艙室溫度調節等；另一層服務于主站或岸基用戶的高級應用，如貨物狀態查詢、岸基船舶調度和應急指揮等。這種劃分方式可實現對船舶系統數據更精細化、高效化的分類管理，實現對系統安全的差別化處理和對專業業務、高級應用及業務分析的快速響應。

該設計的優越性是在子站服務器、主服務器和應用服務器等相關服務器配置好各類應用對應的數據模型的前提下，當岸基用戶或船舶工作站有應用請求時，可快速、高效地從分布式數據庫中準確提取數據，避免遍歷數據造成船舶數據網絡擁堵、耗時等。

3 船舶數據的預處理

船舶數據監測采集設備將采集到的數據經前置數據采集網絡和SQL引擎存儲到分布式數據庫的各存儲節點中。受船舶監測設備固有的問題和數據傳輸通道的雜質因素影響，各存儲節點不可避免地存在“臟數據”。船舶“臟數據”主要有缺失數據和冗余數據2種，這2種數據的存在會導致數據集呈現出不完整性和重復性，在浪費數據存儲空間的同時,會使船舶故障診斷等應用產生較大的偏差。

對于船舶數據缺失問題，目前相對簡單有效的一種解決方法是基于聚類分析的最近鄰填補算法，將馬氏距離與灰色分析法相結合計算K個近鄰，從而提高數值填補的準確性，減少記錄屬性的限制，擴大應用范圍。對于船舶數據冗余問題，目前普遍采用的相似重復記錄檢測方法大多基于對數據庫中的記錄進行排序的思想，主要有生成關鍵字對記錄進行排序、N-Gram方法和優先權對列算法等。為滿足后續應用對原始數據的需求，數據預處理過程不對原始數據進行完全覆蓋，而是在經數據預處理得到完整性和有效性較高的數據之后對原始數據進行選擇性覆蓋，應用服務器將根據需求從分布式數據庫中進行針對性的提取。船舶“臟數據”預處理過程見圖3。

對于智能船舶分布式數據網絡平臺而言，合理的數據預處理不僅能提高船舶數據的存儲量，而且能較大地提高數據的利用效率。例如智能能效管理，由于能效管理數據模型影響因子的復雜性，直接對相關原始數據進行提取和管理不僅會耗費數據庫管理資源,而且會大大降低能效管理方案的可靠性。因此，合理的數據預處理也是智能船舶數據網絡平臺必不可少的環節，將其與分布式數據庫相結合,共同助力智能船舶數據網絡管理平臺的高效發展。

4 結 語

本文以船舶應用需求為根本出發點，提出船舶分布式數據網絡管理平臺，根據智能船舶系統的固有特點進行針對性研究。該平臺不僅能彌補傳統數據管理平臺的缺陷，而且具有全面感知、可靠傳遞和智能應用的優勢，應用于遠洋船舶運輸管理中，可建立集航運企業各部門和遠洋船舶于一體的安全監控平臺。此外，船舶分布式數據網絡平臺可大大提高船岸定時交互數據和協作管理業務的效率，增強遠洋船舶物資運輸、航行、機務系統和油耗監測管理等方面的安全性、可靠性和高效性，為船舶智能管理業務和應用提供有力的數據支撐。