自動化集裝箱碼頭數據湖系統設計與實現

孔席超 張 騰 張 煜 楊彩云

1天津港第二集裝箱碼頭有限公司 天津 120000 2武漢理工大學交通與物流工程學院 武漢 430063 3武漢理工大學韶關研究院 韶關 512000

0 引言

近年來，集裝箱碼頭吞吐量逐年增加，大規模、高強度的進出口量對碼頭整體運營能力提出了新的要求。隨著新興技術在碼頭自動化建設中的不斷應用，碼頭數據來源及結構的復雜程度也逐漸提高。

隨著大數據、云計算等數據智能處理技術的發展，越來越多的集裝箱碼頭開始應用數據挖掘、大數據分析等技術，通過對自身數據資產進行整理，對碼頭作業進行生產指導，有效提升了碼頭運營能力。因此，如何合理利用自動化集裝箱碼頭數據資產，通過數據智能化技術，提升自動化集裝箱碼頭數據可視化程度，成為了新的研究方向。

數據湖是數據存儲技術的一個重要方向，多層管控信息通過數據湖在分布式節點單元之間快速流動，實現港口物流智能工作的可知可控可共享。在自動化集裝箱碼頭生產作業過程中，為有效保障碼頭自動化作業數據通訊，實現數據的有效傳輸整合，需對數據湖系統進行合理設計，進而為碼頭整體運營提供相關分析和決策。

在以往的文獻中包含了大量的關于生產數據湖構建方法的研究。黃家凱[1]結合地質行業海量數據的特點，提出按照數據摸底、技術選型、數據接入、應用治理來構建地質數據湖的主要步驟，為地質大數據平臺的下一步建設方向開闊了技術思路；針對數據共享帶來的隱私問題，謝裕清等[2]提出一種數據共享與訪問模型，對區塊鏈中的智能合約模塊進行優化，實現了數據訪問控制與安全共享問題；譚景信等[3]定義了適應分散、碎片化數據收集場景的數據虛擬化模型及模型驅動下的數據庫間協作流程，緩解了集中式數據湖構建方法所存在的數據更新時效性差等問題；針對企業數字化轉型要求及大數據平臺面臨的挑戰，劉志勇等[4]提出了采用邏輯統一、物理分散、應用解耦融合的統一數據湖建設方案；陸生強[5]提出了時空數據湖的設計理念，給出了物理上分布式存儲、邏輯上集中式管理的混搭式存儲結構，結果表明，時空數據湖能夠在智慧城市精細化管理中取得良好的效果；針對海量數據存儲及高效利用問題，陳永南[6]提出了采用數據湖處理大數據的設計思路，為行業大數據的高效共享利用提供建議和啟發。

上述文獻對數據湖的研究主要集中在大數據存儲、利用和數據虛擬化模型方面，缺少對自動化集裝箱碼頭數據湖設計及管理方法的研究。因此，本文在分析自動化碼頭作業流程的基礎上，提出一種數據湖設計及管理方法，該方法結合數據挖掘等技術，憑借碼頭數據資產對碼頭作業進行生產指導，同時，通過數據湖管理各模塊間的高效銜接，實現碼頭運營數據資產管理。

1 自動化集裝箱碼頭數據傳輸

自動化集裝箱碼頭主要作業分為裝船作業與卸船作業。在裝船作業中，船舶到港靠泊后，智能運輸機器人（Artificial Intelligence Robot of Transportation，以下簡稱ART）前往堆場取箱，集裝箱門式起重機（以下簡稱場橋）將出口集裝箱放置于ART上后，ART載箱前往岸邊集裝箱起重機（以下簡稱岸橋）作業區進行裝船作業；在卸船作業中，岸橋將進口集裝箱放置于ART上，ART載箱前往堆場指定貝位，場橋從ART卸箱并放置在堆場指定箱位。在該作業流程中，各數據模塊之間不斷進行數據的收集與交換。

1.1 數據模塊構成

自動化集裝箱碼頭數據模塊主要由集裝箱智能閘口數據、核心生產管理數據、生產作業數據及輔助作業數據等構成。其中，輔助作業數據包含電子商務、單證信息及集港預約數據；集裝箱智能閘口數據具體包括人員預約、集港登記、車輛識別、箱號識別、箱型驗殘等，車輛按預約信息中預定時間進入智能閘口，進港及出港閘口進行車牌號、箱號信息自動采集后記錄在場箱信息數據，并利用視頻監控系統記錄出入通道監控數據。同時對集裝箱箱型進行檢驗，記錄集裝箱殘損數據；生產作業數據由智能扭鎖站、設備監控、水平運輸管理、智能交通等系統數據組成，各系統之間通過無線網絡進行數據通訊和信息傳輸，實現集裝箱卡車精準定位導航、智能駕駛運輸任務；核心生產管理數據由交班、外圍、泊位、全自動碼頭操作管理、智能理貨等系統數據組成，負責創建航線、船舶信息、船期信息及指泊計劃。

1.2 數據傳遞過程

基于數據模塊組成自動化集裝箱碼頭數據傳遞過程如圖1所示，輔助作業模塊將車輛預約信息數據發送至集裝箱智能閘口系統，并將車輛、集裝箱、貨物、人員等信息發送給核心生產管理模塊；集裝箱智能閘口系統根據輔助作業模塊發來的車輛預約信息，對人員、車牌號以及箱號等信息進行驗證，并將車輛數據、集裝箱數據發送至核心生產管理模塊；核心生產管理模塊向生產作業模塊發布生產作業任務狀態數據、設備執行指令，并接受反饋信息；生產作業模塊接收作業信息、驅動設備執行指令，同時監控設備運行狀態并向管理系統反饋作業信息及設備狀態數據。

圖1 數據傳遞過程

2 數據湖構建方法

基于自動化集裝箱碼頭作業流程，提出一種基于云架構的自動化集裝箱碼頭數據湖構建方法（見圖2），不同于碼頭傳統數據管理模式，該方法通過碼頭數據管理、可視化分析、數據挖掘等技術手段實現碼頭數據資產管理，提高碼頭運營能力。該數據湖構建方法由自動化集裝箱碼頭數據通信及自動化集裝箱碼頭數據湖構成。

圖2 數據湖整體框架圖

2.1 數據通信

自動化集裝箱碼頭數據通信采用多通訊協議混合通信的策略，分別對生產作業、運輸裝卸設備、樓宇資源以及視頻監控等數據進行數據通訊。其中，多通訊協議協同通信策略主要步驟為：數據信息采集、判斷數據來源與數據類型、根據數據通信表選擇對應的通訊協議與數據庫。在該策略中，自動化集裝箱碼頭水平運輸系統數據經Kafka傳輸至ES數據庫中存儲；碼頭生產作業系統數據與輔助生產系統數據經API通訊在Oracle或MySQL數據庫中存儲；碼頭機械設備數據經Kafka傳輸在HBase數據庫中存儲；碼頭樓宇數據經Kafka通訊在Oracle或MySQL數據庫中存儲；碼頭視頻圖像數據經Rtsp傳輸至文件系統中存儲。在調試和運營過程中，可根據實際情況對通信協議進行調整，提升數據通信效率。

2.2 數據湖

自動化集裝箱碼頭數據湖以物聯網與云端服務器數據通訊為基礎，通過數據湖管理方法分析整合數據，實現數據資產有效管理，提升碼頭智能化運維。主要由自動化集裝箱碼頭各類型數據云端數據庫模塊、碼頭作業調度管理模塊及資源調度管理模塊等構成（見圖3）。

圖3 數據湖構成

1）云端數據庫模塊 將自動化集裝箱碼頭運營數據如岸橋、無人集卡、船舶停靠等數據信息，經過云端服務器通信，匯入數據湖。

2）碼頭作業調度模塊 自動化碼頭數據湖以碼頭數據為基礎，通過分析各類數據信息，實現大數據分析下的各類作業調度（水平運輸任務、裝卸任務等），提升自動化集裝箱碼頭整體運營能力。

3）資源調度管理模塊 自動化集裝箱碼頭資源不局限于生產作業所需資源，還包括水電能耗、樓宇管控、設備維修等。

3 數據湖管理方法

自動化碼頭數據湖管理包括數據入湖、數據連接、采集任務和任務監控4個子模塊（見圖4）。

圖4 數據湖管理

1）數據入湖 數據入湖分為入湖模板、入湖引擎、文件格式以及數據湖存儲4部分。其中，入戶模板用于定于常見的數據入湖方式，目前主要包括全量數據庫、增量數據庫文件格式轉換等，用戶根據不同的數據源選擇相應的入湖模板，然后填寫相關參數信息，即可完成入湖模板創建。

2）數據連接 元數據管理支持對數據連接的創建、編輯、連通性測試以及刪除，通過配置數據源信息建立數據連接，數據連接可被采集任務使用。

3）采集任務 通過新建采集任務可以配置元數據采集策略，不同類型數據源的采集策略不盡相同，可以是整個數據庫，也可以是單庫或者單表。

4）任務監控 監控元數據采集任務運行情況，支持查看采集日志、重跑采集任務。

通過上述各模塊高效銜接，實現碼頭運營數據資產管理，從而對碼頭運營進行數據層面監控。

4 結論

自動化集裝箱碼頭數據湖系統設計與實現方法集數據通信、數據湖構建方法、數據湖管理方法于一體，其優點主要體現在：

1）數據通信采用多通訊協議混合通信的策略，具有大規模、高時效的數據通信能力，能有效保障各數據與云端服務器的快速通信。

2）數據湖采用云端數據庫，能實時傳輸前端設備采集的數據信息，保障設備數據通信時效性。

3）數據湖管理方法對自動化集裝箱碼頭元數據進行管理，保證數據湖中的數據質量，為后續數據存儲與分析提供便利。