港口物流大數據管理方法

王妍妍，劉佳新

（1.燕山大學 經濟管理學院，河北 秦皇島 066004；2.燕山大學 信息科學與工程學院，河北 秦皇島 066004）

0 引言

港口作為綜合物流服務中心，數據呈現爆炸式的增長趨勢，大數據的管理和應用越來越受到重視。大數據作為不可或缺的重要資產，在市場拓展、個性化服務和降低成本等方面給港口帶來了經濟利益。通過大數據技術優化港口業務的過程和方法，提供全方位、多層次的港口物流體系，充分發掘數據潛在的價值，對港口的發展具有重要意義。

近年來，大數據技術在物流領域的研究十分廣泛。王柏誼，等[1]研究物流信息大數據平臺的構建，在大數據的運用能力、創新經營模式、安全防護和人才引進等方面給出對策。付平德[2]基于大數據技術構建了智慧物流系統，分析了智慧物流的關鍵技術。白歷如，等[3]為了優化物流企業的供應鏈管理，應用大數據完善了數據管理、健全了人才培養機制、培育了企業核心競爭力。萬艷春，等[4]分析發現，我國在物流大數據應用研究的深度上還低于國外，大數據技術的應用將趨于具體化和現實化。李佳慧[5]提出航運大數據提升了企業的服務效率，還應向精細化和清晰化的方向發展。曾小嬌，等[6]提出大數據促進了各港口以及物流企業之間的合作，但在智能化運營、協同化服務等方面有待完善。曾露玲，等[7]認為港口的信息壁壘限制了數據的共享和流動，大數據的應用還沒有形成新的利潤來源。由此可見，港口物流大數據的整合和應用初具規模，但尚未形成綜合、完整的數據中心，大數據資源創造的經濟價值也十分有限。

港口作為物流過程的重要節點，依托大數據技術來提高數據的管理水平和能力勢在必行。本文分析港口物流大數據的特點和組成，建立大數據管理模型以分析業務數據和數據價值，充分利用大數據進行深度分析，達到降低企業運營成本、提高運營效率的目的。

1 港口物流大數據的組成和特點

港口物流大數據既包括企業內部的運營數據、管理數據和財務數據等，也包括企業外部的各種數據，可分為日志數據、業務主題數據和業務往來數據。日志數據是系統操作過程中產生的各種日志文件。業務主題數據是業務生產過程中的各種信息資源，其類型十分豐富，包括文本數據、圖片數據、音頻數據、視頻數據和位置數據等。業務往來數據多為一些共享數據。這些數據中港口內部數據的質量最高、最重要，是大數據管理的主要數據來源和重點。隨著信息化進程的推進和業務的發展，港口各類信息系統數量繁多，數據量越來越大，對實時性的要求也越來越強。港口物流大數據涉及企業生產經營的重要信息，這些數據的涉密等級較高。所以，港口物流大數據表現出數據量大、實時性強和涉密等級高的主要特點。

2 基于Hadoop的港口物流大數據管理

大數據管理涉及數據異構、處理速度快等問題，考慮港口大數據的特點，結合Hadoop在架構和技術類別上的優勢，建立了港口大數據管理模型，提供集數據建設、數據分析和數據服務為一體的綜合大數據管理系統。基于Hadoop的港口物流大數據管理模型分為數據采集層、數據預處理及存儲層、數據分析層和數據應用層，分別完成數據的采集、存儲、分析和應用，主要完成港口業務數據分析和數據價值分析功能，為港口提供有效的決策支持功能。該模型如圖1所示。

2.1 港口業務數據分析

業務數據分析是整合港口的用戶行為、經營數據等多種數據源，對數據進行多維度的、智能化的分析。業務數據分析是港口大數據管理的核心功能，是發現數據中隱含有用信息的過程。業務數據分析主要包括基礎數據分析、深度數據分析和實時數據分析三個方面：

（1）基礎數據分析采用統計分析方法對收集到的數據進行匯總、理解和消化。針對港口的各種類型數據，進行求平均數、最值、變化率等基礎運算，實現對數據的初步認識和了解。

圖1 基于Hadoop的港口大數據管理模型

（2）深度數據分析分為橫向分析和縱向分析，橫向分析是港口業務數據屬性之間表現出來的關聯性。縱向分析是不同業務類型或業務環節之間的相互影響關系。深度數據分析從以下幾方面進行：

第一、生產業務數據分析。港口逐漸形成了以生產業務系統為核心的信息化布局，港口的集裝箱業務、散雜貨業務、物流業務、服務業務等會產生大量的數據，這些數據對港口的業務開展有重大的影響。通過利用數據挖掘技術發掘不同業務之間的關聯關系，可有效發現業務中的浪費，為企業業務的調配和開展提供理論依據。

第二、客戶數據分析。客戶分析是挖掘客戶當前和潛在的價值，了解客戶的需求偏好和關注點，進而幫助港口制定客戶管理策略。通過分析港口客戶的業務往來數據，梳理客戶基本信息、客戶關注信息和客戶業務類型信息，適時調整港口服務內容。

第三、共享數據分析。以港口為中心節點的物流鏈體系，各個企業之間的業務來往會產生大量的共享數據。清洗并統計分析這些數據，向合作企業和社會提供共享數據服務，可以有效打通物流鏈各個環節，更好地服務社會。

第四、設備資源數據分析。設備數據是設備工作和管理的基本數據，以結構化的數據居多，主要包括設備的工作日志數據、故障數據和維修數據等。其中，設備的工作日志數據多為實時數據，反映了設備的工作狀況，設備的故障數據和維修數據反映了設備的使用情況。分析設備資源數據，為港口設備的保養、維護和更新提供有效支持，從而保證港口高效安全運轉。

第五、管理數據分析。港口管理涉及戰略管理、組織管理、計劃管理、流程管理和財務管理等，分析管理數據為企業合作和業務開展提供保障服務。深挖港口管理數據，可根據不同的客戶需要提供相應不同的服務內容，幫助客戶獲得最大價值。

（3）實時數據分析：針對具有較強時效性的數據，進行實時分析處理以獲取有效信息。Storm 是實時的、分布式的在線實時流處理模型，被稱為“實時的Hadoop”。基于Storm的實時數據分析分為數據采集與預處理、數據計算和結果展示三個階段，港口物流大數據的實時分析過程如圖2所示。其中，NoSQL數據庫用于存儲實時數據處理的結果，以支持結果的更新、查詢操作，并作為結果的展示基礎。

圖2 港口數據實時分析流程圖

2.2 港口數據價值分析

數據的價值分析是盤點和繪制出所有數據形成的資產。從港口數據源來看，內部數據是各部門生產和管理系統產生的數據，這些數據可信度高，是數據價值分析的關鍵所在。同時，數據的價值受到數據類型、數據質量、數據體量等多方面的影響。港口企業的數據價值體現在數據的可信度和數據的定價上。

（1）數據的可信度。數據的可信度與數據的質量息息相關，高質量的數據是保證數據可靠性的基礎。數據的質量受到數據產生的業務流程、數據的控制制度和數據的管理制度等多方面共同影響。對港口企業來說，完備的業務流程要有完整的業務文檔和記錄。完善的管理制度要從硬件管理制度、軟件管理制度和安全管理制度等多方面約束。有效的控制制度要以港口的各類管理系統中代碼的控制機制和安全保密措施為基礎，這些因素將共同保證數據的質量。

（2）數據的定價。數據定價是從資產的角度評估數據的價值，讓數據成為可以交易商品流動起來。數據資產定價時需要在資產法律的限制下，考慮資產的實物特征，例如類型、質量、數量、實時性、可靠性、可獲得性和時間跨度等。同時考慮將資產轉換的成本，即交易該數據資產能否產生足夠的收益，能否滿足市場參與者對投資回報目標的要求。

2.3 港口物流大數據應用

大數據管理推動企業實現數據化運營，將企業的運營管理方式從“業務驅動”逐步轉換為“數據驅動”。數據作為無形資產在企業的運營流程和決策中發揮著舉足輕重的作用，大數據管理是港口實現從粗放式經營到精細化經營管理的有效途徑。大數據管理的核心是為資產形態的數據，建立應用管理的標準和流程，加強數據管理的相關技術、體制和手段的建設。港口企業大數據管理將在原有技術手段和制度體系上，建立符合無形資產特性的管理技術和體制，保證大數據的合理配置和有效利用，充分發揮大數據的應用價值。

3 建設數據管理保障體系

為了保障全面大數據管理的高效開展，需要調整港口管理機構的設置和職能，大數據管理機構可按照數據管理架構的層次進行設置。由數據庫管理員或者專門的數據采集員負責數據采集及相關工作，再配備數據安全管理員、數據質量管理員和數據運行維護管理員保證數據的存儲。在數據管理中心的統一調度安排下，數據分析管理員完成數據的分析，并形成可視化分析報告。數據管理機構的隊伍設立如圖3所示。

圖3 數據管理隊伍結構圖

4 結語

大數據管理和應用對港口的決策制定、業務發展和客戶關系管理具有重要的影響。基于Hadoop建立港口物流大數據管理模型，為港口實施全面大數據管理提供了解決方案。有效的大數據管理能為港口決策提供更準確、更及時的信息，但在實際應用時也受到一些限制。數據的隱私和權屬問題是制約大數據管理和應用的首要因素。同時，大數據管理涉及到很多技術和安全問題，港口的技術保障力量也有待增強。只有轉變港口管理觀念，大數據管理才有可操作性，然而，由于大數據無形資產的特殊性，大數據應用的效果考量尚無有效方法。