基于數據倉庫技術的集裝箱行業數據管理平臺設計

張圣揚 程學林 楊小虎

摘要：集裝箱行業目前處于快速發展階段，但依然存在很多問題，導致各組織之間信息溝通不暢，政府部門對行業的監管和服務水平不夠深入。現存的一些物流信息化平臺在行業監管和信息挖掘方面相對不足，數據共享以原始數據為主。本文以寧波市集裝箱行業數據管理平臺的建設為例，介紹了數據倉庫技術在集裝箱行業監管、信息挖掘以及數據共享等方面的應用。

關鍵詞：集裝箱運輸;數據倉庫;ETL

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2019）04-0142-02

1 研究背景

寧波市集裝箱行業雖然整體發展穩健，但依然存在集裝箱車輛規模大、運輸企業眾多、運作流程復雜等問題，導致貨代、港口、物流園區等組織之間信息溝通不暢，集裝箱行業的動態監管與公眾服務不夠深入。

而現存的一些系統，例如運政管理系統、運管處監管系統、物流園區系統等存在以下問題：

（1）行業監管和信息挖掘不足，行業輔助決策支持內容需要豐富。（2）企業數據共享以基礎數據為主，需要加強企業間分析統計數據的共享。（3）各系統以企業內部使用為主，涉及行業數據也比較少，不能面向整個行業進行分析。

因此，建立集裝箱行業數據管理平臺，對實現集裝箱行業的數據整合，提升政府對集裝箱行業的監管和服務水平，推進港口信息化建設都具有重要意義。而數據倉庫技術，因其具有面向主題、集成性、不可更新的，隨時間變化的特性，在對集裝箱行業數據的整合、存儲和查詢的過程中發揮了重要作用。

2 需求分析

集裝箱行業數據管理平臺主要需要實現如下幾方面的要求：

（1）車輛運營監測。統計分析寧波市道路集裝箱運輸車輛每月實際運營情況。（2）企業運行監測。統計分析集裝箱運輸企業相關車輛運行次數，反映企業運營能力。（3）運量需求監測。了解寧波港口集裝箱流量流向情況，反映集裝箱運輸需求變化。（4）運價監測。分析集裝箱行業運價變動趨勢，幫助企業制定合理運價。

3 數據倉庫技術

W.H.Inmon 把數據倉庫定義為“用于管理決策支持的面向主題、穩定、集成、隨時間變化的數據集合”。Christopher Adamson將數據倉庫分成三類，即Inmon的企業信息化工廠、Kimball的維度數據倉庫以及獨立型數據集市。本系統采用維度數據倉庫，它由一系列星型模型組成，并由它們獲取盡可能詳盡的數據。

維度數據倉庫有兩個重要的概念：維度和事實。維度是指業務發生的環境，通常指在什么情況發生，在實現過程中，我們從其他行業信息系統中抽取出維度數據，例如從公安交管信息網中獲取集裝箱車輛的車牌號、注冊日期等數據來形成車輛信息維度。事實是指描述業務的度量，通常指實際發生了什么，可以通過ETL的方式，從其他行業系統中獲取事實數據，例如可以從各集裝箱物流園區系統抽取集裝箱車輛的作業時間等來形成車輛作業事實表。

通過各種維度表和事實表的創建，可以形成多個星型模型，從而實現對集裝箱行業數據的面向主題的集成，方便對于數據的查詢、展示與分析。

4 系統設計以及數據倉庫的應用

集裝箱行業數據管理平臺通過與其他系統對接獲取行業信息，并對原始數據進行取樣建模，對數據進行處理計算，以圖表形式提供集裝箱行業經濟運行分析、行業運行監測、從業人員監測等服務，方便有關部門對集裝箱行業運行狀況的監督，進而科學的發布行業管理決策。

系統總體設計流程由四部分組成，包括數據對接、數據倉庫建模、ETL和數據展示。數據對接用于采集來自口岸辦系統、GPS監管系統、物流園區系統等數據。數據建模包括設計并搭建數據倉庫用于集成所有行業數據。ETL用于對行業原始數據進行處理并裝載至數據倉庫。數據展示是以數據可視化作為關鍵技術、基于數據倉庫構造的互聯網應用系統，實現了對集裝箱行業數據的展示。

本系統的核心是數據倉庫建模的實現。數據倉庫建模主要遵循四個步驟：

（1）選取業務過程。結合對業務需求和原始數據的理解，確定建模的業務處理內容。例如運價監測可以作為一個業務過程。（2）定義粒度。由于原子型數據可為分析提供最大限度的靈活性，所以應優先考慮用業務流程記錄最細粒度的信息開發維度模型。例如為了描述運價變動趨勢，可以定義描述運價的粒度是時間、線路、集裝箱尺寸，其中作為最佳粒度，時間粒度細分到月份，線路粒度細分到線路的起點和終點地區。（3）選定維度。粒度確定后形成基本維度。例如時間、集裝箱尺寸和線路粒度確定后即可形成月份維度、集裝箱類型維度和線路維度。（4）確定事實。確定要分析的度量。例如根據選中的運價監測業務過程可以收集到的事實為運價和平均運價，因為平均運價是非可加事實，不存儲，所以只存儲具有可加性的運價事實。這樣通過關聯集裝箱類型維度和運價事實，即可分析不同尺寸集裝箱的運價變動趨勢。

在實際的操作過程中，基于以上四個數據倉庫建模步驟，還會出現各種不同的數據倉庫類型，例如有事實的和無事實的事實表、聚集表等。

5 數據倉庫的應用效果

集裝箱行業數據管理平臺基于以數據倉庫為技術基礎而集成和存儲的各類集裝箱行業數據，可以方便實現對各類行業統計數據的查詢，從而實現對集裝箱行業的經濟運行分析、行業運行監測以及從業人員監測等。例如根據我們建立的車輛維度表、日期維度表和車輛作業事實表形成的星型模型可以查詢任意一段時間集裝箱車輛的出車率情況，如圖1展示了連續12月的集裝箱車輛出車率的變動情況，可以發現過年期間出車率降到了最低。

6 結語

基于數據倉庫技術的集裝箱行業數據管理平臺實現了對集裝箱行業數據的有機整合，實現了數據的共享特別是統計分析數據的共享，并且最大化了各類行業數據的價值，從而實現了對集裝箱運輸企業、車輛和人員的監管和監測，提高了行業監管部門的服務水平，并可以促進集裝箱運輸行業的進一步規范和發展。

參考文獻

[1] Inmon W H. Building the data warehouse[M].John wiley & sons，2005.

[2] ChristopherAdamson，亞當森，王紅濱，等.Star Schema完全參考手冊：數據倉庫維度設計權威指南[M].清華大學出版社，2012.

[3] Kimball R，金博爾， Ross M， et al.數據倉庫工具箱：維度建模的完全指南[M].電子工業出版社，2003.