基于Hive數據倉庫的物流大數據平臺的研究與設計

張銳

（駐馬店職業技術學院 河南 駐馬店 463000）

基于Hive數據倉庫的物流大數據平臺的研究與設計

張銳

（駐馬店職業技術學院 河南 駐馬店 463000）

針對物流企業數據倉庫擴展性不好、運行自動化程度不高、處理大規模數據效果較差等問題。本文通過對Hive技術的物流數據倉庫進行分析，提出物流數據倉庫的具體實現方案，該數據倉庫結合云平臺虛擬化技術，部署了 Hadoop和Hive環境，搭建了基于虛擬化技術的大數據處理平臺。同時從數據ETL和數據查詢分析處理兩方面對數據倉庫的可擴展性Hive數據存儲分析、Hive數據前置處理等進行研究設計。通過Hive數據倉庫運行效果進行分析，表明該系統能夠很好地支持企業管理層決策。

智慧物流大數據平臺；Hive數據倉庫；ETL；查詢分析

隨著電子商務的不斷壯大，物流業的蓬勃發展，物流數據開始呈現爆炸式增長。目前用于物流行業的仍然是傳統數據倉庫居多，已有的物流信息管理系統的建設也大多采用常規的解決方案，即購置昂貴的的大型服務器，以此為基礎，采用數據庫分片的方式將數據存放到磁盤陣列中，這導致系統的擴展升級較為困難，花費巨大，且整個系統的耦合性較強，難以滿足高效、可靠、經濟的需求。然而，Hive數據倉庫作為新型數據倉庫架構，其利用大數據集群的優勢，能夠采用普通服務器集群滿足物流企業對數據倉庫提出的各項需求。因此，文中提出了基于Hive數據倉庫的物流大數據平臺設計。

1 基于Hive的物流數據倉庫系統設計

1.1 總體框架設計