張銳
(駐馬店職業技術學院 河南 駐馬店 463000)
基于Hive數據倉庫的物流大數據平臺的研究與設計
張銳
(駐馬店職業技術學院 河南 駐馬店 463000)
針對物流企業數據倉庫擴展性不好、運行自動化程度不高、處理大規模數據效果較差等問題。本文通過對Hive技術的物流數據倉庫進行分析,提出物流數據倉庫的具體實現方案,該數據倉庫結合云平臺虛擬化技術,部署了 Hadoop和Hive環境,搭建了基于虛擬化技術的大數據處理平臺。同時從數據ETL和數據查詢分析處理兩方面對數據倉庫的可擴展性Hive數據存儲分析、Hive數據前置處理等進行研究設計。通過Hive數據倉庫運行效果進行分析,表明該系統能夠很好地支持企業管理層決策。
智慧物流大數據平臺;Hive數據倉庫;ETL;查詢分析
隨著電子商務的不斷壯大,物流業的蓬勃發展,物流數據開始呈現爆炸式增長。目前用于物流行業的仍然是傳統數據倉庫居多,已有的物流信息管理系統的建設也大多采用常規的解決方案,即購置昂貴的的大型服務器,以此為基礎,采用數據庫分片的方式將數據存放到磁盤陣列中,這導致系統的擴展升級較為困難,花費巨大,且整個系統的耦合性較強,難以滿足高效、可靠、經濟的需求。然而,Hive數據倉庫作為新型數據倉庫架構,其利用大數據集群的優勢,能夠采用普通服務器集群滿足物流企業對數據倉庫提出的各項需求。因此,文中提出了基于Hive數據倉庫的物流大數據平臺設計。
1.1 總體框架設計……p>