大數據下基于Hadoop的智能物流平臺架構

聶萌瑤，張 峙

（1.安陽工學院 計算機科學與信息工程學院，河南 安陽 455000；2.新鄉縣一中，河南 新鄉 453731）

智能物流的發展過程概括起來經歷了雛形階段、發展階段、成熟階段3個階段，分別對應著粗放型物流、系統化物流、電子化物流，除此之外，智慧物流是智能物流的發展方向[1-2]。那么，大數據背景下的智能物流信息技術主要包括捕捉技術、傳輸技術、處理技術、分析技術、預測技術、推送技術。其中，傳輸技術完成信息傳輸的功能，通過Internet，WSN，MSCBSC來支撐其傳輸；處理技術中最核心的就是實時性，可以結合Hadoop技術進行分布式處理，來提高平臺的效率；分析技術這主要是利用大數據技術對物流市場的海量數據進行聚類分析，進而做出合理的決策；預測技術主要對路徑、運輸和配送路線進行預測，最主要的依據是預測客戶的需求，根據客戶的需求，將商品物流環節和客戶的需求同步進行。

大數據處理技術涵蓋了5個方面：數據采集與預處理；存儲與管理；計算模式與處理系統；數據分析與挖掘；可視化分析。在數據采集與預處理上，除了從微觀、中觀、宏觀的角度捕捉信息外，還用到傳感技術、無線射頻技術等數據捕捉技術，完成數據的收集；在數據計算模式與處理系統上，結合分布式Hadoop技術完成數據的計算和處理；在數據可視化分析上，主要應用大數據智能決策。依托大數據技術進行智能物流決策，很大程度依賴于對未來業務的準確性預測，未來業務的預測準確性高，智能決策就容易實現。智能大數據決策系統為物流企業、運輸部門和政府部門等制定戰略規劃和經營決策提供參考。

1 大數據下基于Hadoop的智能物流平臺的關鍵技術

1.1 Hadoop平臺

Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺，主要用于海量數據（大于1 TB）高效存儲、管理和分析。Hadoop是以Hadoop的分布式文件系統和MapReduce為核心，以及一些支持Hadoop的其他子項目的通用工具組成的分布式計算系統[3]。

1.1.1 HDFS

Hadoop分布式文件系統（Hadoop Distributed File System，HDFS）中的數據具有“一次寫、多次讀”的特征，它以流式數據訪問模式來存儲超大文件，具有較高的吞吐量，部署在低價的硬件上，提供底層支持[3]。HDFS的體系結構如圖1所示，整個文件系統信息節點—Namenode用于數據管理；數據節點（Datanode），用于存儲文件塊，進行數據讀寫操作，其中，文件被劃分成多個64 MB的大塊作為獨立儲存單位。

圖1 HDFS體系結構

1.1.2 MapReduce

MapReduce是一種思想，它是把大而重的任務拆解，分成一系列小而輕的任務并行處理，就比如學校組織秋游活動，校長要向老師們收取秋游的活動費用，告訴各學院院長讓他們執行此任務，院長告訴教研室主任讓他們把費用收上來，最后再把收上來的費用交給院長，這個過程中院長把任務分配給教研室主任的過程稱為Map過程，教研室主任把錢收齊交給院長的過程就是Reduce過程。該框架包含了Client，JobTrack，TaskTrack和HDFS 4部分。這種分塊的思想適合物流數據錯綜復雜的特性，Map函數把數據映射成為宏觀、中觀、微觀3個不同的區塊，再通過Reduce函數將分塊分析的數據匯聚，將結果輸出，具體來看HDFS的4部分，Client負責配置任務，提交任務，就像例子中的校長；JobTrack負責初始化任務，分配任務，就像院長，并且與TaskTrack進行通信，協調整個任務的執行，它就像是教研室主任；TaskTrack在分配的數據片段上執行Map（映射）和Reduce（化簡）任務；HDFS負責保存作業的數據、配置信息以及計算結果[3]。其運行流程如圖2所示。

圖2 MapReduce數據流程

1.2 大數據處理平臺

大數據處理平臺包括IaaS層、PaaS層和服務接口層，IaaS層服務由虛擬機結點構成；PaaS層由海量數據處理和數據處理工作流構成；服務接口層對外提供海量數據處理。

圖3 大數據處理平臺

2 大數據下基于Hadoop的智能物流平臺的實現

在大數據環境下，智能物流服務強調的是移動服務。要想提供流動服務，其中最重要的是操作框架，它從微觀層面、中觀層面和宏觀層面提出了智能物流的操作框架。首先是微觀層面，包括對貨物的運輸、貨物的存儲、貨物的分配、貨物的包裝等相關數據進行分類。其次中觀層面，即貨物的供應鏈、貨物的采購和生產產生的物流數據的分類。最后宏觀層面，對于商品的分類，將不同的商品分類成不同類型的數據分析。根據這3個層面對數據的分類設計了基于Hadoop的智能物流信息平臺的業務系統、功能系統和結構[4]。

2.1 功能模塊的設計

大數據下基于Hadoop的智能物流平臺的設計模塊分成3部分：推送單元，Hadoop大數據處理和分析單元，用戶系統單元，如圖4所示。

各功能模塊的作用和功能如下。

（1）推送單元：該單元屬于此模型的感知層，主要功能是完成對宏觀、中觀和微觀3個層面的數據的感知、采集和回傳，包括智能運輸，自動倉儲、動態配送和信息、物流供應鏈、供需平衡等不同信息感知系統。其中，網絡通信平臺屬于模型中的通信層，主要完成推送單元和Hadoop大數據存儲、分析、處理和計算單元的數據通信。

圖4 智能物流的架構

（2）Hadoop大數據存儲、分析、處理和計算單元：該單元屬于模型的計算層，能夠對海量數據進行規范存儲和高效處理。用HBase進行分布式存儲，IasS層服務搭建MS結構模型，完成任務的分配和執行，PasS層服務完成海量數據處理的任務。另外，依靠數據挖掘對數據做出合理決策，這才是此單元的主要目的。

（3）用戶應用系統單元：該單元主要功能是實現智能化物流服務的應用，包含了在客戶端上用戶對物流數據的查詢和瀏覽，并能夠實現對貨物動向的實時監控；比如，對路徑、運輸和配送路線來說，根據客戶的需求，將商品物流環節和客戶的需求同步進行。因此，該單元作為用戶來說具有非常重要的作用。

2.2 平臺的設計流程

實驗準備軟件：VMWare10虛擬機，CentOS，Hadoop。

具體流程如下。（1）通過物理機虛擬化4臺虛擬機：1個Master，3個Slave節點，為它們分配IP地址及角色。（2）配置平臺中用到的網絡。（3）創建平臺中新用戶組和用戶。（4）配置平臺需要的Java和Hadoop環境。（5）進行平臺的架構。（6）對平臺進行模擬的測試。

3 結語

隨著大數據時代的到來，傳統物流走向了一個更加高端的智能物流及智慧物流的發展階段。大數據下基于Hadoop的智能物流平臺的架構通過軟件將人員和設備連接起來，利用Hadoop技術和數據挖掘的思想，將物流系統的智能水平提高，用這種方式提供更方便的物流服務時，它將幫助用戶加快響應速度，進而減少物流成本，同時幫助公司在供應鏈中擴大業務，有了這些優點這種平臺就能夠在物流行業中很好地實現推廣。應當看到，我國物流業未來的發展方向是采用智慧物流模式，并且智慧物流將會變得越來越智慧。