基于云挖掘的物流信息智能分析應用平臺研究

曾奕棠，張玉峰

（武漢大學信息管理學院，湖北武漢430072）

?

基于云挖掘的物流信息智能分析應用平臺研究

曾奕棠，張玉峰

（武漢大學信息管理學院，湖北武漢430072）

摘要：物流信息日益大數據化，急需實現物流信息分析的智能化。云挖掘是由云計算技術支撐的并行數據挖掘，是實現物流信息智能分析的有效方法。基于云挖掘的物流信息智能分析應用平臺具有超強的海量數據處理能力，有很強的可擴展性；用戶無需自己開發應用軟件，允許用戶任意提交服務請求，能夠有效處理和利用分布在各節點之間的數據和計算設備，可為不具備數據挖掘相關知識的用戶提供“一站式服務”，使用戶低成本地利用該平臺。

關鍵詞：物流信息；云挖掘；物流信息智能分析；云計算

一、引言

物聯網、云計算等技術的廣泛應用，使得大量的結構化、非結構化和半結構化數據聚集，大數據已成為重要的數據資產，在一個國家、行業、企業中的價值日益凸顯。物流涉及多個業務流程，如采購、出庫、入庫、運輸、保管、配送等，每一個業務流程都會產生大量數據。隨著物流信息化的建設和“云物流”的推進，物流數據不僅包括結構化數據，也包括非結構化和半結構化數據；既包括靜態數據，也包括動態數據。數據在規模上呈現加速度擴大的趨勢，物流信息越來越呈現出大數據化。

物流信息的價值為越來越多的企業所認同，對物流信息進行分析從而得出有價值的認知和思想，成為企業、政府管理部門、行業等主體的追求。不過，傳統的物流信息分析存在以下不足：

第一，數據獲取手段落后。多以手工或半自動方式為主，需要耗費大量的人力、物力和財力，且效果一般，特別是面對越來越多激增的數據，更難以滿足物流信息利益相關者的實時、準確需求；

第二，數據分析過程漫長。雖然也建立了各種分析模型，也能獲得相應的分析結果，但過程長、耗時久，物流信息分析的效率低下，難以達到物流信息利益相關者的期望值，不能充分挖掘物流信息的價值；

第三，數據分析結果出錯幾率大。由于更多地是由專家根據經驗對模型結果進行分析與判斷，主觀因素的影響明顯，數據分析結果出錯的幾率較大，甚至有可能提供給利益相關者的信息和知識與其原始需求南轅北轍。

目前，用戶對物流信息分析的智能化需求不斷提升，希望通過物流信息智能分析來適時、高效地滿足自己的信息需求，以提高決策的科學性。

二、云挖掘技術

（一）云挖掘的概念

經過20余年的發展，數據挖掘技術經歷了五個發展階段：第一代是數據的獨立應用；第二代是數據庫以及數據倉庫集成出現；第三代是預測模型系統集成大量應用；第四代是分布式數據挖掘技術的產生和應用；第五代是基于云計算的并行數據挖掘與服務的發展。[ 1 ]傳統的數據挖掘技術已很難適應海量數據的增長，對于實時數據或數據流的挖掘無能為力，難以滿足個性化多樣化的數據挖掘需求?；诤Ａ康拇鎯δ芰蛷姶蟮挠嬎闩c數據處理能力，云計算已成為解決海量數據挖掘的有效方式。[ 2 ]第五代數據挖掘技術的出現，為大數據的深度開發與利用提供了前提和基礎。

所謂云挖掘，是指由云計算技術支撐的并行數據挖掘，即基于云計算平臺的并行動態數據挖掘，以實現海量數據的高性能、高可靠性的存儲、分析、處理及挖掘。云挖掘的成功離不開以下關鍵技術：數據存儲方式、基于云平臺的數據預處理方式、適于云平臺的海量數據挖掘并行算法。[ 3 ]

（二）云挖掘的實現原理

云挖掘能充分發揮集群優勢，可實現計算資源自主分配和調度。一方面利用集群上的其他節點來承擔相應的存儲任務和計算任務；另一方面利用云計算的海量存儲能力和并行計算能力，來處理核心的數據挖掘工作，讓算法通用、可調、可查和可視，同時提供友好、方便的用戶界面和開放接口，讓用戶在客戶端完成隱私數據的加密保護，滿足用戶的多樣化和個性化需求。[ 4 ]

云挖掘的實現原理如下：

1.用戶利用計算機、平板電腦、手機等終端，登錄云挖掘系統，提出自己的挖掘需求，并可結合自身的具體情況，設置相應的算法參數，同時輸入基本數據；

2.云挖掘系統收到用戶的挖掘需求后，立即響應需求，對工作節點的空閑狀態進行分析，將挖掘任務交由空閑的工作節點去完成；

3.云挖掘系統基于用戶之前提交的需求與算法參數，對用戶輸入的數據和從分布式存儲系統中調用的數據推導計算缺值數據，完成數據類型轉換、濾除噪聲、消除重復記錄等預處理工作；

4.云挖掘系統的工作節點自動選擇相應的數據挖掘算法，對經過預處理后的數據進行并行數據挖掘，經過模式評估與解釋后，獲得對用戶有用的信息與知識；

5.云挖掘系統將各工作節點的挖掘結果進行合并，選擇合適的可視化工具，將挖掘結果傳遞給用戶。

三、基于云挖掘的物流信息智能分析應用平臺的架構設計

（一）邏輯架構

基于云挖掘的物流信息智能分析應用平臺從邏輯上可以分為6個層次：用戶交互層、平臺應用層、平臺管理層、物流信息分析層、虛擬化資源層、基礎設施層，如圖1所示。

圖1　基于云挖掘的物流信息智能分析應用平臺的邏輯架構

該平臺的“智能分析”主要包括利用虛擬化技術實現虛擬化資源層的建設和物流信息分析層利用云挖掘技術實現虛擬化資源層數據的算法分析這兩部分，前者類似于商務智能中的數據倉庫，后者類似于商務智能中的數據挖掘，進而形成三種主要的物流信息智能分析方法：基于云分類挖掘的物流信息智能分析方法、基于云聚類挖掘的物流信息智能分析方法、基于云關聯挖掘的物流信息智能分析方法。

1.用戶交互層

該層為用戶與平臺交互的通道，實現用戶與物流信息智能分析平臺之間的數據交互，用戶只要有授權，就可以通過相應的接口來登錄平臺，既可以向平臺提出物流信息分析請求，也可以獲得平臺提供的物流信息分析可視化結果。通過用戶交互層，實現了平臺與用戶之間的按需服務。

2.平臺應用層

該層是根據物流信息利益相關者所提出的需求，對用戶提供滿足其需求的應用，如滿足物流企業在路線規劃、合作伙伴選擇、運輸成本優化、運營決策、貨物流向分析等方面的業務需求。

3.平臺管理層

該層對物流信息智能分析平臺提供管理及服務，既包括對用戶的管理，如用戶定制服務、身份驗證、許可管理等，也包括對資源的管理，如資源監控、負載均衡、內容管理、集群管理、故障檢測處理等，還包括對平臺的安全管理，如基礎設施安全管理、系統安全管理、網絡安全管理、應用安全管理、平臺安全管理、用戶安全管理和數據安全管理等。

4.物流信息分析層

該層是整個平臺的核心，采用MapReduce作為分布式并行計算模型，結合物流信息利益相關者的信息需求，實現對底層資源的調用，通過對獲得的物流信息進行存儲管理、數據清理、算法調用、數據挖掘、結果評估、結果輸出等作業，達到物流信息智能分析的結果，并以服務方式供平臺應用層調用。

5.虛擬化資源層

該層是整個平臺的基礎，利用虛擬化技術實現應用虛擬化和硬件虛擬化，整合分散的物理資源，從而構建相應的資源池，包括服務器、網絡、數據庫、應用軟件等資源，資源池中的同類資源形成集群，對資源直接操作和優化調度。[ 5 ]虛擬化資源層能為上層提供虛擬系統、虛擬環境、虛擬平臺等虛擬化功能，可作為服務對外提供，并對資源的實時狀態進行監控與管理。

6.物理資源層

該層是整個平臺的基石，為平臺提供底層必需的設施與設備，包括機房、電源、云服務器、云傳輸設備、云存儲設備、網絡設備及其他硬件物理資源，通過資源虛擬化技術組成一個超強功能的計算機集群，對以上各層提供物理支撐，滿足各層正常運行的計算和存儲等需求。

（二）邏輯功能模塊

1.分析任務定制模塊

該模塊是指用戶登錄平臺后，根據自身的需求，確定物流信息智能分析任務，這也是物流信息智能分析工作的起點。用戶定制任務的形式多樣，無論何時、何地，也不管采用什么接入終端，只要能鏈上平臺，就可以利用交互界面提出自己的需求，由平臺來完成后續的物流信息分析與結果提供。

2.知識模式展示模塊

該模塊是平臺根據用戶的定制任務，調用相應數據挖掘算法對數據進行挖掘后，借助于交互界面，將處理好的知識模式以圖形化的方式展現給用戶，實現用戶對物流信息分析結果的查看、分析和保存等功能。用戶能隨時查看需要的知識模式，并將展示的知識模式用于自己的運營決策之中，從而實現對物流信息分析結果的應用。

3.任務響應模塊

該模塊直接與分析定制模式銜接，接收用戶提交的物流信息分析任務，對用戶提交的物流信息分析任務進行響應。只有經過響應的物流信息分析任務，才能傳送到任務調度模塊，才有可能引發后續的相應分析任務。該模塊相當于物流信息智能分析應用平臺的把關器。

4.任務調度模塊

該模塊是在接收到任務響應模塊的指令后，根據用戶提交的任務請求，對完成物流信息分析任務所需的子業務進行調用、管理，調度物流信息分析層的多個模塊來完成物流信息分析任務，并將分析結果傳遞給任務輸出模塊。

5.任務關聯算法模塊

該模塊主要是對與用戶物流信息分析任務相關聯的算法進行管理和保存，既包括用戶之前使用過的算法，又包括有開發能力的用戶自己開發的算法或在原有算法基礎上改進的算法，也包括用戶計劃出售的、擁有產權的算法。如果用戶能在關聯算法模塊找到并有能力使用相應的算法，則將直接調用物流信息分析層的相關模塊，實現物流信息的分析與應用。

6.任務輸出模塊

該模塊在用戶交互層與物流信息分析層之間起著連接的作用，將物流信息分析結果返回給用戶交互層，為用戶返回可視化任務執行結果，作為知識模式展示模塊的源泉。

7.數據加載模塊

該模塊是根據用戶的物流信息分析任務，或從外部的節點集群中導入符合數據格式的相關物流數據，或從數據存儲系統中獲取需要分析的數據，用于此次物流信息分析，同時按MapReduce框架并行化后，將外部數據提交到虛擬化資源層，存放到系統的開放式文件系統（如HDFS）中。

8.并行ETL模塊

該模塊主要用于對源數據進行預處理，對存儲在分布式存儲系統中的數據進行抽取、轉換、清洗與集成等預處理工作，降低數據的異構性，保證數據完整一致，提高數據的質量，保證數據適合于云計算環境下的MapReduce計算模型，為接下來的數據挖掘服務。通過該模塊，可去除噪聲數據和重復數據，處理不完整數據，識別并提取關鍵數據，統一數據格式，保存在HDFS中，為數據挖掘做準備。

9.挖掘算法模塊

該模塊是整個平臺中最重要的模塊，其功能是實現挖掘算法的并行化，包括并行分類算法、并行關聯規則算法和并行聚類算法，構成一個能提供各種基于云計算進行并行數據挖掘算法的庫，然后提交到虛擬化資源層，實現海量物流數據的挖掘任務。該模塊作為數據挖掘的引擎，能在Ha?doop平臺中將傳統挖掘算法進行并行化處理，即將這些算法Map/Reduce化，實現挖掘算法庫的自動更新、補充與刪除，使之能夠部署到云計算平臺的分布式環境中并行執行。[ 6 ]

10.模式評估模塊

該模塊是對挖掘出的模式進行性能評估，如可靠性、可信度等。該模塊同時還承載著結果對比的功能，讓用戶可以對同一任務進行多種方法挖掘或多次挖掘，對不同的挖掘結果進行對比，為用戶提供更為可靠合理的結果。模式評估模塊可以被挖掘算法模塊調用。

11.并行輸出模塊

該模塊是從虛擬化資源層獲得挖掘結果，存放挖掘產生的各種模式，同時將數據挖掘的結果以表格或圖形等方式反饋給平臺應用層。

12.數據存儲模塊

該模塊是存儲海量物流數據，通過分布式文件系統HDFS，將一個大的數據文件分割為多個小文件塊，將海量物流數據分布存儲在多臺計算機集群上，發揮MapReduce可伸縮性的優勢，既為并行計算提供臨時的存儲空間，同時也為數據挖掘結果提供持久化的存儲空間，成為知識庫的保存空間，使數據挖掘有大量的數據保障和知識保障。[ 7 ]該模塊能對存儲的信息進行管理，如數據備份、數據模型管理等。為實現對海量物流數據的存儲與管理，并為并行計算提供數據支持，還需要建立各類數據的屬性索引信息和空間索引信息。

13.并行計算模塊

該模塊是憑借Hadoop提供的MapReduce分布式計算框架，使用并行工作模式，對算法并行化執行，可將一個任務分解成多個子任務，從而在云平臺上獲得對海量數據的處理能力。每個任務將被分為Map和Reduce兩類任務集，分布式地執行實際的挖掘任務，當有大量用戶同時提出挖掘請求時，實現分布式挖掘任務的高效調度，運行相應的挖掘算法，完成數據挖掘計算能力的并行，然后將處理結果匯總，迅速給予回應并提供服務。[ 8 ]

14.資源虛擬化模塊

該模塊是利用虛擬化技術，將底層的分布式網絡設備、存儲器、服務器和安全設備等接入到網絡中，以抽象的數字化表達方法進行統一描述與封裝，將各類異構的存儲、計算和網絡資源虛擬化為虛擬資源，抽象為可調配的資源，構成一個服務器集群與運行環境，形成全局統一的大型虛擬資源池，實現各類網絡節點資源的全面互聯。該模塊采用集群技術進行統一調度管理，對外提供統一的訪問接口，實現物理資源的集成和管理，實現

計算資源、存儲資源和網絡資源的透明訪問，滿足虛擬化資源層、物流信息分析層正常運行的需求。

15.用戶管理模塊

該模塊主要是對利用物流信息智能分析平臺的各個節點企業和用戶信息進行管理，提供統一的接口路徑，用于識別用戶身份、注冊管理服務、提供用戶交互接口、創建用戶程序的執行環境、用戶權限設置、用戶交互管理、消息管理及對用戶的使用計費等工作。

16.資源管理模塊

該模塊主要是對物流信息智能分析應用平臺的資源進行均衡調配，優化配置資源，實現資源利用效率的提升。

17.安全管理模塊

該模塊主要是負責物流信息智能分析應用平臺的整體安全，通過集中管理和使用VPN、防火墻、防病毒、IDS、數據加密、訪問授權、身份認證、安全審計等多種安全方法，實現網絡安全、基礎設施安全、系統安全、平臺安全、數據安全、應用安全和用戶安全等，構建完整的安全防護體系。

18.網絡管理模塊

該模塊是對物流信息智能分析應用平臺的網絡體系進行管理，通過故障檢測、故障恢復、監視統計等工作，保障網絡的正常運轉，為用戶提供暢通的網絡接口與網絡應用。

（三）物理架構

基于云挖掘的物流信息智能分析應用平臺，將在大型物流企業及其下屬分支機構、供應商、渠道商等層面都設立節點，利用虛擬化技術形成資源集群，物理資源池則由節點資源集群形成。物理資源池匯聚在云計算數據中心，能夠實現數據存儲、算法設計、數據分析及信息服務。分布式集群服務器構成云計算數據中心?；谠仆诰虻奈锪餍畔⒅悄芊治鰬闷脚_要能充分利用網絡中大量的廉價資源，在Hadoop平臺的集群環境下，將數據預處理、數據挖掘算法等任務進行并行處理。數據預處理后的結果由分布式文件系統HDFS來進行分布式的存儲，存儲在節點磁盤中；數據挖掘任務采用MapReduce編程模型，由分布在各處的節點計算機來并行處理，實現挖掘算法的并行編程模式，其物理架構如圖2所示。

第一，用于智能分析的物流信息在地理分布上具有分散性，不同地理位置的物流信息由不同的節點集群進行收集、整理、分類與處理，并由節點集群對資源進行自行維護。利用虛擬化技術，將所有資源分配到虛擬機。虛擬機對各節點集群資源進行管理、協調與分配，是一種集群式云計算服務器。

第二，云計算數據中心由三層構成：云管理及云服務層、服務器集群層和虛擬機層。云管理及云服務層是云計算數據中心在軟件即服務和平臺即服務上的體現，云管理服務器主要負責對集群服務器進行管理，調度與分配計算資源和存儲資源，并對外提供平臺服務；云應用服務器主要負責向用戶提供物流信息智能分析服務。服務器集群層作為云計算數據中心的核心，由大規模的集群服務器構成，提供海量存儲能力和高性能計算能力，既間接管理節點集群的資源，又直接管理虛擬服務器，通過虛擬化技術，為用戶提供整體化基礎設施服務。虛擬機層由眾多運行在服務器上的虛擬機系統構成，負責管理節點集群資源，利用映射技術，將節點集群資源映射到服務器集群層。

第三，應用服務采用B/S模式，物流信息利益相關者通過網絡即可訪問應用服務，從而獲得自己需要的物流知識與信息。

圖2　基于云挖掘的物流信息智能分析應用平臺物理架構

四、基于云挖掘的物流信息智能分析應用平臺的特點

（一）平臺各邏輯層之間的結構內部是相互獨

立的，每層都透明地為其上層服務。各層的任務非常明晰，通過各層之間的接口，上層可以調用其直接或間接的下層所有功能。同層之間的功能模塊能夠有效共享和調用數據，有利于各層集中處理各自的任務，便于平臺的設計和關鍵技術的解決。

（二）平臺具有超強的海量數據處理能力，具有很強的可擴展性。用戶可以利用良好的用戶界面，根據自己的需要，對平臺功能進行拓展，從而得到自己需要的物流知識與信息。

（三）用戶無需自己開發應用軟件，允許用戶任意提交服務請求?？梢酝ㄟ^交互層的相關功能模塊定制物流數據挖掘對象、物流數據挖掘任務、物流數據挖掘算法等，而數據集的存儲、算法的執行過程等都運行在Hadoop平臺上。[ 9 ]

（四）平臺采用分布式并行數據挖掘來挖掘與分析物流數據，能夠有效處理和利用分布在各節點之間數據和計算設備。統一信息格式，實現多模塊、多源、多格式、多媒體數據的存儲和計算，實現實時高效的物流信息分析。

（五）平臺為不具備數據挖掘相關知識的用戶提供“一站式服務”。用戶無需了解平臺內部的功能，也不用擔心平臺的存儲與計算能力的不足，平臺具備良好的結果展示能力，將不同算法的結果進行比較后能以可視化的形式輸出。

（六）用戶無需建立機房和數據中心，可以低成本地利用信息分析平臺。用戶可根據需要獲取存儲空間、計算能力和信息分析服務，節省了用戶的信息化成本，同時也能強化大型物流企業在供應鏈中核心節點的地位，提升供應鏈的競爭力。

參考文獻：

[1] Sheryl A. S.，Ananth J. P..Parallel Processing Agents For Data Mining With Cloud Computing & Multi-Agent Sys?tems[J].International Journal of Applied Engineering Re?search，2015（7）：17469-17478.

[2]周晏，桑書娟.淺談基于云計算的數據挖掘技術[J].電腦知識與技術，2010（34）：9681-9683.

[3]李金鳳，姜利群.基于微軟云計算平臺的海量數據挖掘系統[J].電腦知識與技術，2011（34）：8766-8768.

[4]杜艷綏.基于Hadoop云計算平臺的數據挖掘分析[J].信息技術與標準化，2013（4）：36-39.

[5]Joan M. John，G. Venifa Mini，E. Arun.User Profile Tracking by Web Usage Mining in Cloud Computing[J].Proce?dia Engineering，2012（10）：3270-3277.

[6]Fernadez Alberto，Peralta Daniel，Benitez Jose Manu?el，Herrera Francisco.E-learning and Educational Data Min?ing in Cloud Computing：an Overview[J].International Journal of Learning Technology，2014（1）：25-52.

[7]Cuzzocrea Alfredo. Models and Algorithms for High-Performance Data Management and Mining on Computational Grids and Clouds[J].Journal of Grid Computing，2014（3）：443-445.

[8]Kong Xiongsheng. Scientific Data Mining and Process?ing Using MapReduce in Cloud Environments[J].Journal of Chemical & Pharmaceutical Research，2014（6）：1270-1276.

[9]Fei Long.Research on Algorithms of Data Mining Un?der Cloud Computing Environment[J].Journal of Chemical & Pharmaceutical Research，2014（7）：1152-1157.

責任編輯：方程

The Research of Intelligent Analyzing Application Platform of Logistics Information Based on Cloud Mining

ZENG Yi-tang and ZHANG Yu-feng
（Wuhan University，Wuhan，Hubei430072，China）

Abstract：With the logistics information becoming big data，realizing the intelligent analyzing of logistics information is emergent. Cloud mining is a parallel data mining supported by cloud computing technology；it is an effective method to realize the intelligent analyzing of logistics information. The intelligent analyzing application platform of logistics information based on cloud mining has superpower in processing massive data and very extensible；it is not necessary for the users to develop app；and the users can be allowed to submit requirement of service at their option；this platform can effectively take advantage of data and computing equipment naturally distributing among different nodes，provide the users with“one stop service”，and reduce the cost of users.

Key words：logistics information；cloud mining；intelligent analyzing of logistics information；cloud computing

作者簡介：曾奕棠（1978—），女，湖南省株洲市人，武漢大學信息管理學院博士生，主要研究方向為電子商務與知識管理；張玉峰（1946—），女，河南省封丘縣人，武漢大學信息管理學院教授，博士生導師，主要研究方向為信息系統工程、人工智能、知識管理與電子商務。

基金項目：國家自然科學 “基于動態數據挖掘的物流信息智能分析研究”（項目編號：71373197）。

收稿日期：2015-10-12

中圖分類號：F490.5

文獻標識碼：A

文章編號：1007-8266（2016）01-0031-06