大型煙草企業智慧型ERP系統數據智能處理模式研究

張燕玲

摘 要：針對傳統煙草企業ERP系統信息資源分散獨立、數據利用率較低、無法保證時效性和完整性等問題，本文提出一種基于Hadoop的煙草企業智慧型ERP系統數據處理智能處理架構，通過數據整合與智能處理滿足以數據驅動ERP的業務活動執行需求，從而實現在生產管理過程中以數據驅動生產、以數據驅動決策的管理目標。

關鍵詞：煙草企業;智慧ERP系統;煙草大數據;智能數據處理

中圖分類號：TP311.52文獻標識碼：A文章編號：1003-5168（2018）26-0032-03

1 研究背景

ERP的核心是企業供應鏈的管理，其脫離傳統企業邊界，從優化企業資源入手，以改善企業業務活動與流程為目的。現今，我國很多企業都引入了現代化的ERP系統，效果十分明顯，特別是我國大型煙草企業集團，在很多方面的管理都嘗試引入ERP去解決其存在的不足?，F有的ERP系統無論在理論上還是實踐上都還不夠成熟，特別是對于ERP系統長期使用過程中所產生的大量業務數據，只能進行簡單的查詢和統計，其中有80%的數據并沒有真正利用起來，更不能將其建立在數據的智能分析之上，有效地為國家的煙草計劃經營模式提供決策支持[1]。同時，我國的煙草經營是建立在國家計劃經營和自主經營下的特殊經營模式之上，國家煙草局和管理部門需要通過數據提升對市場把控的洞察力，從而滿足市場需求，不斷提升整個煙草領域中企業的自主創新能力。為了加強對ERP系統在運行過程中產生的大量數據進行有效管理和利用，建立智能的ERP數據挖掘分析與預測模型，實現數據、知識、業務活動與利潤的智能轉化，對煙草企業的重組與業務的標準化、提升生產與管理效率顯得尤為重要。因此，本文主要利用Hadoop大數據平臺、云計算、SOA技術對EPR系統中數據的智能處理問題進行研究，提出一種煙草企業智慧型ERP系統的數據集成與共享架構，從而實現在生產管理過程中以數據驅動生產、以數據驅動決策的管理需求。

2 基于Hadoop的煙草企業ERP大數據智能處理模式設計

2.1 ERP大數據處理架構

在云計算技術的影響下，分布式計算已成為目前解決TB級甚至PB級大數據問題的主要方法。傳統的關系型數據處理模式已經遠遠不能滿足當前復雜的數據處理需求。Hadoop作為一種有效的大數據處理架構，能較好地提供分布式數據處理的計算和存儲能力。Hadoop數據處理的主要方式是將大數據塊在HDFS集群中分割成可以獨立傳輸和處理的小的數據塊進行維護、處理和備份，并在需要時通過HDFS文件集群完成數據塊的讀寫操作。與傳統的關系型數據庫處理模式相比，Hadoop具有高擴展性、可同時處理結構化和非結構化數據信息、高性能的完成離線批處理操作等功能[2]。

煙草工業數據只有在被整合和計算的基礎上，才能被用于發掘和洞察商業規律，挖掘潛在的信息和規律，從而實現指導和優化生產經營過程，達到賦能于商業和創造價值的目的。因此，本文利用Hadoop技術構建了煙草企業的ERP大數據處理架構，如圖1所示。

在Hadoop下，通過將結構化的卷煙生產、經營數據進行分類、數據清洗和標準的格式化轉換，將各類異構數據整合在統一的處理架構之下，實現數據的統一管理和處理。架構主要分為三層：應用服務層、數據分析層和數據存儲層。通過整合分散而獨立的ERP環節的各項數據，從而達到業務功能環節整合的目的，避免在業務流程閉環中脫離數據的指導而造成生產各環節的脫節和分離。

2.2 ERP大數據接入與存儲模型設計

2.2.1 ERP大數據接入模型。由于現有的煙草企業有很多業務系統是分散的，無法實現所有業務環節的整合，進行業務流程閉環操作時會產生很多斷點，無法保證數據的完整性，因此，在ERP大數據接入和采集方式中，主要是利用無線通信（智能終端）、物聯網技術（Zigbee無線傳感網絡、RFID無線射頻和各類傳感器）等，而為了保障ERP系統中各類數據采集的實時和有效性，將ERP數據的接入建立在分布式的消息隊列Kafka的處理機制之上，提出了如圖2所示的接入架構。該架構是一種生產者和消費者模型，能在進行ERP業務消息處理時對數據進行以下封裝和處理。

①將每個終端采集到的消息發布到本地Kafka消息中，并且都以獨立的數據形式進行封裝;之后，再上傳到云服務平臺進行分析和處理。

②本文構建的Kafka集群，是基于分布式消息隊列的，其中定義了可以進行擴充功能的接口，可以根據需要從ERP業務中加入對應的數據采集客戶端，不會因為擴展了多個數據采集終端造成數據接入的瓶頸。ERP數據接入模型如圖2所示。

③構建消息隊列中的生產者和消費者模型，分別處理消息的請求和服務問題。生產者與消費者模式，可以解開消息與消息類型間的耦合度，解除程序和提供服務的數據模型之間的依賴關系。

④在Kafaka消息隊列集群中加入緩存機制，使數據的讀寫效率比普通數據管理系統的磁盤隨機讀寫要快將近兩個數量級，從而保證前端數據的讀寫速度[3]。

2.2.2 ERP大數據存儲與分析模式設計。大數據分析是建立在有效的數據存儲和維護功能基礎上的，根據應用需求對數據進行分析，提供分布式的計算和分析能力。在對ERP大數據進行分析時，需要按需讀取數據，進行數據清洗、計算和結果存儲。由于煙草企業ERP工作的數據量大，結構復雜而多樣，很多時候需要對數據的變換狀況做出快速而及時的處理，因此，本文構建了基于Hadoop的數據挖掘與分析架構模型，主要通過Hadoop中的分布式計算框架MapReduce來分割、并行計算，以擴大系統的計算能力，提高數據資源的利用率。

煙草企業ERP系統中的大數據主要分為結構化數據和非結構化數據兩類。結構化數據是以傳統的數據管理系統進行存儲和維護，而非結構化數據分析處理較為復雜，是將ERP的大數據塊分解成小的獨立的數據塊發布到各個離散的計算節點上，通過映射和規約函數完成在每個節點上的計算操作后進行存儲、分析和統一調度。其執行過程主要包括以下幾個步驟。

①分布式數據倉庫Hive和分布式數據庫HBase負責對海量的非結構化煙草ERP大數據進行存儲，然后對數據文件進行分割，劃分為多個數據片段，分配到集群中的各個節點上。

②主控程序Master將數據分解為各個Map和Reduce任務。

③被分配了Map任務的工作機讀取對應的數據片段進行處理，調用映射函數Map，將獲取到的中間結果進行緩存并寫入存儲器。

④數據被存儲的位置需要發回主控程序，同時，也需要將位置信息轉發給Reduce工作機。

⑤Reduce工作機通過遠程調用Map上的文件，并按照Key形成序列，將相同Key序列的數據部署在一起。

⑥Reduce工作機將生成的Key與Value列表值發送給用戶的Reduce函數，以便于將來檢索調用，最終將結果輸出到文件中進行存儲[4]。

2.3 ERP資源虛擬化服務與請求調度模型設計

云計算的最大優勢是通過將系統中的ERP資源進行虛擬化，達到資源整合和利用的目的。虛擬化技術主要包括服務器、存儲技術和網絡資源虛擬化幾個部分。本文主要研究如何將ERP服務資源進行虛擬化，通過選擇合理的調度策略，滿足多終端應用程序對資源的請求和使用需求。

在云服務端，資源的請求訪問是通過多租戶技術來實現的，主要是為各個應用程序提供獨立的訪問空間和服務功能。由于本文建立的架構是對多個基層機構ERP數據資源進行共享，結合ERP數據在一定范圍內對安全性和獨立性的需求，本文采用混合多組合共享模式來實現資源的虛擬化服務和調用，包括以下幾種實現方式的混合：①應用程序、數據庫隔離而數據應用方式和空間共享;②應用實例共享，而數據庫與地址空間共享;③應用實例、數據庫和共享地址空間都隔離[5]。

在這三種模式混合下，本文提出建立基于隊列的動態請求調度策略，從分配的資源請求中，進行優先級排隊，排隊模式如圖3所示。

3 結語

由于傳統的煙草企業ERP信息管理系統是一種狹義的管理系統，各個業務數據分散而獨立，時效性、完整性無法保證，因此造成各個業務環節離散而脫離市場需求。本文提出的煙草企業智慧型ERP系統數據處理智能處理架構，實現各類異構ERP大數據集成與共享，從而滿足以數據驅動ERP業務活動、智能調整和優化營銷、物流、銷售等，達到指導整個企業生產活動的目的，進一步提升煙草企業的信息化、智能化管理水平和市場競爭力。

參考文獻：

[1]姬靖，李旭于，兆鵬，等.煙草行業信息化——青州卷煙廠ERP案例分析[J].微計算機信息，2016（21）：111-113.

[2]王能.RFID技術在煙草行業中的應用研究[J].經營管理者，2015（1）：322.

[3]王金旺，蔣明青，戴順南.基于RFID技術的煙草商業企業出入庫流程方案設計[J].物流科技，2025（31）：97-100.

[4]董鵬，張曉良.ERP生產計劃模塊的優化策略[J].CAD/CAM與制造業信息化，2015（Z1）：18-20.

[5]張云霞.基于云計算模式的ERP企業管理信息系統分析[J].信息安全與技術，2014（2）：47-49.

[6]樊凌凌.RFID技術在煙類產品運輸包裝中的應用實踐[J].微計算機信息，2014（11）：14-16.