基于ETL-KETTLE的貴州卷煙營銷大數據分析及可視化①

郭 丹, 樊 紅

?

基于ETL-KETTLE的貴州卷煙營銷大數據分析及可視化①

郭 丹, 樊 紅

(武漢大學測繪遙感信息工程國家重點實驗室, 武漢 430079)

為了實現對貴州卷煙銷售大數據的分析及可視化, 基于開源數據分析工具KETTLE構建了ETL過程模型, 對現有的卷煙銷售基礎大數據進行抽取、轉換、加載, 形成分析型數據, 快速高效地實現了數據集成. 經過ETL處理的集成數據, 為卷煙銷售大數據可視化系統及進一步的數據挖掘、決策支持提供了數據基礎. 同時, 采用GIS平臺構建和可視化技術, 設計并實現了卷煙銷售大數據可視化分析系統, 為企業的數據分析和決策支持提供了數據展示及分析平臺.

ETL; KETTLE; 數據集成; GIS; 可視化

卷煙作為一種特殊消費品, 國家實施嚴格的計劃管理. 但是隨著市場化變革的深入, 煙草行業要更加注意發揮市場需求對卷煙營銷的拉動作用, 需要解決市場需求持續變化與計劃供應之間的矛盾, 逐步實現, 在總量控制的前提下, “市場”要什么“計劃”就給什么, “市場”要多少“計劃”就給多少, “市場”什么時候要“計劃”就什么時候給, “計劃”與“市場”要緊密銜接、高度融合.

煙草產業是貴州“五張名片”和“八大支柱產業”之一, 在經濟社會發展中占有重要的地位, 是貴州省財稅增長、農民增收的重要來源, 是廣大貧困地區脫貧致富的重要依托產業. 近年來, 貴州煙草企業信息化建設取得了顯著成績, 伴隨現代營銷體系的逐步優化升級, 尤其是最近幾年網上訂貨、網上營銷和現代零售終端建設, 煙草營銷逐步進入大數據時代. 雖然分布廣泛的營銷網絡每天都會產生大量的數據, 但目前煙草商業企業并沒有形成一套系統的、科學的數據處理方式和數據決策模式[1-3]. 為此, 貴州煙草要不斷提升信息化能力積極響應“互聯網+”、大數據、云計算、可視化等現代技術和管理手段, 全面謀劃貴州省煙草商業信息化各項工作, 推進煙草產業與信息化深度融合. 這樣的信息化將有助于解決煙草行業面臨的“市場”與“計劃”之間的突出矛盾.

數據抽取(extraction)、轉換(transformation)、加載(loading)(ETL)是多源異構數據集成的有效方法. 目前, 越來越多的廠商致力于ETL工具的研發, 如IBM的Datastage、甲骨文的OWB(Oracle Warehouse Builder)和ODI(Oracle Data Integrator)、KETTLE等. 其中, KETTLE使用較為廣泛[4]. 本文利用數據分析工具KETTLE構建了高效多源異構數據ETL解決方案, 對貴州現有的卷煙營銷基礎大數據進行抽取、轉換、加載, 形成分析型數據, 快速高效地實現了數據集成, 為卷煙銷售大數據可視化系統及數據挖掘提供了優化的數據源. 同時, 采用GIS平臺可視化技術, 設計并實現了卷煙銷售大數據可視化分析系統, 優化后的數據進行可視化、分析和挖掘, 為企業提供決策支持.

1 數據抽取、轉換、加載技術

1.1 ETL過程模型

ETL用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程, 使這些數據成為BI(商業智能)系統需要的高質量的數據, 是構建數據倉庫、大數據分析、商業智能的重要一環[5-7].

ETL包含了三方面: 一是數據抽取, 將數據從各種原始的基礎數據中讀取出來, 這是所有工作的前提; 二是數據轉換, 按照預先設計好的規則將抽取得數據進行轉換, 使本來異構的數據格式能統一起來; 三是數據裝載, 將轉換完的數據按計劃增量或全部導入到數據倉庫中[9,10].

1.2 KETTLE

KETTLE 是“Kettle E.T.T.L. Environment”只取首字母的縮寫, 是一款國外開源的ETL工具, 純java編寫, 可以在Window、Linux、Unix上運行, 綠色無需安裝, 數據抽取高效穩定. KETTLE支持文本文件、數據表、各種商業或免費的數據庫引擎等多種輸入輸出格, KETTLE實現對數據的抽取、轉換以及加載的核心是作業(job)以及轉換(transformation). ETL活動是一個四元組A=(ID, I, O, S), ID是活動標示符, I是輸入模式的集合, O是輸出模式的集合, S是一個或多個擴展的關系代數表達式, 表示每個輸出模式的語義[9-14]. 圖1是KETTLE ETL的概念模型.

圖1 KETTLE ETL概念模型圖

基于KETTLE的ETL工作流程圖如圖2所示. KETTLE主要包含Spoon、Kitchen、Pan三個主要組件. Spoon是一個圖形化的界面, 是創建Job和Transformation的數據集成環境, 制定整個ETL的解決方案; Kitchen用于調用作業(Job)流程; Pan調用轉換(Transformation)流程. 通過KETTLE中設計的作業和轉換, 有兩種方式存儲: 資源庫和文件, 通過加載作業與轉換流程文件, 可以方便地實現對作業、轉換流程的優化與重新定制, 提升ETL處理效率, 改善數據質量[9-14].

2 數據ETL處理

2.1 基本數據的獲取

貴州各地區銷售的卷煙細分品牌共有345個, 來自全國20個省、自治區、直轄市和國外, 國外品牌共有30個, 國內品牌315個. 貴州各地區銷售的國內卷煙品牌主要分布于長江流域, 共239個卷煙品牌來自云、貴、川、鄂、湘、皖、蘇、滬共8個長江流經的省、市、自治區. 煙草品牌來源復雜, 區域銷售情況參差不齊, 實現市場引導和計劃營銷勢在必行.

煙草企業各業務層面的信息系統在支撐企業運營管理的同時, 積累了大量的基礎數據. 伴隨現代營銷體系的逐步優化升級, 尤其是最近幾年網上訂貨、網上營銷和現代零售終端建設, 煙草營銷逐步進入大數據時代. 在本文中, 我們的實驗數據來自貴州省某煙草銷售公司的品牌數據、客戶零售門店相關數據、訂單數據、消費者信息數據、以及各個零售戶的庫存及銷售數據等. 表1給出了經過整理以及去重表簡化之后的原始數據表的字段. 從表中我們可以看出, 因為基礎數據來自不同的系統, 數據結構差異很大, 字段中英文都有, 數據冗余度大. 煙草營銷數據進入大數據時代, 海量的數據, 如果沒有好的數據表結構, 后為后期的數據管理、數據分析以及數據挖掘造成困擾.

圖2 KETTLE 工作流程圖

表1 原始數據表字段

分析煙草營銷數據的特點, 按照“準確定位, 有機對接, 突出品牌, 全面提升”的工商協同營銷總體要求和“精確信息, 精確投放, 精細管理”的精確營銷工作要求, 在原有的數據表結構的基礎上, 本系統設計數據庫表結構如圖3所示.

圖3 系統數據庫表結構

經過對基礎數據的分析, 初步設計了產品信息表、訂單信息表、零售戶信息表、零售戶庫存信息表、零售戶銷售信息表以及消費者信息表等存儲經過ETL轉換后的數據. 其中產品信息表記錄卷煙的品牌商品信息, 每個卷煙品牌是一條記錄, 有獨立的編碼, 是卷煙銷售數據庫的基礎表; 訂單信息表用來記錄每個零售店的訂單信息, 單個零售戶的每個卷煙品牌的訂單形成一條記錄, 可以和產品信息表和零售戶信息表關聯, 獲取品牌和零售戶的信息; 零售戶信息表用來記錄零售門店的信息, 每個零售戶是一條記錄, 有獨立的編碼, 是卷煙銷售數據庫的基礎表; 零售戶庫存信息表用來記錄各個零售用戶的卷煙庫存信息, 每個品牌某個時間節點的掃碼庫存形成一條記錄; 零售戶銷售信息表用來記錄各個零售門戶的卷煙銷售信息, 每個品牌某個時間掃碼的銷售形成一個記錄; 消費者信息表用來記錄登記的消費者的基本信息, 一個消費者形成一條記錄, 是基礎表, 可以和品牌信息表關聯, 得到消費者的個人偏好.

2.2 基礎數據的ETL-KETTLE的實現

針對貴州卷煙營銷大數據抽取分析的應用需求, 需要將積累的基礎數據按照新的數據設計導入新庫中, 此過程可能涉及到表結構不一致、大數據量(千萬級, 甚至上億)、數據冗余等情況, 處理過程包對異構數據的抽取、清洗等工作. 本文中利用開源的ETL工具KETTLE實現了數據的ETL過程, 部分復雜工作通過Java、JavaScript擴展KETTLE工具實現.

(1) 作業流程

根據設計的表結構, 本文確定了產品維度、零售門店維度、訂單維度、銷售事實、庫存維度、消費者維度六個ETL處理流程, 實現對整個卷煙銷售數據集成的控制. 數據處理ETL處理流程圖如圖4所示. 按照流程, 經過產品維度作業流程處理后形成產品信息表, 經過零售門店維度作業流程處理后形成零售門店信息表, 經過訂單維度作業流程處理后形成訂單信息表, 經過銷售事實作業流程處理后形成銷售信息表, 經過庫存維度處理后形成庫存信息表, 經過消費者維度處理后形成消費者信息表.

圖4 數據處理ETL作業流程圖

各個維度與事實作業的二級作業流程圖如圖5所示. 由于該ETL流程會被重復使用, 數據流經每個二級作業流程時, 首先檢查數據庫服務器中相應流程的表單是否存在, 如果存在, 執行更新原表數據的轉換流程, 如果不存在, 需要在服務器端的數據庫中創建新的表格, 執行插入數據的轉換流程.

圖5 各個維度的二級作業流程圖

(2) 轉換流程

作業流程是對整個ETL處理的總體規劃, 協調執行過程和相關依賴性的ETL活動. 作業流程中對基礎數據和目標數據的映射關系的實施是通過轉換流程實現的, 經過排序、去重復數據、字段選擇、平滑去噪等轉換操作, 最后實現加載到相應的維度或事實信息表中. 以訂單維度作業流程為例, 相應的插入數據轉換流程如圖6所示. 經過訂單維度作業流程需要去除無用重復的冗余字段, 選擇有效和對后期數據分析有意義的字段, 對其中格式不統一的字段進行轉換(這個維度中主要是對日期字段轉換為年/月/日的格式), 同時與基礎數據中的零售戶信息進行零售戶編碼的檢校, 與產品維度表中的品牌編碼及品牌名稱進行檢校, 校驗通過形成有效數據插入新的數據庫訂單表中, 供后期分析處理使用.

3 可視化系統構建

本文結合GIS空間數據可視化管理及分析技術, 開發了貴州省某煙草公司卷煙銷售數據的GIS分析平臺, 可以對前面經由數據分析工具KETTLE進行ETL處理后的銷售、采購和庫存等為多種維度數據進行初步的的分析挖掘和分析成果可視化展示,為提高卷煙銷售水平提供了決策支持依據.

3.1 可視化系統構建需求分析

卷煙營銷信息具有數據量大、結構復雜、種類繁多、內容豐富等諸多特點, 利用KETTLE對貴州省某煙草銷售公司積累下來的大量基礎數據進行ETL處理后, 形成了新的集成的可用于分析的集成的數據集. 同時, 地理空間區域對煙草的銷售有著不可忽視的影響. 本文根據各省、市、縣卷煙銷售公司和煙廠的歷史銷售數據, 結合GIS空間數據可視化管理及分析技術, 建立了煙草銷售分析GIS系統, 實現卷煙購銷存分析、品牌分析、市場分析、貢獻度分析和趨勢分析等數據分析工作.

圖6 訂單維度插入轉換流程圖

3.2 平臺設計

根據需求, 平臺共分為數據管理、報表分析、R數據分析以及GIS數據可視化四個功能模塊. 其中數據管理模塊對卷煙營銷數據進行增、刪、改、查等基本操作; 報表分析模塊, 針對不同的數據, 形成報表分析, 包括有品牌占比圖、各季度品牌重要性對比圖、銷售走勢圖等, 提供決策支持; R數據分析, 基于R統計計算和制圖的功能, 提供查詢與預測分析; GIS可視化模塊, 結合了GIS可視化分析的功能, 地圖與卷煙銷售數據的結合, 實現了數據上圖可視化顯示, 分地區數據分析, 生成卷煙銷售數據專題圖.

3.3 平臺實現

本文采用了基于Java語言的J2EE框架開發, 采用了Struts + Hibernate + Spring的輕量級框架開發了B/S系統. 圖7給出了報表分析中的分季度各品牌煙草重要性對比圖, 圖8是GIS可視化中分區域統計煙草銷售分布餅狀圖.

圖7 分季度各品牌煙草重要性對比圖

4 結語

本文針對貴州省某煙草公司卷煙銷售營銷數據分析和挖掘研究中數據處理和平臺開發的需求, 基于ETL-KETTLE的數據集成的過程及其關鍵技術, 制定了針對其現場業務數據優化處理的ETL模型, 對數據進行了抽取、轉換、加載, 形成了分析型數據, 完成了數據的初步抽取和集成實驗. ETL-KETTLE能夠高效地完成批量數據的遷移工作, 為后續的數據集成分析、數據挖掘提供了可靠的數據支撐.

在ETL-KETTLE處理后的集成數據的基礎上, 結合GIS空間數據可視化分析的技術, 本文設計并實現了卷煙銷售大數據可視化及分析平臺, 對卷煙品牌、銷售、采購和庫存等多種維度數據分空間區域進行了初步的統計分析挖掘和分析成果可視化展示, 從而為制定更優化的企業卷煙營銷購銷存策略, 提高卷煙營銷的整體水平提供決策支持依據.

圖8 基于GIS的煙草銷售餅狀圖

1 姚丹丹.基于數據挖掘的紅塔集團數據庫營銷系統的研究與實現[碩士學位論文].杭州:浙江理工大學,2013.

2 高山等.基于大數據思維的卷煙零售店微商圈分析研究. 電子技術與軟件工程, 2015,2:209–212.

3 聶佳,等.巴蜀中醫藥古籍醫案數據挖掘系統構建及應用. 中國中醫藥圖書情報雜志,2015,4:13–15.

4 武劍.數據集成平臺中ETL的研究與設計[學位論文].北京: 華北電力大學,2007.

5 陳榮鑫,付永鋼,陳維斌.基于Pentaho的商業智能系統.計算機工程與設計,2008,9:2407–2409.

6 余海釗.基于Pentaho的水泥企業商業智能信息系統研究與開發[碩士學位論文].長沙:中南大學,2010.

7 韓冰.基于商業智能的高校輔導員決策支持系統研究與應用[碩士學位論文].長春:東北師范大學,2013.

8 盧達.警用信息智能分析系統的研發與應用[碩士學位論文].北京:華北電力大學,2013.

9 尹曉楠,鄒曉濤,張冬.基于kettle的北京市水務普查數據的提取與轉換.中國水利,2013,21:57–59,42.

10 崔有文,周金海.基于KETTLE的數據集成研究.計算機技術與發展,2015,4:153–157.

11 Van DJ, Bouman R. Pentaho Solutions: Business Intelligence and DataWarehousing with Pentaho and MySQL. John Wiley & Sons Inc., 2009.

12 鐘華,馮文瀾,譚紅星,黃濤.面向數據集成的ETL系統設計與實現.計算機科學,2004,31:87–90.

13 劉充.基于KETTLE的高校多源異構數據集成研究及實踐.電子設計工程,2015,23:23–26.

14 崔友洋,崔有文.基于ETL–Kettle的中藥飲片企業商業智能研究.產業與科技論壇,2014,22:47–50.

Analysis and Visualization of Cigarette Sales Data Based on ETL-KETTLE

GUO Dan, FAN Hong

(State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China)

In this paper, based on the KETTLE which is an open source data analysis tool, an ETL process model is constructed to extract, transform and load the existing basic big data of the cigarette sales. Through the ETL model, the basic data is converted to analytical data, and the data integration can be implemented quickly and efficiently. In this paper, based on the integrated data, combining with the platform construction and visualization of GIS, the visualization and analysis system of the cigarette sales data is designed and implemented to provide data display and analysis platform for the enterprise data analysis and policy support.

ETL; KETTLE; data integration; GIS; visualization

國家自然科學基金(41471323);中國煙草公司貴州省公司科學研究與技術開發項目(合同號201407)

2016-04-12;收到修改稿時間:2016-06-21

[10.15888/j.cnki.csa.005592]