一種電力營銷管理系統(tǒng)數(shù)據(jù)集市建立方法

摘要：電力營銷管理系統(tǒng)數(shù)據(jù)集市的建立基于電力營銷大數(shù)據(jù)處理現(xiàn)狀，為了充分發(fā)揮大數(shù)據(jù)平臺的服務(wù)能力，需要在現(xiàn)有基礎(chǔ)上提高各業(yè)務(wù)域數(shù)據(jù)資產(chǎn)的價值密度，對業(yè)務(wù)數(shù)據(jù)資產(chǎn)進行深加工和產(chǎn)品化，形成全方位、立體化的數(shù)據(jù)產(chǎn)品，借助數(shù)據(jù)云對全領(lǐng)域、全業(yè)務(wù)、全口徑數(shù)據(jù)資產(chǎn)加以管理。電力營銷管理系統(tǒng)數(shù)據(jù)集市提供了資源豐富、質(zhì)量優(yōu)良、安全可控、資產(chǎn)透明、應(yīng)用靈活、管理完善及運營智能的數(shù)據(jù)服務(wù)體系，在營銷領(lǐng)域打造出數(shù)據(jù)集中、服務(wù)完善、應(yīng)用多元、運營高效的數(shù)據(jù)應(yīng)用生態(tài)圈，創(chuàng)新了營銷數(shù)據(jù)服務(wù)模式。

關(guān)鍵詞：電力營銷;管理系統(tǒng);數(shù)據(jù)集市

中圖分類號：TP311.52;TM769

文獻標識碼：A

文章編號：1001-5922（2020）06-0086-04

隨著電力企業(yè)大數(shù)據(jù)平臺的建設(shè)和完善，大數(shù)據(jù)服務(wù)能力持續(xù)提升，內(nèi)外部數(shù)據(jù)持續(xù)匯聚，數(shù)據(jù)分析服務(wù)持續(xù)豐富。數(shù)據(jù)更新頻率從日提升到分鐘級，具備準實時數(shù)據(jù)采集、分析的能力。基于數(shù)據(jù)云建成了大數(shù)據(jù)平臺、數(shù)據(jù)倉庫，可以實現(xiàn)海量數(shù)據(jù)準實時存儲及處理。但是數(shù)據(jù)的存儲還是以分散式為主題，上層數(shù)據(jù)應(yīng)用仍然為煙囪式，底層基礎(chǔ)數(shù)據(jù)與上層數(shù)據(jù)的聯(lián)系缺少數(shù)據(jù)集市。數(shù)據(jù)集市的建立要為持續(xù)提升的數(shù)據(jù)應(yīng)用提供共享服務(wù)，以減少輕度匯總數(shù)據(jù)、指標、主題的重復(fù)建設(shè)。此外，當前數(shù)據(jù)分析應(yīng)用以定制化為主，服務(wù)方式缺乏靈活性，響應(yīng)周期長，數(shù)據(jù)價值難以深入挖掘，需要在數(shù)據(jù)融合的基礎(chǔ)上構(gòu)建豐富的數(shù)據(jù)服務(wù)產(chǎn)品。電力營銷覆蓋到開展市場域、產(chǎn)品域、電網(wǎng)域、客戶域、設(shè)備域、服務(wù)域等，因此數(shù)據(jù)集市建設(shè)要立足于全領(lǐng)域、全業(yè)務(wù)的數(shù)據(jù)處理，實現(xiàn)數(shù)據(jù)集市主題域數(shù)據(jù)模型標準的統(tǒng)一，提高業(yè)務(wù)用戶的使用效率，保證分析的靈活性。

1 數(shù)據(jù)集市的引入

數(shù)據(jù)集市中的各類數(shù)據(jù)都是依據(jù)“主題”來存儲的，主題域包含了與該主題發(fā)生聯(lián)系的信息。用戶如果需要訪問不同的主題時，要創(chuàng)建基于數(shù)據(jù)倉庫的數(shù)據(jù)集市。所以數(shù)據(jù)集市可以理解為“小規(guī)模的數(shù)據(jù)倉庫”。數(shù)據(jù)倉庫是建立于企業(yè)級數(shù)據(jù)模型，數(shù)據(jù)集市歸為企業(yè)級數(shù)據(jù)倉庫的子集，可以面向不同的部門級與業(yè)務(wù)級，但僅局限于面向特定的主題。用戶借助數(shù)據(jù)集市可以分析業(yè)務(wù)問題，數(shù)據(jù)集合可以面向特定的功能目標。電力企業(yè)營銷數(shù)據(jù)集市的建立是基于數(shù)據(jù)倉庫，依據(jù)統(tǒng)一化的存儲模型，不同級別的營銷人員可以依據(jù)營銷特定的需求實現(xiàn)對數(shù)據(jù)的處理，最終展現(xiàn)為體現(xiàn)營銷特點的數(shù)據(jù)集合，應(yīng)用數(shù)據(jù)集市是對數(shù)據(jù)倉庫功能的深入與擴展。數(shù)據(jù)集市的本質(zhì)實現(xiàn)了數(shù)據(jù)倉庫的分布式、交互式，因此體現(xiàn)了數(shù)據(jù)倉庫的主要特性。數(shù)據(jù)集市的數(shù)據(jù)源自需要借助抽取、清理、轉(zhuǎn)換和整合才能載人數(shù)據(jù)集市。數(shù)據(jù)倉庫中的數(shù)據(jù)性質(zhì)與功能是保證系統(tǒng)利用價值的基礎(chǔ)。因此電力營銷管理系統(tǒng)數(shù)據(jù)集市的結(jié)構(gòu)需要包含數(shù)據(jù)源層、數(shù)據(jù)倉庫層與應(yīng)用，不同層次對應(yīng)著不同的功能，如圖l所示。

2 電力營銷管理系統(tǒng)數(shù)據(jù)集市建立應(yīng)用到的關(guān)鍵技術(shù)

2.1抽取數(shù)據(jù)

抽取數(shù)據(jù)是進入倉庫的前提。數(shù)據(jù)倉庫是相對獨立的數(shù)據(jù)平臺，要借助抽取將數(shù)據(jù)實現(xiàn)聯(lián)機事務(wù)的處理。外部數(shù)據(jù)源的導(dǎo)人、數(shù)據(jù)的存儲也需要借助數(shù)據(jù)的抽取。數(shù)據(jù)抽取技術(shù)的應(yīng)用覆蓋到互連、增量、轉(zhuǎn)換、監(jiān)控等多個環(huán)節(jié)。數(shù)據(jù)倉庫中數(shù)據(jù)抽取與事務(wù)處理系統(tǒng)需要保持實時的同步，數(shù)據(jù)抽取需要持續(xù)進行，但是不同的抽取操作在執(zhí)行的持續(xù)時間、執(zhí)行順序、數(shù)據(jù)倉庫信息的利用存在差異。由于技術(shù)的進步，數(shù)據(jù)抽取涉及到的關(guān)鍵技術(shù)已相對成熟，特別是由于數(shù)據(jù)編程方式的進步，數(shù)據(jù)集成度的提升，起到了很大的推動作用。本項目中數(shù)據(jù)抽取技術(shù)的應(yīng)用基于電力營銷的數(shù)據(jù)抽取應(yīng)用結(jié)合了營銷業(yè)務(wù)，面向電力營銷大數(shù)據(jù)平臺，不同用戶可以選定源數(shù)據(jù)與目標數(shù)據(jù)接人營銷業(yè)務(wù)監(jiān)控系統(tǒng)，會同步生成數(shù)據(jù)抽取代碼，如圖2所示。數(shù)據(jù)抽取工具可以支持多種數(shù)據(jù)，在數(shù)據(jù)抽取中可以實現(xiàn)數(shù)據(jù)的轉(zhuǎn)換，可以與電力營銷系統(tǒng)發(fā)生密切相關(guān)。數(shù)據(jù)抽取的應(yīng)用使得用戶對于抽取方式加以二次編程，以滿足使用要求。數(shù)據(jù)倉庫實施借助了抽取工具。抽取過程由于工具的使用實現(xiàn)有效的管理，數(shù)據(jù)的維護更加方便。

2.2 數(shù)據(jù)的存儲

數(shù)據(jù)倉庫的應(yīng)用要解決的技術(shù)問題還包括大量數(shù)據(jù)的存儲。由于數(shù)據(jù)集市涉及一的數(shù)據(jù)量遠高于比傳統(tǒng)的數(shù)據(jù)處理，并且隨時間推移，數(shù)據(jù)會發(fā)生累積。從當前技術(shù)的應(yīng)用來看，關(guān)系數(shù)據(jù)庫系統(tǒng)的應(yīng)用可以解決此類問題。關(guān)系數(shù)據(jù)庫存儲技術(shù)經(jīng)過多年的發(fā)展，數(shù)據(jù)存儲和已經(jīng)成熟，并且也方便數(shù)據(jù)的管理。電力營銷系統(tǒng)建立數(shù)據(jù)集市可以借助關(guān)系數(shù)據(jù)庫系統(tǒng)技術(shù)，此技術(shù)的應(yīng)用還可以實現(xiàn)數(shù)據(jù)的分割，大的數(shù)據(jù)庫可以分散于不同的物理存儲單元中，增強了數(shù)據(jù)管理的擴展能力。關(guān)系數(shù)據(jù)庫可以存儲管理多樣化的數(shù)據(jù)。

2.3 數(shù)據(jù)的并行處理

傳統(tǒng)模式下的聯(lián)機事務(wù)處理具有局限性，用戶對于系統(tǒng)的訪問短小而密集。對于多處理系統(tǒng)，需要將不同用戶的請求均衡分擔(dān)，因此需要并行處理。數(shù)據(jù)集市中，用戶對于訪問系統(tǒng)體現(xiàn)出多而雜的特點，數(shù)據(jù)查詢與統(tǒng)計較為復(fù)雜，另外系統(tǒng)的設(shè)計還要考慮到訪問的頻率。系統(tǒng)要有能力將不同的處理模塊調(diào)動起來以應(yīng)用復(fù)雜的查詢請求，請求借助并行處理可以起到效果。并行處理技術(shù)應(yīng)用于數(shù)據(jù)倉庫體現(xiàn)出優(yōu)勢。當前關(guān)系數(shù)據(jù)庫系統(tǒng)對于并行處理方面可以實現(xiàn)查詢語句的并行分解、數(shù)據(jù)分割的并行，還支持跨平臺，數(shù)據(jù)處理可以適應(yīng)不同的群集環(huán)境，可以支持不同的處理機，因而具有了擴展能力。

2.4 決策支持

基于數(shù)據(jù)開放技術(shù)的數(shù)據(jù)集市要結(jié)合決策支持，需要結(jié)合電務(wù)營銷的業(yè)務(wù)需要功能。不同站點借助管理系統(tǒng)，營銷人員可以在站點可以訪問營銷數(shù)據(jù)倉庫。數(shù)據(jù)庫的共享要保證分布查詢處理得以實現(xiàn)，營銷管理與數(shù)據(jù)庫加以結(jié)合。借助總線與并行處理技術(shù)，增強數(shù)據(jù)庫的性能，即保證了吞吐率。數(shù)據(jù)庫的吞吐率可以體現(xiàn)為數(shù)據(jù)處理能力。依據(jù)這個指標可以表明數(shù)據(jù)共享的線性關(guān)系。為了保證數(shù)據(jù)的共享效果，可以數(shù)據(jù)精心分片定位于特定站點，以保證共享時查詢時并行性。基于數(shù)據(jù)開放技術(shù)的數(shù)據(jù)庫共享基于兩個假定，第1保證站點上的計算機具有數(shù)據(jù)訪問權(quán)限。對于數(shù)據(jù)庫的管理，可以用數(shù)據(jù)服務(wù)器實現(xiàn)并行處理并賦予權(quán)限，以保證數(shù)據(jù)庫的性能。第2針對并行數(shù)據(jù)服務(wù)器要保證分布式數(shù)據(jù)庫處理。數(shù)據(jù)開放技術(shù)支持下保證了數(shù)據(jù)庫的共享效果。數(shù)據(jù)共享要結(jié)合營銷服務(wù)的業(yè)務(wù)特點，對數(shù)據(jù)訪問加以改進。數(shù)據(jù)庫的共享要保證數(shù)據(jù)的全面性與完整性，對于數(shù)據(jù)的利用要有支持，數(shù)據(jù)要結(jié)合電力營銷的常規(guī)性業(yè)務(wù)。

3 電力營銷管理系統(tǒng)數(shù)據(jù)集市建立

電務(wù)企業(yè)基于營銷建立數(shù)據(jù)集市，要結(jié)合營銷的需要，建立一體化集成平臺，服務(wù)要結(jié)合企業(yè)門戶、目錄服務(wù)與身份認證、信息平臺監(jiān)測系統(tǒng)，如圖3所示。數(shù)據(jù)集市基于大數(shù)據(jù)平臺集群環(huán)境為不同部門的營銷提供數(shù)據(jù)服務(wù)，包括數(shù)據(jù)共享、可復(fù)用的數(shù)據(jù)模型、算法服務(wù)、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)管理等，減少傳統(tǒng)應(yīng)用開發(fā)存在的“煙囪效應(yīng)”。系統(tǒng)支撐大屏監(jiān)控、專題分析、即席報表等各類型前臺應(yīng)用的快速構(gòu)建和靈活調(diào)整，實踐“大中臺、小前臺”的作用。

3.1 營銷數(shù)據(jù)的應(yīng)用場景

能夠面向?qū)崟r分析場景、明細查詢場景、外部取數(shù)場景、即席統(tǒng)計及可視化分析場景、大數(shù)據(jù)量即席統(tǒng)計及數(shù)據(jù)分析場景、數(shù)據(jù)挖掘場景、數(shù)據(jù)理解及推薦場景等使用場景，提供明細數(shù)據(jù)、輕度匯總數(shù)據(jù)、高度匯總數(shù)據(jù)等服務(wù)。還可以實現(xiàn)不同粒度數(shù)據(jù)的離散指標、聚合主題分析、實時計算、準實時計算、離線計算等多種功能。平臺可以基于邏輯模型的即席計算、基于數(shù)據(jù)立方的數(shù)據(jù)查詢。

3.2 實時分析場景

結(jié)合大數(shù)據(jù)平臺可以實時采集數(shù)據(jù)，借助流計算工具可以完成實時數(shù)據(jù)的采集，并基于大數(shù)據(jù)分析工具分析營銷實時數(shù)據(jù)，可直接服務(wù)于自助。可視化工具構(gòu)建可以分析實時業(yè)務(wù)，監(jiān)控應(yīng)用，亦可通Web-Service、Rest等技術(shù)接口為其他業(yè)務(wù)提供數(shù)據(jù)服務(wù)支撐。

3.3 明細查詢場景

基于大數(shù)據(jù)平臺進行HDFS、HIVE、HBASE等多種形式的數(shù)據(jù)存儲，基于數(shù)據(jù)分析工具實現(xiàn)了可視化數(shù)據(jù)集的構(gòu)建、SQL數(shù)據(jù)的集構(gòu)建。依據(jù)業(yè)務(wù)查詢條件可以實現(xiàn)多種數(shù)據(jù)的查詢，構(gòu)建出營銷明細查詢服務(wù)，基于自助化工具構(gòu)建的營銷明細數(shù)據(jù)查詢還可以通過大數(shù)據(jù)分析工具的WebService、Rest等技術(shù)為其他業(yè)務(wù)提供數(shù)據(jù)服務(wù)支撐。

3.4 外部取數(shù)場景

業(yè)務(wù)系統(tǒng)可以實現(xiàn)營銷數(shù)據(jù)的臨時取數(shù)應(yīng)用，通過大數(shù)據(jù)分析工具的可視化數(shù)據(jù)集構(gòu)建、SQL數(shù)據(jù)集構(gòu)建進行相應(yīng)的數(shù)據(jù)集服務(wù)，對接入到大數(shù)據(jù)平臺HDFS、HIVE等存儲數(shù)據(jù)進行組織和脫敏處理，通過大數(shù)據(jù)分析工具的WebService、Rest等接口為其他業(yè)務(wù)提供數(shù)據(jù)服務(wù)支撐。

3.5 即席統(tǒng)計及可視化分析、數(shù)據(jù)挖掘、數(shù)據(jù)理解及

推薦等使用場景

基于大數(shù)據(jù)分析工具對大數(shù)據(jù)平臺HDFS、HIVE等服務(wù)上的數(shù)據(jù)進行組合，根據(jù)業(yè)務(wù)需求梳理可能用到的統(tǒng)計分析、自助可視化分析需求和維度、常用參數(shù)。構(gòu)建營銷業(yè)務(wù)主題集市可直接通過大數(shù)據(jù)分析工具依據(jù)業(yè)務(wù)主題構(gòu)建業(yè)務(wù)主題，并基于大數(shù)據(jù)分析工具的自助可視化、空間可視化等圖形化工具進行數(shù)據(jù)探索，亦可通過大數(shù)據(jù)分析工具的WebService、Rest等接口為其他業(yè)務(wù)應(yīng)用提供數(shù)據(jù)服務(wù)支撐。

4 系統(tǒng)功能的實現(xiàn)

4.1 實現(xiàn)營銷數(shù)據(jù)集市的數(shù)據(jù)資源集中化

營銷數(shù)據(jù)集市在數(shù)據(jù)資源層面，能夠通過數(shù)據(jù)緩存層、數(shù)據(jù)整合層、數(shù)據(jù)匯總層、數(shù)據(jù)集市層等數(shù)據(jù)架構(gòu)分層的構(gòu)建，實現(xiàn)營銷全口徑原始數(shù)據(jù)、跨域數(shù)據(jù)整合、各維度指標匯總及專題分析等功能，實現(xiàn)數(shù)據(jù)資源的全面集中;能基于數(shù)據(jù)云的數(shù)據(jù)采集工具、數(shù)據(jù)存儲工具、數(shù)據(jù)計算引擎、數(shù)據(jù)分析工具、應(yīng)用開發(fā)工具、數(shù)據(jù)管理工具等實現(xiàn)數(shù)據(jù)集市構(gòu)建、應(yīng)用、管理及運營技術(shù)工具的集中;能夠通過統(tǒng)一的數(shù)據(jù)清洗、轉(zhuǎn)換、公共指標匯總、個性指標構(gòu)建、基于主題的指標聚合等功能實現(xiàn)數(shù)據(jù)匯總、計算、存儲的集中。

4.2 實現(xiàn)營銷數(shù)據(jù)集市數(shù)據(jù)資源規(guī)范化

能夠通過數(shù)據(jù)清洗、轉(zhuǎn)換、整合、匯總、分析構(gòu)建統(tǒng)一的數(shù)據(jù)命名規(guī)范、數(shù)據(jù)定義標準、數(shù)據(jù)質(zhì)量治理流程、數(shù)據(jù)整合，保證了匯總模型、指標和主題定義模型的規(guī)范化，實現(xiàn)數(shù)據(jù)資產(chǎn)及數(shù)據(jù)服務(wù)的規(guī)范化，為數(shù)據(jù)的跨域協(xié)同提供了統(tǒng)一的標準，為用戶提供干凈、透明、統(tǒng)一的數(shù)據(jù)視圖和數(shù)據(jù)資源，提升了數(shù)據(jù)質(zhì)量，保證了協(xié)同的一致性。

4.3 實現(xiàn)營銷數(shù)據(jù)集市的產(chǎn)品化

營銷數(shù)據(jù)集市面向營銷實時分析、清單查詢、主題分析、數(shù)據(jù)挖掘等多種類型應(yīng)用場景，可以進行數(shù)據(jù)服務(wù)能力的封裝，統(tǒng)一構(gòu)建數(shù)據(jù)服務(wù)產(chǎn)品，并結(jié)合元數(shù)據(jù)管理規(guī)范進行數(shù)據(jù)的標簽化處理，通過數(shù)據(jù)目錄實現(xiàn)數(shù)據(jù)服務(wù)的地圖化呈現(xiàn)，基于常用數(shù)據(jù)分析場景構(gòu)建出數(shù)據(jù)服務(wù)場景化模板，實現(xiàn)數(shù)據(jù)可視化、產(chǎn)品化;可以提前完成數(shù)據(jù)采集、處理、計算等加工過程，面向常用業(yè)務(wù)提前構(gòu)建了各類型的數(shù)據(jù)服務(wù)，保證了業(yè)務(wù)指標、專題服務(wù)的復(fù)用性，支持終端用戶通過搭積木的方式進行選擇數(shù)據(jù)服務(wù)產(chǎn)品，縮短了數(shù)據(jù)應(yīng)用的開發(fā)周期，同時支持數(shù)據(jù)應(yīng)用的快速響應(yīng)和靈活調(diào)整，降低了試錯成本。

4.4 提供營銷數(shù)據(jù)集市的主題式服務(wù)

能夠面向營銷領(lǐng)域分析業(yè)務(wù)，以同類業(yè)務(wù)分析需求為導(dǎo)向，將營銷域數(shù)據(jù)資源中屬于同一個分析領(lǐng)域的若干表或?qū)⒈碇械淖侄谓M合在一起，梳理可能用到的統(tǒng)計分析，利用自助可視化工具分析需求，對分析的指標、業(yè)務(wù)特征加以標簽，并按業(yè)務(wù)分析的關(guān)鍵視角進行分類和業(yè)務(wù)語義化處理，構(gòu)建統(tǒng)一的主題視圖。通過將幾百張源表轉(zhuǎn)化為幾張表（數(shù)據(jù)產(chǎn)品），同時按照業(yè)務(wù)習(xí)慣進行數(shù)據(jù)的重組，規(guī)范數(shù)據(jù)的業(yè)務(wù)語義，利用開發(fā)工具在業(yè)務(wù)主題中選擇需要分析的數(shù)據(jù)字段和分析維度，即可快速進行上層數(shù)據(jù)應(yīng)用的構(gòu)建和探索。

5 結(jié)語

營銷域數(shù)據(jù)集市構(gòu)建是基于大數(shù)據(jù)平臺，對各業(yè)務(wù)域數(shù)據(jù)資產(chǎn)進行深度融合與協(xié)同共享，通過數(shù)據(jù)產(chǎn)品化的方式，構(gòu)建數(shù)據(jù)云上的中臺數(shù)據(jù)集市層，建立資源豐富、質(zhì)量優(yōu)良、安全可控、資產(chǎn)透明、應(yīng)用靈活、管理完善、運營智能的數(shù)據(jù)服務(wù)體系。營銷域數(shù)據(jù)集市的構(gòu)建，實現(xiàn)了營銷全口徑數(shù)據(jù)的采集和管理。

參考文獻

[1]李敏強，潘振江，基于數(shù)據(jù)倉庫技術(shù)的決策支持系統(tǒng)的研究與應(yīng)用[J].天津大學(xué)管理學(xué)院學(xué)報，2001，15（11）：108-109.

[2]何濤.小議云南電力營銷信息系統(tǒng)的建設(shè)[J].云南電力技術(shù)，2001，29（1）：69-70.

[3]黎鎖平，李娟，基于數(shù)據(jù)倉庫的DSS的結(jié)構(gòu)體系及開發(fā)[J].萊陽農(nóng)學(xué)院學(xué)報，2000，17（1）：67-70.

[4]俞文彬，謝康林，張忠能.基于數(shù)據(jù)倉庫的決策支持系統(tǒng)框架研究[J].上海交通大學(xué)學(xué)報，2000，34（6）：810-812.

作者簡介：江疆（1982-），男，漢族，湖北黃石人，工學(xué)博士，工程師，主要從事電力數(shù)據(jù)分析系統(tǒng)開發(fā)與管理工作。