大數據背景下電網營銷方向審計研究

梁衛寧 周鈺書 唐文彬 劉森 黎晚晴

摘要：在大數據時代的背景下，我國電力行業也步入了高速發展的時期。如何利用大數據技術提升營銷業務的信息化水平，也成為了電力審計業務的一個重要研究方向。智能電網的普及產生了海量的監測數據，這些數據為異常檢測、電網運行狀態、用戶行為等大數據分析研究提供了堅實的數據基礎。本文針對電網營銷數據提出了運用大數據技術于審計分析，在此基礎上對大數據數據在審計數據分析中的應用進行了研究，構建了應用大數據實現電網營銷審計的模型。

關鍵詞：大數據;電網營銷審計;數據挖掘

中圖分類號：F426.61 文獻標識碼：A 文章編號：1007-9416（2020）08-0206-07

0 引言

隨著信息技術和智能電網的發展，電力企業對于信息資源共享與數據價值發現等技術的需求不斷激增。智能變電站、智能電表、計量自動化系統等一大批服務應用系統的廣泛建成，使得企業產生和積累了海量結構多樣、來源復雜、規模巨大、系統獨立的數據資源，造成企業跨系統數據集成與共享難度加大，直接影響數據內在知識價值發現，降低電網運營審計效率;另外，當前電網企業雖然已經建成面向不同應用需求的業務數據中心和運監數據中心，但是基于傳統架構的數據共享框架在數據可擴展性、容錯機制和數據安全方面還略有不足，造成數據層面并未真正實現跨系統數據資源集中管控、綜合治理和高度共享[2]。

本文以建立大數據審計模型為思路，研究數據驅動下的新型營銷審計模式，為營銷審計提供科學決策和參考。

1 營銷大數據審計的意義及問題

大數據對各行各業影響十分巨大，審計行業由最初的抽樣審計分析逐步向大數據審計發展。通過海量數據協同流程的研究應用，可以避免海量數據由于抽樣數據分析時單一數據因不準確而對審計結果造成的影響;其次，可以從大量的信息數據中發掘事物的相關性，相關性分析更加有利于發現問題和解決問題，由此提取出的數據更具有分析價值，為不同方向的審計提供了有力的數據支持[1]。

海量數據協同流程如圖1所示。

雖然大數據為審計提供了新的模式，但就現階段的審計發展來看，還是存在諸多問題。

（1）電網營銷管理系統數據龐大。作為電網營銷領域數據存儲和使用頻率最多的應用系統，它存儲著所有營銷業務數據。隨著大數據的飛速發展，數據數量級也成了幾何式增長，同時也增加了信息系統的風險。面對如此多的信息，原有的審計系統已經無法滿足當下需求，急需建設更加完善的審計分析系統，如何從海量數據中提取出價值高且準確真實的數據，建立審計數據倉庫和數據管理平臺是電網企業需要解決的首要問題。

（2）急需研發大數據分析審計軟件。目前營銷審計線索的多樣化，原有的審計方式已不適合，需要結合大數據分析理論以及機器學習方法，利用關聯分析、聚合分析、分類分析等數據挖掘算法建立針對不同業務方向上的可擴展、可重復使用的營銷審計模型，以適應龐大的審計數據分析任務。

（3）審計人員自身素質亟待提升。在大數據背景下，電網營銷模式和規模的不斷發展，營銷知識也是日新月異，對營銷審計工作人員的專業知識和綜合素養都提出了更高的要求。大數據信息獲取，找到針對性強、最有效的數據，以及數據分析建模、結果是否具有廣泛適用性，這些都對審計人員提出了新的挑戰。

2 數據構成

近年來大數據廣泛的應用于各行各業，按照南方電網公司企業級信息系統建設思路，依托公司企業信息集成平臺，在公司總部和公司系統，建設了財務（資金）管理、營銷管理、資產管理、協同辦公管理、人力資源管理、綜合管理六大業務應用。其中營銷管理應用正是結合信息技術對原有傳統營銷數據的集成和管理。營銷域業務數據，即營銷管理系統自身處理的業務數據，包括抄核收管理、業擴管理、計量管理、客戶服務、線損管理、市場交易管理、用電檢查、營銷稽查管理等業務數據。另一類為跨系統協同數據，即營銷管理系統與其他業務系統集成的數據，包括營銷系統和財務系統、物資系統、計量自動化系統的集成數據。

3 關鍵技術

3.1 Kafka消息系統

Kafka使用Scala語言編寫，是一個高性能跨語言分布式發布/訂閱消息隊列系統，具有以下特性：快速持久化，可以在I/O的系統開銷下進行消息持久化;高吞吐，在一臺普通的服務器上既可以達到10W/s的吞吐速率;完全的分布式系統，Broker、Producer、Consumer都原生自動支持分布式，自動實現負載均衡;支持Hadoop數據并行加載，對于像Hadoop的一樣的日志數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。

Kafka通過Hadoop的并行加載機制統一了在線和離線的消息處理。Apache Kafka相對于ActiveMQ是一個非常輕量級的消息系統，除了性能非常好之外，還是一個工作良好的分布式系統。

典型的Kafka架構圖如圖2所示。

3.2 ETL結構化數據處理[3]

數據管理層的數據集市中存儲的是經過底層業務數據源整合清洗后的結構化數據，底層基礎數據源包含大量的結構化數據和非結構化數據，存在著許多臟數據以及未整合處理的數據，在進行數據分析前需要我們先進行數據的標準化處理——即ETL轉換處理，最終目的是為了提高數據分析的準確率。

ETL應用包含設計、實施、維護三個階段。設計階段是分析數據源和目標數據集的數據結構，制定恰當合理的數據轉換邏輯;實施階段是進行數據抽取、轉換清洗以及數據裝載的過程;維護階段是對于需要定期維護的數據項目，ETL在重復執行的同時也需要根據實際情況進行維護和完善。

數據轉換的主要工作是將不一致的數據進行轉換，微粒數據進行聚合處理或依據業務規則進行計算處理。在數據抽取完成后就要制定數據轉換規則，依據不同的業務要求進行轉換處理，將結果集存儲在數據倉庫、數據集中為數據分析使用。

3.3 非結構化信息抽取

非結構化信息抽取是指從一段文本中抽取需要的信息，將其形成結構化的表示形式進行存儲，以供查詢和后續分析使用。根據技術的不同，通常分成3類算法：基于詞典的信息抽取算法、基于規則的信息抽取算法和基于機器學習的信息抽取算法。

基于規則的信息抽取的結果準確性比較高，抽取結果比較可控，但是劣勢也很明細，就是使用比較受限，每次新的需求都需要重新制定規則。

基于機器學習的信息抽取算法主要有隱馬爾可夫模型HMM、最大熵隱馬爾科夫模型、條件隨機模型CRF等，這里我們主要采取條件隨機模型CRF。條件隨機場模型是拉弗蒂在2001年根據熵模型和隱馬爾可夫模型提出，用來標記和分割有序數據的一個判別概率無向圖的學習模型[4]。

設G=（V，E）是一個無向圖，Y={Yv|v∈V}是以G中節點為索引v的隨機變量Yv構成的集合。在給定X的條件下，每個隨機變量Yv服從馬爾可夫屬性，即

3.4 數據挖掘審計算法

營銷大數據審計中應用的數據挖掘算法繁多，常用的算法有關聯分析、K-sigma異常檢測、決策樹等。本文主要介紹關聯分析在營銷大數據審計研究中的算法邏輯[2]。

關聯分析技術應用于各種領域，通過對數據的關聯性進行分析和挖掘，為決策制定提供參考價值。

Apriori算法是一種用于挖掘頻繁項集的基本算法，也是關聯規則所常用的經典挖掘算法之一，它使用一種稱作逐層搜索的迭代方法。

該算法需要對數據集執行多個步驟。第一步，僅計算包含一個元素的所有項目集的出現頻率，并找出不小于最小支持度的項目集，即最大一維項目集。從第二步開始循環處理，直到不再生成最大項目集。循環過程是：在步驟k中，根據步驟k-1中生成的（k-1）維最大項集生成k維候選項集，然后搜索數據庫，得到該項的項集支持。候選項目集，并將其與最小支持度進行比較，以找到k維最大項目集。

由于計算候選集的成本相對較大，而引進了修剪技術提高生成所有頻繁項集的性能。修剪策略基于定理“所有頻繁項集的非空子集都是頻繁的”。如果某個候選項集有一個子集不屬于最小支持度項目集，則該項目集可以被去除，這樣可以顯著提高計算所有的候選集的效率。

事務數據庫：設I={i1，i2，……im}是一個全局項的集合，事物數據庫D={t1，t2，……tn}是一個事務的集合，每個事務ti（1≤i≤n）都對應I上的一個子集，例如t1=（i1，i3，i7）。

關聯規則：關聯規則表示項之間的關系，是形如X→Y的蘊含表達式，其中X和Y是不相交的項集，X稱為規則的前件，Y稱為規則的后件。

例如{cereal，milk}→{fruit}關聯規則表示購買谷類食品和牛奶的人也會購買水果。通常關聯規則的強度可以用支持度和置信度來度量。

支持度：支持度指生成規則的條件項和結果項同時發生的概率，表示該條規則的覆蓋率，即該條規則的重要性。

support（X→Y）=P（X∪Y）=

置信度：置信度表示Y數據出現后，X數據出現的可能性，也可以說是數據的條件概率。

confidence（XY）=P（X│Y）=

提升度：提升度體現X和Y之間的關聯關系，提升度大于1表示X和Y之間具有強關聯關系，提升度小于等于1表示X和Y之間無有效的強關聯關系。

強關聯規則：滿足最小支持度和最小置信度的關聯規則。

關聯規則的挖掘目標是找出所有的頻繁項集和根據頻繁項集產生強關聯規則。對于Apriori算法，目標是找到所有頻繁項集。因此，對于數據集中的頻繁數據集，我們需要自定義評估標準以查找頻繁項集，支持度就是重要的評估標準之一。

4 大數據背景下的審計流程

4.1 建立信息處理應用平臺

建立審計平臺，主要分四個交互邏輯層，分別為：業務數據源、公司數據中心、數據管理層、應用層。建設審計數據集市主要來源于公司數據中心的數據管理層，該數據由公司數據中心通過數據調度工具從各省級數據中心和業務系統數據庫抽取各業務域的數據，存儲在GP數據庫里;GP庫按各省數據集市的需求定時推送業務數據，各省數據集市形成的成果數據推送到網級數據集市。應用層通過數據管理層的數據集市調取不同業務數據建立審計模型進行數據分析，大數據的管理和應用可以在相關的審計項目中反復使用，并在實際應用中不斷改進。后臺支持的審計模式可以有效解決公司內部審計人員不足的問題，提高審計效率，確保審計質量。

4.2 基礎數據處理

大數據信息化背景下數據信息化是首要步驟，電力營銷數據包含了結構化和非結構化數據。結構化數據即各個系統中存儲的數據，這些數據往往直接保存在不同類型的數據庫中，而非結構化數據則是在業務處理過程中的辦公文檔、文本、圖片、XML，HTML、各類報表、圖像和音頻/視頻信息等不方便用數據庫二維邏輯表來表現的數據。這類數據就需要我們運用非結構化數據抽取技術來進行對關鍵審計數據的抽取，轉化為易于進行大數據分析的結構化數據[2]。

以業務數據源為基礎，利用ELT數據清洗轉換技術，對元數據進行標準化按照業務審計規則轉換處理建立審計數據庫，將公司內部數據和外部數據進行歸集，形成審計數據倉庫，推送至網級審計數據集市。

4.3 大數據分析應用

在數據管理層，網級審計數據集結合省級審計數據集構成了我們審計數據的基礎數據集合，定期從下級各公司數據中心抽取數據更新。應用層為審計平臺，提供了大數據審計分析功能，構建各個審計模型模塊為審計人員調用。

（1）關聯分析。是一種常見的數據挖掘算法，它可以利用關聯規則來發掘數據之間隱藏的相關聯系。通過量化的數字化數據來反應數據項A的出現對數據項B（或多個數據項）的出現有多大的影響。在實際的電網營銷審計中，線損異常分析就可以用到關聯分析算法。以同期線損數據為基礎，融合計量自動化數據、用電信息數據等，針對同期線損異常臺區，對終端的有無功、功率因素、電壓、電流，客戶的開表蓋次數、火/零線電流等各數據項之間的隱含關系，可以分析查找線損原因，提高線損達標率。

（2）均值和標準差是統計學應用最廣泛的統計量，運用K-sigma異常檢測統計分析技術進行營銷數據的審計。如在用戶抄表審計過程中的抄表管理，針對抄表區在審計時間段內的抄表次數，抄表間隔時間等數據的統計，計算出抄表均值及標準差。抄表均值反映了該抄表區域的整體抄表情況，而標準差則體現了抄表的差異度;那些超出抄表均值標準差較大的數據既是審計意義上的異常情況，也就是最有可能出現問題的地方。

（3）趨勢分析，在大數據分析中被廣泛的應用在各個行業，描述了分析數據在時間維度上的趨勢變化，可視化方面主要以柱形圖、折線圖來體現。在實際營銷審計中，可以應用于用戶電量波動分析、基本電費繳費波動分析等，通過異常走勢數據，進一步排查鎖定問題點。

（4）決策樹算法。通過歷史數據自動推導出對事物發展規律基于給定數據的推廣性描述，構造一個分類函數或分類模型（分類器），該模型能把滿足一定特征的數據歸為特定的類別。可以用于預測事物在未來的發展狀況，判定其在未來某時刻將呈現的狀態。例如我們利用營銷數據對用戶的是否竊電進行稽核審計，通過審計數據倉庫，在海量營銷數據中使用決策樹模型方法建立用戶是否竊電的模型，根據模型實現竊電用戶的自動分類識別，發現異常用電客戶，挽回電費損失。

（5）回歸分析。和分類預測類似，回歸分析也是從歷史數據中自動推導出對事物發展規律基于給定數據的推廣性描述;不同的是回歸分析的目標是數值型指標，構造的模型是一個回歸函數;用于判定給定特征的數據的目標應該達到的數值，而非狀態。利用海量的電力營銷歷史數據即可構建多種回歸預測模型。如某電價類別下用戶的用電量預測，對該審計用戶的歷史用電數據建立訓練模型，可以得出用電量合乎規律的連續性預測數據，通過折線圖來展示;模型建立后根據模型預測數據來檢測用戶整體用電量數據，通過真實用電量曲線與預測用電量曲線的對比，有差異的區間數據可以用來判定檢查被審計用戶是否存在違反實際電價類別的售電價格違規行為。分析不同電價類別下用戶實際月發行電量超過一定的閾值的進行異常預警。例如用戶名執行的電壓代碼為居民生活1-10KV，而發行的電量很高，存在明顯的高價低用的特征，很有可能是商業用電而執行居民照明電價。

4.4 建立審計模型案例庫

在經過數據抽取、清洗轉換、分析后，我們根據審計業務規則建立了不同的審計模型，審計人員驗證后最終形成審計案例，固化在審計平臺中，實現審計結果的可持續性，例如：線損審計模型、電價類別審計模型、竊電用戶模型等。這些模型可以實時地、持續地監控業務數據，發現業務環節中可能潛在的違規和風險，防范類似問題的發生。

5 營銷大數據審計分析案例

涉及計量自動化數據的營銷審計分析是營銷大數據審計的典型代表，由于計量自動化數據非常龐大，如果對全省數據進行研究應用，整個模型的算力和性能都會大大降低，經過分析論證后，本文計劃采用一個供電所的數據進行模型研究及驗證，后續應用將充分發揮網公司數據中心的技術支撐，應用大數據平臺的Kudu技術實現大數據算力支撐，解決算力及性能的約束，實現全省應用的營銷大數據支撐。

5.1 案例一：計量自動化最大需量值異常

異常條件：大工業用戶，計量自動化系統月凍結最大需量與計量系統需量日凍結值最大值不一致。

所需數據表：營銷域：用電客戶、計量點、計量點運行電能表關系、運行電能表、抄表信息。計量自動化系統：運行電能表日凍結電能量、運行電能表月最大需量。輸出結果見表10。

5.2 案例二：營銷與計量抄表示數不一致

異常條件：營銷系統電量的抄見示數和計量自動化的示數不一致。

所需數據表：營銷域：用電客戶、計量點、計量點運行電能表關系、運行電能表、抄表信息。計量自動化系統：運行電能表日凍結電能量、運行電能表月最大需量。輸出結果見表11。

5.3 案例三：最大需量值異常

異常條件：按需量計收基本電費，營銷系統與計量自動化最大需量值不一致。所需數據表：營銷域：用電客戶、計量點、計量點運行電能表關系、運行電能表、抄表信息。計量自動化系統：運行電能表日凍結電能量、運行電能表月最大需量。輸出結果見表12。

5.4 案例四：大工業暫停期間仍產生電量

異常條件：單變壓器用戶，業擴流程中申請辦理暫停業務，計量自動化系統在變壓器暫停期間有表碼示數。所需數據表：營銷域：用電客戶、計量點、計量點運行電能表關系、運行電能表、業擴工作單基本信息、核算運行變壓器信息。計量自動化系統：運行電能表日凍結電能量、運行電能表月最大需量。輸出結果見表13。

6 結語

大數據背景下電網營銷審計模式的建立，可以大大提高審計效率，避免了常規審計的局限性，實現了海量數據協同分析的可持續審計。結合大數據技術不但打通了從上至下的數據鏈路，為營銷審計提供了一種創新且有效的審計手段，對審計工作產生了積極的改善效果，加強了營銷審計力度。也提高了審計數據質量，提升了數據分析能力和審計洞察力，真正實現了“讓數據說話”，審計研判更加實際客觀。

參考文獻

[1] 胡新玲.基于“互聯網+”審計云的企業電力營銷數字化審計[J].企業改革與管理，2018（17）：140-141.

[2] 劉悅.大數據背景下供電企業營銷審計研究[D].濟南：山東財經大學，2018.

[3] 張莉.淺議在ERP系統中工程物資管理的幾點問題[J].中國電力教育，2011（06）：87-88.

[4] 唐釗.條件隨機場模型在中文人名識別中的研究與實現[J].現代計算機（專業版），2012（21）：3-7.