基于大數據平臺的電價業務分析系統設計與實現

在分析了電力營銷業務系統面臨的問題的基礎上，闡述了電價分析系統建設的意義，描述了系統的總體架構和主要技術，介紹了該系統的建設與實踐經驗。該系統的建設。本文結合大數據平臺優勢，實現了多源數據的高度融合共享和深度挖掘分析，對探究電力信息化建設具有重要的實際和指導意義。

【關鍵詞】電網營銷 電價分析 大數據

隨著電價業務的不斷拓展和用戶數據量的迅猛增長，實現對電價業務數據的深入挖掘與高效運用顯得越來越重要。然而，隨著業務的不斷發展和對電價業務管理的要求不斷提高，迫切需要提升對價格政策的把握與執行管理水平。因此，通過設計適合各級電價業務人員使用的電價業務分析系統，對推動和支撐電價業務管理，實現輸配電價改革的管理目標，進一步推動和完善輸配電價分析系統的建設具有重要的意義。

1 平臺架構

電價業務分析系統，主要基于大數據平臺和“全國統一電力市場技術支撐系統”、“營銷業務應用系統”，其中大數據平臺提供計算資源、存儲資源、應用集成技術、數據分析技術、應用展現技術等一體化資源服務。

平臺通過獲取相關系統的輸配電計量點檔案、測點檔案、電能信息等數據，采用自動和手動觸發獲取方式，實現輸配電相關的計量點數據、測點數據、電價等數據抽取。通過對抽取數據的匯集、同步轉換，完成對結構化、非結構化數據存儲、分析及處理。系統總體架構如圖1所示。

2 主要技術

2.1 數據采集與接入

數據采集與接入服務主要負責將全國統一電力市場技術支撐系統和營銷業務應用系統的部分相關數據接入至大數據平臺中，包括數據抽取、數據消息隊列管理、補招數據接入等三大模塊。具體的流程如圖2。

2.1.1 數據抽取

數據抽取模塊通過訪問全國統一電力市場技術支撐系統和營銷業務系統的源端數據庫，分別抽取歷史數據和增量數據。從數據源抽取的數據不一定完全滿足大數據平臺的要求，例如數據格式的不一致、數據輸入錯誤、數據不完整等，因此有必要對抽取出的數據進行數據轉換和加工。抽取的數據經過處理生成約定標準格式的E文件。E文件的格式可以根據不同的需求進行更改，包括E文件的命名、數據行數、接入的字段等。

2.1.2 數據消息隊列管理

通過應用分布式消息隊列可有效屏蔽沖擊，對數據進行異步緩沖。設置數據在分布式消息隊列中的存儲結構，實現高速寫入，并降低轉換開銷；同時需實現基于分布式消息隊列的故障恢復機制，以確保數據不丟失。

2.1.3 補招數據接入

由于某些原因，系統可能存在數據丟失的情況。所以，針對丟失的數據，要提供數據接入的接口，用以維護數據的完整性。

2.2 數據存儲

系統中的不同類型的數據，接入至大數據平臺后，需要具備易存儲、查詢效率高的特點。數據存儲基于HBase集群實現。對于表名規則，可以按照時間進行分表，數據量較小的可以按月分表，數據量較大的可以每月分一張表，其表名規則為“系統代碼_業務類型代碼+6月年月時間/4月年份”；在設計rowkey規則時，可結合時間等固定屬性形成靈活可配置的復合行鍵，這樣可以使得同一時刻點同一設備下的相關數據鄰近；對于列名規則，一個列族下有多個列，列名取屬性值。例如，對于計量設備數據，列名可以取計量表的設備ID。

2.3 數據分析

數據分析基于大數據平臺中的分布式計算引擎Spark實現。結合Apache Spark中適用于數據分析的工具庫，將已采集到的電力數據作為訓練的數據集，運用合適的監督學習算法，從給定的訓練數據集中學習出一個模型，當新的電力數據到來時，可以根據這個模型預測結果。根據業務需求，將相關的業務數據進行分析，得出相應的指標參數，輔助業務運營與決策。

2.4 主要應用

基于大數據平臺的電價分析系統，在對相關業務的趨勢把握、關鍵因素分析和用電規律展示，都發揮著重要的角色。

2.4.1 電價關鍵指標分析

營銷業務應用系統包含的種類包括客戶檔案數據、抄表數據以及電費數據等多種數據，基于這些單一數據對電價的分析，往往難以達到理想的效果。結合大數據平臺的分布式計算引擎，將多種類型的數據進行關聯組合分析，以多個維度作為特征值，進行電價的分析。

2.4.2 力調電費分析

力調電費，指供電公司根據客戶一段時間內（如一個月或年）所使用的有無功電量來計算其平均功率因數，并據此收取的相關電費。電費單上的力調電費的計費數量，是根據功率因數的高低，加收得總電費的百分數（即“調整率”），這個“調整率”根據相應功率因數的高低是不同的，功率因數高，費率就低，功率因數低，費率就高。

若某月有功電量是M，無功電量是N，功率因數是T，則月平均功率因數是：

若功率因數標準是0.9，則將實際功率因數與其進行比較來減收電費和增收電費。根據電網需要， 可將客戶在一段時間范圍內（1年以上）所使用的有無功電量，基于大數據平臺，進行統計分析，更好地把握客戶尤其是大客戶的用電規律。同時根據用戶的用電規律，結合對應供電公司的發展狀況，完善功率因數調整電費表。

2.4.3 其他應用

基于系統的電價業務數據分析成果，依托于大數據平臺強大的存儲能力和計算能力、并結合營銷業務系統的建設經驗，開展上網電價變動因素分析、大用戶分析、兩部制電價執行分析、標桿電價分析、環保電價執行分析、峰谷分時電價執行、電價碼自助查詢、上網側自助查詢、專項輔助服務價格測算等應用的研究與實現。

3 平臺建設

電價業務分析系統，依托于某網省大數據平臺建設及電價信息化建設主要成果，實現大數據量輸配電價的分析。接入數據71.6億條，數據量達2.3TB；構建了典型的電價分析與查詢等綜合應用，補充了現有營銷業務應用系統在數據處理和分析應用方面的不足，逐步完善面向領導層的關鍵指標分析、面向業務管理層的購售輸專題分析、面向操作層的自助查詢分析及自動分析報告功能體系。

4 結束語

基于全國統一電力市場技術支撐系統和營銷業務應用系統，結合大數據平臺的分布式文件系統、列式數據庫、分布式計算引擎等基礎組件，實現了基于輸配電價的電價預測、監控分析、自助查詢，解決了傳統分析型應用數據反復抽取、冗余存儲的功能，同時也為高效并實時地掌握電價發展趨勢開拓了思路，并提供了精細化的可視化展現形式，提升對電價業務的分析和判斷能力，滿足各級電價業務人員對輸配電價分析的實際需求。

參考文獻

[1]宮宇，呂金壯.大數據挖掘分析在電力設備狀態評估中的應用[J].南方電網技術，2014（06）：74-77

[2]孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（01）：146-169.

[3]劉芳.基于數據挖掘的電網數據只能分析的研究與實現[D].西北大學，2008.

作者簡介

張珂珩（1972-），男，高級工程師。主要研究方向為電力大數據處理技術研究開發、建設運行和技術管理。

作者單位

江蘇瑞中數據股份有限公司 江蘇省南京市 210012endprint