基于大數據技術的用電信息采集系統創新研究

郭浩宇

（上海大學管理學院，上海 200444）

1 用采系統介紹

1.1 用采系統

中國智能電網包含了電力系統的發、輸、變、配、用和調度各個環節，它以充分滿足用戶對電力的需求和優化資源配置為前提，確保電力供應的安全、可靠，實現對用戶可靠、經濟、清潔、互動的電力供應和增值服務。其中，智能用電與采集在堅強智能電網的建設中具有十分突出的地位和作用，它作為構建堅強智能電網的重要支柱和六大環節之一，是實現智能電網各項功能的基礎和物理載體，同時也是社會各界感知和體驗堅強智能電網建設成果的主要途徑[1]。

電力用戶用電信息采集是智能用電體系建設中的一個組成部分，通過對配變下集中器以及電表凍結數據的采集和分析，實現用戶電力數據監控，市場化交易、負荷曲線管理、計量在線監測、臺區線損分析，最終達到自動抄表、用電檢查（防竊電）、電力需求預測和節約用電成本等業務目標，是全面實現營銷業務管理的基礎，也是支撐公司服務水平提升、業務轉型升級、管理提質增效的基礎，為加速推進營銷數字化專項建設，公司能源互聯網生態圈的構建夯實了重要的數據基礎[2]。

1.2 智能化采集

隨著智能用電體系建設工作的推進與用電采集水平的不斷提高，自動抄表應運而生。自動抄表可以實現終端，電能表凍結數據的遠程透召與抄讀。電力營銷部門通過這種方式可以實時獲取電力用戶的實際用電狀況，了解范圍內整個臺區、整條線路的用電負載情況。通過主動上報的設備事件，也可以提高電力部門的故障感知能力。目前，計量設備大多使用4G運營商專網、光纖等方式進行數據上下行運輸。自動抄表一般通集中器，采集器對現場表計的凍結數據進行輪召，然后上傳至用采主站，通過用采主站對報文數據進行解析、拼裝、計算、入庫，定期傳送至營銷系統以便于營銷完成電費出賬[3]。自動抄表相比于人工抄表、半自動抄表的方式，節省了大量人力物力，也提高了整體數據的精度與準度。隨著信息化技術、網絡技術與芯片技術的飛速發展，可以運用于自動抄表方面的技術也越來越多。這些技術提高了計量設備的可靠性、準確性與多樣性，也從每天的單一數據采集轉變成高頻多樣化采集，為實現營銷多樣化業務分析提供了數據基礎。

2 采集系統現狀及分析

現有用電信息采集系統于2010年上線，采用傳統Oracle集中式數據存儲，數據計算依賴存儲過程。覆蓋采集終端36.8萬臺，覆蓋電表數共1 080萬具。日凍結（1 052萬用戶）采集全量執行完成耗時3小時；專變/公變/重點用戶（20萬）電壓、電流、功率因素等曲線采集，每2小時執行一次，每執行一輪耗時1.5小時左右，采集入庫和計算效率較低。上行通信方式以無線公網為主（98%～99%），電力光纖為輔（1%～2%）。現有采集系統主站的架構、性能及硬件資源已經不滿足新形勢下各類業務日益增長的數據要求，系統也暴露出以下問題。

1）高頻數據采集能力不足。用戶曲線等高頻數據采集及時率較低、無法支撐業務需求，實時召測功能并發請求數支撐不夠，容易造成堵塞。

2）數據入庫能力不足。隨著接入用戶規模和采集數據量的持續增長、采集頻度和交互時效性的日益增加，要滿足運檢、發展、交易等專業提出的電壓、電流、功率、電量等數據的小時級采集與推送需求。目前數據存儲采用傳統存儲架構，性能提升困難，數據采集入庫過程存在積壓滯后問題。

3）數據計算效率不足。用電信息采集系統中存儲海量數據，需要對其進行分析、統計、計算等工作。許多統計分析需要查詢歷史數據進行迭代計算，目前相關業務邏輯在數據庫中實現，此類統計計算導致采集數據庫負載較大[4]。

4）數據分析能力不足。隨著數據增長以及數據的實時性不斷提高，需建立“數據接入-數據質量分析-數據治理”的計量數據資產質量管控體系；同時對停電事件進行甄別與診斷、戶變關系識別、失準更換、采集設備質量評估、通信信道評估等，需應用人工智能和大數據技術，挖掘海量采集數據的價值困難，數據分析效率較低。

5）國網標設快速響應不足。國網標設規定了用電信息采集系統主站軟件標準化設計的細則要求，對用電信息采集系統主站軟件在技術指標、功能、數據庫、界面、系統接口、安全防護等方面作了明確要求，現階段不能快速響應，不滿足國網營銷部標準化設計要求[5]。

6）新型業務快速拓展不足。隨著智能表全覆蓋工作的快速推進及分布式電源接入、多表合一采集、同期線損、遠程費控等新型業務的快速擴展，且采集系統主站對外服務的日益增多，現有用電信息采集系統不滿足新型業務拓展需求。

3 基于大數據技術的用采系統架構創新

伴隨著上一代用采系統逐漸落后的技術與大數據技術的成熟與崛起，上海電力公司于2018年下半年啟動了新一代采集主站升級前期準備工作，通過兄弟網省交流了解和內部討論，學習、熟悉建設技術路線，為構建新一代采集系統奠定基礎。

3.1 大數據平臺研究

從功能分析、性能分析、穩定性、可擴展性等方面對Oracle數據計算和大數據計算對比，如表1所示。

表1 Oracle計算與大數據計算對照表

為了滿足采集系統未來業務發展帶來的海量數據實時處理需求，需要采用大數據技術作為數據計算業務的支撐平臺。

Hadoop是目前世界上最流行的分布式數據處理框架，利用Hadoop架構先進、穩定的組件如Hbase、Spark、ZooKeeper等，及Kafka消息中間件實現采集系統數據計算和數據分發入庫業務。

HBase（Hadoop Database）是一個分布式的、面向列的開源數據庫，是運行在Hadoop集群上的數據庫，利用Hadoop HDFS作為其文件存儲系統，具備高可靠性、高性能、面向列、可伸縮等特點。利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群，在實時讀寫、隨機訪問超大規模數據集時性能卓越[6]。

Spark 是專為大規模數據處理而設計的快速通用的計算引擎，可以處理所有Hadoop支持的數據，它保留了MapReduce的優點，而且在時效性上有了很大提高，基于內存的運算要快100倍以上；而基于磁盤的運算也要快10倍以上，為需要迭代計算和有較高時效性要求的系統提供了更好的支持。Spark Streaming，構建在Spark上處理Stream數據的框架，基本的原理是將Stream數據分成小的時間片段（幾秒），以類似batch批量處理的方式來處理這小部分數據。

ZooKeeper是一個分布式應用程序協調服務，它為分布式應用提供一致性服務的軟件，提供的功能包括配置維護、域名服務、分布式同步、組服務等。

Kafka是一個分布式的、可劃分的、多訂閱者、冗余備份的持久性的日志服務，以consumer為中心，消息的消費信息保存的客戶端consumer上，consumer根據消費的點從broker上批量pull數據，無消息確認機制。通過ZooKeeper管理所有的Kafka節點，負責資源協調、負載均衡等任務[7]。

3.2 大數據改進后系統架構

大數據計算平臺實現用電信息采集系統電量曲線、負荷曲線、在線率統計等實時數據計算，以及電量統計、負荷統計、線損計算、指標統計等離線計算；主站定期統計全量數據入庫時間，實現對數據采集效率的有效監測，便于及時調整數據采集策略；主站完善全量數據采集質量分析監控功能，實現對全量數據的漏報誤報、事件數據頻報等的分析監控[8]；主站根據數據漏報特點，制定合理的數據補召策略，充分挖掘通信潛力。整體數據流程如下。

1）通過數據抽取工具將檔案數據、對象模型或其他業務數據從Oracle抽取到分布式數據庫HBase中。

2）通過Kafka消息分發和分布式入庫程序，將采集數據入庫并行寫入到Oralce和HBase。

3）Spark計算應用程序讀取HBase的數據，并封裝成多個RDD對象，計算程序通過對RDD的操作，實現各類計算業務邏輯[9]。

4）Spark計算應用程序將計算結果以消息的形式發送到Kafka的特定topic中。

5）擺渡程序監聽Kafka的消息，并通過分布式入庫程序寫入到Oracle和HBase。

4 新一代用采系統創新影響

新一代采集系統前置服務器的承載能力得到巨大提升，單臺服務器的任務并發數量，從500提升至30 000，增長到60倍。上海全網1 100萬全量用戶的日凍結電量采集任務，執行一輪的時間從4小時減少至20分鐘，縮減了12倍。上海全網26.7萬用戶（除HPLC）負荷曲線數據，從之前的6小時/輪減少至目前的22分鐘/輪，縮減了約18倍，初步達到了上級公司重點用戶小時級數據采集需求。對集中器用戶，新系統上線后成功率提升顯著。低壓用戶的正向有功、反向有功等電量日凍結數據，整體成功率提升至98.5%以上。非HPLC用戶的正向有功等電量日凍結數據，成功率基本持平，整體成功率維持在98.3%左右。

新一代采集的數據庫采用傳統Orecle庫與大數據Hadoop庫共存的方式，數據清洗、數據處理、分析計算、實時查詢等后臺功能，都得到了指數級提升[10]。據初步測試，采集數據出賬二次研判效率提升18倍，計量裝置在線監測功能數據研判效率提升13倍，公變臺區線損分析計算效率提升10倍，采集指標數據監控分析實時性提升10倍。

5 結論

綜上所述，在我國電力企業數字化轉型過程中面臨著很多困難和問題。但是，隨著外部數字化技術的不斷發展，大數據技術的不斷成熟為電力采集的管理與更新換代提供了基礎與技術支持，改變了目前落后的數據采集方式與管理能力，創新了電力采集的新平臺新架構。總體來說，本市采集系統目前在電費回收、用電檢查、線損管理、配電網運行監測、配網故障搶修以及供電服務支撐等多個專業應用中發揮了重要的作用，已成為公司營銷決策分析的重要支撐之一。電力公司應當充分利用數字化技術優勢，結合海量電力數據，注重采集管理方式與新業務的持續創新，進而采取相應的管理對策，提高采集管理的水平，從而充分發揮數據采集在智能電網中的作用，發揮電業企業在我國的作用。