王藝格 劉昂 孫志纓 戢光 張闊
摘 要傳統的電網在用電及配電的過程中,往往會產生大量的傳輸數據。現今電網的智能化仍然集中于常規輸電的基礎之上,尚無法將這些數據行之有效的處理并指導公司業務、甚至為政府決策、社會公司提供幫助。大數據時代,國家電網的運營情況同國家能源戰略、企業的穩定運行及百姓的日常生活息息相關。基于此思路,由國家電網東北分公司運營的業務特點及實際應用需要,提出對電網數據進行整合及深度分析的方法,進一步為其他行業相結合的方案開展研究。
【關鍵詞】電網 數據整合 大數據 數據倉庫
1 引言
大數據技術的出現及發展,為現今社會的各行各業提出了機遇與挑戰。由于電力行業同社會的生產生活密切相關,其同大數據的結合尤為重要。傳統的電網業務數據主要由生產、運營、管理三部分數據構成,然而,在實際運行的過程中,上述數據雖然契合度較高,但是其結構性較差,大量的冗余及非結構化信息的存在大大降低了該系統的效率。進一步而言,上述數據僅為電企提供了使用功能,但是深層次的數據分析功能則嚴重不足,傳統的信息化技術無法解決上述問題。本文基于對電企內部的大數據的運行特點,結合東北電網的數據倉庫實際情況,提出了其大數據化的升級方案,并對該系統進行架構,現介紹如下。
2 電企內部數據的整合趨勢
大數據是融合信息數據同人類社會(human society)之間的重要紐帶,在信息空間 (cyberspace)內,人類社會可以借助收集到的信息數據反映物理世界(physical world)的實際情況,電力大數據則是信息大數據的一種表現形式,由于其處理的實時性及容量大,往往瞬間就能產生規模龐大的海量數據。而傳統的數據分析系統無法在有效時間內完成對上述數據的整合、管理及處理從而指導企業的運營決策。而在新架構下對于電力大數據分析,可以對其進行深度挖掘,迅速發現問題,提出方案。由于電力系統運行的特殊性,其采集的數據信息量大,內容詳實,可信度極高,可以預見,對上述數據的有效整合可以大幅增加企業的運營效率,并在此基礎進一步為其他社會部門提供指導。
3 大數據系統的建設方案
3.1 系統總功能介紹
本項目的核心設計將基于傳統的電力運行數據倉庫為基礎,實現功能主要為基礎分析、地域分析、數據挖掘及數據共享幾大模塊。其擴展的應用為運營管理、產品APP開發、客戶服務、數據預測及擴展分析幾項功能。本項目擬在Hadoop框架平臺上運行。通過建立對傳統的應用/Web層同Hadoop之間的聯系,來實現上述功能的實現。
3.2 實現功能模塊介紹
3.2.1 基礎分析
傳統電力數據由于多來源于電力系統內部,數據種類較少但是信息數量龐大,缺乏智能化分析手段,導致其更新周期過長,圖形化形象化不足,往往導致為決策層提供的數據不夠豐富。而針對電網的相應的評估多以經驗為主。通過對下層數據的收集,并對實時、周期數據的抓取,可以迅速獲得電網及企業運行的實際狀況,特別是以大量圖像化的資料配合數據,可以使企業針對運營的真實情況進行響應。
3.2.2 地域分析
電力部門的特性決定了其地域性的特點,不同地區的電力數據多以數據化的形式存在。單一的數據導致對各地用電、配電的實際狀況掌控不足,特別是進一步對下一級地市區電力數據的細化,并配合階段性的實時變化,往往針對性不足,通過對電網大數據的使用,可以直接對不同地域的實際情況進行快速分析,并得出結論。
3.2.3 數據挖掘
針對電力大數據,配合工業、農業、商業、物流等行業的用電情況。可以快速有效的反映城市公共建設及經濟運行的真實狀況。通過對電力大數據的充分挖掘,可以為政府的基礎設施建設及公共服務提供實際支持,對本地企業,通過對大數據的挖掘,可以針對不同行業及領域企業的實際需求給與幫助,大大提高了企業的效率。
3.2.4 數據共享
通過對于電力公共大數據的整理及評估,得出相應的指導意見,并將其向社會公布,為公眾提供參考。而對于戰略性細化的數據,則可在大數據平臺下,向政府的各級部門有限的共享,分級評估,分級管理,分級共享,可以將電力大數據的實際功能最大化。
3.3 擴展的應用
3.3.1 運營管理
為該大數據應用數據庫的核心功能。通過對于底層數據的抓取,對數據倉庫內的相關數據進行整合過濾。而這些經過整合后的大數據,則可直接為本集團內部的運營提供幫助。與傳統的數據直接整合不同,大數據庫可對重復信息、無用信息實時過濾。而且由于大數據倉庫可以在任何時間節點截止,并快速響應,為電力企業的實際運營提供了極大的便利。
3.3.2 產品APP開發
從企業的角度出發,可以通過對電力大數據的深度挖掘,以實際需要為藍本,為企業的相關人員提供APP軟件服務。從社會角度出發,可以為公眾提供APP接入端口,將付費,通知等項目整合,進一步增加大數據的信息量。
3.3.3 客戶服務
由枯燥的數據分析轉變為大數據過濾。通過大數據倉庫的篩選,面向企業的實際需要進行服務,與相關行業部門的對接。通過這項服務,可以將部門內部的數據,整合為圖形化的資料,以方便企業的使用。
3.3.4 數據預測及擴展分析
根據以往整合的大數據平臺,可以為部門內的電力供應及配電情況進行實際分析,并可根據已知的數據建立不同區域的模型,對配電過程中的事故隱患進行排查,根據電力數據的波動帶入模型,提升企業運行的效率。綜合企業運行的各項參數,設置不同的應急預案,充分利用大數據平臺的優勢。
隨著信息化技術的提升、大數據時代的來臨,未來電網將在大數據的支持下,向著智能化邁進,而如何基于大數據平臺,提高電網的運行效率,增強企業的競爭力,向公眾、政府提供更好更安全的服務,充分研究大數據平臺在電網中的應用,勢在必行,通過本研究,可以為未來大數據同電網的結合提供切入點,促進電力行業的數字化進步。
參考文獻
[1]程學旗.大數據系統和分析技術綜述[J]. 軟件學報,2014(09):1889-1908.
[2]孟小峰,慈祥.大數據管理:概念、技術與挑戰[J].計算機研究與發展,201350(1):146-169.
作者單位
國網遼寧省電力有限公司沈陽供電公司 遼寧省沈陽市 110000