阮伶杰
摘 要:近些年來,隨著社會發展對電力需求的不斷增加,我國電網工程的建設規模也在不斷擴大,電力系統數據量也在持續增長。在這一背景下,傳統的智能配電網運行數據監控平臺已經無法滿足當前電力用戶的現實需求,且無法對數據進行更加高效的整合。基于此,本文章主要針對大數據背景下智能配電網運行監控平臺關鍵技術的應用展開了深入的分析與探究。
關鍵詞:大數據;智能配電網;監控平臺;關鍵技術;應用分析
在大數據時代背景下,多數電力企業都在使用網絡系統來存儲自身的運行管理信息,因此在日常工作中就需要對大量數據實施綜合的處理分析。在這種情況下,電力企業就需要采用各種先進的技術,結合自身情況來構建一個完善的監控管理平臺,充分發揮監控管理平臺在智能電網運行過程中的中心樞紐作用,以便工作人員對各項數據實施存儲、處理與分析工作進而確保智能配電網的高效、穩定與安全運行。
1 關系數據與分布式存儲同步技術
從本質上來講,關系數據庫與分布式存儲同步技術,二者之間的數據是可以相互調取的,可以對數據進行更加準確與高效的分析處理。在具體實踐中,工作人員還可以對關系數據庫中的數據實施分布存儲,并將數據調取到關系數據庫當中。
在一般情況下,大數據主要是憑借分布式存儲技術來完成數據存儲任務的。其中,多數數據均來源于企業的數據倉庫與關系數據庫。在數據傳輸的過程中,工作人員要注意數據在分布式存儲與關系型數據庫之間的無縫傳輸,并且要高度重視數據傳輸的速度與質量,盡可能不影響到正常的工作。與此同時,由于傳統的數據傳輸工具只可以做到同存儲數據機制間的同步,無法實現兩種不同存儲機制間數據的同步,例如關系數據庫與分布式存儲,因此就十分有必要發揮與應用關系數據庫與分布式存儲同步技術的作用與優勢。
2 文件采集與處理技術
在當前背景下,數據平臺中的數據來源途徑較為多樣化,一方面,數據來源于數據倉庫、數據中心;另一方面,數據來源于舊平臺中沒有經過處理的各類文件當中,這些數據、文件的結構均較為混亂,且有價值的信息較少。針對于這種情況,就要利用大數據監控平臺中分布式存儲這種方法來進行存儲,將數據肢解成辦結構化與結構化[1],以此來將數據更加完整的存儲到大數據平臺當中,以此來大大提升數據存儲的經濟性。
在智能配電網運行監控平臺當中,數據處理技術主要是指對存儲系統中相關數據的處理,具體涵蓋了數據分類與分表等。其中,數據分庫處理就是指根據系統中已經設定好的處理規定,對有價值的數據完整的傳輸與存儲到各個不同的數據庫當中。這不僅可以實現數據的分門別類存儲,同時也能夠充分利用各類數據。數據分區處理作為一種有效的數據處理技術,具體來講就是把通表數據有目的性的賦予到相關文件當中,以此來減輕大型表的壓力,明顯改善數據訪問功能,對系統運行實施優化。數據分表處理技術就是依據系統已設定好的規則來有序構建各類數據表,有效緩解單表壓力。除此之外,電力企業也可以建造縱列式與并行式的數據庫,以此來大大提升數據的加載速率與查詢效率。
3 數據分析關鍵技術
在對大數據進行分析時,首先要將信號轉化成數據,再對數據展開相應的處理與分析,形成有效的信息。其次,工作人員要對上述信息進行總結,并從中獲取相應的知識,以便為電力企業的日常管理工作與運行決策提供有價值的借鑒與參考。在大數據背景下,數據分析關鍵技術多運用于大型信息數據庫當中,可以幫助工作人員從龐大的信息數據中挖掘出隱藏的規律與形態,進而對電力企業的日常運行狀況進行客觀的總結,并協助管理人員制定出更加具有針對性的決策,促進電力企業的健康發展。
4 分布式文件系統
分布式文件系統主要是指文件系統中的物理資源在服務器模式下,是可以不直接連接在本地節點上的,而是可以連接在更加先進的互聯網網絡與節點上。在實際應用中,分布式文件系統可以將相關文件數據存儲在分散存儲介質上,這不僅可以在一定程度上降低存儲成本,為文件訪問提供統一的訪問接口,同時也能夠大大提升其容錯性[2]。目前,隨著分布式文件系統的廣泛普及與應用,不僅有效解決數量龐大數據的存儲難這一難題,同時也可以憑借其自身所具備的全分布式架構、在線擴容減容、數據塊粒度切分以及復制備份等多項關鍵技術,穩定支撐規模在PB級以上的數據在線存儲,以此來進一步增強大數據存儲的安全性、經濟性,實現存儲的可任意擴容性。
5 平臺架構內容
在業務系統大數據應用的管理、開發與處理等各個環節當中,大數據監控平臺可以為其提供基礎的框架,框架內容主要涵蓋了數據整合、數據存儲、數據計算、數據分析、配置管理以及安全管理等若多個方面的,并且也能夠為業務應用提供多種形式的服務支撐。
數據整合:工作人員可以采用調取數據、實時采集數據,對數據庫進行實時復制等一系列技術來從外部數據源中系統的采集與抽取結構化、半結構化以及非結構化數據,同時也可以對數據進行實時與非實時的采集。
數據存儲:主要是負責大數據的存儲工作。簡單來講就是根據全數據類型與多樣化計算的要求,以快速查詢、讀取以及海量規模存儲為特征,將外部數據源中的數據完整的存儲起來,以此來為數據處理層的高級應用提供強大的數據支撐。
數據計算:不僅可以為各類大數據提供多種計算功能,例如流計算、查詢計算與內存計算等,同時也能夠實現分布式存儲數據與文件數據的計算與查詢。其中,流計算技術可以為工作人員提供實時分析處理的計算能力,進而有效實現實時預警與決策等。
數據分析:通過對各類數據的分析、加工與處理,可以將其轉換為有效的信息,從中挖開出新的業務價值,并為電力企業日后的業務指明方向,提供科學的決策依據。
平臺服務:主要是指對底層數據分析工具與組件等工作實施封裝后,充分發揮其在業務系統大數據應用期間的支撐作用,并提供相應的數據存儲、數據計算、數據分析與數據處理服務。
安全管理:在大數據環境下,安全管理就是指在數據采集、存儲與應用等多個環節中,需要進行身份驗證、授權以及輸入驗證答案等一系列安全問題。目前,由于數據包含著大量的信息,因此在對數據實施分析與處理時,就極易可能會涉及到一些與企業機密相關的數據,為此,電力企業要想避免發生數據泄露與失竊等情況的發生,就要合理設置訪問權限等多種安全防護程度,以此來確保大數據存儲與處理的安全性[3]。
管理配置:主要是用來監控大數據處理期間的各項性能指標,例如資源利用率、接口使用情況與整體運行狀態等,并可以及時排除關鍵系統險情,快速拓展應用功能,對大數據中的存儲資料與計算資源進行合理的配置與高效的管理。
結束語:
總而言之,電力企業要想在大數據背景下實現更好更快的發展,就要高度重視電力系統中文件數據的處理工作,從根本上保障數據存儲與處理的高效性與準確性。與此同時,電力企業也要積極構建系統的電力數據監控平臺,熟練掌握其中的關鍵技術,以此來大大提升電力企業的數據存儲能力與分析能力,幫助企業更好的優化系統結構,為企業管理決策提供更加有價值的參考與借鑒,進而進一步提升電力企業的經濟效益。
參考文獻:
[1]王興念,李宏偉,施振華,等.基于大數據的智能配電網運行監控平臺關鍵技術研究與應用[J].電工技術,2017,(2):9-12.
[2]雷漢樟.解析大數據的智能配電網運行監控平臺關鍵技術[J].通訊世界,2018,(8):116-117.
(國網重慶市電力公司璧山供電分公司,重慶 萬州 404100)