智能電網應用基礎上的電力大數據關鍵技術研究

黃凌云 唐穎 馬群

摘 要：大數據為智能電網的發展注入新的活力，掌握電力大數據的關鍵技術對電力行業的可持續發展和堅強智能電網的建立具有重要意義。在分析大數據、云計算、智能電網三者關系的基礎上，給出具有通用性的電力大數據平臺總體架構，并從電力大數據的集成管理技術、數據分析技術、數據處理技術、數據展現技術4 個方面深入探討符合電力企業發展需求的大數據關鍵技術的選擇。最后通過3 個典型案例，分析了電力大數據關鍵技術在新能源并網、風電機組安全評估、電網災難預警上的應用。大數據關鍵技術在電力行業的廣泛應用必將帶來行業的變革，將智能電網的發展推向新的階段。

關鍵詞：大數據；云計算；智能電網；數據集成；數據分析；數據處理；數據展現

引言

電力系統作為經濟發展和人類生活依賴的能量供給系統，也具有大數據的典型特征。電力系統是最復雜的人造系統之一，其具有地理位置分布廣泛、發電用電實時平衡、傳輸能量數量龐大、電能傳輸光速可達、通訊調度高度可靠、實時運行從不停止、重大故障瞬間擴大等特點，這些特點決定了電力系統運行時產生的數據數量龐大、增長快速、類型豐富，完全符合大數據的所有特征，是典型的大數據。在智能電網深入推進的形勢下，電力系統的數字化、信息化、智能化不斷發展，帶來了更多的數據源，例如智能電表從數以億計的家庭和企業終端帶來的數據，電力設備狀態監測系統從數以萬計的發電機、變壓器、開關設備、架空線路、高壓電纜等設備中獲取的高速增長的監測數據，光伏和風電功率預測所需的大量的歷史運行數據、氣象觀測數據等。因此在電力系統數據爆炸式增長的新形勢下，傳統的數據處理技術遇到瓶頸，不能滿足電力行業從海量數據中快速獲取知識與信息的分析需求，電力大數據技術的應用是電力行業信息化、智能化發展的必然要求。

2 電力大數據的集成管理技術

電力企業數據集成管理技術是合并來自2 個或者多個應用系統的數據，創建一個具有更多能的企業應用的過程。從集成的角度來說，就是把不同來源、格式、特點、性質的數據在邏輯上或者存儲介質上有機地集中，為系統存儲一系列面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，從而為系統提供全面的數據共享。電力企業集成管理技術就是解決電力企業內部各系統間的數據冗余和信息孤島而產生的。電力大數據的數據集成管理技術，包含關系型和非關系型數據庫技術、數據融合和集成技術、數據抽取技術、過濾技術和數據清洗等[。大數據的一個重要特點就是多樣性，這就意味著數據來源極其廣泛，數據類型極為繁雜，這種復雜的數據環境給大數據的處理帶來極大的挑戰，要想處理大數據，首先必須對數據源的數據進行抽取和集成，從中提取出實體和關系，經過關聯和聚合之后采用統一的結構來存儲這些數據，在數據集成和提取時需要對數據進行清洗，保證數據質量及可靠性。

3 電力大數據的數據分析技術

大數據技術的根本驅動力是將信號轉化為數據，將數據分析為信息，將信息提煉為知識，以知識促成決策和行動[12]。借助電力大數據的分析技術可以從電力系統的海量數據中找出潛在的模態與規律，為決策人員提供決策支持。麥肯錫認為可用于大數據分析的關鍵技術源于統計學和計算機科學等學科，包含關聯分析、機器學習、數據挖掘、模式識別、神經網絡、時間序列預測模型、遺傳算法等多種不同的方法[19]。大數據研究不同于傳統的邏輯推理研究，是對巨大數量的數據做統計性的搜索、分類、比較、聚類等的分析和歸納，因此繼承了統計科學的一些特點，如統計學關注的數據相關性或稱關聯性，所謂“相關性”是指2 個或2 個以上變量的取值之間存在某種規律性。

4 電力大數據的數據處理技術

電力大數據的數據處理技術包括分布式計算技術，內存計算技術，流處理技術等，這3 種技術適用的對象和解決的主要問題如圖5 所示。分布式計算技術是為了解決大規模數據的分布式存儲與處理。內存計算技術是為了解決數據的高效讀取和處理在線的實時計算。流處理技術則是為了處理實時到達的、速度和規模不受控制的數據。分布式計算是一種新的計算方式，研究如何將一個需要強大計算能力才能解決的問題分解為許多小的部分，然后再將這些部分分給多個計算機處理，最后把結果綜合起來得到最終結果。分布式計算的一個典型代表是Google 公司提出的MapReduce 編程模型，該模型先將待處理的數據進行分塊，交給不同的Map 任務區處理，并按鍵值存儲到本地硬盤，再用Reduce 任務按照鍵值將結果匯總并輸出最終結果。分布式技術適用于電力系統信息采集領域的大規模分散數據源。內存計算技術是將數據全部放在內層中進行操作的計算技術，該技術克服了對磁盤讀寫操作時的大量時間消耗，計算速度得到幾個數量級的大幅提升。內層計算技術伴隨著大數據浪潮的來臨和內存價格的下降得到快速的發展和廣泛的應用，EMC、甲骨文、SAT 都推出了內存計算的解決方案，將客戶以前需要以天作為時間計算單位的業務降低為以秒作為時間計算單位，解決了大數據實時分析和知識挖掘的難題。流處理的處理模型是將源源不斷的數據組視為流，當新的數據到來時就立即處理并返回結果，其基本理念是數據的價值會隨著時間的流逝而不斷減少，因此盡可能快地對最新的數據做出分析并給出結果，其應用場景主要有網頁點擊的實時統計、傳感器網絡、金融中的高頻交易等。隨著電力事業的發展，電力系統數據量不斷增長，對實時性的要求也越來越高，將數據流技術應用于電力系統可以為決策者提供即時依據，滿足實時在線分析需求。

5 電力大數據的數據展現技術

電力大數據的數據展現技術包括可視化技術、空間信息流展示技術、歷史流展示技術等?？梢暬夹g、空間信息流展示技術、歷史流展示技術從3 個不同的方面詮釋了電力大數據展現技術的豐富內涵。借助電力大數據的數據展現技術可幫助管理人員更直觀、準確地理解電力系統數據表達的意義，了解電力系統的運行狀態?？梢暬夹g廣泛應用于電網狀態的實時監控，顯著提高了電力系統的自動化水平。未來電力系統可視化還可結合復雜網絡中的相關理論在電網自動分層分區、自動布點等方面展開深入研究，發掘電網更深層次的規律和聯系。空間信息流展示技術主要體現在電網參數與已有地理信息系統的結合上，包含變電站三維展示、虛擬現實等技術。

結束語

本文闡述了電力大數據平臺中4 個核心的關鍵技術，即集成管理技術、分析技術、處理技術、展現技術。大數據的集成管理技術應該考慮關系型和非關系型數據庫技術的綜合應用，并重點考慮NoSQL數據庫技術；大數據的分析技術應從大數據的治理與抽樣、大數據特征選擇、大數據小數據化、大數據的分類算法、大數據挖掘并行化等方面開展研究；大數據的處理技術應根據具體的應用需求考慮分布式計算、內存計算、流處理等技術；電力大數據的數據展現技術可考慮可視化技術、空間信息流展示技術、歷史流展示技術等。文章最后的典型應用案例，對電力企業開展相關研究具有參考價值。

參考文獻：

[1] 張東霞，苗新，劉麗萍，等.智能電網大數據技術發展研究[J].中國電機工程學報，2015，35（1）：2-12.

[2] 羅軍舟，金嘉暉，宋愛波，等.云計算：體系架構與關鍵技術[J].通信學報，2011，32（7）：3-21.

[3] 李志剛，朱志軍.大數據：大價值、大機遇、大變革[M].北京：電子工業出版社，2012：182.