智能電網(wǎng)大數(shù)據(jù)處理技術(shù)研究

馬興明

（國網(wǎng)大慶供電公司 黑龍江 大慶 163458）

1 引言

大數(shù)據(jù)是指需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，其已經(jīng)在很多領域比如互聯(lián)網(wǎng)金融、電商等得到廣泛應用，并取得了極好的效果。智能電網(wǎng)作為國計民生的基礎性工程，為人們的生活和工作提供了全天候的多元化能量供應。如果借助大數(shù)據(jù)的技術(shù)與理念，將電力系統(tǒng)的眾多數(shù)據(jù)進行整合和挖掘分析，將得到更多的功能和效果。對此探討智能電網(wǎng)中大數(shù)據(jù)應用平臺的設計架構(gòu)，以及需要使用的大數(shù)據(jù)相關(guān)技術(shù)，是十分必要的。

2 智能電網(wǎng)與大數(shù)據(jù)技術(shù)

智能電網(wǎng)是信息化技術(shù)對傳統(tǒng)電網(wǎng)的改造，因為引入了實時通信技術(shù)和信息處理技術(shù)，能夠使得傳統(tǒng)的電力供應網(wǎng)絡具有更高的安全性、實時控制性、環(huán)保性、可靠性和節(jié)約性。當然，智能電網(wǎng)本身也是一個相對的概念，其相對傳統(tǒng)的電力供應系統(tǒng)來說，具有了一定的智能化功能，但隨著信息技術(shù)的不斷發(fā)展，更加新穎的功能會進一步被融入進來，使得智能電網(wǎng)本身也得到進步。大數(shù)據(jù)技術(shù)能夠根據(jù)海量的數(shù)據(jù)，通過一定的計算方式，找出其中的有效規(guī)律，進而得出一定的結(jié)論并采取針對性舉措的技術(shù)。電力的供應也涵蓋了很多數(shù)據(jù)類型，對其進行有效地分析挖掘，進一步在供電的安全可靠性、能源節(jié)約性方面進行優(yōu)化，是十分可取的。

3 電力大數(shù)據(jù)中心的架構(gòu)設計

在軟件工程領域，業(yè)界已經(jīng)形成了固定的軟件開發(fā)思路，模板化的系統(tǒng)架構(gòu)。而在大數(shù)據(jù)平臺領域，同樣存在相對城市的結(jié)構(gòu)體系。對于智能電網(wǎng)大數(shù)據(jù)平臺來說，其通常包含了6個層次，從下至上分別是設備層、操作系統(tǒng)層、數(shù)據(jù)框架層、網(wǎng)絡層、訪問層和數(shù)據(jù)應用層。其中設備層是指具有較大存儲功能和計算能力的服務器以及服務器群，以最基礎的形式來存儲各類格式的數(shù)據(jù)。操作系統(tǒng)則是指安裝在服務器中的操作系統(tǒng)，業(yè)界通常采用以Linux為集成核心的centos系統(tǒng)，很少采用微軟公司推出的可視化操作界面的服務器操作系統(tǒng)。數(shù)據(jù)層主要利用專業(yè)的數(shù)據(jù)庫軟件，采用合理的算法對數(shù)據(jù)進行存儲和處理。網(wǎng)絡層是指不同服務器、服務器與終端之間的通信功能層面。訪問層則在網(wǎng)絡基礎之上完成安全地訪問功能，數(shù)據(jù)應用層是最高層，也是人們直接使用的層面，利用可視化的界面對數(shù)據(jù)進行輸入，對分析結(jié)果進行獲取。

4 智能電網(wǎng)大數(shù)據(jù)關(guān)鍵技術(shù)分析

在智能電網(wǎng)中引入大數(shù)據(jù)技術(shù)，其關(guān)鍵需要掌握數(shù)據(jù)的集成管理、數(shù)據(jù)的挖掘與分析，數(shù)據(jù)的處理與數(shù)據(jù)的展現(xiàn)等技術(shù)要素。

4.1 大數(shù)據(jù)集成管理技術(shù)

在計算機領域，數(shù)據(jù)的概念是所有能夠文檔化的事務，其形式是多樣的，包括文字、數(shù)字、圖片、音頻、視頻等，而不同類型的數(shù)據(jù)有眾多存儲格式，比如文字數(shù)據(jù)有存儲為文本的，有存儲為文檔的，有存儲為PDF格式等；音頻則有mp3格式、m4a等類型。而在實際應用中，因為過去信息技術(shù)在實現(xiàn)不同電力功能時，多是單獨進行數(shù)據(jù)捕捉和分析的，由此是多個應用在分別工作。而在大數(shù)據(jù)技術(shù)理念下，這些在不同應用中的不同格式、不同類型的數(shù)據(jù)，需要有效地集中在一起，以統(tǒng)一的數(shù)據(jù)格式進行存儲，以能夠在后期進行合理合適地分析。也就是說，數(shù)據(jù)集成管理技術(shù)是將各個信息孤島進行整合，形成一個數(shù)據(jù)大陸。

在智能電網(wǎng)大數(shù)據(jù)技術(shù)領域，主要需要關(guān)系型數(shù)據(jù)庫技術(shù)、非關(guān)系型數(shù)據(jù)庫技術(shù)、數(shù)據(jù)融合技術(shù)、數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)濾過技術(shù)、數(shù)據(jù)清洗技術(shù)等。首先在海量的數(shù)據(jù)中對一些數(shù)據(jù)進行篩選，過濾掉明顯重復和無效的數(shù)據(jù)，然后對相關(guān)的數(shù)據(jù)進行有效地抽取和集成，利用實體、關(guān)系等結(jié)構(gòu)化思想，將數(shù)據(jù)進行聚合與關(guān)聯(lián)起來，以進一步保障數(shù)據(jù)的準確性和可靠性。近些年流行的NoSQL 技術(shù)則實行了分布式數(shù)據(jù)存儲的形式，摒棄了對關(guān)系的依賴，使得數(shù)據(jù)存儲更加簡單靈活，并具有相應的可擴展性。

4.2 大數(shù)據(jù)挖掘與分析技術(shù)

這是大數(shù)據(jù)的核心技術(shù)。即通過一定的算法，從海量的數(shù)據(jù)中找出一定的規(guī)律，并得出具有實質(zhì)性效用的結(jié)果，發(fā)現(xiàn)問題并解決問題。如何在大數(shù)據(jù)中找出非明顯的規(guī)律，則需要計算機通過一定的方式開展關(guān)聯(lián)分析、機器學習、數(shù)據(jù)挖掘、模式識別、遺傳算法、神經(jīng)網(wǎng)絡、時間序列模型等技術(shù)。數(shù)據(jù)的挖掘與分析技術(shù)，根本上講，是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在大數(shù)據(jù)理念下的進一步發(fā)展。正是因為數(shù)據(jù)量的膨脹，并具有增長快、多元化的特性，結(jié)構(gòu)多樣使得傳統(tǒng)的分析技術(shù)無能為力，只能借助更為先進的理念和技術(shù)。其一，由特征抽樣選擇的理念出發(fā)，使得大數(shù)據(jù)范圍縮小；其二，通過聚類、分類算法的實施，使得大數(shù)據(jù)得到有效地歸類；其三，利用并行算法，將數(shù)據(jù)并行化，進一步將數(shù)據(jù)的量度縮小。由此可見，借助上述三種理念，再對大數(shù)據(jù)進行傳統(tǒng)的數(shù)據(jù)挖掘與分析，能夠有效地實現(xiàn)大數(shù)據(jù)技術(shù)的效果。

4.3 數(shù)據(jù)處理技術(shù)

數(shù)據(jù)處理涵蓋了分布式計算、內(nèi)存計算、流處理等技術(shù)要素。其中分布式計算能夠解決大規(guī)模分布式存儲和處理的問題，其主要思路是將一個大的問題，通過分布式的方式變成小的問題；內(nèi)存計算則能夠高效地對數(shù)據(jù)進行讀取與處理，并進一步對實時計算的需求進行滿足，主要將各類信息置于內(nèi)層之中，有效地摒棄了對磁盤讀寫的時間消耗，提升了計算效率；流處理技術(shù)則能夠處理實時到達的、速度與規(guī)模不受控制的數(shù)據(jù)，在流處理技術(shù)中，其把一直涌現(xiàn)的數(shù)據(jù)視為水流，在經(jīng)過處理后馬上使其流出，不做任何逗留。這種算法比較適合實時性較強的數(shù)據(jù)處理需求，比如證券買賣。在智能電網(wǎng)領域，通過先進的數(shù)據(jù)處理技術(shù)，能夠較好地通過對數(shù)據(jù)的掌握，進一步對電力的安全隱患技術(shù)發(fā)現(xiàn)，并提前解決。

4.4 數(shù)據(jù)展現(xiàn)技術(shù)

數(shù)據(jù)在介質(zhì)中存儲，其形態(tài)是無法看得見的，是一種電信號狀態(tài)，而傳播也是電信號、光信號的結(jié)合。這種基層的數(shù)據(jù)形式，需要通過復雜的計算才能夠呈現(xiàn)給使用者。在電力系統(tǒng)的智能化供應和管理中，我們需要對數(shù)據(jù)清晰地可讀可見，這就需要采用數(shù)據(jù)展現(xiàn)技術(shù)。數(shù)據(jù)展現(xiàn)技術(shù)涵蓋了可視化、空間信息流展示、歷史信息流展示等方面。可視化技術(shù)提供給電力監(jiān)控室的工作人員以形象化的電力供應狀態(tài)；空間信息流展示技術(shù)能夠基于各類參數(shù)對供應系統(tǒng)的各個站點進行建模，使得人們對電力系統(tǒng)的情況知曉得更為具體；歷史流展示技術(shù)則能夠?qū)﹄娋W(wǎng)過去的相關(guān)數(shù)據(jù)進行存儲和分析，并展示出過去相關(guān)數(shù)據(jù)的發(fā)展規(guī)律，甚至對未來趨勢進行預測。

以電力中用電量趨勢為課題，我國可以從一個地區(qū)每年的用電量、不同功能區(qū)用電量、不同家電用電量等的歷年數(shù)據(jù)進行深度分析，同時和一個地區(qū)的經(jīng)濟水平、消費水平、人口、氣候等方面進行橫向?qū)Ρ龋页霾煌暯窍碌挠秒娏颗c其他因素之間的兩兩之間的相關(guān)性，以及回歸相關(guān)性，并進一步對未來該地區(qū)用電量的增長以及在區(qū)域、時間方面的分布進行預測。這就是大數(shù)據(jù)挖掘與分析技術(shù)的最常見的效用。

5 結(jié)論

綜上所述，智能電網(wǎng)覆蓋了社會經(jīng)濟的方方面面，與人們息息相關(guān)的同時也能夠捕捉大量的數(shù)據(jù)。這些數(shù)據(jù)在采用大數(shù)據(jù)技術(shù)之后，對電網(wǎng)的安全運行、災難預警、并網(wǎng)、用電效率提升等方面都有較高的應用價值。在發(fā)電、輸電、變電、配電、用電等環(huán)節(jié)都具有指導意義。對此應用大數(shù)據(jù)技術(shù)改造升級智能電網(wǎng)是十分具有前景的。

[1]黃天恩，孫宏斌，郭慶來，溫柏堅，王彬.基于電網(wǎng)運行仿真大數(shù)據(jù)的知識管理和超前安全預警[J].電網(wǎng)技術(shù)，2015，39(11)：3080-3087.