智能電網(wǎng)大數(shù)據(jù)技術(shù)的發(fā)展研究

黃偉　曹健

摘要：大數(shù)據(jù)指的是智能電網(wǎng)運(yùn)行、檢修和管理過程中會(huì)產(chǎn)生海量異構(gòu)、多態(tài)的狀態(tài)數(shù)據(jù)，文章闡述了在商業(yè)、互聯(lián)網(wǎng)等領(lǐng)域的大數(shù)據(jù)處理技術(shù)，從大數(shù)據(jù)傳輸、存儲(chǔ)、處理等方面對(duì)智能電網(wǎng)大數(shù)據(jù)面臨的機(jī)遇和挑戰(zhàn)做出了具體的分析。

關(guān)鍵詞：大數(shù)據(jù)；智能電網(wǎng)；技術(shù)；挑戰(zhàn)；展望

0 引言

近年來，電力工業(yè)以智能電網(wǎng)為發(fā)展方向，智能電網(wǎng)吸納了計(jì)算機(jī)等現(xiàn)代科學(xué)技術(shù)，提高了電網(wǎng)運(yùn)行市場(chǎng)的功能協(xié)調(diào)與系統(tǒng)運(yùn)行效率，同時(shí)有效的降低成本，減弱了對(duì)外界環(huán)境的影響，為電力工業(yè)電網(wǎng)的系統(tǒng)發(fā)展的可靠與穩(wěn)定性奠定了基礎(chǔ)。

智能電網(wǎng)屬于全面的電力系統(tǒng)網(wǎng)絡(luò)，涵蓋著發(fā)電、輸電、變電、配電、用電等環(huán)環(huán)節(jié)，屬于實(shí)時(shí)的全景控制系統(tǒng)網(wǎng)絡(luò)。實(shí)現(xiàn)智能電網(wǎng)的安全、可靠的目標(biāo)必須以實(shí)時(shí)數(shù)據(jù)采集、分析以及處理的技術(shù)為依托，提高多源數(shù)據(jù)的分析效率。

廣義上講，大數(shù)據(jù)不僅是對(duì)各種復(fù)雜數(shù)據(jù)的捕捉、處理，還包括其處理數(shù)據(jù)的技術(shù)體系、理論與方法技術(shù)。隨著科技的發(fā)展，智能電網(wǎng)逐漸普及并利用于交通、醫(yī)療等行業(yè)，作為一項(xiàng)高科技技術(shù)依托的應(yīng)用。起初，智能電表與傳感技術(shù)的應(yīng)用為智能電網(wǎng)的興起奠定了市場(chǎng)基礎(chǔ)，大數(shù)據(jù)利用其本身的管理與技術(shù)價(jià)值為工業(yè)帶來了優(yōu)質(zhì)的服務(wù)，為電力公司拓寬了業(yè)務(wù)范圍，使工業(yè)界與服務(wù)界產(chǎn)生了根本性的變革。

1 智能電網(wǎng)大數(shù)據(jù)處理技術(shù)

1.1 大數(shù)據(jù)處理的價(jià)值和復(fù)雜性

近年來，大數(shù)據(jù)已經(jīng)成為全世界科技界和產(chǎn)業(yè)界關(guān)注的趨勢(shì)，美國倡導(dǎo)加強(qiáng)大數(shù)據(jù)的研究，認(rèn)為大數(shù)據(jù)會(huì)對(duì)科技與經(jīng)濟(jì)發(fā)展帶來重大的影響，對(duì)大數(shù)據(jù)控制也將成為國家間和企業(yè)間重要的競(jìng)爭(zhēng)點(diǎn)。然而目前全球?qū)?shù)據(jù)的存儲(chǔ)和處理能力已不能滿足數(shù)據(jù)增長的趨勢(shì)，大數(shù)據(jù)在智能電網(wǎng)建設(shè)中的技術(shù)仍需要大力的研究，云計(jì)算平臺(tái)可靠性與可擴(kuò)展性較高，并且成本低，有利于技術(shù)的普及，可以用于智能電網(wǎng)的數(shù)據(jù)管理與設(shè)備監(jiān)測(cè)，為大數(shù)據(jù)處理提供了新的平臺(tái)，有效的減少了數(shù)據(jù)處理軟件開發(fā)的數(shù)量。但是，云計(jì)算平臺(tái)不具備較高的實(shí)用性，對(duì)于大數(shù)據(jù)挖掘功能還有一定的挑戰(zhàn)，面臨著大數(shù)據(jù)的多樣化發(fā)展，對(duì)公共數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)挖掘與處理要求也越來越高，處理大數(shù)據(jù)包含著在線、離線、流數(shù)據(jù)和圖數(shù)據(jù)等等類型，需要利用復(fù)雜混合計(jì)算方式進(jìn)行大數(shù)據(jù)的處理，要突破智能電網(wǎng)大數(shù)據(jù)技術(shù)局限性，探討出可行性高的解決方案。

1.2 云計(jì)算在智能電網(wǎng)中的應(yīng)用

云計(jì)算技術(shù)的核心是海量數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)并行處理技術(shù)，是大數(shù)據(jù)處理技術(shù)的重要組成部分。傳統(tǒng)的數(shù)據(jù)技術(shù)對(duì)于大數(shù)據(jù)的類型與分布不相適應(yīng)，但云計(jì)算技術(shù)基于其本質(zhì)特征很好的替代了傳統(tǒng)技術(shù)的智能電網(wǎng)數(shù)據(jù)儲(chǔ)存與處理。

電力設(shè)備狀態(tài)的監(jiān)測(cè)數(shù)據(jù)是智能電網(wǎng)中數(shù)據(jù)量最大的數(shù)據(jù)類型，包含著設(shè)備基本信息、實(shí)驗(yàn)數(shù)據(jù)等各方面的數(shù)據(jù)信息，并且對(duì)信息的實(shí)時(shí)性要求非常高。對(duì)于智能電網(wǎng)狀態(tài)數(shù)據(jù)監(jiān)測(cè)，云計(jì)算技術(shù)結(jié)合了Hadoop等虛擬化技術(shù)，利用列存儲(chǔ)的管理模式實(shí)現(xiàn)了數(shù)據(jù)有效的存儲(chǔ)，提高了狀態(tài)數(shù)據(jù)的實(shí)時(shí)性與可靠性。

在國內(nèi)電力行業(yè)中由于電力系統(tǒng)資源利用效率不高，相關(guān)人士對(duì)云計(jì)算資源管理平臺(tái)做出了框架與模式的改善，對(duì)于仿真云計(jì)算的進(jìn)行層次設(shè)計(jì)，利用數(shù)據(jù)業(yè)務(wù)流程進(jìn)行ERP數(shù)據(jù)的備份，結(jié)果還在探索之中。未來云計(jì)算與互聯(lián)網(wǎng)結(jié)合是智能電網(wǎng)系統(tǒng)運(yùn)作的新方向，完善電力設(shè)備狀態(tài)監(jiān)測(cè)存儲(chǔ)系統(tǒng)，提高云計(jì)算平臺(tái)對(duì)數(shù)據(jù)處理的可靠性是我國正在探索的目標(biāo)。

在國外，云計(jì)算在智能電網(wǎng)中的應(yīng)用相對(duì)成熟一些，很多的云計(jì)算平臺(tái)已具備較為完善運(yùn)行系統(tǒng)，能夠滿足用戶對(duì)數(shù)據(jù)的實(shí)時(shí)查詢與海量瀏覽，實(shí)現(xiàn)了云計(jì)算平臺(tái)對(duì)實(shí)時(shí)數(shù)據(jù)監(jiān)測(cè)與管理。

應(yīng)用目前已用于海量數(shù)據(jù)的存儲(chǔ)和簡(jiǎn)單處理，已有實(shí)現(xiàn)并的實(shí)際。分析了電力系統(tǒng)中不同用戶的需求，設(shè)計(jì)了用于實(shí)時(shí)數(shù)據(jù)流管理的智能電網(wǎng)數(shù)據(jù)云模型，特別適合處理智能電網(wǎng)中產(chǎn)生的流式數(shù)據(jù)，同時(shí)基于該模型實(shí)現(xiàn)了一個(gè)的智能測(cè)量與管理。日本Kyushu電力公司對(duì)智能電網(wǎng)的軟件數(shù)據(jù)處理運(yùn)行做出了研究與分析，利用云計(jì)算平臺(tái)實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)的處理與管理，有效的提高了數(shù)據(jù)監(jiān)控以及運(yùn)行的可靠性和可擴(kuò)展性，為智能電網(wǎng)大數(shù)據(jù)的云計(jì)算發(fā)展提供了很大的機(jī)遇。

2 智能電網(wǎng)大數(shù)據(jù)技術(shù)的機(jī)遇與挑戰(zhàn)

2.1 大數(shù)據(jù)傳輸及存儲(chǔ)技術(shù)

隨著智能電網(wǎng)的不斷發(fā)展，電力系統(tǒng)在運(yùn)作過程中產(chǎn)生的監(jiān)測(cè)數(shù)據(jù)越來越龐大，海量數(shù)據(jù)的傳輸記錄造成了監(jiān)控設(shè)備的巨大負(fù)擔(dān)，為智能電網(wǎng)的進(jìn)一步智能化發(fā)展產(chǎn)生了一定的制約。然而，數(shù)據(jù)壓縮技術(shù)的提出大大的減少數(shù)據(jù)傳輸量，快速的提高了數(shù)據(jù)傳輸效率，被人們密切的重視與廣泛的關(guān)注。

相關(guān)研究人員對(duì)電力系統(tǒng)的數(shù)據(jù)做出了具體的探究與分析，提出了參數(shù)化壓縮計(jì)算法，即在電線監(jiān)測(cè)中采用無線的數(shù)據(jù)壓縮，擺脫了寬帶網(wǎng)絡(luò)的束縛，實(shí)現(xiàn)了電流采樣頻率數(shù)據(jù)的傳輸優(yōu)化，完成了海量電路狀態(tài)數(shù)據(jù)的輸送與管理。數(shù)據(jù)壓縮有效的為系統(tǒng)減少了存儲(chǔ)空間，但不合理的數(shù)據(jù)計(jì)算方式會(huì)造成壓縮和解壓過程的資源耗費(fèi)，導(dǎo)致不但沒有實(shí)現(xiàn)資源效率的提高，還造成了資源的不合理配置與浪費(fèi)。

在數(shù)據(jù)存儲(chǔ)方面，智能電網(wǎng)中的數(shù)據(jù)的儲(chǔ)存可以利用分布式文件系統(tǒng)，這種系統(tǒng)具有存儲(chǔ)海量數(shù)據(jù)的特點(diǎn)，但在數(shù)據(jù)實(shí)時(shí)性上不能有效的保證。因此，要根據(jù)大數(shù)據(jù)的性能進(jìn)行存儲(chǔ)分類，對(duì)核心業(yè)務(wù)數(shù)據(jù)使用并行數(shù)據(jù)倉庫系統(tǒng)；對(duì)實(shí)時(shí)性要求高的數(shù)據(jù)采用實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)；對(duì)非結(jié)構(gòu)化數(shù)據(jù)采用分布式文件系統(tǒng)。

智能電網(wǎng)中的數(shù)據(jù)格式與傳統(tǒng)數(shù)據(jù)差異很明顯，智能電網(wǎng)中的數(shù)據(jù)生成周期快，波形數(shù)據(jù)占較大的比重。要加快傳統(tǒng)商業(yè)數(shù)據(jù)向智能電網(wǎng)數(shù)據(jù)的轉(zhuǎn)變，對(duì)電網(wǎng)大數(shù)據(jù)的存儲(chǔ)格式與形式進(jìn)行深入的研究與分析，有助于今后對(duì)大數(shù)據(jù)分析與管理。

利用計(jì)算機(jī)算法對(duì)數(shù)據(jù)異構(gòu)處理的模式雖然不能保證較高的效率，但是在同質(zhì)數(shù)據(jù)的處理上具有很大的優(yōu)越性，將智能電網(wǎng)中的大數(shù)據(jù)轉(zhuǎn)換成同質(zhì)結(jié)構(gòu)是實(shí)現(xiàn)科學(xué)、快速儲(chǔ)存的關(guān)鍵性技術(shù)。智能電網(wǎng)中存在海量非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，我們要科學(xué)分析并探究出結(jié)構(gòu)轉(zhuǎn)化的有效方法，這是實(shí)現(xiàn)智能電網(wǎng)大數(shù)據(jù)儲(chǔ)存的一項(xiàng)關(guān)鍵的挑戰(zhàn)。

2.2 實(shí)時(shí)數(shù)據(jù)處理技術(shù)

對(duì)大數(shù)據(jù)而言，數(shù)據(jù)處理速度十分重要。一般情況下，數(shù)據(jù)規(guī)模越大，分析處理的時(shí)間就會(huì)越長。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方案是為一定大小的數(shù)據(jù)量而設(shè)計(jì)的，在其設(shè)計(jì)范圍內(nèi)處理速度可能非常快，但不能適應(yīng)大數(shù)據(jù)的要求。未來智能電網(wǎng)環(huán)境下，從發(fā)電、輸變電環(huán)節(jié)，到用電環(huán)節(jié)，都需要實(shí)時(shí)數(shù)據(jù)處理。目前的云計(jì)算系統(tǒng)可以提供快速的服務(wù)，但有可能會(huì)受到短暫的網(wǎng)絡(luò)擁塞，甚至是單臺(tái)服務(wù)器故障的影響，而不能保證響應(yīng)時(shí)間。

內(nèi)存數(shù)據(jù)庫指的是放在內(nèi)存中可以進(jìn)行直接操作的數(shù)據(jù)的集合，近年來受到相關(guān)研究人員的關(guān)注。利用內(nèi)存儲(chǔ)存數(shù)據(jù)能有效的提高數(shù)據(jù)讀寫的速度，相對(duì)于磁盤上數(shù)據(jù)的讀取具有很大的優(yōu)勢(shì)。內(nèi)存數(shù)據(jù)庫目前在智能電網(wǎng)中數(shù)據(jù)處理的應(yīng)用效率高，還很大程度上提高了數(shù)據(jù)的實(shí)時(shí)性，對(duì)與我國用電過剩地區(qū)的用電問題提供了新的解決思路，利用大用戶的數(shù)據(jù)集成進(jìn)行智能電表的制作，為實(shí)現(xiàn)對(duì)各地電能消費(fèi)情況的宏觀分析與預(yù)防提供了解決方案。在大數(shù)據(jù)的檢索方面，也是一個(gè)巨大的挑戰(zhàn)。一般索引結(jié)構(gòu)只支持簡(jiǎn)單數(shù)據(jù)，而制定具有復(fù)雜結(jié)構(gòu)的大數(shù)據(jù)索引系統(tǒng)仍是現(xiàn)階段我們需要解決的問題。

發(fā)電企業(yè)要求實(shí)現(xiàn)自動(dòng)化與實(shí)時(shí)監(jiān)控，實(shí)現(xiàn)信息的集成與共享，正常的大數(shù)據(jù)處理系統(tǒng)在TCP/IP協(xié)議時(shí)容易出現(xiàn)故障，云計(jì)算系統(tǒng)有利于維護(hù)數(shù)據(jù)的穩(wěn)定性與可靠性，但不能滿足實(shí)時(shí)數(shù)據(jù)管理的需要。輸電環(huán)節(jié)對(duì)處理數(shù)據(jù)的平臺(tái)性能要求較高，提升云平臺(tái)對(duì)監(jiān)測(cè)數(shù)據(jù)的性能有助于增強(qiáng)智能電網(wǎng)的自愈功能，比如大規(guī)模停電事故就是由于監(jiān)控信息的缺失，因此建立全面監(jiān)測(cè)數(shù)據(jù)系統(tǒng)，實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)跟蹤是現(xiàn)階段急需解決的問題。未來智能電網(wǎng)環(huán)境下實(shí)現(xiàn)低成本是主要趨勢(shì)，例如家庭設(shè)備會(huì)采用電量低谷時(shí)段運(yùn)行，可見實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)的管理已變得越來越重要。

近年來，國內(nèi)外對(duì)于智能電網(wǎng)大數(shù)據(jù)技術(shù)的研究仍處于探索階段，大數(shù)據(jù)信息系統(tǒng)存在一些操作問題，不能實(shí)現(xiàn)較為便捷的數(shù)據(jù)獲取與實(shí)時(shí)監(jiān)控的功效，相關(guān)技術(shù)還正在完善與成熟中，對(duì)智能電網(wǎng)大數(shù)據(jù)技術(shù)的發(fā)展研究還需要一個(gè)漫長而復(fù)雜的過程。