面向廣域電網(wǎng)的分布式流協(xié)同處理技術(shù)研究

相坤 楊建設(shè)

摘要：以流數(shù)據(jù)為核心主線，通過研究相關(guān)系列的流處理技術(shù)，如流采集、流存儲、流計(jì)算及流安全等，形成一套先進(jìn)的分布式流數(shù)據(jù)處理體系。通過引用自適應(yīng)編碼、時分復(fù)用及效用均值等先進(jìn)技術(shù)，提升系統(tǒng)的處理效率和預(yù)測精準(zhǔn)度。面對未來廣而大的電網(wǎng)應(yīng)用場景，能夠從容面對龐大數(shù)據(jù)流的沖擊，并且在復(fù)雜的多源異構(gòu)的數(shù)據(jù)業(yè)務(wù)接入時，能夠協(xié)同處理和精準(zhǔn)計(jì)算，為未來電網(wǎng)順利融合發(fā)展提供數(shù)據(jù)安穩(wěn)傳輸?shù)目煽勘Ｕ稀?/p>

關(guān)鍵詞：多源異構(gòu)；大數(shù)據(jù)；分布式流

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A文章編號：1008-1739（2018）23-68-4

0引言

廣域智能電網(wǎng)將涵蓋多態(tài)能源發(fā)電、長短距離靈活輸電、穩(wěn)定可靠變電及態(tài)勢感知配用電等多個環(huán)節(jié)的全景實(shí)時系統(tǒng)，支撐智能電網(wǎng)安全、自愈、綠色的基礎(chǔ)是電網(wǎng)中采集的數(shù)據(jù)，經(jīng)過合理的數(shù)據(jù)處理聯(lián)動系統(tǒng)，準(zhǔn)確掌握電網(wǎng)運(yùn)行情況，數(shù)據(jù)信息與廣域電網(wǎng)相伴而生、同伴而行[1]。

電力數(shù)據(jù)處理聯(lián)動系統(tǒng)是一個數(shù)據(jù)全壽命周期管理的平臺，從數(shù)據(jù)的產(chǎn)生、錄入、采集、存儲、計(jì)算挖掘及安全應(yīng)用系列管理流程，每一個步驟都應(yīng)選擇合適的流處理算法或手段來增強(qiáng)數(shù)據(jù)傳動的效率。例如在流采集方式選擇時，應(yīng)采用并發(fā)式采集方法，增加數(shù)據(jù)的并發(fā)量，通過強(qiáng)融合技術(shù)將跨業(yè)務(wù)數(shù)據(jù)編碼分類，刪除冗余部分，很大程度上壓縮了數(shù)據(jù)容量。流存儲是處理高效的關(guān)鍵，選擇合適的存儲器部署方式，可壓縮存儲服務(wù)器規(guī)模，提升數(shù)據(jù)調(diào)用及訪問速度。流數(shù)據(jù)挖掘是流處理的難點(diǎn)，計(jì)算分析結(jié)果直接影響業(yè)務(wù)系統(tǒng)運(yùn)行的智能性和先進(jìn)性，流安全是數(shù)據(jù)運(yùn)行系統(tǒng)的保障，新業(yè)務(wù)和網(wǎng)絡(luò)的增加都會引入不安全因素，網(wǎng)絡(luò)不法分子會通過信息攻擊手段盜取有用數(shù)據(jù)信息，而造成系統(tǒng)不穩(wěn)定運(yùn)行，因此需利用監(jiān)控、態(tài)勢感知、報警及阻斷等綜合手段進(jìn)行非法隔離[2]。

1大數(shù)據(jù)流處理系統(tǒng)

數(shù)據(jù)流是不斷到達(dá)的數(shù)據(jù)元所構(gòu)成的無限數(shù)據(jù)集，與傳統(tǒng)靜態(tài)數(shù)據(jù)相比，數(shù)據(jù)流具有無限性、時序性、噪聲性及規(guī)模不可預(yù)知性等特點(diǎn)，并且數(shù)據(jù)之間有一定的關(guān)聯(lián)性，數(shù)據(jù)流的特性會給處理過程帶來好處和挑戰(zhàn)[3]。

分布流處理系統(tǒng)是一個很復(fù)雜的過程，它由多個子系統(tǒng)組成，需要不同的子系統(tǒng)之間相互分工、共同協(xié)作。一個完整的流式數(shù)據(jù)處理系統(tǒng)由4部分組成：①數(shù)據(jù)采集系統(tǒng)：用于收集、匯總原始數(shù)據(jù)；②數(shù)據(jù)存儲子系統(tǒng)：一方面，在一些場景中需要將海量的原始數(shù)據(jù)保存較長時間，供后續(xù)數(shù)據(jù)分析及防止系統(tǒng)故障導(dǎo)致的數(shù)據(jù)丟失；另一方面，原始數(shù)據(jù)被處理之后，部分?jǐn)?shù)據(jù)會被立刻交付給應(yīng)用系統(tǒng)進(jìn)行服務(wù)程序，也有部分是需要共享或者長期保存的，將處理后的結(jié)果存儲到可靠介質(zhì)中；③數(shù)據(jù)計(jì)算：主要完成對數(shù)據(jù)的深度分析，尋找其關(guān)聯(lián)性，從而預(yù)測下一時間段出現(xiàn)的可能性或者尋找數(shù)據(jù)運(yùn)行規(guī)律，計(jì)算算法系統(tǒng)會不斷擴(kuò)容新分析算法放大到計(jì)算模型庫中；④數(shù)據(jù)安全管理：對系統(tǒng)數(shù)據(jù)全壽命周期過程的創(chuàng)建、存儲、訪問、傳輸、銷毀及回復(fù)等過程進(jìn)行安全控制。

電網(wǎng)中存在的流數(shù)據(jù)占數(shù)據(jù)信息的絕大部分份額，針對流數(shù)據(jù)的不可控性，通過系列手段對其進(jìn)行壓縮、智能處理，將數(shù)據(jù)充分融合到業(yè)務(wù)服務(wù)中，通過數(shù)據(jù)作為用戶的行為指導(dǎo)，提升電網(wǎng)的運(yùn)行經(jīng)濟(jì)性及社會服務(wù)水平。

2數(shù)據(jù)架構(gòu)層次分析

隨著全球能源互聯(lián)網(wǎng)及北電南送等概念的提出，特高壓技術(shù)支撐著長距離的輸電場景的實(shí)現(xiàn)，智能電網(wǎng)已經(jīng)不僅僅是表明狹義范圍內(nèi)的電網(wǎng)智能化概念，更添加了廣域場景。在這種泛在的應(yīng)用環(huán)境下，將會發(fā)生數(shù)據(jù)流的量崩，不同渠道的流式數(shù)據(jù)匯聚、交互、融合將會產(chǎn)生更加奇特的功能[4-5]。

流式數(shù)據(jù)應(yīng)用是由數(shù)據(jù)采集、清洗、融合、分析及展示多環(huán)節(jié)所形成的有機(jī)整體，針對廣域多源數(shù)據(jù)構(gòu)建適應(yīng)其特征的流數(shù)據(jù)分析架構(gòu)，在每一層次中優(yōu)選算法進(jìn)行數(shù)據(jù)分解、聚合和推導(dǎo)，量身定制的數(shù)據(jù)處理平臺更加適合未來電力系統(tǒng)發(fā)展趨勢，流數(shù)據(jù)處理分層架構(gòu)如圖1所示。

從圖1中看到數(shù)據(jù)流處理框架分層明晰，數(shù)據(jù)源將不再局限于某個區(qū)域或某一類數(shù)據(jù)，而是將全球電網(wǎng)數(shù)據(jù)形成融合的大型數(shù)據(jù)資源池，不同國度、不同區(qū)域、不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)格式是各異的，數(shù)據(jù)流以一定的速度進(jìn)入采集系統(tǒng)，通過區(qū)域代理的形式映射到數(shù)據(jù)采集區(qū)，再利用適配器將數(shù)據(jù)代理前端標(biāo)識統(tǒng)一轉(zhuǎn)換，并按照一定的規(guī)約統(tǒng)一編碼，龐大的數(shù)據(jù)通過有序采集分類后，進(jìn)一步壓縮數(shù)據(jù)，刪除部分冗余的重復(fù)數(shù)據(jù)，形成有效可利用的數(shù)據(jù)資源池，將流數(shù)據(jù)能夠長期保存還需通過下一步的流存儲步驟。

根據(jù)流式文件形式的不同，分為文件型、數(shù)據(jù)型、關(guān)聯(lián)型和即時消息型，采集好的分類數(shù)據(jù)通過流數(shù)據(jù)抽取到不同類型的數(shù)據(jù)庫，數(shù)據(jù)庫內(nèi)部通過壓縮將數(shù)據(jù)長期保存，并可按需隨時調(diào)用。管理數(shù)據(jù)的目的第一是知曉系統(tǒng)運(yùn)行狀態(tài)，第二是預(yù)測未來運(yùn)行狀況，完成第一目標(biāo)調(diào)用查看方式即可，完成第二目標(biāo)則需要流挖掘的方式，在系統(tǒng)內(nèi)部會存取各種數(shù)據(jù)流計(jì)算模型及模型調(diào)用程序，分析業(yè)務(wù)計(jì)算需求，調(diào)用驅(qū)動程序就能開啟算法運(yùn)行，從而得到應(yīng)用系統(tǒng)想要的預(yù)測結(jié)果。

由于數(shù)據(jù)是裸露在共享與全球大電網(wǎng)下，因此安全性是至關(guān)重要的，需通過各種安全手段實(shí)時監(jiān)控數(shù)據(jù)流經(jīng)過的每一個步驟，并根據(jù)每個環(huán)節(jié)的特點(diǎn)自適應(yīng)開啟相應(yīng)安全防護(hù)手段，一旦出現(xiàn)危機(jī)則立即報警，利用聯(lián)調(diào)互助手段，在最短時間內(nèi)響應(yīng)故障請求。

3分布式流協(xié)同處理技術(shù)

3.1分布式數(shù)據(jù)流融合采集

數(shù)據(jù)采集最終目的是實(shí)現(xiàn)在保證數(shù)據(jù)準(zhǔn)確性的前提下，將廣域數(shù)據(jù)清洗融合后存入HDFS中。目前已有的采集方式雖能實(shí)現(xiàn)數(shù)據(jù)簡單的融合，并沒有清洗冗余重復(fù)的數(shù)據(jù)，并且數(shù)據(jù)在通道傳輸過程中缺少監(jiān)控手段來保障數(shù)據(jù)的可靠性，適配器和代理不是一一對應(yīng)關(guān)系。針對已有的問題，對采集方法進(jìn)行改進(jìn)，完善數(shù)據(jù)流采集性能。繼承分散收集和集中處理的思想，打破多個系統(tǒng)之間的割裂封閉狀態(tài)，形成統(tǒng)一數(shù)據(jù)模型，整合多系統(tǒng)數(shù)據(jù)，并在原有平臺資源動態(tài)支撐的基礎(chǔ)上，完成高級應(yīng)用分析功能，如圖2所示。

數(shù)據(jù)流的來源范圍很廣，甚至遍布全球電網(wǎng)業(yè)務(wù)系統(tǒng)，每一個業(yè)務(wù)子系統(tǒng)數(shù)據(jù)都利用一個數(shù)據(jù)代理做數(shù)據(jù)映射，并通過統(tǒng)一的編碼和合適的適配器進(jìn)行數(shù)據(jù)格式統(tǒng)一后，進(jìn)入對應(yīng)的傳輸通道，通道內(nèi)啟用自動排序功能，數(shù)據(jù)按從大到小的順序排列，并部署監(jiān)控探針，防止數(shù)據(jù)的丟失和噪聲干擾。電網(wǎng)業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)會存在很大部分的數(shù)據(jù)重復(fù)，通過清洗過程，將重復(fù)的部分自動刪除后，仍然選擇分布式采集的方式進(jìn)入HDFS數(shù)據(jù)庫存儲。

3.2數(shù)據(jù)流存儲技術(shù)

流存儲區(qū)別于靜態(tài)數(shù)據(jù)或文件存儲，數(shù)據(jù)流具有時序性，因此只能按照時間順序先到先存的機(jī)制訪問存儲器。本文利用時分復(fù)用的思想，將時間劃分為很短的時間間隔，每個時隙里傳輸一類短數(shù)據(jù)集，加快了存儲速率，也壓縮了通信開銷。流存儲器的帶寬不需太大，但接口速率盡量保持最大，時分復(fù)用流存儲原理如圖3所示。

時分復(fù)用存儲算法是借取了無線通信中數(shù)據(jù)傳輸?shù)乃枷耄鲾?shù)據(jù)具有時序性，但不同業(yè)務(wù)系統(tǒng)數(shù)據(jù)流傳輸?shù)乃俾适遣煌模褧r間劃分為很小的時隙，對于不同傳輸周期的數(shù)據(jù)流，在某些時隙上是不傳輸數(shù)據(jù)的，充分利用空閑的時隙，自適應(yīng)的見縫插針，達(dá)到滿幀時按序排列進(jìn)入數(shù)據(jù)庫存儲，這種存儲方式充分利用流數(shù)據(jù)的特性，開拓了時間維度的新方法，解決了大量數(shù)據(jù)流快速存儲的問題。

3.3智能流計(jì)算技術(shù)

數(shù)據(jù)被實(shí)時地收集和匯總形成數(shù)據(jù)流，為了盡快得到實(shí)時應(yīng)用系統(tǒng)需要的數(shù)據(jù)結(jié)果，需要數(shù)據(jù)分析系統(tǒng)能完成對原始數(shù)據(jù)的處理。在大數(shù)據(jù)環(huán)境下，單臺服務(wù)器很難滿足短時間內(nèi)大量的數(shù)據(jù)計(jì)算要求，且考慮到業(yè)務(wù)和數(shù)據(jù)的增長，這些都要求數(shù)據(jù)分析系統(tǒng)具有良好的擴(kuò)展性。

由于廣域智能電網(wǎng)中所包含的數(shù)據(jù)領(lǐng)域非常廣，如需對數(shù)據(jù)預(yù)測精準(zhǔn)分析，需要一個涵蓋面積大的計(jì)算模型池，通過驅(qū)動引擎調(diào)用的方式激活算法執(zhí)行過程，從而得到最優(yōu)結(jié)果。本文采用的是效用最大的驅(qū)動調(diào)用算法，首先將根據(jù)算法模型性質(zhì)分類，計(jì)算每個算法的效用值，將同一類算法圈起來，并計(jì)算能效平均值，并按從大到小順序排序。當(dāng)驅(qū)動接收到計(jì)算需求的廣播信息后，判斷需求屬于哪種計(jì)算類，然后調(diào)用效用值最大的驅(qū)動，最后執(zhí)行對應(yīng)的算法，采用這種方式不但能精準(zhǔn)地選擇最優(yōu)算法，而且提升了選擇效率，具體算法過程如圖4所示。

3.4數(shù)據(jù)流防攻擊處理技術(shù)

數(shù)據(jù)的安全管理需貫穿大數(shù)據(jù)全壽命周期的每個環(huán)節(jié)，在數(shù)據(jù)執(zhí)行傳輸、存儲、訪問和調(diào)用等操作時，尤其軟件執(zhí)行過程，很容易受到信息安全攻擊，須通過數(shù)據(jù)運(yùn)行周期安全管理的方法進(jìn)行管理。

①多源數(shù)據(jù)采集：通過Flume進(jìn)行多源日志數(shù)據(jù)采集，采集方式包括文本、syslog等。

②數(shù)據(jù)聚合與異步處理：采用kafka對設(shè)備事件信息、實(shí)時狀態(tài)信息及網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行收集聚合，事件信息、狀態(tài)信息和網(wǎng)絡(luò)流量都可以視為一種流數(shù)據(jù)，作為一種分布式消息處理系統(tǒng)，kafka工作在發(fā)布或訂閱方式下，非常適合同時處理日志和網(wǎng)絡(luò)流量，利用kafka的異步消息處理功能能夠解決日志數(shù)據(jù)與網(wǎng)絡(luò)流量間不同速率的匹配問題。

③數(shù)據(jù)挖掘、分析、計(jì)算功能：采用Storm的流式計(jì)算功能，對采集的日志數(shù)據(jù)進(jìn)行實(shí)時或者準(zhǔn)實(shí)時的分析，分析的內(nèi)容主要包括關(guān)聯(lián)分析取證、攻擊溯及操作分析審計(jì)等功能，這是系統(tǒng)的核心，計(jì)算的結(jié)果直接輸出到HBase進(jìn)行存儲。

④分析結(jié)果展示功能：展示的內(nèi)容包括數(shù)據(jù)生命周期證據(jù)鏈、審計(jì)結(jié)果展示界面、統(tǒng)計(jì)分析報表功能、告警響應(yīng)功能及設(shè)備聯(lián)動功能等。

4實(shí)驗(yàn)結(jié)果

為了驗(yàn)證流數(shù)據(jù)處理系統(tǒng)的可行性和有效性，通過從某公司信息化系統(tǒng)調(diào)用1 000個連續(xù)數(shù)據(jù)，形成數(shù)據(jù)流在實(shí)驗(yàn)室進(jìn)行系統(tǒng)平臺驗(yàn)證。平臺采用Matlab7仿真軟件實(shí)施時，每一個步驟的效率提升率及系統(tǒng)整體預(yù)測精準(zhǔn)度進(jìn)行計(jì)算，如表1所示。

從上表可以明顯看出，本文提出的算法在處理效率和預(yù)測精準(zhǔn)度方面都有所提升，通過實(shí)驗(yàn)驗(yàn)證了算法的可行性，下一步可應(yīng)用于線上系統(tǒng)，為實(shí)際應(yīng)用帶來便捷性和智能性。

5結(jié)束語

隨著信息化技術(shù)深入到電網(wǎng)領(lǐng)域，電網(wǎng)各業(yè)務(wù)系統(tǒng)突增大量的數(shù)據(jù)信息。目前由于數(shù)據(jù)量的龐大及數(shù)據(jù)管理手段的缺陷，缺少一個統(tǒng)一的平臺對所有數(shù)據(jù)進(jìn)行管理，現(xiàn)階段僅僅是融合部分業(yè)務(wù)子系統(tǒng)進(jìn)行了應(yīng)用，各子系統(tǒng)之間仍然存在信息孤島現(xiàn)象。因此本文的廣域性的大數(shù)據(jù)平臺更加符合未來數(shù)據(jù)發(fā)展需求，但從實(shí)驗(yàn)階段的驗(yàn)證結(jié)果看還不能完全滿足電網(wǎng)數(shù)據(jù)的性能要求，因此在技術(shù)深度和算法廣度上還需要進(jìn)一步的探索和突破。

參考文獻(xiàn)

[1] Gibbons P B，Matias Y.New Sampling-based Summary Statistics for Improving Approximate Query Answers[J]. ACM SIGMOD Record，1998，27（2）：331-342.

[2] Greenwald M，Khanna，S.Space-efficient Online Computation of Quantile Summaries[J].ACM SIGMOD Record，2001，30（2）：58-66.

[3] Condie T，Conway N，Alvaro P，et al.Mapreduce online[J]. Nsdi，2009，156（4）：647-667.

[4] Wang H， Fan W， Yu P S， et al. Mining Concept-Drifting Data Streams Using Ensemble Classifi-ers[J].Kdd，2003：226-235

[5] BarbaráD.Requirements for Clustering Data Streams[J]. ACM sIGKDD Explorations Newsletter，2002，3（2）：23-27.