一種大型集控實(shí)時(shí)數(shù)據(jù)分布式管理的實(shí)現(xiàn)與應(yīng)用

陳　鵬，蔡　杰

（南京南瑞集團(tuán)公司，江蘇 南京 210003）

一種大型集控實(shí)時(shí)數(shù)據(jù)分布式管理的實(shí)現(xiàn)與應(yīng)用

陳鵬，蔡杰

（南京南瑞集團(tuán)公司，江蘇 南京 210003）

摘要：針對(duì)現(xiàn)有集控中心監(jiān)控系統(tǒng)已逐漸無(wú)法管理日益擴(kuò)展的實(shí)時(shí)數(shù)據(jù)，引入分區(qū)的概念，提出了一種數(shù)據(jù)采集半分布，數(shù)據(jù)應(yīng)用半集中的管理機(jī)制。并介紹了該系統(tǒng)構(gòu)建過(guò)程中的關(guān)鍵和特點(diǎn)。

關(guān)鍵詞：實(shí)時(shí)數(shù)據(jù)管理；分區(qū)；hash；動(dòng)態(tài)加載

0　前言

一些大型的集控中心隨著接入電廠(chǎng)數(shù)量的不斷增加和信息化水平的逐步提升，實(shí)時(shí)數(shù)據(jù)的規(guī)模已經(jīng)越來(lái)越大。進(jìn)而帶來(lái)了諸多的問(wèn)題急待解決：①數(shù)據(jù)處理分析和儲(chǔ)存的壓力增大，硬件配置和軟件設(shè)計(jì)無(wú)法滿(mǎn)足實(shí)際需求的情況日漸明顯；②網(wǎng)絡(luò)數(shù)據(jù)流量急劇上升，網(wǎng)絡(luò)延時(shí)增長(zhǎng)，已經(jīng)嚴(yán)重影響到了實(shí)時(shí)數(shù)據(jù)的傳輸和管理；③子站分期投運(yùn)或改造對(duì)集控中心系統(tǒng)的影響增大，維護(hù)的風(fēng)險(xiǎn)和壓力逐漸增加。如何能夠有效的解決這些問(wèn)題，是設(shè)計(jì)該實(shí)時(shí)數(shù)據(jù)管理系統(tǒng)的主要目的。

1　架構(gòu)研究

通常，大多數(shù)監(jiān)控系統(tǒng)都會(huì)采取集中式或者分布式這兩種方式中的一種來(lái)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行管理。這兩種方式在整個(gè)監(jiān)控系統(tǒng)的發(fā)展過(guò)程中都擔(dān)任過(guò)重要的角色。

集中式實(shí)時(shí)數(shù)據(jù)管理方式對(duì)于小型的監(jiān)控系統(tǒng)來(lái)說(shuō)非常實(shí)用，訪(fǎng)問(wèn)數(shù)據(jù)的效率也非常的高。缺點(diǎn)也顯而易見(jiàn)，就是當(dāng)實(shí)時(shí)數(shù)據(jù)的數(shù)量巨大時(shí)，占用的內(nèi)存非常的多，尤其是對(duì)于大型的甚至巨型的集控中心而言，有許多數(shù)據(jù)可能永遠(yuǎn)不會(huì)被訪(fǎng)問(wèn)到，內(nèi)存的使用效率很低。而且，在對(duì)局部進(jìn)行配置修改的時(shí)候，牽一發(fā)而動(dòng)全身，維護(hù)工作風(fēng)險(xiǎn)較高。

分布式實(shí)時(shí)數(shù)據(jù)管理方式比較適合于建立龐大的系統(tǒng)，結(jié)構(gòu)靈活、可擴(kuò)展性好、并且經(jīng)濟(jì)性能優(yōu)越，對(duì)于非實(shí)時(shí)系統(tǒng)來(lái)說(shuō)是再好不過(guò)的選擇。但是，對(duì)于集控中心這樣的實(shí)時(shí)性要求相對(duì)較高的系統(tǒng)來(lái)說(shuō)，分布式的管理方式也存在網(wǎng)絡(luò)數(shù)據(jù)流量大，數(shù)據(jù)獲取實(shí)時(shí)性不高的問(wèn)題。

在決定系統(tǒng)架構(gòu)之前，需要考慮圖1中的這4個(gè)評(píng)估因素。深入研究實(shí)時(shí)數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)分配方式，發(fā)現(xiàn)可以細(xì)分為3種：①分割式，即實(shí)時(shí)數(shù)據(jù)被放置在網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)上，且每個(gè)數(shù)據(jù)只有一份；②全復(fù)制式，即所有的實(shí)時(shí)數(shù)據(jù)在網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)上都重復(fù)的存儲(chǔ)；③混合式，即實(shí)時(shí)數(shù)據(jù)被分成一系列可以相交的子集，在網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)上進(jìn)行存儲(chǔ)，但是每個(gè)點(diǎn)上未必都保存全部的實(shí)時(shí)數(shù)據(jù)。其中，分割式對(duì)應(yīng)分布式，全復(fù)制式就是常說(shuō)的集中式，這兩種方式都是混合式的特殊情況。而混合式就是介于它們之間的一種方式，相信一定能在存儲(chǔ)代價(jià)、可靠性、更新代價(jià)和檢索代價(jià)這幾個(gè)矛盾因素之間找到平衡。

圖1實(shí)時(shí)數(shù)據(jù)管理評(píng)估因素

2　主要功能設(shè)計(jì)

大型集控監(jiān)控系統(tǒng)，就是一個(gè)實(shí)時(shí)數(shù)據(jù)管理系統(tǒng)，主要功能是接收下屬電站的所有數(shù)據(jù)信息，然后進(jìn)行集中監(jiān)控處理，最終實(shí)現(xiàn)對(duì)所有電站的監(jiān)視、控制、分析和管理調(diào)配。在集控監(jiān)控系統(tǒng)中，大部分的應(yīng)用對(duì)實(shí)時(shí)性的要求都比較高，并且大量關(guān)鍵性的數(shù)據(jù)需要進(jìn)行長(zhǎng)時(shí)間的歷史記錄，以供查詢(xún)分析。同時(shí)，集控中心還存在需要不斷接入新電站和機(jī)組，或者是改造已接入電站的特點(diǎn)。

考慮到大型集控監(jiān)控系統(tǒng)的這些特點(diǎn)，本文引入分區(qū)的概念。在系統(tǒng)設(shè)計(jì)和規(guī)劃時(shí)，并不將系統(tǒng)的結(jié)構(gòu)固定，而是可以根據(jù)功能需求和實(shí)際情況自由修改和調(diào)整，以達(dá)到最優(yōu)的性能，可以是全集中或全分布，也可以是一部分集中一部分分布。圖2所示為實(shí)時(shí)數(shù)據(jù)分區(qū)管理的一個(gè)示例。分區(qū)的劃分非常的靈活，可以依據(jù)功能劃分，可以通過(guò)電站的地域劃分，也可以通過(guò)電站的類(lèi)型劃分。

圖2首先依據(jù)功能將整個(gè)集控的所有分區(qū)分為兩類(lèi)：數(shù)據(jù)采集分區(qū)和數(shù)據(jù)應(yīng)用分區(qū)。其中分區(qū)1至分區(qū)N就是數(shù)據(jù)采集分區(qū)，主要用于接收各個(gè)電站的數(shù)據(jù)信息；而分區(qū)M就是數(shù)據(jù)應(yīng)用分區(qū)，主要用于綜合運(yùn)算分析，歷史記錄，監(jiān)控和維護(hù)。

再者，數(shù)據(jù)采集分區(qū)中又依據(jù)地域和類(lèi)型對(duì)電站進(jìn)行了分區(qū)的劃分。其中，分區(qū)1中的電站存在著地域上的聯(lián)系；分區(qū)2中的電站只需要進(jìn)行監(jiān)視，或者相對(duì)來(lái)說(shuō)裝機(jī)容量比較小，數(shù)據(jù)量也比較的小，所以將它們放置在同一個(gè)分區(qū)；而其余的分區(qū)N就是需要控制的電站，數(shù)據(jù)量大，裝機(jī)容量也大，所以為了以后維護(hù)方便，將一個(gè)電站就做為了一個(gè)分區(qū)。

分區(qū)的劃分只是為了將數(shù)據(jù)分布開(kāi)來(lái)，減輕軟硬件等各方面配置的壓力，避免了全集中式管理的缺點(diǎn)。有分散就有集中，為了避免數(shù)據(jù)過(guò)于分散帶來(lái)的網(wǎng)絡(luò)數(shù)據(jù)量大和實(shí)時(shí)性不高的弊端，在應(yīng)用端使用實(shí)時(shí)數(shù)據(jù)時(shí)也可以進(jìn)行靈活的配置。

如圖2分區(qū)M中的服務(wù)器可以根據(jù)需要向跨分區(qū)實(shí)時(shí)總線(xiàn)注冊(cè)，獲取相應(yīng)區(qū)域的信息，包括：節(jié)點(diǎn)狀態(tài)、實(shí)時(shí)數(shù)據(jù)、報(bào)警信息等，并且允許向此分區(qū)發(fā)送包括控制和設(shè)定值在內(nèi)的控制信息。注冊(cè)之后，服務(wù)器上就會(huì)得到其注冊(cè)分區(qū)數(shù)據(jù)的完整拷貝。這樣在數(shù)據(jù)應(yīng)用時(shí)體驗(yàn)到的就是集中式系統(tǒng)而不是分布式系統(tǒng)。

3　關(guān)鍵技術(shù)

本文提供的實(shí)時(shí)數(shù)據(jù)管理的實(shí)現(xiàn)方式，能夠靈活的對(duì)整個(gè)集控的實(shí)時(shí)數(shù)據(jù)進(jìn)行分區(qū)，并且在數(shù)據(jù)應(yīng)用端可以根據(jù)自定義提前注冊(cè)動(dòng)態(tài)加載所需分區(qū)的數(shù)據(jù)。如此將全集中式和全分布式的優(yōu)勢(shì)集于一身，遵循數(shù)據(jù)采集半分布，數(shù)據(jù)應(yīng)用半集中的原則，還可以根據(jù)實(shí)際使用情況任意的調(diào)整，以達(dá)到最優(yōu)的性能和效果。

分區(qū)架構(gòu)的使用不僅提升了系統(tǒng)的靈活性，而且在很大程度上降低了整個(gè)集控中心監(jiān)控系統(tǒng)的耦合度，也就降低了整體的復(fù)雜性和依賴(lài)性，從而能夠有效的將故障節(jié)點(diǎn)的影響范圍控制在本分區(qū)以?xún)?nèi)；雖然降低了系統(tǒng)的耦合度，但是絲毫不會(huì)破壞其整體性，合理的分區(qū)劃分可以做到這一點(diǎn)；只要分區(qū)劃分的合理，分區(qū)與分區(qū)之間可以達(dá)到互不影響，同一時(shí)間可以同時(shí)展開(kāi)工作，這樣不僅提高了系統(tǒng)維護(hù)的便利性，而且還增強(qiáng)了系統(tǒng)的健壯性；當(dāng)然系統(tǒng)的擴(kuò)展性也變得更好，尤其是對(duì)于像集控這樣需要不斷擴(kuò)充和接入新廠(chǎng)站的監(jiān)控系統(tǒng)，分區(qū)內(nèi)部可以先調(diào)試完畢，最終一次性無(wú)擾的接入系統(tǒng)，并且不會(huì)給原系統(tǒng)帶來(lái)任何負(fù)擔(dān)和壓力。

但是，分區(qū)架構(gòu)的引入也同樣會(huì)對(duì)系統(tǒng)的安全性、實(shí)時(shí)性、可靠性和一致性帶來(lái)一定的影響，這就需要靠另外兩個(gè)關(guān)鍵技術(shù)來(lái)保障：①采用hash表作為內(nèi)存數(shù)據(jù)庫(kù)的索引數(shù)據(jù)結(jié)構(gòu)；②跨分區(qū)注冊(cè)和動(dòng)態(tài)加載管理機(jī)制。

圖2實(shí)時(shí)數(shù)據(jù)分區(qū)管理示例

每個(gè)節(jié)點(diǎn)中都會(huì)存有實(shí)時(shí)數(shù)據(jù)的內(nèi)存結(jié)構(gòu)，或本地的，或其余分區(qū)的。hash表索引就是負(fù)責(zé)管理和存儲(chǔ)內(nèi)存數(shù)據(jù)庫(kù)的，并且同時(shí)給數(shù)據(jù)應(yīng)用提供高效的訪(fǎng)問(wèn)機(jī)制。hash表的引入大大降低了數(shù)據(jù)存儲(chǔ)和查詢(xún)所消耗的時(shí)間，并且為本地內(nèi)存數(shù)據(jù)庫(kù)動(dòng)態(tài)加載其他分區(qū)數(shù)據(jù)結(jié)構(gòu)提供了基礎(chǔ)。

由于是實(shí)時(shí)監(jiān)控系統(tǒng)，所以數(shù)據(jù)的實(shí)時(shí)性和一致性就顯得非常的重要，動(dòng)態(tài)加載的管理機(jī)制直接決定了整個(gè)系統(tǒng)的安全性和可靠性。以圖2中的操作員站N為例，在功能分配時(shí)，定義它監(jiān)視和控制分區(qū)N的廠(chǎng)站。操作員站N啟動(dòng)后，首先加載本區(qū)域的實(shí)時(shí)數(shù)據(jù)結(jié)構(gòu)，然后注冊(cè)接收分區(qū)N的，這時(shí)就會(huì)收到分區(qū)N數(shù)據(jù)結(jié)構(gòu)的完整的拷貝，并且還可以查看分區(qū)N發(fā)布的測(cè)點(diǎn)數(shù)據(jù)和各種狀態(tài)信息，以及對(duì)分區(qū)N進(jìn)行控制。在運(yùn)行維護(hù)過(guò)程當(dāng)中，分區(qū)N難免會(huì)對(duì)本地?cái)?shù)據(jù)結(jié)構(gòu)進(jìn)行修改，而修改完后所有的注冊(cè)接收分區(qū)N數(shù)據(jù)的服務(wù)器都會(huì)收到通知，并重新加載分區(qū)N的實(shí)時(shí)數(shù)據(jù)結(jié)構(gòu)。

這一系列的過(guò)程都是依靠動(dòng)態(tài)加載管理機(jī)制來(lái)完成的，動(dòng)態(tài)加載管理機(jī)制具有以下的功能與特點(diǎn)：

（1）跨分區(qū)注冊(cè)具有安全審核機(jī)制，確保接入節(jié)點(diǎn)的安全性。

（2）分區(qū)數(shù)據(jù)結(jié)構(gòu)版本信息的發(fā)布采用組播方式，確保版本發(fā)布的及時(shí)性。

（3）分區(qū)數(shù)據(jù)結(jié)構(gòu)的發(fā)布采用多進(jìn)程，并且采用TCP方式，確保數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

（4）分區(qū)內(nèi)采用主從冗余的方式管理本分區(qū)內(nèi)的數(shù)據(jù)庫(kù)，并且只有為主的節(jié)點(diǎn)才能夠?qū)ν獍l(fā)布數(shù)據(jù)，確保信息發(fā)布的權(quán)威性。

（5）在接收其他分區(qū)數(shù)據(jù)結(jié)構(gòu)時(shí)采用二次校驗(yàn)和錯(cuò)誤重傳機(jī)制，確保所接收數(shù)據(jù)結(jié)構(gòu)的正確性。

（6）在數(shù)據(jù)結(jié)構(gòu)更新過(guò)程當(dāng)中，測(cè)點(diǎn)信息會(huì)保持原有狀態(tài)不變，并且控制信息無(wú)法下發(fā)，確保系統(tǒng)運(yùn)行的穩(wěn)定性。

4　結(jié)束語(yǔ)

本文針對(duì)大型集控在發(fā)展過(guò)程當(dāng)中，在實(shí)時(shí)數(shù)據(jù)管理方面遇到的問(wèn)題進(jìn)行了分析，并提出了一種有效的解決思路和管理方式。這種管理方式的實(shí)施不需要對(duì)原有的硬件配置甚至網(wǎng)絡(luò)結(jié)構(gòu)做任何的調(diào)整。

目前，該實(shí)時(shí)數(shù)據(jù)管理方式已經(jīng)在華能瀾滄江集控中心得到了應(yīng)用。瀾滄江集控接入的總裝機(jī)容量已經(jīng)超過(guò)了1 600萬(wàn)kW，其中小灣：6×700MW，功果橋：4×225 MW，漫灣：1×300 MW、4×250 MW，1×120 MW，糯扎渡：9×650MW，龍開(kāi)口：5×400MW、瑞麗江：6×100MW，景洪：5×350MW，石林10MW。

參考文獻(xiàn)：

[1]張仁貢.開(kāi)放式分層全分布水電站計(jì)算機(jī)監(jiān)控系統(tǒng)設(shè)計(jì)[J].水電能源科學(xué)，2008，26（4）：133-135.

[2]孫其強(qiáng)，周薇，狄方春，等.針對(duì)大電網(wǎng)的并行實(shí)時(shí)數(shù)據(jù)庫(kù)設(shè)計(jì)研究 [C]//2012年中國(guó)電機(jī)工程學(xué)會(huì)年會(huì)論文集，2012.

[3]於建林.應(yīng)用于電網(wǎng)調(diào)度自動(dòng)化系統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)軟件學(xué)院，2005.

[4]胡金初.分布式處理在實(shí)時(shí)應(yīng)用系統(tǒng)中的實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2003，29（z1）：168-173.

中圖分類(lèi)號(hào)：TP274

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-5387（2015）07-0018-03

DOI：10.13599/j.cnki.11-5130.2015.07.005

收稿日期：2015-04-30

作者簡(jiǎn)介：陳鵬（1986-）男，助理工程師，從事水電廠(chǎng)自動(dòng)化的工作。