廣東電網(wǎng)省級(jí)計(jì)量自動(dòng)化系統(tǒng)數(shù)據(jù)回流技術(shù)研究

杜詩萌 孫勇 楊路 蔡乾乾 胡皓鵬

【摘 ?要】2015年，廣東電網(wǎng)有限責(zé)任公司建成了省級(jí)集中計(jì)量自動(dòng)化系統(tǒng)。為了保持計(jì)量業(yè)務(wù)全省集中的優(yōu)勢(shì)，又能兼顧各地市供電局的需求，通過建設(shè)全省統(tǒng)一的省級(jí)數(shù)據(jù)備份倉庫，把省級(jí)計(jì)量自動(dòng)化系統(tǒng)集中處理的數(shù)據(jù)，快速、安全地回流到各地市局，使各地市局及時(shí)、準(zhǔn)確地獲取并使用本單位的業(yè)務(wù)數(shù)據(jù)，為地市拓展業(yè)務(wù)應(yīng)用和數(shù)據(jù)分析提供數(shù)據(jù)支撐。

【關(guān)鍵詞】計(jì)量自動(dòng)化系統(tǒng);回流;數(shù)據(jù)備份倉庫;數(shù)據(jù)分析;計(jì)量業(yè)務(wù)

1 引言

廣東電網(wǎng)省級(jí)集中計(jì)量自動(dòng)化系統(tǒng)的建成，實(shí)現(xiàn)了全省計(jì)量業(yè)務(wù)統(tǒng)一規(guī)范管理和數(shù)據(jù)集中應(yīng)用。但隨著各地市供電局個(gè)性化數(shù)據(jù)分析需求的日趨增加，在省級(jí)集中計(jì)量自動(dòng)化系統(tǒng)上統(tǒng)一開發(fā)、實(shí)現(xiàn)比較困難，難以同時(shí)兼顧各地市供電局需求;另外地市局部分分析型應(yīng)用，涉及大量、頻繁的數(shù)據(jù)導(dǎo)入和導(dǎo)出，增大了系統(tǒng)生產(chǎn)數(shù)據(jù)庫負(fù)載，一定程度上影響系統(tǒng)性能和業(yè)務(wù)應(yīng)用。因此，將省級(jí)集中計(jì)量自動(dòng)化系統(tǒng)采集到的海量數(shù)據(jù)回流到各個(gè)地市局就顯得尤為必要了。

2 需求

2.1 網(wǎng)絡(luò)環(huán)境

地市數(shù)據(jù)回流子倉庫主要使用綜合數(shù)據(jù)網(wǎng)完成省公司對(duì)地市局的數(shù)據(jù)傳輸，性能和可靠性高，能提供良好的網(wǎng)絡(luò)支持。

2.2 數(shù)據(jù)回流需求

目前，本次數(shù)據(jù)回流工作主要涉及計(jì)量自動(dòng)化檔案、明細(xì)數(shù)據(jù)、月凍結(jié)數(shù)據(jù)、日凍結(jié)數(shù)據(jù)等類型，回流周期每天一次，后續(xù)將根據(jù)其對(duì)生產(chǎn)數(shù)據(jù)庫性能影響評(píng)估對(duì)數(shù)據(jù)回流類型和回流周期進(jìn)行調(diào)整。

3 架構(gòu)規(guī)劃

3.1 數(shù)據(jù)回流架構(gòu)

為切實(shí)提高地市數(shù)據(jù)回流的運(yùn)行效率，不影響省級(jí)集中生產(chǎn)數(shù)據(jù)庫的性能，同時(shí)做好數(shù)據(jù)回流失敗后重新傳輸數(shù)據(jù)的應(yīng)急工作，先建立一個(gè)中間數(shù)據(jù)庫（即省級(jí)數(shù)據(jù)備份倉庫）。數(shù)據(jù)回流分為兩個(gè)過程：一是數(shù)據(jù)先從省級(jí)集中計(jì)量自動(dòng)化系統(tǒng)生產(chǎn)數(shù)據(jù)庫完全備份到省級(jí)數(shù)據(jù)備份倉庫中;二是數(shù)據(jù)從省級(jí)數(shù)據(jù)備份倉庫回流到各地市局的本地?cái)?shù)據(jù)回流子倉庫。

（1）從生產(chǎn)數(shù)據(jù)庫到省級(jí)數(shù)據(jù)備份倉庫同步方式

根據(jù)本項(xiàng)目的需求，采用定時(shí)數(shù)據(jù)復(fù)制方式，具體實(shí)現(xiàn)方式詳見3.2數(shù)據(jù)同步方式。

（2）從省級(jí)數(shù)據(jù)備份倉庫到地市本地?cái)?shù)據(jù)回流子倉庫

通過ETL程序?qū)I(yè)務(wù)數(shù)據(jù)回流主動(dòng)推送到各個(gè)地市局。將省級(jí)數(shù)據(jù)備份倉庫的數(shù)據(jù)根據(jù)需要抽取到ETL服務(wù)器中進(jìn)行清洗、轉(zhuǎn)換和集成?？稍贓TL引擎中或者也可在數(shù)據(jù)抽取過程中利用關(guān)系數(shù)據(jù)庫特征進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工。在ETL引擎中進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工，比直接通過SQL語句進(jìn)行轉(zhuǎn)換和加工更簡(jiǎn)單清晰，性能更高，對(duì)于SQL語句無法處理的數(shù)據(jù)可以由ETL引擎處理。

3.2 數(shù)據(jù)回流策略

針對(duì)各個(gè)業(yè)務(wù)系統(tǒng)表的特點(diǎn)，采用不同的ETL回流策略，總結(jié)目前業(yè)務(wù)系統(tǒng)表的特點(diǎn)分類及其回流方式如下：

（1）同步方式

全刪全插：檔案、月數(shù)據(jù)這類表分解到19個(gè)地市局采用全量同步方式進(jìn)行回流，即先清除地市表中的數(shù)據(jù)，再根據(jù)地市編碼回流數(shù)據(jù)到每個(gè)地市局，每張表都可以在2分鐘以內(nèi)回流完畢。采用全刪除再插入方式具有開發(fā)簡(jiǎn)單、回流占用服務(wù)器資源少，從而降低出錯(cuò)的可能性等優(yōu)點(diǎn)。即使出現(xiàn)報(bào)錯(cuò)，需要人工處理，也能在2分鐘內(nèi)完成重新回流。

部分刪除插入：計(jì)量系統(tǒng)業(yè)務(wù)數(shù)據(jù)表，如負(fù)荷、表碼、告警等這類表其數(shù)據(jù)量隨著時(shí)間增長會(huì)越來越大，因此采用部分刪除插入方式。

（2）同步周期

本方案同步周期考慮按照‘實(shí)時(shí)/日/周方式進(jìn)行規(guī)劃;目前，將根據(jù)地市局提出的數(shù)據(jù)同步實(shí)時(shí)性需求，結(jié)合對(duì)計(jì)量自動(dòng)化系統(tǒng)生產(chǎn)庫、省級(jí)數(shù)據(jù)備份倉庫性能壓力的影響，制定合理的同步周期，經(jīng)測(cè)試驗(yàn)證通過之后，方可調(diào)整相關(guān)同步策略。

（3）數(shù)據(jù)保存機(jī)制

在省側(cè)ETL服務(wù)器上將保存近10天的數(shù)據(jù)，保存時(shí)間為7天，超過7天后，省側(cè)服務(wù)器將不再保證數(shù)據(jù)的有效性。即下一個(gè)打包周期對(duì)上一個(gè)打包周期的數(shù)據(jù)有效性和異常問題不再進(jìn)行處理。

（4）數(shù)據(jù)回流日志監(jiān)控

通過ETL程序，對(duì)數(shù)據(jù)回流的日志進(jìn)行監(jiān)控。根據(jù)用戶定義的日志級(jí)別，記錄整個(gè)數(shù)據(jù)傳輸過程中成功或失敗的詳細(xì)信息，方便系統(tǒng)維護(hù)人員或系統(tǒng)管理員監(jiān)控?cái)?shù)據(jù)回流情況。

（5）數(shù)據(jù)同步方式

定時(shí)數(shù)據(jù)復(fù)制方式，硬件采用2臺(tái)595+EMC存儲(chǔ)實(shí)現(xiàn)，采用在生產(chǎn)數(shù)據(jù)庫中部署ETL工具將地市局所需的部分?jǐn)?shù)據(jù)至省級(jí)數(shù)據(jù)備份倉庫。該同步方式實(shí)施周期短，后續(xù)運(yùn)維工作量少，根據(jù)目前業(yè)務(wù)需求以及一體機(jī)性能，完全能夠滿足本次項(xiàng)目的需求。根據(jù)抽取周期對(duì)數(shù)據(jù)進(jìn)行抽?。ㄗ疃桃蕴鞛閱挝唬?，需要另行采購或者開發(fā)ETL工具。

（6）應(yīng)急策略

由于數(shù)據(jù)回流過程中，受業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)等環(huán)境影響，可能會(huì)導(dǎo)致數(shù)據(jù)庫損壞、數(shù)據(jù)表損壞，正常業(yè)務(wù)受損、數(shù)據(jù)無法正?；亓鞯惹闆r。為了保證數(shù)據(jù)能夠可靠地回流到各地市局，又不對(duì)業(yè)務(wù)產(chǎn)生影響，針對(duì)主要異常情況提出以下應(yīng)急策略：

（6.1）數(shù)據(jù)庫損壞

在省級(jí)數(shù)據(jù)備份倉庫中，由于采用數(shù)據(jù)復(fù)制方式將生產(chǎn)庫的數(shù)據(jù)同步到省級(jí)數(shù)據(jù)備份倉庫中，只有讀操作，理論上不會(huì)對(duì)生產(chǎn)數(shù)據(jù)庫產(chǎn)生破壞性影響，萬一遭到破壞導(dǎo)致數(shù)據(jù)庫無法使用，將立即停止省級(jí)數(shù)據(jù)備份倉庫和同步進(jìn)程的運(yùn)行，優(yōu)先保證生產(chǎn)數(shù)據(jù)庫運(yùn)行，待問題處理完成后，重新恢復(fù)省級(jí)數(shù)據(jù)備份倉庫的運(yùn)行。

如果地市局本地?cái)?shù)據(jù)回流子倉庫損壞，由于將生產(chǎn)數(shù)據(jù)庫同步到省級(jí)數(shù)據(jù)備份倉庫中采用ETL抽取方式，只需要將程序重新運(yùn)行一次，抽取生產(chǎn)數(shù)據(jù)庫中的部分?jǐn)?shù)據(jù)全部同步過去即可。由于這個(gè)過程比較耗時(shí)，需在非業(yè)務(wù)處理時(shí)間執(zhí)行，避免對(duì)業(yè)務(wù)造成影響。

（6.2）數(shù)據(jù)表損壞

當(dāng)數(shù)據(jù)表損壞后所采用的恢復(fù)手段與數(shù)據(jù)庫損壞后采用的方法類似，只是不要恢復(fù)整個(gè)數(shù)據(jù)庫，由于數(shù)據(jù)庫表都帶有時(shí)間戳，只需要對(duì)損壞的數(shù)據(jù)庫表進(jìn)行恢復(fù)。省級(jí)數(shù)據(jù)備份倉庫的數(shù)據(jù)表損壞時(shí)，只需指定同步該表，重新刷新一次該表即可。

當(dāng)?shù)厥芯直镜財(cái)?shù)據(jù)回流子倉庫損壞，運(yùn)行一次針對(duì)損壞表的同步回流程序，將已損壞的表回流到地市局即可。

（6.3）性能下降

影響生產(chǎn)庫性能下降的因素較多，業(yè)務(wù)操作是影響性能最大的因素，通過定時(shí)數(shù)據(jù)復(fù)制方式進(jìn)行數(shù)據(jù)復(fù)制，由于該方式適用于同步數(shù)據(jù)量不大，同步周期要求不高的場(chǎng)合，并且可以在非業(yè)務(wù)處理時(shí)間段執(zhí)行，因此，對(duì)性能影響比較小。同時(shí)針對(duì)生產(chǎn)庫的關(guān)鍵性能指標(biāo)進(jìn)行監(jiān)控，當(dāng)達(dá)到預(yù)定閾值時(shí)，查詢?cè)?，暫停運(yùn)行同步程序，待性能恢復(fù)后，再恢復(fù)程序。

4 結(jié)論

該項(xiàng)研究根據(jù)廣東電網(wǎng)省級(jí)集中計(jì)量自動(dòng)化系統(tǒng)數(shù)據(jù)回流工作要求，從數(shù)據(jù)回流的技術(shù)方法和架構(gòu)設(shè)計(jì)進(jìn)行闡述，針對(duì)不同的數(shù)據(jù)特點(diǎn)提出不同的數(shù)據(jù)回流策略，并描述了數(shù)據(jù)回流ETL（抽取、轉(zhuǎn)換、加載）的操作流程，為后續(xù)數(shù)據(jù)回流具體實(shí)施工作提供參考。

參考文獻(xiàn)：

[1] 伍江瑤.廣東電網(wǎng)數(shù)據(jù)回流系統(tǒng)ETL的設(shè)計(jì)與實(shí)現(xiàn)[J].自動(dòng)化與儀器儀表，2017（6）：80-83.

[2] 陳曄，肖勇，闕華坤等.廣東電網(wǎng)省級(jí)集中式電能計(jì)量自動(dòng)化系統(tǒng)建設(shè)[J].廣東電力，2014（11）：150-154.

（作者單位：1.廣東電網(wǎng)有限責(zé)任公司云浮供電局;2.3.4.5.廣東電網(wǎng)有限責(zé)任公司計(jì)量中心）