基于數(shù)據(jù)質(zhì)量診斷的數(shù)據(jù)整合技術(shù)

葉健輝　白靜潔　劉　琪　王　剛　王　梓　武　江

?

基于數(shù)據(jù)質(zhì)量診斷的數(shù)據(jù)整合技術(shù)

葉健輝1白靜潔2劉琪2王剛2王梓3武江2

1.國(guó)網(wǎng)湖南省電力公司；2.南瑞集團(tuán)北京科東公司；3.國(guó)網(wǎng)天津市電力公司

行業(yè)曲線

本文針對(duì)目前電網(wǎng)運(yùn)行數(shù)據(jù)存在的跳變、不刷新等數(shù)據(jù)質(zhì)量問(wèn)題，提出了一種基于數(shù)據(jù)質(zhì)量診斷的數(shù)據(jù)整合技術(shù)，通過(guò)該技術(shù)實(shí)現(xiàn)了電網(wǎng)運(yùn)行數(shù)據(jù)的規(guī)范性和統(tǒng)一性，提高了數(shù)據(jù)的可靠性和完整性，為電網(wǎng)運(yùn)行分析提供了可靠的數(shù)據(jù)支撐。

當(dāng)前電力調(diào)度中心存儲(chǔ)了大量電網(wǎng)運(yùn)行、生產(chǎn)管理等方面的數(shù)據(jù)。電網(wǎng)運(yùn)行數(shù)據(jù)有跳變、不刷新等異常錯(cuò)誤，這些數(shù)據(jù)的存儲(chǔ)方式和分散性，很難讓用戶直接發(fā)現(xiàn)原因。電網(wǎng)生產(chǎn)運(yùn)行和管理對(duì)數(shù)據(jù)準(zhǔn)確性要求很高，調(diào)度數(shù)據(jù)必須是可靠和完整的，才能準(zhǔn)確反映電網(wǎng)運(yùn)行情況。在電網(wǎng)運(yùn)行中存儲(chǔ)海量歷史數(shù)據(jù)，對(duì)于這些海量歷史數(shù)據(jù)準(zhǔn)確性會(huì)影響很多應(yīng)用，如負(fù)荷預(yù)測(cè)、省間數(shù)據(jù)交互、可視化展示分析及調(diào)度數(shù)據(jù)上報(bào)等。因此，對(duì)數(shù)據(jù)質(zhì)量研究分析的同時(shí)，提高調(diào)度數(shù)據(jù)質(zhì)量具有十分重要的現(xiàn)實(shí)意義。

結(jié)合智能電網(wǎng)調(diào)度技術(shù)支持系統(tǒng)數(shù)據(jù)模型規(guī)范性和統(tǒng)一性，對(duì)電網(wǎng)運(yùn)行數(shù)據(jù)查詢或存儲(chǔ)如何保證數(shù)據(jù)準(zhǔn)確性，主要通過(guò)數(shù)據(jù)模板整合工具來(lái)提高調(diào)度數(shù)據(jù)質(zhì)量。

本文首先通過(guò)介紹數(shù)據(jù)整合技術(shù)架構(gòu)，提出了一種基于數(shù)據(jù)質(zhì)量診斷的數(shù)據(jù)整合技術(shù)。其次，通過(guò)利用五項(xiàng)關(guān)鍵技術(shù)整體實(shí)現(xiàn)電網(wǎng)運(yùn)行數(shù)據(jù)的規(guī)范性和統(tǒng)一性，從而解決了提高了數(shù)據(jù)的準(zhǔn)確性，為電網(wǎng)運(yùn)行分析提供了可靠的數(shù)據(jù)支撐。

技術(shù)架構(gòu)

本文針對(duì)現(xiàn)有的電網(wǎng)運(yùn)行數(shù)據(jù)存在的問(wèn)題，經(jīng)過(guò)分析數(shù)據(jù)特征與存儲(chǔ)分布情況，結(jié)合現(xiàn)有的數(shù)據(jù)質(zhì)量診斷方法，設(shè)計(jì)出了適用于電網(wǎng)調(diào)度運(yùn)行數(shù)據(jù)質(zhì)量診斷的數(shù)據(jù)整合技術(shù)架構(gòu)，從可視化流程構(gòu)建技術(shù)、多源異構(gòu)數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)質(zhì)量診斷技術(shù)、基于血緣追蹤的數(shù)據(jù)轉(zhuǎn)換技術(shù)到內(nèi)存數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)，全方位的解決了數(shù)據(jù)所存在的所有問(wèn)題。技術(shù)架構(gòu)如圖1所示。

圖1　數(shù)據(jù)整合技術(shù)架構(gòu)

關(guān)鍵技術(shù)

可視化數(shù)據(jù)流構(gòu)建技術(shù)

視化數(shù)據(jù)流為數(shù)據(jù)整合提供操作方便可拖拽、靈活定義節(jié)點(diǎn)方式進(jìn)行數(shù)據(jù)整合。依據(jù)XML標(biāo)準(zhǔn)模型保存數(shù)據(jù)流模型數(shù)據(jù)，為數(shù)據(jù)整合提供了可視化定制流程手段，同時(shí)具備高度的可移植性。如圖2所示。

圖2　可視化數(shù)據(jù)流構(gòu)建技術(shù)

圖3　基于XML標(biāo)準(zhǔn)模型文件描述應(yīng)用程序界面

1）靈活拖拽定制

用flex頁(yè)面元組件定義數(shù)據(jù)操作節(jié)點(diǎn)，選擇不同節(jié)點(diǎn)進(jìn)行拖拽到數(shù)據(jù)操作區(qū)域，動(dòng)態(tài)調(diào)整節(jié)點(diǎn)坐標(biāo)和擺放位置；通過(guò)監(jiān)聽(tīng)鼠標(biāo)事件和鍵盤(pán)事件對(duì)其操作記錄節(jié)點(diǎn)位置，定義界面全局變量臨時(shí)緩存，待操作完成后統(tǒng)一保存到模型文件。

2）流程化模型存儲(chǔ)

基于XML標(biāo)準(zhǔn)模型文件描述應(yīng)用程序界面，使原本需要由代碼開(kāi)發(fā)的程序界面轉(zhuǎn)而可以使用此規(guī)范進(jìn)行描述。在定義中包含組件類型、位置定義、大小定義、樣式定義及其他組件屬性。如圖3所示。

多源異構(gòu)數(shù)據(jù)抽取技術(shù)

目前整合工具在使用過(guò)程中抽取源有國(guó)產(chǎn)數(shù)據(jù)庫(kù)、商業(yè)數(shù)據(jù)庫(kù)和電力模型文件，數(shù)據(jù)庫(kù)抽取技術(shù)采用配置不同連接驅(qū)動(dòng)動(dòng)態(tài)反射調(diào)用連接庫(kù)實(shí)例，即可達(dá)到同時(shí)抽取多個(gè)庫(kù)實(shí)例。電力模型文件通過(guò)FTP服務(wù)多線程抽取，采用模板解析技術(shù)將數(shù)據(jù)文件放入內(nèi)存處理。

1）多源異構(gòu)數(shù)據(jù)技術(shù)

封裝構(gòu)建異構(gòu)數(shù)據(jù)源的查新模塊，轉(zhuǎn)換底層數(shù)據(jù)對(duì)象為統(tǒng)一的全局?jǐn)?shù)據(jù)。實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一訪問(wèn)以及數(shù)據(jù)源的集成和共享。構(gòu)建異構(gòu)數(shù)據(jù)技術(shù)架構(gòu)見(jiàn)圖4。

2）全量抽取技術(shù)

數(shù)據(jù)源端進(jìn)行全部裝載時(shí)需要進(jìn)行全量抽取，全量抽取就是將數(shù)據(jù)從數(shù)據(jù)庫(kù)中抽取出來(lái)，通過(guò)轉(zhuǎn)換和加載操作遷移到其他地方。技術(shù)實(shí)現(xiàn)通過(guò)選擇不同庫(kù)實(shí)例定義SQL語(yǔ)句抽取全量和JAVA讀文件IO流操作數(shù)據(jù)文件。

3）增量抽取技術(shù)

增量抽取只抽取自上次抽取以來(lái)數(shù)據(jù)庫(kù)中要抽取的表中新增或修改的數(shù)據(jù)。在整合使 用過(guò)程中，捕獲變化的數(shù)據(jù)是增量抽取的關(guān)鍵。將業(yè)務(wù)系統(tǒng)中的變化數(shù)據(jù)按一定的頻率準(zhǔn)確地捕獲。增量數(shù)據(jù)抽取中常用的捕獲變化數(shù)據(jù)的實(shí)現(xiàn)用動(dòng)態(tài)時(shí)間戳去定義SQL語(yǔ)句和文件名，時(shí)間戳標(biāo)簽［YYYY］［MM］［DD］［HH24］［MM］［SS］，通過(guò)JAVA正則處理替換達(dá)到數(shù)據(jù)動(dòng)態(tài)更新抽取。

圖4　異構(gòu)數(shù)據(jù)集成體系結(jié)構(gòu)

數(shù)據(jù)質(zhì)量診斷技術(shù)

數(shù)據(jù)整合通過(guò)對(duì)數(shù)據(jù)抽取后，要對(duì)抽取數(shù)據(jù)結(jié)果進(jìn)行數(shù)據(jù)質(zhì)量診斷校驗(yàn)。一般的數(shù)據(jù)信息都符合統(tǒng)計(jì)學(xué)正態(tài)分布的規(guī)律，若一些占比小的數(shù)據(jù)存在異常，則通過(guò)與其它數(shù)量少的數(shù)據(jù)比較做出判斷。電網(wǎng)運(yùn)行類數(shù)據(jù)質(zhì)量診斷技術(shù)主要采用曲線分析校驗(yàn)，具體如下：

將最近5個(gè)點(diǎn)進(jìn)行大小排序，顯示值取排序中值。使用中值濾波法可以排除局部極值的干擾。若是有一個(gè)異常數(shù)據(jù)經(jīng)過(guò)，則由于在該異常數(shù)據(jù)段前后2個(gè)點(diǎn)附近為極大值（極小值），該點(diǎn)將被中值濾波法所拋棄。使用加權(quán)平均法，即將某點(diǎn)前后5個(gè)值進(jìn)行權(quán)值平均，加權(quán)平均法雖然增加了曲線的平滑度，卻依然受到誤差的權(quán)值因素影響，而且某點(diǎn)的誤差影響到前后5個(gè)點(diǎn)共計(jì)9個(gè)點(diǎn)的影響范圍。使用中值濾波法可能會(huì)丟失一個(gè)峰值信息，但是用電控制以趨勢(shì)控制為主，峰值控制較少，因此最終采用了中值濾波法來(lái)排除異常數(shù)據(jù)。給出了加權(quán)平均法和中值濾波法去除異常點(diǎn)的分析比較。如圖5所示。

基于血緣追蹤的數(shù)據(jù)轉(zhuǎn)換技術(shù)

經(jīng)過(guò)數(shù)據(jù)抽取對(duì)數(shù)據(jù)質(zhì)量診斷判別后，需要對(duì)內(nèi)存數(shù)據(jù)根據(jù)不同電力業(yè)務(wù)進(jìn)行模型轉(zhuǎn)換。在數(shù)據(jù)轉(zhuǎn)換技術(shù)中采用數(shù)據(jù)血緣和流程追蹤進(jìn)行處理，數(shù)據(jù)血緣分為數(shù)據(jù)建模和查詢重寫(xiě)。血緣追蹤采用二叉樹(shù)遞歸遍歷節(jié)點(diǎn)內(nèi)存數(shù)據(jù)轉(zhuǎn)換計(jì)算處理，整合過(guò)程中速度快、數(shù)據(jù)關(guān)系透明化和邏輯操作方便等。

圖5　曲線分析校驗(yàn)

圖6　模板技術(shù)

1） 數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換服務(wù)將根據(jù)數(shù)據(jù)整合任務(wù)配置，在數(shù)據(jù)抽取服務(wù)完成后自動(dòng)啟動(dòng)。它讀取該任務(wù)的轉(zhuǎn)換配置模板文件，并根據(jù)轉(zhuǎn)換模板文件的具體要求：實(shí)現(xiàn)源端和目地端用戶名不同的轉(zhuǎn)換；源端和目地端表名不同的轉(zhuǎn)換；源端和目地端字段名不同的轉(zhuǎn)換；支持對(duì)一個(gè)表的字段增加，刪除、修該源字段類型；對(duì)NUMBER類型數(shù)據(jù)作的+， -， *， /的轉(zhuǎn)換。支持給一個(gè)列設(shè)置默認(rèn)值，當(dāng)該列為空時(shí)自動(dòng)替換為設(shè)置的默認(rèn)值。

2）模板技術(shù)

通過(guò)定義數(shù)據(jù)標(biāo)簽?zāi)０鍖?duì)數(shù)據(jù)模型格式轉(zhuǎn)換，IMPUTIOSTREAM文件流對(duì)其模板和數(shù)據(jù)文件合并。解析標(biāo)簽對(duì)內(nèi)存數(shù)據(jù)格式找到相應(yīng)標(biāo)簽填充實(shí)數(shù)據(jù)，返回二維數(shù)據(jù)結(jié)構(gòu)。在模板中改變變量幾乎在任何地方都可以使用復(fù)雜表達(dá)式來(lái)指定值命名的宏，可以具有位置參數(shù)和嵌套內(nèi)容名字空間有助于建立和維護(hù)可重用的宏庫(kù)，在嵌套模板片段生成輸出時(shí)，轉(zhuǎn)換數(shù)據(jù)文件模型輸出。如圖6所示。

3）數(shù)據(jù)血緣

數(shù)據(jù)建模。主要是建立數(shù)據(jù)庫(kù)概念結(jié)構(gòu)的模型，先定義數(shù)據(jù)庫(kù)全局概念結(jié)構(gòu)模型，然后逐層細(xì)分，產(chǎn)生不同粒度的概念結(jié)構(gòu)模型，知道原子概念結(jié)構(gòu)模型；定義每個(gè)原子概念結(jié)構(gòu)模型整合起來(lái)構(gòu)成數(shù)據(jù)庫(kù)全局結(jié)構(gòu)模型；通過(guò)核心數(shù)據(jù)屬性進(jìn)行部分屬性關(guān)聯(lián)，逐步擴(kuò)張得到數(shù)據(jù)標(biāo)準(zhǔn)模型；對(duì)表數(shù)據(jù)還可以采用視圖關(guān)聯(lián)。這樣在實(shí)體之間的聯(lián)系分為一對(duì)一、一對(duì)多和多對(duì)多三類。

流程化血緣追蹤采用二叉樹(shù)遞歸遍歷算法，遞歸是設(shè)計(jì)和描述算法的一種有力的工具，它在復(fù)雜算法的描述中被經(jīng)常采用

4）自主定義公式

在電網(wǎng)運(yùn)行中地區(qū)負(fù)荷總加、全網(wǎng)最大、負(fù)荷率等需要自主定義公式計(jì)算。定義計(jì)算函數(shù)，通過(guò)下列方式可以實(shí)現(xiàn)自主計(jì)算的自優(yōu)化：用函數(shù)來(lái)表示定義公式策略；依據(jù)當(dāng)前的數(shù)據(jù)模型，通過(guò)業(yè)務(wù)數(shù)據(jù)定義函數(shù)公式，得到期望的數(shù)據(jù)狀態(tài)和相應(yīng)取值情況。針對(duì)內(nèi)存中二維數(shù)據(jù)在電力業(yè)務(wù)需求中采用行與行和列與列之間公式定義計(jì)算，公式定義滿足常規(guī)運(yùn)算和統(tǒng)計(jì)函數(shù)運(yùn)算，常規(guī)運(yùn)算包括加、減、乘、除和操作符優(yōu)先級(jí)等，統(tǒng)計(jì)函數(shù)包括SUM、SQRT、AVG、TAN、COS和邏輯與或運(yùn)算等。

定義行計(jì)算公式。通過(guò)數(shù)據(jù)唯一標(biāo)識(shí)定義公式，葛大江總機(jī)組出=G#1+G#2+G#3，通過(guò)遍歷二維數(shù)據(jù)找到數(shù)據(jù)標(biāo)識(shí)操作計(jì)算。

定義列計(jì)算公式。根據(jù)數(shù)據(jù)列名定義公式，當(dāng)日全網(wǎng)負(fù)荷最大值=MAX（H1，H2，H3…），根據(jù)列名找到度量計(jì)算。

擴(kuò)展計(jì)算函數(shù)。通過(guò)JAVA運(yùn)行態(tài)反射調(diào)用技術(shù)，加載自定義函數(shù)類注入，豐富自主計(jì)算功能和業(yè)務(wù)數(shù)據(jù)邏輯處理。

5）指標(biāo)判別技術(shù)

在電網(wǎng)運(yùn)行中需要很多數(shù)據(jù)指標(biāo)應(yīng)用去支撐運(yùn)行分析，數(shù)據(jù)指標(biāo)分析也是電網(wǎng)運(yùn)行中重要一部分。選擇相關(guān)區(qū)域、設(shè)備及量測(cè)類型編碼進(jìn)行定位。根據(jù)統(tǒng)一編碼，設(shè)備和量測(cè)關(guān)系進(jìn)行匹配。搜索設(shè)備和量測(cè)類型對(duì)象編碼匹配得出葛大江有功總加公式和分量進(jìn)行判別。

基于內(nèi)存的數(shù)據(jù)發(fā)布服務(wù)技術(shù)

在數(shù)據(jù)整合后需要對(duì)內(nèi)存數(shù)據(jù)提供服務(wù)和發(fā)布，根據(jù)不同應(yīng)用業(yè)務(wù)數(shù)據(jù)需要，可以將內(nèi)存數(shù)據(jù)裝載多個(gè)庫(kù)實(shí)例和生成多個(gè)電力標(biāo)準(zhǔn)模型文件。當(dāng)前電網(wǎng)調(diào)度的信息應(yīng)用系統(tǒng)不斷增加，并且多為異構(gòu)系統(tǒng)，其應(yīng)用需求也在不斷變化，需要面向?qū)ο笤O(shè)計(jì)對(duì)其它系統(tǒng)提供數(shù)據(jù)服務(wù)調(diào)用。

數(shù)據(jù)庫(kù)裝載

把內(nèi)存數(shù)據(jù)交換到目的節(jié)點(diǎn)，選擇庫(kù)實(shí)例，通過(guò)利用JDBC組件，支持國(guó)產(chǎn)數(shù)據(jù)庫(kù)、SYBASE、SQLSERVER、DB2、MYSQL等多種滿足SQL標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)裝載。

數(shù)據(jù)文件發(fā)布

從哈希列表中獲取數(shù)據(jù)并將模板轉(zhuǎn)義匹配，數(shù)據(jù)流中內(nèi)存數(shù)據(jù)進(jìn)行定義模板生成數(shù)據(jù)文件，生成數(shù)據(jù)文件通過(guò)FTP服務(wù)進(jìn)行發(fā)布存儲(chǔ)。

結(jié)語(yǔ)

本文提出的基于數(shù)據(jù)質(zhì)量診斷的數(shù)據(jù)整合技術(shù)，從數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)發(fā)、數(shù)據(jù)發(fā)布、數(shù)據(jù)診斷等多個(gè)環(huán)節(jié)對(duì)數(shù)據(jù)進(jìn)行了規(guī)范和統(tǒng)一，從整體上實(shí)現(xiàn)電網(wǎng)運(yùn)行數(shù)據(jù)的規(guī)范性和統(tǒng)一性。而且在此基礎(chǔ)上，使用數(shù)據(jù)質(zhì)量診斷技術(shù)極大的提高了數(shù)據(jù)的準(zhǔn)確性，為電網(wǎng)運(yùn)行分析提供了可靠的數(shù)據(jù)支撐。

DOI：10.3969/j.issn.1001- 8972.2016.13.042