配網(wǎng)多源異構(gòu)數(shù)據(jù)分析與接入管理方法概述

劉佳?黨衛(wèi)軍?李智斌

摘 要 本文基于主數(shù)據(jù)管理的思想，利用互聯(lián)網(wǎng)接口通信技術(shù)，建立各個(gè)系統(tǒng)的數(shù)據(jù)通信通道，將數(shù)據(jù)進(jìn)行解析、處理后，持久化到目標(biāo)系統(tǒng)。結(jié)合主數(shù)據(jù)管理思想，本文使用通用的web service接口，確保系統(tǒng)之間的通信協(xié)議和數(shù)據(jù)格式的一致性。目標(biāo)系統(tǒng)接入其他系統(tǒng)的數(shù)據(jù)后形成一個(gè)全面的數(shù)據(jù)中心，為后續(xù)的數(shù)據(jù)管理和數(shù)據(jù)分析提供基礎(chǔ)支持。文章主要探究與分析多源異構(gòu)數(shù)據(jù)和管理方法，對主數(shù)據(jù)管理思想加以了解。

關(guān)鍵詞 主數(shù)據(jù)管理思想;web service;數(shù)據(jù)中心

引言

電力行業(yè)圍繞著國家中心城市建設(shè)做好電力供應(yīng)，這對電網(wǎng)的安全、可靠提出了更高要求，保障電網(wǎng)安全、可靠性成為供電局的一項(xiàng)重要任務(wù)。近年來，電力企業(yè)的信息化建設(shè)不斷深入，企業(yè)的管理、外部環(huán)境等方面產(chǎn)生了大量的數(shù)據(jù)，種類多樣、量大，實(shí)時(shí)性強(qiáng)。而且，企業(yè)的數(shù)據(jù)建設(shè)還在不斷的發(fā)展中，數(shù)據(jù)的質(zhì)量在不斷提高。但是電力企業(yè)的信息系統(tǒng)眾多，企業(yè)數(shù)據(jù)分布在各個(gè)系統(tǒng)中，無法共享信息和統(tǒng)一管理，造成數(shù)據(jù)管理混亂，存在大量冗余數(shù)據(jù)浪費(fèi)存儲資源。因此對多源異構(gòu)數(shù)據(jù)進(jìn)行分析，制定相應(yīng)的主數(shù)據(jù)管理策略。

1多源異構(gòu)數(shù)據(jù)

多源異構(gòu)數(shù)據(jù)是指數(shù)據(jù)源不同，數(shù)據(jù)結(jié)構(gòu)不一樣的數(shù)據(jù)。在企業(yè)信息化建設(shè)過程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其他經(jīng)濟(jì)和人為因素等因素影響，導(dǎo)致企業(yè)在發(fā)展過程中積累了大量采用不同存儲方式的業(yè)務(wù)數(shù)據(jù)，包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡單的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫，它們構(gòu)成了企業(yè)的異構(gòu)數(shù)據(jù)源[1]。多源異構(gòu)數(shù)據(jù)的價(jià)值在于信息內(nèi)容豐富多樣，多源異構(gòu)數(shù)據(jù)可以反映企業(yè)的全面運(yùn)作情況。

主數(shù)據(jù)管理（Master Data Management ，MDM）是指一組約束和方法用來保證一個(gè)企業(yè)內(nèi)主題域和系統(tǒng)內(nèi)相關(guān)數(shù)據(jù)以及跨主題域和系統(tǒng)的相關(guān)數(shù)據(jù)的實(shí)時(shí)性、含義和質(zhì)量[2]。用主數(shù)據(jù)管理的方式接入多源異構(gòu)數(shù)據(jù)的目的是保證系統(tǒng)協(xié)調(diào)和重用通用、正確的業(yè)務(wù)數(shù)據(jù)。

2多源異構(gòu)數(shù)據(jù)的接入分析

2.1 系統(tǒng)架構(gòu)

系統(tǒng)總體架構(gòu)包括不同層面的業(yè)務(wù)應(yīng)用、技術(shù)、安全、數(shù)據(jù)的方案和相互關(guān)系，這些內(nèi)容按維度分為接入層，集成層、應(yīng)用層、數(shù)據(jù)層、如圖1所示。接入層主要描述數(shù)據(jù)源系統(tǒng)。各個(gè)數(shù)據(jù)源系統(tǒng)獨(dú)立分布，系統(tǒng)間以網(wǎng)關(guān)平臺轉(zhuǎn)發(fā)數(shù)據(jù)的方式通信，解決系統(tǒng)間內(nèi)外網(wǎng)通信問題。網(wǎng)關(guān)平臺的監(jiān)測審計(jì)功能可以有效保障數(shù)據(jù)傳輸?shù)陌踩?，防止網(wǎng)絡(luò)攻擊出現(xiàn)的數(shù)據(jù)泄漏問題。應(yīng)用層是目標(biāo)系統(tǒng)的系統(tǒng)功能應(yīng)用，其中包括有安全管理、接口管理、緩存管理、日志管理等的系統(tǒng)功能。安全管理是通用接口的訪問權(quán)限安全的系統(tǒng)應(yīng)用。接口管理是webservice接口發(fā)布維護(hù)的系統(tǒng)應(yīng)用。緩存管理是目標(biāo)系統(tǒng)內(nèi)部運(yùn)行的緩存數(shù)據(jù)的系統(tǒng)應(yīng)用。日志管理是系統(tǒng)操作日志記錄的系統(tǒng)應(yīng)用。數(shù)據(jù)層的作用是持久化多源異構(gòu)數(shù)據(jù)。

2.2 功能流程

多源異構(gòu)數(shù)據(jù)接入的整體流程如圖2所示：

流程說明：數(shù)據(jù)源系統(tǒng)提供所需同步的數(shù)據(jù)信息，數(shù)據(jù)源系統(tǒng)主動或被動推送數(shù)據(jù)信息。主動是數(shù)據(jù)源系統(tǒng)經(jīng)過中轉(zhuǎn)系統(tǒng)調(diào)用目標(biāo)系統(tǒng)的web service接口，將數(shù)據(jù)信息以字符串推送。目標(biāo)系統(tǒng)接收請求后開始經(jīng)過解析數(shù)據(jù)，數(shù)據(jù)緩存，隊(duì)列處理緩存，數(shù)據(jù)映射，數(shù)據(jù)持久化等一系列處理后完成數(shù)據(jù)同步。系統(tǒng)同步數(shù)據(jù)量較大，數(shù)據(jù)緩存可以有效提高接口響應(yīng)速度，將數(shù)據(jù)先緩存起來，然后用異步線程處理剩下的流程，提高系統(tǒng)同步的性能和保證系統(tǒng)運(yùn)行的穩(wěn)定。異步多線程處理隊(duì)列緩存保證數(shù)據(jù)安全，每個(gè)線程單獨(dú)處理一個(gè)隊(duì)列的數(shù)據(jù)。數(shù)據(jù)映射是確保同步準(zhǔn)確性的關(guān)鍵，先建立起同步字段和數(shù)據(jù)庫字段的映射關(guān)系，保持字段屬性一致。最后將數(shù)據(jù)持久化到數(shù)據(jù)庫表中完成同步流程。

數(shù)據(jù)源系統(tǒng)被動推送數(shù)據(jù)是該系統(tǒng)提供數(shù)據(jù)查詢接口，目標(biāo)系統(tǒng)發(fā)布定時(shí)任務(wù)來定時(shí)調(diào)用查詢接口，獲取同步數(shù)據(jù)。后續(xù)目標(biāo)系統(tǒng)處理流程一致。

數(shù)據(jù)文本傳輸?shù)男问?，是?shù)據(jù)源系統(tǒng)以文件方式提供數(shù)據(jù)。目標(biāo)系統(tǒng)發(fā)布定時(shí)任務(wù)定時(shí)從文本服務(wù)器上讀取文件。目標(biāo)系統(tǒng)解析得到數(shù)據(jù)后的流程與上述一致。

3多源異構(gòu)數(shù)據(jù)的接入管理

3.1 建立通用統(tǒng)一的web service接口

根據(jù)接口通用性需要，目標(biāo)系統(tǒng)采用soap協(xié)議發(fā)布web servcie接口，將接口的通用字段進(jìn)行統(tǒng)一規(guī)范化，提供給各個(gè)異構(gòu)系統(tǒng)進(jìn)行調(diào)用。web service接口具有較高的穩(wěn)定性和安全性。數(shù)據(jù)接口具有較高的穩(wěn)定性和安全性，可以提高系統(tǒng)的運(yùn)行效率，有效保護(hù)用戶的消息安全[3]。

3.2 建立方便配置的映射模型

在對接數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)的時(shí)候，需要接收的數(shù)據(jù)是多樣的，此時(shí)針對多樣化數(shù)據(jù)，目標(biāo)系統(tǒng)需要適配映射各個(gè)異構(gòu)系統(tǒng)的數(shù)據(jù)。通過字段關(guān)系的映射接入數(shù)據(jù)和數(shù)據(jù)庫字段關(guān)系，達(dá)到準(zhǔn)確的接收數(shù)據(jù)的效果。

3.3 構(gòu)建多樣化的數(shù)據(jù)解析模型

系統(tǒng)間傳輸數(shù)據(jù)形式不同，有的是字符串形式，或者是文件形式。對于不同的數(shù)據(jù)接收方式，分別提供不同的解析數(shù)據(jù)模型，可以廣泛適用于多數(shù)據(jù)源系統(tǒng)，符合接口的可擴(kuò)展性原則。

4結(jié)束語

綜上所述，應(yīng)用主數(shù)據(jù)管理思想來管理多源異構(gòu)數(shù)據(jù)可以保證系統(tǒng)協(xié)調(diào)，對業(yè)務(wù)數(shù)據(jù)重用通用，保證數(shù)據(jù)的正確性。隨著電力行業(yè)的發(fā)展，信息化建設(shè)的不斷深入，多源異構(gòu)數(shù)據(jù)不斷增長。數(shù)據(jù)是信息系統(tǒng)的核心，高效規(guī)范管理多源異構(gòu)數(shù)據(jù)將為企業(yè)的建設(shè)數(shù)據(jù)生態(tài)圈的基礎(chǔ)。

參考文獻(xiàn)

[1] 馬新建，夏士雄.基于本體的多源異構(gòu)數(shù)據(jù)集成方法研究[J].微計(jì)算機(jī)信息，2008，（25）：302-304.

[2] 謝定芬.大數(shù)據(jù)時(shí)代企業(yè)的主數(shù)據(jù)管理[J].環(huán)球市場信息導(dǎo)報(bào)，2016，（34）：46.

[3] 余莎莎.計(jì)算機(jī)軟件數(shù)據(jù)接口的設(shè)計(jì)與實(shí)現(xiàn)[J].科技創(chuàng)新導(dǎo)報(bào)，2016，13（10）：73，75.

作者簡介

劉佳（1986-），女，湖南湘鄉(xiāng)人;學(xué)歷：本科，工程師，研究方向：配電運(yùn)行與維護(hù)。