基于數(shù)據(jù)資源整合平臺的數(shù)據(jù)質(zhì)量提升技術(shù)研究與應用

陳武

[摘 要] 針對信息系統(tǒng)產(chǎn)生信息孤島、運行維護工作困難、統(tǒng)一管控薄弱、長期積累的數(shù)據(jù)不能互用共享等問題，開展了統(tǒng)一數(shù)據(jù)資源整合平臺的構(gòu)建研究，并從數(shù)據(jù)完整性、一致性、規(guī)范性、及時性、規(guī)范性等方面提出綜合的數(shù)據(jù)質(zhì)量提升方案，為曲靖供電局局全業(yè)務管理應用提供數(shù)據(jù)支撐。

[關(guān)鍵詞] 數(shù)據(jù)資源整合平臺；數(shù)據(jù)完整性；一致性；規(guī)范性；及時性

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 23. 094

[中圖分類號] TP311 [文獻標識碼] A [文章編號] 1673 - 0194（2017）23- 0189- 03

1 引 言

云南電網(wǎng)曲靖供電局通過多年的項目建設，形成了各種各樣的信息化系統(tǒng)來支撐日常工作的開展。雖然建立了許多信息系統(tǒng)卻也產(chǎn)生了許多信息孤島、運行維護工作困難、統(tǒng)一管控薄弱、長期積累的數(shù)據(jù)不能互用共享等問題。

針對目前信息資源管理過程的困惑，曲靖供電局將借助云計算手段實現(xiàn)信息資源池化管理，有效提高本局的資源使用效率，降低資源管理難度。通過資源管理平臺實現(xiàn)與外部單位數(shù)據(jù)貫通，并通過資源管理平臺實現(xiàn)資源動態(tài)調(diào)度，實現(xiàn)曲靖供電局基礎設施及服務模式。同時將為未來云網(wǎng)分布式數(shù)據(jù)中心的建設進行預研與技術(shù)沉淀，延伸電力產(chǎn)業(yè)鏈，打造出全新高效優(yōu)勢明顯的電力信息通信產(chǎn)業(yè)，推動電網(wǎng)由單一輸電載體向綜合性能源及信息供給平臺發(fā)展。

2 現(xiàn)狀分析

由于曲靖供電局在用的信息系統(tǒng)主要有南網(wǎng)推廣的CSGII各業(yè)務系統(tǒng)、云網(wǎng)統(tǒng)一組織自建的業(yè)務系統(tǒng)，以及曲靖局為支持輔助業(yè)務開展而自建的系統(tǒng)。目前曲靖局相關(guān)系統(tǒng)交互時信息不能很好的共享、數(shù)據(jù)不能互通、來回切換查找比較復雜、數(shù)據(jù)不能根據(jù)各自崗位的需要，直觀的呈現(xiàn)出來，處于被動式、運維不能統(tǒng)一管控，未能對曲靖局的全業(yè)務管理提供有效的支撐。本文將開展統(tǒng)一數(shù)據(jù)資源整合平臺的構(gòu)建研究，并從數(shù)據(jù)完整性、一致性、規(guī)范性、及時性、規(guī)范性等方面提出綜合的數(shù)據(jù)質(zhì)量提升方案，為曲靖供電局全業(yè)務管理應用提供數(shù)據(jù)支撐。

3 數(shù)據(jù)資源整合平臺構(gòu)建

平臺構(gòu)建將以數(shù)據(jù)為核心，運用平臺化的建設思路構(gòu)建分布式數(shù)據(jù)中心，通過數(shù)據(jù)建模、數(shù)據(jù)集成、數(shù)據(jù)融合等技術(shù)手段，對現(xiàn)有系統(tǒng)數(shù)據(jù)進行整合，提高各業(yè)務系統(tǒng)之間的數(shù)據(jù)共享能力，提升曲靖局數(shù)據(jù)資產(chǎn)的應用水平，如下圖1所示。

其中，數(shù)據(jù)源主要包括南網(wǎng)通推的資產(chǎn)管理系統(tǒng)、GIS系統(tǒng)、營銷系統(tǒng)，云網(wǎng)自建的技術(shù)監(jiān)督、所務系統(tǒng)、調(diào)度系統(tǒng)，曲靖供電局自建的訂餐管理系統(tǒng)、班組精益化支撐平臺，圖像及環(huán)境監(jiān)控，門戶等系統(tǒng)，涉及信息系統(tǒng)較多，數(shù)據(jù)結(jié)構(gòu)復雜。

數(shù)據(jù)接入將針對各系統(tǒng)實際情況，以ETL工具、文件解析器、JStorm流式處理、數(shù)據(jù)導入、MQ消息隊列等方式支撐。

數(shù)據(jù)中心則需構(gòu)建統(tǒng)一的數(shù)據(jù)模型，基于hadoop架構(gòu)體系上部署關(guān)系型、非關(guān)系型的數(shù)據(jù)統(tǒng)一存儲、模型管理及數(shù)據(jù)質(zhì)量管理。提供離線計算、流式計算、內(nèi)存計算、機器學習等的統(tǒng)一計算，以及服務管理、服務注冊、服務發(fā)布、服務訂閱、訪問控制、負載均衡的統(tǒng)一服務。

4 數(shù)據(jù)質(zhì)量提升

針對來源于不同信息系統(tǒng)的數(shù)據(jù)范圍，如何解決數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一應用需從數(shù)據(jù)完整性、數(shù)據(jù)一致性、數(shù)據(jù)規(guī)范性等方面開展數(shù)據(jù)質(zhì)量提升工作。

4.1 數(shù)據(jù)完整性驗證及提升

數(shù)據(jù)完整性是指數(shù)據(jù)的精確性和可靠性，本模塊需實現(xiàn)相關(guān)數(shù)據(jù)的完整性驗證。

（1）驗證變電站信息的完整性，包括：變電站名稱、地址、變電站類型、變電站類別、變壓器臺數(shù)、主變壓器總?cè)萘俊⒊鼍€數(shù)、進線數(shù)、污區(qū)等級、控制方式、值守方式等信息是否完整。

（2）驗證設備臺賬信息的完整性，包括：設備名稱、設備類別、設備型號、電壓等級、生產(chǎn)廠家、供應商名稱、出廠編號、出廠日期、投運日期、是否虛擬、資產(chǎn)狀態(tài)、固定資產(chǎn)編碼、運行編號、經(jīng)度、緯度、海拔高度、運維部門、所屬供電局等信息是否完整。

（3）驗證缺陷記錄信息的完整性，包括：缺陷設備、缺陷部件、缺陷時間、缺陷類型、缺陷等級、缺陷表象、缺陷原因、缺陷部位、缺陷描述、缺陷發(fā)現(xiàn)來源、缺陷處理措施、處理情況描述、遺留問題、消缺人、消缺時間、消缺結(jié)果、未消缺原因等信息是否完整。

（4）驗證監(jiān)測裝置信息的完整性，包括：監(jiān)測裝置名稱、監(jiān)測裝置類型、監(jiān)測裝置廠家、監(jiān)測裝置安裝日期等是否完整。

4.2 數(shù)據(jù)一致性驗證及提升

數(shù)據(jù)一致性通常指關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整，本模塊需實現(xiàn)相關(guān)數(shù)據(jù)的一致性性驗證。

（1）驗證設備信息中所屬變電站編號是否和變電站信息中的編號一致。

（2）驗證設備缺陷記錄中的設備編碼是否和設備信息中的物理編碼一致。

（3）驗證設備試驗報告中設備編碼是否和設備信息中的物理編碼一致。

（4）驗證變電監(jiān)測裝置中的被監(jiān)測設備編碼是否和設備信息中的物理編碼一致。

（5）驗證輸電監(jiān)測裝置中的線路編號是否和線路信息中的編號一致。

（6）驗證變電監(jiān)測數(shù)據(jù)的中裝置編碼是否和變電監(jiān)測裝置中的編碼一致。

（7）驗證輸電監(jiān)測數(shù)據(jù)中終端編碼是否和輸電監(jiān)測裝置中的終端編碼一致。

發(fā)現(xiàn)數(shù)據(jù)不一致時可協(xié)調(diào)數(shù)據(jù)源端進行處理并上傳，或采用人工核對的方式完成整改。

4.3 數(shù)據(jù)及時性驗證及提升

任何信息的價值都有其時間性，且在某種程度上信息越及時其價值越高。過時的信息只能作為歷史資料，對決策毫無用處。所以，及時性原則是相關(guān)性的重要保證，沒有及時性也就談不上相關(guān)性。本模塊需實現(xiàn)相關(guān)數(shù)據(jù)的及時性驗證。

（1）驗證設備缺陷數(shù)據(jù)是否每天及時上傳。

（2）驗證變電在線監(jiān)測數(shù)據(jù)是否每天及時上傳。

（3）驗證輸電在線監(jiān)測數(shù)據(jù)是否每天及時上傳。

（4）驗證配電在線監(jiān)測數(shù)據(jù)是否每天及時上傳。

（5）驗證氣象環(huán)境數(shù)據(jù)是否每天及時上傳。

（6）驗證雷電監(jiān)測數(shù)據(jù)是否每天及時上傳，包括以上數(shù)據(jù)每天上傳數(shù)據(jù)量、上傳時間的驗證。

發(fā)現(xiàn)有數(shù)據(jù)間斷或停止上傳時，可自動進行提醒，并通知運維人員補采或補錄。

4.4 數(shù)據(jù)準確性驗證及提升

數(shù)據(jù)準確性直接反應了設備運行的真實情況，需保障上傳數(shù)據(jù)的真實性、準確性。

（1）驗證變電站信息是否與實際情況一一對應。

（2）驗證設備信息是否與實際情況一一對應。

（3）驗證線路信息是否與實際情況一一對應。

（4）驗證變電監(jiān)測裝置信息是否與實際情況一一對應。

（5）驗證輸電監(jiān)測裝置信息是否與實際情況一一對應。

（6）驗證配變監(jiān)測點信息是否與實際情況一一對應。

發(fā)現(xiàn)數(shù)據(jù)不準確時可協(xié)調(diào)數(shù)據(jù)源端進行處理并上傳，或采用人工核對的方式完成整改。

4.5 數(shù)據(jù)規(guī)范性驗證及提升

數(shù)據(jù)規(guī)范性主要體現(xiàn)在接入的數(shù)據(jù)需符合事先定義的數(shù)據(jù)類型、數(shù)據(jù)長度規(guī)范。

（1）驗證日期型數(shù)據(jù)的規(guī)范性，包括：“出廠日期”、“投產(chǎn)日期”、“退役日期”等數(shù)據(jù)類型為“日期型”的信息字段，應滿足“yyyymmdd”（yyyy-表示4位年份數(shù)字；mm-表示2位月份數(shù)字，不足2位長度用0填充；dd-表示2位日期數(shù)字，不足2位長度用0填充；）的數(shù)據(jù)格式要求，同時還應滿足[1960-01-01～當前日期）的區(qū)間范圍要求，并通過“出廠日期<投產(chǎn)日期<退役日期”（“退役日期”非空）的數(shù)據(jù)有效性邏輯校驗。

（2）驗證數(shù)值型數(shù)據(jù)的規(guī)范性，包括：“氫氣”、“一氧化碳”、“甲烷”、“乙烯”等數(shù)據(jù)類型為“數(shù)字型”的字段，應滿足“保留小數(shù)點后面2位”。

（3）驗證文字描述性數(shù)據(jù)的規(guī)范性，包括：“缺陷描述”、“災害信息”、“試驗結(jié)論”等“字符型”的信息字段，應滿足“中文漢字描述為主”。

發(fā)現(xiàn)數(shù)據(jù)不規(guī)范時可協(xié)調(diào)數(shù)據(jù)源端進行處理并上傳，或采用人工核對的方式完成整改。

5 結(jié) 論

本文主要分析了曲靖供電局信息系統(tǒng)建設及應用現(xiàn)狀，存在問題，并提出數(shù)據(jù)資源整合平臺建設構(gòu)想，基于數(shù)據(jù)資源整合平臺工具，從數(shù)據(jù)完整性、數(shù)一致性、數(shù)據(jù)及時性、數(shù)據(jù)準確性、數(shù)據(jù)規(guī)范性等方面提出數(shù)據(jù)質(zhì)量提升的示例方法，為曲靖供電局相關(guān)信息系統(tǒng)交互信息共享、數(shù)據(jù)互通、數(shù)據(jù)交互應用以及供電局層面全業(yè)務管理提供有效的支撐。

主要參考文獻

[1][美]Matt Casters，Roland Bouman.Pentaho Kettle 解決方案[M].初建軍，曹雪梅，譯.北京：電子工業(yè)出版社，2014.

[2][荷]Wil van der Aalst.工作流管理：模型、方法和系統(tǒng)[M].王建民，聞立杰，譯.北京：清華大學出版社，2004.

[3][美]米羅斯拉夫·庫巴特.機器學習導論[M].王勇，仲國強，孫鑫，譯.北京：機械工業(yè)出版社，2009.

[4][英]維克托·邁爾-舍恩伯格，肯尼思·庫克耶.大數(shù)據(jù)時代[M].周濤，等，譯.杭州：浙江人民出版社，2012.

[5][美]Jared Dean.大數(shù)據(jù)挖掘與機器學習[M].林清怡，譯.北京：人民郵電出版社，2015.