惠州供電局信息系統(tǒng)數(shù)據(jù)質(zhì)量研究與應(yīng)用

李廣

（惠州供電局，廣東 惠州 516000）

1 研究背景

惠州供電局（以下簡稱：惠州局）通過長期信息化建設(shè)，構(gòu)建了完善的業(yè)務(wù)應(yīng)用系統(tǒng)，高效地支持安全、生產(chǎn)、經(jīng)營等工作。

2010年，根據(jù)廣東電網(wǎng)公司推進信息系統(tǒng)深化應(yīng)用要求，結(jié)合惠州局業(yè)務(wù)應(yīng)用系統(tǒng)應(yīng)用現(xiàn)狀，為解決現(xiàn)在存在的數(shù)據(jù)質(zhì)量問題，有必要建立一套規(guī)范合理的評估和解決方案體系，對業(yè)務(wù)應(yīng)用系統(tǒng)各項指標進行合理的分析；根據(jù)分析結(jié)果，制定相應(yīng)的管理辦法，采取相應(yīng)的技術(shù)措施，采用對比評估、量化考慮等手段來提高應(yīng)用系統(tǒng)的實用化程度，更好的發(fā)揮應(yīng)用系統(tǒng)的作用，加快核心信息系統(tǒng)信息化建設(shè)進程和深化應(yīng)用，提高各部門協(xié)作關(guān)系，最終使惠州供電局的業(yè)務(wù)應(yīng)用系統(tǒng)實用化邁上一個新的臺階。

2 數(shù)據(jù)質(zhì)量管理體系建設(shè)思路

根據(jù)惠州局信息系統(tǒng)的實際應(yīng)用情況及數(shù)據(jù)質(zhì)量狀況，在數(shù)據(jù)質(zhì)量管理體系建設(shè)方面，以下思路進行建設(shè)：數(shù)據(jù)分析、數(shù)據(jù)任責體系、組織架構(gòu)、數(shù)據(jù)治理和系統(tǒng)建設(shè)等方面進行，首先進行數(shù)據(jù)質(zhì)量狀況的分析，了解數(shù)據(jù)質(zhì)量的當前狀況，以及相應(yīng)的任責體系，再根據(jù)組織架構(gòu)確定錯誤數(shù)據(jù)來源與相應(yīng)組織機構(gòu)，設(shè)計相應(yīng)的數(shù)據(jù)質(zhì)量管理體系（制度），最終建設(shè)完成一個數(shù)據(jù)質(zhì)量管理及分析系統(tǒng)，為提升惠州局的整體數(shù)據(jù)質(zhì)量服務(wù)。

整個數(shù)據(jù)質(zhì)量管理體系的建設(shè)思路如下圖所示：

2.1 數(shù)據(jù)分析。數(shù)據(jù)分析主要從錯誤數(shù)據(jù)本身出發(fā)，針對錯誤數(shù)據(jù)進行分析，分析的結(jié)果包括：錯誤類型、錯誤數(shù)據(jù)來源、錯誤的現(xiàn)象和錯誤的影響等。

錯誤類型是分析錯誤數(shù)據(jù)產(chǎn)生的原因或類型。根據(jù)實際工作情況，錯誤數(shù)據(jù)產(chǎn)生有幾種類型：人員操作錯誤、信息系統(tǒng)內(nèi)部處理錯誤、信息系統(tǒng)間數(shù)據(jù)交互錯誤。人員操作錯誤主要是通過信息系統(tǒng)操作界面產(chǎn)生的，信息系統(tǒng)內(nèi)部處理錯誤屬系統(tǒng)內(nèi)部的潛在缺陷，而信息系統(tǒng)間數(shù)據(jù)交互錯誤是與不同信息系統(tǒng)的運行環(huán)境相關(guān)，特別是網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)服務(wù)器（含數(shù)據(jù)庫服務(wù)器和數(shù)據(jù)交互服務(wù)器等）環(huán)境等。在上述三種錯誤類型中，前兩種可以通過加強信息系統(tǒng)自身能力或要求進行改善，如增加界面上的必填字段、設(shè)定特定字段的數(shù)據(jù)格式要求等，這些方法可以在一定程度上改善數(shù)據(jù)質(zhì)量情況。

2.2 數(shù)據(jù)任責體系。數(shù)據(jù)任責體系將主要采用U-C矩陣進行分析。U-C矩陣是數(shù)據(jù)任責體系分析的重要工具之一，它將建立不同信息系統(tǒng)間相同數(shù)據(jù)（基礎(chǔ)數(shù)據(jù)或通用數(shù)據(jù)）的使用（Use，U）和創(chuàng)建（Create，C）矩陣來定位業(yè)務(wù)數(shù)據(jù)來源，以期在出現(xiàn)錯誤數(shù)據(jù)時能夠找到來源。

數(shù)據(jù)任責體系主要用于存在大量信息系統(tǒng)，且信息系統(tǒng)間存在大量交互的情況。在一般情況下，創(chuàng)建了數(shù)據(jù)中心并在數(shù)據(jù)中心基礎(chǔ)上存在大量應(yīng)用的單位在提高數(shù)據(jù)質(zhì)量時可考慮使用U-C矩陣進行分析，以迅速定位數(shù)據(jù)來源、提高整體的數(shù)據(jù)質(zhì)量水平。

2.3 組織架構(gòu)。組織架構(gòu)是所有信息系統(tǒng)運行的重要基礎(chǔ)信息，每個信息系統(tǒng)都建立有相應(yīng)的組織架構(gòu)。如果需要明確在組織機構(gòu)層面的錯誤數(shù)據(jù)來源，就必須建立統(tǒng)一的組織機構(gòu)。但由于各信息系統(tǒng)建設(shè)的時間不同、各種基礎(chǔ)應(yīng)用環(huán)境不同，故各信息系統(tǒng)內(nèi)的組織架構(gòu)的結(jié)構(gòu)與數(shù)據(jù)存在一定的差異，如對于一些早期開發(fā)建設(shè)的信息系統(tǒng)，在建設(shè)時還沒有具備通用的組織架構(gòu)信息，故可能采用自行建立相應(yīng)架構(gòu)的機制進行開發(fā)建設(shè)；而在具備通用的組織架構(gòu)信息后投入建設(shè)的信息系統(tǒng)則可能直接采用統(tǒng)一的組織信息為系統(tǒng)內(nèi)的組織信息。2.4數(shù)據(jù)治理。數(shù)據(jù)治理是在出現(xiàn)錯誤數(shù)據(jù)后，對已有的錯誤數(shù)據(jù)進行治理（修改、重同步等）。數(shù)據(jù)治理在方法上，主要包括體系治理和系統(tǒng)治理等兩方面。

從體系上看，數(shù)據(jù)治理工作主要包括建立相應(yīng)的管理制度和系統(tǒng)數(shù)據(jù)規(guī)范，并對相關(guān)業(yè)務(wù)部門的工作人員進行培訓(xùn)，以提高人員在系統(tǒng)使用過程中的技能或水平，從根源上解決系統(tǒng)操作過程中產(chǎn)生錯誤數(shù)據(jù)的原因。

從系統(tǒng)上看，數(shù)據(jù)治理工作將主要根據(jù)前面的數(shù)據(jù)分析結(jié)果，在信息系統(tǒng)本身和信息系統(tǒng)運行環(huán)境上，以技術(shù)的方式進行治理。技術(shù)方式主要采用改善系統(tǒng)功能及操作規(guī)范性，以及改善信息系統(tǒng)運行環(huán)境（如網(wǎng)絡(luò)環(huán)境、服務(wù)器環(huán)境等）。

3 數(shù)據(jù)質(zhì)量管理平臺功能簡介

在數(shù)據(jù)任責體系下，建立數(shù)據(jù)質(zhì)量管理平臺，對信息系統(tǒng)數(shù)據(jù)進行分析與評價，它結(jié)合管理制度和組織機構(gòu)信息，完成對信息系統(tǒng)數(shù)據(jù)質(zhì)量的評價、分析、錯誤處理等一系列工作。

整個數(shù)據(jù)質(zhì)量管理平臺的操作流程及功能如下圖所示：

3.1 評價對象管理。評價對象管理用于管理本系統(tǒng)進行數(shù)據(jù)質(zhì)量評價的所有對象，包括信息系統(tǒng)、數(shù)據(jù)對象和數(shù)據(jù)字段等信息。

信息系統(tǒng)管理用于建立本系統(tǒng)進行數(shù)據(jù)質(zhì)量評價的所有信息系統(tǒng)，實現(xiàn)對這些信息系統(tǒng)基本信息的管理，為后續(xù)對信息系統(tǒng)的數(shù)據(jù)抽取提供基礎(chǔ)信息。

數(shù)據(jù)對象是建立于信息系統(tǒng)基礎(chǔ)之上、位于信息系統(tǒng)與數(shù)據(jù)字段之間的一種分類信息，用于設(shè)定數(shù)據(jù)類型和范圍，以便于用戶進行理解與歸類。

數(shù)據(jù)字段是評價對象中最小的評價內(nèi)容，也是評價工作中最重要的信息。它將根據(jù)實際要求定義不同的評價規(guī)則，包括完備性、合規(guī)性和一致性，以及其他可以定義的不同維度的規(guī)則，并實現(xiàn)相應(yīng)的數(shù)據(jù)質(zhì)量評價規(guī)則。

3.2 評價規(guī)則管理。評價規(guī)則管理用于管理所有評價維度和評價規(guī)則，每個評價維度下可以針對不同的信息系統(tǒng)定義不同的評價規(guī)則，以滿足不同信息系統(tǒng)的特殊化要求。

評價維度管理用于建立數(shù)據(jù)質(zhì)量評價所使用到的所有維度，并根據(jù)實際工作需求定義新的評價維度，以利于系統(tǒng)在未來的拓展。

評價規(guī)則管理是建立在評價維度和數(shù)據(jù)字段基礎(chǔ)之上的，用于定義每個數(shù)據(jù)字段的每個評價維度下的規(guī)則信息，這些規(guī)則信息將最終應(yīng)用于對信息系統(tǒng)數(shù)據(jù)質(zhì)量的評價工作中。根據(jù)數(shù)據(jù)質(zhì)量評價規(guī)則和對這些規(guī)則的分析，評價規(guī)則實現(xiàn)了以下業(yè)務(wù)要求：（完備性）單個字段非空、多個字段一個非空、根據(jù)其他字段的內(nèi)容判定特定字段是否可為空、（合規(guī)性）合法值范圍限定、合法性、數(shù)據(jù)長度范圍限定、（一致性）單個信息系統(tǒng)內(nèi)的數(shù)據(jù)一致性、多個信息系統(tǒng)間的數(shù)據(jù)一致性等等。規(guī)則將根據(jù)實際業(yè)務(wù)需要做出不同形式的定義，以確保系統(tǒng)的可拓展性。評價管理

評價管理功能是整個系統(tǒng)中最核心的功能，專用于對各信息系統(tǒng)的數(shù)據(jù)質(zhì)量進行評價，并對評價結(jié)果進行初步分析。

數(shù)據(jù)質(zhì)量評價

數(shù)據(jù)質(zhì)量評價是系統(tǒng)最核心功能，它將利用所有基礎(chǔ)數(shù)據(jù)信息（信息系統(tǒng)、數(shù)據(jù)對象、數(shù)據(jù)字段、評價維度和評價規(guī)則等），對各信息系統(tǒng)的數(shù)據(jù)質(zhì)量進行評價。

數(shù)據(jù)質(zhì)量評價包括自動評價和手工評價兩種方式。

手工評價由操作人員手動設(shè)置信息系統(tǒng)、時間條件等，并執(zhí)行數(shù)據(jù)質(zhì)量評價；系統(tǒng)將記錄下相關(guān)的評價結(jié)果。

3.3.2 評價結(jié)果分析

評價結(jié)果分析是對評價結(jié)果進行各種分析，如按信息系統(tǒng)對各業(yè)務(wù)部門評價成績進行比較、按業(yè)務(wù)部門的評價成績進行分析/比較、按部門下班組/子部門對特定信息系統(tǒng)/數(shù)據(jù)對象的評價成績比較、在指定時間范圍內(nèi)各信息系統(tǒng)評價成績變化情況等。

評價結(jié)果分析的目標在于定位出數(shù)據(jù)質(zhì)量較低的部門或班組，并為后期的數(shù)據(jù)質(zhì)量提高提供準確信息。

3.4 錯誤數(shù)據(jù)管理

錯誤數(shù)據(jù)管理主要用于對評價結(jié)果中的錯誤數(shù)據(jù)信息進行分析與管理，包括錯誤數(shù)據(jù)查詢與統(tǒng)計分析、錯誤數(shù)據(jù)處理工單等主要功能。

錯誤數(shù)據(jù)處理工單用于對錯誤數(shù)據(jù)進行處理的工作安排，將考慮以工作流的形式進行設(shè)計。考慮到目前條件尚未成熟，暫時采用導(dǎo)出EXCEL文件并分發(fā)的形式進行錯誤數(shù)據(jù)處理，未來條件成熟時再考慮在系統(tǒng)內(nèi)實現(xiàn)錯誤數(shù)據(jù)處理工單，以提高系統(tǒng)的自動化程度。

4 應(yīng)用效益分析

4.1 基本能夠準確定位出錯誤數(shù)據(jù)的來源

在大部分的信息系統(tǒng)中，數(shù)據(jù)內(nèi)容均有較為明確的信息創(chuàng)建者或創(chuàng)建部門信息，故可以通過信息的關(guān)聯(lián)性找到相應(yīng)的錯誤數(shù)據(jù)來源，如個人、班組、部門等，為有針對性地制訂相關(guān)管理制度提供了明確的方向。

4.2 完整分析出各信息系統(tǒng)內(nèi)部存在的數(shù)據(jù)隱患

在各信息系統(tǒng)中都存在程度不一的數(shù)據(jù)安全隱患，這為將來從根源上解決信息系統(tǒng)的數(shù)據(jù)質(zhì)量提供了明確的改進方向。

4.3 細化基層班組的管理粒度

由于基本能夠定位出錯誤數(shù)據(jù)的來源（細化到最底一層組織機構(gòu)），故能夠提升整體的管理水平，為全面提高信息系統(tǒng)的數(shù)據(jù)質(zhì)量提供了方向。

結(jié)束語

通過數(shù)據(jù)質(zhì)量管理體系在惠州供電局中的初步應(yīng)用，目前已取得了初步成效；但惠州局的數(shù)據(jù)質(zhì)量管理體系建設(shè)才剛剛起步，在運行過程中還存在著不少問題，還有大量的可提升空間。未來我們將根據(jù)數(shù)據(jù)質(zhì)量體系的總體設(shè)計思路，逐步將管理體系的各項工作完成、完善，以達到穩(wěn)定提升惠州局各信息系統(tǒng)數(shù)據(jù)質(zhì)量的最終目標。

[1]張海藩.軟件工程導(dǎo)論（第5版）[M].北京：清華大學(xué)出版社.

[2]Mehmed Kantardzic，閃四清，陳茵，程雁.數(shù)據(jù)挖掘——概念、模型、方法和算法[M].北京：清華大學(xué)出版社，2003年第1版.

[3]Harold Kerzner，楊愛華，楊磊.項目管理：計劃、進度和控制的系統(tǒng)方法（原著第七版）[M].北京:機械工業(yè)出版社，2002年第1版.

[4]丁海龍，徐宏炳.數(shù)據(jù)質(zhì)量分析及應(yīng)用[J].計算機技術(shù)與發(fā)展，2007年3月.

[5]韓京宇，徐立臻，董逸生.數(shù)據(jù)質(zhì)量研究綜述[J].中國科技論文在線.

[6]楊青云，趙培英，楊冬青，唐世渭，童云海.數(shù)據(jù)質(zhì)量評估方法研究[J].計算機工程與應(yīng)用，2004年第9期.