基于熵權和層次分析法的數據質量評估研究

摘 要： 數據質量評價是電力企業運營監測（控）中心數據質量管理的重要工作，其中關鍵的一項就是對運營監測（控）數據質量進行分析評估。針對電力企業運營監控中心數據質量現狀，建立了運營監控中心數據質量評價指標體系。通過構建基于熵權與層次分析法的運營監控中心數據質量組合權重評價模型，應用電力企業運營監測（控）中心支撐信息系統數據驗證了運營監控中心數據質量組合權重評價模型的有效性和適用性。

關鍵詞： 數據質量評價； 指標體系； 熵權； 層次分析法

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2013）22?0039?04

0 引 言

隨著電力企業運營監測（控）中心支撐信息系統建設逐步深入，運營監測（控）中心支撐信息系統也面臨著復雜多變的數據環境。信息數據的大量產生，以及從各種渠道收集獲取的不符合系統要求的數據造成了維度不完整、數據取值范圍不一致、歷史數據缺失、頻度不一致和計量單位不一致等問題，從而對企業的數據分析、數據應用影響非常嚴重。

數據作為運營監測（控）中心支撐信息系統的基礎和核心，對運營監測（控）中心支撐信息系統起著至關重要的作用，數據質量的高低直接對整個系統有直接的影響。好的數據質量是各種數據分析能夠得到有意義結果的基礎條件，而質量低劣的數據已經成為影響企業進行正確決策的重要因素。

運營監測（控）中心支撐信息系統在公司生產經營中的支撐作用越來越突出，企業級數據資源已成為公司重要的核心資源，為公司領導及各業務部門及時全面掌握生產經營情況以及科學分析決策提供了重要依據。因此，公司確定將對運營監測（控）中心支撐信息系統數據開展數據質量評價、通報、考核工作。

數據質量評估是為了保障電力企業兩級運營監測（控）中心數據及時、完整、準確地接入，提升數據質量，為了準確而客觀地評價數據質量，有效地指導電力企業運營監測（控）中心工作開展，必須在建立數據質量評價指標體系的基礎上，科學地確定各項指標的權重。

本文基于當前電力企業運營監測（控）中心數據質量研究的成果，設置評價指標體系，利用熵權法法[1]和層次分析法[2]分別確定運營監測（控）中心數據質量評價指標的客觀指標權重和主觀指標權重，然后綜合評價指標的主觀權重和客觀權重計算各評價指標的組合權重，而建立了電力企業運營監測（控）中心數據質量評價的熵組合權重評價模型。

1 運營監測（控）中心數據質量評價指標體系

1.1 數據質量評價指標選擇原則

作為電力企業運營監測（控）中心數據質量評價模型，需要通過對一組關鍵性指標的監測和分析，以此來反應電力企業運營監測（控）中心支撐信息系統數據質量水平情況，因此建立科學的公司數據質量水平評價指標是建立電力企業運營監測（控）中心數據質量水平評價模型的重要環節。本文根據電力企業運營監測（控）中心支撐信息系統數據現狀，在進行了大量的分析研究的基礎上，根據以下原則建構了電力企業運營監測（控）中心數據質量評價指標體系：

（1）全面覆蓋、重點突出。數據質量管理工作范圍覆蓋運監中心所有業務數據，包括各源業務系統線上自動接入的系統數據和各業務部門以線下方式手工錄入的各類數據；重點核查系統自動接入數據，并進行數據溯源、分析和數據評價，以逐步提高線上自動接入比例，減少線下手工錄入數據，支撐運營監測（控）工作及時有效開展。

（2）統一規范、客觀高效。制定統一規范的數據質量規則和評價工作流程，并將規則和流程固化到運營監測（控）信息支撐系統中，依托系統對數據質量進行在線監測，客觀、真實、即時反映數據質量情況。

（3）循序漸進、持續優化。以運營監測（控）數據需求為基礎，根據數據接入實際情況，不斷豐富數據質量核查規則，完善和提升評價標準，動態調整評價指標，持續優化評價體系，實現以通報評價促進數據及時、完整、準確接入，逐步提升運營監測（控）數據質量。

（4）定性與定量相結合的原則。電力企業運營監測（控）中心數據質量評價中，根據不同評價內容的特點采用不同性質的評價指標，能夠更準確地反應電力企業運營監測（控）中心數據質量的現狀和趨勢。

（5）實用性與可比性原則：電力企業運營監測（控）中心數據質量評價指標設計要具有可行性、可操作性、實用性以及能夠進行縱向比較和橫向比較，指標要簡化以及數據易于獲取。

1.2 運營監測（控）中心數據質量指標分析

根據以上原則和數據質量原理，結合電力企業運營監測（控）中心數據的實際情況，本文選取的指標維度包括以下四個維度：

（1）數據接入情況要求數據在規定的時間內接入全部接入系統。主要從數據應接入數量、實際接入數量、指標歷史數據等方面進行核查。數據接入情況用指標數據自動采集率和指標歷史數據接入率兩個指標來度量，其定義為：指標數據自動采集率反映指標通過系統接入的自動化程度，是指實際由源業務系統自動接入的指標數據占指標體系中應接指標總數的比例；指標歷史數據接入率反映歷史數據接入情況的指標，指歷史數據在規定的時間和頻度周期內接入系統，由月指標歷史數據接入率、周指標歷史數據接入率、日指標歷史數據接入率等構成。

（2）數據質量及時性規則要求數據在規定的時間和頻度周期內接入系統。主要從各源業務系統數據接入及時性及各省（市）公司數據上報及時性等方面進行核查。數據質量及時性用指標數據接入及時率來度量，其定義為：指標數據接入及時率反映數據接入及時情況的指標，指數據在規定的時間和頻度周期內接入系統的比例，由月指標數據及時率、周指標數據及時率、日指標數據及時率等構成。

（3）數據質量完整性規則要求數據記錄內容完整。主要從數據業務維度組合完整、單位維度完整、指標值完整等方面進行核查。數據質量完整性用指標數據完整率來度量，其定義為：指標數據完整率反映數據接入完整情況的指標，指數據記錄內容完整，包括數據業務維度組合完整、單位維度完整，指標值完整等，由月指標數據完整率、周指標數據完整率、日指標數據完整率等構成。

（4）數據質量準確性規則要求數據符合各業務規則和業務實際。主要從數據間業務邏輯準確和數據內各種維度、頻度、字段之間業務邏輯準確，以及數據值、精度屬性準確等方面進行核查。數據質量準確性用指標數據準確率來度量，其定義為：指標數據準確率反映接入數據準確情況的指標，指數據符合各業務規則和業務實際，包括各種數據間業務邏輯準確和數據內各種維度、頻度、字段之間業務邏輯準確，以及數據值、數據精度等屬性準確，由月指標數據準確率、周指標數據準確率、日指標數據準確率等構成。

本文依據上述原則和文獻[3?5]的研究成果以及結合電力企業運營監測（控）中心數據實際情況，確定電力企業運營監測（控）中心數據質量評價指標體系如圖1所示。

2 運營監測（控）中心數據質量評價模型

2.1 層次分析法及應用

層次分析法是美國匹茨堡大學教授T.L.Saaty提出的一種定性與定量相結合的決策分析方法，將決策者的決策思維過程與經驗判斷模型化、數量化的過程。層次分析法在信息系統數據質量綜合評價領域得到廣泛應用[6]。采用層次分析法將目標問題分層逐步分解細化，將專家經驗知識引入不同的層次中。問題分解的最低層元素是可以明確獲取和度量的電力企業運營監測（控）中心數據質量評價的各個單項指標，以相對標度作為電力企業運營監測（控）中心數據質量評價度量的測度，從而回避了絕對量求解的困難。

2.2 熵權法及應用

運用層次分析法確定各層次評價指標的權重對專家經驗水平要求很高，評價結果受人為主觀因素影響較大，而信息熵可以有效地彌補這一不足。信息熵是用來度量隨機變量不確定程度，可以用來解決信息量的度量問題，即對不確定性的了解所需的信息量，可以被用來消除不確定性的多少來表示。如果某評價指標的熵越小，說明該指標提供的信息量就越大，在綜合評價中所起的作用就越大，權重就越高[1]。應用熵權法[7?13]可以盡可能消除人為因素對應用層次分析時計算各指標權重的影響，使評價結果更為實際。熵權計算方法如下：

設有[m]個待評對象，[n]個評價指標，則原始數據矩陣為：

2.3 組合評價模型

基于直接計算電力企業運營監測（控）中心數據質量評價的困難及采用層次分析法的不足，本文采用組合權重法對電力企業運營監測（控）中心數據質量進行度量，主要步驟如下：

步驟1：電力企業運營監測（控）中心數據質量識別，確定電力企業運營監測（控）中心數據質量評價指標[xi]，建立電力企業運營監測（控）中心數據質量評價指標體系。

步驟2：應用層次分析法獲得運營監測（控）中心數據質量評價指標的主觀權重[Wj]，[j=1，2，…，n]。

步驟3：根據式（1）～式（3）應用熵權法計算運營監測（控）中心數據質量評價指標的客觀權重[wj，][j=1，2，…，n]。

步驟4：計算綜合權重

[ω=W1w1j=1nWjwj，W2w2j=1nWjwj，…，Wnwnj=1nWjwj=（ω1，ω2，…，ωn） s.t. j=1nωj=1； ωj>0] （4）

步驟5：計算評價結果。利用式（4）可得第[i]個電力企業運營監測（控）中心數據質量[Ai]：

[Ai=j=1nωjX*×100i=1，2，…，m；j=1，2，…，n] （5）

式中：[ωj]為綜合權重；[X*=（xi1，xi1，…，xin）]為預處理后的電力企業運營監測（控）中心數據質量評價指標度量值。

3 算例分析

以電力企業8家下屬單位運營監測（控）中心基本信息為依據，根據本文所建立的電力企業運營監測（控）中心數據質量評價指標體系對這8家單位進行綜合數據質量評價。

（1）獲取運營監測（控）中心數據質量評價指標數據。指標數據主要來源于電力企業運營監測（控）中心支撐信息系統，部分指標數據通過人工線下收集，經過預處理后的電力企業運營監測（控）中心數據質量評價指標度量值見表1。

（2）對圖1所示的5個指標應用層次分析法計算運營監測（控）中心數據質量評價指標的主觀權重向量為：

該評價結果和公司下屬8家單位的運營監測（控）中心數據質量綜合評價結果與實際情況一致，從而證明了該評價模型的有效性。

4 結 語

本文將層次分析法和熵權法結合起來建立了電力企業公司運營監測（控）中心數據質量綜合評價模型，充分發揮二者的優勢，取長補短，使構成的模型具有兩者的優點。應用電力企業運營監測（控）中心支撐信息系統的數據進行案例分析，結果表明該評價模型適用有效，能夠較全面反映電力企業運營監測（控）中心數據質量總體水平。

參考文獻

[1] 文軍.基于熵權法的航空公司績效評價研究[J].科學技術與工程，2009，9（22）：6939?6941.

[2] 張永艷.應用層次分析法確定政府網站績效評估指標權重的確定[J].現代商貿工業，2010（2）：239?241.

[3] 黃武鋒，鄭華.面向企業信息化的數據質量評估研究[J].計算機技術與發展，2011，21（1）：186?188.

[4] 王繼民，趙運革，徐波.數據質量評估方法在水利普查中的應用[J].水利發展研究，2012（7）：11?14.

[5] 楊青云，趙培英，楊冬青，等.數據質量評估方法研究[J].計算機工程與應用，2004（9）：13?15.

[6] 高起蛟，嚴鳳斌，池斌，等.層次分析法（AHP）在數據質量評估中的應用[J].信息技術，2011（3）：168?170.

[7] 馮義，李洪東，田廓，等.基于熵權和層次分析法的電力客戶風險評估及其規避[J].繼電器，2007，35（24）：67?73.

[8] 陳文斌，龔代圣.基于AHP熵權法的信息化廠商評價模型及應用[J].現代電子技術，2012，35（12）：102?106.

[9] 馮義，李洪東，田廓，等.熵權系數法在湖北某高速公路投標決策中的應用[J].工程造價管理，2009（3）：34?36.

[10] 劉寧，高飛燕.基于AHP?FCE的供應商選擇問題研究與應用 [J].計算機技術與發展，2009，19（11）：11?13.

[11] 朱強，閻子剛.基于AHP與TOPSIS算法的供應商選擇決策方法[J].物流與信息，2008，17（2）：197?199.

[12] 王道平，王煦.基于AHP/熵值法的鋼鐵企業綠色供應商選擇指標權重研究[J].軟科學，2010，24（8）：117?122.

[13] 羅軍剛，解建倉，阮本清.基于熵權的水資源短缺風險模糊綜合評價模型及應用[J].水利學報，2008（9）：92?97.