探討數(shù)據(jù)質量管理的未來發(fā)展

彭健恩

摘 要：數(shù)據(jù)質量管理是信息系統(tǒng)管理的重要內容之一，決定一個信息系統(tǒng)項目的成敗，良好的數(shù)據(jù)質量有助于得出正確的企業(yè)決策信息，正確的企業(yè)決策信息能幫助企業(yè)在激烈的市場競爭中突圍而出。本文先簡單介紹數(shù)據(jù)質量管理和目前數(shù)據(jù)管理方法，再從如何解決現(xiàn)今數(shù)據(jù)質量管理中存在問題闡述了筆者對于數(shù)據(jù)質量管理的未來發(fā)展方向——數(shù)據(jù)質量認證的探討。

關鍵詞：數(shù)據(jù)質量管理 數(shù)據(jù)質量標準 數(shù)據(jù)質量認證 未來發(fā)展

中圖分類號：F22 文獻標識碼：A 文章編號：1672-3791（2017）10（b）-0242-03

數(shù)據(jù)質量管理（Data Quality Management），是指對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質量問題，進行識別、度量、監(jiān)控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質量獲得進一步提高。

數(shù)據(jù)質量管理是螺旋上升管理過程，其最終目標是通過提升數(shù)據(jù)可靠性來提升數(shù)據(jù)使用價值，并最終為企業(yè)獲得經(jīng)濟效益。

目前數(shù)據(jù)質量管理常用MTC-DQM來做數(shù)據(jù)質量管理，其方法與步驟如下所述。

熟悉六西格瑪管理的人應該知道，六西格瑪強調以事實驅動管理，但事實必須以數(shù)據(jù)來支撐。反映到六西格瑪管理方法，MTC-DQM推薦采用十步數(shù)據(jù)質量管理方法，見圖1。

總的來說就是通過不斷對數(shù)據(jù)循環(huán)檢查整改糾正數(shù)據(jù)錯誤、改善數(shù)據(jù)錯誤管理措施，最終使數(shù)據(jù)質量螺旋上升。

1 現(xiàn)今數(shù)據(jù)質量管理中存在的常見問題

目前大多數(shù)企業(yè)采用MTC-DQM來做數(shù)據(jù)質量管理，其實質是做數(shù)據(jù)質量控制管理，管理思路是通過技術手段尋找出問題然后整改，然后通過改善管理，最后使數(shù)據(jù)質量“完美化”，這樣的管理方法較適合于信息系統(tǒng)剛開始進行數(shù)據(jù)質量管理的階段，隨著信息系統(tǒng)的數(shù)據(jù)質量不斷改善達到一個較高水平的時候就會存在以下問題。

（1）數(shù)據(jù)質量控制缺乏統(tǒng)一數(shù)據(jù)質量標準管理。

通常信息項目建設需求分析階段，沒有提出數(shù)據(jù)質量要求或數(shù)據(jù)質量要求很籠統(tǒng)，所以自然就沒有統(tǒng)一的數(shù)據(jù)質量標準，而數(shù)據(jù)質量控制工作常在系統(tǒng)已建設完畢才開始，數(shù)據(jù)質量標準往往很不明確。由于數(shù)據(jù)質量標準不明確，初期數(shù)據(jù)質量整改會很順利，但一段時間后就會容易出現(xiàn)盲目數(shù)據(jù)整改，越整改問題越多的現(xiàn)象，數(shù)據(jù)質量水平呈現(xiàn)出像波浪起伏一樣的不穩(wěn)定狀態(tài)。

（2）數(shù)據(jù)質量管理通常是對全庫數(shù)據(jù)定期檢查來實現(xiàn)，容易造成資源浪費。

目前數(shù)據(jù)質量管理在實際中都是通過執(zhí)行周期性檢查來進行質量控制。所以常對早已驗證過無問題的數(shù)據(jù)反復校驗檢查，導致數(shù)據(jù)質量檢查花費時間過長和消耗資源過多，而且數(shù)據(jù)量越大，花費時間和消耗資源就會直線上升。這樣既降低數(shù)據(jù)質量檢查效率，又浪費資源，是數(shù)據(jù)質量控制急需改進的缺點，但目前只能在技術層面上做一些改進，效果也并非理想。

（3）數(shù)據(jù)質量控制使用的檢查、整改、驗證技術、方法以及工具缺乏認證。

現(xiàn)在市面流行數(shù)據(jù)質量檢查、整改技術、方法以及工具都是各軟件公司根據(jù)工作經(jīng)驗積累做出來的，并沒有驗證過這些技術、方法以及工具是否通用，導致使用這些技術、方法以及工具反復多次檢查、整改后仍然不能確定數(shù)據(jù)是否質量合格，更嚴重時會出現(xiàn)同一數(shù)據(jù)經(jīng)不同數(shù)據(jù)檢查工具校驗得出不同結論的情況。

（4）數(shù)據(jù)質量控制過度偏重于數(shù)據(jù)質量檢查、整改，輕視數(shù)據(jù)錄入時的質量管理。

數(shù)據(jù)質量控制往往過度偏重于數(shù)據(jù)質量檢查和數(shù)據(jù)質量整改，基本一提起數(shù)據(jù)質量控制就出現(xiàn)管理部門如何編寫更完善的檢查腳本，執(zhí)行部門如何執(zhí)行整改腳本，卻沒有針對其他環(huán)節(jié)的管理，如加強數(shù)據(jù)標準管理、數(shù)據(jù)錄入管理，加強數(shù)據(jù)整改后驗證管理等。

2 數(shù)據(jù)質量未來發(fā)展方向——數(shù)據(jù)質量認證

在現(xiàn)今社會信息化越來越重要，企業(yè)決策信息的準確性取決于企業(yè)數(shù)據(jù)的準確性，數(shù)據(jù)質量有必要提升到一個新的高度。但系統(tǒng)數(shù)據(jù)規(guī)模不斷膨脹，每次全面的數(shù)據(jù)檢查花費的時間由原來的小時級發(fā)展到現(xiàn)在的日級，未來很可能會達到周級、月級，其耗費的資源更是增長的令人難以忍受。傳統(tǒng)的數(shù)據(jù)質量管理方法（數(shù)據(jù)質量控制）日益無法適應新的需求。針對現(xiàn)今數(shù)據(jù)質量管理存在的問題，應當轉變思路由尋找問題數(shù)據(jù)轉變?yōu)閷ふ艺_數(shù)據(jù)，由數(shù)據(jù)質量控制轉變?yōu)閿?shù)據(jù)質量認證。

數(shù)據(jù)質量認證就是管理確認系統(tǒng)數(shù)據(jù)是否符合數(shù)據(jù)質量要求的全過程，其管理思路是尋找信息系統(tǒng)數(shù)據(jù)中哪些數(shù)據(jù)的數(shù)據(jù)質量是符合數(shù)據(jù)質量要求的。其管理過程是先確立數(shù)據(jù)質量標準，再通過標準技術和管理手段在信息系統(tǒng)數(shù)據(jù)中進行數(shù)據(jù)認證找到符合數(shù)據(jù)質量要求的數(shù)據(jù)，然后對不符合數(shù)據(jù)質量要求的數(shù)據(jù)進行改良再認證不斷循環(huán)該過程，最終使信息系統(tǒng)數(shù)據(jù)完全符合數(shù)據(jù)質量要求。其管理目標是為信息系統(tǒng)提供可靠的數(shù)據(jù)同時減少資源的浪費，最終為企業(yè)決策信息提供堅實的數(shù)據(jù)基礎同時提升資源使用效率，見圖2。

數(shù)據(jù)質量認證應以下三點為基礎。

（1）建立以已確認的信息系統(tǒng)需求為中心數(shù)據(jù)質量認證標準。

在質量管理中，提出滿足要求的產(chǎn)品就是合格的產(chǎn)品，同樣滿足要求的數(shù)據(jù)就是合格的數(shù)據(jù)，數(shù)據(jù)質量管理就是滿足要求的數(shù)據(jù)管理過程。數(shù)據(jù)質量要求應是通過用戶確認同意的系統(tǒng)需求。系統(tǒng)數(shù)據(jù)通過校驗是否滿足數(shù)據(jù)質量要求，即可認證數(shù)據(jù)是否合格可用。只要系統(tǒng)需求不變更，數(shù)據(jù)沒有更改，下次就無須再次校驗，當系統(tǒng)需求變更或數(shù)據(jù)更改時，只需按系統(tǒng)需求變更或數(shù)據(jù)更改的內容，針對涉及變更范圍的數(shù)據(jù)重新認證，這樣就可以最大限度節(jié)省校驗時間，亦可大量節(jié)省校驗花費的資源。

（2）統(tǒng)一數(shù)據(jù)質量管理所使用技術、方法以及工具。

通過統(tǒng)一數(shù)據(jù)質量管理所使用技術、方法以及工具，建立如同ISO一樣的標準體系。這樣數(shù)據(jù)質量認證能夠規(guī)范化、標準化，從而實現(xiàn)對數(shù)據(jù)質量的規(guī)范化、標準化，使數(shù)據(jù)質量由不可控變?yōu)榭煽?，有效避免出現(xiàn)同一數(shù)據(jù)經(jīng)不同數(shù)據(jù)檢查工具校驗得出不同結論的情況。

（3）建立全面數(shù)據(jù)質量管理。

近來隨著信息化的深入發(fā)展，尤其是大數(shù)據(jù)時代的來臨，數(shù)據(jù)質量方面的工作也由原來的對數(shù)據(jù)質量的檢查和整改發(fā)展到建立全面數(shù)據(jù)質量管理（Total Data Quality Management，TDQM），建立科學、完整的數(shù)據(jù)質量評價和管理體系，就必須推行全面數(shù)據(jù)質量管理（TDQM）來提升數(shù)據(jù)質量。為了高水平的數(shù)據(jù)質量，必須從產(chǎn)生數(shù)據(jù)的源頭抓起，對數(shù)據(jù)運行的全過程進行監(jiān)控，密切關注數(shù)據(jù)質量的水平變化，以管理為切入點，強化全面數(shù)據(jù)質量管理的思想觀念，為數(shù)據(jù)在其生命周期每一個階段尤其是數(shù)據(jù)產(chǎn)生階段就能夠保證正確，就必須做好全面數(shù)據(jù)質量管理。由此可見數(shù)據(jù)質量認證必須建立在完善的全面數(shù)據(jù)質量管理之上，全面數(shù)據(jù)質量管理將為數(shù)據(jù)質量認證提供堅實的理論基礎和技術支持。

3 結語

數(shù)據(jù)是每個企業(yè)最具價值的無形資產(chǎn)，企業(yè)的業(yè)務績效直接與數(shù)據(jù)質量存在著直接聯(lián)系，高質量的數(shù)據(jù)可以使企業(yè)擁有在任何時期立于不敗之地的競爭力。因此，在信息系統(tǒng)數(shù)據(jù)質量未來發(fā)展方向中，數(shù)據(jù)質量管理既是一個管理體系保證企業(yè)數(shù)據(jù)的可用性，同時數(shù)據(jù)質量管理也是一項投資，應以最小資源花費代價得到最多的可用數(shù)據(jù)，企業(yè)才能通過數(shù)據(jù)分析、數(shù)據(jù)挖掘提煉出對企業(yè)有幫助的決策信息，最終使企業(yè)競爭力得到提升。而只有數(shù)據(jù)質量認證才能滿足這樣的要求，而傳統(tǒng)的數(shù)據(jù)質量控制是達不到的這樣效果的，因此數(shù)據(jù)質量認證才是未來的數(shù)據(jù)質量管理發(fā)展方向。

參考文獻

[1] 江疆，黃劍文，楊秋勇.基于廣東電網(wǎng)大數(shù)據(jù)的數(shù)據(jù)質量管理方法[J].現(xiàn)代計算機，2016（7）：88-91.

[2] 商廣娟.有效的數(shù)據(jù)質量管理體系——21世紀管理的基石[J].航空標準化與質量，2005（2）：18-22.

[3] 谷斌.信息系統(tǒng)建設中的數(shù)據(jù)質量管理體系研究[J].情報雜志，2007（5）：65-67.endprint