主數據質量管理與自動快速賦碼技術研究

【摘要】通過對存量的編碼數據進行清洗，對后續增量的主數據采用相應的數據質量控制措施，來逐步提升主數據庫中的數據質量，并在管理維度優化賦碼流程，在系統維度上借助系統預審核、快速賦碼等功能，以提升審核效率。以主數據作為集團基礎數據，在數據“質量”和響應“效率”上，支撐集團構建高質量的數據資產，推進協同研發體系深入應用。

【關鍵詞】主數據|質量管理|自動賦碼

為了發揮新形勢下基礎共用數據對數字化支撐作用，規范數據在業務流轉過程中管理，確保編碼數據的完整性和準確性，亟需通過主數據建設，對原代碼系統中數據集中清洗基礎上，從主數據全生命周期開展數據質量過程控制，進一步提升數據質量。

一、數據質量管理

（一）數據質量現狀

數據在長期的使用過程中，難免由于人員、技術、管理等因素造成數據質量下降，出現數據不規范（如數據內容缺失或無效、數據格式混亂、一物多碼等）問題[1]。隨著數據質量問題的增加，數據本身的價值已逐漸降低，嚴重后甚至可能影響整個業務鏈條的有效運轉。

編碼數據常見數據質量問題，如不準確、不規范、一物多碼等，主要集中在數據規范性問題、準確性問題和完整性問題上。

（二）數據質量控制策略研究

數據質量控制，包括對已有編碼數據通過數據清洗、整合等提升數據質量；對后續增量數據，以往數據質量控制多由人工審核進行把控，效率低易出錯[2]，因此需要將數據質量控制策略調整為“由人工判斷向系統自動校驗模式轉變，建立編碼數據全生命周期質量管理策略”：

1.質量控制前置：質量控制重心前移到數據填報階段，智能輔助填報并對填報的數據實時校驗和數據質量問題提示；

2.自動預審核：通過質量規則實現自動審核或為人工審核提供預審核結果，從而有效提升審核效率；

3.質量可復核：對編碼數據庫定期進行質量復核，根據檢查結果制定數據清洗策略，從而保障編碼全生命周期的數據質量，實現全過程質量控制；

4.規則可擴展：數據質量規則基于樣板數據進行控制，樣板數據和數據質量規則具備可擴展性。

（三）數據質量管理架構研究

通過樣板數據管理、數據質量規則管理、數據質量輔助應用，對數據的規范性、完整性、準確性等方面進行多維度控制，實現主數據質量的提升?？傮w架構如圖1所示。

各層級關系說明：

1.主數據庫：包括編碼數據和資源數據，將作為樣板數據的來源庫；

2.樣板數據管理：通過遴選出規范化的數據，建立樣板數據庫，作為數據質量校驗的基準數據，樣板數據可和數據質量規則進行關聯對申請單中的數據進行質量校核；

3.數據質量規則管理：針對數據質量問題，建立數據質量校驗的格式性規則、業務邏輯規則等，形成主數質量規則庫；

4.數據質量輔助應用：根據主數據對象的規則的自由組合，將樣板數據、數據質量規則應用與主數據的申請、維護、審核、質量復核等業務活動中，實現數據規范性對比、錯誤檢查、填寫推薦等，輔助數據質量提升。

（四）樣板數據管理研究

1.樣板數據應用邏輯

樣板數據是一組“規范化”的數據（圖2），基于相關標準規范，通過遴選方式將主數據選為樣板數據，在數據填報和審核時，通過樣板數據推薦、多關聯規則校驗、非樣板數據提示檢查數據的規范性和業務邏輯的準確性，同時樣板數據可以用于已有數據的復核。

2.樣板數據庫建設

樣板數據庫初始化，基于“全分類、全標準”覆蓋的原則，將主數據庫中“標準件”“金屬材料”“非金屬材料”分類中已有的編碼數據，通過批量遴選為樣板數據，實現樣板數據庫的初始化工作，樣板數據在“數據質量與安全-正式樣板數據”模塊中統一管理，后續樣板數據可以伴隨審核過程遴選。

3.樣板數據遴選

樣板數據支持以下三種方式進行遴選，如圖3所示。

（五）數據質量規則管理

數據質量規則由規范性規則、完整性規則、準確性規則、一致性規則、實效性規則、可訪問性規則六部分組成。

二、自動快速賦碼

影響賦碼效率的因素包括：現用申碼頻率低（原來為每周兩次）、輸入輸出審核流程長（要過機要審核）、數據質量低（因填報數據不準確，被駁回反復申請）、申請單沒有緩急之分（申請單順序依次處理）等。針對上述問題，通過改進與現用申碼系統方式、提升審核效率、探索自動/半自動審核賦碼模式等，以實現快速審核和賦碼效率的提升。

（一）優化申碼流程

原來存在線下和線上兩種申碼方式，即存在研究院通過接收來源各直屬單位郵件申請，又存在通過原代碼系統導出文件申碼方式，整理記錄工作量大，改進后直屬單位統一在主數據提交賦碼申請，由研究院統一導出向現用申碼系統。

（二）快速審核與自動賦碼

以提升審核和賦碼效率為目標，通過減少審核層級、輔助數據檢查、批量審核等方式，減少人工審核時間，并逐步通過探索系統自動賦碼模式，實現系統自動快速賦碼。

自動快速審核賦碼是以保證數據質量為前提，在數據填報階段通過數據質量控制措施，讓填報的數據越規范，越利于快速審核，所以編碼數據質量管控成為自動審核賦碼的關鍵一環。

通過研究自動審核、人工審核、智能輔助審核等模式，針對不同的主數據對象，為用戶提供不同的審核與賦碼策略。

三、賦碼效率提升情況

（一）有效減少賦碼時間

通過申請已有編碼實時返回、智能輔助人工審核、優化現用申碼系統流程等措施，可有效提升賦碼效率。人員、組織機構可實時返碼，對于需要到現用申碼系統的申請單，原來每批次申請平均賦碼時間4～7天，系統上線后，約30%的重碼申請，可在申請提交時自動返回編碼，從而做到實時返碼；對于剩余的70%需要到現用申碼系統賦碼，可逐步優化提升到1-2天返碼。效率提升效果在首頁顯性化呈現，通過極坐標堆疊圖形式（圖4），按照主數據分類，對每條申請單的審核時間進行統計，計算出航發審核時長和現用申碼系統賦碼時長，可用于評估賦碼效率提升效果，分析問題并持續改善賦碼效率。

（二）及時發現審核流程延遲情況

審核員可每天查看未賦碼申請單是否有延遲賦碼，如：審核發現有兩條供應商申請單現用申碼系統多日沒有返回編碼，通過追蹤發現是郵件沒法發送成功，利用系統已保存的導出文件，快速下載發送給現用申碼系統賦碼。中國軍轉民

參考文獻

[1]薛華成.管理信息系統[M].北京：清華大學出版社，2012.

[2]魏瑤.統計調查中數據質量控制對策研究[J].中國高新技術企業，2016（4）.

（作者單位：中國航空發動機集團有限公司）