一種基于主數(shù)據(jù)流分析的數(shù)據(jù)比對(duì)方法

【摘要】數(shù)據(jù)比對(duì)工作是數(shù)據(jù)整合過(guò)程的核心工作之一，決定著數(shù)據(jù)整合的成敗。文章介紹了一種通過(guò)定義數(shù)據(jù)比對(duì)過(guò)程中的主數(shù)據(jù)，結(jié)合主數(shù)據(jù)流而進(jìn)行數(shù)據(jù)比對(duì)的方法，并通過(guò)實(shí)際案例做了詳細(xì)說(shuō)明；通過(guò)分析數(shù)據(jù)不一致的原因并給出完善建議，避免錯(cuò)誤數(shù)據(jù)的再次發(fā)生。最后文章討論了數(shù)據(jù)質(zhì)量對(duì)數(shù)據(jù)比對(duì)結(jié)果的影響以及業(yè)務(wù)流程對(duì)保障數(shù)據(jù)質(zhì)量的重要性。

【關(guān)鍵詞】數(shù)據(jù)比對(duì)；數(shù)據(jù)整合；主數(shù)據(jù)；業(yè)務(wù)流程

1.介紹

隨著信息化應(yīng)用的推廣，大型機(jī)構(gòu)中信息系統(tǒng)的數(shù)量在逐漸增多。但由于各系統(tǒng)數(shù)據(jù)規(guī)范不完整、系統(tǒng)間缺少數(shù)據(jù)接口，而使數(shù)據(jù)整合工作成為IT部門(mén)的一項(xiàng)重要工作；關(guān)于數(shù)據(jù)整合的重要性、數(shù)據(jù)整合的工具有很多論著[1-5]。數(shù)據(jù)整合包含了數(shù)據(jù)的提取、轉(zhuǎn)換和加載，其中涉及計(jì)算機(jī)技術(shù)和業(yè)務(wù)邏輯。數(shù)據(jù)整合是非常重要的，甚至?xí)绊懶畔⑾到y(tǒng)/數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的成敗。一個(gè)對(duì)象存儲(chǔ)在多個(gè)系統(tǒng)中，使得在數(shù)據(jù)整合的過(guò)程中必須要進(jìn)行數(shù)據(jù)的比對(duì)，而且，此時(shí)的數(shù)據(jù)比對(duì)工作也是數(shù)據(jù)整合的核心內(nèi)容。

每個(gè)系統(tǒng)對(duì)同一對(duì)象的理解角度不同，因此給出的對(duì)象定義也不相同；同時(shí)考慮數(shù)據(jù)的完整性，數(shù)據(jù)的時(shí)間局限性等導(dǎo)致數(shù)據(jù)的比對(duì)工作并不順利。數(shù)據(jù)比對(duì)一般由計(jì)算機(jī)程序自動(dòng)處理，后期則需要人工參與。涉及到數(shù)據(jù)比對(duì)的數(shù)據(jù)整合存在于諸多信息系統(tǒng)建設(shè)過(guò)程中，如國(guó)家基礎(chǔ)信息庫(kù)系統(tǒng)的建設(shè)；人口庫(kù)數(shù)據(jù)分別來(lái)源于公安局、勞動(dòng)局、教育局、勞動(dòng)和社會(huì)保障局等，法人庫(kù)數(shù)據(jù)來(lái)源于工商局、稅務(wù)局、經(jīng)委等；地理信息資源庫(kù)來(lái)源于規(guī)劃局、房地局、水務(wù)局、建管局、交管局等。

本文先定義了一種以主數(shù)據(jù)定義和分析主數(shù)據(jù)流為主線(xiàn)的數(shù)據(jù)比對(duì)方法。結(jié)合實(shí)際項(xiàng)目案例給出具體比對(duì)過(guò)程。

2.數(shù)據(jù)比對(duì)過(guò)程和方法

本文介紹的數(shù)據(jù)比對(duì)方法，以原因分析為重點(diǎn)，強(qiáng)調(diào)不匹配數(shù)據(jù)的原因分析并結(jié)合業(yè)務(wù)邏輯，對(duì)歷史數(shù)據(jù)和增量數(shù)據(jù)給出整改方法。

數(shù)據(jù)比對(duì)的過(guò)程可以分為以下7個(gè)步驟分別是：數(shù)據(jù)獲取、主數(shù)據(jù)定義、主數(shù)據(jù)流分析、程序比對(duì)邏輯、人工比對(duì)邏輯、原因分析、處理建議。

2.1 數(shù)據(jù)獲取

從兩個(gè)（或多個(gè)）源系統(tǒng)中獲得待比對(duì)的原始數(shù)據(jù)。需要注意的是每個(gè)信息系統(tǒng)均為運(yùn)行的系統(tǒng)，數(shù)據(jù)會(huì)產(chǎn)生變化。因此應(yīng)該首先統(tǒng)一數(shù)據(jù)獲取的時(shí)間。如獲取截止到2008年10月1日24：00止的數(shù)據(jù)。并對(duì)該時(shí)間點(diǎn)之后的增量數(shù)據(jù)做標(biāo)記，以備后續(xù)的數(shù)據(jù)比對(duì)。

2.2 主數(shù)據(jù)定義

按照新系統(tǒng)或數(shù)據(jù)比對(duì)的業(yè)務(wù)要求，定義比對(duì)的關(guān)鍵數(shù)據(jù)項(xiàng)（數(shù)據(jù)字段）。確定這些數(shù)據(jù)項(xiàng)的含義、來(lái)源（以哪個(gè)系統(tǒng)數(shù)據(jù)為準(zhǔn)）、在各自系統(tǒng)中的名稱(chēng)、各自系統(tǒng)中對(duì)應(yīng)的數(shù)據(jù)項(xiàng)（數(shù)據(jù)字段）。此步驟是數(shù)據(jù)比對(duì)工作的核心部分，需要明確關(guān)鍵數(shù)據(jù)項(xiàng)的來(lái)源和責(zé)任。如對(duì)于人口數(shù)據(jù)：姓名和身份證號(hào)碼來(lái)源于公安局，教育程度來(lái)源于教育局，就業(yè)單位信息來(lái)源于勞動(dòng)和社會(huì)保障局等。

在定義好主數(shù)據(jù)之后，需要視具體應(yīng)用系統(tǒng)情況而定，對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。以便剔出非法數(shù)據(jù)，降低人工比對(duì)的工作量和提高數(shù)據(jù)比對(duì)的成功率。數(shù)據(jù)清洗工作一般由計(jì)算機(jī)程序進(jìn)行。

2.3 主數(shù)據(jù)流分析

根據(jù)具體的業(yè)務(wù)邏輯和業(yè)務(wù)流程，確定所有主數(shù)據(jù)在相關(guān)信息系統(tǒng)中的生命周期。需要明確以下內(nèi)容：

（1）主數(shù)據(jù)的責(zé)任部門(mén)或責(zé)任人：是誰(shuí)在何時(shí)創(chuàng)建、修改、交換或刪除主數(shù)據(jù)；

（2）主數(shù)據(jù)的相關(guān)系統(tǒng)：相對(duì)于主數(shù)據(jù)生命周期的每個(gè)階段，分別在哪個(gè)信息系統(tǒng)中保存，系統(tǒng)間接口關(guān)系。

（3）主數(shù)據(jù)流與業(yè)務(wù)流程的關(guān)系：新增流程、修改流程、刪除流程對(duì)主數(shù)據(jù)的影響。

本步驟主要是關(guān)注主數(shù)據(jù)的修改記錄。

2.4 程序比對(duì)邏輯

數(shù)據(jù)比對(duì)的第一階段，一般通過(guò)計(jì)算機(jī)程序處理進(jìn)行。需要整理出程序比對(duì)的邏輯，盡可能分析各原始數(shù)據(jù)的業(yè)務(wù)邏輯，尋找盡可能多的數(shù)據(jù)對(duì)應(yīng)關(guān)系。有些數(shù)據(jù)只能通過(guò)唯一的標(biāo)識(shí)進(jìn)行比對(duì)，如人口信息通過(guò)身份證號(hào)碼進(jìn)行比對(duì)或者通過(guò)聯(lián)合身份證號(hào)碼和姓名一起進(jìn)行比對(duì)；有些數(shù)據(jù)可以有多種程序比對(duì)邏輯，如電路數(shù)據(jù)中第一種程序是電路編號(hào)相同，第二種程序是工程編號(hào)相同，第三種程序是電路兩端地址均相同。

2.5 人工比對(duì)邏輯

由于信息系統(tǒng)建設(shè)的時(shí)間不同、業(yè)務(wù)流程與IT系統(tǒng)的結(jié)合程度不同、部分業(yè)務(wù)數(shù)據(jù)不完整等情況，程序比對(duì)往往達(dá)不到100%。因此在程序比對(duì)后產(chǎn)生的遺留數(shù)據(jù)必須由人工來(lái)完成。

在人工比對(duì)過(guò)程中，需要整理出人工比對(duì)的方法。如人口數(shù)據(jù)比對(duì)中，不同身份證號(hào)碼相同配偶名稱(chēng)和身份證號(hào)碼，則可以認(rèn)定為同一個(gè)人。

2.6 原因分析

對(duì)于人工比對(duì)的數(shù)據(jù)，我們需要分析數(shù)據(jù)不匹配的原因。可能是由于無(wú)業(yè)務(wù)流程或紙制流程的問(wèn)題，可能由于流程與IT系統(tǒng)銜接的問(wèn)題，可能由于系統(tǒng)間數(shù)據(jù)交換導(dǎo)致的數(shù)據(jù)不完整的問(wèn)題，可能是人工輸入錯(cuò)誤的問(wèn)題等等。

在分析的過(guò)程中需要考慮哪些原因影響存量數(shù)據(jù)，只影響到歷史數(shù)據(jù)并且修正后不會(huì)再次出現(xiàn)；哪些原因是由于業(yè)務(wù)流程導(dǎo)致的，在修正該業(yè)務(wù)流程之前還會(huì)再次出現(xiàn)。

數(shù)據(jù)不匹配的原因分析是一項(xiàng)具有挑戰(zhàn)性的工作，同時(shí)也是一項(xiàng)有意義的工作。通過(guò)原因分析，可以對(duì)業(yè)務(wù)部門(mén)的工作進(jìn)行評(píng)價(jià)考核，對(duì)業(yè)務(wù)流程進(jìn)行梳理改造，對(duì)業(yè)務(wù)與IT系統(tǒng)結(jié)合給出完善意見(jiàn)。

2.7 處理建議

人工比對(duì)的數(shù)據(jù)，按照不同的原因提供不同的處理意見(jiàn)。直接修改：對(duì)于不影響業(yè)務(wù)流程、不影響業(yè)務(wù)操作的數(shù)據(jù)，按照主數(shù)據(jù)的定義和責(zé)任直接在相關(guān)系統(tǒng)中修改；

業(yè)務(wù)部門(mén)盡快修正：對(duì)于一些影響正常業(yè)務(wù)操作的數(shù)據(jù)，如帳務(wù)系統(tǒng)中應(yīng)收帳而未收帳數(shù)據(jù)、財(cái)務(wù)系統(tǒng)中存款或余額不一致、資源系統(tǒng)中應(yīng)使用而未用資源等情況，由相關(guān)業(yè)務(wù)部門(mén)牽頭盡快改修正。

制定細(xì)致解決方案：對(duì)于原因比較復(fù)雜的、涉及到業(yè)務(wù)流程的數(shù)據(jù)，則需要招集各相關(guān)部門(mén)研究，制定細(xì)致的解決方案。由于業(yè)務(wù)流程導(dǎo)致的數(shù)據(jù)不匹配，需要給出流程改進(jìn)的建議。不匹配數(shù)據(jù)的修改越快越好。

3.項(xiàng)目案例數(shù)據(jù)比對(duì)

下面以實(shí)際項(xiàng)目作為例，介紹數(shù)據(jù)比對(duì)的過(guò)程。

某通信運(yùn)營(yíng)商大客戶(hù)網(wǎng)管系統(tǒng)中包含傳輸專(zhuān)業(yè)、交換專(zhuān)業(yè)和數(shù)據(jù)專(zhuān)業(yè)（IP、ATM、DDN）總計(jì)五種電路數(shù)據(jù)。需要從前端CRM中獲取客戶(hù)名稱(chēng)和電路編號(hào)（簡(jiǎn)稱(chēng)前端電路）；從后端NetMaster資源系統(tǒng)中獲取電路編號(hào)和電路狀態(tài)等詳細(xì)信息（簡(jiǎn)稱(chēng)后端電路）。以下數(shù)據(jù)是20家樣本大客戶(hù)的傳輸專(zhuān)業(yè)電路數(shù)據(jù)（簡(jiǎn)稱(chēng)樣本數(shù)據(jù)）的比對(duì)結(jié)果。

3.1 數(shù)據(jù)獲取

截止時(shí)間為2013年10月30日24：00，分別獲取了樣本數(shù)據(jù)的前端電路總計(jì)2110條，后端電路總計(jì)2428條。前端電路根據(jù)客戶(hù)名稱(chēng)以及客戶(hù)層次關(guān)系獲取，后端電路的客戶(hù)名稱(chēng)沒(méi)有層次關(guān)系因而采用客戶(hù)名稱(chēng)的關(guān)鍵字模糊查詢(xún)進(jìn)行獲取。

3.2 主數(shù)據(jù)定義

如表1所示，樣本數(shù)據(jù)的主數(shù)據(jù)為：客戶(hù)名稱(chēng)、電路編號(hào)、電路A端地址、電路Z端地址。

3.3 主數(shù)據(jù)流分析

該通信運(yùn)營(yíng)商傳輸業(yè)務(wù)分為本地業(yè)務(wù)和長(zhǎng)途業(yè)務(wù)，本文只介紹本地業(yè)務(wù)流程。由于目前傳輸本地業(yè)務(wù)的拆機(jī)和移機(jī)流程未固化到信息系統(tǒng)，因此本文分析了早期的新增電路流程（如圖1所示）。

（1）政企客戶(hù)部負(fù)責(zé)受理大客戶(hù)的傳輸電路業(yè)務(wù)；

（2）政企客戶(hù)部通過(guò)CRM系統(tǒng)錄入客戶(hù)的名稱(chēng)、電路甲端地址、電路乙端地址以及其他數(shù)據(jù)并保存；

（3）由CRM系統(tǒng)自動(dòng)產(chǎn)生客戶(hù)編號(hào)；

（4）由CRM系統(tǒng)調(diào)用97系統(tǒng)產(chǎn)生電路編號(hào)，同時(shí)記錄到CRM系統(tǒng)和97系統(tǒng)中；

（5）業(yè)務(wù)流程流轉(zhuǎn)到NetMaster系統(tǒng)，由網(wǎng)絡(luò)運(yùn)行部錄入A端地址、Z端地址，報(bào)完工；

（6）完工信息經(jīng)97系統(tǒng)流轉(zhuǎn)到CRM系統(tǒng)，完成開(kāi)帳。

3.4 程序比對(duì)邏輯

（1）CRM中的資產(chǎn)編號(hào)和NetMaster系統(tǒng)中的鏈路編號(hào)相同的，程序比對(duì)成功。

（2）CRM中的電路一端地址中記錄相關(guān)長(zhǎng)途電路編號(hào)，而且和NetMaster系統(tǒng)中的鏈路編號(hào)為長(zhǎng)途電路編號(hào)相同的，程序比對(duì)成功。

（3）程序比對(duì)結(jié)果：

前端電路：電路總數(shù)2110條，程序比對(duì)成功總數(shù)1614條，程序比對(duì)成功76.49%。

后端電路：電路總數(shù)2428條，程序比對(duì)成功總數(shù)1838條，程序比對(duì)成功75.70%。

3.5 人工比對(duì)邏輯

由于傳輸電路業(yè)務(wù)開(kāi)展時(shí)間較長(zhǎng)，并且信息系統(tǒng)建設(shè)情況比較復(fù)雜，因此出現(xiàn)了部分程序比對(duì)不成功的電路數(shù)據(jù)。經(jīng)過(guò)各相關(guān)部門(mén)的人工比對(duì)，整理出以下人工比對(duì)邏輯：

前端電路存在，查找不到后端電路：

（1）根據(jù)前端電路編號(hào)在長(zhǎng)途資源庫(kù)中查找對(duì)應(yīng)的的后端電路的鏈路編號(hào)（電路編號(hào)）；

（2）前端電路中部分電路是郊區(qū)電路，暫時(shí)未整合在一起。

可以不計(jì)在前端電路中；后端電路存在，查找不到前端電路：

（1）根據(jù)后端電路的工程編號(hào)在CRM中查找對(duì)應(yīng)的前端電路資產(chǎn)編號(hào)（電路編號(hào)）；

（2）根據(jù)后端電路的兩端地址、電路類(lèi)型、客戶(hù)經(jīng)理保存資料等信息在CRM中查找對(duì)應(yīng)的前端電路的資產(chǎn)編號(hào)（電路編號(hào)）；

（3）后端電路中部分電路是局內(nèi)中繼電路，不屬于大客戶(hù)的保障電路。可以不計(jì)在后端電路中；

經(jīng)過(guò)程序和人工比對(duì)傳輸電路數(shù)據(jù)比對(duì)結(jié)果總匹配率為98.33%，如下：

前端電路：電路總數(shù)2110條，程序比對(duì)1614條，人工比對(duì)445條，總成功率97.58%。

后端電路：電路總數(shù)2428條，程序比對(duì)1838條，人工比對(duì)565條，總成功率98.97%。

3.6 不匹配數(shù)據(jù)原因

經(jīng)過(guò)分析得知，導(dǎo)致數(shù)據(jù)比對(duì)不成功的原因如下：

（1）部分后端電路保存在長(zhǎng)途資源庫(kù)中，未保存在NetMaster系統(tǒng)中。記錄數(shù)28條。

（2）前后端記錄相同工程編號(hào)，而不同電路編號(hào)，記錄數(shù)14條。

（3）部分前端電路保存在大客戶(hù)一站式受理系統(tǒng)中，未保存在前端CRM系統(tǒng)中，記錄數(shù)12條。

（4）部分后端電路屬于總頭客戶(hù)，不保存在前端CRM中。不計(jì)在20家大客戶(hù)電路中，記錄數(shù)3條。

（5）CRM中電路狀態(tài)不匹配（正常流程中），分別為未報(bào)完工、移機(jī)未報(bào)完工和拆機(jī)，記錄數(shù)8條。

（6）其他未知原因，記錄數(shù)8條。

3.7 處理建議

針對(duì)數(shù)據(jù)不匹配的原因分析，我們給出的處理意見(jiàn)如下：

第一，對(duì)不匹配數(shù)據(jù)的處理意見(jiàn)。

（1）對(duì)于配置類(lèi)錯(cuò)誤數(shù)據(jù)直接修改。

這些數(shù)據(jù)包括由于客戶(hù)名稱(chēng)不一致、電路編號(hào)不一致而導(dǎo)致數(shù)據(jù)比對(duì)不成功；此類(lèi)數(shù)據(jù)的修改對(duì)業(yè)務(wù)運(yùn)行以及各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)完整性不產(chǎn)生影響。由相關(guān)部門(mén)按照主數(shù)據(jù)的定義規(guī)則直接修改。

（2）不屬于大客戶(hù)保障范圍電路做標(biāo)記。

這些數(shù)據(jù)本不應(yīng)該屬于大客戶(hù)保障范圍電路，應(yīng)該在系統(tǒng)中對(duì)這些電路做標(biāo)記。

（3）對(duì)于其他復(fù)雜原因，招集相關(guān)部門(mén)討論解決。

第二，對(duì)業(yè)務(wù)流程的改進(jìn)意見(jiàn)。

（1）傳輸專(zhuān)業(yè)“移機(jī)流程”和“拆機(jī)流程”的完善。

“拆機(jī)流程”未固化到系統(tǒng)中，“拆機(jī)流程”以“先裝后拆”代替。因此會(huì)產(chǎn)生導(dǎo)致早期數(shù)據(jù)完整性錯(cuò)誤，現(xiàn)已完善業(yè)務(wù)流程。

（2）長(zhǎng)途電路的流程存在缺陷，會(huì)導(dǎo)致前后端電路編號(hào)不一致。需要盡快招集相關(guān)部門(mén)討論解決方案。

4.總結(jié)

通過(guò)對(duì)樣本大客戶(hù)電路數(shù)據(jù)比對(duì)過(guò)程的研究，總結(jié)了程序比對(duì)和人工比對(duì)的方法，發(fā)現(xiàn)了業(yè)務(wù)流程上的少量問(wèn)題。為下一步大批量數(shù)據(jù)比對(duì)提供參考，有效提高程序比對(duì)、人工比對(duì)、數(shù)據(jù)修正的工作效率；同時(shí)為完善IT系統(tǒng)、加強(qiáng)業(yè)務(wù)流程和IT系統(tǒng)之間的配合提供了參考依據(jù)。

參考文獻(xiàn)

[1]Monge，A.E.Matching algorithm within a duplicate detection system.IEEE Data Engineering Bulletin，2000， 23（4）：14-20.

[2]郭志懋，周傲英.數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J].軟件學(xué)報(bào)，2002，13（11）：2076-2081.

[3]田芳，劉震.數(shù)據(jù)倉(cāng)庫(kù)清洗技術(shù)討論[J].青海師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2005（4）：50-53.

[4]王新英，陳語(yǔ)林.數(shù)據(jù)抽取、轉(zhuǎn)換、轉(zhuǎn)載綜述[J].企業(yè)技術(shù)開(kāi)發(fā)，2004，23（8）：3-5.

[5]郭芝懋.數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J].軟件學(xué)報(bào)，2002，13（11）.

作者簡(jiǎn)介：陸忠（1971—），男，上海人，碩士，上海眾恒信息產(chǎn)業(yè)股份有限公司工程師，主要從事軟件開(kāi)發(fā)，項(xiàng)目管理工作。