數字化轉型下通信運營商數據治理的“困”與“道”

康 軍

南京鐵馬信息技術有限公司

0 引言

黨的十九屆四中全會提出將“數據”列為生產要素參與分配，標志著以數據為關鍵要素的數字經濟進入了新時代。當前，以人工智能、區塊鏈等為代表的數字技術不斷涌現，快速向經濟社會各領域融合滲透。以數據為核心的數字化轉型已是大勢所趨。隨著互聯網業務和應用的迅猛發展以及移動互聯網的爆炸式增長，通信運營商在話務時代積聚的資源優勢逐步減弱，但通過長期的網絡運營、海量的用戶以及豐富的行業應用所沉淀下來的海量數據已經成為通信運營商獨一無二的“資產”。

但目前大多數通信運營商的數據資源無法為內部精細化管理、客戶精準化營銷、風險控制、決策支持等當下企業向數字化轉型所必需的工作帶來有效助力。因此，如何通過數據治理，最大程度地釋放龐大數據的潛在力量，是通信運營商在數據時代實現企業數字化轉型、塑造自身核心競爭力的關鍵之所在。

1 通信運營商數據治理之“困”

（1）數據分散，有“數”不能用。大多數通信運營商企業采用的是“煙囪”式系統建設模式，還未形成公司級的數據資產定義及分級分類規范，缺乏統一的數據采集、存儲管理等標準，導致數據分散在各個系統中，不同領域的數據壁壘仍較為明顯，這嚴重阻礙了系統之間順暢的數據共享，大大降低了資源的利用性與數據的可得性。

（2）數據質量不高，有“數”不好用。長期以來，通信運營商采用的是兩級系統架構體系，全網業務開展需要總部先制定業務規范和系統改造方案，下發給各省公司，再由省公司各自單獨實施，這就帶來了各省數據標準不統一，數據模型差異較大等問題，導致在數據采集、存儲、處理等環節不科學、不規范，出現錯誤數據、異常數據、缺失數據等問題，無法確保數據的完整性和準確性，最終影響整個企業數據治理的水平。

（3）融合應用困難，有“數”不會用。通信運營商利用數據建模分析解決實際問題的能力有待提高。信息資源利用大多停留在表面，數據應用尚不深入，應用領域相對較窄，數據與場景融合不夠，導致數據之“沙”難以匯聚成“塔”，海量數據資源無法盤活，數據潛力得不到充分釋放。

（4）治理體系缺失，有“數”不善用。數據治理是一項系統性全局性工程，需要與之相配套的管理制度、流程、平臺工具、評價考核機制等全方位的協同。目前通信運營商普遍存在對數據治理認識不到位，重視程度不夠，認為數據治理工作僅通過技術手段就可以解決所有問題，導致數據治理架構體系不完善，相應機制體制嚴重缺位，數據“不善用”的問題突出。

2 通信運營商數據治理之“道”

針對通信運營商數據治理中存在的基礎來源數據缺、重、散、慢、差等問題，以解決當前業務所遇到的數據質量問題為切入點，從數據采集、加工、分析全流程中梳理出最需關注的各環節建設內容和目標，利用數據進行業務評估和應用，發現數據存在的業務問題，開展相對應的治理工作，從源頭確保大數據分析所需的數據質量，全面提升大數據分析及應用能力。

圖1 以業務應用為導向的數據治理整體解決方案

（1）理清現狀、明確治理需求點。了解企業面臨的最迫切的數據需求或痛點以及用“數”需求，開展針對管理層和業務部門等不同類型數據用戶的調研和訪談，了解其經營和管理對數據的需求以及目前在需求滿足過程中存在的問題。

（2）確定數據治理的重點范圍。在理清現狀、明確治理需求點后，應協調相關數據需求和問題所涉及的業務和管理部門，開展業務和系統現狀分析，對相關業務流程進行詳細梳理和分析，定位數據產生、加工和應用過程中的相關業務流程環節及具體業務管理要求，以及不同系統間的數據流，即數據的流轉、流向及加工處理過程。

（3）搭建數據治理閉環管理體系。通過數據治理閉環管理平臺準確監控造成數據質量問題的來龍去脈和前因后果，同時制定責任矩陣，形成相關部門人員通力合作、齊抓共管，根除數據質量問題的針對性方案，最終通過每項問題的落地解決，逐步積累企業開展數據治理工作的成功經驗，逐步形成高水平的治理能力。如圖2所示。

圖2 數據治理閉環管理平臺

如圖3所示，數據治理管理平臺系統各模塊之間，根據數據操作的流程產生相互關聯，各模塊業務流程關系說明如下：

L1：數據標準管理模塊將標準定義映射到元數據信息上，實現數據標準的規范要求落地。

L2：元數據管理模塊為數據資產管理模塊提供存儲模型、屬性信息查詢服務。

L3：元數據管理模塊為數據質量管理模塊提供元數據相關屬性信息。

L4：用戶通過元數據定義大數據平臺的數據結構。

L5：數據質量管理模塊根據采集需求從大數據平臺采集數據。

L6：數據質量管理模塊將數據質量問題反饋給大數據平臺。

L7：數據質量管理模塊向資產模塊提交數據質量評估結果。

L8：元數據管理模塊為數據安全管理模塊提供隱私級別定義服務。

L9：數據資產管理模塊發起資產訪問申請，由數據安全管理模塊控制用戶訪問權限，控制數據資產的增加、刪除、變更操作權限，對訪問的數據內容、數據屬性等操作進行管控。

L10：數據安全管理模塊為大數據平臺提供數據訪問權限策略。

圖3 數據治理管理平臺各系統模塊關系圖

1）建立數據質量監控評級體系。需要選取若干個指標作為數據質量評價指標，梳理數據評價專題，構建數據評價規則與模型，制定符合業務目標的數據質量稽核規則，形成數據評價體系，對企業的數據進行評估和測量。

2）鎖定管控內容，快速發現問題。基于數據質量評估模型，執行數據質量分析任務，針對采集、加工、稽核、服務等全流程，進行全方位實時監控，設置相應的告警閾值，實現異常數據質量問題的快速定位。

3）建立數據認責追責機制。按照“誰錄入、誰整改、誰負責”的原則，明確數據質量責任主體；梳理業務流程、數據與人員之間的對應關系，構建責任矩陣；構建全流程管控、相互監督，構建全面的、可追溯的數據認責、追責機制。

4）建立可視化的管理視圖。實現顯性化的數據治理閉環管理，對數據全生命周期的治理都有相應的流程支撐，同時實現業務建模所需的數據，從需求端到數據源的數據流及數據血緣關系直觀可見。

5）系統落地及配套機制體系完善。為了支撐數據治理與業務應用更好地銜接，需要對已有數據治理管理制度和流程進行必要的修訂與完善，或對已有業務制度和流程、系統開發管理相關制度和流程提出必要的改進建議，從配套機制、體制上確保數據治理工作有據、可行、可控。

因此，推動通信運營商的數據治理，應以實現業務價值為導向，遵循數據治理的已有體系、制度和標準規范，定位對企業而言最為迫切的、重要的數據需求和數據痛點，明確數據項范圍并開展專項治理工作，以期逐個突破，快速釋放數據成效并實現業務價值，形成數據治理的良性循環。

3 某省通信運營商數據治理案例

案例一：跨域協同改進數據質量

（1）背景

隨著智能手機、4G高速上網、互聯網應用的普及，流量已成為大部分客戶的剛性需求。客戶對手機流量消耗情況的質疑也日益增多，客戶往往要求查詢流量具體使用用途，而服務人員面對流量質疑投訴，僅通過手機上網的計費詳單很難解釋清楚“流量用沒用”“流量怎么用的”“流量用的太快”等熱點投訴，影響客戶感知。為此，公司開始建設“上網日志查詢系統”，首先由網絡部門采集原始日志，并通過DPI實現用戶上網內容的解析，由業務支撐部門實現XDR數據的加工、展現，為客戶服務人員處理投訴提供支撐。“上網日志查詢系統”由于涉及O域、B域的多個部門和多個系統，出現數據質量問題時存在定位較慢，處理周期較長的情況。

（2）改進數據質量流程

性狀:較正品大,呈寬卵形,長5-6mm,寬5-8mm,表面淡黃白色,略光滑,一端圓闊,有一淡棕色點狀種臍,另端稍窄。背面圓凸;腹面有一條較寬而深的縱溝。[13]

1）發現質量問題。客服人員小李接到用戶投訴，反映流量計費有問題，10月3日18:58:37-19:09:56手機收到提醒短信使用了1GB多的流量，用戶對此不認可，表示手機沒有使用，要求核實處理。小李通過上網日志查詢系統查詢該用戶的上網內容，卻發現用戶在該時段只有約10MB流量，與計費詳單的流量嚴重不符。如圖4所示。

圖4 業務場景-發現流量異常

圖5 業務場景-核查數據資產

2）核查數據資產。為確認是否因為數據未完成生成導致差異大，客服人員小李通過“數據資產管理—資產目錄”模塊查詢該資產的數據更新時間，結果發現數據資產的更新時間沒有延遲。從而小李推斷不是數據及時性的問題，而是數據準確性的問題。如圖5所示。

圖6 業務場景-問題申告

3）問題申告。既然發現是數據準確性的問題，那就需要盡快把問題反饋給后臺維護人員，于是客服人員小李通過“數據質量管理—績效管理”模塊提交了問題申告，選擇了上網日志流量的準確性問題。如圖6所示。

4）定位異常環節。由于業務支撐部門維護人員小張事先已經配置了數據質量稽核規則，對每分鐘O域傳送的接口文件大小進行監控，一旦波動超過10%，就會產生預警，這一規則不會中斷調度，但一旦最終用戶反饋數據有問題，系統就會檢查與問題數據有關的處理過程中是否產生過預警。對客服人員小李申告的上網日志流量數據不準確問題，數據質量管理模塊自動匹配到當日的一次數據文件大小波動預警，定位到異常環節為O域接口文件，申告轉給網絡部門維護人員小王處理。如圖7所示。

圖7 業務場景-定位異常環節

5）核查和處理。網絡部門維護人員小王接到數據質量告警后，展開核查，定位到由于主機性能問題，該時段的HTTP日志文件漏傳了記錄，小王迅速將漏傳的數據做了補傳。如圖8所示。

圖8 業務場景-異常原因核查

6）處理結果確認。系統對補傳數據處理完成后，客服人員小李再次查詢該投訴用戶的記錄，這次果然能夠查詢到用戶產生的1G流量，她通過外呼用戶并向用戶解釋了流量使用內容，用戶表示認可。這時數據質量模塊生成了本次申告的反饋工單，小李很滿意地評價了5顆星。如圖9所示。

圖9 業務場景-處理結果確認

（1）背景

某省向地市公司下發了KPI考核指標“重要集團客戶整體收入”，地市運維人員和業務人員希望能夠及時獲知該指標的出數情況和波動情況，以確保發現異常后能及時處理。

（2）績效監控全流程

1）一線片區經理打開移動APP應用，選擇指標“重要集團客戶整體收入”，并對其出數時間、波動率和閾值進行監控配置，如圖10所示。

圖10 手機登陸及指標規則配置

2）此后，一線片區經理打開自己的移動APP應用，就可以隨時查看“重要集團客戶整體收入”目前的出數情況和數值是否正常，當指標監控不滿足監控規則，手機APP告警通知一線片區經理，如圖11所示。

圖11 指標展示及維度分析

3）一線片區經理單擊該異常指標可以看到指標詳細信息，并且通過時間、地理或其他維度分析異常指標，如圖12所示。

圖12 按時間、物理維度分析

4）一線片區經理通過滑屏的方式，查看指標處理過程圖，從圖可以查看到該指標各個處理環節處理情況，如圖13所示，包括：處理內容、處理完成時間、正處理環節預計完成時間等；如果當日的指標數據還沒出來，可以點擊催辦功能，請求數據質量管理子系統發送實時出數狀態；對異常指標告警信息的顯示包括：什么時間發生的信息、什么錯誤、找誰處理等。如圖13所示。

圖13 指標處理過程圖

5）異常指標處理方式有兩種：第一種方式，通過電話直接聯系該環節的負責人解決；第二種方式，可以通過申告，以問題處理流程的方式將該問題推送給該環節的負責人處，并以短信形式告之該環節的負責人，如圖14所示。

圖14 問題申告

6）數據質量功塊允許用戶自定義數據質量處理流程，若不進行自定義流程配置，可以按照默認流程進行問題處理。默認問題處理流程如圖15所示。

圖15 申告處理流程

7）通過界面配置監控點分段方式將數據質量全流程拆分為若干段，如圖16所示，針對每個階段設置監控規則，明確每段所屬部門、所有者，不同段負責人可以通過可視化監控界面對不同分段進行監控，可視化管控界面針對不同數據質量用戶提供對應段的數據鏈路圖，并將監控結果按段匯總、分析、展示。

圖16 數據質量分段管控示例圖

當一線片區經理提交申告后，系統根據異常監控點所在段，將申告推送給相關負責人，相關負責人基于本段的數據鏈路圖，對出數過程跟蹤及進行告警展現分析，通過圖形化運維管理幫助運維人員快速完成指標過程監控和問題處理過程，協助業務人員動態了解指標出數進度，提高工作效率，節省成本，如圖17所示。

圖17 指標圖形化監控應用場景示意

8）問題處理完成后，將處理完成信息通過APP推送以及短信告知一線片區經理。

9）一線片區經理檢查異常指標是否已處理成功，并對整個問題處理過程進行滿意度評價，如圖18所示。

圖18 問題反饋

案例一以分析數據質量問題為著力點，倒推出其數據來源存在的問題并進行重點整治，通過全員參與、各司其責的數據質量管理模式進行改進；案例二通過績效指標的數據質量監控，及時發現自己績效指標的異常波動，并指出其中與以前相比的異常之處，快速發現數據異常的原因并能夠及時有效地解決，使其數據治理得到充分的價值體現。

4 結束語

數據治理對任何一個企業都是一項“牽一發而動全身”的重大工程。對此，一方面，要堅持問題導入，基于對企業管理層和業務部門用“數”需求的深入洞察，找到最佳的數據治理切入點和突破口，通過短期專項治理方案和配套的應用建設，快速實現數據價值和收益，使得數據治理工作成效顯性化，形成數據治理的良性循；另一方面，要統籌規劃、把握全局，企業不能只顧低頭解決一些具體的數據質量問題，而忽略了數據治理體系的長期建設路徑。通信運營商數據治理是一項長期的、需要逐步建設和完善的綜合性工作，徹底解決是需要投入大量的時間和資源的。因此，我們必須從IT戰略和總體架構管控的高度，總體上架構和把握數據治理的各項決策，確保不偏離企業的戰略方向和要求。