論運營商增值業務數據一致性保障機制

摘? 要： 分析運營商增值業務數據不一致的原因，針對每個原因制定對應的保障機制。同時從人和技術手段兩方面對增值業務數據一致性進行保障，將管理辦法、流程機制和技術手段有機結合，構建常態化的數據一致性保障機制。建立數據一致性管理平臺，由系統對數據一致性進行自動比對和修復，同時自動比對要設置自動修復的差異閥值，達到一定差異需人工核對后再進行處理。實踐表明：管理機制和技術機制相結合的保障機制，能將增值業務數據一致率由88.11%提高到99.96%，差異存續時間由5天降到一天以內。

關鍵詞： 數據一致性;保障機制;增值業務;運營商

中圖分類號： TP399? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2020.10.035

本文著錄格式：李麗玲. 論運營商增值業務數據一致性保障機制[J]. 軟件，2020，41（10）：141145

【Abstract】： This paper analyzed the reasons that the inconsistency of Operators' value-added service data， and formulated corresponding guarantee mechanism for each reason. the data consistency of value-added Services is guaranteed from both human and technical means， and organically combined management methods， process mechanisms and technical means to construct a normalized guarantee mechanism of data consistency.By establishing a data consistency management platform， the system can automatically compare and repair the data consistency. At the same time， the threshold of automatic repair was needed to set for the automatic comparison.If the inconsistency reached the certain threshold， it needed to be checked manually before processing. Practice showed that the guarantee mechanism that combined management and technical mechanisms could increase the Value-added Services of consistency rate from 88.11% to 99.96%， and the difference duration could be reduced from 5 days to less than one day.

【Key words】： Data consistency; Guarantee mechanism; Value-added service; Operator

0? 引言

電信增值業務是相對于傳統的電信語音業務而言，指的是憑借公用電信網的資源和其它通信設備而開發的附加通信業務，其實現的價值使原有網路的經濟效益或功能價值增高，如電子郵箱、手機游戲、手機視頻等。增值業務數據一致性可以認為是電信運營商增值業務支撐系統的“血液”，是保障系統正常運轉、提供外部功能、滿足客戶感知的關鍵所在。但是伴隨業務支撐系統功能和規模的逐漸擴大，NGBOSS建設中對于CRM、BOSS、經營分析、網管等子系統的解耦，從而在系統內產生了各種各樣的數據質量問題，致“數據群”內的各數據之間不平衡、不一致的情況發生，最終導致用戶無法辦理業務或辦理結果與預期不一致、業務無法使用、業務使用計費不正確或優惠未生效等各種問題[1]，有時甚至導致電信企業蒙受巨大損失等后果。

1? 數據不一致原因

為了能夠解決數據不一致問題，需要找到不一致的原因并“對癥下藥”。

1.1? 系統的異步機制，不可避免產生了不一致的數據

增值業務，需要電信運營商運營支撐系統（以下簡稱BOSS系統）與各個業務平臺之間進行交互[2]，因此系統建設時，為了考慮用戶辦理的時效性，基本上BOSS系統與各個業務平臺之間使用的都是異步處理機制，即：在BOSS系統辦理業務后，會上發相應指令給業務平臺，業務平臺立即回復“收到”，此時默認業務辦理已成功，實際上會存在各種情況（如業務平臺程序異常、用戶為業務平臺黑名單等）導致平臺側未受理成功，此時就會出現用戶辦理了業務但未能享受到對應的權益，會引發用戶投訴，收費卻不能享受服務。同理，也會存在用戶在業務平臺辦理業務，在BOSS系統未落地受理成功的情況。

異步受理流程如下圖所示。

增值業務BOSS發起異步流程如圖1所示。

增值業務平臺發起異步辦理流程如圖2所示。

1.2? 對數據一致性未充分重視，業務開發上線前未將一致性納入上線范圍

開發人員在進行項目開發時，往往會受到業務需求要盡快上線的壓力，首要任務就是盡快完成項目開發，滿足業務需求，使得業務能夠盡快開展，沒有意識到需要對數據一致性進行保障[3]，就算意識到數據一致性的重要性，也由于需要趕項目進度以便盡快交維，而沒有進行一致性模塊的開發。系統建設完成后，出現投訴、出現損失后方才發現問題。

1.3? 手工修復

由于前面兩點原因：系統異步機制及系統初期建設的不完善，會出現辦理增值業務后無法使用、多計費、不優惠、收費而不享受服務、享受服務而不收費等出現各種問題，產生了不一致性數據。用戶會投訴，或者日常運維發現了由于數據不一致性導致了收入損失，此時需要運維人員介入核查修復，在手工修復處理過程中，由于運維人員技術及經驗方面等因人而異，沒有統一的手工修復標準規范，進行手工數據調整帶有一定的片面性，造成數據管理出現問題，會造成二次差異。

同時，由于運營商業務類型多樣化，業務復雜性不斷出現，各個業務出現問題后，問題之間存在著緊密的聯系。但是相關技術人員對這一方面思考并不緊密，在修復一個問題時容易引發另外的問題，從而也導致了數據不一致。

2? 建立數據一致性保障機制

針對上述三大原因，解決問題需要同時從人和技術手段兩方面進行改進，構建常態化的數據一致性保障機制。常態化的數據一致性保障機制是管理辦法、流程機制和技術手段的有機結合[4]。

2.1? 制定管理辦法，將數據一致性納入開發交維范圍

管理辦法可以約束涉及的各方按照規范進行執行，制定《外部數據一致性管理實施細則》、《新增外部接接口數據一致性保障功能要求》以及《數據一致性保障管理辦法》[5]，BOSS系統開發時需遵循上述三個管理辦法要求，從公司層面自上而下都重視數據一致性，，在業務上線前嚴格把關，需具備數據一致性保障的各項業務功能模塊后才能上線。

2.2? 建立數據修復流程機制，規范人工修復操作

對于需要人工介入修復的數據，制定修復流程機制，根據操作的數據量級對應相應的審批機制。比如：數據量小于等于1000條，則需要對應運維專業的B角色伙伴同時審核后再執行，對于數據量大于1000條小于等于10000條時，需要運維組長審核后方可執行。對于大于10000條數據，需要科室專家/領導審核。避免由于個人技術及經驗方面等局限導致人工修復數據后產生不一致的數據，同時采取一人修復，一人復核的方法，避免修復出錯導致數據更加錯亂的情況。修復完成后需要對處理結果進行效果驗證。

2.3? 依靠技術手段進行保障

由于BOSS系統與業務平臺的受理機制為異步機制，因此增值業務數據不一致性不可避免。但我們可以從技術手段進行保障，盡可能的減少差異，以及縮短差異時間，以盡量保證數據一致性一致率、實時率。基于此考慮，我們通過建立一個數據一致性管理平臺（以下簡稱Opendmc系統）來進行對數據一致性進行處理。Opendmc系統，也就是建立自動化的一致性比對及修復機制，根據日增量及月全量進行比對修復。

日增量比對：以一天為周期，以BOSS系統中某業務發生變更的記錄為基礎，對與該記錄相關平臺上的用戶數據和業務局數據進行對比。

在比對完成后，以BOSS數據為準的[6]，由平臺根據比對結果進行數據修復[7]。此修復規范目的是盡可能的權衡收入損失和保護用戶的權益：若用戶在BOSS有訂購，在業務平臺無訂購，則需業務平臺為用戶補充訂購關系，避免收取了用戶費用而用戶卻不能享受權益。若BOSS無訂購，平臺有訂購，則平臺側清理訂購關系，避免收入損失，若此時用戶有投訴，可以引導用戶正常辦理。

月全量比對：以一個月為周期，以BOSS系統中所有的增值業務訂購記錄為基礎，與相關平臺上的用戶數據和業務局數據進行全量對比。

需要進行全量比對的目的是為了核對及清理歷史數據差異，同時為了避免日增量比對遺漏的情況。

由于增值業務種類紛繁多樣，涉及5萬個業務，60個業務平臺，因此比對工作量非常大。只依靠技術人員就能做好日增量及月全量比對是不現實的，需要建立自動化的一致性比對及修復機制，通過技術手段進行保障。BOSS系統與各個業務平臺建立一致性比對接口，各個業務平臺每日將增量變更的記錄傳送至BOSS系統，BOSS系統根據業務平臺傳送過來的數據與BOSS系統中的增量變更記錄做比對，比對完成后，將比對差異結果回傳給業務平臺，由業務平臺對差異結果進行處理，處理完成后，將處理結果通過回執文件傳輸給BOSS系統。數據一致性比對流程如圖3所示。

建立自動化的一致性比對及修復機制，即opendmc系統，此系統將比對工作自動化，程序固定化，將差異結果及修復結果做成報表進行展示，只需要人工看報表，觀察差異處理結果，從而可以更好的對數據一致性進行管理。Opendmc系統主要功能如圖4所示。

Opendmc系統功能簡述：

（1）采集管理及業務流程管理：啟動采集任務管理進程，通過采集管理模塊對業務平臺傳過來的數據進行采集入庫，將各個業務平臺的數據進行入庫，校驗字段格式是否符合規范。其中文件命名規范如下：

BOSS系統文件名稱 BOSS_YYYYMMDD HHMISS_ZZZZPPP.NNNNNNNNNN.gz

業務平臺文件名稱 FLAT_YYYYMMDDHHMISS_ ZZZZPPP.NNNNNNNNNN.gz

其中：

①YYYYMMDDHHMISS表示同步基準點時間，YYYY為四位年份，MMDD表示月日，HHMISS表示時分秒（24小時制）;

②ZZZZ表示業務平臺代碼縮寫;

③PPP表示省代碼（如天津填220，浙江填571）;

④NNNNNNNNNN表示文件中的記錄總數，右對齊，左補零。

⑤gz，gzip為壓縮后添加的壓縮標志文件采用不定長記錄的格式，每條記錄的域之間以管道符（“|”）分隔。字段需要包含手機號碼、操作類型、操作發起時間、計費類型、業務提供商企業代碼、SP自定的業務代碼、最近一次服務定購的時間。

一致性比對數據涉及5萬個業務，60個業務平臺，有幾千萬的訂購數據，因此需要啟用流程任務管理程序，對比對的業務設置節點及流量管控，避免數據過多積壓導致系統緩慢、崩潰。

（2）數據稽核及監控管理：系統自動比對雖然極大程度上提升了數據管理質量，提升了維護效率，縮小差異存在時間。但是根據歷史經驗，由于系統割接等原因極少數情況下可能導致比對程序異常，從而出現了數據量突增或者突減的情況，這時候若仍按照錯誤的數據將進行自動比對，將會更大的錯誤，會“誤傷”更多正確的數據。鑒于此，需要對差異量進行比對并將差異量通過系統下發監控告警。流程為：BOSS系統接收各個業務平臺發送過來的日增量/月全量數據，接收完成后對各個業務平臺的數據總量分別進行統計，并與BOSS系統的對應的業務訂購數據進行數據總量比對。并對差異數據量進行監控，預先設置一個比對差異總量閥值，若差異量大于此閥值，則此次不做自動對比，并將差異量告警信息發送給相關維護人員，由維護人員核查差異大的原因后再進行手工比對或者再次手工發起一次自動比對。

（3）差異處理及報表管理：對已經采集好入庫的數據進行比對，按業務類型析出比對結果，將差異結果生成報表并在系統前臺進行展示，維護人員及相關業務人員可以通過報表一目了然的掌握差異情況。

3? 數據一致性保障機制實踐結果

建立了數據一致性保障機制，我們通過數據離散度模型來檢驗保障結果。

3.1? 數據離散度模型

描述數據 離散度的數學方法主要有極差、方差和標準差[8]。

極差：其最大值與最小值之間的差距，即最大值減最小值后所得之數據， 它是標志值變動的最大范圍，它是測定標志變動的最簡單的指標。極差越大，離散程度越大，反之，離散程度越小。

方差：方差（樣本方差）是每個樣本值與全體樣本值的平均數之差的平方值的平均數。是反映一組數據與其平均值離散程度的一個重要指標 ，反映整組數據的波動情況。方差越小，數據越穩定，離散程度越小。

標準差：標準差是方差的算術平方根。標準差能反映一個數據集的離散程度。標準差越小，數據越穩定，離散程度越小。

增值業務數據一致性管理辦法規定，客戶信息和訂購關系以BOSS為準，數據在系統間不一致性問題就可以轉化為BOSS系統數據和業務平臺側系統離散度問題，可以使用離散數學公式進行計算。當離散度越大，代表數據一致性越差 ，離散度越小，一致性越好。

3.2? 數據一致性保障機制實踐結果驗證

3.2.1? 數據一致率驗證

我們分別隨機選取一致性保障機制建立前后的一組數據進行比對分析，如表1所示。

對于這組數據，我們計算得到極差為40.40%，差異率均值是11.89%，方差為1.36%，標準方差為11.66%，也就是該業務離散度為11.66%。

對于這組數據，我們計算得到極差為0.08%，差異率均值是0.04%，方差為9.91*10–12，標準方差為3.15*10–6，也就是該業務離散度為3.15*10–6，離散度非常小。

從以上兩組數據對比發現，實施常態化的保障機制后，能將增值業務數據一致率由88.11%提高到99.96%。

3.2.2? 數據差異存續時間驗證

隨機取一致性保障機制建立前后的一個月數據進行比對分析。發現在一致性保障機制建立之前，由于是更多的是靠人為手工介入，人為因素影響很大，產生的差異未能及時處理，平均累計5天才對差異數據進行比對清理，差異存續時間較長，用戶感知強烈，若BOSS系統有而平臺側沒有，則用戶無法享受對應的權益，用戶投訴，客戶滿意度低;若BOSS系統沒有而平臺側有，則會存在收入損失，時間持續越久，損失越大。在建立常態化的一致性保障機制后，每天進行日增量比對，在比對后由系統自動修復，因此差異存續時間保持在一天之內。T日的差異在T+1日進行修復，用戶幾乎無感知，收入損失風險極小。

4? 結論

增值業務數據一致性保障機制可歸納為兩大部分，第一部分是從管理人員、開發維護人員的、管理制度的完善進行保障，提高增值業務數據一致性的重視程度，制定數據一致性管理辦法，能夠指導數據一致性管理工作從意識形態成為實際落地。第二部分也是最重要部分是要從技術手段、從系統完善性進行保障，而不需要依賴相關人員的能力、人員變更、人為操作，減少了人為介入，日增量比對能夠快速的解決數據不一致的情況，在用戶感知前就處理，能夠提升用戶滿意度，同時避免運營商收入損失。而隨著增值業務的復雜度增大及系統的龐大，數據一致性的保障工作難度也進一步加大，仍需不斷優化數據一致性管理手段及管理平臺，提升運營保障的效率和能力。

參考文獻

[1]區曉江， 朱煒， 何銳彬. 移動互聯網增值業務數據一致性保障工作的研究[C]. 廣東通信青年論壇， 2012： 355-359.

[2]馬瀟. 寧夏電信增值業務訂購關系管理平臺的設計與實現[D]. 成都： 電子科技大學， 2015.

[3]張立成， 楊敬巍， 褚堯， 等. 論業務支撐系統數據一致性的保障機制[J]. 通信世界， 2015（23）： 2-4.

[4]徐灝， 吳迪. 運營商收入保障中專線數據一致性研究[J]. 數字通信世界， 2019， 5： 164-165.

[5]陸松， 王睿， 劉桂青. BOSS和外部平臺常態化數據一致性保障機制探討[J]. 電信工程技術與標準化， 2010（3）： 34-37.

[6]中國移動業務支撐系統部. 中國移動增值業務數據一致性管理辦法[Z]. 2011.

[7]中國移動通信集團公司. 業務平臺與業務支撐系統數據一致性管理接口規范總冊[Z]. 20l0.

[8]顧懷恩. 業務支撐系統數據一致性研究[J]. 電信工程技術與標準化， 2009（8）： 67-70.