電信企業數據域系統集約化運營探索

鄒四友

【摘要】 電信企業數據域系統的不斷建設和完善，企業數據的不斷匯聚，數據的儲備和數據應用范圍不斷擴大隨之而來的數據域系統運營的復雜化，只有采取集約化的運營維護模式，緊緊抓住“數據”這個主線，持續優化，才能提升維護水平。

【關鍵詞】 電信企業 數據域系統 集約化運營

一、引言

隨著電信企業數據域系統的不斷建設和完善，企業數據的不斷匯聚，數據的儲備和數據應用范圍不斷擴大。如何發揮數據價值，構建智慧型企業，在去電信化過程中，適應市場化變革，實現差異化經營，離不開“快、精、準”的數據服務支撐，數據已逐漸成為中國電信最重要的戰略資源。企業數據應用范圍越來越廣，數據應用領域越來越專業化。在數據應用域，在建的系統也越來越多，越來越突出應用的專業化。對系統的運營維護提出的更高的要求，對維護人員水平提出高標準。如何在人員保持不增長情況下，提升系統的維護支撐水平。只有采取集約化的運營維護模式，緊緊抓住“數據”這個主線，持續優化，才能提升維護水平。

二、數據域系統在電信企業信息化系統定位及架構

在中國電信的CTG_MBOSS規范中，將信息系統劃分為管理支持系統（MSS）、業務支撐系統（BSS）、運營支撐系統（OSS）及企業數據架構（EDA）四大域系統。企業數據倉儲（ODS）和企業數據倉庫（EDW）屬于數據架構（EDA）域的系統。數據架構（EDA）域的系統主要實現的目標是從業務生產系統中（MBOSS域中）抽取相關的數據進行整合、清洗、匯總加工等處理。企業數據倉儲ODS主要實現企業數據整合，提供數據共享和準實時數據同步和監控。企業數據倉庫EDW主要面向分析型應用，提供企業經營分析和營銷決策支撐兩方面功能。

根據應用主題，形成企業有關的市場經營統一數據平臺，通過報表查詢、多維展示等方式提供給數據分析用戶和營銷決策人員； 而另一方面，數據倉庫經過分析或挖掘，將發掘的客戶異常消費、流失客戶預警、營銷活動目標客戶等信息反饋到各客戶接觸系統，供營銷經理、營業員、客服人員對相應客戶提供針對性營銷和服務企業。

三、數據域系統的集約化運營探索

廣西電信IT運營中心根據數據應用專業特點，從組織架構、制度保障、技術創新上對數據倉庫集約化運營進行了探索，實現數據應用專業（EDA域）人員結構調整，完善運維維護團隊的組織架構，對系統基礎架構重點優化，對生產運營中存在的硬骨頭問題進行重點突破和攻關，重點解決運營中的難點問題以點帶面實現整體提升。

具體做法包括：

3.1組織架構調整

調整人員結構，以數據流向為主線，把運營維護團隊人員縱向劃分為數據維護人員和數據應用人員，實現運營支撐和應用支撐專業集約化運營。

隨著企業信息化隊伍的整體調整，集約化運營的要求。企業數據運營支撐隊伍人數下降，數據專業的運營維護工作有增無減，要求更高。 如何完成目前的支撐工作。變革勢在必行。為了能更好的適應形式發展需求，打破原來的按數據專業（EDA域）內各系統橫向分工模式（EDA域內ODS/EDW/企業數據門戶系統、渠道系統、針對性營銷系統等各自負責各自系統），以數據流向為主線，把運營維護團隊人員縱向劃分為數據維護人員和數據應用人員（EDA域內不在按系統來劃分，按維護和應用來劃分）。

數據運營維護人員，負責基礎的數據平臺ODS和EDW系統，負責數據在EDA域中從匯聚采集到處理加工、數據存儲數據發布的全流程運營維護。數據運營維護人員，負責數據應用層面的統籌管理，數據業務層面的指標統計口徑審核統一歸檔和實施，數據質量稽核等。通過人員職責的調整，實現了數據運營和數據應用的統一集約化運營，解決了原來按系統劃分職責時的 數據維護不連貫耗費維護人力，數據指標口徑各系統不統一等問題。數據專業（EDA域）數據的采集整合加工處理是按系統串行的，數據先由ODS系統采集初步數據處理后，流到EDW系統或其他的應用系統中。這種串行的特點，運營維護，更適合按職能來劃分人員的職責而不是按系統來劃分。這樣按數據維護和數據應用 職能來分人員職責，更體現出EDA數據專業的特點。

系統維護建設中，流程更優效率更高。比如：原來一個系統故障或一個新的需求需要從源系統采集新數據，數據需要從源系統到ODS系統在到EDW系統在到企業數據門戶展現，需要3個不同系統的維護人員參與處理。現在只需要1個數據維護人員參與處理即可，提高的維護效率和降低了維護人力。 同時更是創新性的將EDA的數據維護人員嵌入到CRM專業中，承接CRM系統與EDA系統接口的數據維護工作，極大的提高了EDA系統與外系統的接口維護質量。降低了接口的維護成本。

3.2制度保障

在組織架構調整基礎上，完善管理制度，強調內部溝通協調，依靠外部協作，逐步完善生產制度，作業計劃細化到小時。

在完成相應的人員調整后，需要對現有的管理制度，運營流程生產制度作業計劃等進行相應的調整和進一步完善。從數據生產全流程考慮，重新梳理生產流程的各個環節，融合原來各系統的生產作業計劃，制定數據全流程的生產作業計劃。明確輸入輸出的確認工作，方便實現各系統的銜接。完善各系統間的故障處理流程，完善內部的溝通確認機制。完善生產管理制度，進一步強人員責任以及運營維護工作紀律。逐步實現維護的流程標準化。依靠外部協作，做好外系統的數據接口完善各類文檔，并加強與外系統數據源的溝通協作，完善溝通機制，完善數據源的監控告警，及時督促外系統進行數據質量的整改。

按照全流程的數據生產過程來編制作業計劃，按照數據生產的要求細化到每日的小時，逐步實現的維護工作標準化，來提升的我們數據生產的維護質量。同時進行事后總結評估來不斷的優化我們的作業計劃和維護工作。進一部強調了，版本發布的審核測試流程，標準化了審核的步驟，加強的性能方面的技術層面審核。制定嚴格的準入標準，從準入方面控制版本質量，來實現系統穩定和優化，來提升我們的維護質量。

3.3技術優化創新

圍繞數據支撐的“快、精、準”，逐步在技術上進行提升，進行數據庫底層優化、抽取轉換加載（etl）功能優化、庫表優化。來提升維護支撐水平。

通過進行各類優化提升工作，數據分層優化，基本架構提升，運維重點難點問題的攻關和擊破。

（1）數據分層優化，著眼于全局，將原來各系統割裂的數據分層，數據存儲，統籌考慮分析。優化EDA域類的數據分層架構。從數據庫底層優化分析，提升數據處理效率。

（2）優化數據處理流程，減少冗余數據的分散處理，冗余存儲。梳理核心數據，進行數據相關的冗余字段，指標清理。調整各系統的數據融合，按照集團規范優化分層架構。分析完成日報數據月報生產的不合理數據流程。完成基本架構提升，優化了ETL 調度系統平臺的性能。增加了ETL調度平臺的集群數量增置3個。大大的提供的ETL的并行處理效率。解決了在月生產之初，大并發量瓶頸導致的延誤生產情況，提高了維護的便利性和簡單性。

（3）對重點難點問題的攻關和擊破，特別是企業數據門戶日監控報表數據的優化。企業數據門戶日監控報表是領導特別關注的報表，日監控報表的整合處理任務，每月月初的時候都會因為任務卡死而導致報表延遲，但確無法確診是平臺問題、數據庫問題還是應用系統問題。故障發生時有如下特點：在凌晨的時候發生，不容易發現和處理；故障無法重現，只能等月初月末時發生；故障發生影響大，門戶日監控報表無法展示，領導感知差。因為影響到領導看數，對EDA域影響非常大。為確保穩定，曾經還一度采用人海戰術，通過值班人員的通宵達旦的值守監控來確保報表及時展示。但收效甚微，問題未得到有效解決。經過長時間的觀察分析，并協調應用系統、數據庫系統、平臺系統專家進行綜合研究，最后經過多次的故障重現后跟蹤分析，最綜定位到此問題是由于應用程序的BUG導致。經過整改后，困擾過一段時間的問題得到了根本解決，每日早上數據展示及時。

四、實施后效果

實施企業數據應用集約化運營與提升后，實現了人員的減員增效，在維護人員不增反減的情況下，完成了EDA域各系統的運營維護工作。優化了數據支撐維護流程，并進行了大量的優化，EDA域系統有較大的提升。特別是企業數據門戶的穩定性及時性得到很大的提升。

數據基礎管理數據應用方面：統一了數據基礎管理，一點管理統一建模統一編碼。形成了企業數據的統一視圖。通過統一的組織統籌數據應用，極大的提升了數據的應用的質量。

數據運營維護方面：通過人員組織調整，優化職責分工，實現數據全流程全生命周期的運營生產管理和數據質量統一管理和控制，提高了數據運營維護效率以及系統維護保障質量。加強和完善了數據運營維護體系建設，保障全生命周期的數據質量。通過對系統的全面優化提升完善系統的不足，加強對系統的自動化的監控手段，夯實數據平臺系統基礎，提升系統的健壯性降低系統故障發生率，整體提升維護數據運營維護的水平。

五、結束語

后續將進一步的完善數據稽核告警功能，進一步提升數據質量。提升系統的健壯性，完善自動稽核功能，逐步提供系統運營的自動化水平，逐步的解放運營人員的壓力降低運維人員的投入，從數據生產向數據應用的進行轉變。

參 考 文 獻

[1] 漆晨曦.電信企業數據倉庫的設計和應用[J]. 軟件世界.2005，9

[2] 中國電信[2006]CTG一MBOSS2.0規范，2006