【摘要】本文簡要介紹了當(dāng)前電信運營商在OSS域數(shù)據(jù)整合面臨的主要問題,從IT基礎(chǔ)設(shè)施規(guī)劃角度討論了建設(shè)OSS域數(shù)據(jù)共享中心的建設(shè)方式,并對建設(shè)效果進行了分析,供通信行業(yè)相關(guān)技術(shù)人員在IT規(guī)劃及實施過程中參考。
【關(guān)鍵詞】電信運營商IT支撐系統(tǒng)數(shù)據(jù)共享中心
在全業(yè)務(wù)競爭場景下,電信運營商更加迫切的期望通過對海量的網(wǎng)絡(luò)、業(yè)務(wù)數(shù)據(jù)的分析挖掘來提高建設(shè)、運營和維護效率,并最終為用戶提供更好的客戶體驗。這就對IT技術(shù)架構(gòu)整合與數(shù)據(jù)集中共享提出了較高要求。
一、現(xiàn)狀分析
目前運營商煙囪式的網(wǎng)管系統(tǒng)架構(gòu)均以專業(yè)網(wǎng)管為主,基于ETOM模型,實現(xiàn)對通信網(wǎng)絡(luò)和業(yè)務(wù)的線條化支撐,面向配置管理、故障管理、性能管理、計費管理、安全管理,輔以運維流程及業(yè)務(wù)質(zhì)量管理。這種建設(shè)模式無法實現(xiàn)端到端的業(yè)務(wù)質(zhì)量管理和集中化的性能管理,難以支撐跨專業(yè)、集中化的故障快速定位。同時,由于網(wǎng)絡(luò)性能數(shù)據(jù)在多個系統(tǒng)中分散存儲,難以進行有效整合、共享、關(guān)聯(lián)和深入挖掘,原有的數(shù)據(jù)結(jié)構(gòu)也難以支撐大數(shù)據(jù)場景下的快速應(yīng)用開發(fā)。
在數(shù)據(jù)生產(chǎn)和維護層面,同類型數(shù)據(jù)分散在不同系統(tǒng),特別是性能、告警、工單、資源、測試類數(shù)據(jù)分散程度較大,導(dǎo)致各應(yīng)用系統(tǒng)需要重復(fù)建設(shè)數(shù)據(jù)轉(zhuǎn)換的相關(guān)功能,重復(fù)構(gòu)建數(shù)據(jù)模型、關(guān)聯(lián)數(shù)據(jù),并進行同類數(shù)據(jù)的重復(fù)計算。數(shù)據(jù)處理與存儲功能的重復(fù)建設(shè)也導(dǎo)致數(shù)據(jù)存儲冗余度高,處理能力浪費,備份難度大,安全性不高等問題。
二、數(shù)據(jù)共享中心建設(shè)方案
2.1數(shù)據(jù)共享中心技術(shù)架構(gòu)
現(xiàn)階段應(yīng)適時引入大數(shù)據(jù)技術(shù),構(gòu)建OSS域綜合性的數(shù)據(jù)共享中心:1、Hadoop平臺承擔(dān)原始海量數(shù)據(jù)抽取、轉(zhuǎn)換、加載和輕度匯總等計算任務(wù)(大量庫外計算任務(wù)),同時滿足基于鍵值的詳單查詢需求。Hadoop平臺如果要支撐復(fù)雜詳單關(guān)聯(lián)查詢,需要對其進行深度定制、改造。否則需要將詳單數(shù)據(jù)加載到MPP RDB集群的數(shù)據(jù)倉庫中支撐查詢。2、MPP RDB集群的深度分析庫,承擔(dān)適合基于庫內(nèi)計算的匯總計算任務(wù),同時支撐查詢模型復(fù)雜、多變的自助分析應(yīng)用和面向創(chuàng)新的相關(guān)探索類的分析需求,數(shù)據(jù)相對而言是變化的。3、MPP/SMP RDB主庫,支撐數(shù)據(jù)模型、分析模型已經(jīng)固化的,相對規(guī)范、標(biāo)準(zhǔn)的報表和報告類應(yīng)用,此類數(shù)據(jù)相對穩(wěn)定。同時,隨著深度分析庫中探索類的分析應(yīng)用的逐漸成熟,也可以遷移到主庫。 4、數(shù)據(jù)立方體(OLAP),滿足典型的多維分析需求(上鉆、下探、旋轉(zhuǎn)、切片分析等等)。5、實時處理平臺,基于內(nèi)存數(shù)據(jù)庫或消息服務(wù)器提供實時數(shù)據(jù)處理,滿足面向?qū)崟r信令和實時決策的分析需求,比如用戶級別的實時消息推送和流量控制策略。
2.2數(shù)據(jù)共享中心覆蓋的數(shù)據(jù)范圍
OSS域數(shù)據(jù)共享中心覆蓋的數(shù)據(jù)范圍應(yīng)包含如下三個方面:1、整合設(shè)備采集數(shù)據(jù),實現(xiàn)長期保存及數(shù)據(jù)共享,減少接口解析及數(shù)據(jù)建模等重復(fù)工作。同時面向LTE等新業(yè)務(wù)接入,實現(xiàn)提前規(guī)劃、統(tǒng)一采集和集中存儲。2、全面接入傳統(tǒng)話音及互聯(lián)網(wǎng)業(yè)務(wù)涉及的各類信令監(jiān)測、業(yè)務(wù)撥測數(shù)據(jù),通過數(shù)據(jù)共享中心構(gòu)建開放環(huán)境,便于實現(xiàn)橫向關(guān)聯(lián)分析與綜合應(yīng)用開發(fā)。3、應(yīng)對日益增加的跨域數(shù)據(jù)關(guān)聯(lián)分析需求,作為OSS域數(shù)據(jù)對外開放的統(tǒng)一接口,同時也負(fù)責(zé)完成BSS及MSS域數(shù)據(jù)的引入整合,減少跨域系統(tǒng)間接口復(fù)雜性。
三、建設(shè)效果分析
OSS域數(shù)據(jù)共享中心預(yù)期的建設(shè)效果主要有如下三個方面:1.提供開放式的數(shù)據(jù)分層架構(gòu),在保存海量原始數(shù)據(jù)的基礎(chǔ)上,既能保證成熟分析專題的數(shù)據(jù)一致性,又能保證探索類數(shù)據(jù)分析的靈活性。2.構(gòu)建規(guī)范化的IT數(shù)據(jù)架構(gòu),有利于減少域內(nèi)與跨域系統(tǒng)間接口的復(fù)雜性,同時也為基于數(shù)據(jù)共享中心重新定義標(biāo)準(zhǔn)化的企業(yè)數(shù)據(jù)管理規(guī)范提供了技術(shù)層面的可行性保證。3.大數(shù)據(jù)開放架構(gòu)可靈活選擇合適技術(shù)與存儲方式應(yīng)對不同類別、不同來源的網(wǎng)絡(luò)與業(yè)務(wù)數(shù)據(jù),集中式的存儲與災(zāi)備設(shè)計也有利于降低海量數(shù)據(jù)存儲與應(yīng)用帶來的建設(shè)、維護費用。
四、結(jié)語
采用大數(shù)據(jù)技術(shù)構(gòu)建統(tǒng)一的數(shù)據(jù)共享中心,其價值體現(xiàn)在能夠規(guī)范IT系統(tǒng)的基礎(chǔ)數(shù)據(jù)架構(gòu),提升數(shù)據(jù)質(zhì)量,支撐快速開發(fā);同時,數(shù)據(jù)共享中心提高了數(shù)據(jù)透明度,能夠幫助電信運營商在全業(yè)務(wù)競爭場景下實現(xiàn)快速決策并獲得效果反饋。但我們也應(yīng)看到,大數(shù)據(jù)架構(gòu)應(yīng)用多種開源技術(shù),可能給數(shù)據(jù)共享中心的架構(gòu)穩(wěn)定性帶來一定影響,現(xiàn)階段應(yīng)注意選擇主流技術(shù)和產(chǎn)品、構(gòu)建開放平臺,以適應(yīng)相關(guān)技術(shù)的不斷更新。
參考文獻
[1]文艾,王磊.高可用性的HDFS-Hadoop分布式文件系統(tǒng)深度實踐.清華大學(xué)出版社,2012年.
[2]張敏,陳云海,林立宇.電信運營商云計算數(shù)據(jù)中心的構(gòu)建分析.電信技術(shù),2009年