基于Hadoop和OGG技術(shù)的運營商裝維數(shù)據(jù)傳輸方案

謝翠琴　吳　春

（1．安徽職業(yè)技術(shù)學(xué)院，安徽　合肥　230011；2．科大國創(chuàng)軟件股份有限公司，安徽　合肥　230088）

基于Hadoop和OGG技術(shù)的運營商裝維數(shù)據(jù)傳輸方案

謝翠琴1吳春2

（1．安徽職業(yè)技術(shù)學(xué)院，安徽合肥230011；2．科大國創(chuàng)軟件股份有限公司，安徽合肥230088）

運營商OSS域裝維數(shù)據(jù)傳輸為實現(xiàn)運營商全網(wǎng)裝維服務(wù)分析奠定數(shù)據(jù)基礎(chǔ)。文章提出了集團(tuán)-省兩級全量裝維實例數(shù)據(jù)通道和集團(tuán)-省兩級元數(shù)據(jù)及配置數(shù)據(jù)通道的建立方案，并結(jié)合數(shù)據(jù)的傳輸提出了配套兩級數(shù)據(jù)通道監(jiān)測與管理的方案。以某運營商為實例，論證了該數(shù)據(jù)傳輸方案的可行性。應(yīng)用表明通過建立OSS域裝維數(shù)據(jù)傳輸通道，能實現(xiàn)裝維數(shù)據(jù)的及時、可靠傳輸，為裝維業(yè)務(wù)分析奠定數(shù)據(jù)基礎(chǔ)。

OSS；裝維服務(wù)；數(shù)據(jù)傳輸；運營商；Hadoop；OGG

1　引言

隨著電信行業(yè)競爭格局的形成，市場競爭環(huán)境日趨激烈，各運營商都面臨提升服務(wù)水平、提升業(yè)務(wù)運營效率、提高客戶感知等多方面的壓力和挑戰(zhàn)[1]。服務(wù)成了運營商間博弈的重要籌碼，服務(wù)工作也從過去“治病救人”的戰(zhàn)術(shù)層面上升到“預(yù)防優(yōu)先”創(chuàng)造客戶價值的戰(zhàn)略層面[2]。面對激烈的市場競爭，如何發(fā)揮裝維服務(wù)的作用，提高客戶忠誠度，持續(xù)發(fā)掘客戶潛在價值，成為各運營商新的爭奪焦點[3]。

裝維服務(wù)數(shù)據(jù)作為運營商的重要業(yè)務(wù)數(shù)據(jù)之一，反映了運營商服務(wù)質(zhì)量和服務(wù)效率。獲取全國實例級數(shù)據(jù)，并從客戶角度對裝維服務(wù)端到端進(jìn)行準(zhǔn)實時管控和監(jiān)測分析，可推進(jìn)運營商裝維服務(wù)能力和服務(wù)質(zhì)量的提升。

裝維服務(wù)數(shù)據(jù)分布在各地業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)量龐大。如何實現(xiàn)海量數(shù)據(jù)的傳輸，成為裝維服務(wù)分析需要解決的首要問題。本文擬從建立集團(tuán)-省兩級全量裝維實例數(shù)據(jù)通道、元數(shù)據(jù)及配置數(shù)據(jù)通道和配套兩級數(shù)據(jù)通道監(jiān)測與管理三個方面，對運營商OSS域裝維數(shù)據(jù)傳輸方案進(jìn)行探討。基于應(yīng)用系統(tǒng)環(huán)境和數(shù)據(jù)傳輸業(yè)務(wù)需求，實例和配置數(shù)據(jù)通道分別采用了Hadoop技術(shù)和Oracle GoldenGate（OGG）技術(shù)。

2　集團(tuán)-省兩級全量裝維實例數(shù)據(jù)通道建立方案

隨著新技術(shù)和新業(yè)務(wù)的加快出現(xiàn)，運營商OSS系統(tǒng)要逐步擺脫孤立系統(tǒng)的束縛并消除專有應(yīng)用。OSS不僅要提供綜合性的報表，還應(yīng)該具備基于業(yè)務(wù)級、用戶級的端到端實時多位分析視圖和分析能力[4]。

根據(jù)OSS業(yè)務(wù)分析需要，全量裝維實例數(shù)據(jù)須在規(guī)定時間內(nèi)完成從省內(nèi)生產(chǎn)業(yè)務(wù)系統(tǒng)傳輸?shù)郊瘓F(tuán)，并共享給集團(tuán)應(yīng)用系統(tǒng)。全量裝維實例數(shù)據(jù)包括開通、保障、預(yù)處理、激活、調(diào)度等業(yè)務(wù)單實例數(shù)據(jù)，還包括業(yè)務(wù)單攜帶的實體數(shù)據(jù)以及Authentication,Authorization,Accounting AAA平臺上網(wǎng)記錄數(shù)據(jù)及寬帶測速數(shù)據(jù)。由于數(shù)據(jù)量龐大，為了保證數(shù)據(jù)傳輸，需要建立集團(tuán)-省兩級全量裝維實例數(shù)據(jù)通道。

圖1　集團(tuán)-省兩級全量裝維實例數(shù)據(jù)互聯(lián)通道

如圖1所示，全量裝維實例數(shù)據(jù)通道的數(shù)據(jù)由省生產(chǎn)系統(tǒng)將數(shù)據(jù)轉(zhuǎn)化成統(tǒng)一的Key-Value模型，再經(jīng)過兩級數(shù)據(jù)總線互聯(lián)通道將數(shù)據(jù)同步至集團(tuán)數(shù)據(jù)總線。由集團(tuán)數(shù)據(jù)總線完成數(shù)據(jù)的存儲、校驗、整合和索引，最終提供給集團(tuán)應(yīng)用系統(tǒng)。

為保證在指定時間內(nèi)海量的裝維實例數(shù)據(jù)可以同步至集團(tuán)數(shù)據(jù)總線并及時存儲及共享，數(shù)據(jù)傳輸方案的設(shè)計采用了用基于Hadoop框架的主從復(fù)制數(shù)據(jù)同步架構(gòu)技術(shù)。

Hadoop平臺基礎(chǔ)架構(gòu)主要包括兩個最重要的部分：并行計算框架Map/Reduce和Hadoop分布式文件系統(tǒng)（HDFS: Hadoop Distributed File System）[5]。Hadoop分布式系統(tǒng)基于java開發(fā)，為應(yīng)用程序提供一組穩(wěn)定可靠的API接口，實現(xiàn)具有高可靠性和良好擴(kuò)展性的分布式系統(tǒng)[6]。在Hadoop架構(gòu)中，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力進(jìn)行高速運算和存儲[7]。在裝維實例數(shù)據(jù)傳輸方案中該技術(shù)的主要優(yōu)點如下：

高效：可支撐大批量數(shù)據(jù)亞秒級的復(fù)制同步；

安全：可保證在網(wǎng)絡(luò)波動、堵塞、中斷或者省側(cè)或集團(tuán)側(cè)數(shù)據(jù)總線出現(xiàn)短暫宕機(jī)的情況下，保證數(shù)據(jù)完整性；

穩(wěn)定：可保證長時間運行狀態(tài)下不出現(xiàn)性能裂化；

圖2　主從復(fù)制數(shù)據(jù)同步架構(gòu)

主從復(fù)制數(shù)據(jù)同步架構(gòu)如圖2所示。

(1)省內(nèi)將開通、保障、激活、調(diào)度、預(yù)處理等業(yè)務(wù)系統(tǒng)的生產(chǎn)數(shù)據(jù)按照統(tǒng)一模型轉(zhuǎn)換成Key-Value結(jié)構(gòu)寫入省數(shù)據(jù)總線；

(2)通過集團(tuán)-省兩級全量裝維實例數(shù)據(jù)通道互聯(lián)，將裝維數(shù)據(jù)同步至集團(tuán)裝維前置庫；

(3)集團(tuán)側(cè)通過對全國省級裝維數(shù)據(jù)進(jìn)行數(shù)據(jù)切分、校驗、索引處理，直接存儲至集團(tuán)裝維統(tǒng)一庫。

3　集團(tuán)-省兩級元數(shù)據(jù)及配置數(shù)據(jù)通道建立方案

除了全量裝維實例數(shù)據(jù)，還需要將裝維相關(guān)的省私有元數(shù)據(jù)、流程配置數(shù)據(jù)、配置模型數(shù)據(jù)及人員組織數(shù)據(jù)同步至集團(tuán)。對于企業(yè)信息管理系統(tǒng)來說，元數(shù)據(jù)是對系統(tǒng)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的描述[8]。裝維數(shù)據(jù)中的數(shù)據(jù)模型、數(shù)據(jù)編碼就是重要的一類元數(shù)據(jù)。

為保證海量的元數(shù)據(jù)和配置數(shù)據(jù)可以及時地傳遞至集團(tuán)，還需建立集團(tuán)-省兩級元數(shù)據(jù)及配置數(shù)據(jù)通道。

數(shù)據(jù)通道如圖3所示。省側(cè)先從集團(tuán)的基庫獲取裝維標(biāo)準(zhǔn)元數(shù)據(jù)，再將省內(nèi)的私有元數(shù)據(jù)、流程配置數(shù)據(jù)、配置模型數(shù)據(jù)及人員組織數(shù)據(jù)通過集團(tuán)-省兩級元數(shù)據(jù)及配置數(shù)據(jù)互聯(lián)通道上傳至集團(tuán)元數(shù)據(jù)庫。經(jīng)集團(tuán)元數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的校驗、整合及存儲，最后共享給集團(tuán)應(yīng)用系統(tǒng)。

圖3　集團(tuán)-省兩級元數(shù)據(jù)及配置數(shù)據(jù)互聯(lián)通道

為保證元數(shù)據(jù)及配置數(shù)據(jù)上傳的高效、穩(wěn)定，集團(tuán)-省兩級元數(shù)據(jù)及配置數(shù)據(jù)互聯(lián)通道采用了OGG（Oracle Golden-Gate）技術(shù)。Oracle GoldenGate是一種非插入行的基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制技術(shù)[9]。OGG滿足數(shù)據(jù)處理量大、傳輸時間短、錯誤率低及系統(tǒng)資源占用少的要求[10]。元數(shù)據(jù)及配置數(shù)據(jù)傳輸方案中OGG技術(shù)的優(yōu)點如下：

高效：可保證在分鐘時間內(nèi)實現(xiàn)數(shù)據(jù)的同步；

靈活：可對數(shù)據(jù)通道進(jìn)行靈活配置，進(jìn)行合理的權(quán)限控制、數(shù)據(jù)校驗、數(shù)據(jù)在線操作等；

穩(wěn)定：可保證長時間運行下架構(gòu)性能不會裂化。

圖4　OGG數(shù)據(jù)同步架構(gòu)

OGG數(shù)據(jù)同步架構(gòu)如圖4所示。

(1)省側(cè)通過訪問集團(tuán)側(cè)裝維基庫獲取最新的標(biāo)準(zhǔn)元數(shù)據(jù)；

(2)省側(cè)通過標(biāo)準(zhǔn)元數(shù)據(jù)，上傳省側(cè)私有元數(shù)據(jù)、流程配置數(shù)據(jù)、配置模型數(shù)據(jù)及人員組織數(shù)據(jù)至集團(tuán)側(cè)裝維元數(shù)據(jù)庫；

(3)集團(tuán)側(cè)對數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗、整合，最后共享給集團(tuán)應(yīng)用系統(tǒng)。

4　配套兩級數(shù)據(jù)通道監(jiān)測與管理方案

為了保證數(shù)據(jù)通道的可用性、及時性，需建立配套的通道監(jiān)測及管理功能。配套兩級數(shù)據(jù)通道的監(jiān)測與管理方案，包括兩級數(shù)據(jù)通道的監(jiān)測和兩級數(shù)據(jù)通道的配置管理兩部分。

4.1兩級數(shù)據(jù)通道監(jiān)測

基于裝維業(yè)務(wù)的特點，數(shù)據(jù)傳輸在凌晨時間段會存在周期時間內(nèi)無數(shù)據(jù)同步的情況，為保障對裝維數(shù)據(jù)傳輸通道的監(jiān)控，本方案采用了心跳模式對裝維數(shù)據(jù)傳輸通道進(jìn)行全方位的監(jiān)測。

圖5　心跳模式架構(gòu)圖

心跳模式架構(gòu)圖如圖5所示。

(1)省數(shù)據(jù)總線心跳寫入

省數(shù)據(jù)總線新建一張數(shù)據(jù)表，用于周期寫入心跳數(shù)據(jù)。時間周期可以根據(jù)實際業(yè)務(wù)需要進(jìn)行配置。

(2)集團(tuán)數(shù)據(jù)總線心跳監(jiān)控

集團(tuán)數(shù)據(jù)總線新建一張數(shù)據(jù)表，用于周期接收省內(nèi)同步的心跳數(shù)據(jù)，并且針對上傳的數(shù)據(jù)信息進(jìn)行監(jiān)控比對。

(3)監(jiān)測指標(biāo)計算

通道可用性指標(biāo)：集團(tuán)在監(jiān)控周期內(nèi)接收到的省內(nèi)上傳的心跳數(shù)據(jù)量。

通道及時性指標(biāo)：集團(tuán)接收到省內(nèi)心跳數(shù)據(jù)所需的時間—省內(nèi)上傳心跳數(shù)據(jù)時間一般不超過1分鐘。

(4)監(jiān)測異常告警

當(dāng)監(jiān)測發(fā)現(xiàn)通道可用性異常或通道堵塞（同步存在高延時）可通過短信、郵件方式及時發(fā)出告警。告警信息發(fā)送給集團(tuán)-省兩側(cè)相關(guān)業(yè)務(wù)干系人。

4.2兩級數(shù)據(jù)通道配置管理

為保證裝維兩級數(shù)據(jù)同步通道的運營，設(shè)計了配置管理模塊對省級數(shù)據(jù)總線進(jìn)行統(tǒng)一的配置、管理、可視化展示和數(shù)據(jù)總線源端配置。以實現(xiàn)省數(shù)據(jù)總線的新增、修改、刪除和網(wǎng)絡(luò)撥測。

5　方案應(yīng)用

本文提出的運營商OSS裝維數(shù)據(jù)傳輸方案，在某電信運營商的生產(chǎn)環(huán)境中進(jìn)行了實施和部署。經(jīng)運行檢測，效果良好。實現(xiàn)了該運營商集團(tuán)-省的裝維數(shù)據(jù)高效、可靠傳輸。

6　結(jié)語

裝維服務(wù)作為運營商直接面向用戶的服務(wù)，關(guān)系著運營商的服務(wù)能力。提高裝維服務(wù)質(zhì)量是提升公眾客戶感知的關(guān)鍵。加強(qiáng)全網(wǎng)裝維數(shù)據(jù)分析，是提升運營商裝維服務(wù)的關(guān)鍵。如何實現(xiàn)裝維數(shù)據(jù)的及時、可靠傳輸，是實現(xiàn)全網(wǎng)裝維數(shù)據(jù)分析的關(guān)鍵。文章提出的裝維數(shù)據(jù)傳輸方案在國內(nèi)某運營商的實施也為運營商提高裝維服務(wù)質(zhì)量奠定了數(shù)據(jù)基礎(chǔ)。

[1]徐代道．運營商裝維效率的問題剖析及能力提升[J]．通訊世界，2015(10)：4-5．

[2]林登山．淺談如何提升寬帶裝維服務(wù)客戶感知度[J]．信息通信，2015(11)：165-165．

[3]張洪波．裝維服務(wù)：電信業(yè)客戶服務(wù)與價值挖潛之關(guān)鍵[J]．通信世界，2015(14)：23-24．

[4]黃雨竹．發(fā)掘運維大數(shù)據(jù)，開拓運營新天地——“智變”中的OSS [J]．通信世界，2015(19)：20-20．

[5]陳丹，郭先會．Hadoop在電信大數(shù)據(jù)平臺的研究與設(shè)計[J]．現(xiàn)代電信科技，2014(8)：12-16．

[6]潘毅，成靜靜．Hadoop在電信運營商經(jīng)營分析系統(tǒng)中應(yīng)用的研究[J]．?dāng)?shù)據(jù)通信，2014(6)：25-28．

[7]辛晃，易興輝，陳震宇．基于Hadoop+MPP架構(gòu)的電信運營商網(wǎng)絡(luò)數(shù)據(jù)共享平臺研究[J]．電信科學(xué)，2014，30(4)：135-145．

[8]王爽，馬又良，褚衛(wèi)艷．電信企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理方案研究[J]．郵電設(shè)計技術(shù)，2015(3)：72-75．

[9]賈海軍．一種基于OGG方式進(jìn)行數(shù)據(jù)遷移的研究[J]．軟件，2015(5)：140-145．

[10]楊維，王振宇，李志民，等．Oracle GoldenGate在大型客服中心系統(tǒng)中的應(yīng)用[J]．電氣應(yīng)用，2015(7)：108-111．

Data Transmission Scheme for Operators Based on Hadoop and OGG

Xie Cuiqin1Wu Chun2
(1.Anhui Vocational and Technical College，Hefei 230011,Anhui; 2.USTC Sinovate Software Co,Ltd,Hefei 230088,Anhui)

It is the data transmission of the OSS(Operation Support System)domain of the operator,which lays the foundation for the full network operator service analysis.This paper puts forward the establishment scheme of the group-provincial total real installation and maintenance data channel and group-provincial level metadata and configuration data channel,and puts forward a project for matching two level data channel monitoring and management based on data transmission.For a certain operator,this paper proves the feasibility of the data transmission solution.The application shows that establishing the installation and maintenance data transmission channel can realize the timely and reliable transmission of the data,which lays the foundation for the data analysis of the installation and maintenance services.

OSS;installation and maintenance service;data transmission;operator;Hadoop;OGG

TP391

A

1008-6609(2016)06-0071-03

謝翠琴，女，安徽樅陽人，碩士，講師，研究方向：通信技術(shù)職業(yè)教育。