Hadoop技術在聯機采集系統改造中的應用研究

【摘要】 本文論述主要是圍繞湖北電信聯機采集系統直采改造項目的應用展開，其中Hadoop系統技術作為關鍵技術提出并進行重點分析，不僅僅是本文的一個特色，也在改造后的聯機采集系統運行中發揮了重大的作用。

【關鍵詞】 聯機采集 Hadoop

一、聯機計費采集系統發展趨勢介紹

隨著湖北電信業務的不斷發展和管理水平的提高，聯機采集系統呈現了從本地網聯機計費采集模式，向全省集中聯機采集模式的發展趨勢。聯機采集系統正逐漸從交換機前置采集，本地網匯聚，省中心上傳三級模式，發展到全省集中采集的一級半模式。“一級半模式”就是對于具備可以直接采集的交換機，實施省中心直接一級采集，對于不具備條件的交換機，可以保留前置采集機，實現省中心的二次采集，兩種模式的混合可以成為“一級半模式”。

二、關于湖北電信聯機采集系統直采改造的需求分析

目前以湖北電信聯機采集系統建設為例，聯采系統完全根據中國電信集團公司《本地網聯集計費采集技術規范》[1]的要求，采用各本地網集中、全省分散的混合組網模式，也就是計費數據先匯聚到本地網，再上傳至省中心。隨著網絡條件的飛躍以及技術能力的發展，上述架構中計費數據需要采集經過的環節較多。計費數據從交換機到帳務主機的采集過程時間較長，無法滿足計費的實時性要求，系統提速的需求比較迫切。根據上述分析，聯采系統云平臺建設的目標如下：全省集中采集，將原來的二級架構[2]改造為全省一級架構，節省維護成本；提高采集實時性，將采集頻率由原來的15分鐘提高到5分鐘；增強管理能力，包括業務性能實時監控、Flex告警面板、WebReport網頁報表等重要管理功能。

三、集中模式和云計算系統對于解決聯采系統改造問題的幫助

目前以湖北電信為例，其全省的網關、NGN交換機采用二級架構：網關交換機采用各本地網集中采集，再上傳至省計費集中處理；NGN交換機采用各本地網集中，再上傳至省計費集中處理。全省集中后的一級架構中，聯采系統通過3個環節完成計費采集，大大提高業務效率。具體流程如下：云采集平臺采集文件；云采集平臺校驗&存儲；生成數據分發索引&目錄。由于系統改造中采集加速的目標要求，系統處理能力面臨三重挑戰，云平臺是超強性能的最佳選擇，有效提升系統處理能力。

四、云平臺—Hadoop系統技術介紹

1、Hadoop系統是一個可以更容易開發和運行處理大規模數據的軟件平臺。其中，HDFS是一個分布式文件系統（Hadoop Distributed File System），有著高容錯性的特點，并且設計用來部署在低廉的硬件上。MapReduce是一個分布式計算模型。與分布式文件系統相結合，它可以為程序員提供一個定義良好的用于描述計算任務的 API，從而幫助他們簡化并行化問題的任務。MapReduce將應用程序的工作分解成很多小的工作小塊。HDFS為了做到可靠性創建了多份數據塊的復制，并將它們放置在服務器群的計算節點中，MapReduce就可以在它們所在的節點上處理這些數據了。

2、Hadoop系統主要特點：能可靠地（reliably）存儲和處理千兆字節（PB）數據。可以通過普通機器組成的服務器群來分發以及處理數據。這些服務器群總計可達數千個節點。通過分發數據，hadoop可以在數據所在的節點上并行地（parallel）處理它們，這使得處理非常的快速。hadoop能自動地維護數據的多份復制，并且在任務失敗后能自動地重新部署（redeploy）計算任務。

五、集中式云平臺聯機計費采集系統特點介紹

1、分發存儲并行。云采集平臺采用多主機的模式，可以在數十臺數據節點上，配置高達數百G的ramdisk用于緩存數據；同時云計算采用作業均衡調度機制，可以動態檢查ramdisk的使用情況，然后再進行作業分配；系統采用完整的稽查機制，可以保證計費文件100%準確地采集以及分發。

2、有效解決磁盤I/O瓶頸。全省集中采集模式，所有近百個節點的數據需要集中存儲，而且并發訪問，將導致磁盤訪問瓶頸。云平臺利用HDFS技術，實現多節點分散存儲模式，每塊磁盤保證獨立訪問，從而避免了磁盤I/O瓶頸，同時整個系統的I/O帶寬擴展到數十G。

六、聯采系統改造順應發展需求

1、 符合業務發展的需求。聯機采集云計算平臺采用業務動態加載模式，同時提供強大的并行計算能力，可以滿足電信業務不斷發展的需求。2、 符合技術發展的需求。聯機采集云計算平臺符合云技術的發展趨勢和層次定義。3、 符合節能減排的需求。以湖北省為例，采用聯機采集云計算平臺可以節省77臺設備，節省能耗高達80%，完全符合國家倡導節能減排目標。4、 符合電信投資策略的需求。采用聯機采集云計算平臺可以獲得低價格/高性能的性價比。

結束語：湖北電信通過對聯機計費采集系統的升級改造，特別是采用集中模式和云計算平臺等技術，能夠充分提升系統性能，加快電信業務處理能力，滿足用戶及時了解自身費用情況的服務需求，從而有針對性的提高服務質量，提高企業核心競爭力。

簡介：葉進，男，1976年9月出生，1998年6月畢業于中南民族學院，工程碩士，現就職于湖北電信公司業務支撐中心，工程師

通信地址：武漢市江漢區常青路158號湖北省電信公司業務支撐中心，主要研究方向是電信企業計費系統的解決方案、應用等。 聯系電話：18907181367

參 考 文 獻

[1]中國電信運維[2000]5號文件

[2]中國電信網絡[2001]164號文參考文獻