采集平臺采集適配插件化開發技術研究與實現

郭濤峰，張 淵，張攀翔

（中國移動通信集團廣東有限公司 廣州 510623）

1 采集平臺采集適配插件化開發技術的引入背景

1.1 現有專業網管采集現狀

隨著網絡運維管理集中化程度的進一步提高，為了從不同專業、不同維度了解和監控移動網絡的運行情況，及時發現網絡運行過程中出現的問題，網絡維護人員及管理人員對網管系統不斷提出新的需求，從而導致網管集成的應用功能不斷增多，出現了越來越多的上層應用網管系統，如綜合資源系統、綜合監控系統、網絡運行分析系統、集中操作維護系統和無線網優平臺等。

各專業網管系統在本專業網的維護過程中發揮了很大作用，話務網、數據網和傳輸網對數據的要求也越來越高，除了需要對本專業的數據進行分析外，更需要對跨專業數據進行分析，因此各專業網管系統還需要通過其他專業網管的接口獲取數據（見圖1）。為了滿足各專業網管系統數據的需要，各專業網管系統通過自己的采集模塊，按照網元端提供的接口方式（包含CORBA、FTP、file、指令等）直接從網元端采集各種數據，同時按照數據要求，通過各種接口方式，觸發其他專業的底層采集程序，從網元端采集所需的資源、性能和告警數據，并根據相關的元數據算法，計算匯總成相應的指標數據提供給上層應用系統。

圖1 各專業網管采集現狀

1.2 現有采集方式的缺陷和不足

現有的數據采集方式存在如下缺陷：沒有統一的采集適配機制，各專業網管直連網元或者觸發調用另一專業網管的采集進行數據獲取；同一類型的數據重復采集，采集方式眾多，各接口需要單獨維護；接口缺乏標準化、規范化，包括 CORBA、Web Services、FTP、數據庫接口表、MQ、Q3等多種接口實現方式；可擴展性低、重用性有限，造成IT系統開發維護成本大幅度上升。

1.3 統一采集方案研究

針對現存問題，需要有一個更好的方案對不同廠商、不同型號的通信設備進行數據采集，有一個可以對這些數據進行標準化、歸一化的采集平臺，提供最大化采集效率，避免無用的重復采集，避免統計分析數據源不一致導致的數據質量問題，為業務發展、公司決策提供準確的分析數據。

具體分析現有數據的特征不難發現，各種業務數據的業務邏輯是相對穩定和統一的，因此采集的調度和頻度是統一的。變動變化最多、差異最大的主要是各種不同設備的采集方式及解析方法，因此可以搭建一套統一采集平臺，將不同設備的采集和解析以插件（plug-in）的形式實現統一調度、集中處理。新增設備或設備升級時，只開發相應的采集插件即可滿足生產需要，靈活配置相應的插件即可實現不同設備的統一采集和調度，同時按統一采集平臺標準開發的采集插件也有利于重復利用資源，當某個省份新增一種設備時，假如該設備已經在其他省份投入使用并開發有相應的采集插件，即可直接采用該插件進行采集，可縮短新設備接入采集平臺的時間，避免重復開發，提高資源利用效率。

2 采集平臺采集適配插件化開發技術方案

2.1 插件技術原理

插件是一種遵循統一的預定義接口規范編寫出來的程序，應用程序在運行時通過接口規范對插件進行調用，以擴展應用程序的功能，它的特點是：當需要它的時候激活它，不需要它的時候禁用或刪除它；且無論是激活還是禁用，都不影響系統核心模塊的運行，也就是說插件是一種非侵入式的模塊化設計，實現了核心程序與插件程序的松散耦合。

2.2 采集平臺插件化技術框架

圖2是基于插件技術的統一采集平臺數據采集的示意，主要涉及話務網管、數據網管、傳輸網管等上層網管系統，采集平臺的采集適配池、網元/OMC等。

圖2 統一采集平臺系統示意

具體說明如下。

（1）話務網管/數據網管/傳輸網管等上層網管系統

話務網等上層網管系統為數據消費系統，根據統一采集平臺提供的接口規范和插件的類定義，對相應的業務類進行擴充，開發適配模塊，以使采集適配器滿足統一采集適配器接口規范的要求，滿足系統對采集適配器的各種查詢和管理要求，同時上層網管系統向統一采集平臺發送適配器的加載（注冊）和卸載（取消）請求，同時通過類XML文件傳遞參數觸發采集動作和接收采集結果。

（2）采集適配池

采集適配池對采集適配器進行管理，包含適配器動態加載、策略接收、任務生成、任務下發、任務執行、指標計算、結果返回等操作。

·適配器動態加載是指進行新的數據源數據接入時，能夠把新的采集適配器方便地加載到系統中，完成數據接入。

·策略接收負責接收數據消費系統訂閱的數據采集策略，并對該策略進行判重和驗證等工作。

·任務生成則根據消費系統訂閱的策略轉換成具體的采集任務命令。

·任務下發負責根據各采集機器的負荷情況，動態地將采集任務分發到負荷比較輕的采集機。

·任務執行則根據采集適配器的具體連接網元方式，通過采集協議適配，執行采集指令，獲取相應數據。

·指標計算是指根據轉換算法把原始counter值轉換為指標數據，指標計算是不借助外部資源數據、不發生時間、空間粒度變化的處理。

·結果返回是指計算完成后生成指定格式的文件或消息，將數據消息發送給訂閱消息的系統，將文件上傳北向接口。

（3）網元/OMC

不同的網元提供不同的接入方式，包含CORBA、file、FTP、MQ、Q3、DB、Telnet等。統一采集平臺配置這些網元的基礎信息，包括網元、OMC、EMS等設備或系統的地址、采集源數據庫訪問信息、訪問用戶名稱、設備廠商ID號、軟件版本等信息，上層網管系統在進行采集策略訂閱時需要指明具體的采集源信息。

（4）平臺與適配器的接口

適配器接口為平臺與適配器之間的接口約定，只要實現了該接口的類，均可在平臺正確部署和使用。實現該接口一般包括協議適配實現和采集適配實現兩部分，協議適配負責協議的連接關閉和訪問等，采集適配負責與具體業務相關的部分，二者組合起來形成具體適配器實例。適配器接口、協議適配器接口和采集適配器之間為繼承關系，即適配器接口定義適配器與平臺的通用接口；協議適配器繼承適配器接口，實現協議訪問；采集適配器繼承協議適配器，進行具體采集和解析工作。采集平臺和適配器（采集適配、協議適配）的整體方案、調用時序說明如下。統一采集平臺協議適配、接口適配如圖3所示。

（1）統一采集平臺實現采集適配器類插件的開發接口，各專業網管系統根據自己的業務邏輯模塊實現該模塊規定的接口。實現了具體業務邏輯接口的插件，可以在統一采集平臺中注冊。

（2）實現各適配器接口中定義的函數，各類插件的接口中都規定該插件的初始化函數，一般包括以下內容：從配置文件讀取是否加載該插件以及該插件的初始化信息，若加載該插件，將其提供的服務在統一采集平臺中注冊；若卸載該插件，則將其在統一采集平臺內核中刪除。

（3）實現該插件的業務邏輯，根據上層網管系統要求的功能而定，通過自定義函數實現用戶提供的功能，例如是實時查詢數據還是周期性消息訂閱等。

（4）將該插件實現的業務邏輯函數在統一采集平臺內核中注冊事件，一般在插件接口函數中實現，例如init()函數或者addtask()函數。

（5）在配置文件和內存中，配置加載該插件以及所需的初始化參數。該部分的配置一般放在XML文件中，只需根據實際需求，在該文件中配置相應的字段即可完成。

（6）統一采集平臺根據訂閱策略，轉換成相應的采集任務，調用采集適配器的方法，把本次任務的參數信息傳遞給采集適配器實例，采集適配器實現Runnable接口的run方法，通過線程啟動執行采集。

（7）適配器把采集到的數據進行格式封裝，然后調用統一采集平臺提供的方法，將數據以消息方式發送出去，如實時告警數據。

（8）采集適配器采集到的原始counter根據元數據描述的算法，計算生成相應的指標數據，計算完成后根據生成指定格式的文件或消息，數據消息發送給訂閱消息的系統，文件上傳北向接口；并反饋任務及自身運行狀態信息給統一采集平臺管理控制模塊。

3 采集平臺采集適配插件化開發技術優勢及實施

3.1 技術優勢

采集平臺采集適配插件化開發技術已應用于廣東移動網管數據統一采集平臺項目，相對于傳統采集技術，具有以下技術優點。

·從采集適配技術本身，適配器抽象了各專業網管系統的業務需求，并可由各專業網管系統根據自己的業務邏輯進行擴充，具有很強的通用性，便于保護在網管采集能力方面的已有投入。

·從平臺框架能力出發，當采集平臺接收新的數據源接入時，可在不需要更改整個軟件架構的基礎下，將新的采集適配器方便地加載到系統中，完成數據接入，具有很強的模塊獨立性和擴展性；如果已有采集適配器不再使用，能夠把這些采集適配器方便地從系統中卸載，不影響平臺核心程序的運行。

·從平臺業務支撐出發，平臺是開放性的，支持第三方適配器插件，具備全業務、全專業采集接入能力，能夠去除重復采集、降低設備負荷。

·從資源利用來看，采集到的數據是開放的，統一共享的，一次采集多處復用。

3.2 現網實施效果

目前，上述技術已在中國移動通信集團廣東有限公司統一采集平臺項目中試運行，已完成41個適配器的開發及測試，涵蓋4種接口類型，包括file、指令、數據庫、CORBA等；接入14種網元類型，涉及26萬個網元，659個原始測量表，完成80%語音網統計類數據測試；同時完成50%新舊系統數據核對，指標數據很好地保持了和現網系統的一致。在性能方面，插件化平臺處理效率提升了20%～30%，如以GZOMC的采集計算對比，306個BSC、小區數量23 598個、25張原始測量表、最大表數據量為384440個，采集計算整體過程新平臺總耗時1 244 s，比起原來總耗時1 626 s縮短23.5%，如圖4所示。在源數據時延較大的情況下（第4個時間點），效率也有20%以上的提升，有不錯的應用效果，推廣實施后預期會有更大的規模效應體現。

圖4 采集總耗時對比

4 結束語

本文闡述了通過構建基于插件技術的統一采集平臺，以插件方式實現采集適配器的自動加載和卸載，提高采集適配器的可擴展性和重用性，統一管理采集適配，實現自動匹配和調度，減少對網元的連接負擔，提高采集質量。但是目前平臺的開放性還有待進一步加強，第三方開發的采集插件存在較多兼容性問題，需要制定更加開放、更加具備兼容能力的采集插件規范，這是今后繼續努力的方向。