移動通信數據網絡資源智能采集處理工具的設計與實現

林文鋒

（中國移動通信集團廣東有限公司網絡管理中心 廣州 510623）

1 引言

隨著網絡綜合資源管理系統建設的不斷推進，中國移動通信集團廣東有限公司（以下簡稱廣東移動）已完成了對全專業網絡資源數據的統一管理，并通過構建較為完整的全生命周期資源維護流程，確保資源數據的動態準確性。綜合資源現有的核心資源數據庫，已作為OSS域權威的網絡資源數據來源，為廣東移動的業務開通、服務保障、經營分析、網絡優化等眾多前后端應用系統提供網絡資源數據支撐。同時，前后端各級應用系統也對各專業資源的精細化管理能力以及資源數據的準確性、完整性提出了更高的要求。

在實際的資源數據管理維護過程中，資源數據質量的好壞直接決定了上層各類應用的可用性和有效性；如何在資源數據動態維護過程中，保持高的數據質量是綜合資源管理永恒的話題。在廣東移動目前的資源管理中，主要依靠如下兩種手段提高網絡資源的數據質量。

（1）定義較為完備的資源全生命周期管理流程

通過流程環節的管控，對從資源的設計、工程、入網、運維、調整直至退網的整個生命周期進行合理管理，保證增量數據動態維護的及時性與準確性。

（2）對持續的現網資源采集進行比對處理

針對機房內的智能設備，特別是數據網絡設備，通過定義廣泛的數據核查指標，結合綜合資源采集比對能力，定期對系統中的存量數據進行質量監控，及時發現數據存在的問題，并通過自動化或半自動化手段及時進行數據糾錯。

本文主要針對第2種手段進行分析，在現有采集核查機制的基礎上針對數據網專業資源，研究如何進一步加強資源數據的采集與處理能力，以提升核查差異數據的人工糾錯工作效率，并且在原有只針對物理資源采集比對的基礎上，提出了數據網邏輯鏈路采集與發現的處理方法，從而支撐數據網拓撲信息的自動采集比對核查處理。

2 研究現狀

目前廣東移動綜合資源管理系統的采集比對模塊所提供的功能，主要是通過采集比對發現資源存量數據與現網資源的差異，并生成各類核查差異指標報表。但由于現網設備名稱的規范性、核查比對規則的完備性、采集數據處理的粒度等問題，還不能基于該核查結果直接對存量數據進行調整更新。

核查所發現的資源差異數據整改流程，主要以人工處理模式為主，具體過程如圖1所示。

圖1 核查數據人工整改模式

采集核查過程中發現數據問題時，系統會生成各類核查差異指標報表，并發布給各地市的一線維護人員，由一線人員以人工方式從比對結果信息中提取與現網有差異的網絡資源范圍；然后從網絡設備、廠商網管或者前期維護資料中分析并提取最新的資源信息；最后按照綜合資源導入數據模板的要求填寫各種導入表格，通過綜合資源管理系統的導入功能完成整改數據的入庫。

上述方式存在的問題顯而易見：日常整改維護以人工整理方式為主，工作量較大，往往會造成數據整改維護不及時；由于自動化程度較低，人工環節多，導致問題數據核查整改效率低下，出錯風險高。

同時在數據處理粒度方面，采集比對模塊主要基于之前粗粒度的數據建模能力，對于從各種渠道采集的數據，重點比對物理資源層面數據以及端口所關聯的部分碼號資源的完整性與準確性。但其所處理的資源數據粒度并不能滿足一線網絡資源數據配置管理的精細化需求，存在諸如VLAN/VLAN IF/trunk等邏輯口采集關聯定義混亂、VPN/QINQ VLAN/IP地址池等邏輯對象采集內容過于粗略等問題。同樣，對于業務承載關聯的非常重要的數據鏈路資源信息，目前也沒有手段進行智能采集處理。

針對上述問題，本文以數據網專業為切入點，嘗試構建更為智能的資源數據采集處理工具，它能擴展并豐富數據網資源的信息采集能力，將所采集的資源信息通過智能化處理，自動生成滿足綜合資源數據入庫需求的信息模板，從而為提高數據入庫質量、地市人員日常運維工作效率以及減輕一線人員工作負擔提供有力支撐。

3 設計原則

智能處理工具需要從現網復雜的網絡架構以及廠商產品的組成中提取所需的資源信息，同時作為綜合資源系統核心應用的必要補充，必須能夠適應網絡和技術的發展，因此需遵循以下原則。

· 開放性：網絡廠商設備的多樣性與復雜性以及快速的技術發展，都要求采集數據處理模塊具有很高的開放性，需要以適配器模式構建信息提取與處理功能，支持多廠商多設備類型的應用需求。

· 穩定性：智能處理工具所解析加工的數據將直接作為綜合資源數據核查整改的調整數據源，故其處理的穩定性與數據解析的準確性非常重要。

· 獨立性：依據數據網資源智能處理工具的定位，作為綜合資源現有采集比對能力的有效補充，其網絡資源數據的提取以及智能數據的處理操作等功能應獨立于現有綜合資源管理系統，不對其日常生產應用造成影響。

4 設計方案

數據網資源智能采集處理工具作為綜合資源系統核心應用的重要補充，主要包括智能資源數據處理服務和細粒度資源采集服務兩個部分，其整體集成框架以及交互過程如圖2所示。

智能資源數據處理服務是本應用工具的核心，提供問題數據范圍提取、采集數據模型轉換、鏈路信息發現、非采集屬性信息豐富以及資源數據模板生成等功能，同時保證數據處理的準確性。

細粒度資源采集服務是獲取現網資源信息的基礎服務層，建立與現網設備交互的采集通道，提供采集指令的配置、采集代理的配置與調度、采集原始數據清洗入庫、采集過程監控管理等功能，并充分考慮其可擴展性，以滿足網絡技術和廠商設備的擴展需求。

該智能處理工具的集成處理過程描述如下。

（1）自動提取綜合資源系統中核查發現有差異的網元設備范圍。

（2）基于上述范圍，利用資源采集服務層的能力，按照配置的細粒度擴展采集指令，獲取現網資源數據并進行一次清洗入庫。

（3）內部模型轉換處理將采集資源模型轉換為資源對象模型數據，并疊加鏈路發現算法生成拓撲數據。對于資源模型中無法采集的業務或管理屬性，通過規則映射自動從綜合資源管理系統提取信息并進行屬性豐富。

（4）按照綜合資源數據導入模板的要求，格式化生成可導入數據，完成需整改數據的最終入庫。

數據網資源智能采集處理工具二級功能框架如圖3所示。

圖3 數據網絡智能采集工具二級功能框架

其中，應用層負責智能資源數據處理全過程的管理，對細粒度資源采集提供運行調度、配置與監控管理功能；采集層負責與不同廠商設備、不同網絡技術下采集接口方式的適配工作；數據層負責存儲本智能工具運行所需的各類型基礎數據。

該設計方案中所涉及的關鍵技術點，具體為以下3個方面。

·細粒度可采集資源模型：智能采集處理的核心，通過分析各廠商數據網絡設備的輸出指令以及MIB庫信息，定義一套更細粒度的可采集資源數據模型。

·資源采集處理：說明數據采集處理通道的構建以及

圖2 數據網絡智能采集工具一級功能整體框架及交互過程

資源采集過程的任務管理與執行過程。· 鏈路拓撲智能發現處理：是該智能工具設計與實現

的重要創新點，嘗試構建一種較為通用的鏈路拓撲處理方法，以解決當前資源數據采集在鏈路信息處理方面所存在的技術難題。

4.1 細粒度可采集資源模型

現實網絡中有對網絡資源最為精準的刻畫，從資源信息維護角度而言，如何最大粒度地從現有設備中自動提取有價值的網絡資源信息，以豐富現有資源對象模型，在滿足網絡資源數據配置精細化管理需求的同時，減輕一線人員數據維護的工作量，是本工具設計與實現過程中所考慮的重點問題之一。

通過分析各廠商數據網絡設備的輸出指令以及MIB庫信息，定義了一套更細粒度的可采集資源數據模型，其中包括對于數據網絡物理資源、邏輯資源的刻畫。部分主要可采集資源對象類型及其細粒度資源屬性信息見表1。

表1 可采集資源數據模型

上述模型設計時考慮了與網元輸出指令或MIB庫信息定義相對應，以一種扁平化的方式刻畫現網中的可采集資源，簡化了采集數據一次清洗過程中的復雜度。但在綜合資源管理系統中的資源數據模型是一種對象化的關聯模型，在智能處理過程中需要在兩種異構模型中進行映射轉換，將扁平化可采集資源模型轉換為綜合資源的對象關聯模型。以可采集資源對象類型IPVPN為例，可采集資源模型中的IP VPN對象將轉換映射為綜合資源模型中的VPN服務對象、服務對象與端口之間的關聯、VRF/RT/RD/VPN ID等碼號對象類型以及碼號對象與端口對象的關聯。其模型間映射轉換如圖4所示。

圖4 可采集資源模型與綜合資源對象模型轉換示例

4.2 資源采集處理

資源采集處理服務負責從現實網絡中提取智能數據處理所需的原始資源配置數據，其部署組成包括采集處理服務器端和網絡側部署的采集代理兩部分，如圖5所示，各模塊具體介紹如下。

·服務器端提供與采集相關的指令模板配置、采集環境元數據配置以及采集任務調度管理等能力，并將相關的配置信息和具體的采集處理請求，通過Web Services接口下發給各采集代理。

·采集代理具體執行現網數據的采集任務以及原始數據的一次清洗處理工作，在此過程中會使用服務器端所下發的各類配置信息（包括所轄網絡環境配置信息、網元類型配置信息、指令模板信息等）。采集代理會在多個相互獨立的網絡拓撲中分別部署（如不同地市的城域網會部署各自獨立的采集代理）。

服務器端的采集任務主要由以下兩種方式生成。

（1）差異數據采集定時觸發方式

定時提取綜合資源差異比對數據，生成需采集的網元設備范圍，并通過匹配采集環境元數據配置信息，將需采集的網元設備范圍列表以采集代理為單位進行分解，最終形成每個采集代理所對應的采集任務。

（2）人工即席采集方式

一線維護人員自行設定需采集的網元設備范圍，并即時觸發采集處理請求，該方式最終也會按照采集代理所轄范圍進行采集任務的分解處理。

圖5 資源采集服務兩級部署

服務器端的采集任務管理服務會統一管理采集任務的生成以及按采集代理分解后的子任務調度處理過程。

采集代理接收到采集任務請求后的具體處理過程如圖6所示。

圖6 采集代理任務的處理過程

其具體處理流程如下所述。

· 采集代理接收到采集處理請求后，由采集任務初始化服務創建采集任務實例（唯一ID標識），并初始化采集任務處理目錄結構等輔助環境。

·設備偵測服務識別采集處理請求中納入處理的設備管理IP地址信息，對于新出現的設備管理IP地址，將通過SNMP/Telnet兩種方式發送探測指令，以識別設備的具體類型。

· 依據采集范圍中識別的設備類型，適配具體的采集方式以及配套的采集指令模板或MIB庫鍵值模板信息。

·網元信息采集服務將連接具體的網元設備，按照采集模板定義獲取特定設備類型所有可采集的原始配置信息。

· 對于Telnet指令方式所獲取的原始采集數據，需要調用指令輸出文本解析服務，將非結構化的原始采集數據進行結構化解析處理。

·一階段數據清洗轉換服務將結構化的采集數據，初步轉換處理為可采集的資源數據模型。

·對于本批次采集任務的所有資源對象生成唯一鍵值，并建立資源對象間的關聯性。

·對進行鍵值化處理的所有本批次采集的資源數據，應用資源數據完整性檢查，以發現資源關聯性層面可能存在的異常或數據缺失。

· 資源關聯性校驗無誤后，采集任務終止服務將處理結果打包上傳至服務器端（由后續服務器程序完成采集數據統一入庫），完成本次采集處理過程。

4.3 鏈路拓撲智能發現處理

在綜合資源或各類網管系統數據采集處理過程中，如何通過分析網元層面所采集的數據，發現并生成數據網絡設備間的網絡拓撲連接信息，一直是一個比較棘手的問題。由于支撐手段的缺失，以人工方式在綜合資源管理系統錄入的鏈路拓撲信息無法與現網數據進行核查比對，這部分的數據質量一直難以提升。

本工具提供對數據設備中的多個常用協議配置信息進行解析處理的功能，并通過對不同的網絡拓撲環境疊加應用這些協議的處理結果，從而發現數據設備間的鏈路拓撲信息。

作為鏈路拓撲數據處理的基礎，首先需要從網元中提取各種可能的協議配置數據信息，數據采集所涉及的常用網絡協議包括以下幾種。

·ARP：通過ARP映射表中所記錄的MAC地址與IP地址的綁定關系解析發現可能的物理端口二層連接。

·CDP：對于某一網絡拓撲中Cisco設備間的鏈路拓撲，可以通過提取CDP信息進行鄰居設備的自動發現與二/三層鏈路的采集處理。

·STP：可應用于在網絡中建立樹型拓撲，二層交換網絡拓撲中可以通過采集獲取該協議處理信息來分析并構建網絡設備之間的鏈路連接關系，適合所有廠商的網絡設備。

·NDP：對于某一網絡拓撲中支持NDP的設備之間的鏈路拓撲 （如所有華為數通設備），可以通過提取NDP信息進行鄰居設備的自動發現與二/三層鏈路的采集處理。

· 點到點協議：通過處理POS、PPP、PPTP等點到點協議端口及其配置IP地址，處理二層鏈路點到點連接信息。

同時，在特定場景下，設備的靜態路由表信息、IP地址子網規則匹配等方法也會被綜合應用。

在實際的網絡組成中，必然是多廠商設備、多技術承載并存的復雜網絡結構，故在進行鏈路拓撲智能處理時，需遵循如下處理步驟：

·按照現實網絡結構，先劃分合理的網絡拓撲范圍（如按專業、地市區域、接入/匯聚網絡層次等），從而降低全網遍歷的復雜度；

·設定不同協議方法的處理優先級；

·按優先級順序選擇某一協議處理方法，遍歷處理某一網絡拓撲范圍中各設備的物理端口或邏輯終結點，得到這一階段的拓撲鏈接信息，在同一種協議方法中，物理端口可能被“重復使用”；

·每種協議方法都只處理那些在前一種協議方法中未被“使用”的物理端口或邏輯終結點，這樣后一種協議方法的結果，不會影響前一種相對準確方法的鏈路發現結果。

通過綜合應用多種協議配置數據，最終得到最為合理的網絡鏈路拓撲結構。

不同網絡場景所采用的協議處理方法與順序如下。

（1）以太網鏈路處理方法

以太網鏈路發現是一系列協議方法按照一定順序處理的集合，能夠發現交換端口之間的鏈路連接關系。協議方法處理集合主要包括：

· 基于STP的數據，將處理以太網交換機端口間的互

聯端口；

· 基于透明橋轉發數據（TpFdb），將處理以太網交換

機與非交換網元之間的鏈路連接；

· 基于ARP的數據，將處理網元設備間不存在交換中

介的鏈路連接。

（2）路由器間二層連接處理方法

路由器間二層連接主要通過CDP/NDP方法進行處理，以Cisco設備為例，可以從Cisco MIB庫中的CiscoCdpMIB(1.3.6.1.4.1.9.9.23)解析匹配的設備ID和端口構建連接。

CDP/NDP數據處理本身算法比較簡單，此處不做贅述，但其應用場景存在局限性，如CDP只能應用于Cisco設備構建的網絡，而NDP一般只應用于華為數通設備所構建的網絡。上述協議處理所發現的鏈路連接會橫跨或忽略不支持它們的其他設備，所以需要配合其他補充協議的處理方法進行結果改進。

對于其他路由器間的以太網連接，主要通過ARP數據（IP地址MIB中）進行分析處理，不會作用于前項協議處理方法（如STP、TpFdb、CDP/NDP）已處理過的物理端口之上。

該方法主要進行如下兩項檢測：

·兩個相鄰設備端口在各自的MAC表中是否有互相引用；

·兩個端口是否存在于相同的IP地址子網段中。其中，動態學習和靜態的ARP數據都會被使用到。（3）點到點連接處理方法

對于非以太網技術以及CDP/NDP等技術不適用的情況下，一般通過IP地址子網匹配或者特定的路由信息來分析處理點到點串行鏈路連接。

點到點串行鏈路一般會綁定一個小的30位子網；鏈路發現算法識別到PPP/POS/PPTP等類型的設備端口時，就會處理它們所綁定的IP地址，通過IP地址子網的匹配性解析鏈路連接信息。

對于端口未綁定IP地址的情況 （為了節省IP地址空間，未綁定IP地址的端口將從另一端口上借用一個IP地址），如果路由器上某個串行端口未綁定IP地址，協議處理算法將解析路由器上每個端口的路由表信息，間接識別串行鏈路連接。

圖7 鏈路拓撲智能處理綜合場景示例

（4）基于IP地址鄰居關系的處理方法

基于分析相鄰設備之間動態或者靜態路由信息來發現IP地址鏈路對象，該方法需要從MIB庫的路由表或者配置文件中提取<目標IP地址，子網掩碼，輸出接口>三元組信息，然后解析IP地址子接口間是否存在相互的路由，從而提取潛在的鏈路連接信息，每一輪處理所發現的接口關聯在下一次處理中將被淘汰。

上述協議處理方法需按順序執行，避免協議方法處理數據之間的干擾性。上述各協議處理方法的綜合場景應用示例如圖7所示。

被發現的物理鏈路包括以下幾種：

· A∶E，通過ARP數據處理得到；

· B∶F，通過FDB橋接數據處理得到；

· C∶F，通過FDB橋接數據處理得到；

· D∶E，通過ARP數據處理得到；

· D∶G，通過CDP數據處理得到；

· E∶F，通過FDB橋接數據處理得到；

· F∶H，通過STP數據處理得到；

· G∶H，通過FDB橋接數據處理得到；

· G∶K，通過IP地址子網匹配處理得到。

5 應用效果

該智能處理工具已在廣東移動的深圳、佛山等地市分公司推廣應用，通過資料整理、數據處理流程優化，在數據維護效率和數據維護準確性方面有了明顯的提升。

5.1 數據維護效率

未使用該采集工具前，主要依靠人工進行數據采集、分析和錄入模板整理，以某地市數據網專業的設備（路由器85臺，交換機75臺，板卡1 002個，板卡1 663個，端口17 447個）為例，做一次全量數據清理，平均一個周期大概約需15個人·日。

使用智能采集工具后，數據網絡設備信息的采集、分析和錄入模板都由智能工具智能處理，只需要通過人工操作補充無法采集的數據。以該地市為例，一次全量設備信息清理約需2個人·日（采集分析導出需0.5個人·日，數據補充約需1.5人·日），如圖8所示，效率明顯提升。

圖8 數據維護效率比對

5.2 數據維護準確性

未使用該采集工具前，以人工方式收集、整理數據網的物理資源、邏輯資源和鏈路資源，容易導致部分資源信息錄入缺失，鏈路與設備端口的關聯存在誤差。以某地市2011年度數據網絡為例，各月的鏈路與端口的關聯率平均值約為82%，對整體網絡拓撲呈現有一定的影響。

使用智能采集工具后，數據網絡設備信息自動采集率達到97%，采集日志信息的智能處理率達到100%，設備錄入信息的智能生成率達到100%。同時通過智能工具采集數據網絡的鏈路信息，能保證鏈路信息的完整，且鏈路與設備端口的關聯關系準確。仍以該地市2012年度數據網絡為例，采用智能采集工具輔助后，各月的鏈路與端口的關聯率平均值約為98%，基本上可準確呈現數據網專業的拓撲，以輔助故障定位。

結合數據網專業的數據核查指標，使用工具前后的效果對比見表2，資源數據的準確性有了較大的提升。

表2 數據準確性對比

通過對比，可見該智能處理工具作為一線人員對數據網絡進行日常維護的必要工具，較好地解決了原有資源差異數據維護過程中存在的種種問題，極大地提高了一線人員的生產效率；同時，其加工后的數據（包括邏輯資源和鏈路資源），又可以作為綜合資源對比模塊的必要補充，提升綜合資源數據鏈路的對比處理能力。

6 結束語

綜合資源管理系統作為通信企業網絡資源的核心數據來源，所維護管理的網絡資源數據在企業的生產運營中起到越來越重要的作用，其數據已經普遍用于支撐業務開通、服務保障、經營分析、網絡優化等眾多前后端應用系統。其所管理數據質量的高低，直接影響企業網絡運營水平的高低。本文所提出的數據網資源采集信息的深入挖潛以及邏輯鏈路信息的智能發現等思路，應用于構建綜合資源外圍的數據處理工具，可以成為綜合資源核心應用的必要補充，為其數據質量的進一步提升以及一線數據維護負擔的減輕提供了有力的支撐。

1 中國移動綜合網絡資源管理系統技術規范通用功能分冊(V1.0.0),2003

2 中國移動綜合網絡資源管理系統技術規范技術架構分冊(V1.0.0),2006

3 IEEE Std 802.1D.生成樹協議標準,2004

4 Cisco.Cisco Discovery Protocol(CDP)Specification,2004

5 華為NE系列路由器產品文檔，2008