NFV開源監控系統研究與實踐

天訊瑞達通信技術有限公司 黃俊濤

0 引言

NFV(Network Function Virtualization)網絡功能虛擬化技術是當前運營商爭相追捧的熱點技術，其目標是將網元功能與廠商昂貴的專用硬件解耦，使其運行在通用廉價的x86基礎設施上，降低設備采購成本并提高網絡資源利用率[1]。

歐洲電信標準化協會ETSI于2012年發起組織NFV ISG(NFV Industry Specification Group)來完成了NFV管理和編排(MANO)相關標準化的制定工作。NFV MANO國際標準[2]是NFV系統實現的重要參考依據，全球NFV軟件提供商和開源社區多采用該標準來構建NFV分層化的平臺架構。

ONAP(Open Network Automation Platform)[3]正是基于ETSI NFV國際標準來打造的開源NFV系統。DCAE(Data Collection, Analytics, and Events)是ONAP平臺的、完整的、開源的智慧運營與監控系統，它以大數據技術為支撐，從數據采集、數據分析到策略控制形成一個自動運行的閉環，實現智慧化運營。

1 DCAE基本原理

DCAE(Data Collection, Analytics, and Events)是集數據收集（故障數據、配置數據和性能數據等）、數據分析和告警生成的系統，其分析結果為ONAP其它模塊（如Policy，MSO或Controllers）提供決策支持，觸發適當的處理動作（如彈性伸縮、更新和終止等）。

DCAE系統由平臺組件和服務組件組成，并擁有一套完善的內部機制實現平臺自身的自動化控制。平臺組件是承載DCAE服務組件的基礎運行環境；服務組件是滿足特定業務需要對業務數據進行處理的功能組件。這些不同服務組件通過DMaaP來完成數據共享和消息傳遞，DMaaP實質是封裝了Rest接口服務的Kafka消息隊列。

DCAE平臺組件包括如下：

(1)Cloudify Manager是DCAE各組件的生命周期管理引擎，完成組件配置、部署和變更等功能；

(2)Consul是集分布式故障檢測技術、以Key-Value形式存儲的服務發現和配置技術；

(3)Service Infrastructure是DCAE平臺支持的兩種基礎架構：Docker容器主機和CDAP+Hadoop平臺。前者是容器化的應用程序；后者是基于CDAP+Hadoop集群的大數據處理平臺；

(4)Dispatcher是DCAE暴露服務的北向接口。統一接收上層服務請求，并通過Cloudify Manager調度虛擬資源的變更（部署/取消部署，更改配置等）；

(5)Inventory是DCAE資源信息庫，例如Cloudify Manager用于部署組件的各種模板和Blueprints，以及從AAI提取的DCAE虛擬網絡資源及其物理基礎設施信息；

(6)PGaaS，又稱PostgreSQL即服務，提供Inventory后端數據存儲能力；

(7)CDAP Broker充當CDAP和Cloudify Manager之間的橋梁，支持Cloudify Mangager在CDAP上執行各種操作。

DCAE服務組件是滿足特定業務需求開發的功能組件，如用于數據收集的VES Collector、SNMP Trap Collector，用于數據分析的TCA應用程序等。

2 DCAE工作流程

DCAE系統流由控制流和數據流兩部分組成，分別代表部署階段和運行階段兩個工作流程。

部署階段，控制流負責完成DCAE各平臺組件和服務組件的配置和部署工作。控制流工作流程如下：

(1)通過Heat Template、Cloudify BluePrints或Image等方式來實例化DCAE Controller組件；

(2)DCAE Controller組件負責實例化其它DCAE組件，包括DCAE平臺組件及其承載的服務組件；

(3)DCAE Controller對實例化完畢的服務組件進行配置，包括靜態配置或策略配置等。

運行階段，數據流負責完成DCAE系統從數據收集，數據預處理，數據分析到結果輸出的一系列處理流程。數據流工作流程如下：

(1)VNF、VM通過Post接口或流形式推送流數據到VES Collector；

(2)VES Collector對收到的流數據經過VES Scheme校驗、過濾和打包，確認是VES流數據后，將其發布到DMaaP模塊的Measurement Data Topic；

(3)數據分析應用程序訂閱Measurement Data Topic，從DMaaP拉取VES流數據，并采用各種數據分析方法(TCA，Predictive analytics，AI和ML等）完成數據分析，將分析結果（即告警消息）發布到DMaaP的Event Data Topic；

(4)ONAP其它組件（如Policy，MSO）從DMaaP拉取分析結果（即告警消息），并根據預先定義的規則觸發相應的處理動作（如Scale out，Scale in等）。

3 DCAE平臺實踐

3.1 DCAE平臺實踐方案

DCAE DEMO由VES Collector、DMaaP和CDAP+Hadoop平臺及其TCA應用程序組成。

(1)VES Collector是事件接收器，對接收的事件會進行VES Scheme校驗，校驗通過發布到DMaaP；

(2)DMaaP是基于發布、訂閱模式的Kafka分布式消息系統，用于消息傳遞；

(3)CDAP平臺是Cask公司發布的開源數據應用平臺，構建于CDH、Apache Ambari或Amazon EMR等大數據基礎平臺之上，聚焦于應用層面，可降低大數據應用程序的開發復雜性；

(4)TCA（Threshold Crossing Analysis）應用程序是基于CDAP平臺進行開發的數據分析應用程序。

3.2 平臺實踐步驟

VES Collector和DMaaP通過Docker方式創建，CDAP+Hadoop通過Cloudera解決方案來構建，步驟如下：

(1)安裝Docker并創建VES Collector容器；

(2)創建DMaaP應用容器組，其中包括Zookeeper、Kafka和DMaaP容器；

(3)利用Cloudera Manager搭建Hadoop大數據服務集群，最小服務列表包括Zookeeper、Yarn、HDFS、Hive、Hbase和Spark；

(4)在Hadoop集群基礎上，以CSD（Custom Service Descript）形式構建CDAP平臺；

(5)編輯配置文件信息并加載TCA應用程序Artifacts包；(6)加載流數據驗證結果。

3.3 平臺實踐結果分析

該平臺實踐描述了DCAE系統從數據收集、數據分析到產生告警的處理流程。VES Collector用于收集流數據并完成Scheme校驗，校驗通過的流數據往前傳遞到DMaaP消息隊列緩存越來。基于CDAP+Hadoop的TCA應用程序從DMaaP拉取數據進行數據分析，逐條檢測測量值是否超過門限值，若超過則判定為Event消息，繼續往前傳遞，然后查詢元數據信息庫并將此條Event消息進行故障定位與關聯，最后將Event消息傳遞到DMaaP消息隊列緩存越來，數據共享給策略響應模塊（如Policy）或外部系統使用。

4 結語

綜上所述，NFV開源監控系統——DCAE首先經歷部署階段，完成組件的配置和部署工作，體現其自身自動化控制能力；然后經歷運行階段，完成從數據采集、數據傳遞、數據存儲、數據分析與處理以及結果輸出等一系列數據處理流程；最后將分析結果共享給策略模塊作出適當的處理動作。處理完畢后系統進入新的狀態，DCAE將持續監控系統狀態變化，從而形成一個循環的、有反饋的控制閉環。

[1]陽志明,毛斌宏.NFV MANO的關鍵問題研究與實踐.廣東通信技術[J].2016,12:21-27.

[2]ETSI GS NFV-MAN 001,“Network Functions Virtualisation(NFV);Management and Orchestration,”http://www.etsi.org/,December 2014,ETSI Industry Specification Group(ISG).

[3]ONAP Home[DB/OL].https://www.onap.org/