遙測技術在云數據中心網絡運維中的應用

張洪凱

【摘要】? ? 面對大規模、高性能的網絡監控需求，用戶需要一種新的網絡監控方式。遙測技術可以滿足用戶要求，支持運維系統對監控設備的全量指標采集、監控數據擁有更高精度和更加實時、監控過程對設備自身功能和性能影響小，為網絡問題的快速定位、網絡質量優化調整提供了最重要的大數據基礎，將網絡質量分析轉換為大數據分析，有力的支撐了云網絡精細和智能運維的需要。通過Telemetry協議直接從底層硬件秒級獲取豐富的業務運行狀態及性能數據，全景可視化展示云數據中心網絡的整體運行情況，豐富的業務流示圖為云網絡精細運維、敏捷響應及優化提供有力數據支撐，助力網絡智能運維。

【關鍵字】? ? 遙測技術? ? 網絡? ? 云數據中心

一、數據中心向云數據中心轉變，網絡復雜度不斷增加。

當今，數字經濟蓬勃發展，信息技術已深度融合到經濟社會的各個領域，各種互聯網應用像支付、打車、外賣等應用，都正在融入并改變人們的工作及生活方式。這些互聯網應用的穩定運行越發顯得重要，作為承載互聯網應用的云數據中心網絡，任何一條線路及系統故障都有可能對用戶產生嚴重影響。電信運營商作為大型云數據中心網絡提供商，面對用戶流量需求爆炸式增長和復雜多樣的網絡需求，也以云和數據中心為抓手，積極構建支撐數字經濟發展的穩固基礎底座。

然而隨云計算、大數據、人工智能等新技術的興起和成熟，也推動了互聯網數據中心產品、規模和技術的快速升級和轉型。

首先，網絡規模不斷擴大，云數據中心接入帶寬從傳統的10Gbps升級到25Gbps/100Gbps，出口帶寬達到10Tbps以上。

其次，網絡架構復雜度增加，引入SDN（Software Defined Network，軟件定義網絡），實現傳統網絡資源、服務器資源及存儲資源的云網一體化整合。

最后，越來越多的高性能和低時延應用，如GPU、HPC、AI等業務嚴重依賴數據中心網絡傳輸質量，對網絡性能提出更高帶寬容量、更低時延的連接要求。

二、云數據中心網絡運維面臨的挑戰

云數據中心網絡的設備規模日益增大，承載的業務越來越多，用戶對網絡運維也提出了更高的要求，包括監控數據擁有更高的精度以便及時檢測和快速調整微突發流量，同時監控過程要對設備自身功能和性能影響小，以便提高設備和網絡的利用率，特別是云網一體的融合網絡，對Underlay和Overlay網絡的運維都提出了更高的挑戰。如何保障其穩定、可靠及可控運行。

從運維角度，需要更加精細、智能的網絡運維監控系統，才能實現對網絡高效管理。如何建立端到端的業務可視運維系統，建立智能化的監控中心，構建高效、精細地管理云數據中心，為業務提供可靠、穩定的網絡服務，成為云數據中心網絡運維面臨的一大挑戰。

然而，傳統基于CLI、SNMP機制的被動運維模式，因存在通過拉模式來獲取設備的監控數據，不能監控大量網絡節點，限制了網絡增長;精度是分鐘級別，只能依靠加大查詢頻度來提升獲取數據的精度，但是這樣會導致網絡節點CPU利用率高而影響設備的正常功能;由于網絡傳輸時延的存在，監控到的網絡節點數據并不準確。這種被動響應、故障定位遲緩等網絡監控系統，管理效率越來越低，已無法跟上時代的步伐，無法滿足數據中心云網絡運維要求。

因此，面對大規模、高性能的網絡監控需求，用戶需要一種新的網絡監控方式。能夠在不影響設備的性能和功能的情況下實現更高精度的網絡數據監控。能夠快速、精準地掌握全網設備、鏈路和業務的實時運行狀態，可以通過自動化平臺收集信息，快速對網絡進行適配，提升響應速度和運維效率。

針對影響業務體驗、用戶感知的性能問題如丟包、卡頓等故障，需快速根據轉發路徑時延情況確定故障點。因此，云數據中心網絡監控系統需快速定位哪臺網絡轉發設備的哪個端口發生丟包、實時監控每臺設備的Buffer、流量等使用情況、快速定位故障的具體設備、轉發路徑、故障端口、故障鏈路等信息，迅速找出故障根因并修復。

網絡遙測技術可以滿足這些網絡管理要求，其監控數據擁有秒級的精度時時檢測和快速調整微突發流量，同時監控過程對設備自身功能和性能影響小，大大提高設備和網絡的利用率，為智能運維系統管理更多的設備提供了可能，其高效的數據獲取方式和海量的運行數據，為網絡故障的快速定位、網絡運行質量優化提供了最關鍵的大數據基礎，通過對大量網絡運行數據的大數據分析，可快速定位故障根因，為網絡故障的修復和網絡質量的優化提供決策依據，為業務網絡流量實現智能調度，從而支撐云數據中心網絡的智能運維。

三、網絡遙測技術概述

網絡遙測（Network Telemetry）是一種從虛擬設備或物理設備上遠程采集運行狀態數據的技術，并且具有實時、高速、準確的特點。被控設備通過推送模式根據采集周期、采集表項主動向采集控制器發送性能和流量數據。相對傳統拉取模式的一問一答式交互，網絡遙測技術提供了更實時、更豐富、更高速的數據采集功能。不但節省了問答式網絡鏈路開銷，更是以秒級速度實現對被控設備運行數據的高速收集，實時感知網絡運行狀態。遙測技術是設備交換芯片在處理數據包的同時，根據報文轉發路徑自行收集性能參數和流量狀態的一種帶內網絡技術INT（In-band Network Telemetry）。狹義的Telemetry是指設備特性，廣義的為是一個閉環的監控系統事實上，Telemetry并不是新發明，Netstream和NetFlow早已實現了對網絡流量的采樣推送，但此類技術推送的是原始數據流采樣信息，它根據報文的目的IP、目的端口號、源ip地址、源端口號、協議號和tos來區分流信息，并針對不同的流信息進行獨立的數據統計。而監控用戶期望標準化的數據模型。面對海量的云數據中心網絡，任意一項分析任務都需要處理大量數據，對分析工具的性能帶來挑戰。同時，此類技術獲取不了全量網絡狀態信息，如cpu、內存、接口流量及網絡事件日志等，需要snmp類協議采用查詢應答方式機制實現分鐘級數據收集，存在被動響應、效率低下和采集手段復雜等特點。網絡遙測技術和SNMP、NETstream等技術相比，可實現更高的數據精度和更豐富的設備監控數據獲取能力。

四、遙測技術的數據中心網絡監控系統的應用

基于遙測技術的網絡監控系統由被管理的網絡設備、采集器、控制器和分析器組成，采用INT和gRPC（Google Remote Procedure Call，谷歌遠程過程調用）技術架構方案實現。

采集器主要實現對被管理網絡設備的數據收集，常常采用分布式部署，其規模根據被管理網絡設備規模確定。控制器是對采集器及采集對象表項、周期和參數的統一控制。分析器是對采集器上報的數據進行整體的編碼及分析。

INT遙測技術采用訂閱上報機制，通過設備底層芯片秒級收集網絡轉發運行數據，不占用設備cpu開銷，隨業務流轉發路徑實時檢測。數據收集范圍涵蓋了網絡設備的轉發面、控制面和管理面。但是無法對交換機的Buffer進行全面的管理，包括出、入端口/隊列、緩存、丟包等實時監控，顯得有些無力。

于是，采用gRPC框架構建自動化運維接口，實現對交換機Buffer的全面實時管理，基于gRPC的運維接口設計，既滿足運維對單個網絡網元全面的Buffer實時性要求，又實現實現交換機與運維平臺的解耦合，彼此透明、獨立。通過對監控對象設備原始數據的收集、編碼、傳輸、存儲和分析，基于遙測技術的網絡運維系統實現傳統運維向智能運維的轉變，包括3方面的核心能力：

4.1 Telemetry全場景數據監控，網絡實時可視

采集器基于Telemetry協議收集設備、芯片、表項、Buffer、光模塊等網絡全景KPI數據，網絡狀態實時感知。各項采集數據通過采集器以PUSH+gRPC方式把各種指標結構化的標準數據持續推流分析器，通過數據分析，實現云數據中心全流量數據可視和隨流的路徑、質量檢測。

4.2系統亞健康智能分析，主動預防故障

分析器通過采集器收集的設備關鍵KPI指標，從設備、單板、芯片、端口、隊列、光模塊多個維度呈現設備的運行狀況。采用大數據算法，基于動態異常基線監測，識別網絡劣化指標。分析器利用大數據技術，結合故障特征庫進行跨數據領域關聯分析，對光鏈路進行故障檢修和故障概率測算，先于業務受影響前識別出異常光鏈路。提前發現隱患、預測故障。

通過設備、網絡、協議、overlay、業務五個維度實時或周期性產生網絡評估報表，全面掌握網絡狀態，實時推送。實現故障的主動防御，在用戶發覺問題前將問題解決，避免對業務造成影響。

4.3利用網絡流實現故障根因的快速定位

大型云數據中心，往往是一個云網融合的網絡，既又由交換機、路由器等物理硬件組成的物理underlay網絡，也有在underlay網絡上為業務或用戶構建邏輯隔離的虛擬overlay網絡空間，其網絡架構復雜，技術堆棧層次多，對故障的識別帶來極大困難。特別是一些對網絡延遲要求較高的業務，如高性能計算、人工智能等微服務軟件和分布式架構，業務調研關系更加復雜，數據交換更頻繁。出現故障后，對故障的響應和定位要求更高。

通過遙測技術可快速獲取業務流檢測信息，構建起租戶到資源端到端數據流可視系統，任何一條數據流包括了報文轉發路徑信息、開始時間和結束時間、傳輸開銷、路徑時延遲、延遲時延等關鍵控制信息。對獲取的大量業務流信息，根據業務overlay路徑搭建模型，實現業務承載網絡的路徑流向分析，從而實現故障的智能識別。當業務出現指標劣化、訪問緩慢、交易失敗等性能問題時能及時感知，故障時能在各環境和節點快速定位找出根由。通過對故障分析，持續推動對網絡的迭代優化，完善網絡環境。在各節點、各服務運行環境的SLA一覽無余。通過利用業務流跟蹤計算路徑和時延，系統實現故障快速故定位。

五、總結：

基于帶內網絡遙測技術和谷歌遠程調用框架的遙測技術實現業務端到端的網絡流量可視化，提升了網絡監控數據的實時性和精確度，以業務流的方式實現對云數據中心網絡的智能監控，保障業務穩定、可靠運行，助力數字經濟蓬勃發展。