基于自適應采樣的云資源池網絡故障定位系統

摘要：中國移動4G/5G核心網業務云化部署后，對云資源池的網絡提出了99.999%的可靠性要求。為了保障云資源池的穩定性和可靠性，本文提出了一種基于自適應采樣的網絡云資源池網絡故障篩查系統。首先，通過控制五元組中的單一變量構造數據包大規模篩查采樣進行跨資源池的鏈路篩查；針對增強二層資源池，本文提出根據業務數據的MAC表計算數據流的生成樹，使用自適應采樣動態選擇搜索算法進行網絡拓撲生成及狀態遍歷，最終定位資源池內質差鏈路并進行故障自愈處理。

關鍵字：云資源池；自適應動態采樣；質量監控；故障分析；健康度評估

一、引言

4G/5G核心網云化后，由傳統的專用硬件和網元軟件捆綁的“煙囪式”網絡架構向更加開放、靈活的三層解耦網絡架構演變。三層解耦的云資源池優勢包括：①資源統一調度：通過對資源池的統一管理，可以根據需求動態分配和優化資源，提高資源利用率。②靈活性和可擴展性：網絡功能不再依賴于特定的硬件，可以在不同的物理設備上遷移、彈性擴縮容，以滿足不斷變化的流量和服務需求。③可靠性：核心網在資源池的云化部署分布式架構和冗余設計，確保了云化核心網的高可用性和故障恢復能力，即使在面臨硬件故障或其他問題時也能保持服務的連續性。然而，核心網云化部署也給資源池的運營運維帶來了新的運維難度。其中包括：①云化部署分布式架構下，業務網元由多個虛機承載。每個虛機可能分布在不同的服務器設備上，同一個業務網元不同虛機經過不同的網絡設備，因此，單個業務鏈路可能涉及多個服務器-TOR-EOR-DCGW物理鏈路。②租戶對資源池側的網絡架構不了解，無法提供涉及網元ip之外的相關信息。③不同于公有云業務，核心網業務對網絡質差，如概率性鏈路亞的健康異常敏感。

因此，NFV核心網資源池亟須一種高效的網絡故障篩查系統，先于業務影響和用戶投訴發現并解決故障隱患。

二、現有的技術及網絡部署現狀

傳統的互聯網網絡路徑排障，利用多模式的網絡路徑聯網探測技術，實現網絡路徑探測。文獻[1]中提到，通過源撥測節點、目的節點和預先生成的邏輯網絡拓撲，確定m（ m≥3 ）個撥測對象和故障鏈路中的所有節點。后續，針對所有節點進行撥測，即可根據撥測結果確定故障鏈路中每一節點的故障值，進而確定故障鏈路中發生故障的節點。文獻[2]提供一種故障診斷方法及裝置。其中，故障診斷方法包括：中心服務器向探針客戶端發送第一探測信息，第一探測信息包括業務服務器上運行的網絡業務的地址；探針客戶端根據第一探測信息對網絡業務進行探測，獲得業務度量信息；探針客戶端向中心服務器發送業務度量信息；中心服務器根據業務度量信息和預設規則確定故障發生位置。該方法只適用于業務鏈路拓撲簡單明確的撥測，未涉及復雜資源池鏈路的拓撲定位方法。文獻[3]提出的方案適用于全IP的物理網絡，未提及VNF網元業務鏈路所涉及的網絡拓撲方法，無法應用在非IP通信的二層交換機鏈路的探測方案。

核心網云資源池中，以路由型網元為例，DCGW為三層路由器配置業務網關173.0.0.1，同時配置靜態路由到業務IP，目的地址為業務IP（如177.0.0.20/32），下一跳為vNIC1的IP（如173.0.0.2）。由于VNF運行在多個VM上以實現負載分擔，每個虛機可能分布在不同的服務器設備上。其中，EOR/TOR為二層VLAN透傳設備，無法使用Ping測協議針對EOR-TOR進行鏈路探測。

現有技術不適用實際的云資源池網絡，存在問題如下：

物理路徑遍歷耗時長：由于網元單元多和組Pool場景多，現有技術方案中網絡拓撲路徑復雜，使用業務地址輪詢探測機制耗時長。

定位方法落后：Ping測依賴三層IP網絡，針對業務鏈路中的交換機純二層網絡沒有定位機制，需要人工外接終端進行抓包，耗時耗力。

探針部署方案不符合安全要求：在網絡設備大批量部署探針進行抓包分析，不符合網絡云資源池的安全規范要求，且資源池設計未曾考慮該部分資源的預留。

可見，傳統云資源池運行網絡質量監控方法已經無法滿足需求。為了保障云資源池的穩定性和可靠性，提高運維效率，結合跨資源池的大規模的鏈路質差探測和資源池內的自適應搜索算法，本文提出了一種基于自適應采樣的4G/5G云資源池網絡故障篩查系統。

三、云資源池網絡故障篩查系統設計

（一）算法設計

根據云資源池的物理結構，本文提出云資源池鏈路故障的篩查機制（如圖1所示）。首先定義源采樣點所在資源池為S1，目的資源池為D1、D2?？缳Y源池組網結構如下：

對于業務撥測路徑，設置以下幾種概念：

1.源探測資源池路徑Pool-set可能為{S1，D1}，{S1，D2}.....{S1，Di}（i=1，2，3....）。

2.源探測的設備平面路徑Path-set可能為：

{S1-CE，S1-AR}，

{S1-CE，S1-AR，S1-BR}，

{S1-CE，S1-AR，S1-BR，D1-BR，D1-AR，D1-CE}，

{S1-CE，S1-AR，S1-BR，D2-BR，D2-AR，D2-CE}，

....

3.源探測的設備路徑link-set為：

{S1-CE1，S1-AR1，S1-BR1}，

{S1-CE1，S1-AR1，S1-BR1，S1-BR2}，

{S1-CE1，S1-AR1，S1-AR2，S1-BR2}，

....

（二）具體步驟

具體步驟如下：

1.根據網絡數通設備涉及的哈希算法構造采樣數據包，通過控制五元組中的單一變量進行大規模的鏈路質差探測。

現有的通信網絡設備（包括路由器、交換機、防火墻）根據數據報文信息（如五元組、三元組）計算的哈希值對確定的鏈路總數取余，并在取余值對應的實際鏈路中轉發數據報文，對具有相同特征的數據包會始終選擇相同的出接口轉發，而不是輪詢機制。人們只要根據物理設備的哈希算法構造適當的數據包即可選擇一條物理路徑，減少需要的探測次數。即可通過控制五元組的單一變量構造大規模采樣的數據包，實現全方位的鏈路質差篩查。

例如：如果業務路徑中不同設備平面最大轉發的鏈路數為n，在目的業務IP、源目端口、協議等不變的情況下，只需要構造連續的n個源IP即可進行全量物理鏈路采樣。根據資源池內外同平面最大鏈路數及哈希算法原理確定源IP個數，比如業務DCGW-EOR之間最大鏈路數為8，則源應為8個連續IP；通過該方法，每個資源池內選取一個業務IP進行，即可實現圖5中的多條業務路徑撥測?；诖?，利用最小采樣探測開銷實現全鏈路故障隱患篩查。

2.將采樣鏈路可能經過的每個資源池和設備預先打上標簽值。將采樣鏈路按照預設值打上標簽，同時根據采樣數據結果 （如丟包、抖動、時延等）等進行打分，提取質差鏈路的標簽。提取多個質差鏈路中相同的標簽值，作為初步懷疑的故障標簽集合P。將P與其他非質差鏈路標簽值集合Q進行集合運算。若Z =P-（P∩Q）為非空，則 Z中的標簽值為懷疑的故障點。若Z中不包含資源池標簽值，則故障點可能在資源池外，即可進一步對Z中設備標簽之間的鏈路進行一一核查。

舉例如下：

針對每條業務路徑的探測結果（如丟包、抖動、時延）進行打分，按得分從低到高排序，得到最可能的故障場景。

D1、D2、E1為不同資源池。其中，D1、D2隸屬同一省份D，業務設備均掛在同一對D-BR設備下，資源池D1、D2均在同一對D-AR設備下。

在三條業務路徑中，三個路徑的資源池路徑pool-set分為{S1，D1}，{S1，D2}，{S1，E1}；三個路徑的設備平面路徑path-set分別為：

① {S1-CE，S1-AR，S1-BR，D-BR，D-AR，D1-CE}；

② {S1-CE，S1-AR，S1-BR，D-BR，D-AR，D2-CE}；

③ {S1-CE，S1-AR，S1-BR，E-BR，E-AR，E1-CE}。

在三個路徑中，由于路徑③是正常路徑，可以排除{S1-CE，S1-AR，S1-BR}為故障標簽。①②交集中存在{D-BR，D-AR}，因此，可以給{D-BR，D-AR}設備打上故障標簽。然后進一步排查BR-AR之間的鏈路，完成對資源池外的故障排查，具體的故障處理機制不再贅述。

3.對于資源池內的故障篩查機制，本文首先確定資源池內的業務質差，然后對網絡設備利用ARP表或者MAC地址表生成鏈路拓撲。

在業務鏈路故障篩查中，具體算法步驟如下：

（1）在DCGW路由器利用路由表基于業務IP地址、VPN查找下一跳地址即虛機vNicIp，可以獲取到vNicIps（多個vNicIp），利用ARP表基于虛機vNicIp反查到虛機MAC address。

（2）在兩臺業務EOR，利用MAC表基于vNicIp mac address查找MAC來源端口，并利用LLDP鄰居關系查找MAC來源TOR。

（3）在TOR利用MAC Address查找MAC來源端口，再根據LLDP鄰居關系查找MAC所在服務器。

綜上，可以獲取從DCGW-EOR-TOR-服務器的所有鏈路。

4.利用自適應采樣動態選擇搜索算法進行鏈路狀態快速遍歷。

從DCGW出發的鏈路圖如圖2，其中各符號解釋如下：

D1-N：DCGW1下行EOR的第N條物理鏈路。以大區網絡云為例，DCGW01-EOR的鏈路有8條，1≤N≤8。對于[D1-N][D2-N]組成的鏈路區域定義為核心區域C。

E1M-N：EOR1到第M組TOR的第P條鏈路，其中1≤N≤4。對于[E1M-N][E2M-N]組成的鏈路區域定義為核心區域B。

T1M，k：第M對TOR的TOR01到服務器SERVERK的鏈路，以大區網絡云為例，每臺TOR到服務器之間鏈路數為1。對于[T11，1][T21，1]...[T1M，k]組成的鏈路區域定義為接入區域A。

假設質差業務地址涉及S個服務器，服務器閾值為VS；涉及T組TOR，TOR數據閾值為VT 。

場景一：當S＞VS且T＞VT 時，認為質差鏈路大概率出現在核心層設備DCGW下聯EOR的鏈路C 上，優先使用自上而下的BFS（Breadth-Fisrt Search）算法。選擇DCGW1-EOR之間的核心鏈路區域C作為頂點，依次訪問[E1M-N][E2M-N][T11，1][T21，1]...[T1M，k]等。

其中，訪問[E1M-N]包括[E11-1，....E1M-P]，需要遍歷[E1M-N]中各個元素的鏈路狀態，進行隱患篩查。對確定為故障/亞健康鏈路優先進行關閉、發出預警等。

場景二：當S≥VS且T≤VT時，認為質差鏈路大概率出現在EOR下聯接入層TOR的設備鏈路[E1M-N]或者[E2M-N]上，以核心層EOR鏈路為頂點，使用DFS算法，優先遍歷BC區。

場景三：當S＜VS且T＜VT時，認為質差鏈路大概率出現在虛機所在服務器上聯接入層A，使用BFS算法從A區開始遍歷。

使用以上對多個不同業務鏈路進行遍歷，能保證相同的鏈路只遍歷一次，算法復雜度為O（n）。

5.針對質差鏈路，分析其他同平面鏈路狀態。如有其他可用優選鏈路，則自動關閉質差鏈路，實現故障自愈。為避免鏈路亞健康引起的業務受損，建議在CGW-EOR-TOR業務平面開啟CRC聯動ErrorDown，CRC檢測產生告警，同時超過閾值后關閉端口。

（二）系統應用情況

本文相關算法已經應用于中國移動華南大區網絡云撥測系統。系統部署前一年內，華南大區網絡云資源池內網絡故障引起業務受損的比例為37：2；業務系統部署后，該比例下降為198：1。總體來說，規避了大部分網絡故障引起的業務亞健康情況。

四、結束語

基于NFV云化資源池中網元分布式部署帶來的運維痛點，本文提出首先通過控制五元組中的單一變量構造數據包進行大規模的物理鏈路篩查采樣進行跨資源池的鏈路篩查；其次，針對資源池內大量二層鏈路無法進行Ping測，本文提出根據業務數據的MAC表計算數據流的生成樹，使用自適應采樣動態選擇搜索算法進行網絡拓撲生成及狀態遍歷，最終定位資源池內質差鏈路并進行故障自愈處理。該方法適用于公有云資源池，如阿里云、騰訊云，各大運營商電信云資源池和私有云等。

作者單位：許英越 劉春暉 謝燕瑜 楊國俊 張攀翔

中國移動通信集團廣東有限公司

參考文獻

[1]華為技術有限公司. 一種故障定位方法及裝置：CN201811625982.8[P]. 2020-08-07.

[2]邁普通信技術股份有限公司. 一種故障診斷方法及裝置：CN201911346437.X[P]. 2020-04-17.

[3]華為技術有限公司. 一種故障定位方法及裝置：CN201811625982.8[P]. 2020-08-07.

[4]中國移動 NFV 電信云資源池內組網、資源部署和數據配置原則 [S]. 中國移動，2019.