Ipran核心擴展RSG出現二層環路導致基站業務閃斷策略分析

遆艷萍

【摘要】 本文針對臨汾IPRAN網絡由于二層交換功能出現環路導致承載的部分3G基站數據業務閃斷故障進行了專題分析，提出了解決該類故障的措施以及網絡規劃布局時需要注意的問題，總結了處理IPRAN網絡故障的一般方法，與大家共同學習。

【關鍵詞】 IPRAN RSG 環路

一、引言

1.1 IPRAN技術引入背景

隨著移動通信2G向3G技術的演進，以話音為主的移動業務向著話音和數據業務并重的方向發展，且移動互聯網的新型業務爆發增長，這些需求推動著移動業務、承載網絡的IP化進程。進入LTE等4G時代，無線網絡演變為軟交換架構，基站的業務流向由3G基站到RNC的匯聚型變為4G時代動態的MESH網型。傳統MSTP技術，在三層支持、靈活高效的組播能力、與骨干層標準的IP網VPN和PW等業務無縫對接等功能實現上，都存在障礙。路由型的IPRAN技術，是基于標準的全IP承載技術，具有對IP承載更加靈活、功能更加全面的優勢。全面支持IPTV組播，大客戶全網的2、3層VPN業務，動態高效的PW功能，可與已有的IP城域網進行業務的無縫對接，是未來高QoSIP業務在接入層的最佳解決方案。

1.2臨汾IPRAN承載網概述

中國聯通臨汾分公司分組傳送網絡主要定位于3G移動回傳FE業務，兼顧少量2G/3G移動回傳TDM業務；該網絡采用集團推薦的B方案（PW+L3VPN，即L2+L3方案）來進行設計和建設。2013年6月，臨汾聯通開始IPRAN規模組網，至2013年底已新建IPRAN設備300多端，承載3G基站FE業務283個，運行期間，各項業務運行穩定，性能符合要求，解決了臨汾聯通SDH網絡容量不足及3G基站FE業務帶寬不足的問題，提升了網絡質量。網絡組網涉及CX600設備43臺，ATN950B設備86臺，iManagerU2000網管2臺。其中核心CX600-X8設備2臺，同時為每臺核心CX600-X8設備配置2臺擴展網元CX600-X8，單獨提供CPOS端口用于RNC/BSC設備接入。ATN950B設備做為低速業務落地擴展設備。U2000網管負責業務發放、日常管理和故障處理。RSG設備使用CX600-X8，本網共涉及4臺RSG，包括一樞紐RSG1、一樞紐RSG2、二樞紐RSG1、二樞紐RSG2。

隨著移動業務的發展，ipran網絡承載的業務量也急劇增加，由于ipran網絡故障影響的業務范圍也越來越大，因此總結IPRAN網絡故障類型、分析IPRAN網絡故障原因及總結出行之有效的處理方法是目前維護中重中之重的工作。本文針對2015年6月8日臨汾聯通堯都區40多個基站數據業務同時出現閃斷的故障分析，得出臨汾IPRAN網絡由于二層交換功能出現環路導致承載的部分3G基站數據業務閃斷的結論，總結出IPRAN網絡規劃布署合理的重要性，當二層功能出現環路時處理故障的一些經驗。

二、故障策略分析

2.1故障現象

2015年6月8日15：00臨汾市基站網管發現堯都區46個3G基站數據業務同時出現閃斷，故障基站所在子網為堯都區農話SDH10G環、城域環SDH10G以及華為ASON環，涉及中心局620-14EGS4、700-13EGS4、700-15EGS4、208-02EGS4四個GE匯聚光口，故障基站為每個匯聚光口中的部分基站。傳輸SDH網管查看基站傳輸設備、中心局SDH匯聚GE單板無告警，故障基站傳輸EFT單板RMON性能正常，收發包流量正常，無壞包，錯包；ipran網管查看一樞紐RSG擴展設備無告警，但登錄至RSG02上ping基站ip地址有丟包現象；RNC側無異常告警。網絡圖如圖1。

2.2故障排查及處理

（1）故障定位

根據以上故障現象，定位故障范圍：查詢基站資料，發現故障基站都是通過SDH承載與ipran對接傳輸至RNC，通過ipran網絡承載的基站沒有中斷現象。而SDH上承載的基站也只有部分閃斷，并且不在同一個傳輸環中，與ipran對接傳輸也在不同設備、不同板卡上，基本排除由SDH傳輸引起網絡故障。由于登錄至RSG02上ping故障基站ip地址有丟包現象，排除RNC側故障，故障可能在ipran上或基站側設備上或是RSG二層有環路。

（2）故障排查及處理

1.核查資料后發現故障基站都單歸于RSG02設備4槽位單板，懷疑該槽位單板可能有故障，由于沒有備板，且4槽位單板上帶有很多基站，并且大部分基站都正常，無法進行插板或更換。2.用交換機和筆記本模擬一臺基站，在交換機上配置基站VLAN，在筆記本電腦上配置基站ip地址，接至一樞紐機房ASG上，ping此基站不丟包。讓接入維護人員拿至故障基站上，將基站設備替換，看是否有丟包來排除是否是基站側設備故障。3.IPRAN網管、SDH網管及RNC基站側同時將一個故障基站和一個正常基站的VLAN、ip地址進行互換，互換后所有閃斷站全部恢復。將互換的兩個基站配置恢復后，基站業務也正常，其他基站也沒有閃斷出現。

（3）故障處理結果

基站業務恢復但故障恢復原因不明。為了進一步定位故障原因，采集數據華為研發進行分析。

2.3具體原因分析

研發人員調用數據庫日志發現，在故障時間點范圍內RSG02 Virtual-Ethernet4/0/1.500接口14：46檢測到環路，環路一直到19：04分才徹底消除，與基站業務閃斷恢復時間點相吻合。VE 4/0/1.500接口環路之后，設備收到了大量的ARP攻擊報文導致4槽位單板ARP CPCAR報文通道丟包；由于單板上ARP CPCAR通道帶寬是基于單板的，所以單板上一個端口或者一個VLAN出現ARP攻擊會導致整個單板的ARP通道擁塞，從而導致正常端口的ARP報文會被攻擊報文擠掉，造成正常的業務端口在ARP攻擊期間無法正常學習ARP，導致業務出現閃斷。

根據端口描述，環路的端口是連接視頻監控的設備。

interface Virtual-Ethernet4/0/1.500

control-vid 500 dot1q-termination

dot1q termination vid 500 to 600

ip binding vpn-instance ShiPinJianKong

ip address 172.17.160.1 255.255.255.0

由以上數據分析，得出故障原因：

1）RSG02設備VE4/0/1.500接口有環路，設備收到了大量的ARP攻擊報文導致4槽位單板ARP CPCAR報文通道丟包，從而導致正常端口的ARP報文會被攻擊報文擠掉，造成正常的業務端口在ARP攻擊期間無法正常學習ARP，導致業務出現閃斷。2）檢查視頻監控交換機在故障時間點內并未出現硬件環回，造成交換機出現環路的原因及解開環路的原因不明，已經聯系中興廠家對交換機出現環路的原因進行進一步分析。中興廠家登錄中興交換機未能采集到故障時間段內的數據，未能進行分析。

解決措施：（1）排查視頻監控二層設備環路的源頭，在二層設備上部署防環檢測和破環協議。將視頻監控交換機網關下沉至ASG設備上，并檢查現網ipran核心層和匯聚層是否仍有二層交換機接入，將有二層交換機的網關下沉至ipran接入層上，避免由于環路造成批量業務閃斷。（2）CX600設備計劃在V6R6SPH037補丁中優化防攻擊方案，優化為當設備檢測到一個接口或者一個VLAN出現攻擊或者環路后，針對這個環路的接口或者VLAN子接口自動下發防攻擊策略，避免整個單板的ARP CP-CAR通道擁塞影響其它正常端口的業務。

三、經驗總結

移動業務的IP化和寬帶化發展趨勢，推動著移動承載網絡向IP化演進。未來承載網應具備網絡智能化、結構扁平化、帶寬GE化等特點。隨著移動數據流量不斷增大，承裁網只有提供更高的帶寬才能滿足用戶需要。而IPRAN支持豐富的路由協議、動態轉發、L3VPN、組播等動態網絡部署，都能很好地滿足上述要求。最近幾年，IPRAN產品在OAM、網絡保護能力、建設成本方面都有了很大的提高，在運營商網絡中得到了大規模的部署，在未來的承載網中，IPRAN將會是最重要的傳送技術，同時，基于傳統傳送網的故障處理辦法也將發生深刻變化，出現逐步IP化的變化趨勢。

本次ipran網絡故障歷時較長，影響范圍較大，事后對本次故障的處理方法進行了總結，以便以后出現類似故障時能迅速定位，減少故障處理時間，大概為如下幾點：

1）基站網管人員發現有批量基站中斷時應立即通知傳輸網管人員和屬地維護人員，并上報至相關主管領導。

2）傳輸網管人員接到故障通知后，根據告警對故障進行初步定位，如無法定位通知相關技術人員及廠家技術支援。

3）遇有基站數據業務閃斷的告警并且網管查看無任何異常告警的情況下，可以登錄RSG擴展對故障基站進行ping測試，如果有丟包可排除RNC側故障，故障可定位至傳輸通道或基站側設備。

4）查看傳輸路由，查找故障基站是否經過相同的路徑或板卡，如果有，則可定位故障為相同的路徑或板卡有故障。如果不是，繼續查找原因

5）網管上無法定位故障時可以用交換機和筆記本模擬一臺故障基站，將故障基站替換進行測試，可以排除基站側設備故障。

6）將故障基站和正常基站的數據進行對換，如果正常的基站發生故障，故障的基站恢復，可以定位為基站數據配置有故障，如果故障基站仍舊有故障，正常的基站也仍然正常，則可以定位為傳輸通道有故障。

7）檢查ipran網絡對應故障板卡是否有環路或arp攻擊，有環路時可能會造成網絡出現丟包或中斷。