IPRAN本地網絡優化研究

張麗娟 中國聯通安徽省分公司運行維護部工程師

IPRAN本地網絡優化研究

張麗娟 中國聯通安徽省分公司運行維護部工程師

隨著新技術的發展，傳統的SDH網絡在現網中逐步減少乃至消失，IPRAN/PTN等新型傳輸網絡的建設、擴展以及承載業務量不斷增加，如何安全、穩定、更優質地保障業務網絡的需求，解決網絡隱患，優化網絡性能，則成為當務之急。本文以某本地網為例，對IPRAN網絡的優化方法進行了研究探討，以期拋磚引玉，為IPRAN網絡的維護優化添磚加瓦。

IPRAN；組網結構優化；參數優化

1 引言

傳送網絡是整個通信網絡的基礎，隨著移動通信網絡技術的不斷演進，業務網絡不斷向IP化、集中化、寬帶化、軟件化的方向發展，以實現移動用戶的高速移動上網。移動通信的快速發展進對傳送網帶寬要求越來越高，很顯然傳統SDH/MSTP獨享剛性管道傳輸網絡無法滿足條件。而新型分組傳送網的出現，分組交換和統計復用大大提高網絡利用率，大帶寬問題得到了有效解決。隨著IPRAN/PTN等新型傳輸網絡的建設、擴展以及承載業務量的增加，如何安全、穩定、更優質地保障業務網絡的需求，解決網絡隱患，優化網絡性能，則成為當務之急。本文以某本地網為例，對IP RAN網絡的優化方法進行了研究探討，以期拋磚引玉，為IPRAN網絡的維護優化添磚加瓦。

2 IPRAN網絡概況

（1）基本概念

IP RAN中的IP指的是互聯協議，RAN指的是RadioAccessNetwork。相對于傳統的SDH傳送網，IP RAN的意思：“無線接入網IP化”，是基于IP的傳送網。具有多業務承載、超高帶寬、完備的QoS（服務質量）、高可靠性的承載能力，其特點是端到端的IP化大大降低了網絡復雜度、具有更高效的網絡資源利用率、能實現多業務承載、具有成熟的標準和良好的互通性。

PTN（分組傳送網，PacketTransportNetwork）是指這樣一種光傳送網絡架構和具體技術：在IP業務和底層光傳輸媒質之間設置了一個層面，它針對分組業務流量的突發性和統計復用傳送的要求而設計，以分組業務為核心并支持多業務提供，具有更低的總體使用成本，同時秉承光傳輸的傳統優勢，包括高可用性和可靠性、高效的帶寬管理機制和流量工程、便捷的OAM和網管、可擴展、較高的安全性等。

（2）某本地網的組網方式

某本地網采用的是IPRAN/PTN設備混合組網，IPRAN設備組建成核心匯聚層，PTN組建接入層。PTN設備形態大多是在傳統二層交換機基礎上改進而成，基于MPLS-TP技術，靜態尋址，提供二層以太網業務服務；而IPRAN設備形態大多是在傳統路由器+交換機基礎上改進而成，基于IP/MPLS動態技術，采取動態尋址理念為初衷，可以直接承載各類IP三層業務。

（3）某本地網IPRAN網絡現狀

建網初期，謹慎起見，結合技術和設備的成熟情況，IPRAN設備組網根據廠家技術建議的采用了相對保守的全靜態技術組網。當IPRAN設備升級至新的版本后，設備對動態三層技術有較好的支持，即實施了IPRAN靜轉動態部署調整割接。隨著技術進步，IPRAN設備再次升級，優化了動態路由計算算法優化，提高了動態路由收斂效率。在IPRAN設備繼續升級后，增加了動態隧道自動1：1等新功能，結合ECMP的應用，實現核心設備—匯聚設備之間上/下行流量負載分擔、提高帶寬資源利用率。

隨著網絡的擴展、業務承載量的增加以及維護經驗的積累，發現現網有很多不足和有待改進優化之處。為打造更安全穩定、效率更高的網絡，提升服務質量，用戶感知，降低投訴，網絡優化勢在必行。優化內容不僅包括設備自身硬件、組網結構，也包括各種動態技術應用優化。優化主要方式是結合工程建設大量設備入網，按照設計目標拓撲圖，通過調整匯聚環、接入環下沉等割接來動態調整優化組網結構，同時割接調整過程中，逐步優化IPRAN網絡中各種動態技術。

3 組網結構優化

3.1 IPRAN網絡多層次劃分組網

建網初期，IPRAN設備較少，每個縣僅有2臺IP RAN匯聚設備，通過本地城域波分不同的方向的兩個10GE波道，直連兩個核心機房的核心設備——兩臺匯聚設備，形成單層口子型組網（見圖1）。初期組網設備少，承載接入環少，可以快速滿足業務需求。但隨著網絡擴展，在此種組網模式的弊端逐步顯現。

圖1 優化前單層次口子型拓撲

一是縣里所有接入環都必須雙掛這兩臺匯聚設備，物理覆蓋范圍較廣，光纜纖芯物理資源的有限，造成縣內接入環網元數量龐大，極易造成超大環。

二是接入環網元越多，意味著接入環業務量會越來越多，而接入環鏈路帶寬是固定的，極易造成接入環帶寬資源占用過大，發生接入環流量擁塞。

三是一旦相關光纜中斷，造成接入環開環的風險更大。

3.2 結合工程建設優化組網結構

后期網絡建設新增41臺IPRAN設備，主要投入縣分使用。在原來的接入環中，選擇較重要的機房建設綜合業務接入點，利舊光纜或新增光纜資源，完成2級、3級的IPRAN匯聚環網的組建（見圖2）。具體構架方案為將分布在不同區域的41臺PTN接入設備被成功替換成IPRAN設備，多個超大接入環被裂環，3層業務下沉割接。在1級匯聚環下，基本不會再出現接入環上掛的現象，超大接入環自然消失，且后期的新建的接入環可以雙跨就近的綜合接入點IPRAN匯聚設備，雙跨2級或3級匯聚環，物理范圍大大縮小，光纜資源更加充裕，容易組建，可以提高接入環的成環率。

圖2 優化后多層次環型拓撲

3.3 優化業務路徑實現上下行流量負載均衡

早期IPRAN核心——匯聚設備采用VPNFRR主備模型配置，手工指定主備核心或主備匯聚設備，在正常無故障時，業務流量路徑在主用核心——主用匯聚設備的LSP工作隧道路徑之間完成數據轉發（見圖3）。

以LTE基站業務上/下行流量路徑為例，對于下行流量流向分析：兩臺承載網B網AR—兩臺IPRAN核心口子型組網，下行流量負載分擔（通過承載網B網AR設備控制策略實現），因而核心1、核心2都能收到對應B網AR設備發來的LTE基站的下行流量。在本地IPRAN網絡內部，核心1—2級匯聚1設備的IGP路由方向是：核心1—1級匯聚1—2級匯聚1；核心2—2級匯聚1設備的IGP路由方向是：核心2—核心1—1級匯聚1—2級匯聚1。2級匯聚1主設備—到對應PTN設備之間是靜態LSP1：1二層隧道，通常主用方向也是按照習慣，從左到右的順序，人工指定配置而成。因此，2級匯聚1主用設備收到的匯總下行流量會按照PTN1—PTN2…PTNN的方向，送給對應LTE基站，完成整個接入環LTE下行流量的轉發。對于上行流量分析：同理LTE基站上行流量同樣要先沿著靜態2層主用LSP方向PTNN—PTN2—PTN1；上行流量匯總到2級匯聚1主設備，再經1級匯聚1設備轉發給核心1設備，核心1設備收到的匯總上行流量，直接通過直連接口，轉發給AR1設備，完成LTE上行流量的轉發。從業務流量在IPRAN網絡中的流轉路徑中可以看到，IPRAN內部流量正常情況下全部承載在主用側，備用側基本不參與流量處理，僅在應急情況下發生作用，網絡資源帶寬未能得到充分利用。在組網初期或業務輕載時弊端不明顯，但隨著業務量增長，網絡需要承載大流量負荷時，則會出現主用側不堪重負發生丟包、時延大、擁塞等問題，而備用側依然閑置的不均衡問題。優化方案：取消了VPNFRR的主備模型組網，采用ECMP負載分擔模型部署后，核心設備去往對應LTE基站的下行路由的下一跳會指向對應的兩臺匯聚設備，匯聚設備去往EPC核心網的上行路由下一跳會指向兩臺核心設備。并嚴格了核心—匯聚設備之間動態隧道LSP的嚴格路徑（見圖4）。優化后的網絡帶寬資源利用率得到了充分的利用，流量路徑實現負載均衡，大大降低了核心—匯聚設備之間上下行流量擁塞的可能，保障網絡安全，提升用戶使用業務感知。

圖3 優化前業務流路徑

圖4 優化后多層次環型拓撲

4 IPRAN動態技術優化

4.1 IGP路由控制優化

IGP是內部網關協議，是一類協議的統稱，工作一個AS系統內部，具體協議主要包括RIPOSPFISIS等。RIP用于小型網絡；OSPF和ISIS動態路由協議比較相似，都屬于鏈路狀態動態路由協議，使用SPF最短路徑優先算法，通常用在較大型網絡中應用。早期由于IPRAN設備較少，網絡拓撲層次簡單，分組傳送網IGP使用了ISIS協議，基本上采用默認配置，未做任何優化。此類配置較適合純1層口子行拓撲結構組網，對于后期規模較大的IPRAN網絡則很快出現弊端。

每個本地網通常至少部署兩臺核心設備，圖5舉例5臺IPRAN設備環型組網，所有IPRAN全部啟用ISIS協議，單進程、單區域、宣告各自的互聯接口和L0環回口（全是10GE接口，COST為默認都為10，僅啟用BFDFORISIS，其他未做配置），第1次全網ISIS路由學習完成后，IGP鄰居自動建立，發現拓撲，自動學習到全網IGP路由。根據ISIS最短路徑優先算法原則，即路由開銷最小的被寫入路由表，很明顯匯聚1—核心12設備的LO環回口路由的出接口都是7/1口，IGP路由有交集部分，存在一定的安全隱患，若出現匯聚1—核心1設備光纜中斷，會造成匯聚1—核心12兩臺設備的L0環回口路由全部中斷。等ISIS路由震蕩，重新收斂計算后恢復。為加快鏈路故障時的快速恢復，主要從IGP的收斂速度和減少路由開銷這兩個方面著手優化。

（1）加快ISIS路由震蕩收斂速度

優化SPF的功能算法。ISIS是周期性傳遞LSA（鏈路狀態通告）的方式，路由器在收到整個LSA的時候再向鄰居擴散LSP。因而在網絡規模擴大時，LSDB（鏈路狀態數據庫）隨之增大，SPF的計算時間就更長。SPF計算方法是否更優是直接影響收斂效率快慢的主要原因之一。實現SPF的功能算法有多種多樣，各廠家設備計算的方法的可能各有不同，但最終的計算結果應當都相同，通過廠家研發新的軟件版本，優化了SPF算法，大大提高了收斂效率。

啟用LSP快速擴散功能。當LSP發生變化而導致SPF重新計算，在SPF重新計算前，把導致SPF重新計算的定量LSP快速擴散出去，加快LSDB同步的過程，可以提高快速收斂性能。

圖5 5臺IPRAN設備環型組網拓撲

啟用SFP智能定時器。如果觸發路由計算的間隔較長，同樣會影響網路的收斂速度。使用毫秒級定時器可以縮短這個間隔時間，但如果網絡閃斷故障比較頻繁，又會造成過度占用CPU資源。SPF智能定時器既可以對少量的外界突發事件進行快速響應，又可以避免過度的占用CPU資源，助力提高收斂效率。

（2）減少ISIS路由開銷

ISIS是根據SPF最短路徑優先算法，以自己為根，到達目的網絡路由開銷最小路由。COST值是決定路由開銷的主要因素，合理優化COST值，可以優化相關IGP路由選路方向。早期的IPRAN網絡拓撲僅存在1個級別層次結構,在1級IPRAN設備下面直接下掛PTN接入層設備，且所有的1級匯聚環基本上都是口子型直連核心設備，拓撲網絡很簡單，COST默認配置即可滿足。

隨著網絡擴展新增了41臺IPRAN設備后，設備總數量近60臺。按照目標設計，邊調整邊割接，拓撲最終成型，1級設備下掛了2級甚至3級網絡，且下級別的匯聚環上網元的數量基本上是3～6個。而ISIS初期配置都是單進程單區域應用，大量重要的IGP路由會有重疊路由現象，包括下一級別的IPRAN設備——上級雙跨的兩臺IPRAN設備的L0環回口IGP路由，會造成走同一個方向。一旦出現相關鏈路光纜中斷，會重新計算全網相關的大量IGP路由，震蕩面大，對現網影響也大。

結合現網拓撲結構，重新規劃IPRAN全網COST值設計并在現網中應用后，登錄到任何一臺下一級別IPRAN設備，查看IGP路由表，去往上一級別的重要IGP路由的出接口方向是不同的，路由震蕩面可以減小，完成IPRAN全網ISIS路由開銷的優化。如果本地IP RAN數量上升到更龐大的時候，還必須要考慮全網ISIS多進程或多區域劃分應用。

4.2 BGP路由控制優化

BGP是邊界網關路由協議，用于不同AS（自治系統）之間的互聯，稱為EBGP；工作在同一個AS內部，稱為IBGP。BGP并不能像IGP那樣自動發現計算路由，建立BGP鄰居前提條件需要有IGP提供路由支撐，通過Network/Redistribute方式將IP路由表中的真實存在路由條目通告或引入進BGP路由表中，利用BGP的豐富路由策略，控制BGP路由的傳播和最佳路由選擇，BGP支持路由表的條目遠遠大于IGP路由表條目，采用增量更新機制，適用于Internet上傳播大量路由信息，在互聯網骨干路由器中廣泛應用，而在IPRAN網絡中，BGP主要用于傳播三層VPN私網路由的作用。

（1）1LTE基站EBGP路由匯總優化

眾所周知，LTE網絡結構更加扁平化，eNodeB直接與EPC核心網互通，物理簡化拓撲如圖6所示。

本地網的核心IPRAN設備，直連對接承載網AR設備，口子型組網，通過互聯接口直連路由建立EBGP鄰居關系。初期構建網絡時，本地網IPRAN核心設備通過EBGP鄰居向承載網AR設備發布該本地網LTE基站的明細路由（通過攜帶BGP的AS-PATH屬性，以防環路）；承載網AR設備將學習到的EPC核心網100多條路由條目+其他本地網的LTE基站明細路由條目，通過EBGP鄰居向各本地網IPRAN核心設備方向發布，從而建立全省LTE網絡。

初期建網時LTE基站數量少，平均每個本地網100多，大多數本地網LTE基站的IP地址按照30位掩碼規劃，相當于1個LTE基站占用1條路由，即全省LTE基站路由條目總和+EPC核心網路由不超過2000條，總路由條目較少。隨著網絡第二期、第三期的建設，總路由條目激增，可能達到1～2萬條路由。對于BGP而言，傳播幾萬條路由條目也沒問題。但是隨著網絡繼續擴張，路由表越來越大，對每次路由查表所需時間相應增加，數據包轉發效率便會有所影響。就全省規劃而言，全省LTE基站IP地址有各本地網的規劃，可通過各本地網核心IPRAN設備——對承載網AR設備發布LTE基站EBGP匯總路由，就可以極大縮小LTEVRF虛擬路由表，提高數據包轉發效率，惠及全省網絡。

圖6 LTE業務承載簡化拓撲

優化效果：該本地網通過EBGP路由匯總的優化后，LTE基站的管理和業務各幾百條路由，匯聚成2條匯總路由對外發布,全省本地網全部照此優化后，承載網B網AR設備學習到的全省LTE總路由表的條目在200條以內，大大減小LTEVRF路由表，LTE上網數據包在經過承載網AR設備的轉發效率得到有效提高。

（2）RR的應用，減輕核心IPRAN設備——匯聚設備IBGP連接壓力

在同一個AS內部，通常都是利用IPRAN設備的L0環回口的IGP路由可達，就可以建立IBGP鄰居，無需要求形成IBGP鄰居的設備必須物理直連。早期的IPRAN設備并不多，單層次口子行組網，網絡拓撲層次簡單，采用的是核心IPRAN設備——所有的IPRAN匯聚設備都要組建IBGP對等體關系，如果全網采用IBGP全互聯的模型，那么全網要建立的IBGP對等體數量就為n（n-1）/2個，這種模型不適用于后期較大的IPRAN網絡，大量的IBGP連接數量，會造成網絡資源和設備的CPU資源消耗更大，為了解決該問題，引用了RR路由反射器的應用。

根據現網IPRAN拓撲結構和IPRAN路由器的數量，來合理規劃RR和它的Client。RR和它歸屬的Client組成一個集群（Cluster），RR-Client之間反射BGP路由信息,而Client之間不需要建立BGP連接。在多級別層次網絡的中，可對RR進行分級管理：將一級IP RAN設備，定義成一級RR，兩臺核心IPRAN設備和對應下掛的二級匯聚IPRAN設備都定義成對應一級RR的Client；將相關的二級IPRAN設備定義成二級RR，將對應下掛的第三級IPRAN設備定義成對應二級RR的Client，以此類推。為防止單節點RR故障，增強網絡的可靠性，通常在一個Cluster集群中配置兩個RR，共同工作，又起到互為備份的作用，這兩個RR同時作為上一級RR的Client。Cluster集群內的所有Client同時與這兩個RR建立IBGP連接。按照這樣的思路去部署應用后，1級匯聚環網絡本已經構成，后期基本不需調整；網絡擴展新增的IPRAN設備，基本在二級或更低級別的網絡層次，相應不會增加IPRAN核心設備的IBGP連接的數量，大大減輕IPRAN核心設備處理大量IBGP連接的壓力。

5 結束語

本地分組傳送網從組建至今，通過持續的網絡優化調整，網絡結構兼具安全和效率，設備功能逐步完善，參數設置更趨合理。相較初期網絡，通過優化，網絡更加智能、高效、安全穩定。隨著新技術的發展，傳統的SDH網絡在現網中逐步減少乃至消失，將完全被IPRAN/PTN所替代。在日常維護工作中，主動學習研究相關網絡新知識，夯實理論基礎，把握網絡優化的正確方向，結合現行網絡，多思考、多實踐，繼續努力打造精品網絡。

2016-11-10）