鐵路數據通信廣域網的高可用性設計

高曉冬

鐵路數據通信廣域網的高可用性設計

高曉冬

摘 要：為滿足鐵路通信系統、安全生產監控系統和信息系統業務的IP化快速發展需求，如何構建一個高可用的承載多業務的鐵路數據通信網廣域網成為設計過程中應關注的重點，從互連拓撲結構、網絡組件、路由協議等方面進行分析，并提出設計建議。

關鍵詞：鐵路數據通信網;廣域網;高可用性

隨著鐵路數據通信的發展，鐵路會議視頻、視頻監控、GPRS等通信系統，安全生產監測及監控系統 (信號微機監測、5T等)，鐵路信息系統(辦公、旅客服務、運輸生產、經營管理等)，以及新生IP業務都需要接入數據通信網，因此構建一個高可用的承載多業務的綜合數據通信的廣域網是當務之急。如何構建一個高可用的承載多業務的鐵路數據通信廣域網是設計過程中應關注的重點，為此，從互連拓撲結構、網絡組件、路由協議等方面進行分析，并提出設計建議。

1 鐵路數據通信網總體拓撲架構

網絡的規劃應面向業務，即網絡的拓撲結構應與業務的流量、流向相匹配;網絡的管理體系應與業務的管理相對應;網絡組件的選擇、單節點設備的設置、設備間的互連方式，應滿足部分設備或設備組件故障、設備間部分鏈路中斷等不影響業務的正常使用，或對業務的影響要達到最小;單個鐵路局區域內網絡的故障，不影響其他路局及總公司至鐵路局的業務穩定性;網絡協議的選擇能適應業務、用戶不斷增長的趨勢，并且具備穩定、安全和可實現靈活的路由控制策略的特性。

承載于數據通信網的業務按照業務使用涉及范圍可分為鐵路局內、鐵路局間和總公司至鐵路局三類。在鐵路局內部，通信系統、安全生產監測及監控系統、信息系統的業務中心點主要分布在鐵路局和辦事處 (原鐵路分局)所在地，業務中心點之間有互訪需求。對于鐵路局內這種業務層次分明，各層有互訪需求的業務模型，建議在鐵路局內采用樹形拓撲架構。即在鐵路局設鐵路局區域網的核心節點，在辦事處和站段設置較集中的地區設匯聚節點，在有業務接入需求的站段設接入節點。同時，在核心節點和匯聚節點同址設置接入節點，用于各業務中心點的接入。這種結構能夠覆蓋較大的區域，易于延伸和擴展，可以適應接入鐵路數據通信網的站點數目迅速增加的趨勢。這種樹狀多層拓撲還便于部署MPLS VPN等虛擬化技術，實現網絡的虛擬化，為鐵路不同業務或專業提供橫向隔離的業務通道，保證業務或專業之間互不影響。

圖1 鐵路數據通信網總體拓撲架構

在網絡的分層、分域管理方面，樹形拓撲架構也是與鐵路通信網絡的維護管理匹配的。按照維規的要求，鐵路局的通信網管中心負責本鐵路局區域網的總體管理和配置，各車間的網管分中心對本車間內的網絡進行日常的監控和故障處理，而車間的管轄范圍與匯聚節點及所轄的接入節點是基本一致的。因此，建議每個鐵路局的數據通信網構成一個自治域 (AS)，為網管中心和網管分中心分配不同的管理范圍和權限，從而實現網絡的分權分域管理。

鐵路總公司至18個鐵路局均有業務互通需求，例如會議視頻、視頻監控、應急等通信系統及各類管理信息系統;鐵路局間的主要業務為GPRS、視頻監控、接口監測等，鐵路局間流量集中在相鄰局和個別業務中心局與其他鐵路局之間。由于在鐵路總公司設置各業務系統總公司級業務中心，鐵路總公司至鐵路局的流量要明顯高于相鄰局流量，因此建議按照地理位置劃分，在總公司和部分路局設置大區節點，大區節點之間采用全網狀的互連結構，構成數據網的骨干網絡，為鐵路局區域網絡間、鐵路局區域網絡與總公司業務中心的流量交互提供穩定、冗余的網絡平臺。

這樣，各鐵路局區域網絡通過本區域的核心路由器接入數據網骨干網絡，鐵路局區域網內的流量交互不占用骨干網絡資源，區域網間及區域網與鐵路總公司的業務中心的交互通過骨干網絡實現，相鄰鐵路局跨局業務流量只與互聯的大區節點相關，而不影響其他大區節點。骨干網絡與區域網絡劃分獨立的路由自治域，便于保持網絡的穩定性和業務路由的策略控制。鐵路數據通信網總體拓撲架構如圖1所示。

在這種網絡結構下，結合路由匯聚策略的部署，區域網絡內部的網絡調整和故障不會擴展到骨干網絡和其他區域網絡，有效隔離了局部網絡震蕩對全網業務的影響。

2 網絡設備選擇及設備間互連方式

高可用的網絡不能頻繁出現故障，即使出現故障也應能很快修復。故障次數少和修復時間短基本概括了高可用網絡的特點。根據統計學的概念，用可用性 (Availability)參數來度量網絡的可用性。

Availability=MTBF/(MTBF+MTTR)

其中，MTBF為平均無故障時間 (Mean Time Between Failures)，MTTR為平均修復時間 (Mean Time To Repair)。若提高網絡可用性，可以增加MTBF或降低MTTR。MTBF取決于網絡設備本身硬件、軟件及設備間互連傳輸電路的質量;而通過合理的組網設計可以提高網絡的自愈能力，有效地減小MTTR，實現網絡的高可用性。

2.1 網絡組件的選擇

網絡組件完成網絡的基本連接和數據包的路由轉發，是構成網絡的基本元素，典型代表為路由器和交換機等網絡設備。網絡組件的高可用性包括硬件結構和軟件系統2個層面。

2.1.1 硬件方面

1．采用控制和轉發分離架構的路由設備，并且要做到主控冗余。原因在于控制和轉發分離可實現數據包的快速轉發;與單主控相比，主控冗余的收斂性能要好很多。因為在雙主控情況下，備用控制板已經預先完成映像文件的加載和配置的初始化工作，當主用控制板出現故障時，業務接口板不需要重新注冊，二三層接口也不會出現Down。另外，由于備用控制板上已經備份有轉發表項，可以立即承擔轉發任務，一定程度上可以避免業務中斷。例如二層及從本設備往外發送的流量，如果和鄰居之間配置的是靜態路由，流量也不會中斷。

2．支持單板熱拔插功能。這樣新增單板不會影響在線使用的其他單板業務;當確認板卡故障更換板件時，新單板能繼承原來舊板卡的配置;在添加或拔插接口單板時，路由轉發信息表能同步到單板，從而有效減少故障的處理時間。單板熱拔插與跨板的鏈路捆綁技術結合，一定程度上可提供接口板間的1：N備份功能。

3．關鍵節點設備的電源模塊供電采用1：N備份模式。即一個電源模塊為其他N個提供備份，在檢修或故障處理需要拔出某一個電源模塊時，其他模塊能提供足夠電源功率。

2.1.2 軟件方面

網絡設備軟件系統支持熱補丁。在不影響系統正常運行的情況下，可實現對系統錯誤的修正，即完成對系統進行動態升級。

2.2 單節點設備數量及設備間互連方式

每個節點設備設置數量和設備間的互連關系決定了網絡可用性的計算方法。如圖2所示，常用的互連拓撲結構包括：單點單歸、單點雙歸、雙點單歸、雙點雙歸和雙歸屬。

圖2中A1和A2是網絡設備自身的可用性指標，當網絡設備僅有1個方向與相鄰設備連接時，其組成的部分網絡系統的可用性為A1×A2;當網絡設備有2個或2個以上方向與相鄰設備連接時，其組成的部分網絡系統的可用性為1減去所有方向同時不可用時的值。由此得出的不同拓撲連接方式下的可用性計算結果對比如表1所示。

表1 不同拓撲連接方式下的可用性計算結果對比

圖2 常用的互連拓撲結構

99.999%的網絡可用性為電信行業建網要求，而《鐵路客運專線通信技術裝備標準》中數據通信網絡的可用性要求大于99.99%。由表1可見，雙點雙歸和雙歸屬的拓撲連接方式明顯優于其他3種連接方式，并且滿足電信行業的標準;而這兩者相比，可用率相差甚微，考慮到雙歸屬比雙點雙歸多使用2條鏈路并且每臺設備多占用1個端口，對于廣域網來說，鏈路、設備端口資源非常寶貴，因此在匯聚層及以上節點、鐵路總公司和鐵路局的業務中心的接入節點等關鍵節點處設置雙設備，并采用雙點雙歸互連拓撲結構。鐵路通信傳輸網接入層一般是按鐵路線建設的，對于只用于業務和用戶接入的普通數據網接入節點，可以采用鏈型串接后雙歸至匯聚節點的互連方式，經計算串接節點數不超過5個時可滿足鐵路標準。雙點單歸在所使用設備端口的數量和長途互連電路方面均與雙點雙歸一樣，但網絡的可用率比雙點雙歸結構差很多，不建議使用。上述結論在實現重要業務接入數據通信網時同樣適用。

以上結論是基于傳輸、電源等設備100%可用的前提下計算得到的，廣域網傳輸電路設置時要盡可能做到雙歸鏈路分布在物理路徑不同的傳輸系統上，盡量避免1臺或1個節點的傳輸設備故障時影響雙歸的2條鏈路;還要考慮核心節點中的核心路由器、路由反射器做到同城異地設置，有條件的匯聚節點做到同城異地設置，在進行雙點雙歸時選擇非同址設置的上層節點進行互連等。

2.3 廣域網路由協議部署

路由協議的高可用設計與節點、業務設置數量、所選的鏈路種類等息息相關。按照《“十二五”鐵路通信網規劃》，廣域網中的互連鏈路選用高帶寬的SDH鏈路，由于傳輸系統對承載業務的保護已經相當成熟，鏈路的穩定性較高，很少出現閃斷和震蕩的情況，因此設備、用戶、業務的設置數量，路由策略的靈活性和對流量的控制能力成為路由協議選擇應考慮的重點。

對于鐵路數據通信網這種分布到站段的泛在的網絡，用戶路由條目數會隨著用戶數量和承載業務的增加而不斷擴張。用戶路由條目多，數量可以達到幾十萬甚至更多，同時需要對路由策略和業務流量等有強大的控制能力，但對收斂速度要求不高，建議用戶路由采用BGP協議承載。而劃分多個區域網絡后，每個自治域的設備路由條目是可控的，設備路由對收斂速度要求高，內部網關路由協議(IGP)中基于鏈路狀態算法的中間系統到中間系統(IS-IS)協議和最短路徑優先(OSPF)協議均可以滿足要求。OSPF和IS-IS兩者原理相同，功能相似。考慮到IS-IS協議設計比OSPF簡單，功能同樣強大，直接運行于鏈路層上，支持IP、OSI二種路由，協議安全性好，網絡運營管理成本低，建議鐵路數據通信網的設備路由采用IS-IS協議承載。在域間互聯采用BGP協議，以實現對域間流量的合理控制。在骨干網的路由控制中，建議采用雙平面的方式對業務流量進行疏導，即在設備配置時，將出口宣告業務分為粗、細2種路由，從而實現對各互聯接口的入流量控制和對業務路由的冗余保護。建議采用A平面承載與運輸生產關系密切的業務，B平面承載辦公、經營管理信息等管理業務，這樣當A平面出現多點故障時，業務可自動切換到B平面，并通過預先設定的QoS實現業務的優先傳送。雙平面的方式可以充分利用網絡資源，并使重點業務的通信質量得到有效保證。總之，數據通信網廣域網的高可用性設計，需要從互連拓撲結構、網絡組件、路由協議等多方面全盤考慮。隨著網絡的逐步建成，網絡運維、網絡支撐及網絡優化將成為下一步需要關注的重點工作。

［1］中華人民共和國鐵道部．鐵運［2013］10號．“十二五”鐵路通信網規劃［S］．2013.

Abstract:In order to meet the needs of the rapid developing railway communication system，safety production monitoring system and information system services that adopt IP technology，how to construct a high availability railway data communication wide area network which bears a variety of services must be the focus of attention in design process．This article analyzes the interconnection topology，network components，routing protocol in the network．Some proper design suggestions are proposed．

Key words:Railway data communication network;Wide area network;High availability

高曉冬：北京鐵路通信技術中心 高級工程師 100038 北京

2013-05-28

(責任編輯：諸 紅)