基于MPLS VPN的高可靠性數據通信網設計與實現

張鈺哲，張 泉，楊 杉

（1.武漢市第二中學，湖北 武漢 430010；

2.國網湖北省電力公司信息通信公司，湖北 武漢 430077）

基于MPLS VPN的高可靠性數據通信網設計與實現

張鈺哲1，張 泉2，楊 杉2

（1.武漢市第二中學，湖北 武漢 430010；

2.國網湖北省電力公司信息通信公司，湖北 武漢 430077）

為了提高數據通信網的可靠性和可用性，提出了基于同步數字體系（SDH）和光傳送網（OTN）雙平面的網絡架構，并在此基礎上詳細探討多協議標記交換 (MPLS)虛擬專用網絡(VPN)業務接入及流量工程在服務質量保證和快速路由重啟過程中的應用與實現。

數據通信網；光傳送網（OTN）；虛擬專用網絡(VPN)；多協議標記交換(MPLS)

1 網絡現狀分析

目前，國網湖北省電力信息廣域網采用分層拓撲結構，分為國網湖北省電力公司（以下簡稱省公司）核心節點和地市公司骨干節點。省電力公司配置2臺核心交換機和2臺核心PE設備（Provider Edge，服務提供商邊緣路由器)之間采用“口字形”方式連接，實現服務器區業務的接入；地市公司配置2臺骨干PE設備，與省核心PE采用“口字形”方式互聯。上聯省電力公司核心PE的二條鏈路傳輸帶寬分別為622 Mbps和155 Mbps，因此，各地市公司到省公司至少需要配置兩條獨立的SDH傳輸通道。同樣，國網湖北省電力應急指揮系統、行政高清會議電視系統、95598語音等業務系統均采用類似的組網架構，配置專用的傳輸設備和網絡，并通過SDH專線方式組網以保證各業務系統的傳輸帶寬和安全可靠性。

但隨著智能電網的建設，電力生產信息化業務日益增多，基于SDH專線組網方式已遠遠不能滿足業務增長的需求；且各系統均需重新組建自己的數據承載網和分配專用的傳輸帶寬，易造成傳輸帶寬較浪費。同時，各系統設備獨立造成設備繁多，設備資源和帶寬資源不能充分利用[1]。目前，眾多地市電力公司已建成基于SDH的區域性數據通信網[2-4]，但SDH的傳輸帶寬不能滿足省級數據通信網的業務需求。隨著OTN技術在電力通行行業的廣泛應用[5-6]，構建基于OTN光承載網的多業務數據通信網成為了電力通信網的必然趨勢。針對省級大型數據通信網的業務需求，本文提出一種基于SDH和OTN混合組網的高可性數據通信網架構，并詳細討論了省級數據通信網的路由策略部署和業務接入方式。

2 數據通信網網絡架構設計

為提高網絡的可靠性，遵循N-1的可靠性設計原則，數據通信網核心層按主備冗余方式配置PE設備和CE設備(Customer Edge,用戶邊緣設備)，省級數據通信網絡架構如圖1所示。在省核心層，省調配置兩臺核心PE設備，備調配置一臺核心PE設備，省調兩臺核心PE設備與備調PE設備之間均采用10GE OTN光傳輸網和GE SDH傳輸網雙鏈路互聯，從而形成雙平面、熱備交叉連接。

在各地市公司骨干層及省公司本部，各配置兩臺國網邊界PE設備、城域網PE設備和兩臺CE設備。地市公司國網邊界PE設備與省公司核心PE設備采用10GE（OTN光傳輸網承載）+622 Mbps（省10G網承載）鏈路互聯，另一臺邊界PE設備與備調核心PE設備采用2*GE（OTN光傳輸網承載）+155 Mbps（省10G承載）鏈路互聯。從而在骨干層形成了基于OTN和SDH兩種不同技術體制的數據通信承載網絡，并且每個地市公司擁有4條上行鏈路，極大地提高了數據通信網的可靠性。

各個地市公司的2臺城域網核心PE設備均以10GE鏈路與各自站點的2臺國網邊界PE設備互聯，實現與國網數據通信骨干網的互聯。而各縣公司所屬的接入層則分別配置1臺接入PE設備、1臺接入CE設備，每節點接入PE設備分別與骨干節點兩臺骨干PE設備分別采用155 Mbps接口互聯，保證了上行鏈路的N－1可靠性。而省公司直屬單位及地市公司直屬單位分別采用就近接入的方式接入到所屬上級單位的骨干PE設備上。

圖1 省級數據通信網網絡架構Fig.1 Architecture of provincial data communication network

3 MPLS VPN業務接入方案設計與實現

3.1 路由協議

根據扁平化原則，國網數據通信網將延伸至地市公司，原省公司數據通信網與國網數據通信骨干網融合，各地市城域網采用獨立的自治域，從而以多自治域方式實現電力數據通信網絡的擴展。省公司廣域網骨干區域與國家電網公司數據通信骨干網將屬于同一個ISIS(Intermediate System to Inter?mediate System)路由協議進程，同屬于Level-2的自治域。因此，全省使用IS-IS協議作為省內數據網的IGP協議，而每個地市都運行Level-2，設置不同的自治域。對于跨域VPN部署，有背靠背VRF連接、單跳多協議MP-eBGP和多跳多協議MP-eBGP三種方式[7]?？紤]到未來電力通信業務的發展需求，省級數據通信網選擇最后一種方式，而沒有采用簡單保守的Option A或Option B方式。

在不同的自治域之間需要使用外部網關協議，傳統外部網關協議（EGP）不支持環路拓撲結構，它可以存在于自治域內，而不能存在于自治域之間；同時，即使在網絡拓撲是穩定的情況下，也經常傳送全部路由表。BGP協議（Border Gateway Protocol）是基于TCP的，連接比較可靠；同時，采用觸發式更新，只修改更新部分，支持地址聚集特性，可以節約C類IP地址資源。不同版本的BGP也通過談判特性可以相互支持，互操作性、兼容性較好。 因此，地市數據通信網與國家電力數據通信網絡域間路由協議宜采用BGP-4協議。

省電力數據通信網的路由總體方案可以設計如下：

（1）將國網數據通信網延伸至地市公司，省、地市公司均在國網數據通信網域內。其中省公司PE在AS 64600中；地市公司新建2組PE（4臺），其中2臺PE作為各地市公司在骨干網自治域AS 64600的邊界PE設備，另外2臺路由器為各地市公司獨立自治域的核心設備。

（2）域間路由協議在網絡中起著承載、分配和控制外界路由的作用。省、地市公司網絡內部實現路由扁平化，在省公司內形成以數據通信骨干網BGP AS和地市BGP AS為實體的兩層BGP AS架構，各地市采用全網唯一的BGP AS號僅與骨干網BGP AS直接形成eBGP鄰居關系，不交互IGP路由。

（3）域內路由協議在網絡中起著連通骨干、路徑選擇和自動路由迂回的作用。網絡IGP路由協議統一設計，推薦采用IS-IS協議。

（4）為了支持基于MP-BGP（BGP多協議擴展）的MPLS VPN，PE與PE之間還必須運行MP-BGP，主要用于承載網絡中MPLS VPN私網路由。

省公司設置2臺RR路由反射器，作為國網及省公司AS域的路由拓撲計算與分發。相比較采用核心PE或骨干PE作為路由反射器，采用獨立設備作為路由反射器可以顯著地減少IBGP連接的數量，且減輕核心PE設備和骨干PE設備設備負擔，從而實現控制（路由反射）和轉發分離，提高設備效率，保障網絡可靠性。而各地市自治域中，城域網路由設備數量較少，可以由地市公司城域網骨干PE設備兼作RR路由反射器，作為地市公司及所轄縣公司業務接入時路由拓撲計算與分發。

3.2 MPLS VPN設計與實現

基于BGP擴展實現的L3 MPLS VPN網絡包含骨干核心P設備（Provider Router）、骨干網邊緣路由器（PE）和用戶網邊緣路由器（CE），三者分別用于MPLS轉發、L3 MPLS VPN實現和VPN業務接入。P設備只參與骨干IGP的路由，完全依據MPLS的封包來作出前傳決定，不需要讀取原始的數據包信息來作出前傳決定，不需要擁有VPN的路由信息。骨干網邊緣路由器與用戶網邊緣路由器之間要交換路由信息可以是通過靜態路由，也可以通過RIP、OS?PF、BGP、IS-IS等。因而當采用BGP MPLS VPN技術時，用戶側的原有路由協不需要修改和重新配置。骨干網邊緣路由器至與用戶網邊緣路由器之間需要運行MP-BGP協議，存在可擴展性問題，但采用路由反射器可以顯著地減少IBGP連接的數量。

VPN業務接入方式一般有CE接入方式、802.1Q Trunk接入方式和MCE（Multi-VPN-instance CE）接入方式?？紤]到省公司業務重要性，在數據通信網骨干層采用MCE接入方式。骨干節點配置二臺具有Multi-VRF功能的三層交換機作為MCE，用作MPLS VPN接入網關；將不同的業務（VPN）設置在不同的VLAN中，MCE與PE交換VPN路由表（VRF），為不同的業務提供單獨的VPN路由轉發表，并通過它與PE設備對應的VRF進行路由交換，實現端到端的MPLS/VPN的解決方案，實現VPN隔離，但全網相同VPN可自由通信。

在城域網中，MCE交換機把每個VPN捆綁到相應的VLAN中，通過802.1Q trunk的方式把VLAN的劃分傳遞到城域網（或局域網）二層交換機上，通過VLAN技術進行業務隔離；在用戶接入側將該用戶劃入二層交換機的某個VLAN，通過802.1Q Trunk鏈路上聯到MCE，MCE將802.1Q Trunk端口的VLAN對應到其相應MPLS VPN的VRF，最終實現隔離VPN路由信息的功能，由此也將MPLS PE的VRF VPN范圍擴展到了接入層設備和客戶桌面系統。通過VLAN-VRF的對應，單個業務系統可以在整個網絡中保持連通，但由于不同業務采用不同VRF配置，彼此在路由上完全隔離,見圖2。

圖2 城域網業務接入示意圖Fig.2 Architecture of provincial data communication network

在VPN業務轉發過程中，屬于相同VPN的兩個CE之間轉發報文使用兩層標簽來實現，在入口PE上為報文打上兩層標簽：外層標簽用于骨干網內部進行交換，表示從PE到對端PE的一條隧道，VPN報文打上這層標簽，就可以沿著LSP到達對端PE；內層標簽用于PE到CE間的報文交換，當報文到達對端CE時，可以指示報文應轉發到哪個CE，因此內層標簽可表示經骨干網互聯的兩個CE間的隧道。

數據通信網核心層和骨干層采用雙PE和雙CE的全冗余連接結構，CE和PE之間采用動態路由協議，實現負載分擔和鏈路備份，可以用來保證關鍵業務的可靠性。MPLS/MBGP VPN可以簡化對用戶端設備的需求和用戶管理、維護Intranet/Extranet的復雜性，每個CE僅需要維持一個到PE的路由交換協議，CE間的路由交換、傳輸控制、路由策略由運營商根據VPN用戶的需求來實施。由于BGP的策略控制能力很強，隨之而來的是VPN用戶路由策略控制的靈活性。MPLS/BGP VPN提供了靈活的地址管理。由于采用了單獨的路由表，允許每個VPN使用單獨的地址空間中，稱為VPN-IPv4地址空間，RD加上IPv4地址就構成了VPN-IPv4地址。很多采用私有地址的用戶不必再進行地址轉換NAT。NAT只有在兩個有沖突地址的用戶需要建立Extranet進行通信時才需要。

3.3 MPLS VPN QoS的實現

數據通信網通過MPLS VPN實現業務的邏輯隔離，但其物理傳輸通道是共享的，不同業務之間會競爭通道資源，導致其應用系統服務質量無法得到保障[8]。因此，在數據通信網實現過程中，會通過部署配置MPLS流量工程（MPLS-TE）為業務配置QoS保障[9]。

在IP網絡中，通常有多條路徑可到達目的地，選擇路由時，無論采用何種路由協議（IGP/OSPF/ ISIS等)，都會計算出一條“最佳”（最短）路徑。而在實際情況中，僅僅依賴于路由協議OSPF等，可能會造成某些中繼上業務流量很大，另一些中繼上業務流量不足，形成網絡流量不平衡，容易造成擁塞。為了避免此情況，可采用MPLS-TE機制。MPLS-TE利用可用資源建立標簽交換路徑（LSP），將業務流根據路由協議計算得到的最短路徑轉移到網絡中潛在的、具有較少阻塞的物理路徑上去，平衡網絡中的各種鏈接、路由器和交換機上匯聚的業務負載，為路由轉發和網絡流量提供更精確的控制，從而更經濟、更有效地使用整個網絡的帶寬資源，提高數據通信網的性能、效率和可靠性。

同時，利用MPLS-TE機制結合區分服務模型，將承載的通信業務劃分成不同類別，并根據業務所屬類別（低延遲或高帶寬等）區分服務。在區分服務模型中，將網絡中的業務劃分為有限的服務類別，而不是按信息流來統計；同時，業務分類、整形等復雜的處理，只在邊界PE設備上進行。從而可以利用網絡內部的路由器的數據轉發能力，避免鏈路帶寬和緩存空間等資源緊張。

同時，在數據通信網中配置快速重路由技術，通過鏈路保護和快速重新路由等機制實現故障發生時快速恢復。保護鏈路切換時間小于50 ms，可在鏈路出現故障的情況下實現對IP流量的保護，使上層IP服務業務不受影響。針對關鍵的鏈路，快速重路由技術利用RSVP技術協議進行鏈路備份。當主用LSP故障時，可在很短時間內切換到備用LSP上。通過調整RSVP帶寬預留協議的Keep-alive時間，可以控制在200～300 ms。如果不采用MPLS快速重路由技術，只能經過發現故障、IS-IS路由收斂、標簽分發后才能重新建立LSP2傳送，通常需要1～2 s。

在完成數據通信網部署后，對各地市公司到省公司、省備調的OTN光傳輸網和SDH承載網的鏈路進行了倒換測試，即使OTN主用通道、OTN備用通道完全中斷時，也能通過SDH通道保證電力通信業務的可靠性；同時，鏈路中斷后，可在1 s內切換至其備用通道。

4 結語

新建的IP承載網絡采用MPLS VPN組網技術，將各個地市公司劃分為不同的AS域，域內采用IS-IS協議，域間采用BGP-4協議；根據業務類型劃分為信息VPN、視頻VPN、語音VPN、調度VPN等7個VPN，以后各個業務逐步承載在新建的數據通信網，改善了地區現有網絡混亂的現狀。骨干及核心設備均采用雙冗余口字形上聯，極大地降低了設備及鏈路故障產生的風險。充分利用新建OTN網絡大容量的帶寬資源，采用10GE+2GE的組網方案，極大的豐富了省公司與地市公司的電力通信業務帶寬；同時利用原有基于SDH網絡的622 MB+155 MB帶寬，作為省公司到地市公司傳輸第二平面，保證了傳輸層面高度的可靠性。這種基于OTN和SDH的混合組網方式，極大的提高了電力通信網絡的帶寬和可靠性，為建設堅強的智能電網提供了強有力的保證。

（References）

[1]尹少鵬.“十二五”數據通信網發展建設的研究[J].電力系統通信，2011(5):70-76.

YIN Shaopeng.Research of the Development and Construction of the Data Communication Network for the"12th Five-Year Plan"[J].Telecommunications for Electric Power System,2011(5):70-76.

[2]張淑娟，段敬.山西電力數據通信網容災設計與實現[J].電力信息與通信技術，2013,11(12):116-121.

ZHANG Shujuan,DUAN Jing.Shanxi Electric Power Data Communication Network Design and Implemen?tation of Disaster Recovery[J].Electric Power Infor?mation and Communication Technology,2013,11(12): 116-121.

[3]孫國善，徐飛，田鎖太，等.內蒙古電力通信業務數據網的設計[J].電力信息與通信技術，2015,13(6): 36-39.

SUN Guoshan,XU Fei,TIAN Suotai,et al.Design of Inner Mongolia Power Communication Service Data Network[J].Electric Power Information and Commu?nication Technology,2015,13(6):36-39.

[4]俞浩.基于MPLS VPN的地區通信數據網絡設計與建設[J].中國新通信,2014(3):112-114.

Yu Hao.Design and construction of regional com?munication data network based on VPN MPLS[J]. China New Telecommunications,2014(3):112-114.

[5]張雪寧.OTN技術在電力通信傳輸網中的應用[J].信息安全與技術，2015(4):83-84.

ZHANG Xuening.OTN Technology in the Power of Communication Transmission Network[J].Information Security and Technology,2015(4):83-84.

[6]胡威，趙占領，厲立國，等.基于OTN光承載網的IP數據網絡方案研究[J].計算機仿真，2015,32(9):311-313.

HU Wei,ZHAO Zhanling,LI Liguo,et al.Research on IP Data Network Scheme Based on Optical Transport Network[J].Computer Simulation,2015,32 (9):311-313.

[7]徐志強，呂舟，徐坤.電力綜合數據網跨域VPN部署探討[J].中國新通信,2014(3):1-2.

XU Zhiqiang,LV Zhou,XU Kun.Discussion on VPN deployment in cross autonomous system for electric power integrated service network[J].China New Com?munication,2014(3):1-2.

[8]吳鵬，吳軍民，劉川，等.軟件定義網絡在電力數據通信網中的應用研究[J].信息技術，2014(1)：52-55.

WU Peng,WU Junmin,LIU Chuan,et al.Research on the application of software defined network in electric power data communication network[J].In?formation Technology,2014(1):52-55.

[9]謝一，王賢亮，周俊成，等.基于MPLS技術的通信綜合數據網優化管理[J].電信網技術，2015(8):67-70.

XIE Yi,WANG Xianliang,ZHOU Juncheng,et al. Based on MPLS Technology to Optimize the Man?agement of Communications Integrated Data Network [J].Telecommunications Network Technology,2015 (8):67-70.

Design and Implementation of High Reliability Data Communication Based on MPLS VPN

ZHANG Yuzhe1,ZHANG Quan2,YANG Shan2
（1.Wuhan No.2 Senior High School,Wuhan Hubei 430010,China；2.Information&Telecommunication Branch of State Grid Hubei Electric Power Company, Wuhan Hubei 430077,China)

In order to improve the reliability and availability of data communication network,a Dual-plane network architecture is proposed in this article based on SDH(synchronous digital hier?archy)and OTN(optical transport network),and service access of MPLS(multi-protocol label switch?ing)VPN（virtual private network）and implementation of MPLS traffic engineering in data communi?cation network for quality-of-service guarantees and fast re-route are deeply discussed.

data communication network;optical transport network(OTN);virtual private network (VPN)；multi-protocol label switching(MPLS)

TP393

A

1006-3986(2016)04-0057-05

10.19308/j.hep.2016.04.013

2016-03-12

張鈺哲（1999），男，湖北武漢人。