基于E通VPN跨域CN2備份組網設計

華 靜

（中國電信股份有限公司上海分公司 上海 200210）

1 引言

中國電信股份有限公司（簡稱中國電信）上海分公司（簡稱上海電信）新業務網絡平臺是為適應上海電信轉型新業務網絡承載要求而建設運營。目前承載了“全球眼”、ITMS、E通VPN、VIP網管、動態DNS和安全殺毒中心等業務。全網以扁平化設計原則部署，滿足轉型新業務高性能、高可靠性和高冗余性需求[1]。上海電信E通VPN平臺依托于新業務網絡平臺，提供用戶快速便捷的SSL和IPSec遠程VPN部署接入技術，通過合理分布來控制客戶節點間互訪網絡流量，以滿足客戶多業務承載運營要求。

中國電信長途路由型MPLS VPN業務采用CN2（China Telecom next carrying network，中國電信下一代承載網）+城域兩級架構。用戶終端可直接通過CN2網絡或城域接入。用戶接入支持以太、數字電路等多種接入方式。CN2和城域MPLS VPN跨域對接優先采用Option A方式，采用兩對PE-ASBR背對背互為CE進行對接。

單看CN2和E通VPN平臺所采用的每一個IP技術元素，都沒有太大的問題，但是如何把這些技術集成，以跨域Option A方式通過E通VPN平臺和CN2對接，為客戶提供主備網秒級故障自動切換恢復的整體解決方案，目前CN2業務部署應用未有先例。

因此，本文重點論證了一種適合CN2環境下長途MPLS VPN路由自動備份切換的業務模式的互聯實現方式和路由實施策略，通過現網的測試案例證實了它的工程實施的可行性，并提供了一個業務推廣的典型案例。

2 業務模式分析

2.1 CN2長途MPLS VPN業務現狀

CN2是同時支持語音、數據、視頻等業務的中國電信下一代多業務核心承載平臺，通過采用全網集中管理和集中操作的維護模式進行日常的CN2網絡的運行維護工作，保障CN2網絡協調高效、穩定可靠運行。狹義上，CN2網絡是指如圖1所示的4809自治域內的所有路由器、業務延伸設備及其中繼電路[2]。

目前上海城域網具備與CN2跨域互聯的能力，城域MPLS網具備兩臺獨立 PE-ASBR（可兼作PE／SR），與上海2臺CN2 PE-ASBR設備分別互聯，互聯端口采用GE電路。上海城域MPLS網要求具備較好的冗余組網結構，PE設備具備較強的路由能力（具有超過15萬VPN路由轉發能力），可保證城域MPLS VPN業務可靠運行。

對于用戶路由總條數達到1 500條以上，站點分布在多個城市的VPN用戶，建議直接接入CN2 SR或者通過二層VLL方式跨域接入CN2。針對跨域二層接入采用VLL方式，為保證二層VLL接入電路的質量，要求承載VLL的城域MPLS網絡具備QoS能力。如圖2所示的業務模型中VLL終結在城域網側PE，VLL兩側盡量采用一致的接口，避免使用橋接協議轉換；連接的MTU要求大于1 500 byte。CN2和城域MPLSVPN跨域對接優先采用OptionA方式，采用兩對PE-ASBR背對背進行對接。中國電信設置3個出口局（北京、上海、廣州），各部署2臺ISR與合作運營商MPLS VPN對接，對接方式優先采用Option A。此外通過海外POP節點，也可以提供跨運營商MPLS VPN對接。

2.2 E通VPN現狀

相對于MPLS VPN、VPDN等運營商局端部署實施的PP-VPN技術，通過在用戶端設置、管理并維護VPN網關設備，不需要調整或改變運營商網絡的結構與性能的CPE-VPN技術也隨Internet而蓬勃發展。部分海外運營商也在嘗試通過SSL和IPSec等基于Internet的虛擬專網技術給用戶提供安全便捷的VPN接入，作為其在中國境內“最后一公里”固網接入的補充方式。

雖然SSL或IPSec作為CPE-VPN用戶可以自行部署，但是對企業來講，部署一套完備的安全專網將要付出很大的人力、財力。然而，作為運營商，上海電信在這方面有著得天獨厚的優勢，“E通VPN”業務的組網方式讓運營商能為用戶提供安全的整體解決方案。通過局端PE部署MPLS VPN，用戶端CE部署IPSec技術的E通VPN，同時上海電信E通VPN平臺又擁有從傳統專線到MPLS VPN業務各類專線接口，使兩個不同技術架構的虛擬專網技術可以有效地集成在一起，滿足用戶自動切換需求，提供端到端的整體解決方案，實現了用戶自行部署或采用第三方運營商獨自建設都難以解決的網絡間的無縫融合。

圖1 CN2 MPLS VPN業務參考模型

圖2 CN2跨域VLL接入MPLS VPN業務模型

上海電信通過在轉型新業務網絡平臺下部署Netscreen 500、ISG1000和SA3000，滿足用戶端多種認證計費方式的IPSec或SSL接入E通VPN平臺。圖3所示的E通VPN業務模型中用戶數據通過加密隧道方式聯入E通VPN平臺后，由平臺內3層交換機經城域網以EDSL、以太專線和MPLS VPN等方式轉發至用戶總頭。

2.3 功能分析

2.3.1 自動倒換

用戶分點MPLS VPN鏈路故障時，用戶節點路由自動切換到備份線路訪問用戶總頭數據中心內數據，用戶請求到達數據中心后，若用戶端故障，用戶總頭能感知，回復的數據能從備份路由發送到用戶端。全部切換時間必須在40 s內完成，故障時所有路由切換功能自動實現，無需人工干預。

目前CN2 VPN用戶接入主要以eBGP或靜態方式，通過eBGP方式接入的用戶端路由故障，用戶總頭可以通過BGP表項自動更新感知，針對靜態路由方式接入的CE用戶端，用戶總頭無法有效感知，會導致路由黑洞的存在。

兼顧eBGP和靜態路由2種接入方式，在E通VPN網絡平臺接入CN2時采取較高管理距離的匯聚路由方式進行路由備份倒換。E通VPN平臺作為上海電信城域網局端設備中的一個比較特殊的節點，在某種意義上，E通VPN對用戶端來說就是一個PE，E通VPN和CN2對接方式采用Option A模式，針對目前集團大客戶路由總量會超過1 500條的情況，采取VLL方式跨域接入CN2，以避免對城域網SR性能壓力。

圖3 E通VPN業務模型

2.3.2 安全性

用戶路由不暴露于公網，用戶網絡內部數據不可被公網訪問,E通VPN平臺上各不同用戶組之間路由互相隔離。

針對用戶內部的數據安全，在CN2 PE上用戶數據通過MPLS標記交換方式轉發，用戶間路由互相隔離，保證安全性?？缬驎r通過VLL方式保證用戶數據二層隔離，用戶數據到打E通VPN平臺后，通過在E通VPN平臺上開啟VR方式，根據不同用戶組的不同VLL VLAN進入各自的VR，保證用戶數據和路由的隔離，從E通VPN平臺到用戶端，采用SSL或IPSec技術通過ESP方式加密封裝后以密文方式傳送到用戶端。

2.3.3 可靠性

用戶備份網絡和主用的CN2 MPLS VPN網絡必須采用異構網架構，避免因局端設備故障導致主備網同時失效的隱患。

由于大部分用戶主用網絡是通過DDN或FR方式接入CN2 MPLS VPN，因此組建備份網絡時，MPLS VPN和DDN不在考慮之列。E通VPN平臺到用戶終端采用的是Internet承載ESP報文方式，與CN2 PE物理隔離。VLL跨域透傳時數據基于上海城域網優化平面傳輸，與負責本地Internet主要接入的IPMAN和上海熱線屬于不同網絡，也能實現物理設備的隔離。考慮到冗余性，E通VPN平臺會通過2條不同局向的光纖以VLL方式接入到CN2不同PE，因此PE端也排除了單點故障。

2.3.4 可管理性

備份網絡需作為可管理型網絡，網絡終端需要支持標準的SNMP協議進行管理和流量監控。同時網絡終端需要同時上聯MPLS VPN和承載IPSec的Internet，可以提供2條WAN線路，具有“雙網雙待”功能，保障線路安全。

定制終端作為集團商務領航的品牌旗下信息化產品，恰好可以滿足用戶的上述需求。通過在用戶端部署實現中國電信專門為品牌客戶定制的可遠程實時監控、遠程配置、遠程診斷、遠程升級，具有路由器和基本安全功能的定制終端B2-1，利用中國電信專業維護體系及自動化管理平臺（BBMS），提供零配置快速安裝、專家監控值守、快速故障處理、主動維護保障、定期運行分析報告等服務，可以滿足客戶互聯網寬帶接入、WLAN無線組網、基本安全防護、降低維護成本、提高維護質量等方面需求。

通過部署中國電信商務領航B2-1定制終端，在網絡運行監控方面，提供7×24 h專家值守、5×8 h主動發現上網線路故障，快速響應、故障主動發現，并能每月提供網絡運行月報，保障網絡運行狀況。

考慮備份網組網成本所限，用戶各分點可以迅速且安全地擴展網絡。同時，備份網絡接口最好能以支持以太網接口為主，避免用戶另行購置昂貴的G703、V35等傳統數據模塊。

E通VPN通過承載用戶原有的Internet線路作為MPLS VPN備份線路，用戶線路投入成本可控制，通過在定制終端B2-1配置QoS功能，可以保證故障發生時，用戶Internet線路優先保證轉發IPSec應用報文。定制終端B2-1豐富的以太網接口，避免了用戶采用DDN傳統數據服務時需另行購置模塊板卡的投入。

3 網絡設計部署

3.1 概述拓撲

某國際跨國集團用戶，通過CN2長途MPLS VPN互聯其在中國的106個CE節點，用戶總路由條目超過1 500條，用戶部分CE節點采用BGP方式接入，部分采用靜態路由接入。用戶嘗試采取另建一個備份網絡，但因為主要MPLS VPN部分節點靜態路由接入導致備份網絡的路由黑洞問題而不能自動切換，或者采用模擬線路DDR撥號幾分鐘的切換時間長問題，效果都不能令其滿意。成本和組網的部署便捷性也是其組網考慮的一個主要因素。

針對用戶提出的40 s內自動切換，充分利用其現有的網絡線路 （各分點一條MPLS VPN線路和一條Internet上網線路）不再追加任何線路工程投入的要求，提出以下方案：通過在用戶端部署定制終端B2-1，建立到E通VPN的IPSec隧道，當用戶端MPLS VPN線路發生故障時，用戶路由自動切換到IPSec備份路由上，同時局端CN2 PE配置靜態備份路由（加大AD值，匯總用戶路由后較短掩碼的出路由）以Option A方式VLL跨域打通MPLS VPN到E通VPN的平臺通路。測試拓撲如圖4所示。

3.2 CN2路由實施策略

用戶CE直接上聯CN2 PE組網，經用戶授權后，在用戶測試點Branch1上聯的CN2 PE上 （資源庫中查出是SH-SH-MS-S-1.CN2設備），通過上海本地城域網優化平面與CN2的互聯接口，以二層Martini技術的VLL方式互聯至上海電信E通VPN平臺，互聯地址遵循局端規劃，用戶測試點路由地址為10.152.141.0/24，通過局端CN2 PE上觀察用戶VPN內路由表，經匯總歸并成10.152.0.0/16，加大管理距離為220，作為用戶備份路由指向E通VPN平臺。

3.3 城域網以太透傳實施策略

E通VPN平臺通過Option A方式VLL跨域接入CN2，上海電信本地城域網只承載用戶二層數據報文，用戶路由在城域段內透明，只需要在優化平面內以Martini技術建立點對點的LDP鄰居連接，互聯E通VPN平臺和CN2接口，兩端用戶報文封裝以VLAN方式一致，避免dot1q和Bridge1483的橋接協議轉換。

3.4 E通VPN平臺部署

E通VPN平臺通過不同的密鑰和各用戶終端建立IPSec隧道，用戶對端可以通過IP或者用戶名方式識別。通常如果用戶端直接獲得公網IP上網，可以直接采用IP方式，如果是通過防火墻NAT上網，則需用戶名方式建立連接，同時考慮穿透防火墻問題，E通VPN為IPSec隧道建立提供了NAT穿透功能，針對SSL隧道加密，因為運行于HTTPS應用層，不存在NAT穿透問題。

35歲以上的女性，孕育胎兒時的心理負擔要比適齡孕婦增大，加之社會和家庭的各種壓力，容易使精神處于緊張狀態，不利于自身的健康和胎兒的生長發育。

針對用戶間路由隔離安全性要求，E通VPN平臺支持VR（虛擬路由器）功能，各用戶組獨享一個VR，通過VLL透傳外層VLAN來區分各用戶所屬VR。E通VPN通過Option A方式互聯CN2，默認情況類似本次測試以靜態接入為主。如將來有用戶BGP接入需求，E通VPN平臺所采用的Juniper ISG1000和Netscreen 500都可以支持BGP路由需求。

圖4 E通VPN平臺熱備CN2 MPLS VPN業務模型

此外，E通VPN平臺還可以根據用戶的需求基于Juniper Netscreen OS環境進行訪問策略設置，大大增強了用戶訪問的安全性。

3.5 用戶CE路由實施策略

用戶端部署集團定制終端B2-1，通過用戶原Internet出口建立和E通VPN的IPSec通道。定制終端開啟SNMP功能供遠程采集流量，同時通過TR069協議，支持BBMS遠程管理功能。通過雙網口策略，通往CN2內部路由，建立高管理值的備份路由指向IPSec接口，當主用失效后，可自動切換。用戶Internet出口配置QoS帶寬保留策略，以供故障時IPSec優先轉發，如果用戶日常Internet訪問，流量不高，輕載條件下，QoS部署可以簡化。

3.6 用戶端測試

配置部署完畢后，用戶正常情況下，通過DDN主用線路接入CN2長途 MPLS VPN訪問用戶總頭10.152.114.2：

Tracing the route to 10.152.114.2

1 10.152.128.53 8 msec 8 msec 12 msec

2 10.152.62.210[AS 4809]12 msec 12 msec 11 msec

模擬用戶DDN線路故障，當用戶DDN線路發生中斷時，經30 s左右的中斷時間，路由自動切換IPSec備份網絡。通過E通VPN訪問用戶總頭的traceroute路徑如下：

Tracing the route to 10.152.114.2

1 173.73.73.2 0 msec 0 msec 0 msec

2 61.152.231.114 4 msec 0 msec 0 msec

3 172.210.210.3 4 msec 4 msec 4 msec

4 202.96.218.1 4 msec 4 msec 4 msec

5 222.66.240.57 4 msec 4 msec 4 msec

6 10.152.64.210 8 msec×12 msec

測試結論：經用戶現場演示測試，通過E通VPN線路備份MPLS VPN的技術方案可以滿足用戶路由自動切換的需求。DDN鏈路故障時，E通VPN切換時間在30 s左右。DDN鏈路恢復后，路由自動倒回，基本不中斷。實用EVPN備份方式，用戶內網應用正常。

4 結束語

CN2是中國電信集團奠定未來10～20年里中國電信頂級運營商基礎的戰略級網絡平臺，E通VPN通過立足于CN2長途MPLS VPN業務，結合部署轉型業務的創新模式，有效貫穿了中國電信集團“把握整體和方向，充分發揮資源優勢”的轉型策略。

CN2、IPMAN、E通VPN和定制終端等一系列業務，通過組網方案的高度整合，為高端客戶提供端到端的整體解決方案，大大提升了數據產品的競爭能力，也反映了IP技術驅動力下運營商業務發展的趨勢。

1 James D McCabe（美）.秦亞紅等譯.網絡分析、體系結構與設計（第二版）.北京：電子工業出版社，2005

2 中國電信集團運維[2006]30號.中國電信下一代承載網（CN2）網絡運行維護管理辦法（試行）