基于路由交換技術(shù)的靜態(tài)專線冗余備份方法

董 錚，唐海軍

（1.中國電信股份有限公司南京分公司政企客戶支撐中心 南京210008；2.西南石油大學經(jīng)濟管理學院 成都610500）

1 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，以網(wǎng)絡(luò)通信方式為主要對外數(shù)據(jù)傳輸手段的政企客戶，如企業(yè)、政府和金融單位等，對寬帶服務(wù)的穩(wěn)定性、可靠性等因素都有極高要求。南京城市發(fā)展日新月異，愈加頻繁的市政施工開挖導致光纜中斷故障頻發(fā)，政企客戶網(wǎng)絡(luò)中斷造成政企客戶的投訴時有發(fā)生。客戶對靜態(tài)專線寬帶穩(wěn)定性和可靠性的需求，要求必須綜合考慮客戶接入設(shè)備層次、網(wǎng)絡(luò)管理水平和客戶網(wǎng)絡(luò)應(yīng)用場景等因素，以公司大力推進的維護服務(wù)產(chǎn)品化工作為契機，探索基于路由交換技術(shù)的靜態(tài)寬帶冗余備份方案。

2 創(chuàng)新方法形成背景

2.1 傳統(tǒng)政企客戶靜態(tài)專線寬帶保障方法

傳統(tǒng)運維部門對于大客戶服務(wù)所提供的保障手段比較有限。在日常維護中，遇到大客戶障礙通常的處理流程是：10000號客服人員接到用戶電話申告，客服人員在綜合調(diào)度系統(tǒng)形成障礙單，網(wǎng)管人員收到障礙單判斷障礙原因派單到相關(guān)部門處理，相關(guān)部門處理障礙，障礙恢復，回訪客戶。流程如圖1所示。

如果按照傳統(tǒng)政企客戶靜態(tài)專線寬帶保障方法，故障發(fā)現(xiàn)時間、故障原因查找、故障搶修時間、運維人員技術(shù)水平等諸多因素都制約著大客戶服務(wù)水平的提升，極大地影響了政企客戶專線障礙的修復歷時，降低了政企客戶的服務(wù)滿意度。

2.2 維護服務(wù)產(chǎn)品化工作的要求

“維護服務(wù)產(chǎn)品化”是中國電信充分發(fā)揮網(wǎng)絡(luò)及服務(wù)優(yōu)勢、整合后端能力、通過顧問式銷售彰顯維護服務(wù)價值、提高客戶感知的一項重要工作，目前重點推廣網(wǎng)絡(luò)安全、客戶網(wǎng)絡(luò)監(jiān)控、IT維護服務(wù)以及會議服務(wù)4類維護服務(wù)產(chǎn)品。深化營建維護一體化，推動維護服務(wù)手段互聯(lián)網(wǎng)化，并大力發(fā)展維護服務(wù)產(chǎn)品，凸顯差異化市場優(yōu)勢；不斷拓展產(chǎn)品化項目，擴大維護產(chǎn)品服務(wù)范圍，面向公眾客戶推進裝維服務(wù)產(chǎn)品化，促進客戶滿意度與運維價值雙提升；發(fā)揮運維差異化優(yōu)勢，整合內(nèi)外部資源，積極發(fā)展和運營政企維護服務(wù)產(chǎn)品；在智能管道運營方面，推動網(wǎng)絡(luò)由“業(yè)務(wù)被動適應(yīng)網(wǎng)絡(luò)”向“網(wǎng)絡(luò)主動適應(yīng)互聯(lián)網(wǎng)應(yīng)用”轉(zhuǎn)變，前后端協(xié)同開發(fā)運營智能管道產(chǎn)品，挖掘網(wǎng)絡(luò)數(shù)據(jù)價值支撐大數(shù)據(jù)業(yè)務(wù)運營。

2.3 政企客戶靜態(tài)專線寬帶障礙對南京電信政企客戶維系的影響

政企客戶作為運營商重要的收入來源，長期穩(wěn)定忠實的客戶關(guān)系是所有運營商都盡最大努力加以發(fā)展和維系的對象。而在這些政企客戶關(guān)系中，作為最大收入來源的行業(yè)大客戶又是競爭的焦點。由此可見，行業(yè)大客戶對運營商提供的電信服務(wù)是否滿意在很大程度上決定了運營商未來的業(yè)務(wù)收入能否得到保障。確保行業(yè)大客戶靜態(tài)專線寬帶的穩(wěn)定性和可靠性，對于提升大客戶服務(wù)滿意度、體現(xiàn)電信高端服務(wù)差異化、維系大客戶關(guān)系有著舉足輕重的作用。

圖1 傳統(tǒng)政企客戶靜態(tài)專線寬帶保障方法流程

3 靜態(tài)寬帶接入冗余備份方案

3.1 基于LACP的方案

采用基于LACP（link aggregation control protocol，鏈路匯聚控制協(xié)議）鏈路聚合的光路保護方案，通過對兩條光路的邏輯捆綁，實現(xiàn)電信匯聚交換機和用戶出口設(shè)備間的二層鏈路保護，即雙光路捆綁LACP聚合。捆綁的兩條鏈路雙向流量負載均衡。兩條光路接入端口組成1個匯聚組，出/入流量在兩條光路和匯聚組兩個端口中實現(xiàn)分擔，當一條鏈路的兩端端口有問題或光路有問題時，則出/入流量將自動切換至另一條鏈路。具體實現(xiàn)拓撲如圖2所示。

圖2 基于鏈路匯聚控制協(xié)議的網(wǎng)絡(luò)拓撲

本方案要求現(xiàn)有的主用寬帶必須為裸光纖直聯(lián)的光纖寬帶，因此如果是PON寬帶必須改造為直連匯聚交換機的光纖寬帶且撤除光纖收發(fā)器。在現(xiàn)有主用寬帶基礎(chǔ)上，正常新開一條備用光纖寬帶，主備光路采用兩條裸光纖直聯(lián)且分別走完全不同的光路由，接中國電信匯聚交換機的不同板卡端口，實現(xiàn)光路保護及上聯(lián)板卡保護。由于中國電信匯聚交換機為雙主控板卡、雙電源和雙上行業(yè)務(wù)控制層路由器，保證從客戶端出來后全程無單點故障。

在中國電信匯聚交換機對主備兩條寬帶進行端口LACP捆綁配置，注意按照主用寬帶IP地址配置備用端口封裝的VLAN數(shù)據(jù)。客戶端可以利舊或新增一臺支持LACP的客戶端交換機，設(shè)備至少具備兩個單模光口用于寬帶接入，客戶端設(shè)備進行LACP端口捆綁配置。

3.2 基于靜態(tài)路由協(xié)議和BFD保護機制的方案

（1）BFD協(xié)議

為了提升網(wǎng)絡(luò)性能，相鄰系統(tǒng)之間必須能快速檢測到通信故障，從而更快地建立起備用通道恢復通信。可以通過BFD（bidirectional forwarding detection，雙向流檢測）協(xié)議來快速檢測到相鄰系統(tǒng)之間的通信故障。BFD協(xié)議為鏈路提供雙向的檢測功能：在雙向鏈路兩端同時發(fā)生檢測報文，檢測兩個方向上的鏈路狀態(tài)，實現(xiàn)毫秒級別的鏈路缺陷檢測；提供異步和查詢兩種檢測模式：異步模式是指各系統(tǒng)間相互以協(xié)商的周期發(fā)送BFD控制報文，如果某個系統(tǒng)在檢測時間內(nèi)沒有收到對端發(fā)來的報文，置會話為down狀態(tài)；查詢模式是指假定每個系統(tǒng)都有一個獨立的方法，確認自己連接到其他系統(tǒng)。提供對BFD控制報文參數(shù)的動態(tài)改變功能：會話建立后，動態(tài)地改變BFD的相關(guān)參數(shù)（例如最小發(fā)送間隔、最小接收間隔、使能或禁止查詢模式、回聲報文、報文認證等），兩端系統(tǒng)通過發(fā)送相應(yīng)的協(xié)商報文后采用新的參數(shù)，不影響會話的當前狀態(tài)；提供對單跳和多跳的雙向流檢測；提供BFD檢測結(jié)果，通告給注冊到BFD的模塊使用，以便支持對其他模塊的相關(guān)處理操作。

（2）方案總體情況

采用基于靜態(tài)路由協(xié)議和BFD保護機制的方案，通過雙寬帶裸光纖接入、寬帶服務(wù)地址與互聯(lián)地址分開并發(fā)布、中國電信城域網(wǎng)SR、客戶端交換機設(shè)備BFD機制，實現(xiàn)向客戶側(cè)的流量主備或負荷分擔、向電信網(wǎng)的流量主備或負荷分擔。網(wǎng)絡(luò)拓撲如圖3所示。

圖3 基于靜態(tài)路由協(xié)議和BFD保護機制的網(wǎng)絡(luò)拓撲

兩條寬帶通過匯聚設(shè)備接入SR/BRAS設(shè)備，可以采用直連匯聚交換機的方式或者EPON FTTB/FTTH的接入方式。兩條寬帶光纜分別走完全不同的光路，接不同局向的SR/BRAS設(shè)備，即需保證兩條寬帶的雙光路、雙局向接入（接入不同局向的匯聚設(shè)備和SR），在物理鏈路上保證可靠性。

與普通靜態(tài)寬帶只有一個地址段不同，本方案要求兩條寬帶在各自的互聯(lián)地址外，再使用一段服務(wù)IP地址，通過在局端SR/BRAS配置指向客戶側(cè)的靜態(tài)路由并配置IBGP向中國電信網(wǎng)發(fā)布服務(wù)IP地址網(wǎng)段，實現(xiàn)從中國電信網(wǎng)至客戶網(wǎng)絡(luò)的數(shù)據(jù)分組路由負荷分擔或主備。客戶端現(xiàn)有設(shè)備的組網(wǎng)架構(gòu)不變。客戶自備一臺出口路由器，提供2個以太口用于兩條寬帶接入。新增的出口路由器的兩個出口配置互聯(lián)IP地址，互聯(lián)接口IP地址與服務(wù)IP地址分開。

兩臺SR/BRAS設(shè)備分別配置靜態(tài)路由，指向相應(yīng)的客戶網(wǎng)絡(luò)互聯(lián)接口。兩臺SR/BRAS設(shè)備通過IBGP向電信城域網(wǎng)發(fā)布服務(wù)IP地址網(wǎng)段，通過metric(MED)值或local preference值優(yōu)先級設(shè)置實現(xiàn)電信網(wǎng)至客戶網(wǎng)絡(luò)流量的負荷分擔或主備，并分別配置向客戶網(wǎng)絡(luò)的BFD。電信網(wǎng)配置實現(xiàn)至客戶網(wǎng)絡(luò)兩條寬帶的流量負荷分擔或主備。當SR/BRAS設(shè)備的BFD機制檢測一條寬帶至客戶網(wǎng)絡(luò)不通時，電信網(wǎng)至客戶側(cè)的靜態(tài)路由將自動失效，用戶路由（服務(wù)IP地址段）將無法通過IBGP向電信網(wǎng)發(fā)布，電信城域網(wǎng)核心出口路由器CRS設(shè)備則將該條寬帶的流量自動切換至另一條寬帶，實現(xiàn)用戶寬帶雙路由保護。客戶出口路由器配置向電信網(wǎng)的靜態(tài)路由，通過優(yōu)先級設(shè)置實現(xiàn)向電信側(cè)的負荷分擔或主備。

3.3 基于EBGP動態(tài)路由協(xié)議和VRRP保護的方案

（1）VRRP

通常內(nèi)部網(wǎng)絡(luò)中的所有主機都設(shè)置一條相同的缺省路由。所有內(nèi)部主機到網(wǎng)絡(luò)外部的報文將通過缺省路由發(fā)往網(wǎng)關(guān)（即圖4所示的路由器），從而實現(xiàn)主機與外部網(wǎng)絡(luò)的通信。缺省路由的配置比較方便。但是這樣的配置需要缺省網(wǎng)關(guān)設(shè)備具有很高的穩(wěn)定性，因為在這種配置下，一旦網(wǎng)關(guān)設(shè)備發(fā)生故障，內(nèi)部網(wǎng)絡(luò)中所有主機與外部通信將全部中斷。VRRP（virtual router redundancy protocol，虛擬路由冗余協(xié)議）是由RFC2338定義的一種容錯協(xié)議，通過物理設(shè)備和邏輯設(shè)備的分離，很好地解決了上述網(wǎng)絡(luò)問題。VRRP將局域網(wǎng)的一組路由器組織成一個備份組，功能上相當于一臺虛擬路由器。

局域網(wǎng)內(nèi)的主機只知道這個虛擬路由器的IP地址，并不知道備份組內(nèi)某臺設(shè)備的IP地址，它們將自己的缺省路由下一跳地址設(shè)置為該虛擬路由器的IP地址。局域網(wǎng)內(nèi)的主機通過這個虛擬路由器與其他網(wǎng)絡(luò)進行通信。VRRP機制將該虛擬路由器動態(tài)關(guān)聯(lián)到某承擔傳輸業(yè)務(wù)的物理路由器上，當該物理路由器出現(xiàn)故障時能再次選擇新路由器來接替業(yè)務(wù)傳輸工作，整個過程對用戶來說是完全透明的。在具有多播或廣播能力的局域網(wǎng)（如以太網(wǎng)）中，通過VRRP能提高缺省鏈路的利用率，而無需修改動態(tài)路由協(xié)議，路由發(fā)現(xiàn)協(xié)議的配置信息。VRRP路由器可以工作在主備模式，主備備份方式需要一個備份組，該備份組包括一個主用路由器和若干個備份路由器。VRRP還可以工作在負載分擔方式，負載分擔方式是指多臺路由器同時承擔業(yè)務(wù)。

（2）總體路由策略

總體路由策略使用EBGP+直連路由策略。城域網(wǎng)SR/BRAS路由器和客戶端路由器設(shè)備通過互聯(lián)地址建立EBGP鄰居關(guān)系。城域網(wǎng)SR/BRAS路由器設(shè)備使用EBGP發(fā)布默認路由給客戶端路由器設(shè)備，只允許客戶業(yè)務(wù)網(wǎng)段路由通過BGP進入。客戶端專線接入路由器使用EBGP發(fā)布客戶端業(yè)務(wù)網(wǎng)段路由，通過metric(MED)值或local preference值優(yōu)先級設(shè)置實現(xiàn)電信網(wǎng)至客戶網(wǎng)絡(luò)流量的負荷分擔或主備，接收城域網(wǎng)SR/BRAS路由器設(shè)備發(fā)布的默認路由信息。客戶端專線接入路由器的BGP自治域系統(tǒng)AS號使用私網(wǎng)AS號，與城域網(wǎng)SR/BRAS路由器設(shè)備建立EBGP鄰居關(guān)系。總體網(wǎng)絡(luò)路由策略設(shè)計如圖4所示。

圖4 總體網(wǎng)絡(luò)路由策略設(shè)計

為防止用戶內(nèi)網(wǎng)二層交換機故障，使用兩臺二層交換機互為主備，兩臺交換機啟用STP，兩臺交換機之間以兩對網(wǎng)線互聯(lián)（防止網(wǎng)線單點故障）。

（3）客戶端設(shè)備VRRP規(guī)劃

為按預定計劃實現(xiàn)數(shù)據(jù)流向，并實現(xiàn)客戶端設(shè)備及線路冗余需求，客戶內(nèi)網(wǎng)出口路由器采取VRRP功能實現(xiàn)。客戶端兩臺路由器對內(nèi)啟用VRRP，并將其中一臺專線接入路由器A，優(yōu)先級設(shè)置較高，另一臺專線接入路由器B，優(yōu)先級設(shè)置較低。專線接入路由器A為VRRP主設(shè)備，接入路由器B為VRRP備設(shè)備。同時開啟VRRP的搶占功能、對上聯(lián)線路的監(jiān)測功能，實現(xiàn)兩臺設(shè)備根據(jù)上聯(lián)廣域網(wǎng)線路通斷情況進行自動主備切換。VRRP功能具體實現(xiàn)時，可以使用兩臺接入路由器的交換端口互聯(lián)（下聯(lián)至交換機）作為L2心跳線，并設(shè)置端口類型為access方式，使用三層接口VLAN1用于VRRP協(xié)商。協(xié)商VRRP虛擬地址作為終端用戶網(wǎng)關(guān)地址。客戶內(nèi)網(wǎng)VRRP規(guī)劃如圖5所示。

（4）數(shù)據(jù)流向分析

圖5 客戶內(nèi)網(wǎng)VRRP規(guī)劃

網(wǎng)絡(luò)各設(shè)備運行穩(wěn)定正常時，業(yè)務(wù)數(shù)據(jù)流向為：互聯(lián)網(wǎng)圮SR/BRAS設(shè)備A圮靜態(tài)專線圮專線接入路由器A圮交換機圮客戶PC終端。數(shù)據(jù)流向分析如圖6所示。

圖6 數(shù)據(jù)流向分析

當網(wǎng)絡(luò)設(shè)備或線路出現(xiàn)故障時，網(wǎng)絡(luò)可以通過冗余設(shè)備或冗余線路恢復，并繼續(xù)通信，減小網(wǎng)絡(luò)故障帶來的損失。主要表現(xiàn)為：如果客戶內(nèi)網(wǎng)交換機宕機或互聯(lián)線中斷，由于客戶內(nèi)網(wǎng)交換機運行STP且客戶內(nèi)網(wǎng)交換機通過兩條網(wǎng)線做線路聚合，客戶內(nèi)網(wǎng)到專線接入路由器A之間的互聯(lián)不會受到影響；如果專線接入路由器A宕機，專線接入路由器A與城域網(wǎng)SR/BRAS設(shè)備A之間的EBGP中斷，路由協(xié)議失效；VRRP檢測到專線接入路由器A宕機，專線接入路由器B通過VRRP自動協(xié)商成主設(shè)備，所有終端設(shè)備數(shù)據(jù)通過專線接入路由器B進行轉(zhuǎn)發(fā)通信；如果主用專線故障，專線接入路由器A與數(shù)據(jù)中心匯聚路由器EBGP中斷，路由協(xié)議失效，VRRP檢測到專線接入路由器A的接入專線故障，專線接入路由器B通過VRRP自動協(xié)商成主設(shè)備，數(shù)據(jù)通過接入路由器B進行轉(zhuǎn)發(fā)通信。

3.4 3種保障方案的橫向比較

基于LACP鏈路聚合的光路保護方案由于只是在客戶端到匯聚設(shè)備使用雙路由，實施部署簡單快速，維護難度較低，成本也較低，但采用此方案存在匯聚交換機及客戶接入交換機的單點故障，可靠性相對較低。

基于靜態(tài)路由協(xié)議和BFD保護機制的方案在客戶端到電信SR/BRAS業(yè)務(wù)控制層設(shè)備全程使用雙路由，成本相對LACP方案較高，實施部署和維護的難度也相對較高。采用此方案在電信側(cè)全程沒有單點故障，只在客戶端存在客戶出口路由器單點故障，可靠性相對于LACP方案較高。

基于EBGP和VRRP保護的方案在客戶端到電信SR/BRAS業(yè)務(wù)控制層設(shè)備全程使用雙路由，且客戶端采用雙出口路由器、雙核心交換機的配置，成本在3種方案中最高，實施部署和維護的難度也最高。若采用此方案，在電信側(cè)和客戶端全程都沒有單點故障，可靠性在3種方案中最高。3種保障方案的橫向?qū)Ρ纫姳?。

表1 3種保障方案的橫向比較

4 方法應(yīng)用和成果體現(xiàn)

4.1 保障方法應(yīng)用流程

應(yīng)用流程：前端提取潛在的省市級大客戶的靜態(tài)專線寬帶冗余備份的目標清單，由政企客戶支撐中心牽頭后端網(wǎng)絡(luò)操作維護中心、接入維護中心，提取此部分用戶的網(wǎng)絡(luò)設(shè)備、線路情況，分析提取用戶局向、接入光路由和網(wǎng)絡(luò)設(shè)備等因素，制定可行的靜態(tài)專線寬帶冗余備份改造方案，并由政企客戶支撐中心工程師和客戶經(jīng)理一起向客戶提出改造的建議方案，客戶同意改造后簽署合同，在前臺BSS受理相應(yīng)的寬帶備份銷售品，之后由電信負責實施方案，客戶工程師配合。流程示意如圖7所示。

圖7 保障方法應(yīng)用流程

4.2 保障成果及后評估

截至2015年5月底，已經(jīng)完成了54家省級大客戶和118家市級重點保障客戶的靜態(tài)專線寬帶冗余備份工作，提前發(fā)現(xiàn)主用寬帶故障44起（均已經(jīng)及時通過派發(fā)網(wǎng)絡(luò)層工單修復），由于寬帶保護的作用，主用寬帶故障均未導致客戶網(wǎng)絡(luò)中斷。從最近一次客戶經(jīng)理上門拜訪反饋的情況看，客戶滿意度良好。查詢綜合調(diào)度系統(tǒng)中未做靜態(tài)專線寬帶冗余備份的政企客戶，2015年5月份故障率為2.4%，遠遠高于做靜態(tài)專線寬帶冗余備份的政企客戶的故障率（幾乎為0），進一步證實了此創(chuàng)新方法的科學性和實踐性。

5 結(jié)束語

隨著寬帶互聯(lián)網(wǎng)的快速發(fā)展，以網(wǎng)絡(luò)通信方式為主要對外數(shù)據(jù)傳輸手段的用戶（如企業(yè)、政府和金融單位等），對于寬帶服務(wù)的穩(wěn)定性、可靠性等因素都有極高要求，且城市發(fā)展日新月異，市政施工工程量越來越多，導致光纜中斷故障頻發(fā)，引起政企客戶網(wǎng)絡(luò)中斷而造成大客戶投訴時有發(fā)生。政企客戶支撐中心以公司對維護服務(wù)產(chǎn)品化工作的推進為契機，創(chuàng)新性地提出基于路由交換技術(shù)的靜態(tài)寬帶冗余備份方法，并及時在省市級重點保障大客戶中推廣使用。經(jīng)過半年以上的實踐，政企客戶靜態(tài)寬帶可靠性和穩(wěn)定性大大提高，客戶滿意度不斷提升，申告數(shù)量下降明顯，充分論證了該方法的科學性和實踐性。該方法尤其適用于對寬帶穩(wěn)定性要求高的政府、金融和證券單位。新方法降低了客戶互聯(lián)網(wǎng)業(yè)務(wù)的故障率，體現(xiàn)了電信運維服務(wù)的差異化優(yōu)勢，提升了客戶滿意度，加強了對客戶的維系程度，提升了政企客戶收入，同時也符合公司維護服務(wù)產(chǎn)品化的要求，體現(xiàn)了電信后端的維護價值。

1 Wright G R.Stevens W R.TCP/IP詳解.范建華,胥光輝,張濤等譯.北京:機械工業(yè)出版社,2001 Wright G R.Stevens W R.TCP/IP Comments.Translated by Fan J H,Xu G L,Zhang T,et al.Beijing:Publishing House of Machinery Industry,2011

2 Ji Y F,Zhang J,Zhao Y L,et al.Dreamscape:dual routing engine architecture in multi-layer/multi-domain scalable constraint-aware policy-enabled optical networks.Proceedings of the 14th Optoelectronics and Communications Conference(OECC),HongKong,China,2009

3 Aslam F,Uzmi Z A,Farrel A.Inter-domain path computation using improved crank back signaling in label switched networks.Proceedings of IEEE International Conference on Communications(ICC2007),Glasgow,Scotland,2007

4 Buzzi L,Bardellini M C,Siracusa D,et al.Hierarchical border gateway protocol for pce-based multi-domain traffic engineering.Proceedings of IEEE International Conference on Communications(ICC2010),Cape Town,South Africa,2010