金融大客戶全冗余動態BGP專網建設案例

摘要：本案例通過介紹PF_BANK在合肥市濱湖建設數據災備核心節點，和聯通、電信、移動互聯網骨干節點通過動態 EBGP方式對接，案例中針對該用戶業務做的一些BGP路由調整策略和全冗余的接入設計，滿足了PF_BANK提出的“ 鏈路冗余、設備冗余、端口冗余、路由冗余”的全冗余動態BGP互聯網全穿透接入要求。為以后相關業務接入起到了示范接入的作用。

關鍵詞： 全冗余、穿透；EBGP；BFD；路由策略

一、案例背景

合肥依托加入長三角經濟圈成為副中心城市，與依托長三角數據備份基地建設互聯網核心節點，是加快合肥長三角副中心城市群的經濟發展，落實網絡經濟強市目標的有力支撐。PF_BANK目前租用我公司互聯網BGP帶寬 4000M，2021 年貢獻收入超千萬元，是我公司金牌金融大客戶。PF_BANK提出在合肥市濱湖數據中心基地建設自身銀行系統的全球災備中心，需要同是與聯通、電信、移動三家運營商進行動態BGP互聯，提出了全冗余的網絡設計要求暨“ 鏈路冗余、設備冗余、端口冗余、路由冗余”，三家運營商所有用戶訪問該節點，將通過各自運營商本網系統內訪問避免進行跨網訪問以減小網絡時延，提升客戶感知。開通動態BGP接入方式是的該數據備份基地成為PF_BANK業務核心備份節點的必要條件，該業務的開通也是安徽省內三家運營商在數據中心項目上第一次的合作，為鞏固合肥數據災備基地核心節點地位，進一步拉動 IDC 機柜、云計算業務增長，起到了重要的作用。

二、案例描述

（一）網絡現狀

安徽聯通 169 IP網骨干網路由器由兩臺 NE5000E-X16A 設備組成，分別部署在合肥市的濱湖新區、政務新區兩個骨干核心機房，地市核心設備分別與集團國干設備之間口子型互聯。合肥城域網 CR有2臺NE5000E-20組成、BRAS（合肥SR和BRAS屬于合設） 有16臺華為ME60-X8設備組成，分別雙上行至合肥本地出口路由器上，承載本地市的IP網業務，包括互聯網業務， MPLS_VPN業務等。

（二）接入需求

1. PF_BANK采用自身公有AS號與聯通公有AS號進行動態 EBGP 互聯，要求接收互聯網全部路由條目（83萬條左右），保證接入類型是全穿透模式。2. BGP協議本身具有冗余備份、消除環路的特點，所以要求本次2條BGP互聯線路可以實現路由的相互備份并且負載均攤，在一條線路出現故障時路由會快速檢測自動切換到其他線路。3.要求同時打開BGP協議，靜態路由、對接口的BFD快速檢測能力用于加快路由收斂。4.在本地傳輸層面提出了全冗余的網絡設計要求暨“ 鏈路冗余、設備冗余、端口冗余、路由冗余”接入拓撲如圖2所示。

（三）接入要點

1. EBGP 接入類型全穿透

合肥CR路由器收到PF_BANK路由向169國干網轉發，再由169骨干網傳播至國內其他運營商和全球互聯網。雖然合肥CR路由器與省內其他CR路由器存在互聯但是本次由于客戶沒有特殊要求不向其他地址之間發送PF_BANK的路由，其他地市CR還是通過集團骨干網的AR路由器學習PF_BANK路由。合肥CR路由器與PF_BANK對接時出于安全考慮需要采用協議對接加密方式，并采用BFD對BGP協議時刻進行監控。

2.用戶路由選擇問題

正常情況下省內用戶訪問PF_BANK業務通過各地市 CR 到國干的鏈路訪問省外PF_BANK服務器相關業務，PF_BANK省內采用 AS56006和合肥CR 2.9654建立 EBGP鄰居后，其他地市由于合肥市CR在與地市互聯口過濾了AS-path路徑，所以其他CR上只會從骨干學習到PF_BANK路由，不需要做地址優選策略路由。當PF_BANK與聯通的BGP互聯存在問題時，在BFD的幫助下BGP會快速地將聯通本地PF_BANK路由失效，從而地市CR會從169骨干學習到其他運營商發布過來的PF_BANK路由信息。

3.合肥本地網與PF_BANK設備對接問題

合肥聯通城域網CR除了和國干直連以外還兼做省干，并在本次項目中與PF_BANK做BGP PEER 由于合肥聯通城域網CR路由器從網絡安全方面考慮不能與用戶直接進行對接，但是我們大客戶專屬的SR路由器沒有全量的互聯網路由，所以在EBGP對接時我們采用的是客戶與合肥聯通城域網CR（AS2.9654）建立multi-hop BGP連接，交換IPV4/IPV6雙棧路由信息。廣播方式為全穿透方式，合肥城域網將PF_BANK自帶IPv4/IPv6地址廣播至China169骨干網，由169骨干網根據既定策略對外廣播，同時合肥聯通城域網CR將從169骨干網學習到的全網絡由表廣播給PF_BANK。

4. BGP路由策略發布問題

本次與PF_BANK對接是采用公有AS的動態BGP對接，客戶IP地址是采用自己的BGP路由器發布，并且PF_BANK本次還同時接入了電信、移動的公有AS，所以有可能存在其他運營商路由信息的泄漏風險。所以接收PF_BANK的路由信息時只接收客戶在我們這里申請的IPV4/IPV6地址表，并對as-path-filter進行正則表達式過濾^56006$，并將local-preference 設置成800。

5. PF_BANK內部路由問題

PF_BANK和合肥聯通CR路由器建立公有AS的EBGP鄰居后會收到169網傳遞過來的所有互聯網的路由信息，需考慮業務來回路徑一致問題，只有聯通用戶訪問PF_BANK的業務路由才會走在這條 EBGP 鏈路上。

（四）配置部署

1.部署原則

按照PF_BANK的全冗余的互聯要求合肥聯通采用傳輸系統用兩個方向的兩套獨立設備與用戶的前置兩臺路由器對接，分別上聯到合肥聯通城域網的兩個核心局點的SR路由器。兩臺SR路由器平時對用戶流量采用負載均攤的方式進行流量轉發，在一個方向出現問題時可以將用戶流量迅速切換到另一個方向，網絡拓撲如圖3所示。

2. 部署配置

（1）CR路由器與PF_BANK的peer配置

CR與PF_BANK之間由于不是直接對接所以需要采用muilt-hop在數據基地設備到省干 CR 和鄭州 CR 的 export 方向添加策略，確保只有PF_BANK IP 網段 且下一跳為與PF_BANK本地設備互聯的 IP 的路由、數據基地始發的路由可以發給省干、鄭州CR，保證只有在下一跳生效的情況下業務路由才生效。IPV4 BGP鄰居對接配置：

group PFBANK external? //EBGP對接

peer PFBANK connect-interface LoopBack0? //BGP對接口采用LoopBack0口

peer PFBANK password cipher XXXXXXX? //BGP對接是采用密碼驗證

peer 58.242.194.xx4 as-number 56006//與浦發西開發方向設備對接

peer 58.242.194.xx4 group PFBANK

peer 58.242.194.xx4 description to PFBANK

peer 58.242.194.xx4 ebgp-max-hop 3? ?//multi-hop BGP 對接是最大跳數為3

peer 58.242.194.xx4 bfd min-tx-interval 300 min-rx-interval 300 detect-multiplier 5

peer 58.242.194.xx4 bfd enable? //打開BGP的BFD檢測功能，和300毫秒雙向檢測

peer 58.242.194.xx0 as-number 56006//與浦發濱湖方向設備對接

peer 58.242.194.xx0 group PFBANK

peer 58.242.194.xx0 description to PFBANK

peer 58.242.194.xx0 ebgp-max-hop 3//multi-hop BGP 對接是最大跳數為3

peer 58.242.194.xx0 bfd min-tx-interval 300 min-rx-interval 300 detect-multiplier 5

peer 58.242.194.xx0 bfd enable//打開BGP的BFD檢測功能，和300毫秒雙向檢測

（2）BGP對接相關安全過濾策略設置

確保合肥市CR與PF_BANK動態公有BGP對接安全相關策略。

import方向PF_BANK地址段前綴列表

ip ip-prefix pfx_from_PFBANK index 10 permit 103.142.9X.0 24

import方向PF_BANK地址段本地優先級調大

route-policy rp_PFBANK_IN permit node 10

apply local-preference 800

import方向PF_BANK AS_path 過濾：

ip as-path-filter aspath_from_PFBANK index 10 permit ^（5600X_）+$

export方向PF_BANK AS_path 過濾：

ip as-path-filter aspath_to_PFBANK index 10 deny ^6451[2-9]_

ip as-path-filter aspath_to_PFBANK index 20 deny ^645[2-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 30 deny ^64[6-9][0-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 40 deny ^65[0-9][0-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 50 permit .*

（3） 合肥接入SR路由器設置

SR 路由器與PF_BANK之間采用傳輸系統對接，2個接口分布在兩個不通板卡上，使用靜態路由將PF_BANK的路由表指向PF_BANK，為了網絡的快速倒換加持了BFD協議，其協商時間與BGP的協商時間保持一致。

對接口的配置：

interface Eth-Trunk9.112

vlan-type dot1q 112

description DDK-PF_BANK-DIA

ipv6 enable

ip address 58.242.194.XXX 255.255.255.252

ipv6 address 2408：8000：C03C：1：：4：XXX/127

BFD的配置

bfd PuFa2 bind peer-ip 58.242.194.XX4 interface Eth-Trunk9.112 source-ip 58.242.194.113 auto

detect-multiplier 5

min-tx-interval 300

min-rx-interval 300

ip route-static 103.142.96.0 255.255.255.0 58.242.194.xx4 track bfd-session PuFa2 description to-PuFa2_BANK-1000M-DIA-BGP_AS 56006

三、結束語

本業務 EBGP 接入在安徽省內首次部署， 因該用戶三網接入的特殊性，網絡存在一定接入復雜度，在 EBGP 接入時需要考慮國干、地市等各場景路由情況外加多層BFD的安全檢測和流量負載分擔，該方案采取嚴格匹配 AS_path、地址前綴、下一跳等參數控制路由收發策略， 更精準確控制業務路由。隨著云計算、 物聯網、大數據業務的不斷發展，本地化接入的需求也越來越大，該案例對以后BGP接入的用戶起到了重要的示范及指導作用，也讓城域網內省內業務路由策略控制更加靈活。

作者單位：夏煒煒? ? 中國聯合網絡通訊有限公司合肥分公司

參? 考? 文? 獻

[1]蘇申. Internet 域間路由建模與分析研究[D].哈爾濱：哈爾濱工業大學，2016．

[2]賀聿志，章勇，柳斌.多鏈路 BGP 接入方法的探討[J].華中科技大學學報（ 自然科學版） ，2016.

[3]Karl Solie． CCIE 實驗指南[M]．北京：人民郵電出版社，2010.