遼寧聯(lián)通互聯(lián)網(wǎng)網(wǎng)絡(luò)扁平化路由策略研究及實(shí)施

金巨亮

（中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司遼寧省分公司 沈陽(yáng)110041）

1 項(xiàng)目實(shí)施背景和目標(biāo)

1.1 項(xiàng)目實(shí)施背景

隨著寬帶業(yè)務(wù)的發(fā)展和用戶數(shù)的增加，電信運(yùn)營(yíng)商正面臨著一場(chǎng)廣泛而且影響深遠(yuǎn)的業(yè)務(wù)變革浪潮。在業(yè)務(wù)需求發(fā)生變化且運(yùn)營(yíng)商正在積極探索新盈利模式的前提下，IP網(wǎng)絡(luò)的優(yōu)化和改造具有深遠(yuǎn)的意義。

網(wǎng)絡(luò)扁平化是電信網(wǎng)絡(luò)發(fā)展的必然趨勢(shì)，整個(gè)網(wǎng)絡(luò)建設(shè)模式將從以前的“骨干網(wǎng)+省網(wǎng)+城域網(wǎng)”的多層次結(jié)構(gòu)向“骨干網(wǎng)+城域網(wǎng)”的扁平化網(wǎng)絡(luò)結(jié)構(gòu)發(fā)展。

早期建設(shè)的互聯(lián)網(wǎng)因?yàn)闅v史的原因，常常在同一地點(diǎn)設(shè)置兩套路由設(shè)備，進(jìn)行背靠背的連接，以劃分管理界面。一個(gè)運(yùn)營(yíng)商或公司內(nèi)部如果存在過(guò)多這樣的連接，不但增加了投資，而且使網(wǎng)絡(luò)質(zhì)量下降，故障點(diǎn)增多。

網(wǎng)絡(luò)扁平化的源動(dòng)力就是節(jié)約投資、降低維護(hù)成本、提升網(wǎng)絡(luò)競(jìng)爭(zhēng)力，而高端路由器功能和性能的不斷增強(qiáng)則為網(wǎng)絡(luò)扁平化提供了推動(dòng)力。

1.2 項(xiàng)目實(shí)施目標(biāo)

（1）結(jié)構(gòu)扁平化

城域網(wǎng)直接與骨干網(wǎng)互連，從而降低設(shè)備跳數(shù)，減少網(wǎng)絡(luò)瓶頸和網(wǎng)絡(luò)延時(shí)。

（2）層次清晰化

使互聯(lián)網(wǎng)形成全網(wǎng)統(tǒng)一的“骨干網(wǎng)+城域網(wǎng)”兩級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，形成統(tǒng)一、清晰的網(wǎng)絡(luò)層次。

（3）路由合理化

城域網(wǎng)與骨干網(wǎng)BGP互連，縮小OSPF區(qū)域，降低IGP路由表?xiàng)l目，減少OSPF路由震蕩，實(shí)現(xiàn)高效路由。

（4）管理標(biāo)準(zhǔn)化

促進(jìn)網(wǎng)絡(luò)維護(hù)管理模式和維護(hù)管理手段的集中化、標(biāo)準(zhǔn)化，實(shí)現(xiàn)全網(wǎng)在網(wǎng)絡(luò)的技術(shù)實(shí)現(xiàn)、路由策略、網(wǎng)絡(luò)管理等方面的統(tǒng)一。

（5）運(yùn)營(yíng)高效化

大幅節(jié)省投資，充分發(fā)揮網(wǎng)絡(luò)資源效能，從而降低企業(yè)運(yùn)營(yíng)成本，提高企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力。

2 扁平化實(shí)施過(guò)程

2.1 扁平化前網(wǎng)絡(luò)結(jié)構(gòu)

遼寧聯(lián)通互聯(lián)網(wǎng)采用雙星型結(jié)構(gòu)，17個(gè)節(jié)點(diǎn)（14地市城域網(wǎng)、沈大IDC及省中心）分別通過(guò)N×10 Gbit/s鏈路，使用EBGP分別上聯(lián)至沈陽(yáng)、大連省核心路由器，城域網(wǎng)內(nèi)主要使用OSPF和靜態(tài)路由協(xié)議。

沈陽(yáng)、大連核心路由器分別通過(guò)N×10 Gbit/s鏈路使用EBGP分別上聯(lián)至中國(guó)聯(lián)通集團(tuán)沈陽(yáng)、大連A1核心路由器。扁平化前網(wǎng)絡(luò)拓?fù)淙鐖D1所示。

2.2 扁平化后網(wǎng)絡(luò)結(jié)構(gòu)

15個(gè)節(jié)點(diǎn)（城域網(wǎng)+省中心）通過(guò)N×10 Gbit/s鏈路分別上聯(lián)至省網(wǎng)沈陽(yáng)、大連核心路由器，承載認(rèn)證計(jì)費(fèi)、網(wǎng)管、MPLS VPN、IPTV、DNS及DHCP等省內(nèi)業(yè)務(wù)流量。

14個(gè)地市城域網(wǎng)分別通過(guò) N×40 Gbit/s/N×10 Gbit/s鏈路上聯(lián)至中國(guó)聯(lián)通集團(tuán)骨干網(wǎng)沈陽(yáng)、大連A1核心路由器，承載出省和除省內(nèi)業(yè)務(wù)外的互訪流量。扁平化后網(wǎng)絡(luò)拓?fù)淙鐖D2所示。

圖1 扁平化前網(wǎng)絡(luò)拓?fù)?/p>

圖2 扁平化后網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

2.3 扁平化路由策略及實(shí)施

2.3.1 路由整體策略

城域網(wǎng)核心路由器與骨干網(wǎng)A1路由器間啟用EBGP協(xié)議，骨干網(wǎng)A1路由器向城域網(wǎng)廣播國(guó)內(nèi)詳細(xì)路由及缺省路由，將ISIS Metric轉(zhuǎn)化為BGP MED，引導(dǎo)城域網(wǎng)出流量，城域網(wǎng)向骨干網(wǎng)A1路由器和省網(wǎng)核心路由器廣播本城域網(wǎng)路由，使用不同的MED值引導(dǎo)回流量；城域網(wǎng)核心路由器與省網(wǎng)核心路由器建立BGP鄰居關(guān)系時(shí)引入AS過(guò)濾策略，城域網(wǎng)不接收來(lái)自其他城域網(wǎng)的路由通告，城域網(wǎng)互訪流量通過(guò)骨干A1路由器轉(zhuǎn)發(fā)。城域網(wǎng)核心路由器與省網(wǎng)核心路由器間啟用EBGP協(xié)議，省網(wǎng)核心路由器僅向城域網(wǎng)廣播省內(nèi)AS64920域內(nèi)路由，省內(nèi)訪問(wèn)流量（DNS、RADIUS、跨城域網(wǎng) MPLS VPN業(yè)務(wù)流量等）通過(guò)城域網(wǎng)核心路由器至省網(wǎng)核心路由器的電路實(shí)現(xiàn)。城域網(wǎng)內(nèi)兩臺(tái)出口路由器之間運(yùn)行IBGP路由協(xié)議，城域網(wǎng)自治域內(nèi)的IGP協(xié)議（OSPF）保持不變。

2.3.2 路由策略部署方案

（1）出省出流量

骨干網(wǎng)同時(shí)向省網(wǎng)和城域網(wǎng)下發(fā)國(guó)內(nèi)詳細(xì)路由及缺省路由，城域會(huì)收到來(lái)自省網(wǎng)和骨干網(wǎng)的相同路由，但由于來(lái)自省網(wǎng)的路由AS-Path較長(zhǎng)，城域會(huì)自動(dòng)優(yōu)選來(lái)自骨干網(wǎng)的路由。

城域網(wǎng)出口路由器從骨干接收聯(lián)通全網(wǎng)國(guó)內(nèi)路由和默認(rèn)BGP路由，同時(shí)不對(duì)接收路由條目的屬性進(jìn)行修改，使城域網(wǎng)的出流量在城域網(wǎng)出口進(jìn)行路由優(yōu)選，城域網(wǎng)出口路由器的互聯(lián)電路有流量互穿，可以使互穿的流量保持在城域網(wǎng)之內(nèi)，減輕了中國(guó)聯(lián)通集團(tuán)骨干網(wǎng)在核心節(jié)點(diǎn)的互穿壓力。

城域網(wǎng)內(nèi)路由策略保持不變，城域網(wǎng)兩臺(tái)出口路由器下發(fā)默認(rèn)路由，城域網(wǎng)內(nèi)BAS/SR設(shè)備出流量通過(guò)上聯(lián)鏈路設(shè)置相同的Cost值達(dá)到流量負(fù)載均衡，如圖3所示。

（2）出省入流量

城域同時(shí)向省網(wǎng)和骨干網(wǎng)發(fā)布城域內(nèi)路由，根據(jù)AS-Path的長(zhǎng)短，骨干網(wǎng)會(huì)優(yōu)選來(lái)自直連的城域的路由。城域網(wǎng)宣告BGP路由時(shí)將城域網(wǎng)內(nèi)地址經(jīng)過(guò)匯聚，并在城域網(wǎng)出口路由器上配置路由控制策略，針對(duì)不同的IP段賦予不同的MED值引導(dǎo)回流量，保證城域網(wǎng)入流量的負(fù)載均衡。

回流量不會(huì)在兩個(gè)城域網(wǎng)出口路由器間穿越，而是通過(guò)下聯(lián)BAS/SR的接口設(shè)置相同的OSPF Cost值保障下聯(lián)鏈路流量負(fù)載均衡，如圖4所示。

（3）互訪流量

對(duì)于省內(nèi)互訪流量，城域網(wǎng)應(yīng)優(yōu)選骨干網(wǎng)的路由。城域網(wǎng)會(huì)同時(shí)接收來(lái)自省網(wǎng)和骨干網(wǎng)的其他城域網(wǎng)路由，并且AS-Path長(zhǎng)度相同。為了優(yōu)選來(lái)自骨干網(wǎng)的路由，城域網(wǎng)在與省網(wǎng)建立BGP鄰居關(guān)系時(shí)，應(yīng)加路由策略，使城域網(wǎng)不接收來(lái)自其他城域網(wǎng)的路由通告，這樣城域網(wǎng)不會(huì)從省網(wǎng)學(xué)到其他城域網(wǎng)的路由，流量會(huì)選擇骨干網(wǎng)進(jìn)行中轉(zhuǎn)，如圖5所示。

2.4 扁平化具體實(shí)施步驟

·確保城域網(wǎng)上聯(lián)骨干網(wǎng)及核心間新開(kāi)電路正常，無(wú)丟包。

圖3 出省出流量示意

圖4 出省入流量示意

圖5 互訪流量示意

·建立城域網(wǎng)一側(cè)核心路由器與骨干網(wǎng)A路由器間的EBGP鄰接關(guān)系。由于骨干網(wǎng)將國(guó)內(nèi)詳細(xì)路由廣播給該城域網(wǎng)核心，因此城域網(wǎng)全部出省流量都將通過(guò)此核心與骨干網(wǎng)互聯(lián)電路出省。城域網(wǎng)在與省網(wǎng)建立BGP鄰居關(guān)系時(shí)，應(yīng)加路由策略，使城域網(wǎng)不接收來(lái)自其他城域網(wǎng)的路由通告，這樣城域網(wǎng)不會(huì)從省網(wǎng)學(xué)到其他城域網(wǎng)的路由，流量會(huì)選擇骨干網(wǎng)進(jìn)行中轉(zhuǎn)。

·建立城域網(wǎng)另一側(cè)核心路由器與骨干網(wǎng)A路由器間的EBGP鄰接關(guān)系。城域網(wǎng)出省流量通過(guò)兩核心與骨干網(wǎng)互聯(lián)電路出省。城域網(wǎng)在與省網(wǎng)建立BGP鄰居關(guān)系時(shí)，加入路由策略，使用流量選擇骨干網(wǎng)進(jìn)行中轉(zhuǎn)。

以朝陽(yáng)城域網(wǎng)為例，具體割接步驟如下。

·所有新購(gòu)板卡到位，加電運(yùn)行無(wú)問(wèn)題。光纖布放完畢測(cè)試無(wú)問(wèn)題。開(kāi)通朝陽(yáng)至中國(guó)聯(lián)通集團(tuán)A1的40 Gbit/s出口電路。省網(wǎng)到沈陽(yáng)、大連A1設(shè)備的跳纖布放完畢后測(cè)試無(wú)問(wèn)題。

·開(kāi)通R1-A-CY與中國(guó)聯(lián)通集團(tuán)大連A1的BGP PEER，同時(shí)對(duì)A1發(fā)布城域網(wǎng)路由時(shí)加入正則表達(dá)式，只發(fā)布城域網(wǎng)本地路由，并加入MED的路由策略，控制回流量。

·將R1-A-CY至省網(wǎng)R1-C-DL的10 Gbit/s電路斷開(kāi)，割接至大連A1。

·在省網(wǎng)核心R1-C-DL建立AS過(guò)濾策略，并引入到R1-C-DL與朝陽(yáng)城域網(wǎng)R1-A-CY的BGP鄰居關(guān)系中，使得R1-C-DL拒絕轉(zhuǎn)發(fā)來(lái)自正則表達(dá)式列表中的城域網(wǎng)AS的路由通告。

·開(kāi)通R2-A-CY與中國(guó)聯(lián)通集團(tuán)沈陽(yáng)A1的BGP PEER，同時(shí)對(duì)A1發(fā)布城域網(wǎng)路由時(shí)加入正則表達(dá)式，只發(fā)布城域網(wǎng)本地路由，并加入MED的路由策略，控制回流量。

·將R2-A-CY至省網(wǎng)R1-C-SY的10 Gbit/s電路斷開(kāi)，割接到沈陽(yáng)A1。

·在省網(wǎng)核心R1-C-SY建立AS過(guò)濾策略，并引入到R1-C-SY與朝陽(yáng)城域網(wǎng)R2-A-CY的BGP鄰居關(guān)系中，使得R1-C-SY拒絕轉(zhuǎn)發(fā)來(lái)自正則表達(dá)式列表中的城域網(wǎng)AS的路由通告。

·業(yè)務(wù)測(cè)試。

2.5 扁平化后的應(yīng)急預(yù)案

遼寧聯(lián)通城域網(wǎng)扁平化之后，城域網(wǎng)與省網(wǎng)之間的大部分鏈路將遷移至城域網(wǎng)與骨干網(wǎng)之間，城域網(wǎng)與省網(wǎng)間將保留很小的帶寬用于MPLS VPN、組播、計(jì)費(fèi)認(rèn)證等省內(nèi)業(yè)務(wù)，省內(nèi)IDC將割接到沈大城域網(wǎng)上。但是，目前省內(nèi)IDC上聯(lián)省網(wǎng)，IDC到城域網(wǎng)的流量完全承載在城域網(wǎng)與省網(wǎng)之間的鏈路上，該流量很大，但城域網(wǎng)與省網(wǎng)間的鏈路帶寬有限并且承載著關(guān)鍵業(yè)務(wù)，如果出現(xiàn)擁塞將直接影響到認(rèn)證計(jì)費(fèi)等關(guān)鍵業(yè)務(wù)，所以需要將這部分流量暫時(shí)性引導(dǎo)到城域網(wǎng)與骨干之間的鏈路上。扁平化后的應(yīng)急預(yù)案示意如圖6所示。

沈大IDC上聯(lián)到省網(wǎng)，IDC到城域網(wǎng)的流量必然要經(jīng)過(guò)省網(wǎng)轉(zhuǎn)發(fā)，IDC發(fā)出的IP包在省網(wǎng)上進(jìn)行IP路由表查詢后必然直接轉(zhuǎn)發(fā)到城域網(wǎng)，本應(yīng)急預(yù)案是利用MPLS Label，在IDC與骨干之間搭建MPLS隧道，將從IDC發(fā)出的流量打上MPLS Label，在省網(wǎng)上作標(biāo)簽轉(zhuǎn)發(fā)，不作IP轉(zhuǎn)發(fā)，從而避免流量到達(dá)省網(wǎng)后直接轉(zhuǎn)發(fā)到城域網(wǎng)。

圖6 應(yīng)急預(yù)案示意

實(shí)現(xiàn)方法如圖7所示。

（1）省網(wǎng)節(jié)點(diǎn)10、11分別配置指向骨干節(jié)點(diǎn)7、8的Loopback0的靜態(tài)路由，下一跳均為直連接口，IDC節(jié)點(diǎn)18、19分別配置指向骨干節(jié)點(diǎn)7、8的Loopback0的靜態(tài)路由，下一跳分別為省網(wǎng)節(jié)點(diǎn)10、11。

（2）省網(wǎng)節(jié)點(diǎn)10、11分別與IDC節(jié)點(diǎn)18、19之間運(yùn)行MPLS IDP。

（3）省網(wǎng)節(jié)點(diǎn)10、11上配置到IDC出方向的BGP策略，將需要調(diào)整的城域網(wǎng)路由的下一跳分別修改為骨干節(jié)點(diǎn)7、8的 Loopback0地址。

3 網(wǎng)絡(luò)扁平化的實(shí)施經(jīng)驗(yàn)

在扁平化實(shí)施中總結(jié)了以下幾條經(jīng)驗(yàn)。

·當(dāng)城域網(wǎng)核心設(shè)備與省網(wǎng)核心設(shè)備采用單鏈路連接時(shí)，應(yīng)使用接口地址建立BGP鄰居關(guān)系，以便在鏈路變化時(shí)加快BGP的收斂。

·省IP網(wǎng)向各地市城域網(wǎng)通告缺省路由，各地市城域網(wǎng)接收省IP網(wǎng)的缺省路由，同時(shí)也接收由省IP網(wǎng)通告的細(xì)化路由。城域網(wǎng)核心路由器應(yīng)采用強(qiáng)制下發(fā)方式將默認(rèn)路由發(fā)送給本地城域網(wǎng)，同時(shí)保證城域網(wǎng)核心直連電路的Cost值小于所有其他城域網(wǎng)核心之間可能存在路徑的Cost值。

·業(yè)務(wù)閑時(shí)實(shí)施割接，保證城域網(wǎng)單核心上聯(lián)骨干網(wǎng)及省網(wǎng)電路能夠承載全部業(yè)務(wù)。

·調(diào)整城域網(wǎng)路由策略，防止城域網(wǎng)將省內(nèi)詳細(xì)路由廣播給骨干網(wǎng)，導(dǎo)致全部出省流量穿行扁平化城域網(wǎng)。

·優(yōu)化BRAS地址池，盡量采用多段地址，避免連續(xù)大段地址作為單臺(tái)BRAS地址池，防止業(yè)務(wù)忙時(shí)上聯(lián)電路因回程流量不均衡出現(xiàn)擁塞。

圖7 應(yīng)急預(yù)案實(shí)現(xiàn)方法

4 結(jié)束語(yǔ)

在全省14個(gè)地市成功地實(shí)施了扁平化改造，遼寧聯(lián)通互聯(lián)網(wǎng)的結(jié)構(gòu)更加清晰，路由策略更加科學(xué)合理；在減少網(wǎng)絡(luò)層次、優(yōu)化網(wǎng)絡(luò)性能的同時(shí)，節(jié)約了大量的設(shè)備投資。