運(yùn)營(yíng)商寬帶承載網(wǎng)低時(shí)延架構(gòu)研究

李志鵬

（中國(guó)移動(dòng)通信集團(tuán)福建有限公司泉州分公司，福建 泉州 362000）

0 引言

隨著多年寬帶網(wǎng)絡(luò)的發(fā)展，我國(guó)寬帶用戶(hù)數(shù)已將近5億，用戶(hù)帶寬已向100M、200M、500M普及，各大運(yùn)營(yíng)商更是提出了千兆寬帶大發(fā)展的口號(hào)，寬帶用戶(hù)的接入帶寬已不再是主要問(wèn)題[1]。高清影音、網(wǎng)絡(luò)游戲、VR等互聯(lián)網(wǎng)應(yīng)用應(yīng)運(yùn)而生，影響用戶(hù)感知的問(wèn)題點(diǎn)已經(jīng)從帶寬不足轉(zhuǎn)變?yōu)榭D、延時(shí)。以游戲?yàn)槔跁r(shí)延60ms以下感知為較好，時(shí)延30ms以下感知為流暢。因此，在各大運(yùn)營(yíng)商將寬帶用戶(hù)滿(mǎn)意度作為重要考核指標(biāo)的背景下，提高寬帶用戶(hù)使用感知成了首要目標(biāo)，而降低寬帶承載網(wǎng)的時(shí)延成為了主要抓手。

提升寬帶用戶(hù)感知，降低網(wǎng)絡(luò)時(shí)延，需要從云、管、端三個(gè)維度進(jìn)行優(yōu)化調(diào)整。云，主要體現(xiàn)在運(yùn)營(yíng)商內(nèi)容引入、CDN調(diào)度等方面。管，主要體現(xiàn)在寬帶城域網(wǎng)、寬帶骨干網(wǎng)和基礎(chǔ)傳輸網(wǎng)絡(luò)等方面。端，主要體現(xiàn)在用戶(hù)側(cè)的接入光貓、Wifi、PC、手機(jī)、遠(yuǎn)端服務(wù)器等方面。從以上三方面著手，結(jié)合福建移動(dòng)寬帶承載網(wǎng)特點(diǎn)進(jìn)行針對(duì)性的優(yōu)化調(diào)整，從而有效降低網(wǎng)絡(luò)時(shí)延，提供大流量、低時(shí)延的寬帶承載網(wǎng)[2]。

1 網(wǎng)絡(luò)分析

端到端傳輸時(shí)延=用戶(hù)接入傳輸時(shí)延+運(yùn)營(yíng)商省內(nèi)網(wǎng)絡(luò)時(shí)延+運(yùn)營(yíng)商省外網(wǎng)絡(luò)時(shí)延。目前寬帶用戶(hù)訪問(wèn)互聯(lián)網(wǎng)電視、IDC資源、CDN等大部分資源均在本省，流量75%左右流量在本省內(nèi)流轉(zhuǎn)，僅25%出省，因此做好省內(nèi)時(shí)延優(yōu)化即可有效提高用戶(hù)感知。

用戶(hù)接入傳輸時(shí)延問(wèn)題已經(jīng)隨著光網(wǎng)絡(luò)的高度覆蓋而解決了，PON接入時(shí)延較固定，且控制在了1～2ms之間。

運(yùn)營(yíng)商省內(nèi)網(wǎng)絡(luò)時(shí)延主要分為兩點(diǎn)：（1）省內(nèi)傳輸時(shí)延：傳輸多路徑保護(hù)的要求，造成地市出口至省級(jí)核心節(jié)點(diǎn)路徑長(zhǎng)短不一。以地市C為例，出口MB路由器至省干A市和B市的PB路由器雖然都只有1跳，但是傳輸路徑長(zhǎng)短并不相同。經(jīng)過(guò)測(cè)試，C市移動(dòng)分公司至省干A市節(jié)點(diǎn)、省干B市節(jié)點(diǎn)的傳輸最短路徑距離約200Km，最長(zhǎng)路徑距離約2000Km，相差1800Km可造成單向時(shí)延差別在9ms左右，若數(shù)據(jù)包來(lái)回路徑均相同，則最大時(shí)延差別可達(dá)18ms，將極大影響指標(biāo)數(shù)據(jù)和用戶(hù)網(wǎng)絡(luò)使用感知。（2）省內(nèi)IP路由迂回：IP路由迂回造成訪問(wèn)網(wǎng)絡(luò)資源經(jīng)過(guò)的路由跳數(shù)增多，造成時(shí)延增大。如圖一，D市出口路由器MB訪問(wèn)A市省干PB下帶的網(wǎng)絡(luò)資源有兩條IP路由，按照地市出口負(fù)載均衡的現(xiàn)狀，原則上50%流量走A市方向，50%流量走B市方向。若走A市方向，則可以直接到達(dá)。若走B市方向，則需要經(jīng)過(guò)B市省干路由器PB再轉(zhuǎn)發(fā)至A市省干路由器PB。經(jīng)過(guò)測(cè)試，這兩種情況最大時(shí)延差可達(dá)20ms。

圖1 地市位置示意圖

綜合以上多方面分析，通過(guò)三方面優(yōu)化時(shí)延指標(biāo)：（1）網(wǎng)絡(luò)各個(gè)層級(jí)7*24小時(shí)ping測(cè)，記錄時(shí)延指標(biāo)，針對(duì)時(shí)延突增的情況進(jìn)行故障工單下發(fā)，及時(shí)解決時(shí)延異常問(wèn)題。（2）優(yōu)化傳輸長(zhǎng)短路徑帶來(lái)的時(shí)延不一致的問(wèn)題。（3）優(yōu)化IP路由問(wèn)題，解決路由迂回跳數(shù)增多引起的時(shí)延增加問(wèn)題[3]。

2 優(yōu)化方案

2.1 網(wǎng)絡(luò)各層級(jí)時(shí)延監(jiān)控

省內(nèi)寬帶網(wǎng)絡(luò)設(shè)備從接入PON網(wǎng)絡(luò)到省網(wǎng)路由器經(jīng)過(guò)：OLT-BRAS-MB（地市出口路由器）-PB（省網(wǎng)路由器）。通過(guò)CMNET網(wǎng)管系統(tǒng)，每5分鐘分別SSH方式登陸B(tài)RAS、MB、PB設(shè)備，對(duì)直連的下一級(jí)設(shè)備進(jìn)行ping測(cè)試，測(cè)試數(shù)量為10個(gè)包。經(jīng)過(guò)各個(gè)層級(jí)分析測(cè)試，OLT-BRAS段落ping時(shí)延平均不超過(guò)3ms；BRAS-MB段落由于各個(gè)區(qū)縣BRAS至地市核心節(jié)點(diǎn)距離不同，時(shí)延略有差異，但平均值都在4ms以?xún)?nèi)。MB-PB段落由于傳輸長(zhǎng)短路徑問(wèn)題，時(shí)延在5ms-20ms之間，取決于數(shù)據(jù)走在哪條傳輸路徑上。

有了以上監(jiān)測(cè)系統(tǒng)和經(jīng)驗(yàn)值，構(gòu)建一個(gè)7*24小時(shí)時(shí)延監(jiān)測(cè)機(jī)制，當(dāng)連續(xù)兩個(gè)周期平均值超過(guò)經(jīng)驗(yàn)值的50%，即認(rèn)為異常，進(jìn)行故障工單派發(fā)，維護(hù)人員介入處理。

2.2 傳輸長(zhǎng)短路徑優(yōu)化

2.2.1 結(jié)構(gòu)分析

優(yōu)化前，網(wǎng)絡(luò)結(jié)構(gòu)特征如下：（1）福建移動(dòng)省網(wǎng)PB為雙核心，分別在A市和B市。地市核心MB到省網(wǎng)核心PB之間口字型組網(wǎng)，兩條IP鏈路IGP路由Cost值相同。（2）MB-PB之間多條物理鏈路聚合成Trunk，成員鏈路使用傳輸無(wú)保護(hù)電路承載。（3）流量從BAS負(fù)載分擔(dān)到兩臺(tái)MB，在MB-PB的兩個(gè)Trunk之間進(jìn)行負(fù)載分擔(dān)，同一個(gè)Trunk的不同成員口之間也進(jìn)行負(fù)載分擔(dān)。

問(wèn)題點(diǎn)較為突出：（1）MB-PB的兩條雙歸路徑，雖然IP路由等價(jià)皆為最優(yōu)，由于底層傳輸路徑不同，存在路徑長(zhǎng)短差異進(jìn)而造成時(shí)延不同。（2）同時(shí)同一Trunk的成員鏈路由于不同傳輸路徑也導(dǎo)致時(shí)延不同。

通過(guò)建立一個(gè)智能化流量調(diào)度系統(tǒng)，實(shí)現(xiàn)IP層與傳輸層的聯(lián)動(dòng)，將時(shí)延敏感業(yè)務(wù)通過(guò)網(wǎng)內(nèi)疏導(dǎo)至最短路徑，達(dá)到端到端最短傳輸時(shí)延，并具備故障與性能劣化下的自動(dòng)調(diào)整，確保平日最優(yōu)，故障不堵。

2.2.2 調(diào)度策略

（1）優(yōu)先保障一類(lèi)業(yè)務(wù)和重點(diǎn)區(qū)域的流量承載在 IP最優(yōu)路由+傳輸短路徑。一類(lèi)業(yè)務(wù)暫定為：DNS、AAA；二類(lèi)業(yè)務(wù)暫定為：IDC、CDN、網(wǎng)吧、游戲；三類(lèi)業(yè)務(wù)：其它業(yè)務(wù)。重點(diǎn)區(qū)域暫定為：A市、B市、C市三個(gè)重要城市。

（2）路徑優(yōu)先級(jí)：IP短路徑+傳輸短路徑 ＞ IP長(zhǎng)路徑+傳輸短路徑 ＞ IP短路徑+傳輸長(zhǎng)路徑。指標(biāo)優(yōu)先級(jí)：網(wǎng)絡(luò)不擁塞（不丟包）＞低時(shí)延＞負(fù)載不均衡。

（3）為確保時(shí)延最優(yōu)，多條鏈路之間平時(shí)可以適當(dāng)降低均衡度，但單條鏈路使用率最大不超過(guò)閾值（如70%，可調(diào)）。如單條鏈路使用率超過(guò)閾值，則將流量按照次優(yōu)路徑的順序進(jìn)行均衡調(diào)度，直到所有的使用率均不超閾值。同時(shí)，實(shí)現(xiàn)傳輸短路徑故障時(shí)將流量無(wú)縫切換到傳輸長(zhǎng)路徑上。

2.3 IP路由迂回優(yōu)化

2.3.1 地理和網(wǎng)絡(luò)特點(diǎn)

福建省城市特點(diǎn)為：AB市雙核，ABC市三大中心城市。福建省陸地面積12.14萬(wàn)平方公里，福建公司下轄9個(gè)地市公司。省內(nèi)三大中心城市為A市、B市、C市，均位于福建沿海，省會(huì)A市位于福建北部，B市位于福建南部，C市位于AB市之間，A市和B市兩大城市之間的距離為360公里。福建移動(dòng)CMNET九地市核心出口路由器共18臺(tái)MB組成。每個(gè)地市2臺(tái)MB以口字型接入省網(wǎng)A市和B市的PB路由器。省內(nèi)有A市、B市、C市三大IDC機(jī)房，每個(gè)IDC機(jī)房均由兩臺(tái)出口路由器V字型上聯(lián)至省網(wǎng)兩臺(tái)PB[4]。

在當(dāng)前網(wǎng)絡(luò)架構(gòu)下，以城域網(wǎng)與IDC互訪流量模型為例，D市城域網(wǎng)訪問(wèn)A市IDC，城域網(wǎng)側(cè)與IDC均為負(fù)載分擔(dān)，有2種路徑：

路徑1=（圖二1-1）+（圖二1-2）=（D市-A市）+（A市-A市），物理距離為177km，時(shí)延為3ms；

路徑2=（圖二2-1）+（圖二2-2）=（D市-B市）+（B市-A市），物理距離為911km，時(shí)延為19ms；

圖2 A、D 市互訪流量模型

路徑1的時(shí)延是路徑2的6.3倍，可以看出路徑2不合理，為次優(yōu)路由。但CMNet為大流量網(wǎng)絡(luò)，為了節(jié)約投資，路徑1和路徑2無(wú)法做成主備，必須負(fù)載均衡。

無(wú)論在路由層面進(jìn)行何種設(shè)計(jì)，都無(wú)法同時(shí)滿(mǎn)足城域網(wǎng)和IDC兩邊路由最優(yōu)和負(fù)載均衡的要求，這是目前網(wǎng)絡(luò)結(jié)構(gòu)下無(wú)法克服的弱點(diǎn)。各地市城域網(wǎng)MB與福廈雙核心PB路由器口字型組網(wǎng)，地市IDC與福廈雙核心PB用V字型組網(wǎng)，再加上負(fù)載均衡，鏈路已經(jīng)注定會(huì)部分次優(yōu)。既然如此，就需要對(duì)這部分網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整。通過(guò)分析各個(gè)省份和各個(gè)運(yùn)營(yíng)商的網(wǎng)絡(luò)結(jié)構(gòu)，再結(jié)合福建移動(dòng)自身特點(diǎn)，提出了使用4臺(tái)PB路由器+地市雙V字型的路，改造前后對(duì)比如圖3：

優(yōu)化后的結(jié)構(gòu)可同時(shí)滿(mǎn)足城域網(wǎng)和IDC兩邊路由最優(yōu)和負(fù)載均衡的要求。本優(yōu)化建議方案，除了可以解決省內(nèi)用戶(hù)（含4G、寬帶、專(zhuān)線等）與南北數(shù)據(jù)中心互訪的時(shí)延問(wèn)題以外，還可以大幅降低省內(nèi)用戶(hù)與所有省級(jí)平臺(tái)（如DNS、省級(jí)CDN節(jié)點(diǎn)、互聯(lián)網(wǎng)電視省級(jí)中心平臺(tái)）互訪的時(shí)延。

圖3 結(jié)構(gòu)優(yōu)化前后對(duì)比

3 優(yōu)化效果

通過(guò)7*24小時(shí)各個(gè)層級(jí)監(jiān)控，全省平均每個(gè)月約可發(fā)現(xiàn)10起左右的時(shí)延異常問(wèn)題，主要集中在傳輸通道誤碼、設(shè)備CPU過(guò)高、環(huán)路這幾個(gè)主要影響因素。通過(guò)監(jiān)控及時(shí)發(fā)現(xiàn)，立即處理，確保網(wǎng)絡(luò)正常穩(wěn)定運(yùn)行。

通過(guò)區(qū)分業(yè)務(wù)等級(jí)，保障高優(yōu)先級(jí)業(yè)務(wù)享受低時(shí)延的地市出口鏈路，普通業(yè)務(wù)負(fù)載均衡。優(yōu)化前后，一類(lèi)業(yè)務(wù)前后時(shí)延最大可縮短約18ms左右。二類(lèi)業(yè)務(wù)在傳輸短路徑鏈路空閑情況下，同樣最大可優(yōu)化18ms左右。在傳輸短路徑鏈路符合較高情況下，可以使用中路徑鏈路，最大可優(yōu)化10ms左右。可見(jiàn)，重點(diǎn)業(yè)務(wù)的時(shí)延優(yōu)化效果非常顯著[5]。

通過(guò)優(yōu)化地市出口MB、IDC和省網(wǎng)MB網(wǎng)絡(luò)結(jié)構(gòu)，將“二核心，口字型”組網(wǎng)優(yōu)化為“四核心，V字型”組網(wǎng)，從以下幾個(gè)方面達(dá)到了較好效果：

（1）大型IDC出口實(shí)現(xiàn)Mesh互聯(lián)：以A市數(shù)據(jù)中心、B市數(shù)據(jù)中心和泉州大型IDC為中心，增加大城域網(wǎng)到IDC中心直驅(qū)。

（2）網(wǎng)絡(luò)架構(gòu)扁平化：IDC間具備一跳直達(dá)能力等，解決了現(xiàn)網(wǎng)存在的IDC資源分散、網(wǎng)絡(luò)分級(jí)多層、鏈路繞行時(shí)延大的問(wèn)題。

（3）資源復(fù)用高：PB與IDC出口合設(shè)，合理利用設(shè)備資源，增強(qiáng)省網(wǎng)節(jié)點(diǎn)的核心能力。

（4）當(dāng)前全省用戶(hù)訪問(wèn)省級(jí)數(shù)據(jù)中心資源的流量中，流量從優(yōu)化前的平均時(shí)延12.71ms降低到平均時(shí)延7.9ms，降低38%。

4 結(jié)語(yǔ)

通過(guò)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)分析、網(wǎng)絡(luò)指標(biāo)監(jiān)控、網(wǎng)絡(luò)業(yè)務(wù)等級(jí)分類(lèi)等創(chuàng)新手段，構(gòu)建了一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)合理、重點(diǎn)業(yè)務(wù)優(yōu)先保證的省內(nèi)寬帶承載網(wǎng)。在新興業(yè)務(wù)發(fā)展，云網(wǎng)融合的大背景下，業(yè)務(wù)發(fā)展與網(wǎng)絡(luò)質(zhì)量并行，為廣大用戶(hù)提供低時(shí)延的網(wǎng)絡(luò)服務(wù)，進(jìn)一步提升用戶(hù)使用感知。