國家級互聯網骨干直聯點建設方案分析

王建明，唐利莉

（中國移動通信集團設計院有限公司，北京 100080）

1 背景情況

為落實工信部關于設立互聯網骨干直聯點的建設要求，改善我國互聯網絡性能，滿足社會信息服務需求，由工信部統一牽頭組織，各運營商集團公司主管建設，已分別于2010-2017年先后三期進行骨干直聯點的建設工程，在北京、上海、廣州、武漢、成都、南京、西安、沈陽、鄭州、重慶、福建、杭州、貴陽等全國13個城市設立骨干直聯點。

骨干直聯點的開通，保障了我國互聯單位之間的網間通信流量疏通，合理地增設骨干直聯點能夠減少流量長途繞轉，有利于提高網間流量疏通能力，提升網間通信質量，有利于推動云計算、數據中心以及各種互聯網信源向更廣大地區提供互聯網信息服務。

隨機、無序的增設骨干直聯點不僅達不到有效疏通網間流量的效果，反而會引起網絡結構復雜、流量疏導不均衡等不良影響，所以本文旨在通過對標國際網間互聯架構經驗，結合我國互聯網發展實際情況和互聯單位特點，分析增設骨干直聯點對網絡資源、質量等方面的影響，分析后續增設骨干直聯點的必要性和建設方案。

2 現狀概述

2.1 我國網間互聯現狀

我國互聯網的互聯互通主要是指7家全國性互聯單位之間骨干網絡的互聯，即中國電信、中國移動、中國聯通三家運營商和教育和科研網、經貿網、長城網和科技網四家分屬不同行業的互聯單位。

我國互聯網的互聯互通方式是以骨干直連點、交換中心和省內第三方出口實現。其中，骨干直連點主要承載三家運營商以及教育網的網間互訪需求，其他三家互聯單位接入的帶寬較小。

2000年左右，國內建立了北京、上海、廣州3個交換中心，開通帶寬為30 Gbit/s，但由于我國目前獨立AS的網絡較少，接入成員較少，且有一定的接入限制條件，大型運營商缺乏接入動力，所以長期以來實際通過交換中心疏導的網間流量很少。

省內第三方出口以NAT方式為主，現階段全國共有18個省份開通第三方帶寬540 Gbit/s左右，由于第三方出口的網絡質量較差且不穩定，隨著骨干網間結算費用的不斷降低，省內第三方出口逐步再減少。

2.2 發達國家互聯方式

美國國內擁有6張Tier 1骨干網：Verizon、Sprint、AT&T、C&W、Qwest和Level 3。6家Tier 1運營商之間實現對等免費直連，同時向其他ISP、ICP提供轉接服務。

美國互聯網間的互通超過30個城市設有互通節點，其中在8個大型城市設置骨干直聯點，其余城市設置區域性互聯點。美國交換中心多達84個，通過設置交換節點解決多方ISP接入并實現互通、實現本地流量的疏導。

歐洲中小型ISP規模較多，參與互聯的網絡較多，因此交換中心發展較好,交換中心接入的網絡超越美國。歐洲各國有133個交換中心，其中成員數量超過100的大型交換中心有20個。歐洲公益性交換中心發展較好,例如阿姆斯特丹交換中心、倫敦交換中心接入成員數量達到400個，疏導的流量達到1 Tbit/s以上。

2.3 網間互聯方式對比

對比我國與其他國家的網間互聯方式，具體情況見表1所示。

骨干直聯適用于大型ISP之間大帶寬的私有互聯，可方便進行流量控制，我國目前主要以此方式進行網間互聯。

區域性互聯解決本地網間資源互訪，實現本地流量的疏導，美國部分州設置有區域性互聯點。

表1 我國與發達國家網間互聯方式對比

交換中心通常是由中小ISP發起，避免向運營商支付高額的轉接費用，歐美各國運營商、ISP之間比較常用。

第三方出口網絡質量差，經常遭遇關停和封堵，逐步在減少這種方式的互聯。

我國現階段主要以建設骨干直聯點方式進行網間互聯。

2.4 我國網間互聯存在的問題

2.4.1 骨干直聯點擴展性差、帶寬利用率不均衡

互聯雙方通過在同一地區設置骨干直聯點實現兩網直接互聯，能夠滿足大型網絡之間對等互聯或者大型網絡與少數中小網絡之間轉接互聯。但隨著互聯主體不斷增多，可擴展性差的問題愈加突出。

由于各運營商骨干網絡架構策略不同，網間互聯設備部署情況也有存在差別，導致網間互聯設備外側帶寬不對稱，而網絡需要在同節點2臺路由器設備上通過向對端發送不等價的路由（以省為單位）去引導流量，導致帶寬利用率不均衡，且均衡控制比較困難。在設置BGP策略時，需要人為把不同省份的路由通過不同鏈路進行發布，而目前流控系統是以省為單位進行流量調整，顆粒度過大，調整起來比較困難。

2.4.2 交換中心利用率不高

由于我國目前獨立AS的網絡較少，接入交換中心的成員數量也較少，而且以交換中心為互聯方式的各互聯單位仍需雙方商定互通協議，沒有實質性的滿足多網接入的需求，且增加互聯單位額外工作量，所以雖然目前三個交換中心已經開通30 Gbit/s帶寬，但實際通過交換中心疏導的網間流量很少。

2.4.3 第三方出口網絡質量不穩定

由于骨干互聯鏈路結算費用高昂，因此省內通過第三方出口疏通到電信聯通的流量，但經常遭遇對方封堵、關停，導致網絡穩定性差，投訴增加。另外，NAT方式的地址轉換和一個地址對應多個用戶的情況，造成用戶無法正常使用某些業務應用（例如VPN、網游等），降低部分應用的用戶感知。

3 骨干直聯點建設方案分析

中國移動CMNet2017年國內網間流量預測結果顯示，至2021年末，CMNet骨干網總流量將達到261 Tbit/s，預測國內網間流量將達到9.2 Tbit/s，根據流量預測結果判斷，未來5年仍有必要增設骨干直聯點，下面就增設骨干直連點對路由策略、網間質量以及流量均衡等方面的影響進行分析。

3.1 增設骨干直連點對路由策略的影響

增設骨干直連點一方面可以減少骨干網層面的省際流量繞轉，另一方面可緩解周邊直連點的疏導壓力?，F階段我國通過骨干直聯點疏導網間流量的場景大致分兩類，即跨省訪問外網資源和同省訪問外網資源。

場景1，用戶跨省訪問外網資源。以中國移動山西用戶訪問中國電信北京內容提供商為例：增設太原直聯點前，資源下載路由會選擇臨近的鄭州骨干直聯點入網，再由鄭州繞轉至太原。增設后資源下載路徑由太原直連點入網，無需再經過鄭州骨干網繞轉，同時減少了鄭州直連點的疏導壓力。具體情況詳見圖1所示。

場景2，用戶同省訪問外網資源：以中國移動山西用戶訪問中國電信山西內容提供商為例：增設太原直聯點之前，雖然用戶和內容源均在本省，但是請求和下載路徑均需要通過臨近的鄭州骨干直聯點繞轉；增設后，雙向路徑由太原直連點出、入網，無需再經過骨干網繞轉，同時減少了鄭州直連點的疏導壓力。具體情況詳見圖2所示。

隨著未來內容源的不斷發展，同省訪問量增加，可以考慮在省網層面增設區域性直連點。在本省增加省內直聯點后，本省用戶訪問本省CP資源，無需從其他直聯點繞轉，可有效降低骨干網疏導壓力。但做為省內直聯點，僅可以交換本省用戶、CP的路由信息。具體情況詳如圖3所示。

圖1 用戶跨省訪問外網資源情況下增設骨干直聯點路由策略變化示意圖

圖2 用戶同省訪問外網資源情況下增設骨干直聯點路由策略變化示意圖

圖3 增設區域性直聯點路由策略變化示意圖

3.2 增設骨干直連點對網間質量的影響

2017年6月，杭閩貴3個骨干直聯點建成并投入運營，分析增設3個骨干直聯點前后兩個月的撥測數據，從數據上看，增設直連點之后減少骨干網路由繞轉，所以時延略有下降，但分組丟失率并沒有明顯改善，原因為網間質量的優劣同時受本端骨干網質量以及對端網內質量影響，單純靠增設直連點不足以明顯改善網間質量，要整體改善我國骨干網網絡環境才能更有效的提高網間質量。增設骨干直聯點前后網絡質量變化情況詳見圖4所示。

圖4 增設骨干直聯點前后網絡質量變化情況

3.3 增設骨干直聯點對流量均衡的影響

增設骨干直聯點后，將會打破原有流量疏導現狀，原有骨干直連點疏導區域需做調整，每增加一個骨干直聯點，需要網管系統重新配置一次路由策略，勢必會增加流量均衡的復雜性和數據配置工作量。

隨著網絡流量控制技術的不斷發展，針對現網流量不均衡問題建議考慮引入基于SDN的RR+解決方案設計思路，此方案可以通過統一操作界面，實現網絡狀態和流量可視，全局計算并選擇最優路徑，而后通過命令行界面（CLI）、 Netconfig等進行配置執行自動調度，從而實現對拓撲和BGP的關系管理，按照流量調整要求生成新的BGP路由策略下發給設備，達到提升和均衡帶寬利用率的目的，同時還能達到自動化維護、簡化管理運維的目的。

3.4 增設骨干直聯點利弊分析

增加骨干直聯帶寬可以有兩種方式：一是在現有骨干直聯點增擴帶寬；二是通過增加新的骨干直聯點增加帶寬。如果在現有骨干直聯點上增擴帶寬，現有路由組織基本維持不變；如果采用新增加骨干直聯點方式，網絡架構和路由需要進行調整，但可減少新增直聯點所在省份的網間流量繞轉，降低業務時延，提高用戶業務體驗。增設骨干網間直聯點的利弊分析詳見表2所示。

4 骨干直聯點建設方案建議

骨干直聯點是我國互聯網網間互聯架構的頂層關鍵環節，需國家工信部統籌設計，各互聯單位應嚴格按照工信部的統一部署，結合各自骨干網發展狀況，根據各省帶寬需求，分批、有序的建設，并且需要控制骨干直聯點數量，避免重復建設。

現網13個骨干直聯點部署在我國東北、華北、華中、華南、西南和西北六片區，開通帶寬能力達到2 Tbit/s，無論是從分布區域還是從承載能力角度來講，現階段骨干直聯點可以滿足分片覆蓋、就近疏導原則。因此，不建議后續再大量增設骨干直聯點，尤其是在傳輸條件和網絡質量較差的區域。如個別省份確實有增設需求，議在符合下列條件的地區可以適當考慮增設骨干直聯點。

表2 增設骨干網間直聯點利弊情況

（1）在骨干網網絡核心節點，便于匯聚鄰近省的網間流量需求；

（2）政府和骨干網互聯單位重點支持的區域；

（3）寬帶用戶和信源發展好及發展潛力大的區域。

從建設管理角度分析，由于骨干直聯點設備屬于各運營商骨干網自治域內，運行同一個域內路由協議，需要統一的流量疏導策略規劃和優化。因此原則上應該由各運營商集團公司統一管理建設，建議作為集團主管項目進行建設，也便于與工信部以及對端運營商的協調。

5 結語與展望

現階段由于我國互聯網環境的特殊性，仍會是以骨干直聯點為主要疏導途徑，有效、合理的增設骨干直聯點能使網絡更優，效率更高。與此同時，隨著騰訊、阿里等互聯網企業飛速成長，隨著這些新型互聯單位和ISP服務商的不斷發展，勢必會形成大量的接入需求，能夠承載多元化網絡接入的“新型”交換中心勢必會成為未來網間互聯互通的發展趨勢。

我國未來網間互聯架構的設計思路是骨干直聯點+“新型”交換中心的多層次組網方式，即在設置有骨干核心節點的城市設置骨干直聯點，實現運營商之間對等免費直連，同時向其他ISP、ICP提供轉接服務；其他城市根據網絡環境情況設置“新型”交換中心，通過設置交換節點解決多方ISP接入并實現互通、實現本地流量的疏導。兩種方式相結合，分層次疏導各互聯單位的網間流量，實現“多層次、全方位、立體化”的目標架構。

未來我國互聯網實現互聯互通將會是以骨干直聯點+“新型”交換中心為主要方式。怎樣將建成的骨干直連點與“新型”交換中心有機結合，既能避免浪費資源，又能合理的發揮各自的優勢，形成網絡架構先進、建設方式合理的網間互聯互通方式是我們需要不斷研究的課題。