基于SD-WAN的大型建筑企業全球廣域網絡組網研究

文｜黃從治 金海嘯

一、引言

隨著國家“一帶一路”戰略的深入推進，大型建筑央企全球業務規模日益壯大，分支機構、項目部數量隨之增加，各種業務對網絡的需求與依賴也隨之增加,傳統的互聯網和企業點對點專線組網方式難以應對分布于非洲、南美洲、中東、南亞等基礎設施欠發達地區項目分支的數據交互。在對建筑央企2000多名海外從業人員的問卷調研中，有90%的人員反應網絡速度慢、穩定性差，很難與國內辦公、財務和生產業務系統進行高效通訊，且多數項目分支均無網絡安全防控措施，存在一定的信息安全風險。因此通過研究Overlay組網、廣域網優化、網絡虛擬化和軟件定義網絡等技術，與企業WAN深度融合，修建基于SD-WAN的全球化高品質數據傳輸鏈路，解決“最后一公里”的網絡通達問題，為企業海外業務開展、員工日常辦公提供穩定、高效的信息化支撐，提升海外人員業務訪問體驗和辦公效率，保障數據傳輸安全具有十分必要和急迫的現實意義。

二、整體架構設計

基于SD-WAN的全球廣域網絡建設的整體思路是通過將SDN、NFV技術與MSTP、MPLS、Internet等WAN鏈路融合，以服務企業數字化轉型為目標，支撐各類生產、辦公數據高效、穩定、安全傳輸，解決大型建筑企業項目分散、流動性強、生命周期較短、所處地區基礎設施欠發達而造成的互聯成本高，網絡部署效率低、業務應用時間長的問題。

整體架構如圖1所示，由上至下為管理平面、控制平面和網絡平面。

圖1 SD-WAN整體架構

管理平面包含配置管理層和業務編排層兩部分，配置管理層實現統一對全網進行集中管理和快速變更配置，包含全網分支設備配置管理、策略模版管理、Auto VPN、SD-WAN智能選路模版管理、分支設備批量升級管理等；業務編排層實現對全網質量監控數據的狀態展示和實時告警，并同步提供定制化API接口對接第三方網管平臺。

控制平面具有貫通南北向的作用，包含管理隧道、配置下發、狀態上報等功能，分支設備要接受管理平臺的集中管控，首先需要同管理平臺創建管理隧道。分支CPE和管理平面之間創建完管理隧道后，管理平臺即可向全網的分支下發配置。分支設備也可利用管理隧道定期上報設備狀態信息和告警信息給集中管理平臺做業務數據編排。

網絡平面是整體架構的軀干，包含各種常見的網絡設備和WAN鏈路，具體可分為物理網絡和虛擬網絡。物理網絡即Underlay網絡，主要指運營商提供的SDH、MSTP專線及Internet互聯網等WAN。虛擬網絡即Overlay網絡，通過引入Overlay虛擬化技術，SD-WAN在物理網絡上構建一張或者多張虛擬的Overlay網絡，業務策略部署在虛擬網絡上，與物理網絡脫離，從而將業務的復雜度和WAN互聯的復雜度解耦，服務于不同用戶或業務，是網絡平面的核心組網技術。

三、關鍵技術研究

搭建高效、穩定、安全、靈活的廣域網絡平臺，需綜合研究運用SD-WAN的重點關鍵技術包括：

（一）SDN軟件定義網絡和Overlay技術融合

依托SDN控制器與傳統企業WAN技術結合，融入路由、QOS、安全、業務編排等技術，實現WAN自動化配置、集中控制管理，提高網絡健壯性、靈活性，提升鏈路利用率，降低整體成本。

傳統的網絡架構采用分布式控制、系統封閉，其控制功能和數據轉發功能緊耦合。這種網絡架構靈活性差，對網絡設備商的依賴性非常強，運維和管理復雜。SDN讓代表業務的應用可以參與對網絡的控制管理，增強業務的敏捷性，同時提升網絡運維效率，分為應用層、控制層和基礎設施層。應用層包含組織使用的典型網絡應用或功能；控制層代表集中式SDN控制器軟件，充當軟件定義網絡的大腦，在服務器上管理整個網絡的策略和流量；基礎設施層由網絡中的物理交換機、路由器等設備組成，執行網絡流量轉發，這三層使用各自的北向和南向API進行通信。SDN在企業云數據中心網絡（LAN）中應用較成熟，但企業廣域網（WAN）應用場景較少。企業應積極應用SDWan技術，在試用MSTP、MPLS專線外，因特網上實現軟件定義企業廣域網絡，通過Overlay和VPN技術實現混合WAN互聯（如圖2），以有效降低署成本并改善使用效率。

圖2 混合WAN架構

Overlay技術是一種物理網絡架構上疊加的虛擬化技術模式，借助IP隧道封裝技術，使業務流量被封裝在隧道內，以實現流量在不同WAN鏈路的透明穿越，其具有獨立的控制和轉發平面。VPN技術一般是通過在IP報文中增加額外的VPN字段來實現不同網絡域的標識，最終達到企業私有化網絡和運營商公共網絡。本次研究的融合VPN技術使用隧道加密技術（DES、3DES、AES128、AES256等）對數據包進行加密傳輸，構建的Overlay隧道支持采用網絡編輯技術Auto VPN實現隧道的自動化構建，并通過隧道監測和智能選路實現對物理線路被挖斷、廣域網網絡傳輸故障等網絡中斷情況進行秒級切換，實現網絡高可靠。

（二）在N F V網絡功能虛擬化基礎上豐富站點CPE綜合能力

在SD-WAN網絡中，各個分支機構將作為站點被SDN控制器納管并進行業務編排，為了實現各站點之間的網絡通信，需要部署實際的邊緣網絡設備（CPE）。傳統CPE通常包含主板、接口卡、多核CPU以及各種硬件組件，提供二層交換和三層路由功能。隨著企業業務類型的增加，基本的路由轉發功能已經不能滿足企業的業務需求，企業需要部署網絡安全、行為管理、流量加速、負載均衡等業務，然后這些業務的使用均需要購買相應的專有硬件設備，從而導致在全球范圍內部署變得異常復雜，也不便于整體維護。隨著云計算和NVF技術的發展，傳統的專有硬件設備都已經具有了軟件化的形態，將網絡設備、計算、存儲等資源作為基本組成元素，通過一體機的方式承載分支機構的IT網絡建設，降低設備的成本和能耗，實現靈活快速的業務發放。具體架構如圖3。

圖3 CPE架構

CPE設備軟件架構主要包含計算虛擬化、網絡設備虛擬化和存儲虛擬化三大組件，同時通過SDN控制器南向接口被整體納管，是SD-WAN網絡中的核心組成部分。

在CPE設備上實現計算資源虛擬化，使CPE設備具備抽象解耦和分區隔離的優勢。給每一臺虛擬機分配適量的內存、CPU、網絡和磁盤，并加載所有虛擬機的客戶操作系統。常見的Hypervisor分兩類，本方案主要采取裸金屬型。

在CPE設備中通過NFV技術，將網絡資源統一池化，最終希望實現超融合架構中網絡資源的靈活定義、按需分配、隨需調整。NFV與SDN有很強的互補性，NFV增加了功能部署的靈活性，SDN可進一步推動NFV功能部署的靈活性和方便性。

存儲虛擬化基于分布式文件系統Glusterfs進行定制研發，并作為CPE架構中的重要組成部分，融合了分布式緩存、SSD讀寫緩存加速、多副本機制保障、故障自動重構機制等諸多存儲技術，能夠滿足關鍵業務的存儲需求，保證業務高效穩定可靠的運行。

（三）廣域網優化技術

大型建筑企業的應用種類繁多，包括視頻會議、OA辦公、電子郵件、財務共享、一體化平臺、項目綜合管理系統等。不同類型的應用對帶寬和鏈路質量的要求各不相同，例如視頻會議對鏈路的丟包率、時延、抖動容忍度非常低，一旦出現丟包就會導致卡頓花屏；而電子郵件對丟包率相對不敏感。通過應用識別、選路、QOS方案等可以實現不同價值應用運行在不同鏈路上，解決鏈路質量下降時的動態選路和鏈路優化問題。

抗丟包技術包括單路徑FEC、單路徑A-FEC（自適應向前糾錯）、多路徑包復制和多路徑FEC等。通過代理攔截指定的數據流，按照一定的算法編碼生產冗余校驗包，CPE把VoIP報文的原始包和冗余校驗包發送到對端，由接收端CPE進行校驗，通過校驗包還原丟失的原始包，并結合智能選路技術，選擇最合適的鏈路進行傳輸。

數據去重技術要最大化利用現有帶寬資源，可基于緩存技術，通過在兩端站點部署數據去重功能，對傳輸數據進行緩存、分塊并建立索引，繼而優化下一次傳輸內容（相同數據只傳輸索引即可找到數據緩存），減少傳輸數據量，提升帶寬利用率。

通過緩存和合并技術可以加速網頁訪問速度。緩存技術在本地用戶第一次訪問網站時就將文本、圖片等文件下載到本地CPE設備，后續本地用戶訪問時可以直接從本地調取。通過合并技術實現對網頁上的文件批量獲取，通過一次HTTP請求即可獲取所有文件，減少HTTP交互時延。

四、廣域網平臺功能

根據SD-WAN網絡設計理念，結合大型建筑企業業務特點和全球分支機構分布情況，廣域網絡設計。

整體網絡基于分層拓撲模型設計，結合企業分支機構分布情況，在總部數據中心部署SDN控制（SD-WAN集中管理平臺），在歐洲、非洲和南美洲建立網絡匯聚中心，通過MPLS專線實現與數據中心的網狀互聯（Fullmesh）。根據業務情況和分支機構需求，在各區域內采用星型組網拓撲（Hub-spoke），同時在各分支部署具備防火墻、路由器、交換機、廣域網加速、北斗定位等功能的組網一體機設備（CPE），基于因特網和4G、5G移動互聯網的Underlay網絡，構建Ipsec vpn隧道的Overlay網絡，通過應用智能選路、QOS方案、廣域網加速等技術實現數據高效、穩定、安全傳輸。具體有如下功能：

（一） 融合多種WAN鏈路，實現集中管控

SD-WAN組網支持包括所有IP三層可達的物理網絡，包含MPLS VPN、MSTP專線、Internet、LTE等類型的網絡或者混合網絡。CPE設備支持以網關模式或者旁路模式部署在分支原有的網絡當中，統一通過部署在總部或者數據中心的SD-WAN控制器進行網絡編排和策略管理，并可集中和分級顯示全球一張網的狀態。

（二）設備快速開局、靈活部署

SD-WAN組網支持“零接觸”部署，也就是設備即插即用的易部署，即不需要IT人士現場支持，只需部署邊緣設備，插上通信鏈路，接入電源，設備即可通過集中管理設備自動下載指定配置和策略，實現簡化靈活部署。

（三）智能應用選路和廣域網優化

基于SD-WAN的全球廣域網絡具有VPN通道和默認通道雙通道能力，可分別承載VPN應用流量、上網應用流量。同時，通過廣域網優化技術提升網絡容錯性，以保障數據傳輸的質量，提升應用訪問體驗。

（四）全網設備和鏈路統一管理，簡單易運維

SD-WAN集中管理平臺可實現全網的集中管理和可視化呈現，全網質量監控模塊包含Underlay監控中心、Overlay監控中心和故障告警中心三大核心模塊。Underlay監控包含針對分支的硬件使用狀態展示與部署位置分布；Overlay監控包含隧道的質量狀態監控（連通性狀態和QOE狀態等信息）；故障告警中心可對分支站點設備進行設備狀態和隧道狀態的告警設置，當分支出現故障異常，分支通過管理隧道主動上報告警信息到SD-WAN集中管理平臺，再由工單系統通知運維管理員進行故障處理。

五、試點應用和成效

基于SD-WAN的廣域網絡平臺綜合應用于某建筑行業大型央企，在全球范圍內建設了網絡匯聚中心，在分支機構部署了邊緣CPE設備，實現了網絡高效、穩定、安全的傳輸。典型應用場景如下：

在歐洲某地建立了海外網絡匯聚中心，開展了網絡設備的上架、安裝、調試，并拉通了回國的MPLS專線，并將相應設備統一納管至總部SD-WAN集中管理平臺。

建設初期，某海外網絡匯聚中心SD-WAN接入流量匯聚情況統計，數據顯示流量上升趨勢，如圖5所示。

在某海外分支機構部署了C P E設備，通過S DWAN廣域網絡訪問總部數據中心系統效果明顯優于以往網絡模式，連續ping1000個數據包顯示延時從371ms下降到257ms，丟包率從2.6%下降到0.8%。

六、結語

依托SDN、NFV和廣域網加速技術，研究設計基于SD-WAN的大型建筑企業全球廣域網絡，解決了建筑企業全球分支機構系統使用需求，將網絡延伸至了最后一公里，打通了數據回國鏈路，提升了視頻會議、OA辦公和財務共享等應用訪問體驗，實現了全球業務數據高效、穩定、安全傳輸，主要解決了三個問題。

圖4 某海外網絡匯聚中心SD-WAN接入流量統計圖

第一，融合專線、因特網等多種WAN鏈路，降低企業網絡互聯成本。大型建筑企業海外分支機構數量眾多，國際專線租賃費用昂貴，如采用傳統專線方式覆蓋各分支機構將付出巨大的帶寬租賃成本，而單純采用成本較低的因特網訪問國內業務延遲高、效果差。通過Overlay技術，結合SDN控制器和智能選路技術，不同場景使用不同WAN鏈路，可以矩陣式降低綜合鏈路租賃成本。

第二，通過NFV和廣域網加速技術，降低設備投入成本，解決分支機構網絡部署難問題，提升應用訪問體驗。大型建筑企業海外分支機構數量多、分布廣、所處地區基礎設施欠發達，如果采用傳統模式，部署防火墻、路由器、交換機、廣域網加速等設備，將大幅提升設備投入成本和實施部署難度。通過NFV和廣域網加速技術，將防火墻、路由器、抗丟包等功能的專業設備集成為一臺組網一體機，并通過SD-WAN集中管理平臺進行策略下發和統一開局，可以大幅降低分支機構組網難度和投入成本，提升各類應用訪問體驗。

第三，通過SDN控制器集中管理多種WAN鏈路和CPE設備，解決全網運維問題，提升運維和管理效率。上千的海外分支機構缺少統一的集中運維手段，需要大量的本地網絡運維人員，并且傳統的網絡問題越來越不可預測，網絡質量難以保障。通過SD-WAN集中管理平臺南北向接口對業務、設備和鏈路進行統一管理、網絡編排、策略下發和預警監控，能夠有效減少運維人員，提高運維效率，保障全網運行質量。