SD-WAN 隧道技術與組網模式

牛佳，顏永明，林志華

（中國電信股份有限公司上海分公司，上海 200085）

1 引言

隨著互聯網數據中心業務和云業務的高速發展，越來越多的企業開始不滿足于基本的網絡解決方案，SD-WAN（software-defined wide area network，軟件定義廣域網）是軟件定義網絡（SDN）技術進一步在廣域網中的應用，近年逐漸進入人們的視線。在其出現之前，傳統企業多使用Internet 加密或者專線，搭建總部與分支機構的互聯互通網絡實現內部數據的同步與共享，對網絡層與應用層的交互聯系沒有那么密切的高要求。

2 SD-WAN 現狀

2.1 SD-WAN 與傳統專線的比較

2.1.1 傳統專線特點

如今，越來越多的用戶選擇最新的SD-WAN作為網絡組網方案首選。因為與傳統MPLS-VPN專線相比，SD-WAN 兼顧了企業用戶對于成本低廉、組網靈活、質量優質的訴求。

傳統的MPLS-VPN 專線難以在網管系統/平臺上實現集中配置下發，缺乏對大規模設備進行遠程管理的手段。其中，MPLS-VPN 專線必須在局端開通配置，必須由運營商分配RT（route target，路由目標）、RD（route distinguisher，路由區分符）的值，用戶的配置必須和運營商PE（provider edge，邊緣路由器）的參數匹配，運營商轉發設備需全程支持MPLS 標簽化，業務實現必須完全依賴運營商資源。

2.1.2 SD-WAN 與傳統專線相比的優勢

諸多限制因素，導致MPLS-VPN 沒有辦法滿足配置簡化、靈活性的需求。而SD-WAN 能實現命令的集中下發，采用網管側預配置、終端側零接觸配置，可免去對各分部終端的煩瑣配置。在新增功能時，迭代開發簡單，能在配置后臺管理界面中集中查看設備的告警信息以及各個鏈路的狀態。

同時，SD-WAN 可實現隨選路由加載選擇最優的分發路徑。通過多網絡隨選和傳送質量加強等功能，解決了傳統Internet 傳輸不穩定，時常出現的時延丟包、質量劣化等問題。另一方面，SD-WAN繼承了Internet 組網的優勢，克服了專線租用獨用通道成本高昂、配置開通時間周期較長等問題。

此外，SD-WAN 提供了對網絡進行軟件編程，完整地實現了網絡端到端、CPE 到CPE 側的實時監控、調整能力，可實現網絡和相關業務的快速部署和運維，為用戶提供高效快速的業務配置開通和配置變更能力。

2.2 運營商SD-WAN 組網優勢

2.2.1 運營商的運維優勢

理想化的SD-WAN 運維方式是實現一體化開通，只需上門一次，就能同時完成Internet underlay網絡以及SD-WAN 設備和overlay 的線路開通。

在運維方面，SD-WAN 運維需要具有全局各層級的視角，能實現overlay 和underlay 網絡的一體化監控維護，可以同步檢測underlay、overlay網絡，準確判斷故障點及劣化點，縮短故障處理時間，確保用戶網絡始終處于高可用、高質量的水平。

2.2.2 運營商的網絡覆蓋優勢

在網絡覆蓋范圍方面，使用遍布全國的云計算服務，能快速實現全國幾十個SD-WAN POP 點的云化組網，充分利用SD-WAN 中的軟件定義的控制器（controller）實現對控制和管理平面的統一編排，并作為第一認證和注冊點，對SD-WAN的配置進行管理，集中管理配置策略模板。全國組網的POP 點能實現對各地的全覆蓋。部署上線順利運行后，一支遍布全國的高水準、規范化、高效率的7×24 h 數據網絡維護團隊也是SD-WAN穩定運維的基礎。

在用戶越來越關注網絡組網高性價比的趨勢下，傳統的Internet 和網絡專線已無法滿足用戶專網組網的需求。隨著越來越多的用戶優先選擇SD-WAN 組建專網，電信運營商的傳統專線業務也受到沖擊。在此背景下，各大電信運營商開始著手構建自己的SD-WAN，通過對SD-WAN 技術深入研究，對相關廠商設備開展測試，形成自己的組網方案，搭建體現電信運營商優勢的SD-WAN，實現規模商用運營，很好地滿足了不同層次的用戶需求。

2.3 SD-WAN 的技術特征

2.3.1 軟件定義網絡控制器

SD-WAN 最基本的技術特征在于軟件定義、軟件控制，可以通過可視化的Web 界面實現企業WAN 的網絡狀態可視化，提供頁面進行智能自動化的能力，對用戶端CPE 網絡設備的性能狀態做到實時性能監控。過去，傳統的網絡部署架構比較依賴網絡工程師對于網絡知識的深度理解和對整體網絡架構的規劃，網絡配置也需要人工維護，后期運維也需要人主動去判別故障處理，對于每個網絡節點都需要逐條命令行去配置下發。然而，通過軟件定義下發完全可以取代煩瑣的預配置云維護，網絡控制器可實現網絡業務抽象化，網絡配置模板可實現配置下發自動化，對復雜的命令行進行封裝不對外開放，對外屏蔽了具體的網絡技術細節，僅提供RESTful API 和網絡參數，方便用戶根據實際網絡需求進行具體的網絡業務編排、網絡控制二次化開發、自動化智能化運維以及集中網絡控制器配置下發。

2.3.2 安全加密與租戶隔離

為了確保用戶傳輸數據的可靠性和安全性，SD-WAN 的overlay 網絡需要對用戶的數據報文進行加密，滿足了有安全性需求的企業用戶，同時保障了每個用戶的安全隱私以防止數據泄露。通過加VPN 租戶標志的方式，也滿足了企業多租戶的需求，支持同一租戶下多個部門的邏輯隔離。由于CPE 是暴露在互聯網上的，SD-WAN 也需要提供基本的安全策略保證（如防攻擊、基本的防火墻訪問限制功能），在用戶內網與公網之間也需要提供不同的訪問策略，通過ACL 保證訪問控制。

2.3.3 SD-WAN 標準

根據ONUG、Gartner、MEC 等組織定義的SD-WAN 基本特征，共性的看法有：SD-WAN 能實現用戶分支的快速部署、快速上線，部署效率大大提高；SD-WAN 能動態調整用戶應用的流量路徑，實現靈活智能化、便捷自動化的流量調度；SD-WAN 能集中管控，通過可視化界面實現網絡的編排運維功能；SD-WAN 提供網絡安全、網絡優化、業務快速發放等增值業務。

3 主流隧道/加密技術

SD-WAN 轉發層面使用了隧道、加密技術。隧道技術是為了解決租戶隔離甚至每個租戶中各個部門的隔離問題，實現能在underlay 網絡上區分用戶。加密技術則是為了完成傳輸數據的加密，在開放的Internet 環境下保證用戶業務數據的傳輸安全性。SD-WAN 隧道技術不依賴具體的IP overlay 技術、運營商WAN 組網技術，可以通過現有的IPSec、VxLAN、NvGRE 隧道技術進行組合搭建可用可擴展的隧道技術。下面將對傳統隧道/加密技術進行分析。

3.1 IPSec

IPSec 是一個公開的網絡層安全性框架協議。它不是一個簡單孤立的協議，而是由多個IP 網絡協議和安全服務組成的集合。IPSec 主要包括安全協議驗證頭部和封裝安全載荷、密鑰管理協議、Internet 密鑰交換協議以及其他用于網絡安全認證及加密的算法等。傳統的IPSec 隧道技術分為隧道（tunnel）封裝模式和傳送（transport）封裝模式：tunnel 封裝模式在頭部封裝了一個外網的IP地址，實現對LAN 側的IP 地址封裝，transport封裝模式僅利用了AH 協議和ESP，實現認證和加密。IPSec tunnel 模式可在overlay 網絡實現租戶隔離，并完成數據加密，但在單獨使用時需要建立較多tunnel 實現租戶級甚至部門級的隔離，每個租戶各使用一條隧道，每條隧道都需要分配密鑰、實現加密，傳統方式下，密鑰可以通過預分配或者電子證書的形式在每臺終端上配置，由于每個租戶的密鑰不同，在租戶較多的情況下，會導致加密/解密的資源大量消耗。IPSec 報文封裝如圖1 所示。

圖1 IPSec 報文封裝

3.2 VxLAN

國外專業機構定義了 VLAN 擴展方案——VxLAN（虛擬擴展局域網）。VxLAN 使用設備物理地址封裝在用戶數據報協議中的封裝方式，是NVO3（在第三層網絡虛擬化）中的一種虛擬化網絡技術。VxLAN 特性在本質上屬于一種VPN 技術，能在任意路由可達的網絡上疊加二層虛擬網絡，通過VxLAN 網關實現VxLAN 內部的互通，同時，也可以實現與傳統的非VxLAN 網絡的互通。VxLAN 通過采用MAC 地址封裝在UDP 中的形式擴展二層網絡，將Ethernet 報文封裝在IP 報文之上，通過路由協議在網絡中進行傳輸，無須關注虛擬機的MAC 地址。由于對路由的網絡并無結構限制，因此具備了大規模的延伸能力。通過路由網絡，虛擬機遷移不受原來運營商網絡架構的制約。VxLAN 可以通過靜態和動態的兩種方式建立隧道，動態使用EVPN/BGP 建立鄰居關系。VxLAN 只具有隧道功能，不具備加密功能。VxLAN 報文封裝如圖2 所示。

3.3 GRE

GRE 隧道是一種邏輯接口，通過GRE 隧道可以將承載要發送的數據包整體封裝在協議中傳輸。為GRE 隧道設計的網絡體系結構是為了構成點對點的傳輸封裝服務。另外，GRE 隧道技術是一種完全無狀態記錄的設計，這表示每個GRE 隧道的傳輸結束點從不記錄關于其他GRE隧道結束點的信息狀態。如果GRE隧道的結束對端不可達，在這樣的設計之下，本地GRE 隧道數量不會因為對端結束點狀態變化而減少。也就是說，GRE 不具備在鏈路對端不可達時將對端的接口記錄為down，進而刪除在路由表記錄中所有使用這個接口節點作為對外轉發接口的靜態路由，為備選靜態路由的安裝或是為了基于策略的路由選擇一個備選下一跳或接口做準備的功能。同時，GRE 不具備加密功能。

圖2 VxLAN 報文封裝

GRE 是一種VPN 的第三層隧道協議。GRE隧道是一種虛擬的點對點的連接，為需要在其他網絡層協議傳輸的協議報文進行封裝，被封裝的協議報文可以在其他網絡協議中傳輸。GRE 隧道接收報文后，對報文進行封裝，在報文之前加入GRE 頭部，再將封裝完成后的初始報文和GRE頭部根據初始報文的IP 報文通過傳輸協議進行轉發。在解封裝時，網絡層發現外層頭部報文協議號為47，將GRE 外層頭部進行剝離，將剩下的IP 報文和數據報文進行處理傳輸。GRE 報文封裝如圖3 所示。

圖3 GRE 報文封裝

3.4 NvGRE

NvGRE 是由微軟公司提出，在GRE 的基礎上發展出來的。NvGRE 和GRE 的封裝包頭格式基本一致，區別是在NvGRE 的包頭的S 位和C 位置零，所以NvGRE 包頭不含檢驗和與序列號。與VxLAN 比較而言，NvGRE 并沒有使用標準的傳輸協議，而是用通用的路由封裝協議。NvGRE 使用GRE 報文頭部的前24 bit 作為租戶隔離的網絡標識位，可以總共支持224個VPN，這一點與VxLAN 相同。NvGRE 傳輸網絡使用了GRE 報文頭提供承載帶寬利用率顆粒度的數據流，但是這樣的設計使NvGRE 不能提供傳統的負載均衡，相對VxLAN 而言，這是NvGRE 的不足之處，也是和VxLAN 有所區別的地方。 NvGRE 報文封裝如圖4 所示。

圖4 NvGRE 報文封裝

3.5 SSL

SSL（安全套接層）隧道技術是一種網絡安全加密協議。它是一種通過TCP/IP 通信傳輸協議實現的安全加密協議，并且使用公開的密鑰技術。SSL 廣泛支持各種類型的網絡協議，同時提供3 種基本的網絡安全服務，這些服務都使用公開密鑰技術。SSL 支持的服務通過網絡進行通信卻不損害安全性。它能在用戶分支結構和總部之間創建一個安全連接，然后通過該SSL 連接安全地發送任意數據量。

SSL 的初始目標是為兩個傳輸應用之間提供私有的可靠連接。SSL 協議包括兩層，在某些可靠傳輸協議的頂層是SSL 記錄層，SSL 記錄層是用來封裝其他更高層的協議。SSL 握手協議也是一種封裝協議，允許服務器和客戶端互相認證，在應用協議發送接收第一個數據前協商加密算法和密碼。應用協議的獨立性是SSL 的優點之一，更高層次的協議顯然可以使用在SSL 協議之中。

4 隧道加密技術在SD-WAN 的應用

對5 家主流廠商的隧道加密技術進行了測試比較。SD-WAN 主流廠商中，C 廠商用了私有的IPSec 隧道技術，H 廠商用了NvGRE over IPSec隧道技術和VxLAN，V 廠商使用了VxLAN over IPSec，D 廠商用了SSL 技術，S 廠商用了IPSec隧道技術。

4.1 私有IPSec

標準的IPSec 隧道技術為了區分不同的租戶，每個租戶使用一個tunnel，每個tunnel 獨立實現數據流的加密，在加密/解密的過程中，加密/解密的進程較多，將消耗大量計算資源。為解決這一問題，C 廠商在標準的IPSec 隧道技術中引入私有字段，通過對IPSec 報文中加一個LBL 字段記錄租戶信息減少tunnel 數量，以降低計算資源的消耗。私有IPSec 封裝格式如圖5 所示，格式中包含了源/目的IP 地址、用戶數據報協議、傳輸的源數據包，在加密的數據包外部加入了新的IP 包頭，與傳統的公有IPSec 相比，通過加入新的字段滿足SD-WAN 對于多租戶下的隔離問題，LBL 多占用4 bit。

圖5 私有IPSec 封裝

4.2 VxLAN over IPSec

單獨的VxLAN 只能解決租戶隔離的問題，無法實現加密傳輸，為了解決單一隧道無法加密的問題，V 廠商使用了VxLAN over IPSec 技術，將VxLAN 的報文封裝在 IPSec 報文中。VxLAN是明文報文在網絡傳輸不安全，通過 IPSec transport 模式，可以實現安全傳輸。使用該技術，VxLAN 的外層IP 地址暴露在外，IPSec 只對VxLAN 數據包進行加密。因而，無須使用多個IPSec tunnel，既減少了加密/解密資源開銷，同時也解決了租戶隔離，甚至租戶內部跨部門隔離的問題。通過圖6 的抓包信息可以看到，VxLAN 協議中存在Flags、Reserved、VNI 等字段信息，VxLAN Network Identifier 信息是為了給不同租戶分配標識做到租戶隔離，每個租戶的標識都是唯一的，Flags 為VxLAN 的標志位，第一個Reserved 為保留位，后一個Reserved 為保留字段。

圖6 V 廠商隧道技術抓包信息

4.3 NvGRE over IPSec

NvGRE 只實現了租戶隔離的隧道化功能，沒有解決加密問題。H 廠商主推NvGRE over IPSec方案，就是將NvGRE 的報文封裝在 IPSec 報文中。由于NvGRE 是明文報文，在網絡傳輸不安全，通過IPSec transport 模式，可以實現加密傳輸，保證私密性。使用NvGRE 的原因和VxLAN 大致相同，也是為了解決IPSec tunnel 模式下，實現租戶隔離需消耗大量計算資源的問題，同時，也解決了單NvGRE 隧道下無法做到安全加密的問題。但NvGRE 相與VxLAN 相比存在一點不足，NvGRE封裝包頭采用的是GRE 協議，許多網絡設備和防火墻無法對GRE 頭部進行處理，所以NvGRE 協議不支持負載均衡功能，而VxLAN 使用的協議是UDP，天然地支持網絡負載均衡。H 廠商隧道技術抓包信息如圖7 所示，在NvGRE over IPSec協議中，IPSec 隧道使用了協議ESP，包含ESP SPI、ESP Sequence（ESP 序列），SPI 是用來確定唯一的安全聯盟、Sequence 是為了保護接收側防止受到攻擊。ESP 的尾部字段padding 用來隱藏加密數據的真實長度，padlength 代表需要填充的字節數，Next Header 表示下一個被加密的頭部數據類型。NvGRE 中的Checksum 表示GRE 報文中所有數據的校驗和通常置零不用，Sequence Number表示數據包的序號也在NvGRE 報文中置零不用，Key 表示密鑰信息，一般置1 表示包含VSID，另外還包括版本號、數據協議類型，再使用24 bit的虛擬子網標識符來標記NvGRE 網絡。

圖7 H 廠商隧道技術抓包信息

4.4 SSL

D 廠商采用SSL 技術實現SD-WAN。但是SSL主要在網頁的應用上使用得較多，功能和多租戶隔離方面的能力較弱，能否完美支持未來SD-WAN的POP 點組網模式，值得商榷。SSL 不支持多VPN業務隔離，只具備加密功能，如果需要多租戶，必須使用SSL 多進程，對租戶隔離的支持能力較弱。D 廠商隧道技術抓包信息如圖8 所示，從圖8 的抓包信息可以看到，SSL 協議內部使用了TLS 協議，消息兩端的加密通過非對稱或公鑰加密算法，協商過程非常安全，無法被監聽者觀察。

圖8 D 廠商隧道技術抓包信息

4.5 方案比較

SD-WAN 各廠商使用的隧道及加密技術比較見表1。

對于SD-WAN 場景下的隧道/加密技術，目前主流廠商采用的技術中最優的方案是C 廠商的私有化IPSec 技術，私有的IPSec 技術滿足隧道、加密支持業務隔離，配置復雜性低、報文開銷小，支持負載均衡，但是由于C 廠商為私有協議，無法全面地在其他廠商中全面兼容使用，希望C 廠商私有IPSec 技術能成為國際標準組織的標準，實現大規模推廣。退而求其次，V 廠商的VxLAN over IPSec 技術是隧道技術的次優方案，由于采用了標準技術，它能在所有的廠商中進行推廣，既滿足了數據加密和租戶隔離的功能，也能解決NvGRE 隧道存在的負載均衡問題，但封裝機制較為復雜，相較于C 廠商的私有IPSec 技術，VxLAN over IPSec 技術配置復雜性較高，報文開銷一般但比私有IPSec 技術開銷要大，多出20 bit 的開銷。與VxLAN over IPSec 技術相比，由于NvGRE over IPSec 技術的NvGRE 特性不支持負載均衡，為了實現負載均衡需要使用多個IP 地址，增加了網絡地址的額外開銷。SSL 隧道技術不支持業務隔離，需要通過開啟多進程手段實現業務隔離，并且SSL 隧道技術更適用于Web 應用，所以也不建議推廣適用。

表1 SD-WAN 各廠商使用的隧道及加密技術比較

5 SD-WAN 組網模式

目前，上海電信SD-WAN 組網包括POP 點組網和點對點直接組網兩種方式。主流廠商中的H廠商、V 廠商、C 廠商是主推互聯網點對點組網，由于市場選擇改進使用POP 點的組網方式，而D廠商和S 廠商主要使用POP 點的組網。

5.1 SD-WAN POP 點組網方式

POP 點組網示意圖如圖9 所示。POP 點組網方式采用分段隧道化，POP 點與POP 點之間由MPLS-VPN 建立專用通道，底層使用的是覆蓋范圍、網絡容量、業務能力各項指標最強的網絡——中國電信CN2 骨干網。

POP 點的組網過程中，在POP 點與POP 點之間使用MPLS 進行傳送，由于MPLS-VPN 通道的封閉性，使傳輸過程中不需要使用額外的加密技術。此外，POP 點之間的MPLS 使用Full-Mesh 的結構，資源消耗較少，Full-Mesh結構只需要配置一次RT 值就可以實現導入導出、配置簡化，每增加/減少一個用戶不需改變underlay 網絡的配置，underlay 網絡只需初始配置，能減少配置量。

DCI 網絡中采用MPLS-VPN 建立的專用封閉大通道，沒有必要做加密處理，可以去掉IPSec封裝，使用的MPLS 標簽，網絡資源開銷較小，無須額外的資源來對tunnel 進行加密/解密，計算量大幅減少。

與SD-WAN 互聯網廠商的DCI 網絡相比，跨地域SD-WAN 線路的質量優勢明顯。POP 點的組網可以使用POP 點雙掛方案，通過雙上聯解決設備冗余性問題。

圖9 POP 點組網示意圖

5.2 SD-WAN Internet 點對點方式

點對點技術直接在兩個終端之間進行加密實現內部傳輸，缺點是在underlay 網絡上，基于Internet 跨地址的傳輸質量無法保證，點對點技術適合用戶節點較少、網絡結構簡單的場景，在多終端場景下配置較復雜。點對點組網方式示意圖如圖10 所示。

圖10 點對點組網方式示意圖

5.3 SD-WAN 引流技術

目前可實現的POP 點方案解決了點對點方案中Internet 跨地域網絡質量無法保證的問題，缺點在于需分段配置，用戶側和POP 點之間、POP 點與POP 點之間需要兩次3 段配置，單獨配3 段overlay 工作量較大。為了將這3 段配置簡化為1 次配置，建議進一步開發引入定向引流技術，實現一次性配置能跨越POP 點全程開通的功能，保留POP 點DCI MPLS VPN 通道的同時，使用IPSec或者NvGRE 隧道完成端到端配置的下發。引流技術可以使用多層頭部，即多層隧道、多次封裝實現。

首先，在隧道外層封裝到POP 點的IP 地址，在第二層內部封裝租戶的信息，實現租戶隔離。通過識別外層的頭部IP 信息從用戶側到達第一個POP 點之后，替換外部隧道頭部IP 地址內容，內層內容保持不變，仍舊能實現租戶隔離，將外層頭部IP 地址替換為下一個POP 點的地址，用來實現到下一個POP 點的尋址轉發，到達最后一個與用戶目的地址直連的POP 點后，通過內層的IP地址，找到用戶目的設備。通過引流技術可以簡化多個POP 點之間的配置，大大減少了配置的工作量。也可以使用segment routing（分段路由）、flowspec 等技術解決接入側的引流問題。

6 結束語

就目前網絡組網方案的發展現狀來說，SD-WAN 已形成了替代中低端專線業務的趨勢。從2019 年起，上海電信在SD-WAN 相關領域技術進行了研究和探索，并實現了規?；逃媒M網。通過比較發現，在SD-WAN 隧道技術方面C 廠商的私有化IPSec 技術具有優勢，但在還未實現標準化的前提下，現階段無法跨廠商推廣，其他廠商可優先選擇VxLAN over IPSec 技術。SD-WAN POP 點組網方式中，現有的解決方案中配置量和工作量較大，可以結合引流方案通過多層頭部、多次封裝來進行優化，端到端的一次配置經由POP 點轉發。與互聯網廠商相比，電信運營商具有overlay 和underlay 兼顧的監控維護優勢。相信在不久的將來，在運營商和廠商的實踐努力下，SD-WAN 的相關標準會更加完善，為用戶打造更好的服務。由于多云融合的推進，公有云、私有云、混合云的開放接入，SD-WAN 可以有更多與云服務對接的機會，相信云計算和IDC 網絡之間會有更深入的融合。在面對企業用戶日益增長的新需求（如視頻會議優化、國際加速業務、網絡直播視頻等），SD-WAN 會有更加精準的網絡服務解決方案。