云數據中心的SDN解決方案

鐘翠，王蕾，羅興

?

云數據中心的SDN解決方案

鐘翠，王蕾，羅興

（華為技術有限公司，廣東 深圳 518129）

SDN的設計理念是對網絡資源進行池化管理，自動化實現網絡資源的按需申請和調用，加速數據中心業務的上線周期。首先介紹了數據中心SDN的核心思想和SDN開放架構全景圖，然后介紹了SDN網絡模型和SDN業務部署方案，最后闡述了華為CloudFabric云數據中心網解決方案。

SDN；數據中心；自動化

1 引言

傳統數據中心業務上線主要是通過人力操作繁雜的命令行模式，但隨著云計算的發展，數據中心網絡在過去幾年有了翻天覆地的變化。網絡帶寬從吉比特演進到10萬兆，接入端口數量從幾百臺增長至幾萬臺，大型數據中心的服務器數量甚至超過了8萬臺，假定每臺服務部署20臺虛擬機，面對互聯網新業務的快速上線和迭代訴求，數據中心網絡管理員應對百萬虛擬機的上線和變更需求，將會是一個巨大的挑戰。除此以外，數據中心網絡的管理人員還面臨著各種各樣的難題。

?? 數據中心網絡的基礎設施技術越來越復雜，新技術不斷推陳出新。

?? 數據中心的業務需求經常變化，網絡管理員如何應對？這么多配置如何進行調整？

?? 數據中心中新服務越來越多，網絡如何應對這些部署需求？

網絡作為數據中心的基礎設施，本質是上層業務的支撐系統，擁有“快速彈性的架構”和一個“資源池”，可以提供“按需自助服務”且這些服務是“可測量的服務”，而資源池里的服務最終是可以被“寬帶接入”訪問，成為新一代數據中心IT基礎設施建設的一個普適性需求。

為了滿足以上訴求，業界提出了軟件定義數據中心的概念和方法，將IT基礎設施資源變成服務對象，通過虛擬化方式進行抽象，通過自動化的流程和軟件方式提供服務。SDN（software defined networking，軟件定義網絡）技術的出現適應了網絡IT化、設備資源池化和架構標準化的趨勢。

2 數據中心SDN核心思想

SDN的最終目標是服務于多樣化的業務應用創新，通過開放架構，北向為上層業務提供了豐富的北向API，基于可視化應用模型，讓租戶以應用視角定義網絡訴求。通過核心組件自我驅動將應用模型自動翻譯為網絡配置，按需進行網絡資源申請和配置，靈活調用底層網絡能力，屏蔽底層物理轉發設備的差異，將底層的物理資源池化共享，實時、按需、動態地分配給不同租戶的不同應用。

3 SDN開放架構全景圖

與傳統網絡不同，SDN架構模型如圖1所示，既要理解業務對網絡的要求，通過業務意圖的編排和理解將其映射為抽象的網絡模型；同時將映射后的抽象網絡模型翻譯成各網元可以理解的轉發策略，分發到數據中心的網絡設備上。使得網絡架構基于開放架構，分層解耦、各司其職，層次間通過標準化接口互聯，滿足SDN開放性、擴展性、生態融合的訴求。

圖1 SDN架構模型

如果將SDN架構比作人體系統，那么這個系統的不同層級和接口都有其獨特的定位和作用。

3.1 SDN的“五官”：業務呈現協同層

如同人體系統中負責與外界溝通交互的五官，業務呈現和協同層是SDN架構最上層的交互界面，是SDN對外顯示信息的通道，主要負責理解用戶的業務訴求，然后整合數據中心內計算、存儲、網絡資源，通過標準化接口實現資源協同配合，完成業務編排、自動發放、服務保障等功能。

3.2 SDN的“大腦”：網絡控制器

網絡控制層是SDN整體架構的“大腦中樞”，起著貫通南北的作用，這一層的展現實體就是控制器。控制器北向支持RESTful API對接上述業務呈現和協同組件，南向使用OpenFlow、OVSDB、Netconf等接口實現虛擬網絡設備和傳統物理網絡設備，如交換機、防火墻、負載均衡器等的統一納管。

首先，協同層使用RESTful API按需申請網絡資源，通過控制器創建邏輯網絡模型；然后，控制器根據邏輯網元的屬性和邏輯拓撲關系，將模型轉換為物理和虛擬網元可以識別的配置或流表（這種轉換過程稱為映射），如圖2所示，下發到網絡設備來開通網絡業務。

圖2 邏輯到物理網絡映射關系

3.3 SDN的“軀干”：Fabric網絡

如同人體的軀干，Fabric網絡（如圖3所示）構成了SDN架構的主體，是網絡流量和業務的主要承載組件，由骨干節點交換機、葉子節點交換機、虛擬交換機及防火墻和負載均衡器組成。

圖3 Fabric網絡

3.4 SDN的“手足”：虛擬平臺

虛擬平臺層主要由虛擬化服務器構成，是SDN架構的邊緣節點，如同人體系統的末端——手足。虛擬化服務器通常由計算虛擬化廠商提供。SDN對虛擬化服務器主要關注兩個方面。

? ?將虛擬交換機vSwitch安裝部署到虛擬化服務器的Hypervisor中，利用vSwitch軟件靈活性與計算實例親和性的優勢，滿足數據中心用戶越來越多的定制化和安全訴求。

? ? 在無云平臺的虛擬化場景下，控制器同VMM聯動感知計算實例上下線和遷移細節，并為其自動化開通網絡；下發安全策略、流量控制策略，實現面向應用的網絡自動化發放。

3.5 SDN的“神經”：組件接口

如同大腦要通過神經系統控制全身各處，SDN控制器也需要通過標準接口與各組件進行交互。如圖4所示，以控制器為中心，接口分為北向（連接協同層）、南向（連接Fabric層）和東西向（連接外部組件）接口。

（1）北向接口

RESTful API表示層狀態轉換接口，互聯網軟件架構擁有一些明顯的特征：使用URI標記資源；利用HTTP的get/post/put等標準接口實現交互；交互過程中服務器端不記錄客戶端狀態。基于上述特點，RESTful API非常適合用于海量并發請求的場景。

（2）南向接口

南向連接的網絡設備種類繁雜，因此支持的接口也種類繁多。

Netconf接口：基于CLI接口演化，是一種基于XML語言可批量執行的設備配置接口，主要解決CLI接口安全性差、命令執行效率低、無法描述復雜邏輯關系的問題，對物理網絡設備范圍內兼容性最佳。

OpenFlow接口：隨SDN理念一起推出，也是轉發型SDN的標準協議，從2009年至今已經發展到1.4x版本，它通過多級流表（flow table）的方式支持流量的細化控制，在新的協議版本中通過支持組表（group table）實現了多播功能，同時支持多控制器并發連接。

圖4 開放接口

OVSDB接口：同開源OVS（open virtual switch）相伴而生。將OVS組件拆開可以看到OVSDB-server模塊，作用是作為中間數據庫向控制器和OVS傳遞配置、狀態信息。當控制器有配置需要下發到OVS時，如mirror、LACP等，利用OVSDB接口向OVSDB-server寫入配置數據，再由OVS自動加載；當OVS發生狀態、配置變化需要通知控制器時，也將這些變化的信息寫入OVSDB-server數據庫，控制器通過讀取數據庫數據感知OVS的變化，如感知虛擬機端口上線事件等。

除此以外，南向接口還包括CLI、SNMP等接口，不再贅述。

（3）東西接口

目前東西接口主要是指同VMM平臺之間的連接關系，包括兩類接口Java SDK和RPC。

Java SDK是VMware vCenter面向第三方廠商開放的可編程接口；通過此接口第三方廠商可以感知ESXi虛擬機上線、下線、遷移等事件；查詢vCenter范圍內VM的詳細信息以及VSS/VDS交換機部署信息。

4 SDN的網絡模型

隨著IT基礎架構云計算時代的不斷演進，虛擬機數量呈幾何數增長，越來越多的虛擬機交互業務需要通過網絡實現，東西向流量開始取代南北向流量，成為數據中心的主流。流量模型的轉變為數據中心的網絡架構提出了全新的升級訴求。傳統3-tier網絡架構，導致流量時延、擁塞，擴展性差，亟須扁平化、無阻塞的網絡架構演進。起源于大型OTT的spine-leaf（葉脊）網絡架構呼之欲出。與傳統3-tier架構相比，spine-leaf通過大二層接入，實現網絡中任意兩個服務器通過leaf-spine-leaf三跳可達。spine-leaf通過full-mesh連接，spine和leaf均可支持橫向擴容，從而構建出了一個無阻塞、可擴容的數據中心優選組網模型。

4.1 underlay組網

傳統Fabric為單層網絡，經歷了xSTP、CSS/iStack、M-LAG（multi-chassis link aggregation group，跨設備鏈路聚合）等多種組網技術。

xSTP是最為傳統的Fabric組網技術。通過設備控制面運行xSTP，在二層環路中阻塞部分鏈路，將環狀網絡拓撲映射為樹狀無環網絡拓撲。當轉發鏈路出現故障時，xSTP將阻塞鏈路打開，恢復流量轉發。xSTP協議族歷經STP、RSTP、MSTP多次優化，目前已經發展得非常穩定，在傳統數據中心有非常多部署案例。但是由于協議阻塞了部分鏈路，因此鏈路利用率較低，因此xSTP組網近些年越來越多地被無環組網技術替代。

CSS/iStack是典型的無環組網技術。框式交換機利用CSS特性或者盒式交換機利用iStack特性可以將同系列的兩臺或者多臺物理網絡設備虛擬為一臺邏輯網絡設備，邏輯網絡設備由邏輯系統主控節點統一管控。邏輯設備間互聯，設備之間的多條鏈路建議配置為聚合鏈路，Fabric天然無環，充分發揮硬件設備轉發性能優勢。同時設備虛擬化后網元數量減少，簡化運維界面，可有效降低數據中心運營成本。無環組網是目前推薦的組網方案。

伴隨著數據中心網絡規模急速膨脹，網絡設備控制面（一般是指ARP處理）處理能力逐漸無法滿足組網要求，上述CSS/iStack邏輯系統控制面由主控節點統一管控，承擔著巨大升級壓力，如果骨干節點系統崩潰，將對數據中心業務造成嚴重影響。因此一種新的虛擬化技術M-LAG應運而生。

構建M-LAG虛擬邏輯系統的網絡設備各自擁有獨立的控制面，分別處理收到的ARP請求報文，分擔組網壓力。M-LAG作為網關設備時部署VRRP，使用阻斷VRRP心跳的方式構建VRRP雙主系統，實現本地優先轉發，既分擔了控制面壓力，提升設備級可靠性又充分利用了設備帶寬資源。

4.2 overlay組網

為了滿足數據中心海量虛擬機帶著IP/MAC（不變）地址遷徙的剛性需求，橫貫整個數據中心網絡或者跨數據中心的網絡大二層需求應運而生。應對挑戰的理想方案是在傳統單層網絡基礎上疊加一層邏輯網絡。overlay網絡包括物理基礎層（underlay）和邏輯疊加層（overlay）兩個層次，物理基礎層可以使用underlay的傳統組網技術部署，只要數據中心網絡上任意兩點路由可達即可；邏輯疊加層則需滿足大二層及動態化要求。

overlay網絡的技術多種多樣，目前業界主推的VxLAN是一種基于IP-IP的隧道封裝技術，如圖5所示，在原始報文的基礎上添加L2/L3/L4（UDP）頭部信息，外層L2信息在轉發過程中逐跳修改封裝，外層L3信息作為隧道標識，只在隧道端點封裝/解封裝，外層L4-UDP信息包括一組擴展為24 bit達16 Mbit/s的子網ID，用于隧道端點設備識別報文轉發到哪一個網絡。

圖5 VxLAN組網

報文添加VxLAN封裝后，VxLAN頭部是標準的TCP/IP封裝，因此傳統IP技術的操作、管理與維護工具、運維理念以及設備兼容性等方面均有非常好的表現，如果將VxLAN網絡邊緣延伸到服務器內部的vSwitch虛擬交換機，那么數據中心已有的大部分網絡設備都可以重復利用，降低數據中心的部署成本。

5 SDN業務部署方案

5.1 云網一體化方案

為了解決傳統數據中心業務部署效率低、資源利用率低、運維管理復雜的問題，數據中心需要聯手云計算架構場景演進。OpenStack是一個開源的IaaS（基礎設施即服務）云計算平臺，類似一個數據中心的“操作系統”，管理著數據中心的計算（Nova）、對象存儲（Swift）、網絡（Neutron）等資源。Neutron是提供網絡即服務（networking as a service）能力的工程，其提供了比較完整的L2~L7層網絡模型和對應的API；Neutron南向提供了靈活的plugin和driver機制，方便廠商對接控制器和設備。

云平臺提供計算和網絡統一管理界面，控制器與云平臺開放對接如圖6所示。SDN控制器通過Neutron的API實現網絡即服務能力。業務管理員通過云平臺界面統一創建計算資源和網絡資源。

業務管理員通過云平臺將網絡資源分配給指定的業務或應用。云平臺將業務下發指令傳遞給網絡控制器，再由網絡控制器將配置明細自動下發至設備，無需人工配置。

業務管理員通過云平臺進行計算和存儲資源的創建、刪除和遷移等操作。云平臺、網絡控制器、網絡設備和服務器之間自行進行協調交互，無需人工干預。

5.2 計算虛擬化方案

在計算業務管理系統龐雜，或計算管理和網絡管理融合度不高又無法構建統一云平臺的情況下，適用計算聯動場景。

圖6 云網一體化方案

通過SDN控制器對接計算虛擬化平臺，由控制器和計算虛擬平臺一同承擔業務下發職責，實現計算與網絡協同發放。計算虛擬化方案如圖7所示。

業務發放包括以下兩個部分。

圖7 計算虛擬化方案

?? 網絡業務發放：網絡管理員通過SDN控制器將網絡資源分配給指定的業務或應用。其中overlay網絡的業務配置及VM/物理機相關接入配置均由SDN控制器自動下發完成。

?? 計算業務發放：計算管理員通過VMM進行計算和存儲資源的創建、刪除和遷移等操作。SDN控制器可自動感知VMM對計算資源的操作，最終實現資源上線后的網絡打通。

5.3 機架出租

機架出租場景是指出租方（通常為運營商）向承租方提供機房、機柜空間、網絡接入和增值服務的租用服務。機架出租場景直接由網絡管理員通過SDN控制器進行網絡資源業務發放，無需對接云平臺/計算資源/其他第三方系統。機架出租場景根據租戶是否自帶網關設備可進一步區分為如下兩種應用場景。

?? 租戶自帶網關：租戶托管的設備包括服務器、L2交換機、網關設備和防火墻。租戶設備通過L3方式接入運營商網絡。

?? 運營商提供網關：租戶托管的設備只有服務器和L2交換機，不包括網關設備和防火墻。租戶設備通過L2方式接入運營商網絡，網關和增值服務都由運營商提供。

6 華為CloudFabric云數據中心網解決方案

為了幫助客戶快速適應互聯網下各種云業務的變化，華為推出了面向新一代云數據中心的CloudFabric解決方案，旨在為客戶構筑敏捷、智能、超寬、開放的云數據中心網絡，支撐數據中心云業務高效發展。基于大二層無阻塞網絡，將SDN控制器Agile Controller作為華為云數據中心網絡的核心組件，可實現對網絡資源的統一控制和動態調度，快速部署云業務。支持與AI和大數據分析系統聯動，不斷調整和優化網絡能力，簡化網絡運維形成網絡閉環管理，最終實現可以自治自愈的自循環智簡網絡系統。

6.1 基于spine-leaf架構的AI應用網絡

spine節點由華為CE系列的高性能交換機擔當，可實現線速的VxLAN轉發；通過業界獨家的iPCA技術對實際業務逐跳進行精準的分組丟失、時延、抖動檢測，實現故障快速定位；同時它采用全可編程架構，可靈活快速滿足客戶定制需求；技術自主可控，關鍵器件100%國產化；leaf節點可提供25GE/40GE接口，支持內置FPGA專用芯片，可以實現納秒級低時延轉發。

提供基于以太網的低時延、零丟失分組AI應用網絡。通過精準反壓和動態水線等技術，不僅能夠在初期對網絡進行有效的擁塞調節，實現網絡零丟失分組；同時可大幅提升吞吐率，有效助力數據中心網絡提升業務執行效率，降低運維復雜度和建網成本。

6.2 端到端的云化數據中心網絡

6.2.1 圖形化網絡規劃與設計

提供網絡規劃和設計階段的圖形化工具、網絡業務變更和應急故障處理指導、網絡冗余與容災設計輔助，更高效、準確地規劃設計網絡。

6.2.2 SDN控制器Agile Controller

基于開放架構提供南北向標準接口、北向抽象網絡資源和服務，支持與標準云平臺或第三方應用無縫集成，同時支持與vCenter/SystemCenter主流計算平臺聯動，以業務為中心，自動化實現網絡按需部署。南向適配不同設備和網絡實現，實行資源池化管理，實現跨數據中心物理與虛擬網絡資源池化納管。華為SDN控制器Agile Controller自身提供高可靠集群能力，系統采用負載分擔方式，對南北向業務進行處理，滿足數據中心業務的高可靠性要求。

提供高于業界10倍管理能力的核心組件SDN控制器Agile Controller，可通過圖形化拖拽定義業務模型，自動化完成業務到命令行的翻譯和下發，實現網絡業務快速發放；可一鍵式實現網絡端到端打通，簡化業務上線復雜度，提高準確率，業務部署周期從周縮短到分鐘級。

6.2.3 網絡智能分析

構筑的數據中心領域大數據分析器，提供無處不在的網絡應用分析與可視化呈現，打通應用和網絡的邊界，提供技術創新到商業創新的連接。與傳統聚焦資源狀態的監控方式相比，通過Telemetry方式提供全網真實流秒級采集，并根據大數據智能算法對網絡數據進行分析、呈現，實時感知Fabric的狀態、應用的行為狀態；由傳統設備監控變為實時業務監控，打破網絡和應用的邊界，從應用視角看清網絡，幫助客戶及時發現網絡與應用的問題，保障應用的持續穩定運行。

通過FabricInsight組件實現AI的智能運維，實時收集真實業務流數據，支持百億級數據的秒級檢索和智能算法分析，實現異常流數據的快速發現和定位。系統可自動實現應用和網絡的關聯，呈現丟失分組嚴重的主機和故障網絡路徑，快速定位到故障節點，減少端到端故障處理時間，故障定位從天縮短到分鐘級。

6.3 跨數據中心容災和雙活管理

為了滿足多個遠距離數據中心之間的容災和業務雙活，華為CloudFabric解決方案提供了多DC互聯互通方案，可以構建同城雙活、異地容災（如兩地三中心模式）的數據中心業務架構，同時跨DC的業務可以實現靈活按需互通；支持將同一套業務系統分別部署在兩個獨立DC中，可實現系統間L2/L3互通，并對外提供跨DC的雙活服務，進一步提升服務質量。提供跨DC的微分段和業務鏈，使業務部署更加靈活。

截止到2017年底，華為CloudFabric云數據中心網解決方案已完成180多個SDN商用方案交付，廣泛部署在中國、西歐、日本、韓國、南太平洋、俄羅斯、中東等全球各地，市場覆蓋涉及運營商、互聯網、金融、制造、政府等多個行業。

7 結束語

SDN作為網絡領域的一次技術革新，有效地支撐了商業化數據中心上層業務的服務需要，提升了網絡上線和運維效率。隨著網絡技術的不斷演進，網絡將逐步走向以用戶為中心的意圖驅動解決方案，通過在商業意圖和物理網絡之間構建數字孿生，借助ABC（人工智能、大數據、云計算）技術，以智慧、極簡、超寬、安全、開放的理念，打造意圖驅動的智簡網絡，從以設備為中心的網絡向以用戶為中心的網絡轉型，實現自動化、智能化，并最終走向自治。

[1] 韋樂平. SDN的戰略性思考[J]. 電信科學,2015, 31(1): 7-12.

WEI L P. Strategic thinking on SDN [J]. Telecommunications Science, 2015, 31(1): 7-12.

[2] 何曉明, 冀暉, 毛東峰, 等. 電信IP網向SDN演進的探討[J]. 電信科學, 2014, 30(6): 131-137.

HE X M, JI H, MAO D F, et al. Discussion of evolution of carrier IP network to SDN [J]. Telecommunications Science, 2014, 30(6): 131-137.

[3] 趙慧玲, 史凡. SDN/NFV的發展與挑戰[J]. 電信科學, 2014, 30(8): 13-18.

ZHAO H L, SHI F. Development and challenge of SDN/NFV[J]. Telecommunications Science, 2014, 30(8): 13-18.

[4] 李晨, 段曉東, 陳煒, 等. SDN和NFV的思考與實踐[J]. 電信科學, 2014, 30(8): 23-27.

LI C, DUAN X D, CHEN W, et al. Thoughts and practices about SDN and NFV [J]. Telecommunications Science, 2014, 30(8): 23-27.

SDN solutions for cloud data center

ZHONG Cui, WANG Lei, LUO Xing

Huawei Technologies Co., Ltd., Shenzhen 518129, China

The design concept of SDN is to pool and manage network resources, automate the on-demand application and call of network resources, and accelerate the online cycle of data center services. Firstly, the core idea of data center SDN and the panoramic view of SDN open architecture was introduced. Then, the SDN network model and SDN service deployment plan was introduced. Finally, solution of Huawei CloudFabric cloud data center network was described.

software defined networking, data center, automation

TP399

A

10.11959/j.issn.1000?0801.2018213

2018?05?28；

2018?07?05

鐘翠（1981?），女，華為技術有限公司高級工程師兼高級營銷經理，主要研究方向為新網絡技術及解決方案。

王蕾（1985?），女，華為技術有限公司高級工程師，主要研究方向為數據中心網絡技術和解決方案。

羅興（1986?），男，華為技術有限公司工程師，主要研究方向為數據中心技術及解決方案。