基于SDN和Overlay的云計算數據中心網絡

張國平

【摘要】 云計算環境下，為適應計算虛擬化和存儲虛擬化對網絡的需求，以VXLAN為代表的Overlay、SDN等實現技術和發展思路相繼被提出。圍繞云計算數據中心存在的問題，提出基于SDN控制的Overlay數據中心網絡方案，使得網絡的控制更加靈活，更加方便快速的部署網絡設備，便于網絡的擴展。

【關鍵詞】 軟件定義網絡 云計算 數據中心網絡 虛擬可擴展局域網

Data Center Network for Cloud Computing based on SDN and Overlay technology

ZHANG Guoping Xuchang Electricpower，Xuchang 461000， China

Abstract：In order to meet the computing virtualization and virtual storage requirements of the network in Cloud computing environment， Overlay， SDN and other implementation technologies and development ideas have been proposed. According to the existing problems of cloud computing datacenter， A data center network scheme based on Overlay and SDN is proposed. This allows more flexible in network control， more convenient and fast in deploying and more easy to expand.

Key word：SDN； Cloud Computing； Data Center Network； VXLAN

隨著云計算的發展，更多的應用處理集中在云端，促使云計算數據中心的規模急劇增長，在云計算中大量采用和部署的虛擬化幾乎成為一個基本的技術模式。虛擬計算負載的高密度增長，需要虛擬機在網絡中無限制地遷移到目的物理位置，虛機增長的快速性以及虛機遷移成為一個常態性業務，然而當前虛擬機的規模與可遷移性受物理網絡能力約束，傳統的網絡已經不能很好滿足企業的這種需求。

目前，網絡存在的問題如下：（1）網絡架構限制：傳統網絡架構以三層為主，主要是以控制南北數據流量為主，數據中心虛擬機的大規模使用使虛擬機遷移的特點以東西流量為主，在遷移后需要其IP地址、MAC地址等參數保持不變，要求業務網絡是一個二層網絡，且要求網絡本身具備多路徑多鏈路的冗余和可靠性。傳統的生成樹（STP）等，部署和維護繁瑣，網絡規模也受到很大限制。（2）網絡規模限制：云業務中虛擬機的大規模部署，在大二層網絡環境下，數據流均需要通過明確的網絡尋址以保證準確到達目的地，因此網絡設備的二層地址表項大小（即MAC地址表）限制了云計算環境下虛擬機的規模，特別是對于接入設備而言，二層地址表項規格較小，限制了整個云計算數據中心的業務規模。（3）網絡隔離/分離能力限制：云業務需要大量租戶之間的隔離，當前的主流二層網絡隔離技術為VLAN，但是在大量租戶部署時會有兩大限制。一是VLAN可用的數量為4K左右，遠遠不能滿足公有云或大型私有云的部署需求；二是如果在大規模數據中心部署VLAN，這樣使得整個數據中心的網絡幾乎為所有VLAN被允許通過（核心設備更是如此），導致任何一個VLAN的未知目的廣播數據會在整網泛濫，無節制消耗網絡交換能力與帶寬。

為了解決出現的問題，諸多技術相繼被提出，如虛擬機接入感知（VEPA/802.1Qbg）、數據中心二層網絡擴展（IRF/vPC/TRILL/Fabric Path）、數據中心間二層技術（OTV/EVI）等，廠家私有的IRF/vPC等網絡虛擬化技術，對于網絡的拓撲架構有嚴格要求，并且不支持互通，在網絡的可擴展性上有所欠缺。新出現的大規模二層網絡技術TRILL/SPB/Fabric Path等，雖然能支持二層網絡的良好擴展，但對網絡設備有特殊要求，網絡中的設備需要軟硬件升級才能支持此類新技術，帶來部署成本的上升。在大規模云計算環境下，這些技術并不能完全解決問題，一定程度上還需要更大范圍的技術革新來消除這些限制，以滿足云計算虛擬化的網絡能力需求。在此驅動力基礎上，逐步演化出Overlay虛擬化網絡技術、SDN軟件定義網絡等新型技術和思想。在不改變原先架構的基礎之上新建一個Overlay的網絡，來為云業務提供支撐。SDN則通過網絡控制與轉發分離，轉發行為可編程，實現真正意義上的資源完全自動化部署、實時資源調度和快速網絡故障排除，并具有隨時增加新業務的潛力。通過把SDN和Overlay相結合，構建新型的云數據中心網絡架構，從而使網絡的控制更加功能靈活，性能更加強大。

一、Overlay虛擬化網絡技術

1.1 Overlay技術

在網絡技術領域，Overlay網絡是指在一個網絡上再疊加一個網絡的虛擬化技術模式，對基礎網絡不進行大規模修改，具有獨立的控制和轉發平面。主要應用于數據中心內部網絡的大規模互聯，是物理網絡向云和虛擬化的深度延伸，使云資源池化能力可以擺脫物理網絡的重重限制，實現網絡的轉發和多租戶，是實現云網融合的關鍵。

其實這種模式是以對傳統技術的優化而形成的。早期的就有標準支持了二層Overlay技術，如RFC3378（Ethernet in IP），，H3C與Cisco也都有基于Ethernet over GRE的私有二層Overlay技術EVI（Ethernet Virtual Interconnection）和OTV（Overlay Transport Virtualization）。

Overlay技術可以較好地解決計算和存儲虛擬化對網絡帶來的挑戰。

引入類似12比特VLAN ID的用戶標識，支持高達16M的用戶，解決了 VLAN網絡下虛擬網絡數量不足的問題。針對VLAN技術下廣播風暴問題，對廣播流量轉化為組播流量，避免網絡本身的無效流量帶寬浪費。

通過增加隧道，使得虛擬網絡內的凈荷通信不再受到二層限制，可以任意穿越三層網絡，使得VM的遷移可以實現跨越三層。

通過虛擬機數據封裝在IP數據包中，對于承載網絡（特別是接入交換機）只需要學習隧道端點的MAC，MAC地址規格需求極大降低。解決了對物理交換機地址表能力不足的問題。解決虛機規模受網絡規格的限制。

目前Overlay主流技術主要有虛擬可擴展局域網（VXLAN）、通用路由封裝的網絡虛擬化（NVGRE）、無狀態傳輸隧道（STT）三種，三種協議之間有很多相似之處。VXLAN是一種在UDP中封裝MAC的機制，NVGRE采用通用路由封裝（GRE）協議，將以太網報文封裝在GRE內進行隧道傳輸。兩者的虛擬網絡ID號均為24位，可以支持16M用戶。STT是無狀態傳輸協議，通過將以太網報文封裝成TCP報文進行隧道傳輸，隔離標識采用64比特來表示。

這三種技術，思路均是將以太網報文承載到某種隧道層面，底層均為IP轉發，區別主要在于選擇和構造隧道的不同。表1對這三種技術關鍵特性進行了對比。通過對比，NVGRE需要網絡設備對GRE擴展頭感知并對flow ID進行HASH，需硬件升級，STT對于TCP有較大修改，復雜度較高，VLXAN技術相對具有優勢。

1.2 VXLAN技術

VXLAN通過引入一個UDP格式的外層隧道，使得原有數據報文內容作為凈荷來傳輸，可以讓凈荷數據輕而易舉的在二三層網絡中傳送。VLXAN的封裝結構如圖1所示。

VXLAN頭部共有8個字節，目前使用Flags中的一個標識位和24bit的VXLAN Network Identifier，其他作為預留，但在使用的時候需要設置為0x0000。外層的UDP報頭目的端口使用4789，可以根據需要進行修改。同時UDP的校驗和必須設置成全0。目的IP地址可以是單播地址，也可以是多播地址。單播情況下，目的IP地址是VXLAN Tunnel End Point（VTEP）的IP地址。在多播情況下引入VXLAN管理層，利用VNI和IP多播組的映射來確定VTEPs。在VXLAN標準中，引入了一個VTEP（VXLAN Tunnel EndPoint，VXLAN隧道終端）的邏輯體，來完成VXLAN報文的封裝和解封裝。VTEP與物理網絡相連，分配有物理網絡的IP地址，該地址與虛擬網絡無關。為了讓VXLAN虛擬網絡之間以及虛擬網絡與物理網絡之間能夠進行通信，VXLAN標準還定義了一個VXLAN網關實體（VXLAN GW-VXLAN Gateway）。在兩個VM發生真正交互前，可能需要解決交互VM間的ARP，獲得對方VM的MAC地址，源VTEP也建立到對端VTEP的映射。之后，源VM發送到目的VM的數據包，數據包中包含源MAC地址、目標MAC地址、源IP地址和目的IP地址。源VTEP收到數據包后，檢查表格，確認有到目標網絡的信息后，對數據包進行封裝。加上外層的MAC頭、IP頭以及UDP頭，進行發送。一旦這個數據包到達路由器，它執行正常的路由和依據相應接口進行轉發，目標VTEP收到數據包后，進行解封裝，然后把內層的數據包發送給目標的VM，完成一次的數據傳遞。VXLAN控制平面隧道的實現方式主要分為三種：通過數據平面自學習、通過控制協議學習（擴展路由協議IS-IS或BGP）和通過SDN Controller實現。Controller方式無需物理網絡支持大量組播組，采用標準協議，可擴展性強，部署簡單，可通過Controller集中管理和控制設備，可以通過Controller很方便的實現應用與網絡的聯動，而自學習模式本身無法實現網絡與應用聯動，也需要借助Controller實現網絡與應用聯動。

二、SDN

2.1 SDN概述

軟件定義網絡（Software Defined Network， SDN），是由美國斯坦福大學clean slate研究組提出的一種新型網絡創新架構。SDN的核心理念有三個，一個是控制和轉發分離，第二個是集中控制，第三個是開放的API-可編程、開放的API接口。SDN通過將轉發與控制分離，將網絡抽象為一個邏輯或虛擬實體，提供標準化的、開放的控制接口，使得轉發能力可以直接編程進行控制。實現更加靈活的控制能力。這種原來與網絡設備緊密耦合的控制能力，通過可編程的方式調用底層設施能力的抽象描述，以便將網絡能力看成邏輯分離或者虛擬化的子網以支持多種用戶或應用的不同需求。

將SDN架構分為3個層面（見圖2）：即應用層、控制層和基礎設施層。最上層為應用層，包括了各種不同的業務和應用。應用層根據網絡不同的應用需求，調用與控制層相接的應用編程接口（API），實現不同功能的應用程序。利用API接口，業務應用可以充分利用網絡的服務和能力，并在一個抽象的網絡上進行操作，管理和控制網絡對應用轉發/處理的策略，也支持對網絡屬性的配置實現提升網絡利用率、保障特定應用的安全和服務質量。中間為控制層，負責對底層轉發設備的集中統一控制，集中維護網絡拓撲及網絡狀態信息，實現不同業務特性的適配，同時向上層業務提供網絡能力調用的接口。由于擺脫了硬件設備對網絡控制功能的束縛，網絡管理人員可以靈活配置、管理和優化網絡資源，實現了網絡的可編程及靈活可控。基礎設施層由網絡的底層轉發設備構成，負責基于業務的流表的數據處理、轉發和狀態收集。在SDN中，網絡設備只負責單純的數據轉發，降低了對網絡設備硬件的要求。

圖2 SDN分層架構

2.2 基于Openflow的SDN實現

OpenFlow作為SDN的原型實現方式，已被看作是SDN通信協議事實上的標準。OpenFlow由控制器和OpenFlow交換機組成，控制器和OpenFlow交換機之間是加密的OpenFlow協議。控制器作為軟件平臺形式，通過在之上運行不同的應用程序實現不同的邏輯管控功能。在控制器中，NOS是網絡實現可編程控制的中央執行單元。使所有基于業務流的智能決策，并將這些決策發送給 OpenFlow 交換機。這些決策以指令的形式存在于流表中。OpenFlow交換機負責數據轉發功能，圖3所示。OpenFlow交換機采取流的匹配和轉發模式，匹配過程從第一個流表開始。流表包含了多個流表項，數據包按照流表項的優先級進行匹配，若匹配到一個流表項，則執行與該流表項對應的指令。根據OpenFlow協議，針對流表中的流表項，控制器可以完成增加、更新以及刪除等操作。

三、基于SDN和Overlay的云計算數據中心網絡

Overlay網絡虛擬化實現了應用與物理網絡的解耦，但是網絡與計算還是相互獨立的，當前的網絡架構還無法實現網絡與虛擬機的聯動。SDN定義了一種控制和管理的網絡架構，通過將SDN技術應用到數據中心網絡中，使網絡資源能夠與計算資源和存儲資源一起進行統一調度，并提供開放接口給上層應用，進一步提供新業務開發能力。本文提出一種將SDN和Overlay結合的云計算中心網絡的實現方案，見圖4。

圖4 基于SDN和Overlay的云計算數據中心網絡

VTEP功能也可以由交換機或者vSwitch完成，實現把報文封裝為VXLAN格式。VXLAN GW可以由交換機完成，終結VXLAN報文，實現VXLAN和VLAN網絡互通。核心設備實現IP網關功能，終結VXLAN報文，并進入L3轉發。

網絡中，所有設備由Controller通過標準協議集中管理。通過集中控制器，把底層物理設備的控制權集中起來，從而能夠實現所有資源的相互聯動，減少設備管理的復雜性，同時對外提供了開發的接口供第三方進行定制化開發，當用戶業務擴展時，通過集中管理用戶可以方便快速的部署網絡設備，便于網絡的擴展。

四、總結

隨著云計算的發展，計算虛擬化和存儲虛擬化已經取得長足發展，對網絡虛擬化需求越來越強烈，Overlay的網絡架構是在傳統物理網絡基礎上構建了邏輯的二層網絡，SDN則為網絡管理、性能優化等提出了新的思路。兩者結合為云數據中心提供了良好的解決方案。但是，由于這些技術還在不斷完善中，標準化和技術成熟度等方面仍存在不足，如何更加優化云計算數據中心網絡，還需要進一步深入研究。

Data Center Network for Cloud Computing based on SDN and Overlay technology

ZHANG Guoping

Xuchang Electricpower，Xuchang 461000， China）

Abstract：In order to meet the computing virtualization and virtual storage requirements of the network in Cloud computing environment， Overlay， SDN and other implementation technologies and development ideas have been proposed. According to the existing problems of cloud computing datacenter， A data center network scheme based on Overlay and SDN is proposed. This allows more flexible in network control， more convenient and fast in deploying and more easy to expand.

Key word：SDN； Cloud Computing； Data Center Network； VXLAN

參 考 文 獻

[1]朱明明， 夏寅賁， 徐小飛. 基于SDN的數據中心網絡研究[J]. 郵電設計技術， 2014， 3

[2]李丹， 陳貴海等. 數據中心網絡的研究進展與趨勢[J]. 計算機學報. 2013.

[3] VXLAN： A Framework for Overlaying Virtualized Layer 2 Networks over Layer 3 Networks[S]. draft-mahalingam-dutt-dcops-vxlan-09.txt. 2014.10 IETF Draft M.Mahalingam， Storvisor等

[4]左青云， 陳鳴等. 基于OpenFlow的SDN技術[J]. 軟件學報. 2013.3