軟件定義數據中心網絡研究

楊旭　周燁　李勇

摘要：提出了一種基于軟件定義網絡的數據中心網絡方案，并對其結構和部署進行了詳細介紹。通過使用軟件定義網絡技術，該方案解決了傳統數據中心中網絡利用效率低下、管控方式復雜、建設運維成本較高等問題。該方案具有結構簡單、易于部署的優點。在負載均衡、域內虛擬機遷移等典型應用中，我們對該方案進行了驗證，結果表明該方案具有良好的實用性。該方案為數據中心網絡架構設計提供了一種重要思路。

關鍵詞：軟件定義網絡；數據中心；網絡結構

Abstract： This paper proposes a data center network deployment scheme based on software-defined networking. By using SDN， this scheme solves the problems such as low efficiency， complex management， and high operation cost in traditional data centers. This scheme has a simple architecture and can be easily deployed. After tested with some typical applications， such as load balancing and intra data center virtual machine migration， the availability of this scheme is presented. This scheme provides a valuable reference for data center network architecture.

Key words： software-defined network； data center； network architecture

近年來，數據中心受到學術界和產業界的廣泛關注，并成為網絡研究領域的一個重點內容。數據中心由一個或多個計算機集群及配套的通信、存儲、管理、安全設備、軟件等組成。建立數據中心，可以將計算、存儲等資源集中起來，通過統一規劃從而減少相應的建設、管理和運營費用；另一方面能夠為用戶提供更強的服務能力并使其獲得與接入軟硬件環境無關的統一體驗。然而，現有的數據中心網絡存在著建設管理復雜、控制不靈活等問題，影響了其進一步的發展。

軟件定義網絡[1]（SDN）是近年來在網絡領域備受重視的一個新熱點，它提出將網絡控制功能從轉發設備上分離出來，集中抽象后形成控制平面，對各轉發設備進行控制，從而提升網絡控制的靈活性和可編程性[2]。在控制方面，區別于傳統IP網絡，它采用中心控制，這能夠大幅簡化控制邏輯、提高計算速度，使得控制層能夠更好地對網絡進行管理。此外，SDN還能方便實現網絡虛擬化等一些功能。

利用SDN技術來搭建數據中心網絡，可以簡化其網絡管理、優化網絡性能，進一步提高數據中心的業務承載能力，因而受到了業界和學術界的廣泛重視[3]。例如，IBM和NEC提出了基于SDN的數據中心模型[4]，Yahoo[5]、Google[6]和Microsof[7]等公司使用SDN技術搭建數據中心并實現互聯，中國電信和騰訊等互聯網企業也開始試驗將SDN技術運用于數據中心環境。

然而，由于SDN還處于研究和發展的起步階段，基于軟件定義的數據中心網絡尚未有成熟的解決方案，仍有一些問題尚待研究，例如，如何對數據中心實現擴展性良好的有效控制，數據中心之間如何互聯，數據中心與用戶間的流量怎樣進行優化等。文章中作者提出了一個基于軟件定義的數據中心網絡方案，具有結構簡單、易于部署的特點。在原型系統實現上，使用了自主研發的OpenFlow設備并部署了管理及測量系統，提供了良好的可編程特性和對資源的管理、監控能力。目前該數據中心已經實現了負載均衡、虛擬機域內遷移等功能，并對進一步研究數據中心域間互聯等關鍵問題提供了基礎環境。

1 數據中心網絡

數據中心中的一個關鍵問題是如何有效分配和調度物理資。在數據中心中，物理資源主要包括計算資源、存儲資源和網絡資源等。其中，計算和存儲資源的管理技術相對來說已經比較成熟：在計算資源方面，有vSphere[8]、HyperV[9]等虛擬機管理軟件，通過虛擬化靈活管控服務器的CPU、內存、硬盤等資源；在存儲資源方面，有網絡附接存儲（NAS）、存儲區域網絡（SAN）等方案，提供管理、備份等功能。但在網絡資源方面，數據中心中現有的管理技術存在著諸如管控復雜、控制不靈活等問題，制約了數據中心的發展和高效利用[10]。

1.1 網絡利用效率低下

現有數據中心網絡的管理不夠智能，無法根據實時情況對資源進行調配，實現最優利用。另一方面，現行數據中心中，計算資源和網絡資源的管理沒有得到有效融合，這使得一些依賴網絡的應用無法得到高效實現，比如數據中心中常見的虛擬機遷移，其實現并沒有充分考慮網絡狀態，效率較低。

1.2 網絡管控方式復雜

搭建數據中心的一個優勢是通過資源的集中化來簡化建設管理工作，從而降低成本。目前，計算和存儲資源都有集中式的管理工具來提供統一的資源調配和自動優化配置，但對于網絡資源，這種集中式的管理工具仍比較缺乏。

當前的網絡管理控制功能分布在各個網絡轉發設備上，并沒有統一的配置接口，管理員要分別設置各個轉發設備才能使網絡正常工作。另外，目前的配置方式以命令行為主，管理人員需要通過轉發設備提供的配置命令設置轉發協議、端口配置、接入策略等，這種方式耗時較長且工作量較大。還有，不同廠商的設備在管理接口和功能實現上存在差異，若使用不同的設備進行組網，需要管理人員熟悉多種設備的配置命令及性能指標，進一步增加了管理人員的工作難度。

1.3 建設和運維成本較高

不同廠商的轉發設備都有各自獨特的結構和管理接口，為了應用某些產品特色或者簡化管理，建設數據中心時，往往傾向于使用同一廠商的設備。這在一定程度上限制了設備的選擇范圍，提高了數據中心的建設成本。

除了轉發設備外，數據中心還需要購買流量鏡像等監測設備，防火墻等安全設備等。多種設備的應用使得數據中心網絡環境極為復雜，同時不同設備的管理接口又不盡相同，這就進一步增加了管理難度，提高運維成本。

2 基于SDN的數據中心

SDN是近年來網絡領域的新興技術，具有如下幾個特點[11]：

·將轉發設備中的網絡控制功能分離出來組成抽象的控制平面，并通過集中式控制器對各轉發設備進行統一控制。

·通過軟件定義的方式實現控制器，并實現網絡控制可編程，允許靈活地制訂控制策略。

·對網絡轉發功能進行抽象，為不同的轉發設備提供統一的轉發控制接口，提高設備通用性。

采用SDN技術搭建數據中心網絡，能夠較好地解決目前存在的問題。

2.1 提高網絡利用效率

SDN采用集中式控制，相比分布式控制，能更好地把握網絡狀態，更快速地進行調整，從而實現更加智能、更加高效的管理模式，對網絡進行優化。

通過軟件定義的控制器，管理人員能夠實現自動化的流量均衡[12]、安全控制[13]等功能，并能方便地進行策略的調整。另一方面，通過融合良好的網絡監控機制，控制器可以實現實時的網絡優化，并且還可以大幅提高網絡利用效率。

最后，集中式、程序化的控制器能夠方便地與數據中心的計算、存儲資源管理系統進行融合，在虛擬機遷移等場景下優化網絡性能，提高處理能力，從而提升整個數據中心的運行效率。

2.2 簡化網絡管理控制

SDN實現了控制平面和數據平面的分離，將網絡管控功能遷移到了控制器上，為網絡管理提供了一個集中式的接口，使得對網絡進行統一管理和控制成為了可能。在SDN環境下，管理人員僅通過對控制器進行調整即可實現對全網轉發設備的配置，大幅簡化了配置流程，也降低了策略部署響應時間。

另一方面，通過使用軟件定義的控制器，管理人員避免了大量的命令行操作。控制器利用通用語言編寫，使得管理人員可以快速上手，同時它屏蔽了不同廠商的管理接口，使得管理復雜度得以降低。

2.3降低建設和運維成本

SDN將控制功能從轉發設備中剝離，簡化了轉發設備的功能，從而實現通用性更強的轉發設備。這一方面使得建設數據中心時能更靈活地選擇設備。另一方面，通過減少轉發設備的生產成本，使得數據中心建設成本得到降低。

控制器的強大計算能力和可編程能力使得部分傳統的監測、安全設備功能能夠以軟件的形式實現，從而簡化管理并減少額外的設備支出。

可以看出，SDN技術在數據中心網絡資源管理方面有著很好的應用前景，能進一步節省其建設和運維成本，推動數據中心的發展。

3 軟件定義數據中心網絡

方案

為了研究和驗證SDN技術在數據中心網絡建設和管理方面的作用，我們設計了一種基于軟件定義的數據中心網絡方案并加以實現。在進行數據中心網絡設計時，需要考慮設備組網、邏輯結構等方面。下面將逐一進行介紹。

設備組網如圖1所示。我們設計了一個多站點的數據中心組網方案，整體方案分為兩層：一層為數據中心站點，一層為全局管理系統。

在各數據中心站點內部，包含物理交換機、虛擬交換機、網關及本地控制器等設備。物理交換機和虛擬交換機都支持SDN，其中，物理交換機負責連接各臺服務器和網關；虛擬交換機運行在各臺服務器上，為其上的各個虛擬機提供連接功能。網關是數據中心對外的統一接口，對進出數據中心的數據進行處理。物理交換機、虛擬交換機及網關共同構成數據中心內部的網絡。本地控制器是數據中心站點的管控單元，負責對服務器、虛擬機、網絡轉發設備等進行管理和維護，它通過控制平面與各物理設備相連，通過調用HyperVisor、SDN等的接口實現管控功能。

全局管理系統主要為全局控制器。和各數據中心站點中的本地控制器不同，全局控制器不對轉發設備進行直接控制，而是對各數據中心站點間的信息進行協調和維護。例如在用戶占用多站點資源的情況下，保存各虛擬機與站點、服務器之間的映射關系，以便進行跨站點通信。全局控制器與各本地控制器相連，獲取各站點內部的信息，同時對站點間的信息進行協調，最后通過向各本地控制器發送信息實現跨站點的通信。

方案的整體邏輯結構如圖2所示。數據中心站有3層：設備層、管理層和應用層。其中，設備層由各站點內的物理、虛擬轉發設備及服務器等組成，是數據中心中的基礎設施；管理層包括設備管理、拓撲發現、虛擬

網建立、狀態監測等功能，通過和設備層進行通信，它能夠獲取整個數據中心的運行狀態，并在分析處理后對設備層進行控制；應用層是開放給各數據中心用戶的接口，包括一般用戶接口和管理員接口，分別提供虛擬網建立以及數據中心運行策略配置等功能。

全局控制器也分為3層：站內信息層、虛擬化信息層和應用層。底層為站內信息層，存放從各本地控制器獲取的數據中心站點信息；虛擬化信息層將跨域虛擬網的信息進行分析和存儲；應用層類似于數據中心站內的結構，也是提供給用戶的接口，但提供的功能都是基于站點間通信的。

采用如上方案，將SDN融入到數據中心當中，能夠有效地提高數據中心的管理能力和運行效率。通過將數據中心網絡納入可控范圍，管理層可以快速發現網絡狀態的變化并適時進行調整，提高網絡運行效率；通過將SDN與計算資源管理系統融合，使得整個數據中心設施有了統一的管理系統，提高了管理能力。管理層的操作都集中到本地和全局控制器當中，通過修改控制器的邏輯即可對數據中心進行配置，簡化了管理操作。另一方面，軟件化的實現使得管理人員可以靈活地對策略進行修改并實現多種多樣的功能，如在網關上實現防火墻等，這既提高了管控能力也在一定程度上降低了成本。

4 軟件定義數據中心網絡

原型系統

按照上述方案，我們搭建了一個數據中心原型系統，下面從拓撲結構、計算資源控制系統、網絡資源控制系統等方面進行介紹。

如表1所示，該原型系統中使用的設備包括商用OpenFlow交換機、TUNIE FPGA板卡、PC服務器、機架及機架服務器等。

TUNIE FPGA是一款由清華大學自主研發的、支持OpenFlow協議的可編程交換機，它具有8個1 Gbit/s的網絡端口，具備基本的邏輯運算能力，成本較低。另外，它還具有可編程特性，支持對OpenFlow協議進行修改，從而實現更為靈活可控的網絡管理。在原型系統中，該板卡主要用于服務器接入。

在網絡上層，轉發設備需要連接大量設備并且處理更多數據，因此需要使用商用OpenFlow交換機。現有的商用OpenFlow交換機大多具有幾十個網絡接口，提供1 G/10 G的網絡帶寬，具備較強的邏輯運算能力，能夠滿足大數據量的處理需求。

在網絡拓撲方面，如圖3所示，我們搭建了兩個數據中心站點，每個站點都使用二層clos網絡拓撲。其中站點1使用PC機作為服務器，商用OpenFlow交換機作為上層轉發設備，TUNIE FPGA作為底層轉發設備；站點2使用機架服務器，轉發設備都使用TUNIE FPGA。站點之前通過校園網相連。

在計算資源控制系統方面，我們采用開源的OpenStack系統[14]，其結構如圖4所示：一臺服務器作為管理節點，部署OpenStack的若干管理組件，包括管理虛擬機狀態的Nova，管理虛擬機鏡像的Glance，管理虛擬機網絡的Quantum，管理塊存儲的Cinder，以及提供網頁管理界面的Horizon等。其他服務器作為計算節點，部署虛擬機運行相關組件，包括Nova、Quantum及KVM、OpenVSwitch等。管理節點與計算節點通過管理網絡連接，計算節點間通過數據網絡連接。

網絡資源控制系統方面，核心是OpenFlow控制器。在管理節點上，運行了開源的Floodlight控制器[15]，它通過控制網絡與各轉發設備相連，獲取網絡狀態，并對轉發策略進行配置。另外，它以REST API的方式與計算資源管理系統進行通信，將網絡管理與計算管理融合到一起[16]。

為了能夠實時獲取整個數據中心的運行狀態，我們還部署了一套監測系統，主要包括3個部分，分別用于監測物理機（如圖5所示）、虛擬機和網絡轉發設備的狀態。物理機狀態通過各臺服務器上安裝的簡單網絡管理協議（SNMP）協議來收集，虛擬機狀態由OpenStack調用HyperVisor來進行收集和維護，網絡轉發設備狀態則主要由Floodlight控制器通過OpenFlow協議來進行獲取[17]。這些監測指標能夠通過訪問網頁來進行實時獲取。

5 原型系統驗證

為了驗證原型系統的性能，我們部署了一些demo并進行了測試。

負載均衡是一種常見的流量工程，在傳統IP網絡中實施較為復雜，而在SDN中，通過中心控制器可以較為容易地監控并部署負載均衡機制，同時其優化效果也更好。在原型系統中，我們部署了初步的負載均衡算法，現有的控制端算法包括隨機均衡、輪詢均衡和流量比例均衡3種。其實際效果已通過現場可編程門陣列（FPGA）進行測試，能夠達到較好效果[18]。

虛擬機遷移是數據中心中的基礎功能。和傳統數據中心中遷移過程只涉及計算資源管理不同，在該原型系統中，遷移過程融合了網絡資源的管理，在遷移前后，控制器要對數據中心網絡進行操作，優化鏈路狀態并保障遷移過程中虛擬機的通信不中斷。這增強了遷移過程中網絡的可控性，提高了網絡的利用效率。

6 結束語

近年來，數據中心受到了越來越廣泛的關注。但現有的網絡方案仍存在著一些問題，如管控復雜、成本較高等。SDN是最近興起的網絡技術，它通過將網絡管控功能與轉發功能分離并采用集中控制的思路，能夠有效地解決現有數據中心網絡遇到的困難。因此，基于軟件定義的數據中心方案有著良好的前景。

文章中設計了基于SDN的數據中心網絡方案，并進行了原型系統的實現。該方案具有復雜度低、管控能力強、操作簡便、成本較低等特色。目前，該原型系統已經在部署當中，并實現了若干演示應用，如數據中心狀態監測、負載均衡、域內虛擬機遷移等，后續的研究方案包括跨域虛擬機遷移、域間流量均衡演示等。

參考文獻

[1] McKeown Keynote talk： software-defined networking [C]//Proceedings of IEEE INFOCOM. Apr 18-25， 2009， Rio de Janeiro， Brazil. Brazil ： IEEE Press， 2009：1-1.

[2] MCKEOWN N， ANDERSON T， BALAKRISHNAN H， et al. OpenFlow： enabling innovation in campus networks [J]. ACM SIGCOMM Computer Communication Review， 2008， 38（2）： 69-74.

[3] SDN概念升溫， 市場角力加劇[EB/OL]. [2013-4-10]. http：//www.cnii.com.cn/wlkb/rmydb/content/2013-01/31/content_1088793.htm

[4] IBM and NEC Bring SDN/OpenFlow to Enterprise Data Center Networks [EB/OL]. [2012-01].http：//public.dhe.ibm.com/common/ssi/ecm/en/qcl12364usen/QCL12364USEN.PDF

[5] Warehouse Scale Datacenters： The case for a New Approach to Networking [EB/OL]. [2011-10-18] http：//www.opennetsummit.org/archives/oct11/gahinsky-tue.pdf

[6] JAIN S， KUMAR A， MANDAL S， et al. B4： Experience with a globally-deployed software defined WAN[C]//Proceedings of the ACM SIGCOMM 2013 Conference on SIGCOMM. Aug 13， 2013， Hong Kong， China. 2013： 3-14.

[7] HONG C Y， KANDULA S， MAHAJAN R， et al. Achieving high utilization with software-driven wan[C]//Proceedings of the ACM SIGCOMM 2013 conference on SIGCOMM. Aug 13， 2013， Hong Kong， China. 2013： 15-26.

[8] VMware vSphere [EB/OL]. http：//www.vmware.com/cn/products/vsphere

[9] Hyper-V概述 [EB/OL]. http：//technet.microsoft.com/zh-cn/library/hh831531.aspx

[10] GREENBER A， HAMILTON J， MALTZ D A， et al. The cost of a cloud： research problems in data center networks [J]. ACM SIGCOMM Computer Communication Review， 2008， 39 （1）： 68-73.

[11] JAIN R， PAUL S. Network virtualization and software defined networking for cloud computing： a survey [J]. Communications Magazine， IEEE， 2013， 51 （11）： 24-31.

[12] KOERNER M， KAO O. Multiple service load-balancing with OpenFlow[C]// 2012 IEEE 13th International Conference on High Performance Switching and Routing （HPSR）. Jun 24-27， 2012. 2012： 210-214.

[13] SHIN S， PORRAS P， YEGNESWARAN V， et al. Fresco： Modular composable security services for software-defined networks[J]. Internet Society NDSS， 2013.

[14] OpenStack [EB/OL]. http：//www.openstack.org/

[15] Floodlight Open SDN Controller [EB/OL]. http：//www.projectfloodlight.org/floodlight/

[16] 龐冉， 黃永亮. SDN技術在綜合承載傳送網中的應用分析[J]. 郵電設計技術， 2013， （11）： 11-24.

[17] 劉媛妮， 唐紅， 趙國鋒. 未來互聯網體系結構研究[J]. 重慶郵電大學學報（自然科學版）， 2013，25（1）：52-58.

[18] 蔣培成， 陳鳴， 李兵. OpenFlow軟交換機的性能測量[J]. 重慶郵電大學學報（自然科學版）， 2013，25（1）： 24-29.

[5] Warehouse Scale Datacenters： The case for a New Approach to Networking [EB/OL]. [2011-10-18] http：//www.opennetsummit.org/archives/oct11/gahinsky-tue.pdf

[6] JAIN S， KUMAR A， MANDAL S， et al. B4： Experience with a globally-deployed software defined WAN[C]//Proceedings of the ACM SIGCOMM 2013 Conference on SIGCOMM. Aug 13， 2013， Hong Kong， China. 2013： 3-14.

[7] HONG C Y， KANDULA S， MAHAJAN R， et al. Achieving high utilization with software-driven wan[C]//Proceedings of the ACM SIGCOMM 2013 conference on SIGCOMM. Aug 13， 2013， Hong Kong， China. 2013： 15-26.

[8] VMware vSphere [EB/OL]. http：//www.vmware.com/cn/products/vsphere

[9] Hyper-V概述 [EB/OL]. http：//technet.microsoft.com/zh-cn/library/hh831531.aspx

[10] GREENBER A， HAMILTON J， MALTZ D A， et al. The cost of a cloud： research problems in data center networks [J]. ACM SIGCOMM Computer Communication Review， 2008， 39 （1）： 68-73.

[11] JAIN R， PAUL S. Network virtualization and software defined networking for cloud computing： a survey [J]. Communications Magazine， IEEE， 2013， 51 （11）： 24-31.

[12] KOERNER M， KAO O. Multiple service load-balancing with OpenFlow[C]// 2012 IEEE 13th International Conference on High Performance Switching and Routing （HPSR）. Jun 24-27， 2012. 2012： 210-214.

[13] SHIN S， PORRAS P， YEGNESWARAN V， et al. Fresco： Modular composable security services for software-defined networks[J]. Internet Society NDSS， 2013.

[14] OpenStack [EB/OL]. http：//www.openstack.org/

[15] Floodlight Open SDN Controller [EB/OL]. http：//www.projectfloodlight.org/floodlight/

[16] 龐冉， 黃永亮. SDN技術在綜合承載傳送網中的應用分析[J]. 郵電設計技術， 2013， （11）： 11-24.

[17] 劉媛妮， 唐紅， 趙國鋒. 未來互聯網體系結構研究[J]. 重慶郵電大學學報（自然科學版）， 2013，25（1）：52-58.

[18] 蔣培成， 陳鳴， 李兵. OpenFlow軟交換機的性能測量[J]. 重慶郵電大學學報（自然科學版）， 2013，25（1）： 24-29.

[5] Warehouse Scale Datacenters： The case for a New Approach to Networking [EB/OL]. [2011-10-18] http：//www.opennetsummit.org/archives/oct11/gahinsky-tue.pdf

[6] JAIN S， KUMAR A， MANDAL S， et al. B4： Experience with a globally-deployed software defined WAN[C]//Proceedings of the ACM SIGCOMM 2013 Conference on SIGCOMM. Aug 13， 2013， Hong Kong， China. 2013： 3-14.

[7] HONG C Y， KANDULA S， MAHAJAN R， et al. Achieving high utilization with software-driven wan[C]//Proceedings of the ACM SIGCOMM 2013 conference on SIGCOMM. Aug 13， 2013， Hong Kong， China. 2013： 15-26.

[8] VMware vSphere [EB/OL]. http：//www.vmware.com/cn/products/vsphere

[9] Hyper-V概述 [EB/OL]. http：//technet.microsoft.com/zh-cn/library/hh831531.aspx

[10] GREENBER A， HAMILTON J， MALTZ D A， et al. The cost of a cloud： research problems in data center networks [J]. ACM SIGCOMM Computer Communication Review， 2008， 39 （1）： 68-73.

[11] JAIN R， PAUL S. Network virtualization and software defined networking for cloud computing： a survey [J]. Communications Magazine， IEEE， 2013， 51 （11）： 24-31.

[12] KOERNER M， KAO O. Multiple service load-balancing with OpenFlow[C]// 2012 IEEE 13th International Conference on High Performance Switching and Routing （HPSR）. Jun 24-27， 2012. 2012： 210-214.

[13] SHIN S， PORRAS P， YEGNESWARAN V， et al. Fresco： Modular composable security services for software-defined networks[J]. Internet Society NDSS， 2013.

[14] OpenStack [EB/OL]. http：//www.openstack.org/

[15] Floodlight Open SDN Controller [EB/OL]. http：//www.projectfloodlight.org/floodlight/

[16] 龐冉， 黃永亮. SDN技術在綜合承載傳送網中的應用分析[J]. 郵電設計技術， 2013， （11）： 11-24.

[17] 劉媛妮， 唐紅， 趙國鋒. 未來互聯網體系結構研究[J]. 重慶郵電大學學報（自然科學版）， 2013，25（1）：52-58.

[18] 蔣培成， 陳鳴， 李兵. OpenFlow軟交換機的性能測量[J]. 重慶郵電大學學報（自然科學版）， 2013，25（1）： 24-29.