數據中心網絡拓撲探討

中圖分類號：TN915.1文獻標志碼：A 文章編號：1009-6868 (2012) 04-0007-004

摘要：文章認為數據中心網絡的拓撲結構確定其硬件設備的選取標準、設備之間的協同和互聯方式、以及數據中心的運行和維護機制。針對各種新的服務需求對數據中心網絡提出的更高的結構性要求，業界提出了一些新的數據中心網絡拓撲結構。文章介紹并分析了這些拓撲結構，主要有改進樹形結構(如Fat-tree、VL2)、遞歸層次結構(如DCell、FiConn、BCube)、能量比例結構、矩陣結構。

關鍵詞：數據中心網絡；拓撲結構；云計算

Abstract: The topology of a data-center network (DCN) determines which device standards are used, how devices cooperate and interconnect, and which OAM mechanisms are used in the data-center. Diverse services require improved topological performance. To this end, we propose improved tree topologies, such as Fat-tree and VL2; recursively hierarchical topologies, such as DCell, FiConn, and BCube; energy percentage topologies; and matrix topologies.

Key words:data center networking; topology; cloud computing

數據中心網絡是指數據中心的網絡基礎設施，它通過高速的鏈路和交換機連接著大量的服務器[1]。數據中心網絡是基于服務器之間及時可靠的通信來發揮作用的，其作用是為數據中心的一切應用和服務提供數據存儲、分析、處理和計算的物理平臺。數據中心網絡是數據中心硬件部分的核心基礎構成，它的拓撲結構給出了數據中心中所有交換機和服務器的連接關系，決定數據中心的具體組織形式。

作為數據中心與云計算技術的硬件支撐，數據中心網絡已迅速成為學術界研究的熱點。近年來，計算機方向的國際頂級學術會議(如OSDI、ISCA、SIGCOMM、SIGMOD、INFOCOM、ICDCS、HPDC、SOSP等)都設立了關于數據中心網絡的議題。IEEE和ACM的諸多國際權威期刊(如IEEE Computing in Science and Engineering、IEEE Transactions on Parallel and Distributed Systems、IEEE/ACM Transactions on Networking等)經常刊登數據中心網絡的相關學術文章。麻省理工大學、斯坦福大學、加州大學伯克利分校、俄亥俄州立大學、麥吉爾大學、清華大學、微軟研究院等全球著名大學及研究機構成立了專門的研究組，開展對數據中心網絡的研究。同時，谷歌、亞馬遜、微軟等公司也從未停止對數據中心網絡的研究工作[2-3]。

1 研究數據中心網絡拓撲

結構的意義

數據中心網絡拓撲結構確定組成數據中心的硬件設備的選取標準，以及這些設備之間的協同和互聯方式，進一步確定數據中心本身的運行和維護。研究數據中心網絡拓撲結構的意義主要體現在上層應用的運行質量、數據中心的建設成本和運行能耗兩個方面。

(1)拓撲結構設計決定上層應用的運行質量

數據中心網絡拓撲結構設計給出數據中心各服務器之間的連接關系，即任意兩個服務器之間所有鏈路和中間節點的連接順序，從而確定服務器間通信的路由方式。數據中心網絡拓撲結構還直接影響著服務器間通信的容錯和整個網絡的擁塞控制。因為無論采取冗余、自適應路由、窗口速率控制或其他容錯和擁塞控制方法，都需要根據網絡拓撲結構所確定的節點連接關系傳遞控制信息。數據中心的上層應用，如GFS[4]、HDFS[5]、Bigtable[6]、Dynamo[7]、Dryad[8]等等，都以并行和分布式的形式在數據中心網絡上通過大量服務器間的協同通信來實現。這些服務器之間通信的路由、容錯和擁塞控制則決定上層應用的運行質量，包括服務時間、處理數據的吞吐量等。而這些又決定網絡服務運營商能否在單位時間內為更多的用戶提供滿意的服務，獲取更大的利潤。

(2)拓撲結構設計決定數據中心的建設成本和運行能耗

數據中心網絡作為數據中心的主體硬件部分，其結構設計給出組成數據中心的三大主要硬件設備(服務器、交換機和鏈路)的數量和選取標準，如服務器或交換機的型號、網絡接口數量、額定功率等。具有不同網絡拓撲結構的數據中心可容納的最大服務器數量是不同的，并且容納同樣數量的服務器所需要的交換機數量也是不同的。雖然現在的數據中心只需采用價格低廉的商務計算機作為服務器，但不同的網絡拓撲結構對交換機的數量和性能要求都不相同，當數據中心的服務器數量達到幾萬臺或更多時，不同的網絡拓撲結構會使得數據中心的建設成本和運行能耗[9]產生巨大的差異。

2 數據中心網絡拓撲結構

新的設計要求

由于普通計算機性能的快速提高以及對服務器數量需求的飛速增長，新的數據中心網絡都不再使用專門設計的高端服務器和鏈路，只采用大量價格低廉的普通商務計算機作為服務器[10]。

近年來，隨著云計算技術在各個應用領域的不斷發展以及對個人普通用戶的開放，層出不窮的各種在線云服務項目對數據中心網絡拓撲結構提出了新的設計要求，主要包括以下3點：

?要具備較強的可拓展性，不僅要能夠容納大量的服務器，還要支持服務器數量的持續增長。

?要具備較高的可靠性，以應對各種各樣的服務器故障和鏈路故障。

?要具備較好的網絡性能，以支持帶寬需求量大的服務。

3 數據中心網絡拓撲結構

目前已經建成并投入使用的數據中心網絡結構一般都是由兩層或三層的路由器和交換機組成的樹形結構[11-12]構成，如圖1所示。三層結構設計為：結構樹的葉子是邊緣層，放置各服務器(普通計算機)；中部是集合層，放置集合交換機；根部是核心層，放置核心交換機。集合層的每臺交換機向下一般連接著幾十或上百臺服務器，向上則都連接著核心交換機。如果服務器數量較多，則集合層內部會分出更多的層次放置集合交換機，即集合交換機的父節點依然會是集合交換機。兩層結構的設計則只包括核心層和邊緣層。

隨著數據中心的不斷發展，傳統的數據中心網絡結構，即樹形結構，逐漸暴露出越來越多的缺陷和不足。采用樹形結構的數據中心網絡雖然建造起來比較簡單方便，但不便于拓展和升級。這種結構中的服務器全部都集中在葉子層，而且服務器僅與各自的交換機相連，這樣核心交換機和集合交換機成為帶寬的“瓶頸”，一個核心交換機故障可能會導致上千臺服務器失效。為了滿足數據中心網絡新的設計要求，提高數據中心網絡的可擴展性、可靠性等拓撲性能，研究者們提出了一些新的數據中心網絡結構。

3.1 改進樹形結構

Fat-tree是對傳統樹形結構的一種改進結構。Fat-tree結構樹中的一個中間節點可以有多個父節點，即增加了上下層集合交換機之間以及集合交換機與核心交換機之間的鏈路數量。圖2給出了Fat-tree的節點連接方式。由于增大了網絡的連通性，Fat-tree從一定程度上提高了數據中心網絡的可靠性。但Fat-tree還不能從根本上解決數據中心網絡拓展和升級的問題。原因在于它繼承了傳統樹形結構的諸多設計缺陷：第一，同傳統樹形結構一樣，Fat-tree需要采用專門設計的高層集合交換機以及核心交換機，隨著服務器數量的增加，對集合交換機和核心交換機的性能要求會越來越高，價格也會更加昂貴；第二，當交換機數量增加到一定程度時，需要改變原有數據中心網絡的結構，增加集合交換機的層次數量；第三核心交換機依然是帶寬和性能的“瓶頸”。

為了改進傳統樹形結構的拓展性，實現服務資源的動態分配，Albert Greenberg[13]等人基于傳統樹形結構，提出了一種可拓展的靈活的數據中心網絡結構——VL2。該結構利用虛擬機技術將傳統樹形結構的集合層虛擬化為統一的域，使得所有服務器仿佛連接到同一個局域網，并且可以根據服務需求動態分配服務器的IP地址，有效提高了網絡性能和服務效率。由于基本沿襲了傳統樹形結構的節點連接方式，并且對節點的選取標準也沒有太大的變化，因此VL2是目前最易用于對現有數據中心網絡改造的結構，但網絡的可靠性并沒有得到較大的改善。

3.2 遞歸層次結構

遞歸層次結構[14]是解決數據中心網絡可拓展性問題的一種較好選擇。設計遞歸層次結構的數據中心網絡，主要是設計好最小遞歸單元的結構和確定好遞歸規律。在遞歸層次結構中，每一個高層的網絡拓撲都由多個低一層的遞歸單元按照遞歸規律相互連接構成，同時也構成了組建更高層級網絡拓撲的一個遞歸單元。當需要增加服務器數量時就提高總的遞歸層次，此時整個數據中心網絡的規模可增長數倍。該結構中的服務器都處于平行或并列的位置。采用這種結構，能夠為數據中心網絡靈活地添加大量的服務器，而不用改變已經存在的拓撲結構。而且遞歸層次結構對交換機的性能要求很低，通常只需采用標準統一且價格低廉的普通商務交換機即可，大大節省了數據中心網絡的建造成本。

DCell、FiConn[15]、BCube[16]是幾種比較典型的遞歸層次結構。其相同點是最小遞歸單元的結構完全一樣，即用一個交換機連接著多個服務器，區別在于采用了不同的遞歸規律。

DCell利用完全圖的節點連接關系作為遞歸規律，同層次的任意兩個遞歸單元之間都有一對服務器直接相連。因而DCell也具備了完全圖的優點和缺點。其遞歸單元之間的全連通性極大地提高了網絡的可靠性，但使得每個服務器連有多條鏈路，這就要求每個服務器都裝有多個端口。圖3顯示了DCell結構的節點連接方式。

FiConn與DCell類似，是在DCell的基礎上犧牲連通性得到的拓撲結構。遞歸單元僅使用一半的服務器空閑端口相互連接構成。FiConn使得數據中心網絡的構建變得相對簡單，成本更加低廉。圖4顯示了FiConn的節點連接方式。

BCube利用超立方體(Hypercube)[17]的節點連接關系作為遞歸規律，同層次不同遞歸單元中相同位置上的所有服務器都通過一個交換機相互連接。BCube也要求每個服務器都裝有多個端口，但具備了超立方體連通性高、直徑小、可靠性好的優點。圖5和圖6顯示了BCube結構的節點連接方式。

中國對數據中心網絡的研究起步較晚，但已有學者在DCell和BCube的基礎上提出了新的數據中心網絡結構，被稱為雪花結構[18]。雪花結構也以遞歸方式構建，并且采用了與DCell、FiConn和BCube相同的最小遞歸單元。

3.3 其他結構

在成本控制、運營效率和資源利用率等因素的驅動下，工業界也一直在研究適應市場需求的數據中心網絡。如博科公司于2007年發布的數據中心架構(DCF)，通過整合存儲網絡與服務器來構建服務器集群，成為單一融合的數據中心基礎設施，簡化了數據中心的連接并降低了成本[19]。考慮到通常情況下數據中心的服務器資源并非被完全利用，谷歌公司的研究人員設計出了一種能量比例結構，按照扁平化蝴蝶拓撲的節點連接方式連接各服務器，以保證數據中心網絡的電能消耗與服務器的利用率相匹配，即網絡能耗與網絡數據流量成比例，從而最大限度地降低數據中心的運行成本[20]。此外，矩陣結構也是工業部門正在研究的數據中心網絡結構之一，即通過交換矩陣的方式構建超高速、低延遲和超額配置程度低的服務器集群，以便為優化服務器集群的運行提供多種服務[21]。

4 結束語

本文對目前學術界和工業界在數據中心網絡拓撲結構方面的研究情況做了介紹。闡述了數據中心網絡拓撲結構的研究意義，概述了數據中心網絡拓撲結構的新設計要求，介紹了傳統樹形結構的基本構成和存在的缺陷，分別介紹了改進樹形結構、遞歸層次結構以及其他結構的拓撲構造和優缺點。

5 參考文獻

[1] GUO C, WU H, TAN K, et al. DCell: A scalable and fault-tolerant network structure for data centers [C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications (SIGCOMM08), Aug 17-22, 2008, Seattle, WA, USA. New York, NY,USA:ACM, 2008: 75-86.

[2] Amazon Web Services. Amazon elastic compute cloud (Amazon EC2) [EB/OL]. [2012-05-15]. http://aws.amazon.com/ec2/.

[3] Windows azure: Microsofts cloud platform [EB/OL]. [2012-05-15]. http://www.windowsazure.com/.

[4] GHEMAWAT S, GOBIOFF H, LEUNG S. The Google file system [C]//Proceedings of the 19th ACM SIGOPS Symposium on Operating Systems Principles (SOSP03), Oct 19-22, 2003, Bolton Landing, NY, USA. New York, NY, USA: ACM, 2003: 29-43.

[5] BORTHAKUR D. The hadoop distributed file system: Architecture and design [EB/OL]. [2012-05-15]. http://hadoop.apache.org/core/docs/current/hdfsdesign.pdf.

[6] CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable: A distributed storage system for structured data [C]//Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation (OSDI06),Nov 6-8,2006, Seattle, WA, USA. Berkeley, CA, USA: USENIX Association, 2006.

[7] BALA V, DUESTERWALD E, BANERJIA S. Dynamo: A transparent dynamic optimization system [J]. ACM SIGPLAN Notices, 2011, 46 (4): 41-52.

[8] ISARD M, BUDIU M, YU Y, et al. Dryad: Distributed data-parallel programs from sequential building blocks [C]//Proceedings of the 2nd ACM SIGOPS/EuroSys European Conference on Computer Systems, Mar 31-Apr 4,2007, Lisbon, Portugal. New York, USA: ACM. 2007.

[9] HUANG L, JIA Q, WANG X, et al. PCube: Improving power efficiency in data center networks [C]//Proceedings of the IEEE 4th International Conference on Cloud Computing (Cloud11), Jul 4-9,2011,Washington,DC, USA. Washington, DC, USA: IEEE Computer Society, 2011:65-72.

[10] BARROSO L A, DEAN J, H?OLZLE U. Web search for a planet: The Google cluster architecture [J]. IEEE Micro, 2003, 23(2):22-28.

[11] DEAN J, GHEMAWAT S. MapReduce: Simplified data processing on large clusters [C]//Proceedings of the 6th USENIX Symposium on Operating System Design and Implementation (OSDI04),Dec 6-8,2004,San Francisco, CA,USA. Berkeley, CA, USA: USENIX Association, 2004.

[12] AL-FARES M, LOUKISSAS A, VAHDAT A. A scalable, commodity data center network architecture [C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications (SIGCOMM08), Aug 17-22, 2008, Seattle, WA, USA. New York, NY, USA: ACM, 2008. 63-74.

[13] GREENBERG A, HAMILTON J R, JAIN N, et al. VL2: A scalable and flexible data center network [C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications (SIGCOMM09), Aug 17-21, 2009, Barcelona, Spain. New York, NY, USA: ACM, 2009:51-62.

[14] GUO D, CHEN T, LI D, et al. BCN: Expansible network structures for data centers using hierarchical compound graphs [C]//Proceedings of the 30th Annual Joint Conference of the IEEE Computer and Communications (INFOCOM11), Apr 10-15, 2011, Shanghai, China. Piscataway, NJ, USA: IEEE, 2011: 61-65.

[15] LI D, GUO C, WU H, et al. FiConn: Using backup port for server interconnection in data centers [C]//Proceedings of the 28th Annual Joint Conference of the IEEE Computer and Communications(INFOCOM09), Apr 19-25, 2009, Rio de Janeiro, Brazil. Piscataway, NJ, USA: IEEE, 2009: 2276-2285.

[16] GUO C, LU G, LI D, et al. BCube: A high performance, server-centric network architecture for modular data centers [C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications (SIGCOMM09), Aug 17-21, 2009, Barcelona, Spain. New York, NY, USA: ACM, 2009:63-74.

[17] HSU L, LIN C. Graph theory and interconnection networks [M]. New York,NY, USA: CRC Press of Taylor and Francis Group, 2009.

[18] 劉曉茜, 楊壽保, 郭良敏, 等．雪花結構：一種新型數據中心網絡結構 [J]. 計算機學報, 2011, 34 (1):76-86.

[19] WatchStor. 博科推出下一代數據中心服務器整合和網絡集合理念 [J]. 中國金融電腦, 2009(5):94.

[20] ABTS D, MARTY M R, WELLS P M, et al. Energy proportional datacenter networks [C]//Proceedings of the 37th Annual International Symposium on Computer Architecture(ISCA10), Jun 19 - 23, 2010, Saint-Malo, France. New York, NY, USA: ACM, 2010:338-347.

[21] ARREGOCES M. 不斷發展的數據中心專題報告: 新趨勢影響數據中心網絡架構 [J]. 微型電腦應用, 2008,24 (3):61-64.

收稿日期：2012-04-26

作者簡介

丁澤柳，國防科技大學信息系統工程國家重點實驗室在讀博士研究生；主要研究方向為復雜信息系統。