現代數字城市大數據中心架構研究

【摘要】? ? 隨著大數據時代的到來，傳統數據中心網絡的層次結構已經不能滿足新技術發展的需要。為了解決這個問題，本文介紹了以網絡為數據中心的方案，包括Monsoon、基于樹的結構、基于CLOS的結構、VL2網絡結構、PortLand和Jellyfish模型，有效增強分層數據傳輸機制，提高了網絡結構擴展性，并提出了未來數據中心網絡的發展方向。

【關鍵詞】? ? 大數據? ? 數據中心? ? 網絡結構? ? 架構

引言：

隨著大數據時代的到來，一些大型搜索引擎數據中心網絡在承載了越來越多應用的同時，[1]也對傳統數據中心提出了眾多挑戰。傳統數據中心網絡主要是大量服務器通過數據中心內的高速鏈路與交換機相連。這種網絡架構是通過層次結構實現的，[2]其托管的應用模式為客戶端/服務器模式。然而，傳統的網絡中心結構已經無法滿足網絡日益發展的需求，主要涉及以下幾個方面：1.現在網絡規模發展非常迅速，對服務器的需求越來越多;2.MapReduce和虛擬機遷移的應用非常廣泛，這些技術都是帶寬密集型應用，因此對數據中心的內部流量要求非常高;[3]3.傳統的網絡結構只能用于輔助高效路由算法的設計，與許多新型數據中心結構傳統結構有很大區別;4.現有數據中心應用最廣泛的技術是虛擬化技術;5.現有數據中心有很多服務器和交換機，在這種情況下，數據中心網絡必須實現即插即用的功能;6.就全球網絡資源而言，現有數據中心網絡的能耗最高，數據中心80%以上的鏈路負載很小，而傳統數據中心網絡結構的能耗較高。

如何讓新的數據中心網絡滿足不斷發展的應用需求，已成為當前和未來在架構、兼容性和協議等方面的研究方向。[4]目前對此的研究涉及兩個方面：一是中心即網絡，二是中心即服務器。本文主要分析了以網絡為中心的方案，并給出了存在的缺陷和對未來的研究方向提出了展望。

一、現代數字城市概述

科技的發展和中國城市化進程的發展，也帶動了數字城市的建設。數字城市的發展對人們的生活方式和文化習俗產生了巨大的影響，全面推動了創新城市規劃方法、城市管理方法現代化和城市可持續發展。此外，協助政府決策，推進城市信息數字化，打造社會經濟新體系，提升城市政府決策質量，[5]搭建“一站式”服務，電子政務、信息社區、科技信息網絡、遠程醫療、遠程教育等平臺，具有深遠的發展前景和意義。

二、以網絡為中心的方案

在以網絡為中心的解決方案中，本文選擇的方案主要涉及6種。

（一）Monsoon

Monsoon[6]架構見圖 1。在這種架構中，所有服務器共享一個 2 層網絡，系統中所有服務器都可以與任何服務器的網絡接口進行快速通信。本系統通過第三層部分實現數據中心與Internet的通信，其中超過 100 000 臺服務器鏈接在一個兩層網絡中而沒有過度收斂。 核心邊界路由器和接入路由器使用ECMP進行多路徑傳輸，使用VLB機制進行負載均衡，如VL2。

Monsoon 使用 MAC-in-MAC 技術創建 MAC 層隧道，將傳統的地址解析協議 （ARP） 修改為用戶態進程，并允許新的 MAC 接口轉發加密的以太網幀。 然而，這些機制和解決方案與現有的以太網架構不兼容。

（二）基于樹的結構

傳統的數據中心網絡是典型的多根樹狀架構，一般由三層交換機（three-tier）組成。在架構中，以根為根的頂層稱為核心層，中間層稱為匯聚層，底層稱為接入層。更高層的設備具有更高的性能和價值。核心層通常由多臺冗余路由器組成，一側接入外部網絡，執行外部邊界網關協議（EBGP）或靜態路由協議，另一側接入內部網絡，執行內部網關協議（IGP） .接入層交換機通常分別提供 1 GB/s 和 10 GB/s 的下行鏈路和上行鏈路接口。聚合層交換機通常具有 10 GB/s 接口，并允許在接入層交換機之間聚合和轉發數據。

在 DCN 中，來自 Internet 的請求由核心層路由器接收并轉發到匯聚層的負載均衡服務器。負載平衡服務器維護一個映射表，其中包括虛擬 IP 地址（VIP，用于請求接受）和直接 IP 地址（DIP，用于請求處理）。負載均衡服務器根據該表將Internet請求轉發到訪問層的應用池進行處理。傳統的樹狀架構有很多缺點。第一，樹根附近帶寬大幅增加，需要部署高性能的網絡設備，可能會增加成本。第二，網絡規模受到交換機端口的嚴重限制。第三，一旦上層交換失敗，下層節點就會失去與其他節點的連接。此外，隨著設備處理能力的增加，毫無疑問數據中心的功耗也會增加。因此，研究人員開始為 DCN 設計替代架構。

（三）基于CLOS的架構

CLOS 是一種基于 Tree 的增強架構，目前廣泛應用于許多企業級數據中心。 CLOS 的數學理論由貝爾實驗室的 Charles Clos 于 1953 年引入，用于創建非阻塞、多級拓撲，該拓撲提供比單個交換機能夠提供的帶寬更高的帶寬。該架構的一個主要特點是多層交換，因為輸入和輸出流的增加，其中每個交換單元連接到下層的所有單元，以減少交叉節點的數量。在 CLOS中，葉層負責將服務器子網廣播到網絡結構中。葉層決定了收斂比，從而決定了骨干的大小。骨干層負責互連所有葉子。由于CLOS采用了類似的基于樹的分層數據傳輸機制，這里不再贅述。盡管 CLOS 中的多層交換有效減少了聚合層帶寬限制的壓力，而不是樹狀層次結構，但是兩種架構之間存在相同的特征和問題。

上述 Tree 和 CLOS 架構最初是為中小型網絡設計的。然而，在云計算時代，面向云的數據中心不同于傳統的企業級數據中心，隨著數據中心網絡設備數量的快速增長，對大規模分布式計算提出了新的要求。

（四）VL2網絡結構

該系統的結構類似于傳統拓撲結構，在該系統中，機架（ToR）交換機連接到兩個匯聚交換機。[7]但是，存在一個重要問題：兩個匯聚交換機必須連接中繼交換機， 所以會有很多可能的路徑。VL2 是 Greenberg 等人介紹的另一種基于樹的架構，用于 DCN 中的動態資源分配。 與FatTree不同的是，VL2通過一個虛擬的二層以太網連接所有服務器，與服務器位于同一個局域網內。 在這種情況下，所有服務器都可以分配給上層應用程序，因為不會發生資源碎片。 VL2采用CLOS拓撲增加連接，VLB機制分配路由實現負載均衡。 此外，VL2 實現了等價多路徑 （ECMP） 路由，通過多個最優路徑轉發數據，解決 VM 遷移中的地址重新分配問題。 因此，VL2 被視為 VLB 類別。由于VL2在連接上遵循傳統的樹狀架構，因此被廣泛用于增強現有的DCN。但是，其網絡可靠性并沒有提高，在可擴展性和單節點故障方面仍然存在問題。

（五）PortLand 結構

PortLand有關架構如圖2所示。該架構是從 FatTree 網絡結構演變而來的。兩者最大的不同是PortLand結構使用了一個重要參數;[8]這個參數是結構管理器;同時，它負責通過分層虛擬MAC地址進行分組和轉發。

PortLand 邊緣交換機在每個 Pod 中學習唯一的 Pod 編號和唯一的位置編號。使用位置發現協議來分配這些值。對于所有直接連接的主機，邊緣交換機分配一個 48 位 PMAC。 PMAC的格式為pod.position.port.vmid，其中'pod'（16位）表示邊緣交換機的pod編號，'position'（8位）反映了交換機在pod中的位置，'port' （8 位）和“vmid”（16 位）分別描述主機連接到的端口數和部署在同一物理機 （PM） 上的 VM 數。

每當源主機希望與另一臺主機通信時，它就會通過結構管理器搜索目標 PMAC。一旦數據包到達目的節點，入口交換機將 PMAC 修改為目標的實際 MAC （AMAC）。完成從一個 PM 到另一個 PM 的 VM 遷移后，結構管理器維護新的 PMAC 到 AMAC 的映射，并向 VM 之前所在的先前 PM 廣播。PortLand基于樹架構部署了全新的基于兩層的路由機制，支持更好的容錯路由轉發、VM遷移和網絡可擴展性。

（六）Jellyfish拓撲

Jellyfish架構見圖3。傳統的網絡結構在很大程度上限制了網絡的擴展。為了得到更短的平均路由長度，降低網絡成本，Jellyfish拓撲被提出，該系統的一個重要特性是可以在 ToR 交換層上構建隨機圖。[9]

三、數據中心網絡未來發展方向

上面介紹了幾種常用數據中心網絡的架構，通過現有的數據中心網絡設計，我們指出了一些可以作為未來研究主題的開放研究問題。

（一）新型 DCN 架構

數據中心網絡（DCN）是數據中心的重要組成部分，由大量通過高速通信鏈路連接的托管服務器和交換機組成。 DCN實現了資源集中部署，用戶按需訪問數據中心的信息和服務。近年來，隨著基于云的服務的廣泛使用以及數據中心內部/之間前所未有的數據傳輸量，DCN 的規模不斷擴大，而傳統的 DCN 架構缺乏應對的聚合帶寬、可擴展性和成本效益。隨著租戶對云數據中心服務的需求不斷增加。因此，需要設計一種具有可擴展性、低成本、魯棒性和節能性的新型 DCN 架構。

（二）兼容性

在面向云的DCN的實際部署和升級中，為了節約成本，往往會考慮在不同批次時間購買不同容量的設備。因此，如何在保證新DCN與現有網絡高效協作的同時，實現大規模異構設備的互聯，是一個亟待解決的問題。

（三）DCN協議的研究和改進

DCN架構的管理與現有的互聯網架構有很大不同。DCN的管理往往是在一個實例中完成的，從而可以獲取其全局拓撲、數據流、故障和各種日志信息，以輔助協議設計和網絡架構設計適用于特定 DCN 架構的新型協議，可以提高執行效率。

（四）自動分配IP地址

Port-Land中的位置和網絡拓撲信息存儲在服務器或交換機上，提高了路由的性能。 因此，動態主機配置協議 （DHCP） 等傳統協議無法在這種情況下部署。此外，由于手動配置如此大量的交換機或服務器是一項耗時且煩瑣的工作，因此需要自動分配IP地址機制以降低人工成本和配置錯誤的風險。

因此，無論已知或未知的 DCN 架構，提出低成本、高可靠性和可管理的自動地址配置方法是一個具有挑戰性的研究視角。

三、結束語

近年來，隨著基于云的服務的廣泛使用以及數據中心內/數據中心之間前所未有的數據傳輸量，DCN的規模不斷擴大，而傳統的DCN架構由于缺乏聚合帶寬而不適用于面向云的DCN和可擴展性，論文描述了傳統數據中心網絡結構，提出了傳統數據中心網絡結構存在的問題，展示了 Monsoon、基于樹的結構、基于CLOS的結構、VL2、PortLand 和 Jellyfish 等架構，并提出了未來數據中心網絡的發展方向。

作者單位：王其凱? ? 北京可為高科信息技術有限責任公司

參? 考? 文? 獻

[1] Andrew Putnam， Adrian M.Caulfield， Eric S.Chung，等. 加快大型數據中心服務的可重構結構[J]. 中國集成電路， 2015， 24（Z1）：55-68.

[2] 謝佩博. 數據中心網絡結構的研究[D]. 西安電子科技大學.

[3] Xia， Hui. Research on Data Mining Optimization and Security Based on MapReduce[J]. Applied Mechanics & Materials， 2014， 631-632：1053-1056.

[4] 李嶸. 如何構建新型數據中心不斷滿足新的應用需求[J]. 通訊世界， 2012（05）：48-49.

[5] 龔俊榮. 現代數字城市研究[D]. 北京郵電大學， 2010.

[6] Wang B ，? Tim L I . EAST ASIAN MONSOON-ENSO INTERACTIONS[M]. SP Science Press， 2019.

[7] 潘赟. 數據中心網絡的體系結構研究[J]. 無線互聯科技， 2016（12期）：34-35.

[8] Pofale A D ，? Wanjari S P . Study of bond strength between various grade of Ordinary Portland Cement（OPC）and Portland Pozzolane Cement（PPC）mixes and different diameter of TMT bars by using pullout test[J]. 結構與土木工程前沿：英文版， 7（1）：7.

[9] Alzaid Z ，? X? Yuan，? Bhowmik S . Multi-Path Routing on the Jellyfish Networks[J].? 2020.

[10] 薄楊， 黃存東， 董坤. SDN新型網絡架構業務流量監控研究[J]. 賀州學院學報， 2018， v.34;No.114（02）：163-166.