云計算環境下的網絡技術研究

徐雷，張云勇，吳俊，房秉毅

（1. 中國聯通研究院，北京 100048；2. 北京郵電大學 經濟管理學院，北京 100876）

1 引言

近年來，云計算概念出現并引起產業界高度的重視。云計算是一種通過網絡實現對各種IT能力進行靈活調用的服務模式。云計算通過分布式計算、虛擬化等技術，構建用于資源和任務統一管理調度的資源控制層，將分散的ICT資源集中起來形成資源池，動態按需分配給應用使用。云計算服務的出現大大降低了企業信息化的成本，提高了信息化系統的資源利用效率，并推動了云服務市場的快速發展。未來信息通信與消費的世界是一個“終端—網絡—業務”三者缺一不可的世界，網絡作為重要組成部分負責連接終端與業務，云計算業務的發展使得網絡面臨新的變革[1]。

數據中心是云計算業務的基本載體，基于云計算的信息急劇膨脹使得數據中心網絡面臨著巨大的壓力，在網絡中發生超大規模的數據訪問已經成為必然趨勢。傳統的數據中心網絡已不能滿足云計算的需求，云計算向網絡技術提出了新的挑戰，也催生了新技術的出現。

本文從以數據中心為核心的云計算網絡技術體系框架出發，通過對云計算帶來的網絡新需求的分析，主要對虛擬機本地互訪網絡、數據中心二層互訪網絡、跨數據中心二層互訪網絡以及用戶與數據中心之間的網絡新技術進行了詳細探討，并提出了云網絡發展建議，使期為將來云計算網絡技術落地做好準備。

2 云計算網絡技術體系框架

云計算業務主要承載在數據中心內部，數據中心是云計算業務的基本載體，滿足云計算的數據中心隨著云計算業務的部署逐步發展，經歷一系列演進，以承載云計算業務為主要目的云計算數據中心呈現出規?；?、虛擬化、綠色化等新特點，云計算將給數據中心帶來一系列新的變革。傳統數據中心基本上沿用了IP網絡中層次化匯聚的組網模式，業務服務器、數據庫服務器等IT設備通過接入以太網交換機（TOR，柜頂交換機）、匯聚交換機、核心交換機，直至出口路由器連接至互聯網。由于傳統數據中心大多是互聯網用戶與服務器之間的交互數據，即所謂“南北向”流量，而服務器之間的“東西向”流量較小，因此適合采用這種層層匯聚的層次化組網模式。而云計算的流量特點是橫向的流量比重增大，大規模的云計算需要更新數據中心網絡架構。

如圖1所示，云計算網絡從業務到終端可分為虛擬機之間、服務器之間、數據中心之間以及用戶與數據中心之間4個部分，其中虛擬機之間、服務器之間的網絡位于數據中心內部。

1) 虛擬機之間

物理服務器內虛擬機之間的網絡，也稱虛擬機本地互訪網絡，目前技術主要由軟件層面的虛擬交換機（vSwitch）負責進行承載。

2) 服務器之間

物理服務器之間的網絡，主要由交換機進行互聯，包含縱向與橫向的流量。數據中心的分布式計算以橫向流量為主，服務器間的虛擬機交換以及橫向的遷移需要在二層網絡內進行交換，網絡面臨大二層網絡的組網需求。

3) 數據中心之間

數據中心之間互聯的網絡，同一城域內通過城域網的核心層進行互聯，不同城域間的數據中心通過骨干網進行互聯。隨著云計算數據中心逐步改造，云業務規模不斷擴大，某些規模業務的集群組件需要位于不同的數據中心，需要在網絡跨數據中心機房搭建二層網絡。

4) 用戶與數據中心之間

用戶與數據中心之間通常通過城域網進行互聯，隨著云業務的逐步部署，應用逐步集中部署在數據中心內，用戶與數據中心之間的流量會逐步增大，承載網絡帶寬需要增大，網絡帶寬增大的同時需要更加智能，用于對更加豐富的業務提供不同性能的管道服務。當多個數據中心同時提供服務或者服務從一個數據中心遷移到另一個數據中心時，用戶還要面臨如何選擇數據中心并快速切換的問題。

3 云計算環境下的網絡新需求

云計算主要包含2種計算模式：一虛多和多虛一。最初的云計算從網格計算、分布式計算演進而來，主要是通過多臺服務器完成一臺超級服務器才能完成的計算任務，這是通常所說的多虛一。另一種是將一臺物理服務器虛擬化出多個虛擬機，實現物理資源的高利用率，稱為一虛多。2種模式都為網絡帶來新問題，提出新的需求。

1) 橫向流量增大帶來的新問題

分布式計算和虛擬機遷移帶來了服務器之間橫向流量的增加，數據中心內部的流量模型從以縱向流量（南北向流量，用戶訪問服務器流量）為主轉變為以橫向流量（東西向流量，服務器之間的流量）為主。由于橫向流量突發性強，容易產生網絡擁塞，造成分組丟失，給數據中心內部通信的壓力增大，對帶寬和延遲的要求更高。

圖1 云計算網絡技術體系框架

2) 虛擬機動態遷移帶來的新問題

采用虛擬機動態遷移技術將為數據中心帶來更大的靈活性和價值：提高運維效率、節能減排和容災備份。

但是由于目前虛擬機動態遷移技術要求所遷移的虛擬機維持IP地址、MAC地址不變，在跨域場景下受限于物理路由的可達性，當遷移發生后，虛擬機原有的網絡配置將不能與外界正常通信，無法保證業務連接的連續性。因此在跨域場景下首先需要所有的虛擬機位于統一的二層網絡下，以滿足網絡的基本需求，這要求建立統一的二層網絡。

3) 虛擬機流量監控帶來的新問題

隨著服務器被改造成虛擬化平臺，接入層從以前的物理端口延伸到服務器內部，為不同虛擬機之間的流量交換提供服務，將虛擬機同網絡端口關聯起來。目前業界虛擬機之間的數據交換通常由虛擬交換機來完成。vSwitch實現虛擬機之間通信的流量監管、虛擬交換機端口策略等功能，另外vSwitch管理范圍被限制在物理服務器網卡之下，無法在整個數據中心提供針對虛擬機的端到端服務。同一臺物理服務器上不同虛擬機的流量在離開服務器網卡后仍然混雜在一起，對于上聯交換機來說，舊的網管界面無法處理虛擬環境下的多流量共同使用同一個端口的問題，無法做到對同一臺物理服務器的虛擬機之間流量進行監控。

4) 網絡規模擴大帶來的新問題

網絡規模擴大是由于服務器和虛擬機數量增長造成的。目前業界采用的方案包括扁平化的二層網絡架構和傳統三層網絡架構。通常采用的二層網絡與傳統三層組網方案相比，可以有效提高數據中心內部流量的轉發效率，并且降低組網成本。但是，網絡規模增大后二層網絡的可靠性及擴展性差等問題都將成為新的瓶頸。

綜合考慮上述新問題，云計算環境下的網絡新需求如下：

1) 高效無收斂或低收斂的二層網絡；

2) 具有承載大規模虛擬機的能力；

3) 網絡架構及設備支持虛擬機的動態遷移；

4) 網絡設備支持虛擬機的流量監控；

5) 跨數據中心的二層網絡可達。

4 云計算環境下網絡新技術

4.1 虛擬機本地互訪網絡

目前，業界通過虛擬交換機解決同一臺物理服務器內部的虛擬機二層網絡互訪問題，跨物理服務器的虛擬機互訪才交給傳統的接入交換機處理。虛擬交換機運行于服務器內部，純軟件實現，簡單方便，但也存在2大問題。一個是虛擬機之間的流量監控問題，傳統的網管系統無法深入服務器內部進行流量監控，造成安全隱患；二是性能問題，虛擬機網絡流量越大，vSwitch就會占用越多的CPU資源進行報文轉發，降低了服務器支持更多虛擬機的能力。

為解決這2大問題，由不同廠商主導，出現了2個技術標準體系，包括IEEE的802.1Qgb Edge Virtual Bridging[2]和IEEE的802.1Br Bridge Port Extension[3]。

802.1Qgb Edge Virtual Bridging標準主要包括VEPA（virtual Ethernet port）和多通道（multichannel）2種方案，兼容了vSwitch實現，主要由IBM、HP、H3C等主流廠商支持。VEPA不提供虛擬機之間的交換功能，而是將虛擬機報文由外部接入交換機處理，同一臺物理服務器之間的報文可以從外部接入交換機重新送回原服務器，實現報文轉發。這種方式簡化了vSwitch功能，使所有VM邏輯上對應到外部接入交換機的一個物理網絡端口，使外部網絡功能延伸到服務器內。多通道技術借用了Q-in-Q的VLAN標簽，實現vSwitch、VPEA的混合部署方案，對網卡和交換機鏈路中的多種類型流量進行細分，使每種類型流量和外部交換機建立單獨邏輯通道，實現不同的網絡安全、性能及可管理性要求。

802.1Br Bridge Port Extension是思科提出的新技術，通過引入端口擴展技術（port extender PE，后續簡稱PE），為以太網報文增加TAG標簽，外部端口擴展設備使用TAG中的信息來實現報文轉發和策略控制。

2種標準并未成熟，都還在發展中，802.1Br提供了一整套的網絡虛擬化解決方案，但是需要改變硬件設備；802.1Qbg提出了解決方法，通過修改交換機驅動程序即可實現，最終誰能勝出尚無定論。

4.2 數據中心二層互訪網絡

數據中心普遍采用樹狀三層網絡架構，分為接入層、匯聚層和核心層，當2個服務器位于樹狀結構的不同分支時，它們之間的互訪要經過核心層轉發，多跳才能實現，大大增加了時延，已經不能滿足云計算環境下橫向流量增加的性能需求。另一方面，在三層網絡架構下，如果加入防火墻設備，會在樹的一個分支下建立一個VLAN，當VLAN下的某臺虛擬機遷移出VLAN范圍，可能會導致該虛擬機運行異常。解決辦法是扁平化數據中心網絡結構，由三層結構變為二層結構，即接入層、核心層兩級，以提高服務器互訪性能，支持虛擬機正常遷移，如圖2所示。

在二層架構下還有很多問題要處理，虛擬化技術使得一個物理服務器分為多臺虛擬機，數據中心內部網絡規模成倍的增加。傳統網絡通過STP生成樹協議來避免環路，阻塞多路徑，浪費帶寬，給大規模網絡的轉發帶來了瓶頸。由此產生了控制平面虛擬化和數據平面虛擬化2大技術，在避免環路的基礎上，充分利用了多路徑的帶寬。

控制平面虛擬化主要是將網絡同一層的多臺交換設備橫向整合，在邏輯上簡化了網絡架構，使管理維護和配置簡單化，消除了網絡環路，保證了網絡可靠性和鏈路的充分利用。其在控制層面由統一邏輯主體完成，轉發層面仍是分布式轉發結構，典型的技術如思科的VSS (virtual switching system）/vPC (virtual port-channel)和H3C的IRF( intelligent resilient framework)/IRF2技術。但是，控制層面統一后，多臺交換設備是主備模式工作，無法做到負載均衡，使得部署規模受限于控制節點處理能力，制約了該技術進一步發展。

由于控制層面虛擬化規模受限，使得數據平面虛擬化技術將成為未來的主流。數據平面虛擬化通過ISIS協議進行拓撲路徑計算，將整個數據中心網絡虛擬成一個大的交換機，通過對原始報文進行封裝實現內部轉發，避免環路且實現多路徑負載分擔。目前主要技術包括IETF的TRILL（transparent interconnection of lots of links）[4]和IEEE的SPB（shortest path bridging）[5]2大標準體系。TRILL需要硬件支持，SPB靠純軟件實現，其對CPU壓力也超過了TRILL。上述2個協議在數據中心部署中怎樣與其他數據中心協議協同工作的問題都沒有解決，2種標準體系都不成熟，有待發展。

Juniper的QFabric[6]技術將控制平面虛擬化和數據平面虛擬機相結合，從架構上改變了網絡形態，使得數據平面所有端口直接互聯，之間只有一跳，控制平面由主備控制變為分布式控制。但由于是私有協議，將會制約其發展規模。

4.3 數據中心跨站點二層互訪網絡

在傳統網絡中，多數據中心之間主要做擴容和災備。在云計算環境下，將會出現多站點分布式計算和虛擬機的跨站點動態遷移需求，需要構建跨數據中心的二層網絡。多站點二層網絡最簡單的實現方法就是光纖直連，從國內來看，數據中心基本都沒有做到直連，通過城域網或骨干網互聯，因此目前技術都是通過在IP網上打隧道實現二層互聯。傳統技術包括VLLoGRE/VPLSoGRE和L2TPv3等。

最新技術是由思科提出的OTV[7]（overlay transport virtualization）私有技術，通過“Mac in IP”方式封裝原始以太網報文，使用MAC地址路由規則，提供一種疊加（overlay）網絡，能夠在分散的數據中心之間實現二層連接，同時保持這些數據中心的獨立性以及IP互聯的容錯性、永續性和負載均衡優勢。

圖2三層架構轉換為二層架構

目前，國外數據中心互聯流量每年遞增，國內需求較新，需密切關注下一步發展。從技術上講，光纖直連最為簡單和可靠，OTV技術較全面和領先，其他廠商未來可能會出現類似技術。

4.4 用戶接入網絡

跨數據中心的二層網絡的構建，使得用戶接入數據中心時，可能會面臨以下問題：1）多站點分布式計算時，用戶是接入數據中心A還是數據中心B；2）業務虛擬機從數據中心A遷到數據中心B后，用戶如何能隨之快速切換。在虛擬機跨數據中心遷移時，IP地址保持不變，使得多站點選擇技術變得更加復雜。

目前的主要技術實現是傳統的DNS技術和最新的LISP（locator/ID separation protocol）路由發現技術。傳統的DNS技術使得同一個域名解析為不同IP，用戶通過訪問解析出的不同IP即可接入不同數據中心。當虛擬機跨數據中心遷移時，由于IP地址不變，需要在虛擬機外部加一層NAT設備，將其IP地址映射為不同的虛擬IP，實現用戶訪問的切換。

思科的LISP技術是一個IPinIP協議，是一種名址分離網絡技術。通過兩層IP封裝實現虛擬機跨數據中心遷移時保持內層IP地址不變，用戶訪問仍可精確定位到最新的數據中心并實現最優路由。目前的數據中心多站點選擇沒有更好的解決方案，當多數據中心二層互聯成為主流時，可能會促使更新的多站點選擇技術的出現。

4.5 SDN技術

SDN[8]是一種控制與轉發分離并直接可編程的新的網絡架構，控制層面從傳統網絡設備緊耦合架構中拆分出來，形成轉發層、控制層和應用層3層邏輯架構?？刂茖涌蓪崿F全軟件編程，并通過OpenFlow等開放協議與轉發層通信，轉發層只需關注通用設備即可。SDN是在OpenFlow基礎上被提出和關注的最新網絡技術，適用于云計算環境下數據中心內復雜網絡，實現計算資源和網絡資源的協調和整合，方便實現網絡虛擬化及虛擬機遷移。

5 云計算網絡發展建議

從表1可以看出，云計算環境對端到端網絡有新的需求，目前，傳統網絡技術依然可以滿足近期需求，但最新技術正在快速孕育發展。每一個新需求都有多種新技術解決方案實現，未來何種技術會成為主流無法預測，但是現在可以為新技術的落地做好準備。數據中心內部傳統的三層架構應盡快向二層架構轉換，當前產品都已支持二層架構，方便未來向TRILL/SPB技術演進。業界對數據中心之間的遷移普遍認同度較低，應盡量避免頻繁地在多個數據中心之間發生大規模的數據遷移，以免由于意外或不可抗力造成傳輸失敗，導致數據丟失等。但從國外現狀看，數據中心之間數據流量每年遞增，應盡快實現數據中心之間的光纖直連。從現有新技術發展來看，私有協議引領著技術發展，一個數據中心內部將可能以單一廠商設備為主，不同數據中心可以部署不同廠商設備，它們之間通過公有協議互聯。隨著SDN技術的發展，設備互聯互通可能會得到解決。

表1 網絡類型與技術對比

6 結束語

云計算的出現對網絡提出了更高的要求，促使了網絡新技術的出現。相比計算虛擬化和存儲虛擬化來說，網絡虛擬化技術更加多樣化，更不成熟，隨著云計算大規模的落地實施，云計算網絡主流技術將逐漸明晰。最新的SDN技術的出現，有可能成為云計算網絡另一新的發展方向。

[1] 童曉渝，吳鋼，張云勇等. 后電信時代[M]. 北京：人民郵電出版社，2010.TONG X Y, WU G, ZHANG Y Y. Post Telecommunications Age[M].Beijing: Posts and Telecom Press, 2010.

[2] 802.1Qbg - edge virtual bridging[EB/OL]. http://www.ieee802.org/1/pages/802.1bg.html.

[3] 802.1BR-bridge port extension[EB/OL]. http://www.ieee802.org/1/pages/802.1br.html.

[4] Transparent interconnection of lots of links (trill)[EB/OL]. http://datatracker.ietf.org/wg/trill/charter/.

[5] 802.1aq-shortest path bridging[EB/OL]. http://www.ieee802.org/ 1/pages/802.1aq.html.

[6] QFabric[EB/OL]. http://www.juniper.net/us/en/dm/datacenter/.

[7] Overlay transport vIrtualization (OTV) [EB/OL]. http://www.cisco.com/ en/US/netsol/ns1153/index.html.

[8] Soft defined network[EB/OL]. https://www.opennetworking.org/.