數據中心網絡中的無線通信技術

魏煒 魏中 陳貴海

中圖分類號：TN915.1文獻標志碼：A 文章編號：1009-6868 (2012) 04-0001-006

摘要：文章認為將無線通信引入數據中心網絡(DCN)是構建DCN的一種新選擇，可以免除布線煩擾，從而方便維護無線節點；可以便捷地在服務器間建立鏈接，從而避免多跳傳輸額外代價；還可以動態改變DCN中的拓撲結構，有效減少“瓶頸”節點的流量。文章介紹了一種將無線通信與有線通信相結合來構建數據中心網絡的新穎方法，并從物理構建和全局優化兩個方面對相關新技術進行了分析。這些技術包括60 GHz無線頻段通信技術、3D波束成形、節點布置方法、基于遺傳算法的信道分配等。通過這些技術的研究成果，可看出無線通信技術可大幅度提高數據中心網絡性能，具有廣闊的應用前景與理論研究價值。

關鍵詞：數據中心網絡；60 GHz無線通信技術；波束成形；信道分配；有向天線

Abstract: Wireless technology is a good option for data center networks (DCNs) because there is no complex cabling, and wireless nodes are relatively easy to maintain. Wireless links can also be easily established between servers in different racks to avoid the cost of multihop transmission. With wireless technology, the topology of a DCN can be dynamically changed so that congestion at hot nodes is reduced. In this paper, we introduce hybrid DCN architecture in which a wireless network supplements the Ethernet infrastructure. We discuss 60 GHz communications, 3D beamforming, node arrangement methodology, and channel allocation based on Genetic Algorithm for hybrid DCN architecture. Research on this architecture shows that wireless transmission improves overall DCN performance.

Key words:data center network; 60 GHz communication; beamforming; channel allocation; directional antenna

隨著“云技術”的日益發展，諸如云儲存、云計算、云平臺等云應用服務得到了各界的廣泛關注。近年來，世界各大公司競相構建大型數據中心來為云服務提供硬件支持。數據中心網絡(DCN)是構建數據中心的一個重要部分，它需要能聯結百萬臺服務器，同時亦能為云技術提供合適的帶寬。

數據中心網絡通常基于3層拓撲結構：核心層、聚集層、邊緣層。常見數據中心內部網絡拓撲圖如圖1所示。在圖1中，位于機架內的服務器通過架頂式交換機互聯，同時，它們與匯聚層和核心層的交換機組成了一個多根樹。由于核心層的根節點數量有限，當數據中心負載較大時，這些節點容易成為整個數據中心網絡的“瓶頸”。故而在網絡實際通信中，服務器之間數據傳輸所能達到的吞吐量可能比實際可用帶寬低許多。

為了解決網絡中部分節點過熱問題，人們開始研究數據中心網絡的拓撲結構和路由協議等優化問題，這些研究大多采用添加新路徑的方法(尤其是互不相交的路徑)以便增加端到端吞吐量。這些方法取得了一定成效，然而在以太網中，人們仍然難以應對大量的高突發流量，這是因為以太網中的靜態鏈路和有限網絡接口會引起部分服務器堵塞，從而對其他服務器產生副作用。另外，數據中心網絡通常需要大量服務器合作完成一項任務，此時，高負載的服務器可能會進一步降低數據中心網絡性能。

通常人們嘗試借助有線鏈接以外的其他媒介來解決數據中心網絡中節點過熱、服務器擁塞等問題，無線數據中心網絡(WDCN)就是其中之一。本文將綜述近年來無線通信技術在數據中心領域的發展現狀與關鍵問題，并從設計構造與性能優化兩個方面具體展示當前學術界對無線數據中心網絡的研究成果。

1 無線數據中心發展現狀

與存在的問題

由于無線通信在數據中心網絡應用中的特殊性，無線數據中心網絡和基于有線的傳統數據中心網絡存在很大區別。隨著極高頻(EHF)技術(特別是60 GHz無線通信技術)的引入，用高速率的無線通信傳輸數據成為了現實(吞吐量可達4G bit/s)，從而使在數據中心中應用無線通信技術成為可能。于是，2008年出現了首篇討論在數據中心網絡中應用60 GHz無線通信技術的論文[1]，文章提出用無線鏈接替換部分有線鏈接，可以降低布線復雜度，降低冷卻開銷，減少大量的成本，從而大幅提高數據中心網絡的性能。此外，60 GHz無線通信技術在數據中心網絡中的應用還有其他幾大優勢：

(1)7 GHz的可用頻譜(57～64 GHz)使得采用60 GHz無線通信技術能夠提供達到吉比特每秒量級速度的多條鏈接。

(2)60 GHz頻段在減少無線信號干擾的同時也減少了被監聽的機會。

(3)無線網絡更益于數據中心網絡的擴容和提升。

(4)無線網絡可以按需建立，它能動態改變數據中心網絡的拓撲結構，使其更適合當前網絡環境。

2009年，美國微軟研究院的Kandula等人[2]指出可以增加新的“飛路”(Flyways)來緩解部分“熱節點”(Hot Node)的擁塞狀況。之后，另有數十篇學術論文從設計構建和性能優化兩個方面討論無線通信技術在數據中心網絡的應用。

在設計構建的方面，當前研究主要借助波束成形技術和特殊物理環境[3]使60 GHz無線通信技術能夠有效部署在數據中心中。該方向的研究目標是證實無線通信技術應用在數據中心網絡中的可行性和優越性。人們提出各種新穎的機架擺放形式并嘗試利用天花板反射[4]等方法來更好地把無線通信技術應用到數據中心網絡中。

在性能優化方面，除了前文提到的“飛路”策略以外，目前研究方向主要集中于無線通信在數據中心網絡中的調度問題，即無線網絡中的信道分配問題。目前的研究[5-7]多嘗試應用啟發式算法通過分流解決部分節點過熱問題，從而使得數據中心網絡整體吞吐量最大化，以及整體利用率最大化。

圖2展示了當前將無線通信技術應用于數據中心網絡的相關研究方向、分支結構、及最新發展現狀。其中左分支為設計構建，包含了波束成形、空間排布、以及完全無線等構建技術，而右分支主要介紹了無線數據中心網絡中的優化問題，如無線鏈接調度問題。其中對應的年份表示該技術的發表年份。

盡管上述研究提出了一些解決方案，但離構建性能優越的數據中心網絡仍存在一定差距，要將60 GHz無線通信技術很好地應用在數據中心網絡中，至少還需要面對以下挑戰：

(1)如何克服傳輸范圍限制。盡管60 GHz無線通信技術可以達到很高的數據傳輸速率，也具有很寬的頻譜，但是傳輸范圍極其有限；另一個問題就是因為氧原子吸收這個頻段，信號衰減非常迅速。因此60 GHz無線通信技術的有效傳輸范圍大約只有10 m。

(2)如何擺放物理設備。機柜的擺放結構需要經過細致考慮，無論是星型結構抑或方陣結構，都要設計好配套的路由和中繼機制。

(3)如何設計精確的無線調度機制。為了緩解熱節點的擁塞，建立無線鏈接后，需要使用正確的信道分配算法保證各信道互不干擾。現有的研究成果針對信道問題建模，利用遺傳算法等啟發式算法來解決干擾問題，但無法保證算法優劣性，也無法準確求出算法近似比，在性能表現上存在較大不確定性。

(4)如何保證全局性能最優。保證全局性能最優即指無線傳輸的性能(通常由吞吐量衡量)應該考慮全局工作完成時間。

接下來的內容將針對無線網絡設計構建與無線通信優化問題兩個方面進行論述。我們將從技術發展歷程入手分析無線網絡設計與構建技術，而根據不同優化方案的討論著眼于無線通信優化問題。

2 無線數據中心網絡的

設計與構建

為了在數據中心網絡中使用無線通信，我們首先從物理層面上考慮在數據中心網絡中使用60 GHz無線通信技術的可行性以及實用性，并通過合理的機柜擺放及無線節點空間排布，形成有效整體系統結構，使得數據中心網絡性能得到大幅提高。

2.1 60 GHz無線通信技術

在之前提到的對“飛路”系統[8]的研究中，Kandula等人使用了HXI公司制造的設備，它能提供雙工60 GHz的鏈接。研究結果顯示，無線信號強度隨著距離的增加而迅速減小，即無線覆蓋范圍有限。另外，多路效應有可能使得在距離較遠時，信號變化會較大。但是通過有向天線可以讓信號浮動大幅減小，在25 m處的浮動也不超過5 db，并保證超過1 m距離的高吞吐量(4 m內吞吐量可達2 Gbit/s)。圖3(左上)是有向天線示例，圖3(左中)是該天線的號角(Horn)局部示意。有向天線同時可以隔離鏈接并實現空間重用。在一個典型的數據中心中，在機架上直線排列的60 GHz鏈接能夠保證無線鏈接的穩定性。除了“飛路”系統外，幾乎所有的數據中心無線通信設計方案中都使用了有向天線技術[3, 9]。

另一方面，除了有向天線技術，數據中心中的無線通信還使用了波束成形技術和波束轉向技術。這些技術的使用可以提高鏈接傳輸速率并借頻譜復用技術來增大數據傳輸帶寬。

2.2 空間排布技術

空間排布問題中首先考慮的是廣播半徑問題。前面提到過60 GHz無線通信技術的天線覆蓋范圍極其有限，廣播半徑只有10 m左右。

圖3(左下)示意了有向天線在數據中心的廣播范圍。其中每一個小格表示1個24×48英寸的機柜，10個機柜排成一排，排與排之間橫向距離10英尺，縱向距離6英尺。圖中的圓形代表在某個機柜頂端60 GHz無線通信設備的10 m廣播范圍。由圖中可以看出，即使10 m的廣播半徑也足以覆蓋17排服務器，對于大多數據中心來說可滿足其傳輸要求。

假設一個數據中心中有N個機柜。當采用傳統有線排布方法時，我們可以采用集中式交換機架結構，這樣做的好處是線的數量與N同一個數量級，而后果就是布線會很長；也可以采用分布式交換機結構，這樣做的好處是布線長度大幅縮短，但是布線長度會隨N的增大急劇上升，與N 2同數量級。如果我們采用有線與無線相結合的方式，就可以減少機柜排之間的布線成本。圖3(右上)展示了用無線代替有線鏈接時可大幅降低布線需求，圖3(右下)從三維角度更好地展現了結合型數據中心網絡的布局。

2.3 全無線構架技術

無線技術的日益成熟使得完全使用無線傳輸技術來構建數據中心網絡成為可能[10]。美國康奈爾大學和微軟亞洲研究院的研究者們應用60 GHz射頻技術設計了一個非常新穎的數據中心。圖4(左)為這種圓形數據中心的結構示意圖。

研究者設計了新型機柜和服務器，采用如圖4(右上、右下)所示的結構，這些設備會讓延時更短，總帶寬更大；他們設計了全新的拓撲結構，為端到端的鏈接提供了多條冗余通路；他們也設計了全新的路由協議，可以讓服務器用少量內存短時間內計算路由，并保證路由的有效性和較少跳數。實驗結果顯示，全無線技術會讓數據中心網絡的平均網絡延遲更短，容錯能力更強，資金投入大幅減少。在理想化的情況下，全無線構架會帶來更低的造價，更低的能源消耗，以及更低的維護費用。

總體來說，應用60 GHz無線通信技術在數據中心網絡中建立新的鏈路是可行且高效的。通過多維空間利用，數據中心網絡的整體性能可大幅提高，甚至理論上有可能搭建出全無線數據中心。然而上述研究多側重于無線通信技術的可行性與如何提高無線傳輸速率，對于無線鏈接調度問題以及新的鏈接和原有數據中心網絡的拓撲結構影響方面的研究較少。

3 無線數據中心網絡的

通信優化

3.1 “飛路”設計

“飛路”是利用無線通信技術解決數據中網絡中部分過熱點的著名設計方案。此種方案用于解決前文提及的數據中心部分節點過熱的問題。圖5是數據中心網絡節點過熱的一個示例。它表現了基于1 500臺服務器間的架頂式交換機產生的應用需求矩陣，其中橫坐標為源架頂式交換機(即發送端)，縱坐標為匯架頂式交換機(即接收端)，坐標點的顏色深淺表示其需求大小。不難發現，僅有部分交換機對出現較高的需求量，且這些需求量的分布都相對稀疏，但正是這些較熱甚至是過熱的交換機對嚴重影響了整個數據中心網絡的性能。

“飛路”策略的主要思想在于，通過在原有數據中心網絡拓撲結構中添加一些新的鏈接(即“飛路”)分流上述過熱的交換機對的數據流，從而突破傳輸“瓶頸”，提高數據中心的整體表現。60 GHz無線鏈接的帶寬及動態拓撲結構特性，使得采用無線鏈接作為“飛路”成為了可行方案。

針對降低過熱交換機的通信量這一問題，文章中將優化目標定位為最小化“最大通信時間”，同時需要滿足每條鏈接的傳輸速率不能高于該鏈接的容量，并使用貪婪算法每次在最熱節點對間添加“飛路”，但這種算法并不能保證結果的最優性，僅對無線通信技術在數據中心網絡中的使用提出了一個基本構想和一個簡單直接的解決方案。

3.2 “飛路”的實現與評估

2011年，Halperin等人提出了一個更加有效可行的“飛路”系統，不僅從硬件上提出可行方案，同時通過模擬仿真驗證了該方案很大程度提高了無線數據中心網絡的流量，緩解了部分節點過熱的問題。在文中作者用需求完成時間(CTD)，即最后一條信息流的完成時間來衡量數據中心網絡的性能，盡可能降低CTD。這需要算法能夠衡量當前網絡流量大小，準確地放置“飛路”，并改變路由機制使得“飛路”得以利用。考慮到除了直接在熱交換機對間添加“飛路”，還可以采取間接方式，即經由別的服務器轉發這一想法，該文提出了不同的貪心算法，使得每次添加的“飛路”能夠盡可能減小CTD。Halperin等人在提出“飛路”后，又利用相關物理模型如信號與干擾噪聲比(SINR)模型對鏈接的干擾與實際效果做一定的分析，以驗證“飛路”的可行性，并通過調整無線設備天線的位置來增強系統穩定性。總的來說，“飛路”系統多數情況下可使數據中心網絡流量提速45%。但是，由于數據中心網絡中某些流量的不可預計性或不可跟蹤性，“飛路”算法有可能失效。該算法也并未優先考慮鏈路可行性，忽視了無線網絡信道分配問題，系統還有一定的提升空間。

3.3 無線通信的信道分配

鑒于之前研究忽視的信道分配問題，崔勇等人在建立的模型時對無線傳輸中互相干擾的情況進行了討論。文獻中，作者將一個無線傳輸的效用定義為一段時間內傳輸的流量與傳輸跳數的乘積。無線傳輸流量越大，傳輸距離越遠，無線鏈接效用就越大，建立它的收益也相應越高。因此，作者設定的目標函數是將所有無線鏈接效用之和最大化，并且滿足以下約束：對于一個起始節點至多分配一個信道且所有分配信道的總和不得超過天線數量。第一個約束條件保證了信道分配方法不會引入干擾，第二個約束條件保證了一個節點所擁有的活動傳輸數量應小于該節點的所擁有的天線數量。

所有信道分配狀態只有兩種，且約束條件也是線性的，所以這個問題實際上可以規約為非多項式(NP)完全問題，作者隨后基于匈牙利算法設計了一種啟發式算法來解決該問題。仿真結果顯示，運用此算法后熱節點的負載大幅減小，但由于沒有與其他調度算法進行比較，無法獲知此算法是否有較出色的表現。

3.4 調度算法的改進

2011年，崔勇等人又提出了一種改進調度算法。該算法的目標是最小化最大剩余節點的效用(即一段時間內傳輸的流量與傳輸跳數的乘積)，實現按需分配無線鏈接的效果。該算法仍需滿足前面提到的約束。作者設計了貪心算法并分析了算法復雜度。根據仿真效果，此種算法同樣可大幅減少熱點負荷。

3.5 數據中心網絡全局優化

崔勇等人后來的工作所建模型更為全面：不僅考慮了無線傳輸互相干擾的情況，同時也考慮了自適應傳輸速率。與之前的研究不同，文獻[7]將數據中心網絡看作一個整體，不僅嘗試最大化無線鏈接的吞吐量，更著眼于全局工作完成時間。如前文所述，數據中心網絡的“瓶頸”通常在于最后完成任務的節點，因而，我們可將將全局工作完成時間作為網絡性能衡量指標。文章優化目標為最大化網絡總加權吞吐量，從而保證新建立的無線鏈接確實有效緩解部分過熱節點的熱度。這里總加權吞吐量是所有傳輸的網絡時延與傳輸速率的乘積之和。目標函數需要滿足3個約束條件，一是節點所擁有的活動傳輸數量應小于該節點所擁有的天線數量；二是被分配的信道必須在可用信道集合中；三是對于每一個活動的傳輸，它的信噪比必須大于某一閾值以保證正常通信需求。

作者采用遺傳算法(GA)來解決該問題，并定義了DNA、代、個體、選擇、雜交、變異等重要概念。根據作者的仿真數據，GA算法在解此問題時十分高效；采用繼承搜索時提速更為明顯(即將上一輪GA的輸出作為本時段GA的輸入)。

通過對上述方案的分析討論，我們發現對于無線數據中心網絡信道優化問題的研究方法彼此相似：首先根據實際問題進行數學建模，并通過設計合適的算法對目標函數進行求解，最后進行性能分析。具體過程如圖6的所示。

總體來看，通過有效的無線鏈接調度算法能夠準確添加無線鏈接并降低新增無線鏈接間的干擾，從而極大改善數據中心網絡的整體性能。然而，上述研究未能很好地將無線調度算法與實際無線空間排布綜合考慮，同時也未能保證無線鏈接添加的及時性，以上這些問題尚有待于進一步研究。

4 結束語

60 GHz無線通信技術的快速發展使得無線通信在數據中心網絡中的應用成為了可能。本文綜述了無線通信技術在數據中心網絡中的可行性、優越性、研究現狀以及尚未解決的問題。無線技術存在許多優勢：它可以有效動態地改變數據中心網絡的拓撲結構，能緩解數據中心網絡部分節點過熱問題，能減少布線復雜度。上述介紹的工作與構建皆展示了無線技術應用于數據中心網絡的優越性與高效性。當然，由于在數據中心中使用無線通信技術的研究時間并不長，它仍然存在著諸如如何調度無線通信信道，如何合理應用空間進行排布，如何彌補60 GHz無線信號范圍小穿越障礙物能力差等問題，值得我們繼續深入研究。

從無線通信技術的角度上看，它在數據中心中的使用同樣可以促進高速、大容量無線通信技術的蓬勃發展。隨著工業界對能匹配云計算的高速可擴展數據中心日趨迫切的需求，相信無線通信技術在不久的未來將為提升數據中心整體性能做出卓越貢獻。

5 參考文獻

[1] RAMACHANDRAN K, KOKKU R, MAHINDRA R, et al. 60 GHz data-center networking: Wireless=>Worry less? [R]. Princeton, NJ,USA: NEC Laboratories America, 2008.

[2] KANDULA S, PADHYE J, BAHL P. Flyways to de-congest data center networks [C]// Proceedings of the 8th ACM Workshop on Hot Topics in Networks (HotNets09), Oct 22-23, 2009, New York, NY,USA. New York, NY,USA: ACM, 2009.

[3] VARDHAN H, THOMAS N, RYU S, et al. Wireless data center with millimeter wave network [C]//Proceedings of the IEEE Global Telecommunications Conference (GLOBECOM'10), Dec 6-10,2010,Miami, FL, USA. Piscataway, NJ,USA: IEEE, 2010:6p.

[4] ZHANG W, ZHOU X, YANG L, et al. 3D beamforming for wireless data centers [C]//Proceedings of the 10th ACM Workshop on Hot Topics in Networks (HotNets11), Nov 14-15, 2011, Cambridge, MA, USA.

[5] CUI Y, WANG H, CHENG X. Channel allocation in wireless data center networks [C]//Proceedings of the 30th Annual Joint Conference of the IEEE Computer and Communications (INFOCOM11), Apr 10-15, 2011, Shanghai, China. Piscataway, NJ, USA: IEEE, 2011: 1395-1403.

[6] CUI Y, WANG H, CHENG X, et al. Wireless data center networking [J]. IEEE Wireless Communications, 2011,18(6):46-53.

[7] CUI Y, WANG H, CHENG X. Wireless link scheduling for data center networks [C]//Proceedings of the 5th International Conference on Ubiquitous Information Management and Communication (ICUIMC11), Feb 21-23, 2011, Republic of Korea. New York, NY, USA: ACM, 2011:44/1-9.

[8] HALPERIN D, KANDULA S, PADHYE J, et al. Augmenting data center networks with multi-Gigabit wireless links [C]//Proceedings of the Special Interest Group on Data Communication Conference (SIGCOMM11), Aug 15-19,2011, Toronto, Canada. New York, NY,USA: ACM, 2011:38-49.

[9] KATAYAMA Y, TAKANO K, KOHDA Y, et al. Wireless data center networking with steered-beam mm wave links [C]//Proceedings of the Wireless Communications and Networking Conference(WCNC'11), Mar 28-31, 2011, Cancun, Mexico. Piscataway, NJ, USA: IEEE, 2011: 2179-2184.

[10] SHIN J, SIRE E, WEATHERSPOON H, et al. On the feasibility of completely wireless data centers [R]. Ithaca, NY, USA: Cornell University, 2011.

收稿日期：2012-05-04

作者簡介

魏煒，上海交通大學計算機科學與工程系CS-α全英試點班本科生在讀，CCF學生會員，上海交通大學可擴展計算與系統重點實驗室ANL先進網絡研究組成員；主要研究方向為數據中心網絡。

魏中，上海交通大學計算機科學與工程系CS-α全英試點班本科生在讀，CCF學生會員，上海交通大學可擴展計算與系統重點實驗室ANL先進網絡研究組成員；主要研究方向為數據中心網絡、下一代無線網絡。

陳貴海，香港大學博士畢業，上海交通大學計算機科學與工程系特聘教授，CCF高級會員，曾任教于日本九州工業大學、澳洲昆士蘭大學和美國韋恩州立大學；主要研究方向包括無線網絡、對等計算、高性能計算機系統結構、海量數據處理、組合數學、網絡與通信、物聯網、并行與分布式處理等；已發表學術論文200余篇。