蘇金樹：面向云計算的數據中心網絡技術

蘇金樹：面向云計算的數據中心網絡技術

蘇金樹

國防科技大學教授，973首席科學家，中國計算機學會互聯網專委會副主任委員

許多單位早期都有計算機中心，在PC普及后，計算中心發展進入低潮。隨著云計算、大數據、移動互聯網的發展，各個單位逐步開始建立數據中心。隨著數據中心的發展，規模不斷擴大，網絡重要性和復雜性日益增加。

數據中心網絡的核心要素主要有三個，數據中心能力設計、互連設備、拓撲結構與路由，數據中心的網絡研究和設計也都圍繞著這三個元素布局。

通用鏈路技術網絡生命力不可小視

從網絡體系結構、拓撲設計、主機、路由轉發，到如何實現流控，這些問題都是近些年來數據中心所關注的熱點網絡問題。在進行數據中心聯網設計時應該考慮到以下六個方面：

一是鏈路技術，雖然每個時期，都有可用的鏈路技術，但往往有一些新的鏈路技術會推出，這時是選擇現有鏈路技術，還是選擇看似不成熟的鏈路技術，是構建者首先要考慮的問題。

二是數據中心的兩類應用。外向服務，如提供Web服務；內部計算處理，如Web索引的MapReduce。

三是網絡的負載經常是不可預測的。多個服務在同一個數據中心運行，網絡的利用效率和可預測兩者之間存在矛盾。

四是個別服務器失效是正常的。借鑒Google的GFS、MapReduce, 設計時必須考慮到個別服務器可能隨時失效的情況。

五是服務器間的流量矩陣不斷發生變化。因為承載的服務不同，導致服務器間的流量矩陣在不斷發展變化。既不是傳統的內外20%與80%的比例，也不是有些文獻提出的80%與20%比例。

六是如何合理平衡三層與二層的關系，合理設計數據中心“大二層”。隨著數據中心對虛擬化技術的支持，隨之而來的就是對主機遷移支持等需求，因此希望交換設備能夠更好支持二層的擴展，突破2層的連接主機數限制，克服傳統的3層問題等。

數據中心聯網的最終目標是要達到一致的吞吐率、便捷的應用遷移、應用的性能隔離。只有這樣，才能保證服務器間的容量只受限于網卡，增加服務器時，不需要考慮拓撲、依賴于廣播的既有應用也依然能夠工作。此外，一個服務不會受其他服務影響。

上面的目標看似很容易完成，實則不然。僅鏈路技術而言，在我們近30年研究經歷中，從最開始的10兆以太網，到后來多種100Mps以太網方案，以及FDDI/ATM等諸多技術，到出現40/56Gbps的Infiniband技術（以下簡稱IB），再到100G以太網技術，以及目前研究實現的400G。整個鏈路技術的發展歷程，給我們研究工作者一個重要啟示，那就是通用網絡技術的生命力不可小視！以太網系列技術的發展，雖然遇到很多新技術的挑戰，但始終在通用領域占據鰲頭。

網絡結構不斷追求能力和效率

高校數據中心的建設過程中，都會經歷簡單的網絡結構時代。隨著應用發展，很快會發現雖然看似所有的東西連接在一起，但是整個項目不能有效使用。而后開始探索建立專用的高效的網絡結構。因為數據中心不再是簡單的Web Services，而是大型的數據倉庫，擁有幾百臺的服務器。云計算提出之后，數據中心迎來專業結構的數據中心時代。雖然數據中心有兩條路可以選擇：一是以網絡為中心，二是以服務器為中心，但大多數設計還會選擇以網絡為中心。

在以網絡為中心的結構中，最典型的專用結構是胖樹、Moonson、Seattle等。為了克服簡單的網絡結構造成帶寬太少的問題。人們發現3-級CLOS網絡本身是不堵塞的。胖樹是特殊的CLOS網絡，從輸入、輸出的角度上看，胖樹和3-級CLOS網絡標準相一致。所以，我們可以以3-級CLOS網絡標準為基礎，按具體意愿去組織一個網絡結構，提高連接服務器數量。如果K為池子數目，那么每個池有(k/2)2服務器，k/2 個2層k端口交換機；每個邊緣交換機連接k/2 服務器， k/2匯聚交換機；每個匯聚交換機鏈接k/2 邊緣，k/2 核心交換機。

同時，胖樹結構存在五個方面問題：一是內部不能支持VLan 流量；二是數據中心規模只能相對固定；三是需要在邊界進行NAT轉換，以便更好支持遷移和虛擬化；四是按流分負載分類，不能按端口分類；五是長時間流（大象流）的分擔。

業界也有很多解決方案試圖克服胖樹結構，例如Moonson方法，在網絡結構中加入負載均衡交換機，同時設有多個服務器，由交換機負責網絡流的分配。主要的工作流程是端主機檢查流的MAC，如果沒有找到，同時啟動monsoon agent 求解，并向TOR發送流量，做三重封裝，流量發給中間交換機，以及目的TOR交換機。

多種不同專用結構的發展，最終基本歸結到TRILL解決方案。

NFV技術未來大有可為

2013年，谷歌經過長時間的研究和實驗認為，在經典廣域網中，交換機路由器將所有的流量都進行統一，沒有差異化的處理，導致網絡的利用率大概只有30%到40%，帶寬價格高，高端的路由器設備價格也非常的貴。于是，谷歌公司開始嘗試定制交換機，在企業內部部署了一個全球的SDN，將公司內部數據中心間的網絡鏈路提升接近100%，取得了巨大成功，極大地鼓舞了業界。

谷歌公司SDN研究起了引領作用，并在網絡頂級國際會議SIGCOMM發表了一篇文章，直接帶動了SDN技術爆發性的增長，帶動新一輪數據中心網絡研究熱潮。隨后有微軟公司的 Windows Server 2016 SDN stack，Fcaebook公司的Wedge switch等。

有意思的是，為什么做軟件的廠家，要開始進軍硬件領域呢？這對高校的人才培養具有啟示性的作用。目前，國內大學計算機學院在計算機硬件領域的人才或者能力培養比較缺乏，建議計算機學院加大學生的硬件培養和鍛煉能力，可以有助于將學生培養為能力更加全面、知識面更廣的計算機人才。

2013年，我曾在某次會議上，提出個人看法，域間SDN發展比較困難，而域內SDN會發展得更好。目前SDN的發展態勢也是如此。在未來，熱門技術除了SDN之外，還有NFV技術，我個人十分看好NFV技術，早期由于I/O帶寬原因，一般不能采用通用CPU直接作為網絡設備數據通路的處理器，而傳統網絡設備，一直沿用基于專用體系結構設計網絡功能的思路，產量不大，導致成本高，升級比較緩慢。隨著通用CPU速度+I/O帶寬的提升，CPU網絡處理能力大大上升，通用CPU 或 CPU+FPGA將有很大潛力，因此NFV會有更好的前景。

研究案例

第一個數據中心網絡技術研究案例是智能（加速）網卡。網絡安全和網絡分析對數據流精細分類和分析的要求越來越高，特別是關鍵字與正確表達事物的匹配的性能要求越來越高。但一方面是軟件的運行速度很慢，另一方面，由于Memory Wall問題，X86架構為主的網絡安全產品在關鍵字與正則表達式匹配方面的性能缺陷逐漸顯露出來，成為提升網絡安全產品性能的最大阻礙。

基于上述兩個方面考慮，智能（加速）網卡將資源消耗大的功能卸載到智能網絡加速卡上，從而解放X86 CPU的計算能力，達到提高現有網絡安全產品性能的目的，從而滿足支持掩碼五元組、關鍵字、正則表達式等多種條件的靈活匹配，將匹配的結果，以標簽的形式打到報文頭部輸出的要求。目前可以支持100萬條掩碼五元組規則，10萬條關鍵字，10萬條正則表達式；最大支持64個報文隊列，報文可以按策略負載均衡輸出到各個通道等應用需求。我們認為網卡等基本硬件系統是多數高校可以作為指導學生涉及網絡硬件的起步領域。

第二個數據中心網絡技術研究案例是：IB交換機。目前實現高性能交換的技術途徑主要包括三種，以太網技術、IB技術和面向特定計算平臺的專用互連交換技術。其中IB技術屬于通用互連技術，速率最高的，也在TOP500計算機中占據重要地位。從行業發展趨勢上來講，與萬兆以太網相比，IB在性能上優勢明顯，IB是高性能交換的發展趨勢。整個IB交換系統是由交換機、計算節點、主機活配器、網絡管理軟件、IO和存儲節點組成。我們主要研制實現了三款IB技術的交換機和IB網卡，四款交換機的規格是288端口IB交換機，216端口IB交換機，108端口IB交換機，36端口IB交換機。IB交換機，采用模塊化結構，支持40/56Gbps接口，聚合交換能力超過每秒17萬億比特（17.28Tbps）。該系列產品既應用于國家863“基于IB的PB級存儲網絡系統”，利用IB高帶寬、低延時、可靠傳輸等特性實現了支持PB級容量的對象存儲系統；也應用于天河系列高性能計算機應用，1個IBS216Q連接216個存儲節點和計算節點，實現2PB的分布式存儲。

（責編：高錦）

（本文根據國防科技大學教授蘇金樹在“第二屆下一代互聯網與高校應用服務架構創新研討會”上的部分發言內容整理）