對數據中心網絡新需求與演進方向的探討

丁苗苗

中國石化潤滑油有限公司

數字化經濟發展的大潮下，大規模部署、高性能網絡、虛擬化等成為數據中心網絡的新需求。通過網絡開放化、敏捷化、功能軟件化和網絡智能化等技術手段，數據中心網絡關鍵技術演進方向明確，網絡架構革新、網絡設備變革、可編程芯片、網絡設計以及標準化網絡模型等將實現新型數據中心網絡，更好地為生產服務。

當前，網絡建設中高度依賴于高端交換機，從而導致建設、運維成本較高，擴展難度大等問題。同時，網絡設備之間、網絡設備與服務器之間連接都是固定的，設備之間物理連接完成之后進行相應的配置，只能按照相關的連接和配置進行數據的傳輸，不能根據網絡流量的變化進行動態的調整。未來，這種狀況會發生很大的變化。

中國石化潤滑油有限公司（簡稱潤滑油公司）對內部網絡的安全域做了細分，劃分為互聯網出口區、核心網絡區、內部服務器區、廣域網區、終端接入區等，在不同區域部署相應的安全設備，完善網絡基礎架構并借助安全設備加強安全管理。潤滑油公司信息系統始建于2002年，并于2006年進行了網絡提升。隨著潤滑油公司業務的快速發展，應用系統、網絡系統均在不斷地擴展，原網絡架構及機房部署已不能滿足信息系統日益增長的需求。

數據中心網絡的新需求

大規模部署

隨著云計算的快速發展，企事業單位不斷將業務遷移部署到云端，數據中心的規模越來越大。2013年以來，我國數據中心大規模增長，其中大型以上數據中心為增長主力，截止2017年底，大型以上數據中心機架數超過82萬，比2016 年增長68%[1]。面對超大規模的數據中心，網絡體系架構在設計的時候需要考慮可擴展性、網絡帶寬、點對點多通信鏈路等在內的諸多因素。這些挑戰共同促進了數據中心網絡體系架構的研究發展。

東西向高性能網絡

云計算、大數據等新技術的進一步發展，讓數據處理量激增。面對數據中心內部東西流量的快速增長，如何保證數據在網絡中更快、更高效地傳輸，成為解決數據中心在網絡方面的瓶頸，進而提高數據中心性能的關鍵所在。該問題的核心是如何提高數據中心內部數據在網絡上的傳輸效率。

相關廠商通常采用提高網絡的帶寬和性能的方式應對該問題。以該問題的具體解決方案——無損網絡為例，其在擁塞控制、流量控制、分組轉發、路由選擇等方面進行了改進與創新，使得網絡可以自動調節轉發速度，降低時延、減少丟包。目前，百度、京東、騰訊、電信、移動、華為、邁絡思等公司均針對網絡云化趨勢下基于以太的無損網絡展開了研究，取得了一定的成果[2]。

網絡資源虛擬化

計算虛擬化技術、存儲虛擬化技術已經取得較大的突破，實現了對計算和存儲資源的池化，極大地提高了數據中心相關基礎設施的利用率。

網絡虛擬化技術相對發展較慢，但數據中心在發展中對網絡虛擬化技術有切實的要求。網絡虛擬化的對象包括服務器、路由器、交換機、鏈路等方面，采用虛擬化方案后，數據中心可以提高網絡資源利用效率、簡化引用部署、降低網絡故障影響區域等。根據共享網絡、計算虛擬化、存儲虛擬化等方面的特點，在安全、隔離、調度等方面進行創新，才能更進一步發展網絡虛擬化技術，實現網絡資源的統計復用。作為近年來研究的熱點之一，SDN（軟件定義網絡）通過轉發層與控制層的分離，來實現統一的資源調度。

低成本、高擴展

數據中心的規模變大之后，網絡方面需要較好的擴展性、較低的成本。在擴展性方面，除了考慮網絡架構設計等方面的因素，還需要考慮設備的通用性，在網絡建設中，盡量使用通用性設備，減少專用性設備的使用，有利于網絡未來的擴展；在成本控制方面，也應該盡量減少使用較貴的專用設備，而采取較便宜的通用性設備。因此，目前數據中心網絡在研究和建設中，大多采用通用型的設備，以降低成本，同時滿足未來擴展的需要。

新型數據中心網絡基本特征

工業4.0以及互聯網+環境下，整個傳統產業向規模化和智能化升級。數據中心作為數據中轉和計算的中樞節點，已經成為新一輪的商業基礎設施資源。隨著云業務的興起，數據中心也面臨云化發展。新型數據中心網絡要求具有以下特征：

網絡開放化

傳統數據中心網絡是一個相對封閉的系統，由各種各樣的平臺、專用的協議對接指定的應用。隨著網絡規模的日益龐大，無論是底層硬件平臺還是上層通信協議越來越復雜，各種迭代增加使得傳統數據中心網絡越來越繁重，徹底與靈活、高效的網絡需求相悖，數據中心網絡開放化的要求呼之欲出。

網絡開放化微觀要求通信設備軟硬件解耦，解除設備商綁定；宏觀要求整個通信產業鏈的開放，通信產業鏈從單一芯片提供商、少量設備制造商向多品牌芯片提供商、通用硬件設備制造商（ODM、OEM）、定制化軟件提供商，甚至IT產業的硬件制造商和軟件提供商轉變。

網絡開放將促進通信端到端產業鏈從傳統的相互隔離演進為相輔相成、相互融合，進而加速新技術引入，推動產業發展，形成多贏局面。

網絡敏捷化

互聯網的浪潮中，智慧運營要求用戶按需訂購、業務按需提供、網絡按需建設。傳統數據中心網絡由眾多軟硬件一體化的網絡設備組成，每個設備都有固定的功能，網絡連接固定；面對網絡新需求通常需要更換新的網絡設備或者是搭建新的網絡來滿足。但是，傳統設備升級是一項復雜、耗時長的系統工程，網絡的重新配置也會導致現有業務的中斷；這就限制了傳統數據中心網絡功能固化、迭代速度特別慢，無法滿足個性化、定制化和碎片化的運營需求。

網絡敏捷化要求針對業務提出的新需求，服務提供商只需要升級軟件、重新編排業務或者修改數據面快速實現新功能，無需硬件通信設備的更換，進而避免硬件設備的無限膨脹，從而實現網絡功能敏捷快速部署。

功能軟件化

傳統數據中心網絡由交換機、防火墻、負載均衡器等形態各異的專用硬件設備組成，面對網絡新功能，通常需要升級專用設備，或者是新增網絡設備來實現。硬件設備的不斷更替給服務提供商帶來了很高的成本投入，包括設備成本、運維成本、新增設備機房成本、新增設備電力成本等。

網絡軟件化指數據中心網絡設備使用基于通用硬件平臺的軟件代替，這樣網絡設備功能由傳統硬件開發轉變為軟件開發，使得開發門檻降低，開發集成和部署的速度明顯加快。另外，軟件比硬件具備更好的可修改、可更新能力，能更好地促進網絡創新。同時，采用通用硬件平臺和軟件的部署方式使得網絡建設的固定資產投入極大降低。

網絡智能化

隨著大數據和人工智能技術的發展，新型數據中心網絡也正趨于智能化。隨著數據中心規模變大、網絡設備數量變多，自動化以及智能化網絡管理和運維成為管理人員的核心訴求，基于意圖的網絡（IBN，Intent-based Networking）的出現宣告了網絡智能化時代的崛起。網絡管理人員通過輸入期望達到的“業務意圖”，即“希望網絡實現的功能、狀態和行為”，網絡控制端收到“意圖”后進行自動轉譯，并完成相應的網絡操作。

智能化還表現在網絡的閉環控制，網絡控制端在網絡實際運行過程中通過驗證網絡狀態和業務意圖的匹配度，并進行自我調整，最終實現網絡完全滿足意圖需求。

數據中心網絡關鍵技術演進方向

網絡架構革新

網絡體系架構的革新是網絡開放的關鍵。SDN和NFV（網絡功能虛擬化）作為網絡體系架構變革的核心技術，SDN開啟軟件定義網絡新時代，NFV開啟軟硬件解耦新時代。三大國內運營商在近幾年都發布下一代網絡愿景：中國移動的《NovoNet 2020愿景》[3]、中國電信的《CTNet-2025網絡架構白皮書》[4]、中國聯通的《新一代網絡架構白皮書（CUBE-Net-v2.0）》[5]無一例外地將SDN、NFV作為下一代網絡的核心技術，以數據中心為核心，構建簡單扁平的新型網絡架構，實現網絡能力開放。

SDN和NFV是相輔相成、優勢互補的兩大關鍵技術，兩者深度融合共同構成新型數據中心。NFV是網元功能的靈活體現，包括對數據中心內的網絡單元防火墻設備的虛擬化、負載均衡設備的虛擬化或NAT、VPN等設備的虛擬化。SDN作為網絡功能的新技術，負責高效連接各網元節點，實現網絡靈活開通和自動調整。需要指出的是，近兩年來電信運營商重點打造的電信云數據中心，是運營商主動迎面急速發展的大寬帶、大連接業務進行網絡轉型，目標借助于電信網元的虛擬化，增強網絡競爭力，突破成本效益天花板。

網絡設備變革

新型數據中心網絡架構下也誕生出一批新型的數據中心網絡設備，其中白盒交換機和可編程芯片就是軟件定義的直接產物。

白盒交換機

白盒交換機是數據中心交換機的一次革命性嘗試，直接將交換機的硬件和軟件進行解耦，硬件選用通用硬件，軟件選用開源或者商業操作系統軟件，兩者之間再無綁定關系。

目前白盒交換機軟件的思路主要包括兩類，一類是專業交換機商業軟件，另一類是開源軟件。交換機商業軟件由專業公司運營，收費模式包括源碼買斷和每臺交換機的授權費兩種。商業軟件的優點是可提供從芯片驅動層、業務層到上層管理層的完整解決方案，用戶拿到后一般可直接使用，二次開發工作量小，可快速出產品，缺點主要是軟件售價高，成本投入大，例如PICA8的PICOS、Cumulus的Cumulus Linux、snaproute的Flexswitch等。開源軟件相反，沒有軟件采購成本，源碼可從社區直接獲得，另外開源操作系統可以結合數據中心客戶定制化需求進行定制化開發，如流量優化、路由優化功能等，當前各種開源交換機操作系統勢頭相當活躍。

隨著數據中心網絡的發展，白盒交換機市場占有率在逐年提高。根據Crehan Research Inc.最近的報告[6]統計，2020年白盒交換機市場占比預計達到20%。白盒交換機通常被視為一種降低成本的方法，但是它更大的價值在于提高網絡的可編程能力和自動化，例如基于API(應用編程接口)的交換機互操作替代傳統命令行操作、進行多樣化的APP開發等，基于實際需求，快速實現網絡功能定制化，充分發揮軟件的價值。

可編程芯片

可編程芯片是網絡設備革新的另一個重要方向。隨著業務優化、故障診斷以及低功耗、低時延和需求響應及時性等新需求的提出，交換芯片正在經歷一場革命。傳統芯片一方面需要支持各種不同的協議類型，另一方面存在大量迭代發展的冗余設計，無法及時響應數據中心日益增加的協議和隧道化技術要求以及部分運維監控需求，此外傳統芯片處理流程固定、表項大小固定，不適合需要靈活處理特性的一些實際場景。可編程芯片作為芯片發展的趨勢，突破傳統芯片處理流程，在新一代交換芯片中開始嶄露頭角。可編程芯片具備以下幾大特征：

☆靈活性，支持業務流程靈活編排，支持新業務編輯；

☆自主性，支持協議字段自定義，支持新功能解析；

☆彈性，支持表容量彈性定義，具備可編程的操作能力。

可編程芯片配合可編程語言能夠發揮最大價值，目前相對較為成熟的可編程語言為P4語言，吸引了絕大多數芯片商、設備商、IT集成商及多家電信運營商的關注。P4是一種類似于JAVA語言的轉發面高級編程語言，實現了數據面代碼開發和硬件的隔離，而且P4代碼通過前后端編譯器目前已經可以應用在不同的硬件平臺上。

行業內支持可編程芯片公司包括Barefoot、Cavium以及Broadcom等。Barefoot作為P4開源平臺的主要貢獻者，近期非常活躍，吸引了Google以及騰訊和阿里巴巴的投資，其芯片Tofino原生支持P4語言，得到了可編程芯片研究者的廣泛關注。Cavium的可編程芯片Xpliant系列早于Barefoot，由于其可編程語言不夠開放，因此未能被大家熟知。作為傳統交換芯片市場領導者Broadcom在其新發布的Trident3也支持可編程功能，但編程方式是由客戶提功能需求，Broadcom來實施，編程功能不對用戶開放，限制了用戶創新能力。

網絡設計

新型數據中心網絡圍繞高可靠、高性能、高擴展、兼容性和開放性這五個原則進行設計：

◇高可靠意味著網絡關鍵節點和鏈路進行冗余設計，并結合網絡協議的收斂共同保證業務的持續可用性；

◇高性能要求控制設備具備控制和管理多節點能力、轉發設備具備高性能轉發能力，此外依靠虛擬化集群機制或者彈性擴縮容機制實現性能的提升；

◇高擴展要求網絡層次化設計，每個層次均采用模塊化組網，保證網絡橫向擴展能力；

◇兼容性要求兼容多種計算資源、多類網絡方案；

◇開放性是數據中心網絡的基本原則，利用開放的架構，結合標準的協議和接口，實現網絡能力開放。

應用層是新型數據中心的核心價值體現，新型數據中心應用層表現為云資源管理平臺，面向用戶或者管理員提供服務。云資源資源管理平臺的重要功能之一就是網絡編排，負責數據中心網絡資源的統籌和調度。管理平臺在模塊化網絡設計中表現為“統一管理模塊-局部管理模塊”扁平化架構，每個標準建設單元內部集成局部管理模塊，標準建設單元之間依靠統一管理模塊進行拉通。局部管理模塊作用于建設單元內部，負責對單元內資源部署、操作、回收、監控和統計分析；統一管理模塊作用于整個數據中心，對外呈現統一界面和用戶交互，對內和局部管理模塊進行交互，利用局部管理模塊調用資源。

就網絡資源的調用情況來看，用戶開通網絡資源的指令通過統一管理模塊下發至對應的局部管理模塊中，局部管理模塊通過本單元網絡控制單元或者是直接控制網絡設備，進行網絡資源的開通。

標準化網絡模型

管理平臺實現網絡編排自動化的過程離不開網絡模型的抽象和建立，即虛擬專用網絡（VPC，Virtual Private Cloud）模型。每個業務系統對應一個租戶，租戶網絡采用VPC網絡模型進行描述。根據業務需求，數據中心網絡模型包含網絡節點以及節點之間的連接，其中網絡節點包括主機、端口、子網、路由器、彈性IP等基本網絡服務和負載均衡、防火墻等增值網絡服務，節點連接涵蓋基本的網絡節點互聯以及配置的策略。網絡模型的發放由云資源管理平臺發起，管理平臺創建網絡規則，映射為網絡模型，通過控制節點動態生成相應的配置最終傳遞給網絡設備。

為滿足不同應用對網絡界入的不同安全隔離要求，新型數據中心網絡設計需要考慮安全性要求。網絡的安全性主要體現在各類網絡隔離策略，粒度從小到大分為網段隔離、安全組隔離、虛擬路由表（VRF，Virtual Routing Forwarding）隔離以及安全設備隔離。網段隔離也指二層流量隔離，對于不同的網段采用不同的VLAN或者VXLAN標識，具體表現為VLAN ID或VXLAN ID（VNI， VXLAN Network Identifier），而VLAN或者VXLAN之間缺省相互隔離。安全組隔離表現為粗粒度的網段隔離，適用于既存在放通需求又存在隔離需求的多個網段之間，一般采用硬件訪問控制列表或者是軟件實現。虛擬路由表本意是為了解決本地路由沖突的問題而引入的虛擬路由器，虛擬路由表隔離具體表現為每個VRF對應獨立的邏輯路由轉發實例，具備獨立的路由表、轉發表和相應接口。防火墻隔離作為高級別的隔離手段，借助于專用安全設備實現網絡的隔離，此時借助于策略路由或者是其他導流手段將流量引導經過防火墻，結合防火墻策略進行安全防護。

結束語

網絡是數據中心的重要組成部分，也是數據中心性能可否完全釋放的重要IT設施。傳統的三層網絡架構部署模式已經不太適合新需求下的數據中心網絡，需要在芯片層面、設備硬件層面、軟件層面以及網絡架構層面有更多的創新和發展。