數據中心中光交換技術研究的現狀與挑戰

郭秉禮 黃善國

摘要：對構建下一代靈活數據中心互連網絡的問題，提出了結合不同維度光交換技術的光電混合互連網絡搭建思路，使未來數據中心網絡具備動態拓撲重構、靈活帶寬調整等特性，可以有效應對數據中心發展中由于硬件重構、業務多樣等趨勢導致的業務突發性強、通信模式差異大等問題。同時，在光電混合互連網絡的構建與實用化過程中，仍需在智能控制體系架構、高速突發接收、低延時與低抖動控制等方面取得突破。

關鍵詞：數據通信;數據中心;光交換;拓撲重構

Abstract： In this paper， a hybrid optical and electrical interconnection network with multi-dimension of optical switching technologies is proposed for the construction of next generation flexible data center interconnection network. The future data center network （DCN） has the characteristics of dynamic topology reconfiguration and flexible bandwidth adjustment which can effectively deal with the problems such as traffic burstness and various communication pattern due to hardware disaggregation and service diversification. At the same time， there are still lots of technique bottlenecks that need to be broken， including intelligent network control system， high speed optical burst receiver and low latency and low jitter network control system in the approach of building the optical/electrical hybrid interconnection network.

Key words： data communication; data center; optical switching; topology reconfiguration

視頻業務、在線游戲等個人業務的快速興起與以云計算/大數據為代表的企業互聯網業務的強勢推廣，對目前數據服務過程中的計算、交互與存儲能力提出了前所未有的挑戰。同時，隨著人工智能和機器學習等計算密集型服務的繁榮，也極大地提高了對數據計算、存儲執行效率與資源利用率的要求。在傳統技術手段中，往往通過增加數據中心（DC）空間來容納更多的機架和服務器，進而達到增加數據處理能力的目的。然而，隨著業務需求的增加，線性擴容系統的方式使數據中心正在逼近能耗極限，目前需要尋找新的技術手段來最大限度地提高計算能力和效率。在節點算力與使用效率的提升方面，信息技術（IT）領域的研究人員提出諸如硬件解耦、與高性能計算體系融合等多方面的解決方案，在本文中不再贅述，后續部分著重討論數據中心互連網絡（DCN）方面的進展與目前面臨的挑戰。

在DC帶寬密度提升方面，在高速率、低功耗需求的驅動下，相同容積的光模塊需要具備更大的數據傳輸量，多通道、光子集成與混合集成技術可以將光組件做得很緊湊，順應光模塊小型化趨勢，方便使用成熟自動化集成電路（IC）封裝工藝，有利于量產，是未來數據中心用光模塊提升帶寬密度的行之有效的技術手段。

另一方面，連接無數計算節點的互連網絡承擔了海量數據的傳輸與交換功能，不再只是一個流量轉發的、僅需追求穩定的平臺，它逐漸成為一個重要的生產環節。上述業務的演進趨勢對數據通信中的互連網絡，在時延和吞吐量方面提出了更高的需求，使數據中心網絡業務承載能力的提升逐漸成為一件亟待解決的事情。本文中，我們通過分析目前DCN在應對突發業務與帶寬靈活調度等方面面臨的一些挑戰，進一步探討光交換技術在幫助DCN應對上述挑戰中可能起到的積極作用，最后總結了光電混合DCN可行性及其仍需解決的一些技術難題。

1 數據中心互連網絡面臨的主要挑戰

目前DC通過電交換設備形成各種形態的互連拓撲，把大量通用服務器互連。隨著DC規模的急速增加以及服務器性能的提升，近年來的接入路由器和核心路由器端口速率需求將會隨之達到40 Gbit/s和400 Gbit/s。然而如圖1所示，電交換機的能效隨著交換容量的增大而無法繼續提升[1]，這使得數據中心在能耗、帶寬提供這兩方面遇到瓶頸。DC亟須解決能耗問題帶來的擴容瓶頸，才能以合理的功耗繼續提升網絡帶寬。有研究表明DC中99%的鏈路利用率不足10%[2]，同時歐盟FP7框架下開展的面向光通信的數據速率和功率感知的自適應收發器（ADDAPT）項目[3]的研究顯示，某些DC中鏈路無效數據傳輸時間高達90%，IBM研究人員通過實驗測試指出光模塊具有快速啟動與突發接收功能時能耗可節省85%。因此，如何提高DC系統能效，需要突破現有框架，從DC業務特點出發，探索新的思路。

DC承載業務類型多樣，流量分布不均且具有很強的突發性[4]，現有DCN流量工程機制復雜，無法快速應對流量的波動。一些熱點機架承載著數據中心中絕大部分的流量[4]，造成熱點機架間的路徑出現擁塞，端到端數據延時加大，而其他位置的網絡資源卻處于閑置狀態。互聯網協議（IP）層帶寬調度技術又過于復雜，無法滿足DC業務時效性和網絡運維靈活性的需求。上述情況造成了互連帶寬的浪費，限制了整個數據中心的吞吐量與業務承載能力。

近年來以Facebook等互聯網巨頭為代表的數據中心用戶希望通過硬件解耦 [5]，即在硬件層將同類資源聚合為資源池，如中央處理器（CPU）池、內存（Memory）池、存儲（Storage）池，然后根據應用的需求分配具備相應特性的資源組合，來提高DC中資源的利用率和靈活性，同時降低資本性支出（CAPEX）和運營成本（OPEX）。資源池間互連網絡的帶寬提供能力（大瞬時帶寬、低延時、高動態）是決定資源解耦范圍的關鍵因素之一。因此，全局資源調度與高效網絡重構能力也是硬件解耦等數據中心技術演進趨勢對DCN提出的新要求。

為了應對上述挑戰，DC互連網絡亟須在能效提升和帶寬資源靈活調度方面尋找新的解決思路。由于光交換技術具有速率透明、低功耗、可重配置等優勢，基于光交換的互連網絡被認為是一種解決DC面臨的問題的有效方法，以滿足DC日益增長的高帶寬、低延遲和高能效等方面的需求。

2 光交換相關技術的發展現狀與挑戰

2.1 光交換矩陣技術發展現狀

光交換矩陣可以實現光束在時間、空間、波長等維度上的切換，是光通信、光計算機、光信息處理等光信息系統的關鍵器件。通常來說，光交換矩陣的性能由開關單元、切換機制和互連結構等多方面因素決定。表1中，我們對目前具備商用可能性的光交換矩陣的相關性能進行了分析比較。其中，基于微機電系統（MEMS）和波束控制（Beam-Steering）的開關矩陣已經達到商用成熟階段，規模已經可以達到數百端口;納秒級切換時間的光交換矩陣規模仍較小，依賴于模塊多級級聯，因此插損偏高。在近年來的光交換矩陣的研究中，研究人員在驅動集成、片上放大、偏振不敏感方面做了大量的研究，結果表明光交換矩陣整體向著高可靠、低損耗、小功耗、小體積以及大規模方向發展。同時，近幾年光交換矩陣在電信領域（光傳送網（OTN）建設中需要構建大量的可重構型光分插復用器（ROADM）、光交叉連接（OXC）節點，光交換矩陣是搭建這些節點的基礎模塊）、網絡測試領域有大規模應用的趨勢。

2.2 光收發節點技術

在傳統的點對點光纖通信或光電路交換（OCS）系統中，光接收機一般接收另外一個固定節點發送的連續模式光信號，并從中檢測出電信號。使用快速光交換的收發系統，是因為光信號的非連續性：除了滿足傳統光接收機所要求的高靈敏度外，還要有較大的動態范圍和快速的響應能力，即突發模式接收技術。光突發模式接收機主要由信號整形、突發同步和數據恢復3大部分組成。表2中，我們對傳統接收機與突發模式接收機相關性能要求進行了比較。其中，對于突發模式信號，兩相鄰突發分組信號間有相位突變。在這種情況下，要避免使用傳統的交流耦合方式。因光接收機在交流耦合之后，要對信號進一步放大，再進行整形和判別輸出;而突發信號的不均衡，其直流成分（均值）發生漂移，要影響到后面放大器的直流工作點，使其不能穩定工作。此外，判決電路對幅度不均衡信號進行判決時，要么會出現小信號的丟失，要么會出現大信號的脈寬失真。上述原因都是研制高速突發接收模塊的需要解決的技術難題。

目前，商用的突發模式光接收機主要應用在各種各樣的無源光網絡（PON）中，支持1.25 Gbit/s以及10 Gbit/s的速率。電子設備工程（EEE）下一代以太網無源光網絡（NG-EPON）正致力于25 Gbit/s單波長和50 Gbit/s雙波長的解決方案。這與最近數據中心傳輸速率從10 Gbit/s迅速轉變為25 Gbit/s的趨勢是一致的[6]。近來，針對高速光突發模式接收機的研究也取得了一些進展。IBM在國際晶體管電路討論會（ISSCC）2015上報道了突發模式時鐘和數據恢復（BM-CDR）以25 Gbit/s的速率在18.5 ns鎖定時間下的成功演示實驗[7]。IBM和瑞士洛桑聯邦理工學院（EPFL）在國際固態電路（ISSCC） 2018上報道了使突發模式光接收機（BM-Optical RX）從10 Gbit/s提高到56 Gbit/s的實驗，該實驗演示56 Gbit/s BM-Optical RX通過鏈接協議完成384UI（6.8 ns）中的喚醒和CDR鎖定[8]。在2018年光纖通信展覽會及研討會（OFC）上，IBM報道了一種由850 nm光電二極管（PD）陣列組成的、以低成本垂直腔面發射激光器（VCSEL）為基礎的、14 nm 互補金屬氧化物（CMOS）的4×40 Gbit/s 2 pJ/bit光接收器（RX）。該RX可以實現低至8 ns的Power-on和CDR-Lock 時間[9]。綜上所述，高速光突發模式接收機的相關技術研究也得到了顯著進步，有望支撐未來100 G以內光突發接收模塊的相關研制。

2.3 全光交換網絡相關技術

依賴于不同維度的光開關器件的研究進展，基于光交換的DCN近年來得到廣泛關注，包括IBM、Google在內的大量企業與研究機構在數據中心內也進行了大量的嘗試與實驗。表3和表4為目前業界主要的主要光互連方案在技術特性、成熟度等方面的比較。其中，開放式可插拔規范（OPS）、光突發交換技術（OBS）需要復雜的沖突避免機制，需要在光緩存器件、光邏輯器件等方面進行技術突破;光電路交換（OCS）相關技術的成熟度較高，光時隙交換次之，光時隙交換系統依賴于快速光交換器件;收發模塊方面，除OCS外，其他交換機制的實現均依賴于突發模式收發技術。綜上所述，光時分復用（OTDM）系統在數據延時、控制時效性等方面有一定的優勢，混合波分復用（WDM）的OTDM系統可以作為一種實現數據中心內動態光互連拓撲重構的可行方案;而OCS機制適合于可以提前預知流量變化的場景。

3 光電混合DCN發展趨勢

大量研究顯示，全光交換技術在特定場景下比電交換技術在能效等方面有一定的優勢，但無法全面替代電交換技術細粒度的業務調度能力，所以如何設計光電混合的DCN成為目前業界所研究的重點。需要充分發揮各自的一些優勢，使其能夠適應DC內多樣、突發的業務流量。

3.1 數據中心內業務特征

數據中心網絡業務的第1個特征是南北向流量與東西向流量的“二八定律”。在數據中心發展的早期，出于用戶對服務器上大容量存儲數據的訪問需求，大量流量流向機架外部，然而隨著互聯網和云產業的迅猛發展，現階段的數據中心中，這種南北向流量已降低至20%左右[10]。預計到2021年，94%的工作負載和計算實例將由云數據中心處理;傳統數據中心處理的比例僅為6%[11]。在新興的云數據中心中，應用和其所依賴的組件大多部署在同一個機架內，網絡流量具有明顯的特征：75%以上的流量停留在機架內部，核心鏈路利用率低于25%[12]。

數據中心網絡的第2個特征是大象流與老鼠流的混合。一個數據中心通常需要承載各種各樣的業務，為用戶提供包括網頁搜索、直播視頻、基于IP的語音傳輸（VoIP）、數據存儲、資源下載、即時通信等豐富多彩的云服務。這些應用程序產生的流量具有不同的特征，可以根據其傳輸數據量的多少分為大象流和老鼠流。大象流通常產生自帶寬敏感型業務，例如數據庫同步、存儲備份、數據分析等需要占用大帶寬的業務;老鼠流通常產生自時延敏感型業務，例如社交網絡、搜索引擎等實時性業務。相關研究表明，傳輸數據量不足1 MB的突發性老鼠流占數據中心網絡流數量的90%以上，而傳輸數據量不超過100 MB的老鼠流占到數據中心網絡流數量的98%左右[13]。傳輸數據量大于100 MB的大象流的數量雖然比較少，卻承載了網絡中90%以上的數據量，即90%以上的流量被認為是老鼠流，而90%以上的數據量在大象流中。

數據中心網絡的第3個特征是流量分布的突發性和不均勻性。局部的hot spots承載了大量的流量，其他地方閑置的鏈路造成了網絡資源的浪費。有相關研究指出，數據中心網絡內86%的鏈路會因為突發的大象流而產生超過10 s的網絡擁塞[14]。

上述DC內的流量特征決定了DCN流量調度問題的復雜性以及傳統互聯網解決方案在應對上述一些問題時也必將會面臨著大量的不適應性。

3.2 基于通信模式的拓撲重構

針對上述流量特征，電交換網絡適合針對老鼠流進行靈活分發，而光交換網絡提供了可重配置的快速光通道，為突發的大象流業務按需提供實時的高速連接。為了達到上述目的，需要在數據中心中部署知識平面、智能控制平面來實現流量的高效感知和光電混合網絡的實時控制。

圖2是基于AI流量分析的光電混合DCN重構體系。在該體系中，首先通過知識平面對數據中心業務進行感知與分析，可以充分利用sFlow、NetFlow等基于報文隨機采樣的網絡流量監測控制技術。這些技術可以實時完整地提供全網范圍的數據鏈路層、網絡層和傳輸層的網絡流量信息，進而對網絡流量進行實時的分析與分類，從而與網絡控制平面形成聯動關系，然后再根據業務需求實時改變網絡拓撲，在數據面實現相應流量的高效匯聚以及轉發。

同時，在數據平面拓撲構造方面，通過電交換設備和點到點光鏈路構成DCN基礎拓撲，使其具備基本的連通性，再通過光交換矩陣連接必要的節點，如接入層機架頂端（ToR）或匯聚層ToR構成可重構的高速互連拓撲。

3.3 低延時或確定性延時控制技術

為了滿足光電混合網絡對動態業務實時調度的要求，需要極大提升現有網絡控制平面的時效性，包括有效降低控制軟件的響應時間及其抖動，降低控制消息傳遞時延及其抖動。傳統網絡控制系統（如軟件定義網絡控制器）響應時間隨網絡負載差異較大，業務響應時延基本保持在百毫秒到秒級;控制消息傳遞的時延與抖動也無法有效控制。如果實時網絡控制系統的時延抖動過大，會引起網絡協議振蕩，最終導致網絡穩定性變差。為了提升控制效率，軟件加速技術、國際互聯網工程任務組（IETF）（DetNet）[15]和IEEE 802.1時間敏感網絡（TSN）等確定性網絡低延時傳輸技術、控制系統與收發節點的高精度時間同步技術都將是提升控制系統時效性的關鍵手段。

4 結束語

隨著移動互聯網業務的迅猛發展與普遍接入，用戶使用各種互聯網服務的行為產生了大量的數據。以5G為代表的通信網絡的快速推廣使得更高速的數據傳輸成為可能，而數據中心作為存儲、處理和分析這些數據的重要基礎設施，其節點算力逐漸增強，規模逐漸增大，要求數據中心互連網絡具備提供高帶寬、低能效、可應對突發數據的承載能力。結合不同維度的光交換技術的光電混合數據中心互連網絡將成為提升目前數據中心帶寬調度靈活性的關鍵技術手段，該技術亟待在流量分析、智能與高效控制多方面取得突破。