數據中心的高速光互連技術

余建軍 方凱博

摘要：介紹了數據中心的高速光互連技術的最新進展，重點關注新型調制和解調技術。為了降低成本，需要采用低帶寬光電器件，高級QAM調制和直接檢測將可能用于高速光互連技術中。同時介紹了中興通訊近年來在這方面的研究進展，包括最先采用直接檢測實現了4x128 Gbit /s信號傳輸距離超過300 km的實驗。

光互連；調制格式；直接檢測；相干檢測

In this paper， the recent progress on high-speed data center interconnection is summarized， and the modulation formats and detection schemes are introduced in detail. In order to reduce the bandwidth of the optical/electrical components， high-order quadrature amplitude modulation （QAM） modulation and direct detection will be employed in these high-speed systems. ZTEs recent research results on this area including a world record of 4x128 Gbit/s signal transmission over 300 km standard single model with direct detection are also introduced.

optical interconnect； modulation format； direct detection； coherent detection

隨著物聯網、虛擬現實和人工智能（AI）的涌現，互連網的發展已經到了一個新的階段，其中大數據和云計算是2個最具有代表性的產物。作為信息資產，大數據正在越來越多的領域中體現出價值和重要性。云計算是與大數據密切相關的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機和其他設備，使得原來難以在單臺計算機上處理的大數據能夠得到充分挖掘和利用。作為云計算的核心支撐平臺，數據中心的發展需求變得越來越迫切?，F在的數據中心無論是數量還是性能，都遠遠不能滿足當今社會的需求。絕大多數大數據的處理和計算都是在數據中心進行的。根據《Cisco全球云計算指數白皮書》，到2019年，全球通信流量的99%都是和數據中心相關的。其中，大部分數據通信依然集中在數據中心內部[1-6]。

由于數據量的爆發和網絡流量的迅速增長，數據中心正在從10 G/40 G朝25 G/100 G/400 G架構升級。傳統的電互連難以滿足數據中心日益增長的傳輸帶寬和傳輸速率的要求，這就為光互連帶來了巨大的機遇。光傳輸具有大帶寬和長距離傳輸的優點，它的主要應用場景是在兩點之間提供大帶寬的信息傳輸通道，所以在誕生之初，主要應用領域是長途干線網。在數據中心之間以及數據中心內部采用光互連，將極大地提升數據中心的數據處理和運算能力。在如今的數據中心網絡中，幾乎每個連接都采用了光互連技術，包括數據中心內部距離幾米的服務器和交換機之間的連接[5]。

而單純只是數據中心數據流量的增長并不能讓物聯網真正受益，只有眾多的數據中心之間形成互連互通才有可能造福于物聯網下的數據傳輸?？蓴U展數據中心架構滿足了現代化超大規模數據中心架構東西向流量的增長，使得數據中心互連成為可能。大量的數據流量將利用光傳輸進入到數據中心，數據中心之間共享信息云端數據，使得光傳輸將不僅用于數據中心內部的數據傳輸，也將用于數據中心之間的互連。由此光傳輸在數據中心光互連市場上的規模將遠遠超過電信運營商。

1 數據中心內的光互連技術

對于數據中心內部互連來說，最理想的互連方式是每一臺服務器都與所有的其他服務器相連接，這樣一來應用層的軟件就不需要與負責計算任務調度的中心機進行通信。然而，這樣的網絡結構將會極為復雜而且成本異常高昂。在實際中，數據中心采用的是拓撲分層結構，集群之間的互連通過分組交換網絡匯聚而成。并行光傳輸技術是數據中心內部通信的重要方式，這種傳輸方式不僅能夠大大提高通信速率，而且結合了大規模網絡架構中的并行數據通道結構，數據處理速度也有很大的提升。短距離的光連接通常采用垂直腔面發射激光器（VCSEL）。與其他類型的激光器相比，VCSEL具有低成本和低功耗的優勢，容易實現電信號和光信號的速率匹配，而不需要昂貴的高功耗器件來進行數據速率轉換。這種方式的缺點是：媒體傳輸協議（MTP）/多光纖連接跳線（MPO）光纖終端器件相對比較昂貴，而且需要帶狀光纖來實現和外部的互連。為了達到更高的傳輸速率，降低單位比特的傳輸成本，光集成電路（PIC）和波分復用（WDM）技術的應用逐漸成為主流。

為了滿足數據中心持續增長的帶寬需求，數據速率、器件功耗和空間密度都需要有大規模的提升。在未來的幾年內，數據中心的光收發機速率將會提升4倍，而功耗和空間占用則保持不變。傳統的二進制啟閉鍵控（OOK）調制方式在VCSEL中可以達到20 Gbit/s或以上的速率。為了實現更高速率的傳輸，需要對光電器件的帶寬和色散性能提出更高的要求，同時需要新的技術應用于短距離光連接中。這些新的技術包括色散補償、低功耗集成硅光電路，以及新的并行多通道技術的演進。

并行通道技術包括多纖技術和多波長技術。在發射端，電信號經過驅動電路來對激光器陣列進行調制，產生并行多路光信號，然后這些光信號經過耦合后送入光纖中進行傳輸。在接收端，光信號通過光電探測器陣列轉換為電信號，再由接收機電路對電信號進行恢復。一般來說，短距離100 Gbit/s的光互連可以采用了4 x 25 Gbit/s的并行通道，主要包括3種技術：短距離光模塊（SR4）、4級脈幅調制（PSM4）和粗波分復用系統（CWDM4）。其中SR4和CWDM4是多模傳輸技術，SR4應用于850 nm的VCSEL激光器陣列中，使用MPO多模光纖作為傳輸通道，包括8根雙向多模光纖；PSM4同樣使用8根雙向光纖，但均為單模光纖，基于分布式反饋激光器（DFB）的PSM4系統傳輸距離可達到500 m；CWDM4則使用4個不同的波長作為并行數據通道，同樣基于DFB激光器和單模光纖，但傳輸距離可以達到2 km。這種方式減少了光纖的數量，降低了鏈路的成本；但對激光器的特性提出了更高的要求，且光收發機需要波分復用（WDM）復用器和解復用器?？傮w來說，光互連的成本包括光收發機的成本和光纖鏈路的成本。在以上的幾種技術中，SR4具有最低的光收發機成本，但光纖鏈路的成本最高；CWDM4則將光纖鏈路的成本降到了最低，但光收發機成本最高。單模技術能夠實現更遠的傳輸距離，但光收發機比較昂貴；多模技術則能夠使用成本低廉的收發機，但傳輸距離會受到限制。具體使用哪種技術需要綜合考慮多種因素，除了性能和成本之外，空間大小、使用壽命以及對未來技術的兼容性都是非常重要的幾個方面。

100 Gbit/s之后的下一個以太網速率很有可能是400 Gbit/s。IEEE 802.3在2014年啟動了400 Gbit/s以太網研究組，定義400 Gbit/s以太網標準。400 Gbit/s以太網物理層對多模光纖以及單模光纖的距離目標和100 Gbit/s一樣。有多種方法可以使光通道達到400 Gbit/s：一是可以增加通道速率，如提高符號速率或調制階數，50 Gbaud的PAM4信號可以不改變現有通道數就可以實現400 Gbit/s；二是增加光纖數，如在現有25 Gbit/s通道速率的基礎上，采用16根光纖可以達到400 Gbit/s；三是增加波長，如在PSM4基礎上，每根光纖4個波長就可以實現400 Gbit/s。不論采用哪種方法，400 Gbit/s的單位比特的成本和功耗應該比100 Gbit/s的低。

2 調制和探測技術

先進的調制格式、數字信號處理算法（DSP）以及編碼技術將會成為光通信網絡下一步發展的趨勢[7-13]。然而，對于數據中心來說，由于面對的場所和需求有所不同，面臨的工程問題與長距離光纖通信網絡不一樣，因此需要特殊的光互連解決方案。例如：數據中心的應用對于物理層的時延要求較高，通常少于100 ns，這就限制了前向糾錯碼（FEC）和DSP算法的應用；數據中心通常擁有數量龐大的高速率接口，因此要求光器件具有低能耗、小尺寸；在數據中心內部大量地部署光纖鏈路，則要求成本在可以接受的范圍。所有這些因素的考慮都將會影響數據中心光互連技術的選擇和應用。

對于光信號來說，可以進行數據調制的物理量有4個：強度、相位、頻率和極化模式，在此基礎上發展出來的調制方式主要有強度調制、正交幅度調制（QAM）以及極化復用的強度/相位調制[13]。最簡單的強度調制格式是二進制強度調制即OOK，每個傳輸符號攜帶1 bit信息。隨著光器件的發展，高階的強度調制格式已經應用于光通信中，如PAM中的PAM4、PAM8，部分響應PAM（PR-PAM）和離散多音調制（DMT）等，這些高階的調制格式具有更高的頻譜效率，每個符號可以攜帶更多信息，因此能夠減小帶寬的開銷，適用于高速率的業務需求。QAM則是一種強度-相位聯合調制格式，根據調制生成的星座點數可以分為正交相移鍵控（QPSK）、8-QAM、16-QAM、64-QAM等，目前已可實現高達1 024-QAM的調制[12]。在高階的QAM調制中，每個符號所包含的信息量遠大于高階強度調制格式，因此將有巨大的應用前景。另一種常用的強度-相位聯合調制是無載波幅相調制（CAP），它是以QAM技術為基礎發展起來的一種調制技術，主要應用于短距離的高速數據接入系統中[9]。

接收端的探測或檢測技術是將光信號變換為電信號的技術，一般在接收端使用光電二極管（PD）來實現光電轉換的過程[7-13]。根據接收端是否使用本震光源與接收光信號進行拍頻，可以將光檢測技術分為直接檢測和相干檢測。直接檢測僅僅對接收光信號的幅度信息進行檢測，而相干檢測能夠將光信號攜帶的幅度和相位信息完整地恢復出來。

對于直接檢測方案，相對應的調制格式為強度調制，因此形成強度調制/直接檢測（IM/DD）的結構[7]。圖1是一種基于直接調制激光器（DML）的100 GE IM/DD光傳輸系統結構。IM/DD系統具有低成本、低功耗、小尺寸、結構簡單等優點，易于集成在光模塊中，對于短距離光通信是理想的選擇。數據中心的城域網和內部互連主要采用的是直接檢測方案，目前已經比較成熟。

相干檢測的方案適用于所有的調制格式，而且能夠對正交極化調制的信號進行解調，大大提高了頻譜效率[2]。由于使用本震光載波，接收機的靈敏度遠遠超過直接檢測方案，能夠實現遠距離通信。更重要的是：可以對發送端和接收端的信號使用數字信號處理技術，對系統的線性和非線性損傷進行補償，如色散補償、信道預均衡和非線性補償等，從而提升了系統性能。另外，在系統中使用復雜的編解碼技術成為可能，系統的容量可以接近香農極限。由于復雜的編解碼技術成本較高，實現較為復雜，一般應用于長距離骨干通信網絡中。數據中心的城域網使用相干檢測技術能夠大大延長通信距離，而且高階調制格式的應用使得單位比特的傳輸成本得以降低。使用相干通信技術可以實現單載波400 Gbit/s的速率，是下一代以太網標準的重要候選方案[7]。

3 相關研究進展

中興通訊在高速DMT、PAM4以及無載波幅相調制（CAP）技術的直接檢測和相干檢測方面進行了多年的研究。采用DMT調制和直接檢測，我們實現了創紀錄的320 km標準單模光纖傳輸；采用鏡像取消算法，我們實現產生了創紀錄的300 Gbit/s DMT信號產生和直接檢測；采用非線性補償和多輸入多輸出（MIMO）算法，我們實現了200 Gbit/s DMT信號傳輸超過160 km。我們也系統地比較了112 Gbit/s的DMT、PAM4和CAP信號在器件帶寬受限和不受限情況下的傳輸性能，結果顯示：在光電器件帶寬不受限的情況下它們的傳輸性能基本一致；但當帶寬受限時，DMT性能略微好一些。我們采用先進的MIMO算法實現了CAP信號傳輸超過480 km的傳輸紀錄。在高級QAM DMT信號產生和直接檢測方面，我們采用～10 GHz的光電器件實現了128 QAM 120 Gbit/s的DMT信號產生和直接檢測，這是業界最先采用10 G器件實現100 G信號產生和直接檢測，基于這個結果OFC2017組委會專門寫了一個3頁的新聞進行報道我們的進展。表1總結了最近數據中心光互連的創紀錄結果。

4 未來展望

作為數據中心的關鍵因素，光模塊具有廣闊的發展前景。40 G到100 G的互連迫在眉睫，與此同時，超100 G的標準制定也進行得如火如荼，而且一些可行方案也隨之提出。為確保這些方案能滿足未來數據中心在成本和功率方面的需求，更多的光模塊新理念是必須的。目前，生產制造光模塊的成本上，封裝成本和光電芯片成本占了整個光模塊80%～90%的比例。使用開放光模塊，可以很大程度上降低成本。另一方面，把光模塊變成一個不與系統設備捆綁在一起的獨立部件，可使數據中心客戶能夠選擇一個最適合自己的互連方案，有利于找光模塊廠家做定制化的特性，實現針對性的運維管理。

到了下一代100 G和400 G的網絡，高速信號的實現變得越來越難?？傮w來說，在光纖鏈路中提升帶寬的方式有2種：第1種是提高每個通道的比特速率，第2種是增加通道數。提升比特速率有2種方式：第1種是直接提升波特率；第2種是保持波特率不變，使用更高階的調制編碼格式。到了10 G以上的速率，由于色散和非線性的影響，提升波特率較為困難，因此，使用高階調制編碼格式成為首選方案。增加通道數的方式有增加波長通道和增加光纖通道，而這會帶來成本的增加。

根據阿里巴巴在開放數據中心委員會（ODCC）2016年峰會上的報告，未來的100 G接入方案大概會有3代的演進過程：第1代即為目前階段的100 GE以太網，為4×25 G實現方式；隨著下一代IC芯片的發展，第2代將會變成2×50 G的方式；到了第3代，將能夠直接實現單通道100 G。

到400 G的解決方案，發展分為4代，通常來說光的速率提升比電快一點：1代現在已經有產品出現，就是用低功耗聯盟接口8（CPF8）這樣的光模塊封裝，電信號采用16×25 G，而光信號采用16×25 G和8×50 G的FR8和L8的方案。第2代電信號速率升級到50 G，采用8通道。光信號傳輸采用單模光纖的FR8和LOR8方案，電信號和光的速率完全配合上。第3代的電信號還是50 G，光可以提升到100 G，將有3種方案。第4代從電到光都提升到單通道100 G。為了實現單通道400 G甚至更高速率，相干探測技術將會有廣泛的應用需求。目前光聯網論壇（OIF） 已經開始立項研究這一標準并命名它為400 ZR，估計這一立項內容很快成為標準。

參考文獻

[1] LAM C F， LIU H， KOLEY B， et al. Fiber Optic Communication Technologies： What's Needed for Datacenter Network Operations [J]. IEEE Communications Magazine， 2010， 48（7）. DOI： 10.1109/MCOM.2010.5496876

[2] SCHUH K， BUCHALI F， IDLER W. Single Carrier 1.2 Tbit/s Transmission over 300 km with PM-64QAM at 100 GBaud [C]//Optical Fiber Communication Conference 2017. USA： OFC， 2017. DOI： 10.1364/OFC.2017.Th5B.5

[3] 謝崇進. 數據中心光通信技術[J]. 電信科學， 2017， 32（5）： 44-51

[4] YUBOMIRSKY I， LING W. Advanced Modulation for Datacenter Interconnect[C]//Optical Fiber Communication Conference. USA： Optical Society of America， 2016

[5] KACHRIS C， KANONAKIS K， TOMKOS I. Optical Interconnection Networks in Data Centers： Recent Trends and Future Challenges [J]. IEEE Communications Magazine， 2013， 51（9）： 39-45. DOI： 10.1109/MCOM.2013.6588648

[6] 張國穎，陳秀忠，吳慶偉，等. 云計算數據中心光互聯技術及應用趨勢[J]. 電信網技術， 2013， （12）： 29-33

[7] WANG Y， YU J， CHI N. Demonstration of 4 x128-Gb/s DFT-S OFDM Signal Transmission over 320-km SMF With IM/DD [J]. IEEE Photonics Journal， 2016， 8（2）： 1-9. DOI： 10.1109/JPHOT.2016.2545642

[8] WANG Y， YU J， CHIEN H -C， et al. Transmission and Direct Detection of 300-Gbps DFT-S OFDM Signals Based on O-ISB Modulation with Joint Image-Cancellation and Nonlinearity-Mitigation[C]// ECOC 2016 - 42nd European Conference on Optical Communication. Deutschland： VDE， 2016：1-5

[9] SHI J， ZHOU Y， XU Y， et al. 200-Gbps DFT-S OFDM Using DD-MZM- Based Twin- SSB with a MIMO-Volterra Equalizer [J]. IEEE Photonics Technology Letters， 2017， 29（14）：1183-1186. DOI： 10.1109/LPT.2017.2702602

[10] SHI J， ZHANG J， CHI N， et al. Comparison of 100G PAM-8， CAP-64 and DFT-S OFDM with a Bandwidth-Limited Direct-Detection receiver[J]. Optics Express， 2017， 25（26）：32254-32262. DOI： 10.1364/OE.25.032254

[11] SHI J， ZHANG J， ZHOU Y， et al. Transmission Performance Comparison for 100-Gb/s PAM-4， CAP-16， and DFT-S OFDM With Direct Detection[J].Journal of Lightwave Technology， 2017， 35（23）： 5127-5133

[12] SHI J， ZHANG J， LI X ， et al. 112 Gb/s/λ CAP Signals Transmission over 480 km in IM-DD System[C]//Optical Fiber Communication Conference. USA： Optical Society of America， 2018： W1J. 5

[13] LI F， CAO Z， LI X， et al. Demonstration of Four Channel CWDM 560 Gbit/s 128QAM-OFDM for Optical Inter-Connection[C]//Optical Fiber Communications Conference and Exhibition （OFC）. USA：IEEE， 2016：

W4J. 2