毋懼炎炎高溫：OCP如何應對下一代數據中心的散熱設計挑戰

莫仕公司

隨著數據密集應用不斷增長，超大規模數據中心的工作負荷日益繁重。數據中心內的網絡流量顯著增加，促使架構師開始尋找新方法以實現更高的數據速率和吞吐量。

目前，最先進的網絡適配器（NIC）達到每端口200 G速率。然而，為了滿足數據中心日益增長的需求，業界正朝向使用400 G NIC方向發展，但前提是相關的支持技術需要同時進步，而這絕非易事。Molex（莫仕）深入探討伴隨這項轉變而來的散熱挑戰，以及我們的合作工作小組解決這些難題的獨特方法。

400G運作的散熱挑戰

下一代數據中心會過渡至400G網絡適配器，因而面臨各種散熱方面的難題。

我們面對的第一項挑戰是更高的數據速率會消耗更多的功率。通過廣泛的研究、試驗和仿真，我們發現數據速率和熱量產生之間的關系大致是線性的，其中數據速率提高一倍，將使得系統發熱量增加兩倍以上。結論是什么？那就是網絡適配器速率從200 G轉變成400 G后，系統熱量將會大幅增加。

第二項挑戰則在于需要可支持400 G NIC的基礎設施。與使用無源直接連接電纜（DAC）的200 G NIC不同，有時400 G NIC可能需要使用大功率有源光纜（AOC）來支持高數據速率。這些大功率AOC的功耗可高達8W，會將自身的熱量導入系統，再加上以高速率運送數據，使得溫度不斷升高。

質疑基礎設施

這些迫在眉睫的散熱挑戰，使得我們對目前NIC環境基礎架構中某些零組件的可行性產生懷疑。我們與英偉達（NVIDIA）和Meta兩家公司合作，更加深入地研究這個難題。

一項研究重點是外形尺寸。具體而言，我們調研了使用OCP NIC 3.0業界標準小型光纖連接頭（small form factor，SFF）產品的可行性，看看它能否匹敵早前提出的TSFF（tall SFF）。眾所周知，TSFF可以提供更多空間，因此能實現更優異的I/O散熱解決方案。在理想情況，系統架構師可以在可能的情況下繼續采用SFF。真正的問題在于，SFF是否能為400 G NIC提供可行的解決方案？或者我們是否需要轉而將TSFF定為業界標準？

這個問題很難給予直接的答復，因為有幾個變量可能會對結論有所影響。出于這個原因，我們的研究工作考慮了許多可能顯著影響散熱性能的因素，包括以下幾個方面。

·外形尺寸：TSFF對比SFF。

·NIC ASIC功率限制（僅限使用DAC電纜）。

·模塊類型：QSFP-DD Type 1對比Type 2 A。

·監測位置點：機箱后部上方的平均溫度、散熱器底座溫度和前端溫度。

·測試裝置類型：有/無測試裝置。

·冷信道對比熱信道。

模擬試驗的設置與假設

每一攝氏度溫度的變化，都對結論有影響。由于涉及到可行性，因此有必要確保模擬試驗反映著現實且合理的使用狀況。

對此，我們的模擬試驗同時使用了TSFF和SFF兩種外形尺寸的OCP NIC 3.0網絡適配器來建立模型。英偉達公司慷慨地為研究提供了進行模擬試驗的ASIC原型設計散熱模型ConnectX-6 DX。為了進行模擬試驗，我們假設功率上限為23 W，并根據配備標準鋁制散熱器的裝置建立了模型。

對于QSFP-DD類型模塊，我們使用了常態功耗為10.2 W的多信道散熱模型。與ASIC原型設計相似，我們選擇為QSFP-DD模型配備了標準鋁制散熱器，使得覆蓋的受熱表面積最大化，但不采用任何先進的冷卻技術或材料，目的是了解前面所強調的變量之間的相對影響。

對于模擬試驗的環境，我們同時測試了熱信道和冷信道兩種環境。熱信道的環境溫度為55℃，氣流速度范圍為200至1 000 LFM（每分鐘線性英尺），氣流方向從后至前。所有這些都符合OCP 3.0技術規范。另一個不同環境是冷信道，模型環境溫度為35℃，氣流速度范圍為200到600 LFM，氣流方向從前至后。如圖1所示，我們的模擬實驗使用了符合英偉達OCP NIC 3.0規范的測試裝置，包括安裝在測試盒內的兩個相同的網絡適配器。

調研結果：外形尺寸的影響

通過模擬試驗結果，我們了解到數個邊界條件和變量如何對散熱性能產生了非零影響（即是超過幾攝氏度）。

在調研中，第一個值得注意的結果是，外形尺寸對QSFP-DD模型的散熱性能造成了重要的影響。如圖2 所示，我們發現TSFF的散熱性能明顯優于SFF，尤其是在氣流速度較低的時候。在這種情況下，散熱性能提升了多達6℃。盡管這個結果并不令人驚訝，但6℃的改進幅度確實很突出。

同樣地，我們的研究結果顯示，在熱信道應用中使用TSFF尺寸時，ASIC原型設計的散熱性能提高了10℃之多。另外，關于NIC ASIC原型設計的功率限制參數（無源DAC應用），與在熱信道條件下使用SFF 相比，采用TSFF的模塊功率限制增加了約2.5 W。

調研結果：還須考慮其他變量

除了外形尺寸，我們的調研還深入了解模塊類型和監測位置點對于散熱結果的影響。在比較兩款業界標準模塊時，我們發現QSFP-DD Type 2 A模塊具有出色的散熱性能，改進了大約4℃。這項性能改進的主要原因是Type 2A模塊本身前端有一個外部整合散熱器。同樣地，這個結果并不令人驚訝，但非常突出。

最后，我們發現不同的監測位置點（也就是模塊上的探測點）之間存在溫度偏差。例如，仿真試驗顯示，散熱器底座的監測溫度相比前端的監測溫度降低5℃。如圖3所示，在量化NIC模塊的熱性能時，監測位置點顯然是不可忽視的考慮因素。

調研結論

我們的調研深入了解了幾個特定變量和邊界條件對散熱性能的影響，但結果并不是主要的結論。相比發現哪些設置“合理呈現真實環境”而言，更重要的是，這項研究表明業界迫切需要就這些變量和邊界條件達成共識。

以模塊類型和監測位置點等變量為示例，試驗結果顯示，模塊類型對于散熱性能會造成重大的影響（≌4℃），這個發現帶來一個問題：除了排除SFF尺寸在400G NIC的可用性之外，是否可以保留SFF尺寸但改用Type 2 A QSFP-DD模塊呢？到目前為止，業界尚未達成共識。如要對SFF的可行性得出真正的結論，首先要進行定義并在業界達成共識。

同樣地，業界目前也沒有針對監測位置點達成一致的標準。調研顯示，監測散熱性能的位置點會對仿真試驗結果產生重大影響，差距甚至可高達5℃。如果我們不能就監測位置點達成一致共識，那么所有的研究數據之間就缺乏一致性，這將導致無法真正地比較試驗結果。這里再次強調，OCP和整個業界要邁向400G NIC發展，首先必須達成共識。

呼吁采取行動

如何才能達成關鍵的業界共識？我們認為模塊、I/O、NIC、系統和數據中心多個專業領域需要參與更多。這樣的合作將幫助OCP更好地協調可實現的目標，并確定最合適的環境來進行這些可行性研究。而且，到目前為止的研究所涵蓋的范圍并不全面，我們還必須考慮其他的變量，包括采用QSFP-DD有源電纜（AEC）的可行性，預計其耗散熱量低于AOC。

如果業界發現SFF無法適用于AOC，下一步可能考慮使用AEC。此外，如果發展采用TSFF尺寸網絡適配器，就需要擴展研究內容，涵蓋采用整合散熱器的八個SFF可插拔模塊（OSFP-RHS）端口的可行性。

業界多方合作對于達成散熱設計共識極為重要，而OCP將會發揮關鍵的作用。Molex莫仕非常榮幸能與Meta和英偉達合作，針對相關的下一代解決方案進行試驗研究。我們三方合作設計測試方案，并仔細進行模擬以量化每一個已定義變量的影響，然后共同分析結果，并且在數據中心需要援手時，尋求達到新性能水平的方法。