整機柜定制化服務器應用實踐研究

梁焱瑞，雷 鳴，劉 玲，曹原銘，劉 芹

（中國移動通信集團設計院有限公司，北京 100080）

0 引 言

5G時代的到來加速了云計算、大數據、物聯網及人工智能等新技術的發展，各類業務對數據中心計算能力的需求隨之增長。針對服務器定制優化方案一直備受互聯網和電信行業的關注。整機柜定制化服務器在機柜層面統一了服務器的硬件設計方案，具有更高的集成度和更低的平均能耗，近年來已經廣泛應用部署在互聯網和電信行業。

1 整機柜定制化服務器現狀

服務器定制化的目標是降低單位計算能力的TCO（總體擁有成本），縮短項目建設周期，提升后期運維效率。從定制化深度看，它主要分為配置定制和設計定制兩大類別。配置定制提出定制的一般技術要求包括CPU類型、內存和硬盤容量、網絡端口以及預留插槽等。設計定制對服務器的硬件設計和關鍵器件選型方案提出了定制要求，包括機箱尺寸和結構、節點配置、布局和接口、風扇電源等。

1.1 整機柜服務器概念

整機柜定制化服務器是在面向應用的配置定制基礎上，對服務器硬件進行優化設計，以進一步促進節能、提高密度、提升部署和運維效率。機柜中通常包括服務器節點、集中的供電和散熱系統、架頂網絡交換機（TOR）和網絡連接以及集中的管理系統乃至預先部署好的軟件系統等。

整機柜服務器通常由機柜系統、供電系統和散熱系統組成[1]。機柜系統模塊是整機柜服務器的結構載體，通過標準化設計能夠兼容各類服務器或交換機節點；供電系統采用集中Busbar供電方式，采用標準的接口和總線設計，具備節點形態的兼容性，提高電源的供電效率；散熱系統采取風扇墻的方式對服務器進行集中散熱，從而提高服務器的散熱效率。

1.2 天蝎計劃

整機柜服務器有多種不同的具體方案，目前在國內市場應用最廣的是ODCC（開放數據中心委員會）的“天蝎計劃”整機柜服務器方案。“天蝎計劃”由BAT發起，中國電信、中國移動聯合參與定制，采用集中供電、集中散熱、集中管理、高密度設計思路。相對于普通機架式服務器，它的部署效率最高可提升10倍，降低能耗10%以上，有效降低了采購和運維的TCO。

2 整機柜服務器應用部署分析

2.1 整機柜優勢分析

該工程為整機柜試點應用部署的項目。在整個工程實施過程中，整機柜服務器體現出了高密度、快速部署、工程設計便捷和部署整潔美觀等優勢。

（1）單臺服務器功耗：整機柜服務器單臺運行功耗為199 W，普通服務器單位運營功耗為234 W，整機柜服務器較普通服務器單臺功耗低15%；

（2）機房空間利用率：IDC1機房110個整機柜內共部署1 760臺虛擬化服務器和440臺分布式服務器，IDC2機房設計方案為單機架內安裝18臺虛擬化服務器或15臺分布式服務器，如部署相同數量服務器需要123個機柜，機房空間利用率整機柜服務器較普通服務器節約11%；

（3）機架用電利用率：IDC1機房單機架實際運行功耗3.9 kW，IDC2機房單機架實際運行功耗3.1 kW，IDC1機房較IDC2機房的單機架用電利用率提升約25%。

由分析可知，整機柜服務器在空間密度、能耗利用率、部署效率以及設計便捷性上，相對于傳統服務器均表現出明顯優勢。

2.2 整機柜部署實施相關問題

整機柜的交付模式與傳統服務器、交換機等IT設備與機柜完全解耦的交付方式不同，決定了其相對特殊的技術要求和部署實施環境要求。本項目機房基礎設施及相關配套前期已按普通機架服務器建設，導致整機柜服務器部署時遇到一些問題。本工程機房環境原針對普通數據中心機房采用“下送風+冷通道封閉”制冷方式，機房采用架空地板，無法滿足整機柜承重要求。為了防止地板因承重損壞，需要將工廠內組裝好節點的整機柜機房外拆除節點后，機柜、節點分別搬運至安裝位置再進行組裝。同時，機房入口有3 m的13.5°坡道，坡道搬運時即使僅剩空機架，仍需要多人才能推動。機柜就位后，還需要增加散力承重底座。由于拆除滾輪后整機柜高度變化，帶來列頭柜高度、ODF高度、機房其他配套設備高度的相應調整。一是為了機房高度保持一致美觀，二是冷通道封閉時保證封閉效果。

3 整機柜服務器應用部署優化建議

3.1 方案設計優化建議

3.1.1 服務器節點

建議單機柜仍采用20節點/柜的配置方案，有利于后期數據中心網絡接入與規劃。針對虛擬化等計算密集型整機柜，可考慮采用1U2節點提高服務器密度至30～40節點/柜，但需同步考慮機房的供電、承重、制冷以及架內線纜過多帶來的布線解決方案[2]。

3.1.2 接入交換機

基于天蝎項目的整機柜設備包含提供網絡模塊（接入層交換機TOR），但由于目前數據中心網絡方案多采用SDN組網方式，接入交換機通常跟隨SDN網絡方案進行另行采購，因此常出現接入交換機需要現場單獨安裝、布線的問題。建議后續在確保SDN方案兼容性的前提下，由整機柜服務器提供商統一提供接入交換機。需要另行采購的，可以提前在機柜出廠前提前進行電源、業務線纜預布放，機柜到場后僅進行設備上架連接。

3.2 機房配套優化建議

整機柜定制化服務器對于機房配套條件要求較高，結合本次部署經驗，機房配套建議如下。

3.2.1 承重要求

整機柜交付方案中，服務器已經在架內安裝完畢。由于服務器事先裝架，整個機柜重量較大（720～1 000 kg），搬運過程中搬運通道、坡度、地板等均需考慮承重要求。從此次實際部署情況看，建議后續相關機房搬運通道無坡道、無門檻。建議直接采用防靜電膠地面，通過地面保護后，可直接將整機柜運輸至指定機架位。對于不滿足搬運條件的機房，可以采取柜體與模塊化部件拆分，然后在機房現場安裝部署的方式進行服務器上架。

3.2.2 機柜固定

建議參考互聯網公司機柜固定的方式，采用機房L型底座前部固定方式進行整機柜固定。這種固定方式不用拆卸滾輪和水平支撐件，可以自由移動，直接推入固定，部署實施方便，安裝簡單易行。

4 結 論

本文通過梳理總結實際工程中整機柜定制化服務器的安裝部署情況，對比分析了整機柜定制化服務器與傳統服務器的優勢，進一步針對工程的實施情況總結了整機柜定制化服務器在部署實施方面的相關問題。