企業大型數據中心網絡和布線設計

文｜ 世源科技工程有限公司 王志強 陳 宏

企業大型數據中心網絡和布線設計

文｜ 世源科技工程有限公司 王志強 陳 宏

隨著數據中心的發展，數據中心已經不是一個簡單的服務器統一托管、維護的場所，已經演變成一個集大數據運算、存儲為一體的高性能計算機的集中地，需要通過各種方式將之前以單臺為單位的服務器變成多臺為群體的模式，在此基礎上開展諸如虛擬化、云計算、云存儲等一系列的功能，以提高單位數量內服務器的使用效率。隨著虛擬化、云計算的快速興起，數據中心對網絡的要求越來越高，網絡設計應充分考慮未來適應新技術發展的需要，尤其是對于企業大型數據中心設計，應從未來數據中心的發展趨勢和企業需求來規劃數據中心的網絡和布線方案。

1 布線系統總體規劃

企業大型數據中心布線系統設計，應以網絡架構設計為依據，滿足應用系統的需要，按照一次規劃分期建設的原則進行，同時留有部分余量，避免浪費。

企業大型數據中心布線系統設計需要在網絡規劃的基礎上進行布線規劃，采用結構化、模塊化布線方式。布線系統總體架構包括：主配線區（MDA）、中間配線區（IDA）、水平配線區（HDA）和設備配線區（EDA）四個布線區域。由主配線區（MDA）至中間配線區（IDA）、由中間配線區（IDA）至水平配線區（HDA）、由水平配線區（HDA）至設備配線區（EDA）采用星型拓撲結構的布線方式。數據中心布線系統拓撲結構如圖1所示。

2 結合網絡架構的布線設計

針對企業大型數據中心的項目特點，常見的網絡架構及布線設計方案可以分為列頭式（EoR）、集中式 （改進型EoR）、分散式（ToR）三種方式。

（1）列頭式

列頭式即EoR的方案，是數據網絡架構規劃及布線設計中比較傳統的方案，即將網絡系統中接入層交換機置于每列列頭的1～2個機柜中，本列機柜所有銅纜/光纜都匯聚到列頭柜的接入交換機中，通過交換設備把銅/光的數據傳輸轉換為光纜傳輸；所有經過列頭柜轉換出來的多芯光纜匯聚到數據中心的模塊或核心交換機中。網絡拓撲如圖2所示。

采用EoR的方式，服務器首先連接到布線列頭柜，布線結構清晰，具有較高的通用性與靈活性，尤其在一些業務應用不明確的前提下可考慮采用。可以將高性能、高端口密度、模塊化的大型交換機置于列頭柜中，通過高效的端口分配，提高端口利用率，降低交換機成本，由于采用列頭柜的接入方式，提高了端口利用率。

EoR布線方式的缺點是采用大量雙絞線布線，綜合布線成本高，后期維護成本高，每列機柜需要至少一個列頭柜，從而導致每個機房模塊需要較多的列頭柜，空間利用率低。

（2）集中式

集中式的原則是將同一區域的服務器統一接到網絡機柜，以高密度的網絡設備作為服務器群的接入。根據機房的實際情況，可以劃分區域的范圍，一般一個區域的服務器機柜不超過60臺。按照企業的實際情況，網絡設備采用集中式的放置方式，使用大型框架式數據中心級交換機。即在一個機房模塊中分為幾個大的區域，各個區域的服務器分別集中到區域匯聚交換機中。網絡拓撲如圖3所示。

采用集中接入方式，端口利用率很高，所投入的網絡設備數量減少了很多，網絡設備的維護量會減輕，可以將高性能、高端口密度、模塊化的大型交換機置于機房中，利用交換機的虛擬化技術，提高整體處理能力，無需設置列頭柜，一個機房模塊集中設置網絡機柜，節約了機房的面積。

但對布線系統提出了較高的要求，線纜的維護量較大。服務器統一接到網絡機柜，需要大量雙絞線布線，有時會受到距離的限制，綜合布線成本較高，后期維護難度大，維護成本高，網絡系統擴充難度大，對綜合布線的依賴程度高。

（3）分散式

ToR的原則是把接入層交換機布置在設備區的每個機柜內。優點是從服務器到交換機是“簡單的”跳線連接，從交換機的上行鏈路端口到上層交換設備是光纖連接，在匯聚層向上，構建一個“全光纖”的網絡架構。網絡拓撲如圖4所示。

ToR布線方式簡化了服務器機柜與網絡機柜間的布線，服務器在機柜內通過雙絞線（或光纖）在機柜內直聯交換機，接入層交換機通過光纖上連至匯聚層交換機，節省綜合布線成本，尤其是后期綜合布線系統的管理成本。接入層交換機的分散放置，網絡容易進行系統擴充，也使得服務器的接入空間相對增加，從而提高機房內單位面積的數據處理能力。按42U高的機柜計算，如果采用交換機ToR布線方式，則每個機柜最多可部署40臺1U高度的機架式服務器。

ToR布線的缺點是每個服務器機柜受電源輸出功率限制，可部署的服務器數量有限，每個服務器機柜或相鄰幾臺服務器機柜中需放置接入層交換機，由于接入服務器數量的限制，每個交換機的端口不可能完全被利用，端口利用率較低。ToR方式的網絡建設成本比較高。

綜合布線與網絡系統整體成本增加，但是可以提高機房有效的空間，提高機房單位面積的數據處理能力，因而獲得很好的性價比。

3 設計案例

以某大型企業數據中心為例，結合企業應用系統需求和網絡架構規劃，針對機房模塊不同的業務需求，相應地采用不同的布線設計方案。從使用功能上，該企業數據中心主要分為普通業務應用模塊、大型重要業務應用模塊、云計算應用模塊、核心網絡機房模塊、屏蔽機房模塊。以下將結合上述幾種機房模塊應用系統需求及網絡架構的特點分別提出布線設計方案。

（1）普通業務模塊布線方案

普通業務模塊主要針對一些重要性一般、中小規模的業務系統部署，如辦公管理系統、對外網站、電子郵件、企業信息系統、檔案管理系統等，一般多個應用系統共同部署在一個機房模塊內。各應用系統的規模不等、網絡接入的需求各不相同、業務應用部署需要不明確，因此要求布線設計具有較高的通用性與靈活性，推薦在普通業務應用模塊采用EoR的布線方式。普通模塊分區如圖5所示。

考慮到企業數據中心的業務特點，普通業務模塊單機柜供電容量按平均3kW/RACK設計，2U及4U機架式服務器各按50%考慮，估算每臺服務器機柜內服務器的數量為8臺，每個服務器機柜按“24電+8光”規劃布線端口數量。每臺服務器機柜設24個銅口，采用一次性布線的方式，由EDA區引至HDA區，考慮到滿足未來設備部署靈活性的需要，EDA區的銅纜配線架推薦配置在機柜上方對應位置網格橋架的側方，每臺服務器機柜考慮8個光口（初期按30%配置），每4個機柜布置一個1U的光纖配線箱，部署12個光口，供4個機柜共用。光口主要滿足以太網接入及存儲網絡接入的需要，光纖配線箱推薦部署在光纜線槽的下方，HDA區至IDA區采用預連接光纜，在每排預留4U的光纖配線架機框，敷設24芯預連接光纜4根至IDA區（初期按30%配置），光纜、銅纜跳線按50%配置。

（2）大型重要業務應用模塊布線方案

大型重要業務應用模塊主要部署企業重要的、中大規模的業務系統，如企業ERP等。一般一個應用系統需要占用一個或幾個機房模塊，業務系統內的橫向流量遠高于縱向流量，適合采用高性能、高端口密度、模塊化大型交換機作為接入交換機，提高網絡的性能和可靠性，降低接入過載比，通過虛擬化的技術提高整體性能。因此布線設計適合采用集中式（改進型EoR）布線方案。按照數據中心集中式的網絡架構，將一個機房模塊劃分為4個區域（每個區域40～60臺機柜），每個區域放置一對數據中心級交換機，每個區域預留2臺交換機機柜和2臺布線機柜。以某廠商設備為例，其數據中心級核心交換機產品的高度是38U，對于標準42U高的機柜，需要占用一整個機柜。單機柜可以提供576個萬兆端口或者864個千兆端口，完全可以滿足數據中心服務器接入需要。大型重要業務應用模塊分區如圖6所示。

大型重要業務應用模塊單機柜供電容量仍按平均3kW/RACK設計，每個服務器機柜按“24電+8光”規劃布線端口數量。每臺服務器機柜設24個銅口，采用一次性布線方式，由EDA區引至區域集中EoR布線區。考慮到滿足未來設備部署靈活性的需要，EDA區的銅纜配線架推薦配置在機柜上方對應位置網格橋架的側方，每臺服務器機柜考慮8個光口（初期按30%配置），每4個機柜布置一個1U的光纖配線箱，部署12個光口，供4個機柜共用。光口主要滿足以太網接入及存儲網絡接入的需要，光纖配線箱推薦部署在光纜線槽的下方，區域集中EoR布線區至IDA區采用預連接光纜，在每排預留4U的光纖配線架機框，敷設4根24芯預連接光纜至IDA區（初期按30%配置），光纜、銅纜跳線按50%配置。

（3）云計算模塊布線方案

云計算應用模塊主要部署企業的云計算服務平臺，如桌面云、高性能計算等，一般單獨分配一個或幾個模塊來滿足此種業務的應用需要。云計算應用對服務器的各項性能指標要求較高，包括計算能力、可靠性及虛擬化性能。云計算平臺一般采用高性能的機架式服務器或刀片式服務器，部分云計算數據中心采用定制化的服務器，推薦在云計算環境下采用4U機架式服務器。另外云平臺的建設通常采用統一建設的方式，服務器的性能規格、接口類型、部署方式容易做到統一及規模化部署。云計算數據中心模塊須要采用大二層網絡架構。為了提高單位機柜對整體數據中心基礎設施的利用率，設備端口的布線密度非常高。因此云計算模塊中的高密度服務器機柜適合采用ToR的布線方案。

云計算模塊單機柜供電容量按平均7kW/RACK設計，每臺機柜部署8臺4U機架式服務器，每臺服務器考慮4個業務網端口，2個存儲端口，1個管理端口。云計算網絡不僅要進行業務數據通信，還要實現虛擬服務器的在線遷移、負載均衡等新功能，因此云技術平臺服務器與數據中心網絡設備的連接盡量采用萬兆接口，以減小帶寬對資源池動態調配可能造成的不利影響。萬兆網卡光銅口按各占50%設計，銅口區域每臺服務器機柜考慮32個銅口，由服務器至ToR交換機采用銅纜跳線直接跳接的方式；光口區域每臺服務器機柜考慮32個以太網絡光口，由服務器至ToR交換機采用光纜跳線直接跳接的方式。每2臺機柜為一組，作為一個ToR布線單元，ToR設備機柜布線采用每個ToR布線機柜內放置1U光纖配線箱的方式，由ToR機柜布線區至IDA區引入2根12芯預連接光纜（初期按50%配置）。

考慮到云計算應用中每臺服務器均有存儲資源池的訪問需求，每臺服務機柜設24個光口用于連接存儲網絡（初期按50%配置）。每2個機柜布置一個1U的光纖配線箱，部署12個光口，供2個機柜共用。KVM及帶外管理網布線單獨設置，按每2個機柜布置一個24口的銅纜配線架，供2個機柜共用。采用一次性布線方式，由EDA區引至HDA區。光纜、銅纜跳線均按50%配置。云計算模塊分區如圖7所示。

（4）核心網絡機房布線方案

核心網絡機房模塊用于部署數據中心的核心網絡路由交換設備及核心網絡布線的MDA區。項目采用兩個標準機房模塊中的部分機柜（2排）作為核心網絡機房（MDA區）使用，每個機房模塊的中間配線區（IDA）至每個核心網絡機房（MDA區）引入2根72芯OM4光纜，光纜推薦采用OM4多模光纜，滿足未來40G或100G應用對傳輸距離的要求。光銅纜跳線按50%配置。網絡核心機房（MDA區）分區如圖8所示。

（5）屏蔽機房布線方案

企業屏蔽機房建設是為滿足企業涉密業務的需求，屏蔽機房的布線須符合國家對涉密信息的安全要求。屏蔽機房的建設須參照國家保密局《處理涉密信息的電磁屏蔽室的技術要求和測試方法》BMB3-1999，和中國人民解放軍《軍用電磁屏蔽室通用技術要求和檢驗方法》GJBZ 20219-94等標準的要求。

在本項目中，屏蔽機房內設2排機柜，每排10個服務器機柜，每臺服務器機柜考慮24個屏蔽銅口，采用一次性布線方式，服務器機柜到網絡列頭柜采用6A類屏蔽銅纜，屏蔽銅纜配線架配置在機架上。每臺服務器機柜考慮8個光口（初期按30%配置），每4個機柜布置一個1U的光纖配線箱，部署12個光口，供4個機柜共用。光纖配線箱部署在光纜線槽的下方。由服務器機柜到列頭柜采用預連接光纜的方式，屏蔽銅纜及光纜跳線按50%配置。

（6）運營商接入布線方案

數據中心樓兩側各獨立設置運營商接入機房，滿足從兩個不同的路由引入電信市政外線的要求。本項目兩側各設四間運營商機房。每個運營商機房區域可滿足4家運營商接入的需要。每家運營商機房至每個MDA區引入1根24芯OM3多模光纜，12根6A類非屏蔽銅纜，12根75-5同軸電纜以滿足多種類型鏈路的接入需求。

4 布線產品的選擇

布線產品的選擇需根據項目的實際需求，并考慮項目的建設投資等因素綜合確定，以下僅給出推薦性建議。

在線纜的選擇方面，為支持10GBase-T的需求，數據中心銅纜推薦采用6A類銅纜，6A類銅纜承載10GBase-T的距離為100m。為了支持 10G和未來40G或100G的應用，數據中心光纜推薦采用OM3 50/125 μ m激光優化多模光纜或OM4光纜。光纜連接推薦采用預端接光纜，光纖模塊采用MPO-LC接口類型。在線纜的阻燃等級方面，A級機房銅纜布線推薦采用CMR級阻燃線纜，光纜布線推薦采用OFNR級阻燃光纜。B級機房銅纜布線可采用CMR級阻燃線纜或低煙無鹵線纜，光纜布線可采用OFNR級阻燃光纜或低煙無鹵線纜。

大型數據中心機房規模較大，部署的服務器機柜數量較多，對后期布線系統的運維管理帶來了較大難度，因此推薦使用電子配線架。電子配線系統對快速布線、及時診斷故障等帶來便利，提高了運行及維護的效率。

數據中心網絡布線的線纜路由建議采用上走線方式，銅纜布線推薦采用開放型的網格式橋架，光纜布線推薦采用光纖尾纖槽。

5 結束語

從根本上講，數據中心網絡布線系統滿足于各應用系統網絡互連互通的需求。因此，合理的布線系統設計一定是基于數據中心的網絡架構規劃，方案設計難點也在于此。本文主要結合數據中心常見的網絡架構和布線設計方案及一些企業大型數據中心項目中布線系統設計的經驗，提出了針對一些業務應用場景和特定需求的解決方法。當然，正因為布線系統的設計源于數據中心應用系統的需求，因此需要在每個項目中針對特定行業、特定企業的應用特點及需求，提出有針對性的數據中心布線系統設計方案。

1 電子信息系統機房設計規范GB 50174-2008.北京：中國計劃出版社，2009

2 綜合布線系統工程設計規范GB 50311-2007

3 美國通信行業協會標準數據中心通信設施標準TIA 942

4 鐘景華，朱利偉，曹播.新一代綠色數據中心規劃與設計.電子工業出版社