ANSI/TIA 942-A Tier4等級數據中心布線設計與實踐
——中國農業銀行災備中心網絡布線系統介紹

于智勇

(中國農業銀行總行，北京 100069)

0 項目概述

中國農業銀行北方數據中心園區位于北京市海淀區中關村創新園中心地帶，地處蘇家坨鎮稻香湖風景區。園區由南、北兩地塊組成，南地塊用于軟件開發，北地塊定位為農行“兩地三中心”戰略部署中的異地災備中心。園區總建筑面積 249 000m2，其中，三棟機房樓總建筑面積86 500m2，機房總面積近20 000m2，共分成32個600m2左右的高性能標準模塊機房，機房分兩期進行建設，每期16個模塊，目前完成的是一期。

農業銀行災備中心按照國標GB 50174-2008《電子信息系統機房設計規范》(以下簡稱“GB 50174標準”)中A級機房標準設計建造，核心機電系統滿足Uptime機構所規定的最高等級Tier IV要求，網絡布線系統參照了TIA 942-A的Tier4等級要求。數據中心建成后能滿足農業銀行長遠的戰略部署，并可適應銀行業務擴展及未來網絡技術的發展，建設目標成為國內一流的數據中心。

由于北方數據中心園區占地較大(園區包括了15棟建筑物)，本文僅就災備中心的綜合布線系統的規劃、設計做簡單介紹。數據中心園區其網絡架構和布線另有特點，并有一定代表性，作者將另文介紹。

1 本中心的特點及對設計的要求

本中心的特點及對設計的要求主要有：(1)作為銀行數據中心，各系統設計高可用性是第一位的，綜合布線系統設計更是如此；(2)不同于互聯網或以出租為目的建設的數據中心，本中心32片機房必須作為一個整體考慮，網絡需要統一出口，核心網絡機房需要連接所有服務器及存儲機房；(3)應用和設備種類多，有主機系統、小型機及存儲系統、X86架構的開放平臺系統等，這些應用和系統布線各有其特點，必須兼顧；(4)中心的基礎設施架構需要保持較長時間的穩定，特別是布線系統，由于其物理升級工程量巨大，對數據中心的影響也極大，因此期望其至少在10～15年內保持基本穩定，20年內基本可用，這需要跨越2～3個甚至4個網絡系統設備生命周期，要求布線系統設計之初就要適度超前，并考慮平滑升級條件。

布線系統設計原則：遵照標準，滿足需求，確保可用，兼顧未來。

2 綜合布線系統設計概要

農業銀行災備中心的綜合布線系統設計遵循GB 50174標準要求，還特別參照了TIA 942-A標準的拓撲架構，充分考慮了農行數據中心的應用及設備特點以及數據中心對高安全性、高可用性、高靈活性和高可擴展性的要求。網絡與存儲系統采用相同的布線結構，分為核心、匯聚、接入三層，規劃可支持40G和100G網絡。

數據中心區域設有兩個MDA互為備份，每個機房的IDA都通過主干布線連接到兩個MDA。數據中心進線規劃成全程雙路由進線，通過4個運營商機房由不同的路由連接到MDA處。此外，從網絡核心機房通過7個匯聚節點輻射到各辦公區域，實現園區各辦公樓的網絡匯聚。

為了落實數據中心32個機房模塊之間的互聯互通，綜合布線參照TIA 942-A標準引入了中間配線區(IDA)，如圖1所示，這樣實施的優勢在于：(1)有利于機房模塊分期分步實施、啟用；(2)模塊內部的服務器、存儲互聯可以在IDA進行，減輕了MDA的互聯壓力；(3)在IDA內集中部署光交換設備作為模塊內SAN網絡集中交換區；(4)對于上聯到主配線區(MDA)的線纜進行收斂，減輕了主干布線的壓力，并大大提高布線的可靠性和可管理性。

圖1 本中心TIA-942-A架構布線結構圖

機房模塊內綜合布線的水平配線區(HDA)采用柜間布線(MoR)的結構進行設計，每一列設備柜設置有3個布線HDA機柜，中間的機柜匯聚銅纜布線，兩邊的機柜匯聚光纖布線。每個設備柜的光纜分別連接到HAD內左、右兩個光纖匯聚柜中。考慮到設備柜配線的靈活性，在每個設備柜頂部的橋架上通過安裝頂部安裝機架的方式設置EDA區域，可根據每個設備柜裝機密度和服務器選型的不同在ToR和MoR之間進行靈活切換。

LAN網絡架構的上聯方式為：EDA-HDA-IDA-MDA。SAN網絡架構的上聯方式為：EDA -IDA-MDA。

針對主機與小型機等非標設備，本項目專門在模塊內設定了主機區和小型機區，并定義了ZDA來支持非標連接，此部分的設備與IDA的上聯采用了直連的方式。

針對綜合布線系統光纜和銅纜的選型，本項目充分考慮了網絡未來的發展趨勢，銅纜采用6A類屏蔽解決方案，光纜根據布線場景和連接距離分別選用多模OM4和單模OS2，且所有光纖主干均采用MPO的接口，以實現40G/100G的升級。

3 項目實施特點

本項目綜合布線系統在設計和實施過程中體現了高安全性、高可用性、高靈活性和高可擴展性的特點。

(1)安全性與可用性

安全性和可用性是銀行數據中心建設的重中之重。為了確保信息傳輸的安全性，項目中銅纜采用了全屏蔽結構，從根本上去除了信號泄露的風險。整個布線系統遵循了TIA 942-A T4和Uptime最高等級Tier IV 的設計原則，從電信進線直到EDA均保有備份路由，大大加強了設備的可用性，避免了單點故障的風險。

(2)靈活性與可擴展性

項目中創新性地采用了綜合吊掛系統，將機房內復雜的頂部吊掛進行了全面整合，并結合實際情況在每個設備柜上方采用了橋架懸掛式頂部安裝機架，提供了額外的4U安裝空間，該安裝機架的施工獨立于機柜的安裝擺放，安裝實景圖見圖2。頂部安裝機架的使用為機房的靈活擴展提供了可行性，模塊內的布線可以先行部署，機柜的擴容不會影響現有業務的運行。

圖2 靈活部署的4U頂部安裝機架

以太網光纖布線速率的發展直到10G一直是采用單一介質、單一連接器類型就可滿足升級需求，自40G、100G網絡推出后，IEEE標準開始提供多種介質和連接器類型的不同選項，表1羅列了IEEE標準中現有規范對光纖介質、連接器類型和支持的傳輸距離。

光纖介質和傳輸距離- IEEE標準 表1

從表1中可知，綜合布線系統選用光纖介質需充分考慮未來的發展。在項目規劃過程中，為了滿足40G/100G網絡的升級的影響，從初期布線安裝成本、收發器成本、維護升級成本、鏈路長度這幾個因素進行了綜合考量，見表2。

項目造價由初期成本與升級維護成本組成，合理的架構設計應該兼顧項目初期造價以及運維成本。本項目經成本分析后最終決定采用高等級的多模OM4光纖,連接器類型選用12芯MPO，以實現對未來網絡的支撐。

網絡傳輸介質成本分析 表2

傳統平衡雙絞線由于標準與傳輸距離限制，不適合作為網絡主干連接，因此，主干介質的選取過程中僅以OM3多模、OM4多模、單模光纜作比較。從表2可知初期布線成本差別不大，多模和單模成本基本可認為一致，但是單模收發器的成本遠高于多模收發器，故初期網絡整體成本多模優于單模，而OM3在支持40G和100G網絡的距離上限制在100m，項目實際情況中計算得出主干長度有部分超長，故最終決定主干采用高等級的多模OM4光纖。若進一步考量核心區域未來超越100G需求的升級模型，單模預計將比多模更經濟，因此在IDA-MDA互連區域以及核心區域也同時敷設了單模光纖，以應對未來更高網絡速率。

在選取接口時，并行MPO接口在升級與支持100G網絡的性能上遠比LC接口靈活，即可滿足現有網絡需求，又可以滿足帶寬升級的需求，且MPO接口為工廠預端接形式，可以保證項目質量交付的穩定性并兼顧項目交付期要求。

由于設計時做了前瞻性的考慮，本中心竣工時各項指標，包括上述線纜和連接器選擇等，均滿足最新版GB 50174-2017《數據中心設計規范》的要求。

除了IEEE標準以外，本項目中所部署的單模和多模光纜還能支持表3中行業標準。

同時，因為LAN網絡和SAN網絡都選用了同一套布線系統，故該布線系統還可以支持表4中SAN網絡的標準。

通過高等級多模OM4 MPO預端接光纜和單模MPO預端接光纜的應用，可實現40G到100G的平滑過渡。MPO連接頭采用了并行光纖的技術，可以通過MPO-LC轉接模塊實現MPO連接器和LC連接器的轉換，在網絡從40G升級到100G時，僅需將LC接口轉換成MPO接口即可實現連接，避免了二次布線的麻煩，從另一方面提升了數據中心的可用性。本項目中考慮到模塊到機房之間的距離較長，故在IDA到MDA區域的互連均采用單模MPO作為主要傳輸介質，可根據實際情況，選取LC接口或MPO接口作為連接，主干預留的布線冗余量完全滿足將來的傳輸需求。

光纖介質和傳輸距離-行業標準 表3

光纖介質和傳輸距離-存儲標準 表4

項目中充分考慮了網絡的升級和冗余路由，通過敷設24芯及以上的光纖光纜作為水平和主干連接，故在HDA/IDA/MDA處匯聚了較多的光纖光纜，若采用傳統72芯光纖配線架將占用大量機柜空間。本項目設計時對多套產品方案進行了比較，最終選用了超高密度(UHD)的光纖配線架來節省機柜空間。超高密度光纖配線架在1U空間內可安裝12個12芯MPO-LC模塊，實現144芯的LC接口安裝密度，是傳統72芯光纖配線架密度的兩倍，若接口改成MPO時，則可以實現最高864芯光纖對接。

在EDA實施時，頂部安裝機架提供了4U安裝空間，UHD光纖配線架僅占用頂部安裝機架1U空間，留有2U空間做銅纜的端接，還預留了1U空間。

4 結束語

本項目在設計規劃和實施過程中，依據、參照了國內外最高等級的標準，并總結了以往項目的寶貴經驗，才得以確保項目的順利實施。在設計和實施的過程中，總結可取的經驗如下，以供同仁參考。

(1)標準是布線設計的根本，遵循標準設計，充分考慮冗余，才能保障數據中心的整體可用性。

(2)采用靈活的結構化布線架構和高等級的布線系統可充分利用寶貴的機房空間。

(3)設計布線等級選型時應充分考慮網絡的發展，為未來網絡升級做好準備，實現對投資的保護。