大型數據中心的網絡規劃設計

摘要：網絡的規劃設計將直接影響數據中心機房內的系統設備、平臺及關鍵應用數據。從介紹大型數據中心的概念開始，引入數據中心網絡規劃設計的基本思路，包含了物理網絡設計和邏輯網絡設計兩大部分，先從全局維度闡述了總體設計的多個關鍵要素，包括但不限于弱電綜合布線設計、機柜部署設計、設備物理端口連接設計、網絡拓撲圖設計、網絡IP地址及VLAN設計、網絡安全策略設計、網絡及安全管理設計，然后分別對每個方面的深化設計內容展開詳細的論述，最后以理論與實踐相互作用的角度進行了總結。

關鍵字：網絡規劃設計；設備物理端口連接設計；網絡拓撲圖設計；網絡IP地址及VLAN設計

一、引言

對于典型的數據中心機房，除了土建工程和基礎設施的規劃設計以外，最重要的就是機房的數據通信網絡的規劃設計，網絡設計的穩定性和可靠性將直接影響到數據中心內運行的電子信息系統設備，因為網絡作為基礎環境承載著數據中心的多種基礎系統平臺，而這些平臺上運行的應用數據恰恰是政務及企事業單位日常及高峰業務的核心價值所在。

二、大型數據中心的概念

一個典型的數據中心機房，是指放置電子信息設備并提供穩定運行環境的場所，通常包含計算機信息系統、通訊和存儲系統和為這些系統提供恒定適合的溫度、濕度、電力等環境的基礎設施在內的一整套設施。

數據中心機房按照機房的用途、業務特點及要求乃至機房在經濟和社會中的作用和影響，根據國家標準《數據中心設計規范》GB50174-2017可以劃分為A級、B級、C級三個級別。其中A級是較大型專業的機房標準，在性能要求方面，A級機房內的場地設施應按容錯系統配置，在電子信息系統運行期間，場地設施不應因操作失誤、設備故障、外電源中斷、維護和檢修而導致電子信息系統運行中斷[1]。

三、網絡規劃設計的思路

數據中心的網絡規劃設計，最終目標是為業務系統運行提供安全、穩定、可靠的計算存儲和網絡通信環境，支撐關鍵業務的開展。因此，首先要采用穩定成熟的技術路線，在穩定可靠的基礎之上，對于具體業務場景可以適當引入較先進的技術架構，在局部發揮前瞻性技術優勢。數據中心的網絡規劃設計，整體可分為物理網絡設計和邏輯網絡設計兩大部分，物理網絡設計主要是機房內的各種線纜、物理端口、機柜空間等的設計，邏輯網絡設計主要是涉及邏輯功能和性能的拓撲圖、IP地址、安全策略等的設計[2]。本人遵循此思路，已經在實踐中順利完成了某大型數據中心的網絡規劃設計。

四、總體設計

網絡的規劃設計涉及面較廣，需要綜合考慮多個維度。對于大型的數據中心機房而言，主要包括以下幾個方面：1.弱電綜合布線設計。主要包含通信機房及光交箱、弱電列頭柜、配線架的設計[3]。2.機柜部署設計。主要包含整個機房的機柜分布區域設計，機柜內空間設備部署設計[4]。3.設備物理端口連接設計。主要包含設備之間采用的物理端口及連接線。4.網絡拓撲圖設計。主要包含網絡的各個區域組成及劃分，區域之間的連接，區域內部的連接等[5]。5.網絡IP地址及VLAN設計。主要包含對于IP地址段、VLAN用途的規劃設計。對于復雜的基礎系統平臺，如云計算平臺，大數據平臺，尤其需要專業的精心設計，不僅要考慮將管理網絡和業務網絡區分開、多機柜分布式部署，還需要考慮VxLAN和SDN等新技術的使用場景[6]。6.網絡安全策略設計。主要包含跨不同區域之間的業務訪問控制策略，以及同一區域內不同業務的訪問控制策略，這部分不僅要單獨考慮每個網絡安全設備的功能，也要結合業務數據流在數據中心內的流向考慮整體的安全策略，讓所有網絡安全設備協同工作發揮出整體最優的效能。

五、深化設計

（一）弱電綜合布線設計

1. 弱電垂直布線。機房的機柜區域往往涉及多個樓層的多個不同區域，按照功能可以分為通信機房、測試機房、主機房區域1、主機房區域2等。通信機房是運營商部署光交箱和交換機等通信設備的場所，也是運營商線路從園區外部進入機房樓內落地的第一站，通常將機房樓內各個運營商的接入配線架部署在這里。以本人設計的某機房布線為例，通信機房在機房的1層，而主機房區域在2層，則從1層通信機房連接到2層主機房區域的通信線路（如光纖）就形成了垂直布線。

2.弱電水平布線。以本人設計的某機房布線為例，和通信機房在同一樓層的區域，從1層通信機房連接到1層測試機房的通信線路（如光纖或銅纜）就形成了水平布線。同樣是此機房的布線，對于在同一個主機房區域的機柜與機柜之間，從主機房區域的總配線架連接到各列機柜的弱電列頭柜的通信線路也形成了水平布線。對于在同一列的機柜，機柜與機柜之間的通信線路也形成了水平布線。

（二）機柜部署設計

通常機柜要按照不同的業務及功能區域來設計布局，以本人設計的某機柜設計為例，包含了網絡核心區、網絡外聯區、網絡管理區、具體業務區、數據備份區等。同一個業務區域的機柜盡量要連續排列，不要拆散分離，便于在后續擴展機柜時的運維和管理。機柜部署有兩個基本要素：一是電功率；二是機柜空間。從實際部署看，很多時候即使機柜空間沒有占滿，但電功率已接近上限，就不能再增加設備了。機柜通常采用雙路供電，因此對應配備兩組PDU電源。PDU電源通常有兩種類型：10A插口和16A插口。以本人設計的某機房為例，大多數設備如服務器、接入交換機、防火墻等都采用10A插口，而少數設備如大型存儲、小型機、核心交換機等則采用16A插口。機柜內的PDU插口數量是有限的，每一路PDU有24個插口，其中20個是10A的，4個是16A的。

對于空間占用較大或電功率較高的設備，如網絡核心交換機、小型機、大型存儲等，根據實際情況可考慮每臺設備分別放在不同的機柜，在機柜位置上優先放在機柜的最下方。這樣做的優點：一是利于機柜重心的穩定；二是電功率高的設備使用的16A插口位于機柜偏下的位置；三是便于上架和下架等運維操作。

對于機柜內設備有高可用性要求的，需兩個機柜組成一對來使用。在實際的機柜部署中，具有高可用性設計的網絡核心交換機、邊界防火墻、服務器、存儲等，應分別部署在成對使用的相鄰機柜。這樣做的優點：一是便于線纜的連接；二是便于運維操作。

對于一些復雜的系統平臺，可能會需要考慮多機柜分布式部署，以本人設計的某機房為例，由于云計算平臺的數據有3個副本，因此云計算平臺的存儲服務器部署在了3個不同的機柜里。

（三）設備物理端口連接設計

如果將整個網絡劃分為接入層、匯聚層和核心層，網絡交換機的端口帶寬速率大小順序應該是接入層<匯聚層<核心層。

以本人設計的某機房為例，其中接入層交換機按照給服務器提供管理網絡和業務網絡接入的不同，又可以分為管理網絡用1G帶寬的電口，業務網絡用10G帶寬的光口。這是由于業務網絡傳輸較多的業務數據，而管理網絡只有較少的用于管理維護的數據，將業務網絡和管理網絡從物理層面分隔開，可以有效避免管理網絡的數據占用業務網絡的帶寬。接入層交換機上聯到匯聚層或核心層交換機的端口通常是40G帶寬甚至100G帶寬的光口，這樣做可以有效避免核心層帶寬的瓶頸問題。

每兩臺交換機之間做高可用堆疊的互聯端口采用10G帶寬（管理網絡）或40G帶寬（業務網絡）的光口。

而防火墻或其他安全設備大多數采用10G帶寬的光口與交換機互聯，少數根據業務需要采用40G帶寬的光口與交換機互聯。路由器外聯到運營商線路則根據運營商提供的帶寬大小及接口特性的不同，采用1G帶寬的電口或光口，或者10G帶寬的光口。以本人設計的某機房為例，一條400M帶寬的互聯網專線采用了1G光口，另一條1G帶寬的互聯網專線采用了10G光口。

除了端口帶寬，端口連接類型也很重要。目前主流的光口一般采用LC-LC連接器（俗稱小方口）或MPO連接器，適合數據中心的業務網絡。主流的電口一般采用1000BASE-T（RJ45接口），適合數據中心的管理網絡。也可以根據實際需要配置光轉電模塊接口。以本人設計的某機房為例，光口全部采用LC-LC連接器，電口全部采用1000BASE-T。

（四）網絡拓撲圖設計

1.劃分不同的業務功能區域。大型數據中心承載著復雜的關鍵業務，因此通常會以模塊化理念設計多個業務功能及安全區域，便于管理和控制。以本人設計的某機房為例，整個網絡劃分成10多個區域，包括但不限于：管理中心區，數據備份區，核心交換區，互聯網接入區，廣域網接入區，業務容災區，關鍵業務區一，關鍵業務區二，測試機房等。這些區域跨了機房的好幾個樓層，從1層、2層到3層。各個區域都會有網絡設備以及網絡安全設備，但只有部分區域有服務器和存儲設備。

2.區域之間的連接。各區域之間是通過將區域邊界的設備直接物理連接從而實現區域間互聯的，并不是每兩個區域之間都可以或者需要直接互聯，要根據網絡整體的架構設計，并考慮業務數據流的走向和訪問控制來確定。以本人設計的某機房為例，核心交換區連接了所有區域，各區域之間的訪問都要先經過核心交換區中轉來實現。

3.跨區域邊界的防護。區域與區域之間，通常是不同的安全級別和需求，因此屬于不同的安全域，這些安全域要通過各區域的邊界設備來實現具體的防護，這些邊界設備最常見的就是防火墻，主要實現的就是基于地址和端口的訪問控制，從而防止區域外部未授權的請求對區域內服務器等設備的業務訪問。我們通常稱這類跨區域的訪問流量為南北向流量，邊界防火墻也被稱為南北向防火墻。

4.區域內部的連接。區域內部是通過逐個網絡層級設備的物理連接從而實現互聯的，比如服務器上聯到接入交換機，接入交換機再上聯到匯聚交換機或核心交換機。并不是所有服務器之間都可以或者需要直接互聯，要根據業務區域的網絡需求設計，并考慮業務數據流的走向和訪問控制來確定。

5.區域內部的防護。即使在同一個區域內部，根據業務場景和需求，也可能屬于不同的安全域。以本人設計的某機房為例，云計算平臺不同租戶的云主機之間的互訪，因為屬于不同安全域，要通過區域內的防火墻設備實現具體的防護，主要實現的就是基于地址和端口的訪問控制，從而防止區域內部未授權的請求對區域內服務器等設備的業務訪問。我們通常稱這類區域內的訪問流量為東西向流量，對應的防火墻被稱為東西向防火墻。

6.本地機房與外部機房的連接。本地數據中心機房與外部數據中心機房通常采用長途或本地專線線路實現連接。以本人設計的某機房為例，在本地數據中心有一個單獨的業務容災區，部署2臺路由器設備，實現與外部數據中心的通信。而本地數據中心機房與外部數據中心機房之間的關系，本地是主數據中心機房，外部是災備數據中心機房。

（五）網絡IP地址及VLAN設計

1.內部網絡IP地址段要有整體的規劃和具體的分配。前面我們已經設計了多個業務功能和安全區域，按照每個業務區域，根據使用情況設定IP地址使用范圍，并且在每個業務區域預留IP地址段以便于日后網絡的擴展。網絡IP地址可按照建設單位的網絡規范標準進行部署設計，本著不僅滿足當期使用并考慮后期擴展的原則來進行分配。以本人設計的某機房為例，IP地址段分為兩大類：業務網絡IP地址段和管理網絡IP地址段。顧名思義，前者是用于傳輸業務數據的網絡地址，后者是用于運維管理的網絡地址，需要分別規劃設計不同的IP地址段，設計的輸出物形成了具體的地址分配表。

2.外部網絡IP地址段要區分不同運營商的接入。外部網絡主要是指互聯網接入、廣域網接入等，其IP地址段是由提供接入的運營商提供的，以本人設計的某機房為例，用戶單位再根據業務需求具體分配每個IP地址，設計的輸出物形成了具體的地址分配表，能區分不同網絡運營商的接入。

3.VLAN的分配要有整體的規劃。前面我們已經設計了多個業務功能和安全區域，按照每個業務區域，根據使用情況設定VLAN ID號使用范圍，并且在每個業務區域預留VLAN ID以便于日后網絡的擴展。VLAN的分配和IP地址分配通常是同時進行的，兩者相互關聯和影響，因此要同時整體考慮。

4.考慮SDN和VxLAN。對于SDN等新技術，數據中心網絡有了VxLAN的使用場景。以本人設計的某機房為例，涉及SDN業務屬性的，需要對應VLAN分配VxLAN，非SDN業務的則不需要。VLAN網絡是底層邏輯層面的網絡，VxLAN網絡是上層邏輯層面的網絡，根據VxLAN ID與VLAN ID的關聯，在分配的時候特別做關聯的設計。

（六）網絡安全策略設計

數據中心的網絡安全，通常按照設計要求的等級保護標準進行規劃和建設，不僅有技術類安全要求也有管理制度類安全要求，技術類主要是網絡安全和主機安全，以本人設計的某機房為例，通過區域劃分、邊界防護、訪問控制、安全審計、入侵防護、病毒防護、身份鑒別等多重技術手段，綜合實現了整體的網絡安全保障。

六、結束語

數據中心機房的網絡規劃設計，是一個全方位多維度地從設計到實施的整體過程，既不能因循守舊也不能天馬行空，要遵循行業和技術的最佳實踐經驗，在實際落地的過程中做到有理有據和靈活變通。網絡規劃設計是網絡實施的理論依據，只有打好了這個基礎，才能有效指導后續的網絡工程實施，起到理論指導實踐的作用。同時，在實際的網絡工程實施過程中，通過實踐發現網絡規劃設計的不足之處后，及時調整和完善，不斷的打磨網絡規劃設計，做到精益求精，讓實踐反過來作用于理論，從而形成理論和實踐相互影響的全閉環過程。

作者單位：黃毅? ? 華迪計算機集團有限公司

參? 考? 文? 獻

[1]孫長青.數據中心國標A級與Uptime TierIV等級的級別對比[J].潔凈與空調技術，2019（03）：58-60+63.

[2]鐘鳴，辛杰廷.基于數據中心的大型網絡規劃設計[J].大眾科技，2020，22（12）：10-13.

[3]鞠德鵬，薄艷.網絡機房機線標準[J].中國新通信，2013，15（05）：44-45.

[4]李岳夢，田盛泰，李旭光，等.核心網機房規劃標準化研究[J].電信工程技術與標準化，2013，26（03）：38-42.

[5]蔣煒，錢聲攀，邱奔.數據中心網絡拓撲結構設計策略研究[J].中國電信業，2021（S1）：73-78.

[6]鄧世昆. 計算機網絡[M].云南大學出版社：， 201502.330.