上海海事大學向軟件定義的數據中心轉型

文/王河堂 王玉平 戴春葉

隨著IT技術的發展，尤其是虛擬化和云計算技術的日漸成熟與廣泛應用，傳統的數據中心因為IT資源置備慢、資源利用率低下、電能消耗過高、物理空間有限、服務質量低下等問題，而無法適應當今綠色IT的節能減排、低碳、智能先進的管理理念，也無法滿足IT資源高效交付、運維成本和投資成本節儉等新型數據中心要求 。

國內高校已經開始從傳統物理數據中心向虛擬化數據中心過渡，進而向軟件定義的數據中心過渡，這是數據中心發展的一種趨勢。據不完全統計，大部分高校已經實現了服務器虛擬化，部分高校已經實現存儲虛擬化，但是網絡虛擬化還在摸索和測試中。

上海海事大學于2017年7月在已有的服務器、存儲虛擬化、VRA云管平臺的基礎上，對數據中心的網絡進行了改造，利用NSX技術實現了網絡虛擬化，助力數據中心從傳統的數據中心徹底轉型為軟件定義的數據中心。本文總結了我校數據中心網絡改造的過程和經驗，供大家參考。

數據中心及其網絡現狀

1. 數據中心現狀

上海海事大學從2009年開始自主建設服務器虛擬化，截至目前，我們利用業內較成熟的虛擬化產品，已經實現了計算虛擬化、存儲虛擬化，并且利用vRealize Automaition 平臺實現了IT資源的自動化部署與交付，利用vRealize Operations實現了智能化運維。數據中心正朝著軟件定義的數據中心轉型，這其中網絡虛擬化是關鍵環節。勢必要求傳統的數據中心網絡向軟件定義的網絡轉變。

2. 數據中心網絡現狀

數據中心已經基本實現軟件定義數據中心功能，但數據中心網絡還是處于原來的傳統網絡模式。從網絡拓撲結構而言，數據中心起到了其所在樓宇的校園網匯聚的作用。其內部網絡有三部分組成：一部分是托管服務器網絡，主要用于各二級學院和二級部門的服務器；一部分是核心業務網絡，主要用于信息化辦公室為學校建設的核心業務物理服務器；最后一部分是虛擬機網絡，主要用于信息化辦公室為學校建設的虛擬機網絡。其中虛擬機網絡可看做是校園網的一個VLAN，與校園網絡交織在一起，通過同一個核心交換機進行數據交換（如圖1）。

這種網絡結構給網絡管理帶來了一定復雜度。數據中心的物理服務器與虛擬機是由專門的數據中心管理員來管理，而數據中心的網絡則是由校園網絡管理員負責。數據中心對網絡的需求，通常是在之前事先劃定給數據中心服務器專用的網段之內的，預先配置好校園網核心交換機及服務器接入交換機，日常使用通常只是在既定的規劃范圍內正常使用，例如每次新增服務器，僅可使用既定的網絡分段，在已有的VLAN內確定一個IP。但是在數據中心網絡日常的使用中，必然會存在因業務而發生的網絡變更，先前規劃的網絡已經不能滿足當前的需求。例如新增網段，需征求校園網絡管理員意見，等待網絡管理員調整交換機配置后，數據中心管理員方可測試使用。在日常的使用過程中，如果服務器網絡出現問題時，須由網絡管理員配合排障。

數據中心傳統網絡的弊端

隨著數據中心虛擬化程度越來越高，業務需求越來越多，安全性、靈活性及交付的時效性要求越來越高，傳統網絡已無法適應新的發展需求，其弊端也慢慢顯現。

圖1 原有數據中心網絡拓撲

1. 傳統網絡架構之管理弊端

(1) 以硬件為中心：特定于供應商的管理，存在多種配置命令；

(2) 網絡架構復雜，維護工作量大：每個接入交換機都需要做相關配置，完全手工配置，難以保證網絡配置的一致性，配置復雜且易出錯；

(3) 對新業務部署上線支持緩慢。網絡追趕業務，而無法與業務同步；

(4) 虛擬網絡與物理網絡協調困難：服務器管理員無法管理網絡，網絡管理員也無法管理虛擬機的網絡，出現網絡故障需要協調網絡管理員解決，排障效率低下；

(5) 網絡調整不夠靈活：涉及VLAN，IP等新增或者調整時，需要網絡管理員確認并調整。

(6) 網絡管理界面劃分不清：原有架構下，服務器網絡特別是虛擬機網絡與校園網絡交織在一起。虛擬機的網絡可以在虛擬網卡中做一定的限制，故對于網絡管理員而言，虛擬機的網絡應該歸虛擬機管理員來負責。而對于虛擬機管理員而言，網絡的問題應該由網絡管理員來負責，管理界限模棱兩可。

2. 校園網與數據中心網絡相互影響

目前校園網與數據中心網絡是二層互聯，在網絡安全問題上相互影響，如廣播風暴，環路等。

3. 內部安全控制不足

傳統的數據中心網絡安全防護一般部署在數據中心的邊界防火墻設備，數據中心內部缺少東西向的安全控制（如圖2）。黑客一旦突破了邊界防火墻，就可以在數據中心內部暢通無阻，造成數據非常容易泄露。如果通過部署傳統物理防護墻的形式，實現數據中心內部成百臺虛擬機的東西向流向的安全，勢必會成本很高，同時運維管理十分復雜。

數據中心網絡改造規劃

圖2 數據中心內部安全

鑒于傳統網絡的弊端，為了適應新型數據中心的要求及業務對網絡的需求，我們對數據中心的網絡進行了自主升級改造。本次改造通過實現數據中心網絡可獨立規劃、按需分配、靈活調整、減少耦合，最終實現數據中心網絡可在一定的范圍內獨立規劃、設計、可根據需要自主分配網絡、因業務需求可實現網絡靈活調整、減少與校園網絡之間的相互關聯性、管理界限分明、排障簡單的目標，徹底建成軟件定義的數據中心。

1. 整體改造規劃

根據數據中心的網絡情況，我們制定了不同的改造策略。從長遠角度看，我們主要是針對虛擬機網絡進行虛擬化改造，其他網絡采用逐步過渡到虛擬化網絡的方法。具體如下：

(1) 托管物理服務器網絡：托管服務器是歷史遺留問題，目前數據中心已經不再接受托管，對于已有的這部分服務器，網絡保持現狀，物理服務器不再進行升級、更新等業務，采用逐步淘汰的原則。

(2) 服務器等硬件管理網絡：使用重新規劃的新網絡地址，單獨劃分一個VLAN用于物理硬件的管理IP，其中包括了NAS，iSCSI等地址。

(3) 虛擬機網絡：對于虛擬機的網絡主要涉及兩類地址，一類是教科網地址，一類是內網地址。教科網：如郵件、DNS等部分虛擬機使用了教科網，而且后續仍然存在業務需要使用教科網地址，故這部分網絡保持原有狀態。設置特定集群，單獨放置使用教科網的虛擬機。仍然是橋接方式。內部網絡：使用新規劃網絡，進行虛擬化網絡改造，實現NSX網絡虛擬化。

2. 網絡虛擬化方案設計要點

(1) 數據中心使用單獨一個B類地址，實現虛擬機網絡與校園網相對獨立；

圖3 數據中心虛擬化網絡拓撲

(2) 新增兩臺數據中心核心交換機，與校園網三層互聯，避免虛擬機網絡環路對校園網產生影響；

(3) 管理網絡與生產網絡分隔；

(4) 不同的應用使用不同的地址段；

(5) 虛擬機增加南北向及東西向安全控制；

3. 新建網絡虛擬化結構

整個數據中心實現網絡虛擬化后，網絡劃分為三部分（如圖3）：

(1) 物理設備網絡：劃分兩個C類地址，直接用于物理設備如物理服務器、存儲、交換機等以及NAS、iSCSI的IP地址；

(2) Web生產網絡：通過NSX，劃分微分段，單獨用于Web服務器網絡，實現與一般生產的網絡隔離，此部分的服務器網絡防火墻有嚴格限制，默認只開放80及443端口；

(3) 一般生產網絡：通過NSX，劃分微分段，用于一般的非Web服務器。

數據中心網絡虛擬化改造實施

無論是傳統的網絡結構還是利用Overlay技術的虛擬化網絡結構，作為傳輸的底層設備，物理交換機是必不可少的。此次數據中心網絡虛擬化改造，首先升級了底層網絡交換機。新增加兩臺核心交換機，清空了底層接入網絡交換機的配置，并把MTU值改為大于1600。新建NSX虛擬化網絡，部署虛擬化管理平臺，控制器及數據平面的各個插件。各集群安裝配置VXLAN、分布式邏輯交換機、邏輯路由器、分布式防火墻及Edge防火墻。

NSX網絡虛擬化架構建設完成之后，兩種網絡并存，一種是原有的傳統VLAN、一種是大二層VXLAN。對于新增的虛擬機，使用全新的VXLAN網絡。對于已經存在的虛擬機，通過設置物理主機同時連接兩種網絡，更改虛擬機IP地址，同時切換到VXLAN網絡，逐步實現生產虛擬機從VLAN轉化到VXLAN，最終完全實現NSX網絡虛擬化。

NSX網絡虛擬化改造后的優勢

數據中心實現NSX網絡虛擬化之后，網絡的架構、使用便捷性、安全性、管理便利性等都得到了極大的提升。

1. 數據中心的網絡實現軟件定義，不再以硬件為中心。

2. 網絡結構簡化，與校園網之間的安全可控，有效防止回路，便于管理。

改造后虛擬化的物理網絡與校園網三層互聯，屏蔽二層故障的相互影響，安全可控；另外，網絡虛擬化后無需關心底層物理網絡，通過大二層技術，網絡與底層網絡設備的關系不再緊密，滿足IP可達即可，只需要將底層物理交換機的MTU值設為1600以上即可，無需再使用多種命令，做復雜的端口或者路由配置。同時允許底層網絡設備異構。

3. 新增網絡變得簡單靈活，虛擬機管理員在統一的管理界面，增加虛擬交換機及虛擬路由器即可快捷完成，不再需要校園網管理員在物理交換機上進行繁雜的手工配置。

4. 虛擬機的網絡安全設置可由虛擬機管理員根據需要對虛擬機配置，無需網絡管理員參與。

圖4 虛機安全策略

5. 責權分明，校園網絡與數據中心網絡管理邊界清晰，故障排查簡單。

6. NSX提升數據中心網絡安全

(1) 傳統的數據中心的網絡安全，對于東西向的安全限制有限，實施NSX后，南北向及東西向安全限制，都可以做到較好的控制；

(2) 不同的網絡之間可以完全隔離，例如我們的Web網站服務與一般生產服務隔離；

(3) 可設置不同的安全組如SSH安全組，RDP安全組等，實現依據安全策略通訊。

(4) 安全策略跟隨虛擬機。

安全策略支持 IP、 Port范圍、安全組和vCenter管理對象。安全策略自動跟隨虛擬機，安全粒度到虛擬機（如圖4）。例如學校的MAIL服務器僅允許開放HTTP、HTTPS、IMAP_SSL、POP3_SSL，SMTP_SSL等協議，無論該郵件服務器遷移到哪臺主機，策略始終有效。

(5) 對于安全的控制，通過vCenter軟件平臺即可設置，無需對硬件配置進行更改。

7. NSX助力云計算自動化和自助式IT，IT資源需求服務實現無人干預。

NSX與vRealize Automation云計算自動化平臺結合，實現包含網絡和安全策略的按需應用交付、自動化部署網絡安全微分段。在這兩大平臺的保障下，學校的網站服務器實現自助式申請、自動化部署交付，無人干預。

在信息化的時代，數據及服務呈現爆炸式增長，對于數據中心提出更高的要求，需要更大的靈活性，敏捷性和更好的安全性。軟件定義的數據中心是當前應對信息高速發展的最好方案。軟件定義的數據中心設施內部運作將不再專注于硬件和物理設備，而會更多地側重于軟件。網絡虛擬化成為完全實現軟件定義數據中心的必經之路。

云不是一個地方，而是一種方法，在那里一切都是軟件定義的，基礎設施就是代碼。