超融合架構技術在高校數據中心建設中的應用實踐

都業濤

摘要：信息化的發展推動了高校數據中心建設，數據中心建設現已成為高校信息化發展的重點，從最初的多個獨立的物理服務器分別承載各自的應用系統，逐步向以軟件定義，多個物理服務器組成的一個或多個集群來承載所有的應用系統的虛擬化平臺架構方向發展。首先了解超融合的技術及優點。其次以某高校數據中心為例，運用超融合技術架構對高校數據中心進行改造。實施結果證實，超融合虛擬化平臺具有性能提升、降低成本、操作簡便、方便擴容等優點。超融合虛擬化平臺可以完善高校數據中心架構，滿足高校各業務系統運維需求，為今后高校建設、改造數據中心積累經驗。

關鍵詞：超融合；高校數據中心；虛擬化

一、前言

近年，依據我國“十三五”，特別是“十四五”信息化發展規劃，全國各高校建設數字智慧校園已經到了深度融合期。為落實上級部門針對高校內部全面實現教學服務的“一網、一門、一戶”的原則，提高為教學服務意識，構建方便快捷、優質高效的服務體系。數據中心已成為高校建設數字智慧校園不可或缺的組成部分，其使為高校教學及科研，師生人員管理及生活的服務的各類相關信息系統集中管理和運維，使各類信息系統不再淪為信息孤島。

傳統的數據中心主要以物理服務器，交換機，路由器，網絡安全等設備組成。幾乎每個單位或部門都有一套獨立的網絡架構。各信息系統為了實現其所需的功能，以黑龍江科技大學財務系統為例，配備2個主服務器，1個數據存儲服務器，1個本地容災服務器（分別是兩家不同的服務器供應商），3個專用交換機，2個專用邊界防護設備，占用了兩個半的2.2米機柜空間。隨著信息化的發展，業務及數據量激增，后期系統的擴容和升級可能導致還需更多的使用空間。系統的定期維護也需要相應設備的廠家工程師相互配合來完成。單從這方面來看，傳統的架構方式物力及人工成本較高，且時效性較低。以目前的超融合技術發展來看，高校數據中心基本架構的改革可能成為一種必然的趨勢。

二、超融合技術特點

超融合的架構是指使用多臺物理服務器和交換機組成一個集群或多個集群，形成一套單元設備，并具備計算、網絡、存儲和服務器虛擬化功能，將運算和存儲單元合二為一。超融合架構是通過虛擬化平臺軟件來合理硬件資源的，運算資源和儲存資源都是通過虛擬機來合理調配使用，是一種以虛擬機為核心的虛擬化應用。減少傳統數據中心的硬件設備，有效節省投資成本，縮短應用上線時間。

（一）多副本技術

多副本，是指將數據保存多份的一種冗余技術，超融合平臺的副本復制模塊來保證副本的一致性和副本之間的同步。底層管理的副本對上層服務是透明的，上層不感知副本的存在。副本所存放的位置必須滿足主機互斥原則，即不可能出現兩個副本同時存在同一臺主機上的現象。以兩副本為例，若寫入一段數據，該數據依次經過條帶化和分片之后，會再經過副本復制模塊，分別寫入到不同的主機中。在無故障的情況下，為保證副本數據的一致性，兩個數據副本必須都寫入完成后，這段數據才算寫入成功。若讀取一段數據，會選擇其中任意一個副本進行讀取。在沒有網絡中斷，硬盤損壞掉線等異常狀態下，文件的副本數據是始終保持一致的。

（二）分布式存儲

分布式存儲[1]是一種數據存儲技術，一般使用常規x86服務器，通過軟件技術將常規x86服務器的存儲單元構成一個虛擬的存儲單元，利用可擴展的架構，一方面可以分擔數據存取的讀寫壓力，提高性能，另一方面利用軟件的定位信息，可以提供橫向擴展的“scale-out”的擴容能力。

（三）數據多副本保護

當硬件層面發生故障時（硬盤損壞，存儲交換機/存儲網卡故障等），導致該故障主機上的數據丟失或者不能被訪問，影響業務運行；超融合平臺提供數據多副本保護機制，確保業務數據在存儲池中存有多份，并且互斥地分布在不同的物理主機的不同磁盤上；因此，此時用戶數據在其他主機上依然有完好的副本，可以保證數據不會發生丟失，業務可以正常運行。

（四）高可靠性

當外部環境故障（比如主機網線斷了，所在存儲不能訪問等）導致業務中斷時，超融合平臺提供了成熟的HA機制（HA是Highly Available縮寫，是雙機集群系統簡稱）[2]，將發生的故障主機的業務在資源充沛的非故障主機上自動重啟，即可實現業務的連續運行或短暫中斷。在超融合平臺集群中，對啟用了HA功能的虛擬機所在節點進行心跳檢測，每隔幾秒鐘檢測一次虛擬機狀態，一旦發現虛擬機出現故障，并且故障持續時間達到用戶預設的時長時，將把該虛擬機上的所有進程轉移到其他虛擬機節點上運行，從而為客戶提供不間斷的服務。一旦虛擬機宕機， HA能夠將宕機時間縮短至幾秒鐘。而且能夠將系統恢復到宕機以前的狀態，從而保證虛擬機機的穩定運行。在HA的保護下，各個信息系統再也不用因為硬件故障或日常性的維護而中斷運行。

超融合平臺網絡層采用管理面、控制面、數據轉發面相互獨立的架構，各層面通過標準化和解耦的接口進行通信。若某個子模塊發生故障，只影響這個模塊內部，不會導致整個網絡平臺出現故障。

管理面采用集中式控制方案，通過集群模塊選舉出管理面主控節點，使用集群文件系統將數據分布式地存儲在每個網絡節點中，若控制節點發生故障，超融合平臺會自動選出新的主控節點，新的主控節點通過集群文件系統獲取集群網絡配置數據，保障管理面的高可靠。

控制面與管理面一樣采用集中式控制方案，復用集群模塊推選主控，主控節點會拉起中央控制器；通過各個計算和網絡節點的網絡代理模塊主動上報機制，中央控制器恢復對當前每個計算和網絡節點的實時狀態掌握，保障控制面的高可靠。

數據轉發面運行在應用層，可保證轉發面出現異常時，不會導致內核宕機，并通過重啟服務方式快速恢復轉發面，大大減少轉發面對平臺本身可靠性的影響;數據轉發面支持單主機內主備切換，備進程包含數據轉發面的所有配置信息，可以在主進程異常退出后，備進程立刻成為主進程，接管所有的網絡轉發業務，用戶業務不會中斷，保障數據轉發面單主機高可靠。

網絡層中虛擬路由器為集中式路由器，進行三層轉發的流量需要通過路由器進行轉發，當路由器所在節點出現故障或者路由器連接的業務網口無法通信時，會影響連接到該路由器的設備之間的通信。

超融合平臺網絡層提供路由器HA功能保障三層轉發網絡可靠性，通過網絡控制器實時監控集群中主機運行狀態和業務網口狀態，當發現主機故障或者業務網口無法通信時，中央控制器會計算受到影響的虛擬路由器，自動將這些路由器切換到其他正常工作的主機上，保證經過該路由器的流量可以正常轉發。

三、超融合架構技術在高校數據中心建設中的應用案例

（一）硬件設備

傳統存儲中主要為NAS[3]和SAN存儲[4]，分別有各自的應用場景。比如，NAS 有自己的文件系統，因此存儲設備端負載相對較重，一般 NAS 適合I/O請求次數較少，但是文件存取能力較高的場景。而SAN存儲，不管采用 iSCSI還是FC協議進行連接，在掛載 SAN存儲前，需要系統對其進行格式化安裝文件系統，即在SAN存儲端沒有文件系統，存儲設備的負載比較輕，相比而言，SAN存儲更加適合I/0請求次數較多、數據訪問小而頻繁的場景，數據庫場景為典型應用場景，傳統業務部署模式選擇服務器+外置FC存儲部署就是基于此原因。對于超融合分布式存儲而言，需滿足更多的場景需求，因為超融合所有的應用數據都是放于同一個存儲介質上，不論隨機I/0、順序I/0，或讀密集型、寫密集型應用。這種情況下，首先應該考慮選擇什么樣的存儲介質可以有效提高性價比。

機械硬盤（HDD，Hard Disk Drive）是計算機上使用堅硬的旋轉盤片為基礎的非易失性存儲器，它在平整的磁性表面存儲和檢索數字數據[5]。機械硬盤以價格低、容量大而著稱，但其性能卻比較低，尤其是隨機讀寫的性能通常只有幾百 IOPS。

固態硬盤（SSD，Soild State Disks）是一種主要以閃存（NAND Flash）作為永久性存儲器的計算機存儲設備，具有優異的 IOPS 和吞能力。雖然 SSD 性能高，但其價格高、容量小的問題也是當前階段其大規模推廣的主要障礙。雖然SSD價格近幾年下降很多，但是大容量的SSD價格仍然昂貴，相比HDD的10T的容量，每單位容量價格貴了10倍有余。使用全閃存存儲最大的問題就是成本過高。

因此為了實現存儲系統在性能、容量、成本三者之間達到最佳均衡，鑒于以上原則，超融合架構出于對當前階段的絕大部分場景如何達到最優性價比和性能的考慮，黑龍江科技大學數據中心的做法是使用混合硬盤配置方式，即使用固態硬盤SSD 作為I/0讀寫提速的緩存層，用于存放用戶業務經常被訪問的數據，而機械硬盤HDD則作為數據最終存放的位置。

（二）磁盤組

在混合硬盤配置前提下，基于性能最佳實踐，超融合分布式存儲會將緩存盤和數據盤以磁盤組的關系進行配對，磁盤組由1個SSD 帶 n個HDD組成 （n≤7）。單一主機內可以有多個磁盤組，每個磁盤組相互邏輯隔離，即每個磁盤組的 SSD僅為其磁盤組下的HDD提供緩存加速的能力。

磁盤組所帶來的好處之一是減少了 SSD 故障所影響的范圍。當某塊SSD發生故障后，故障影響的范圍會限制在該 SSD 所在的磁盤組內的磁盤，在進行數據修復時，也僅需修復其磁盤組內的HDD上的數據，無需整機進行修復。

黑龍江科技大學數據中心超融合平臺總體硬件設備主要分為服務器和交換機。服務器采用6臺Lenovo SR850，其中每臺服務器配置4塊600GB的SSD硬盤及10塊1.8TB的HDD硬盤。交換機采用2臺萬兆以太網交換機作為存儲交換機；2臺萬兆以太網交換機作為業務及數據通信交換機；2臺千兆以太網交換機作為管理交換機。以上是黑龍江科技大學數據中心超融合總體的硬件配置，分為超融合架構建設工程和擴容一期工程。擴容一期內容是分別為每個主機Node節點增加了6塊HDD硬盤，從采購到擴容完成歷時2個工作日。

（三）超融合網絡架構

超融合的網絡架構由管理網、業務網、數據通信網、存儲網四個網絡平面組成，每個網絡平面獨立部署。

管理網是指管理員接入管理網對超融合集群進行管理。管理網通過雙交換機聚合實現鏈路冗余，單個交換機或單條鏈路發生故障不會影響超融合管理模塊的穩定性。

業務網是指某個信息系統用于進行正常的業務訪問。業務網也可通過雙交換機端口聚合實現鏈路冗余，對業務出入口配置靜態綁定，并且可以配置多個業務出口供虛擬網絡中虛擬機選擇，保障業務網冗余高可靠。

數據通信網是指虛擬機之間的東西向流量，可實現業務之間的通信，組建私網保障數據安全。同管理網和業務網一樣，兩臺或以上數量的物理交換機通過端口聚合實現鏈路冗余。超融合虛擬交換機采用分布式部署方式，即集群所有主機上都設置一個虛擬交換機，若其中一臺主機掉線時，通過虛擬路由和虛擬機HA技術，其他主機會接管原本經過這臺掉線主機上虛擬交換機的流量。

存儲網是指執行需要經過網絡的IO動作，實現數據存儲功能。組建私網保障數據安全無需靜態綁定和交換機上鏈路聚合，超融合平臺從軟件層面實現了鏈路聚合功能，按照TCP連接實現私網鏈路的負載均衡，主機之間不同的TCP連接可以使用不同的物理鏈路。

綜上所述，超融合網絡架構實現了網絡鏈路的全冗余，任何一個網絡平面的故障都不會影響其余的網絡平面。

（四）超融合架構應用情況

超融合系統架構用于黑龍江科技大學數據中心建設完成后，超融合平臺位于校園網中，支持對外提供87.5TB硬盤及6*512GB內存容量，提供100多個虛擬機（均至少2副本保護）。如今，已平穩運行3年有余，為學校財務處、教務處、保衛處、學生處等單位提供優質服務。

四、結語

黑龍江科技大學利用了有限的資金初步完成了對數據中心架構的部分改造，雖然校內還有一些信息系統沒有納入超融合平臺，但是從已在超融合平臺的信息系統使用情況來看，已經取得了良好的效果，獲得各級使用單位及師生的一致肯定。自從使用了超融合架構，明顯節省了數據中心的寶貴空間，釋放機房維護人員的精力。相對于傳統的系統架構，超融合平臺架構在系統的擴展性，維護性，空間及硬件的利用率等方面有許多明顯的優勢。為了確保高校數據中心的穩定性、易用性、持續性、安全性，并降低維護成本，使用超融合架構技術是一個很不錯的選擇。為建設數字智慧校園，全面實現校園信息化，建設專業特色鮮明的高水平應用型大學提供有力保障。H

參考文獻

[1]張翅.高校實驗室云桌面數據存儲方案的探索與實踐[J].信息記錄材料 2022，23（07），177-179.

[2]趙烽帆.基于VMware ESX軟件的高可用性虛擬化服務器系統建設應用[J].震災防御技術，2014，9（03），540-549.

[3]付長冬.網絡存儲體系結構的發展和研究[J].小型微型計算機系統 2004，（04），485-489.

[4]付長冬.基于自主運算的自適應存儲區域網絡系統[J].軟件學報 2004，（07），1056-1063.

[5]孫瑞.固態硬盤與機械硬盤綜合比較探究[J].科技尚品，2016（01）：172-173.