超融合架構(gòu)私有云服務(wù)平臺的設(shè)計(jì)與實(shí)現(xiàn)

馬國勝 劉小艷 馬敏

摘要：在信息技術(shù)不斷發(fā)展的背景之下，如何解決傳統(tǒng)IT應(yīng)用模式下存在的問題，實(shí)現(xiàn)IT架構(gòu)的云化，提高資源利用效率和優(yōu)化管理被廣泛討論和實(shí)踐。超融合架構(gòu)能實(shí)現(xiàn)存儲、計(jì)算以及網(wǎng)絡(luò)等資源的集中統(tǒng)一調(diào)度和管理，能夠以云服務(wù)的形態(tài)，為各行各業(yè)提供靈活、敏捷的IT基礎(chǔ)服務(wù)。

關(guān)鍵詞：超融合;云服務(wù);虛擬化

中圖分類號：TP393? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）20-0275-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

近年來，傳統(tǒng)的“以計(jì)算為中心”的IT應(yīng)用模式向“以數(shù)據(jù)為中心”轉(zhuǎn)變過程中，對IT基礎(chǔ)資源和服務(wù)提出了越來越高的要求。超融合架構(gòu)作為一種實(shí)現(xiàn)云計(jì)算的手段，可以提供高性能、高可靠性、高安全性的云服務(wù)。本文基于超融合架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)的私有云服務(wù)平臺，在實(shí)際工作中產(chǎn)生了很好的應(yīng)用價(jià)值。

1 傳統(tǒng)模式下面臨的困局

筆者所在單位共使用10多臺物理服務(wù)器采用“一機(jī)一應(yīng)用”的傳統(tǒng)IT應(yīng)用模式部署了辦公自動(dòng)化、門戶網(wǎng)站、會計(jì)核算系統(tǒng)等應(yīng)用系統(tǒng)，這種模式下暴露很多突出的問題。

1）運(yùn)維管理有困難。IT技術(shù)人員面對的設(shè)備類型和型號比較多，無法實(shí)現(xiàn)統(tǒng)一運(yùn)維。設(shè)備和系統(tǒng)的部署使用時(shí)間較長，因?yàn)榧嫒菪缘纫蛩兀瑹o法遷移到新的服務(wù)器上，給IT人員在運(yùn)維工作上帶來壓力。

2）業(yè)務(wù)連續(xù)性無法保障。服務(wù)器和軟件出現(xiàn)故障，相應(yīng)的業(yè)務(wù)也將中斷。遇到硬件需要維護(hù)和升級、硬件出現(xiàn)故障等事件，業(yè)務(wù)系統(tǒng)沒有自動(dòng)切換方案，也影響到業(yè)務(wù)的連續(xù)性。

3）資源利用率不高。服務(wù)器硬件資源使用率較低，CPU、內(nèi)存和硬盤硬件資源很大一部分沒有發(fā)揮作用，不能靈活的被調(diào)度給其他業(yè)務(wù)系統(tǒng)使用，形成投資浪費(fèi)。

4）未來發(fā)展的彈性不夠。現(xiàn)有系統(tǒng)的軟硬件環(huán)境相對封閉，沒有擴(kuò)展性，只能單純的通過添置硬件的方式應(yīng)對未來業(yè)務(wù)系統(tǒng)升級、新建和部署的需求。

2 什么是超融合架構(gòu)

超融合架構(gòu)（Hyper-converged infrastructure，HCI）以軟件定義為核心理念，是資源池化、虛擬機(jī)、分布式存儲、軟件定義網(wǎng)絡(luò)等技術(shù)的集合，采用軟件定義資源靈活提供IT基礎(chǔ)服務(wù)。

2.1 服務(wù)器資源池化

將分散在物理節(jié)點(diǎn)的CPU、內(nèi)存、存儲、網(wǎng)絡(luò)等物理資源融合為邏輯資源，形成統(tǒng)一管理、調(diào)度和分配的計(jì)算資源池、存儲資源池、網(wǎng)絡(luò)資源池，并使用軟件定義方式創(chuàng)建云服務(wù)器部署應(yīng)用系統(tǒng)。

2.2 可視化統(tǒng)一管理

采用統(tǒng)一的圖形界面對虛擬資源池，底層硬件資源，虛擬實(shí)例后的云服務(wù)器進(jìn)行集中管理和運(yùn)維，使技術(shù)人員的運(yùn)維對象改變?yōu)閷?個(gè)平臺運(yùn)維，降低了IT運(yùn)維維度，實(shí)現(xiàn)極簡運(yùn)維。

2.3 全方位容災(zāi)機(jī)制

虛擬機(jī)熱遷移和熱備份機(jī)制，為應(yīng)用系統(tǒng)和數(shù)據(jù)提供自下而上、全方位的容災(zāi)備份解決方案，能實(shí)現(xiàn)宕機(jī)恢復(fù)和數(shù)據(jù)同步自動(dòng)化，保證數(shù)據(jù)的安全及業(yè)務(wù)的連續(xù)性，使業(yè)務(wù)系統(tǒng)的RTO/RPO達(dá)到秒級。

3 私有云服務(wù)平臺設(shè)計(jì)和實(shí)現(xiàn)方案

本文作者所在單位運(yùn)用超融合架構(gòu)建成云服務(wù)器平臺（以下簡稱“Server Cloud”），在設(shè)計(jì)時(shí)按“避免單點(diǎn)故障”的原則配置軟硬件，兼顧了投入產(chǎn)出比和業(yè)務(wù)增長規(guī)模等因素。

3.1 物理架構(gòu)

Server Cloud平臺物理架構(gòu)如圖1所示，平臺使用3臺高性能的X86服務(wù)器組成服務(wù)器集群，使用2臺10GE速率的網(wǎng)絡(luò)交換機(jī)作為存儲網(wǎng)絡(luò)交換機(jī)用于構(gòu)建分布式存儲資源池，使用3臺支持10GE速率上聯(lián)的網(wǎng)絡(luò)交換機(jī)分別用于服務(wù)器集群間通信（VxLAN）、云服務(wù)器實(shí)例的業(yè)務(wù)數(shù)據(jù)傳輸。為保障平臺的業(yè)務(wù)連續(xù)性，提高業(yè)絡(luò)的可管理性和高可靠性，業(yè)務(wù)和管理網(wǎng)絡(luò)交換機(jī)、匯聚層交換機(jī)分別采用網(wǎng)絡(luò)虛擬化技術(shù)部署。服務(wù)器集群的物理節(jié)點(diǎn)使用鏈路聚合方式，經(jīng)業(yè)務(wù)交換機(jī)和匯聚層交換機(jī)接入現(xiàn)有生產(chǎn)網(wǎng)絡(luò)。

3.2 邏輯架構(gòu)

Server Cloud平臺邏輯架構(gòu)如圖2所示，分為物理層、超融合架構(gòu)層、業(yè)務(wù)應(yīng)用層、管理層4個(gè)層，并提供API接口用于系統(tǒng)集成。

1）物理層提供平臺運(yùn)行所需的CPU、內(nèi)存、存儲和網(wǎng)絡(luò)等物理資源，以服務(wù)器集群方式和高性能網(wǎng)絡(luò)通信向上一層提供支撐。

2）超融合架構(gòu)層使用軟件定義資源和虛擬機(jī)技術(shù)將物理層的資源池化，物理層的CPU和內(nèi)存資源組成計(jì)算資源池，磁盤和SSD盤等存儲設(shè)備以分布式存儲方式組成存儲資源池，業(yè)務(wù)、管理、存儲和集群通信網(wǎng)絡(luò)統(tǒng)一起來構(gòu)成網(wǎng)絡(luò)資源池。Server Cloud平臺計(jì)算資源池具備96個(gè)2.1GHz性能vCPU（虛擬CPU）和768GB內(nèi)存容量的資源，存儲資源池具備2TB高速數(shù)據(jù)緩存存儲空間和72TB永久數(shù)據(jù)存儲空間的資源。網(wǎng)絡(luò)資源池中業(yè)務(wù)網(wǎng)絡(luò)負(fù)責(zé)VM虛擬機(jī)與物理網(wǎng)絡(luò)之間通信的“南北向流量”，管理網(wǎng)絡(luò)負(fù)責(zé)傳輸管理層和VM虛擬機(jī)熱遷移等數(shù)據(jù)，存儲網(wǎng)絡(luò)負(fù)責(zé)虛擬存儲的主機(jī)間存儲同步數(shù)據(jù)傳輸，集群通信網(wǎng)絡(luò)負(fù)責(zé)集群內(nèi)主機(jī)之間通信的“東西向流量”。

3）業(yè)務(wù)應(yīng)用層在超融合架構(gòu)層支持下使用軟件定義各類資源集合創(chuàng)建VM虛擬機(jī)，以云服務(wù)器形態(tài)為各類應(yīng)用系統(tǒng)提供服務(wù)，每臺VM虛擬機(jī)就是一臺云服務(wù)器的實(shí)例。

4）管理層是提供統(tǒng)一的管理平臺，對資源進(jìn)行全面管理、調(diào)度，可以針對物理主機(jī)、云服務(wù)器和業(yè)務(wù)系統(tǒng)進(jìn)行資源負(fù)載、虛擬資源配置和調(diào)度、網(wǎng)絡(luò)軟件定義、故障排查、數(shù)據(jù)備份和動(dòng)態(tài)遷移進(jìn)行管理。

5）API接口提供符合業(yè)界規(guī)范的開放API接口，第三方云管理平臺可以調(diào)用API接口對ServerCloud平臺中的所有資源的進(jìn)行管理，實(shí)現(xiàn)業(yè)務(wù)流程化管理。

3.3 存儲資源池的實(shí)現(xiàn)

如圖3所示為ServerCloud平臺存儲池具體實(shí)現(xiàn)方式，平臺中每臺主機(jī)配備了6*4T的普通硬盤和2*480GB的SSD存儲盤，每臺云服務(wù)器的以雙虛擬機(jī)形式對存儲資源進(jìn)行讀取、訪問。一臺云服務(wù)器產(chǎn)生的數(shù)據(jù)和其容量本身的數(shù)據(jù)經(jīng)條帶化、分片、復(fù)制后產(chǎn)生2份的一樣的數(shù)據(jù)，然后分散存儲在3臺主機(jī)上，其中1份數(shù)據(jù)會聚合在主機(jī)1上，稱之為聚合副本，另外1個(gè)份數(shù)據(jù)會分散在其他2臺主機(jī)上，稱之為散列副本。

虛擬機(jī)優(yōu)先運(yùn)行在聚合副本所在的主機(jī)上，對數(shù)據(jù)進(jìn)行訪問，直接從聚合副本中讀取，避免跨存儲網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)讀取，以此可提高數(shù)據(jù)讀取的吞吐性能，突破網(wǎng)絡(luò)帶寬的瓶頸。為優(yōu)化并發(fā)讀寫性能，平臺上2種數(shù)據(jù)副本，經(jīng)帶條化、分片后落入某主機(jī)存儲時(shí)，會分組、分片優(yōu)先跨磁組分布。每臺主機(jī)中的磁盤組配備SSD為組中的硬盤提供緩存加速能力，1組數(shù)據(jù)會盡可能跨越1組中多個(gè)磁盤存儲，以保證并發(fā)讀寫性能。虛擬機(jī)對存儲訪問時(shí)，同時(shí)對多個(gè)磁盤進(jìn)行讀操作，經(jīng)SSD緩存后組成帶組數(shù)據(jù)。

3.4 云服務(wù)器的熱遷移

如圖4所示為Server Cloud平臺中云服務(wù)器熱遷移實(shí)現(xiàn)示意圖。在平臺內(nèi)的VMM設(shè)置VM狀態(tài)、應(yīng)用活動(dòng)和網(wǎng)絡(luò)活動(dòng)等檢測時(shí)間為10s，實(shí)現(xiàn)對每臺云服務(wù)器的狀態(tài)檢測。當(dāng)平臺上的管理層探測到主機(jī)1故障、云服務(wù)器1宕機(jī)和其上的應(yīng)用停止等造成不能提供應(yīng)用服務(wù)，且持續(xù)10s以上，平臺會從主機(jī)2和主機(jī)3上組織數(shù)據(jù)，建立起一臺與云服務(wù)器1相同的云服務(wù)器2為用戶提供服務(wù)。在故障恢復(fù)后，云服務(wù)器1作為云服務(wù)器2的備機(jī)運(yùn)行，隨時(shí)準(zhǔn)備為下一次故障做準(zhǔn)備。

4 平臺的應(yīng)用價(jià)值

ServerCloud平臺上線運(yùn)行后，實(shí)現(xiàn)了一個(gè)易于部署管理和經(jīng)濟(jì)高效運(yùn)行的IT基礎(chǔ)服務(wù)平臺，應(yīng)用云服務(wù)平臺產(chǎn)生很大的應(yīng)用價(jià)值。

4.1 實(shí)現(xiàn)IT投入的高收益

在平臺上精準(zhǔn)分配資源實(shí)例化云服務(wù)器運(yùn)行現(xiàn)有業(yè)務(wù)系統(tǒng)，服務(wù)器只需要3臺，IT能耗從10-20KW下降至3-5KW，在提高IT資源利用率的同時(shí)，實(shí)現(xiàn)綠色I(xiàn)T的節(jié)能目標(biāo)。通過實(shí)測數(shù)據(jù)和對未來發(fā)展的評估，平臺還能為20-30套業(yè)務(wù)系統(tǒng)提供云服務(wù)器支持，以極高的性價(jià)比，為未來業(yè)務(wù)發(fā)展預(yù)留了空間。

4.2 構(gòu)建敏捷信息服務(wù)體系

在平臺上使用模板克隆虛擬機(jī)或者容器實(shí)例化一臺云服務(wù)器，部署新應(yīng)用僅需要0.5小時(shí)-1小時(shí)，相比傳統(tǒng)方式需要花費(fèi)5-10個(gè)工作日，平臺為實(shí)現(xiàn)敏捷IT服務(wù)提供了基礎(chǔ)平臺。實(shí)踐工作中， 筆者所在單位通過平臺創(chuàng)建4臺linux和windows云服務(wù)器部署新應(yīng)用服務(wù)器，僅用0.5個(gè)工作日完成上線工作。

4.3 化解業(yè)務(wù)工作管理困局

平臺以極簡模式提供一鍵式的自動(dòng)化運(yùn)維手段，實(shí)現(xiàn)業(yè)務(wù)的故障排除和資源優(yōu)化自動(dòng)化，大幅提升了運(yùn)維效率，緩解了IT技術(shù)人員面臨的諸多壓力，使IT技術(shù)人員有精力專注于業(yè)務(wù)層的問題。在實(shí)際工作中，筆者所在單位原來需要配備4名應(yīng)用系統(tǒng)管理員減少為1名IT人員負(fù)責(zé)系統(tǒng)管理。

4.4 完成業(yè)務(wù)連續(xù)性管理

平臺硬件采用冗余設(shè)計(jì)，服務(wù)器采用高可用性集群， 虛擬化存儲采用2副本方式保存數(shù)據(jù)，構(gòu)建了無單點(diǎn)故障、可快速切換的高可用體系， 能在用戶無感知下連續(xù)提供服務(wù)。通過采取斷開物理節(jié)點(diǎn)網(wǎng)絡(luò)連接和抽取單個(gè)硬盤模擬故障，故障主機(jī)上的云服務(wù)器自動(dòng)切換到健康主機(jī)運(yùn)行的速度分別<1秒和<1分鐘。

參考文獻(xiàn)：

[1] 左勤剛. 超融合技術(shù)在基層央行“云”化工程的研究和實(shí)踐[J]. 金融科技時(shí)代， 2018（6）： 47-48.

[2] 席科文. 超融合架構(gòu)在運(yùn)營商IT支撐系統(tǒng)建設(shè)中的應(yīng)用[J]. 通信世界， 2017（3）： 53-54.

[3] 張光華. 超融合系統(tǒng)架構(gòu)在數(shù)據(jù)中心的應(yīng)用研究[J]. 通訊世界， 2017（9）： 21-23.

[4] 尹勁梅. 基于超融合架構(gòu)的機(jī)房建設(shè)淺析[J]. 電腦知識與技術(shù)， 2016（30）： 9-10.

[5] 許玉煥. 基于VMware 的高校云計(jì)算數(shù)據(jù)中心設(shè)計(jì)與實(shí)現(xiàn)[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2016（8）： 84-85.

[6] 解培. 超融合基礎(chǔ)架構(gòu)在商業(yè)銀行私有云中的應(yīng)用[J]. 金融電子化， 2015（12）： 75-77.

【通聯(lián)編輯：謝媛媛】