超融合架構(gòu)的大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)建設(shè)研究

羅劍

摘 要：為了更好地開展大數(shù)據(jù)實(shí)驗(yàn)教學(xué)與研究，提高大數(shù)據(jù)實(shí)驗(yàn)課程質(zhì)量，克服傳統(tǒng)大數(shù)據(jù)實(shí)驗(yàn)建設(shè)弊端，基于KVM技術(shù)與超融合架構(gòu)設(shè)計(jì)一種新的大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)建設(shè)方案。該方案將計(jì)算和存儲(chǔ)融合在X86單一物理節(jié)點(diǎn)中，分布式存儲(chǔ)成本低，提高了IO性能，具有開放兼容、易于擴(kuò)展，方便維護(hù)、高可用等特點(diǎn)。該大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)能夠簡化大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)環(huán)境搭建，提高教學(xué)實(shí)驗(yàn)效率。基于該平臺(tái)可以定制各種實(shí)驗(yàn)環(huán)境，通過彈性分配計(jì)算資源，保障實(shí)驗(yàn)教學(xué)環(huán)境穩(wěn)定運(yùn)行。

關(guān)鍵詞：大數(shù)據(jù)實(shí)驗(yàn);KVM技術(shù);超融合架構(gòu);實(shí)驗(yàn)平臺(tái);虛擬化技術(shù)

DOI：10. 11907/rjdk. 201606 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP319文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2020）008-0151-05

Abstract： In order to better carry out the teaching and scientific research of big data experiment， improve the quality of big data experiment course， improve the disadvantages of the traditional big data experiment construction， based on KVM technology and Hyper-converged infrastructure， a new big data virtual simulation experimental platform construction scheme is designed and it integrates computing and storage into the X86 single physical node， distributed storage costs are low. The scheme improves IO performance， has open compatibility， and it is easy to expand， maintaine and of high availability and so on. By using this big data virtual simulation experimental platform， it can simplify the construction of big data experiment platform environment and improve the efficiency of teaching experiment， and under this platform， various experimental environments can be customized， and the scientific resources can be allocated flexibly to ensure the stable operation of the teaching environment.

Key Words： big data experiments; KVM technology; HCI; experimental platforms; virtualization technologies

0 引言

伴隨著新一輪科技革命與產(chǎn)業(yè)變革，人才培養(yǎng)模式也實(shí)現(xiàn)了轉(zhuǎn)型升級。2018年，教育部首批認(rèn)定了612個(gè)新工科研究與實(shí)踐項(xiàng)目，積極探索“新工科”建設(shè)新理念，組建了包括大數(shù)據(jù)在內(nèi)的項(xiàng)目群，深入推進(jìn)新工科建設(shè)[1]。由于大數(shù)據(jù)技術(shù)具有多學(xué)科交融性[2-3]，很多專業(yè)都開設(shè)了大數(shù)據(jù)相關(guān)課程，或?qū)σ延袑I(yè)課程體系進(jìn)行升級[4]，各高校在積極推進(jìn)大數(shù)據(jù)專業(yè)建設(shè)的同時(shí)，也逐步開展大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)，以滿足大數(shù)據(jù)實(shí)踐型、復(fù)合型人才需求[5]。

大數(shù)據(jù)實(shí)驗(yàn)教學(xué)與研究對計(jì)算機(jī)硬件、軟件、數(shù)據(jù)等都有很高要求，傳統(tǒng)的單一偽分布式、多機(jī)集群模式等實(shí)驗(yàn)室已無法滿足大數(shù)據(jù)新型技術(shù)應(yīng)用要求，有高校通過使用Docker容器技術(shù)減少實(shí)驗(yàn)成本，提高教學(xué)實(shí)驗(yàn)便利性[6-7]。Docker技術(shù)是基于容器的虛擬化技術(shù)，其嚴(yán)格意義上并不算是虛擬化技術(shù)，只是進(jìn)程隔離和資源限制，它雖然具有輕量級啟動(dòng)快等特點(diǎn)，但本質(zhì)上依托于內(nèi)核，因此所有內(nèi)核漏洞都是Docker的弱點(diǎn)。KVM虛擬實(shí)驗(yàn)環(huán)境支持多種操作系統(tǒng)，能應(yīng)對不同實(shí)驗(yàn)需求，同時(shí)KVM虛擬出的實(shí)驗(yàn)環(huán)境擁有獨(dú)立的操作系統(tǒng)和進(jìn)程管理機(jī)制，與真實(shí)生產(chǎn)環(huán)境相匹配[8]。而基于Docker容器實(shí)驗(yàn)環(huán)境的唯一優(yōu)勢是啟動(dòng)快，因?yàn)樗腥萜鞴灿盟拗鳈C(jī)的Linux操作系統(tǒng)，實(shí)驗(yàn)場景受限，并且Docker容器沒有獨(dú)立的操作系統(tǒng)，學(xué)生實(shí)驗(yàn)環(huán)境相互影響不利于教學(xué)穩(wěn)定進(jìn)行。

建設(shè)現(xiàn)代化的大數(shù)據(jù)教學(xué)實(shí)訓(xùn)實(shí)驗(yàn)室不僅要求其硬件配置高、建設(shè)成本低，更要求其能夠滿足高校順利開展各類大數(shù)據(jù)實(shí)踐課程教學(xué)需要，并為之提供系統(tǒng)的教學(xué)、實(shí)驗(yàn)、實(shí)訓(xùn)支撐環(huán)境[9]。為此，本文從技術(shù)架構(gòu)角度探討如何建設(shè)一個(gè)成本低廉、教學(xué)方便、教研一體、維護(hù)簡單、管理高效的大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)。

1 大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)現(xiàn)狀及問題

大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)是開展大數(shù)據(jù)技術(shù)實(shí)驗(yàn)的基礎(chǔ)，很多高校都高度重視，建設(shè)了各種實(shí)驗(yàn)平臺(tái)。實(shí)驗(yàn)平臺(tái)主要采用如下幾種模式[10-11]。

（1）單機(jī)偽分布式模式。學(xué)校采購大量高性能PC機(jī)，1人1機(jī)，在單PC機(jī)內(nèi)的虛擬機(jī)上部署大數(shù)據(jù)實(shí)驗(yàn)環(huán)境，以單機(jī)模擬分布式開發(fā)環(huán)境。這是一種偽分布式實(shí)驗(yàn)環(huán)境，與企業(yè)實(shí)際生產(chǎn)開發(fā)環(huán)境區(qū)別較大，并且這種模式不能兼容大數(shù)據(jù)生態(tài)體系所有組件，學(xué)生畢業(yè)進(jìn)入企業(yè)后無法快速適應(yīng)企業(yè)真實(shí)開發(fā)環(huán)境。

（2）多機(jī)集群模式。學(xué)校采購大量高性能PC機(jī)，將學(xué)生分組并開展試驗(yàn)，如3人3臺(tái)PC分為一組，將這3臺(tái)PC組網(wǎng)建立1主2從的集群，然后在該集群中布署大數(shù)據(jù)分布式實(shí)驗(yàn)環(huán)境。這是一種標(biāo)準(zhǔn)的分布式實(shí)驗(yàn)環(huán)境，其優(yōu)勢是模擬企業(yè)真實(shí)生產(chǎn)環(huán)境，學(xué)生能迅速適應(yīng);其劣勢也非常明顯，由于分組完成實(shí)驗(yàn)，學(xué)生分工操作實(shí)驗(yàn)體驗(yàn)完整度不高，知識體系實(shí)踐不完整;并且，分布式集群環(huán)境配置復(fù)雜容易出錯(cuò)、實(shí)驗(yàn)環(huán)境容易被破壞、維護(hù)成本高。

（3）虛擬仿真模式。學(xué)校建立云計(jì)算數(shù)據(jù)中心，利用虛擬化技術(shù)，以少量高性能服務(wù)器虛擬大量實(shí)驗(yàn)集群，按需分配給學(xué)生，學(xué)生同時(shí)擁有多套集群進(jìn)行實(shí)驗(yàn)，且每個(gè)學(xué)生的實(shí)驗(yàn)環(huán)境相互隔離、互不干擾;簡化實(shí)驗(yàn)環(huán)境搭建過程，學(xué)生能夠高效完成實(shí)驗(yàn)，又能確保某個(gè)實(shí)驗(yàn)環(huán)境被破壞后對其他人不會(huì)造成影響，學(xué)生端通過一鍵重啟功能即可重新?lián)碛幸惶仔录?大幅度節(jié)省硬件和人員管理成本投入，提高教學(xué)實(shí)驗(yàn)效率。

隨著國家、高校對大數(shù)據(jù)應(yīng)用型人才培養(yǎng)的關(guān)注和重視，大多高校都開始加大投入力度，積極改造實(shí)驗(yàn)環(huán)境。近年來，虛擬仿真模式的實(shí)驗(yàn)環(huán)境已顯現(xiàn)出其優(yōu)勢，逐步成為云計(jì)算、大數(shù)據(jù)、人工智能等新興專業(yè)教學(xué)實(shí)驗(yàn)環(huán)境的主流方式。

2 大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)架構(gòu)與虛擬化實(shí)現(xiàn)

2.1 大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)組成

一個(gè)完善的大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)，包括如下部分：①硬件設(shè)備：提供能滿足實(shí)驗(yàn)資源需求的硬件產(chǎn)品，如服務(wù)器、交換機(jī)、路由器、UPS電源、機(jī)柜等;②軟件平臺(tái)：提供滿足教學(xué)實(shí)驗(yàn)要求的軟件平臺(tái)，如虛擬化云平臺(tái)、鏡像管理平臺(tái)、虛擬仿真實(shí)驗(yàn)平臺(tái)、科研平臺(tái)、競賽平臺(tái)等;③實(shí)驗(yàn)組件：提供滿足大數(shù)據(jù)實(shí)驗(yàn)要求的常用組件，如Linux、Java、MySQL、Python、ETL工具、Sqoop、Hadoop、Spark、Hive、HBase、Zoomkeeper、Kafka、Numpy、Pandas、Matplotlib等;④實(shí)驗(yàn)資源：提供配套的大數(shù)據(jù)實(shí)驗(yàn)手冊、實(shí)驗(yàn)指導(dǎo)視頻、實(shí)驗(yàn)素材、企業(yè)仿真實(shí)訓(xùn)項(xiàng)目、生產(chǎn)級實(shí)驗(yàn)數(shù)據(jù)等;⑤技術(shù)支持：提供平臺(tái)相關(guān)的技術(shù)支持服務(wù)，支持遠(yuǎn)程、現(xiàn)場、網(wǎng)絡(luò)等多種方式的技術(shù)支持與運(yùn)維。

大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)的基礎(chǔ)為私有云管理平臺(tái)，基于主流開源云平臺(tái)OpenStack Mitaka而研發(fā)。云平臺(tái)采用Docker技術(shù)，將OpenStack組件如Nova、Cinder等均封裝于容器中，實(shí)現(xiàn)了OpenStack組件的彈性伸縮、靈活調(diào)度，且不影響業(yè)務(wù)的滾動(dòng)式在線升級。其結(jié)構(gòu)如圖1所示。

云平臺(tái)包含虛擬資源管理系統(tǒng)、云端資源監(jiān)控系統(tǒng)、鏡像倉庫管理系統(tǒng)等子模塊，通過這些模塊實(shí)現(xiàn)對網(wǎng)絡(luò)、存儲(chǔ)、計(jì)算等資源的統(tǒng)一管理和調(diào)度，并對外提供標(biāo)準(zhǔn)的API接口，方便應(yīng)用對資源進(jìn)行動(dòng)態(tài)按需調(diào)度，提升資源利用效率。

2.2 大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)超融合架構(gòu)

大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)實(shí)驗(yàn)平臺(tái)架構(gòu)采用超融合基礎(chǔ)架構(gòu)（HCI），實(shí)現(xiàn)在同一套單元設(shè)備中不僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源和技術(shù)，還包括備份軟件、快照技術(shù)、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮等元素。而多套單元設(shè)備可以通過網(wǎng)絡(luò)聚合起來，實(shí)現(xiàn)模塊化的無縫橫向擴(kuò)展，形成統(tǒng)一資源池。隨著高校生源規(guī)模擴(kuò)大和自身業(yè)務(wù)增長，可實(shí)現(xiàn)“積木堆疊式”彈性擴(kuò)容，按需升級。

使用超融合架構(gòu)減少了實(shí)施和管理難度，后期無需專門的SAN存儲(chǔ)維護(hù)人員維護(hù)系統(tǒng)，提高了用戶數(shù)據(jù)中心資源利用率，減少了設(shè)備能耗成本，能夠更好地發(fā)揮SSD硬盤性能，擴(kuò)展也更方便。使用HCI還能提供更高級別的硬件容錯(cuò)，當(dāng)某一控制器發(fā)生故障后，可保證應(yīng)用系統(tǒng)不停頓，確保穩(wěn)定性。該系統(tǒng)無須停機(jī)便可無縫地添加其它超融合節(jié)點(diǎn)，從而線性地提高系統(tǒng)性能和數(shù)據(jù)存儲(chǔ)。用戶數(shù)據(jù)均有雙份副本、超融合分布式文件系統(tǒng)、多節(jié)點(diǎn)并行，即使在整個(gè)節(jié)點(diǎn)發(fā)生故障的情況下，分布式文件系統(tǒng)也能很快自動(dòng)完成數(shù)據(jù)重建，并恢復(fù)到容錯(cuò)狀態(tài)[12]。

2.3 大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)虛擬化實(shí)現(xiàn)

實(shí)驗(yàn)平臺(tái)虛擬化可以采用Docker技術(shù)和KVM技術(shù)，Docker技術(shù)是基于容器的虛擬化技術(shù)，嚴(yán)格意義上并不算作虛擬化技術(shù)，只是進(jìn)程隔離和資源限制，它具有輕量級、快速就緒、弱安全等特點(diǎn)。KVM指基于Linux內(nèi)核（Kernel-based）的虛擬機(jī)（Virtual Machine）。KVM最大的好處就在于它與Linux內(nèi)核集成，因此速度很快[13-14]。KVM相比于容器的一個(gè)較大優(yōu)勢在于可以使用不同的操作系統(tǒng)或內(nèi)核，而Docker容器僅支持Linux。采用KVM虛擬化技術(shù)，底層支持融合架構(gòu)，可以將計(jì)算、存儲(chǔ)和管理服務(wù)部署在同一臺(tái)節(jié)點(diǎn)上，提高資源利用率。

從高校實(shí)驗(yàn)平臺(tái)應(yīng)用場景看，采用KVM虛擬化技術(shù)更為主流。KVM虛擬的實(shí)驗(yàn)環(huán)境支持多種操作系統(tǒng)，能應(yīng)對不同實(shí)驗(yàn)需求，同時(shí)KVM虛擬出的實(shí)驗(yàn)環(huán)境擁有獨(dú)立操作系統(tǒng)和進(jìn)程管理機(jī)制，與真實(shí)生產(chǎn)環(huán)境相匹配。而基于Docker容器的實(shí)驗(yàn)環(huán)境，其唯一優(yōu)勢是啟動(dòng)快，原因在于所有容器共用宿主機(jī)的Linux操作系統(tǒng)，實(shí)驗(yàn)場景受限，并且Docker容器沒有獨(dú)立操作系統(tǒng)，學(xué)生實(shí)驗(yàn)環(huán)境相互影響不利于教學(xué)穩(wěn)定進(jìn)行。

3 大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)建設(shè)

3.1 硬件與網(wǎng)絡(luò)建設(shè)

虛擬仿真實(shí)驗(yàn)平臺(tái)硬件主要由多臺(tái)高性能超融合服務(wù)器、萬兆光纖交換機(jī)、標(biāo)準(zhǔn)42U機(jī)柜以及UPS不間斷電源組成。按照同時(shí)最大并發(fā)學(xué)生數(shù)核算硬件配置。實(shí)驗(yàn)室按照50個(gè)學(xué)生同時(shí)并發(fā)進(jìn)行實(shí)驗(yàn)，每個(gè)學(xué)生按照1主2從的配置則需要3臺(tái)虛擬機(jī)，50個(gè)學(xué)生共需要虛擬機(jī)的數(shù)量為150臺(tái)，假設(shè)單臺(tái)虛擬機(jī)配置為2個(gè)CPU、 4G內(nèi)存、數(shù)據(jù)盤50G，則50人同時(shí)并發(fā)所需資源是CPU為300vCPU、內(nèi)存為600G、磁盤為7.5TB，為保障數(shù)據(jù)安全性，磁盤采用2副本機(jī)制，則實(shí)際應(yīng)配備總?cè)萘繛?5TB。

云平臺(tái)管理網(wǎng)絡(luò)從邏輯上看一共分為5種，分別是IPMI網(wǎng)絡(luò)、管理/業(yè)務(wù)網(wǎng)、集群網(wǎng)、存儲(chǔ)網(wǎng)和租戶網(wǎng)。租戶隔離采用VLAN方式，因此物理交換機(jī)僅需支持VLAN，并為不同網(wǎng)絡(luò)創(chuàng)建對應(yīng)VLAN即可，平臺(tái)網(wǎng)絡(luò)拓?fù)浼軜?gòu)如圖2所示。

3.2 軟件平臺(tái)建設(shè)

軟件配置方面，大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)室整體解決方案是應(yīng)提供完善的實(shí)驗(yàn)管理平臺(tái)及實(shí)驗(yàn)組件。軟件平臺(tái)主要分為虛擬仿真云平臺(tái)和大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)。虛擬仿真云平臺(tái)提供物理硬件虛擬化、仿真實(shí)驗(yàn)集群、資源調(diào)度監(jiān)控等底層核心支撐，大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)提供大數(shù)據(jù)教學(xué)科研、實(shí)驗(yàn)實(shí)訓(xùn)、實(shí)驗(yàn)教學(xué)管理等業(yè)務(wù)支撐。大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)軟件平臺(tái)結(jié)構(gòu)如圖3所示。

虛擬仿真云平臺(tái)主要有虛擬資源管理、鏡像管理、監(jiān)控管理等功能，可以對云主機(jī)進(jìn)行遠(yuǎn)程管理和網(wǎng)絡(luò)管理。配置虛擬防火墻以保護(hù)內(nèi)部網(wǎng)絡(luò)，具備根據(jù)用戶業(yè)務(wù)需求動(dòng)態(tài)調(diào)整計(jì)算資源的能力;具備回收站功能，包含回收站內(nèi)資源恢復(fù)功能;支持頁面制作鏡像，支持ISO、qcow2、raw格式的鏡像文件，支持Windows、Linux不同版本的操作系統(tǒng)鏡像，并提供實(shí)驗(yàn)平臺(tái)所需的各類鏡像;能夠查看物理主機(jī)和云主機(jī)使用情況，具備資源監(jiān)控功能，具備對集群、數(shù)據(jù)庫等具體服務(wù)監(jiān)控功能，具備自動(dòng)告警功能等。

大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)分為實(shí)驗(yàn)端和管理端。管理端為大數(shù)據(jù)相關(guān)專業(yè)師生提供教學(xué)實(shí)訓(xùn)相關(guān)管理功能，包括實(shí)驗(yàn)環(huán)境創(chuàng)建、課程管理、課程選課、教務(wù)排課、集群資源管控、教學(xué)數(shù)據(jù)管理等。實(shí)驗(yàn)端提供大數(shù)據(jù)教學(xué)實(shí)訓(xùn)實(shí)驗(yàn)功能，包括實(shí)驗(yàn)集群一鍵創(chuàng)建、實(shí)驗(yàn)操作臺(tái)、實(shí)驗(yàn)手冊、實(shí)驗(yàn)視頻、實(shí)驗(yàn)數(shù)據(jù)集等實(shí)驗(yàn)資源訪問。

3.3 實(shí)驗(yàn)資源建設(shè)

大數(shù)據(jù)實(shí)驗(yàn)課程應(yīng)基于真實(shí)的企業(yè)實(shí)踐經(jīng)驗(yàn)，提供豐富的項(xiàng)目實(shí)訓(xùn)案例，并結(jié)合高校各專業(yè)實(shí)際情況進(jìn)行行業(yè)數(shù)據(jù)研究，旨在培養(yǎng)實(shí)用型人才的項(xiàng)目實(shí)踐能力。大數(shù)據(jù)虛擬仿真平臺(tái)實(shí)驗(yàn)資源建設(shè)主要包括實(shí)驗(yàn)案例手冊、實(shí)驗(yàn)指導(dǎo)視頻、行業(yè)實(shí)訓(xùn)項(xiàng)目、生產(chǎn)級脫敏數(shù)據(jù)等。

實(shí)驗(yàn)資源應(yīng)滿足大數(shù)據(jù)課程實(shí)驗(yàn)教學(xué)，包括但不少于以下核心實(shí)驗(yàn)：云計(jì)算IaaS、PaaS、SaaS、OpenStack部署、Docker容器部署、分布式文件系統(tǒng)（HDFS）、YARN、MapReduce、HBase、Hive、MongoDB、Zookeeper Sqoop、Spark、Kafka、Storm、Pig數(shù)據(jù)流處理與分析、數(shù)據(jù)分析與數(shù)據(jù)挖掘、Mahout數(shù)據(jù)處理與分析、ETL、Linux、大數(shù)據(jù)原理、云計(jì)算、Python數(shù)據(jù)分析及可視化、Python網(wǎng)絡(luò)爬蟲、R語言、NoSQL等實(shí)驗(yàn)[15]。

實(shí)驗(yàn)平臺(tái)還提供大數(shù)據(jù)行業(yè)案例與項(xiàng)目案例，例如電商行業(yè)大數(shù)據(jù)分析、互聯(lián)網(wǎng)熱點(diǎn)輿情大數(shù)據(jù)分析、搜索引擎日志案例分析、精準(zhǔn)營銷用戶畫像案例分析、金融行業(yè)貸款風(fēng)險(xiǎn)評估案例分析、交通大數(shù)據(jù)案例分析、在線教育平臺(tái)大數(shù)據(jù)分析等典型應(yīng)用。

4 基于實(shí)驗(yàn)平臺(tái)的教學(xué)實(shí)施

大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)以大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)為基礎(chǔ)，通過API接口連接，系統(tǒng)模擬真實(shí)生產(chǎn)環(huán)境，使學(xué)生平滑接入工作崗位。為豐富實(shí)訓(xùn)教學(xué)，提供大數(shù)據(jù)前置課程試驗(yàn)、在線考試、可視化分析等多種功能。教師可以根據(jù)大數(shù)據(jù)學(xué)習(xí)科目制定相關(guān)實(shí)訓(xùn)課程教學(xué)計(jì)劃，管理本學(xué)期所有學(xué)習(xí)資料和教學(xué)計(jì)劃并予以發(fā)布，學(xué)生在課程任務(wù)發(fā)布后便可進(jìn)入系統(tǒng)預(yù)習(xí)實(shí)驗(yàn)內(nèi)容。實(shí)驗(yàn)過程中，教師會(huì)給每位學(xué)生配置實(shí)驗(yàn)環(huán)境，并配備全套教學(xué)指導(dǎo);實(shí)驗(yàn)結(jié)束后，學(xué)生需提交實(shí)驗(yàn)報(bào)告，教師批改發(fā)布后，學(xué)生即可查詢成績明細(xì)，并預(yù)習(xí)下一次實(shí)驗(yàn)內(nèi)容。學(xué)生可通過Web瀏覽器與遠(yuǎn)程終端接入實(shí)驗(yàn)平臺(tái)。

（1）通過Web瀏覽器接入實(shí)驗(yàn)。學(xué)生在使用大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)時(shí)，首先通過Web登錄頁面，啟動(dòng)教師分配給自己的容器資源，然后根據(jù)在線實(shí)驗(yàn)指導(dǎo)書按步驟開展實(shí)驗(yàn)，實(shí)驗(yàn)完成后上傳作業(yè)，由教師批改打分。

（2）通過遠(yuǎn)程終端接入操作。學(xué)生通過遠(yuǎn)程終端開展安裝維護(hù)類實(shí)驗(yàn)，在本地計(jì)算機(jī)進(jìn)行實(shí)驗(yàn)分析與開發(fā)，然后打包上傳到虛擬服務(wù)器，也可通過遠(yuǎn)程終端直接在虛擬服務(wù)器上完成。如果使用Unix/Linux系統(tǒng)，可直接通過SSH命令登錄服務(wù)器進(jìn)行操作;如果使用Windows系統(tǒng)，可任選一種終端工具，例如Putty、SecureCRT等。

5 結(jié)語

大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)架構(gòu)采用超融合一體化解決方案，在計(jì)算存儲(chǔ)融合、軟件定義、運(yùn)維自動(dòng)化等技術(shù)的綜合應(yīng)用上，高校能夠以最小初始成本快速實(shí)現(xiàn)IT基礎(chǔ)設(shè)施“云化”。超融合架構(gòu)在成本、實(shí)用、安全、穩(wěn)定等方面，均較傳統(tǒng)架構(gòu)更具優(yōu)勢。在高校實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)這一應(yīng)用場景，超融合基礎(chǔ)架構(gòu)運(yùn)維成本低、擴(kuò)展方便，能夠?yàn)榻萄谢顒?dòng)提供良好保障。

利用KVM技術(shù)，以少量高性能服務(wù)器虛擬大量實(shí)驗(yàn)集群，學(xué)生同時(shí)擁有多套集群開展實(shí)驗(yàn)，且每個(gè)學(xué)生的實(shí)驗(yàn)環(huán)境相互隔離、互不干擾，既有利于學(xué)生高效開展實(shí)驗(yàn)，又能確保某個(gè)實(shí)驗(yàn)環(huán)境被破壞后不會(huì)對他人造成影響。學(xué)生通過一鍵重啟功能即可重新?lián)碛幸惶仔录海却蠓裙?jié)省硬件和人員管理成本，又可提高教學(xué)實(shí)驗(yàn)效率。

通過大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)建設(shè)，從教學(xué)、實(shí)踐、科研等多方面保障大數(shù)據(jù)應(yīng)用型人才和復(fù)合型人才培養(yǎng)。基于大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)平臺(tái)提供企業(yè)真實(shí)生產(chǎn)實(shí)驗(yàn)環(huán)境和生產(chǎn)數(shù)據(jù)，提升學(xué)生動(dòng)手操作和項(xiàng)目實(shí)踐能力，解決多專業(yè)下大數(shù)據(jù)實(shí)驗(yàn)教學(xué)中的實(shí)驗(yàn)資源共享問題，使得學(xué)生所學(xué)技能與企業(yè)人才需求無縫銜接，進(jìn)一步提高產(chǎn)學(xué)融合成效。

參考文獻(xiàn)：

[1] 吳愛華，楊秋波，郝杰. 以“新工科”建設(shè)引領(lǐng)高等教育創(chuàng)新變革[J]. 高等工程教育研究，2019，37（1）：1-7.

[2] 周傲英，錢衛(wèi)寧，王長波. 數(shù)據(jù)科學(xué)與工程：大數(shù)據(jù)時(shí)代的新興交叉學(xué)科[J]. 大數(shù)據(jù)，2015，1（2）：90-99.

[3] 賀文武，劉國買，劉建華. 新工科專業(yè)育人共同體與學(xué)習(xí)共同體構(gòu)建研究——以數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)為例[J]. 教育評論， 2018，34（8） ：46-51.

[4] 陳潔，張文翔. 大數(shù)據(jù)視角下計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)建設(shè)探究[J]. 軟件導(dǎo)刊， 2016，15（10）：185-187.

[5] 郭克華，桂勁松，張祖平. 新工科背景下高校新專業(yè)建設(shè)思路探索與實(shí)踐——以數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)為例[J]. 計(jì)算機(jī)教育， 2018，16（7）：27-31.

[6] 王敏. 基于Docker的數(shù)據(jù)科學(xué)虛擬化實(shí)驗(yàn)平臺(tái)構(gòu)建[J]. 實(shí)驗(yàn)室科學(xué)， 2019，22（3）：104-107.

[7] 毅應(yīng)，劉亞軍，琰俞. 利用Docker容器技術(shù)構(gòu)建大數(shù)據(jù)實(shí)驗(yàn)室[J]. 實(shí)驗(yàn)研究與探索， 2018，37（2）：265-267.

[8] TESFATSION S K，KLEIN C，TORDSSON J.Virtualization techniques compared[J]. Cloud Computing，2018：145-156.

[9] 歐衛(wèi)華，夏道勛，張仁津. “數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)實(shí)踐教學(xué)體系構(gòu)建研究[J]. 軟件導(dǎo)刊， 2018，17（5）：107-109.

[10] 朱正國. 大數(shù)據(jù)實(shí)驗(yàn)教學(xué)平臺(tái)實(shí)驗(yàn)綜述[J]. 電腦知識與技術(shù)，2018，14（11）：163-165.

[11] 李馥娟. 大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)與應(yīng)用研究[J]. 實(shí)驗(yàn)技術(shù)與管理，2018，35（5）：243-246.

[12] 馬國勝，劉小艷，馬敏. 超融合架構(gòu)私有云服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 電腦知識與技術(shù)， 2019，15（20）：275-277.

[13] 崔澤永，趙會(huì)群. 基于KVM的虛擬化研究及應(yīng)用[J]. 計(jì)算機(jī)技術(shù)與發(fā)展， 2011，21（6）：108-112.

[14] 溫荷，萬里. 基于KVM的云桌面虛擬化實(shí)驗(yàn)設(shè)計(jì)[J]. 實(shí)驗(yàn)技術(shù)與管理，2016，33（5）：132-134.

[15] 廖軍，張毅，王成良，等. 高校大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)體系研究與分析[J]. 實(shí)驗(yàn)技術(shù)與管理， 2018，35（11）：241-244.

（責(zé)任編輯：孫 娟）