基于Openstack與Hadoop的實驗教學大數據系統應用研究

齊連眾 張小鳳

摘? 要：針對高校實驗教學普遍存在的問題，提出構建基于OpenStack與Hadoop技術的在線實驗教學大數據系統，融合Swift和HDFS技術，優化數據處理，整合分散的教學資源，提高學生自主學習的效率。根據實驗教學需求靈活配置虛擬機，搭建Hadoop、Spark、Hive等各種大數據實驗鏡像環境。實現了教學資源的統一管理，各項應用的快速部署，以及大數據的采集和存儲。系統經測試可穩定運行，滿足教學、管理等需求，亦可應用于大數據計算、云計算等科研領域。

關鍵詞：大數據應用；OpenStack；Hadoop；實驗教學

中圖分類號：TP393? ? 文獻標識碼：A? ? 文章編號：2096-4706（2023）17-0131-05

Research on the Application of Experimental Teaching Big Data System Based on Openstack and Hadoop

QI Lianzhong1，2， ZHANG Xiaofeng1

（1.Beijing Institute of Technology， Zhuhai， Zhuhai? 519088， China;

2.School of Statistics， University of International Business and Economics， Beijing? 100029， China）

Abstract： In view of the common problems in experimental teaching in colleges and universities， it is proposed to build an online experimental teaching big data system based on OpenStack and Hadoop technology， integrate Swift and HDFS technology， and optimize data processing. Integrate scattered teaching resources and improve the efficiency of students' autonomous learning. Configure virtual machines flexibly according to the needs of experimental teaching， and build Hadoop， Spark， Hive and other big data experimental image environments. It realizes the unified management of teaching resources， the rapid deployment of various applications， and the collection and storage of big data. After testing， the system can run stably， meet the needs of teaching and management， and can also be applied to scientific research field such as big data computing and cloud computing.

Keywords： big data application; OpenStack; Hadoop; experimental teaching

0? 引? 言

大數據和云計算的開發大大推動了新技術和新應用的不斷涌現，在很大程度上改變了高校信息技術相關專業的現有教學和科研體制[1]。傳統的實驗教學往往重理論、輕實踐，所以在實驗教學模式設置上偏重于對理論知識的驗證，同一門課程的實驗之間相對獨立，缺乏綜合性、設計性的實驗，不同課程之間的實驗也少有聯系[2]。可供學生使用的教學資源（課件、視頻、軟件、教學資料等）相對匱乏且較為分散，且具有較高的冗余性、較低的共享性等問題。因此，利用云技術構建一個基于OpenStack的在線實驗云平臺，整合分散的各類實驗教學資源，促進實驗教學的數字化、網絡化[3-5]。利用實驗室閑置的基礎硬件搭建一個基于Hadoop的分布式的計算集群，用以存儲不斷增長的教學資源數據[6]，收集實驗教學中的過程數據，通過大數據技術分析學生學習行為表現。將Hadoop與OpenStack技術整合在一起，發揮兩者的優勢，優化資源的配置及管理，根據用戶的具體需求，彈性配置教學的軟硬件資源，對實驗教學的發展具有十分積極的意義。

1? OpenStack與Hadoop介紹

OpenStack是一個免費的開源云計算框架[7]，包含一系列核心的和可選的組件，支持KVM、Xen、Lvc、Docker等虛擬機軟件或容器，可以提供彈性的、可擴展的云計算服務。通過命令或者基于Web的可視化控制面板來管理IaaS云端的資源池（服務器、存儲和網絡）。

Hadoop是一個開源的、可運行于大規模集群上的分布式計算平臺，其包含HDFS（分布文件系統）和MapReduce（是面向大數據并行處理的計算框架）兩個核心組件。實現了低成本部署和大數據的存儲與處理[8]。

OpenStack和Hadoop具有各自的特點，OpenStack相當于虛擬化和Hadoop之間的紐帶。虛擬化提供資源，OpenStack對外提供服務，可以嫁接和管理各種架構。Hadoop為上層的應用軟件提供各種支持，其所擁有的各種組件工具通過Openstack云操作系統調用被虛擬化的底層節點機進行計算。因此，將Hadoop的HDFS和OpenStack的Swift相融合，實現兩者數據的直接訪問，可顯著地提高數據的處理效率，降低系統的投入成本[9]。

2? 系統需求分析

本文設計的基于OpenStack與Hadoop技術的在線實驗教學大數據系統是對分散的教學資源進行整合，并且能滿足一定的科研需求，因此，需要綜合考慮底層硬件的支撐、管理組件的部署和上層各應用模塊的功能。

首先，存儲是教學實現信息化的核心，云存儲可以實現教學的數字化、網絡化，充分整合學校已有的各項資源，包括硬件資源（閑置的計算機、交換機、服務器等），教學資源（教學視頻、講義、PPT、作業、軟件仿真、程序源代碼、教師答疑等），還包括數字圖書館入口等資源（電子圖書、軟件、文獻等）。

然后，系統應能提供統一的用戶管理、數據庫管理、用戶登錄、認證等服務，以Web界面的形式提供訪問入口。為用戶提供豐富的應用，包括個人門戶、課程平臺、校內論壇、教學資源庫、在線實驗課程等。

最后，系統可以收集用戶的行為信息，使用日志等，學生可以在線上傳實驗數據、實驗報告、作業等。供系統后續的數據挖掘使用，分析出用戶的行為畫像，輔助教師了解學生學習情況，同時亦能為科研提供分析數據。

3? 系統設計與實現

3.1? 系統總體架構

實驗教學大數據系統主要分為基礎層、管理層、資源服務層和用戶層4個層次，具體架構如圖1所示。

1）基礎層：根據大數據系統的需求，結合實驗室現有資源，選擇H3C UniServer R4900 G3作為控制節點，用以統一調度和管理整個大數據系統。Neutron作為系統的網絡節點，負責管理私有網段和公有網段之間的通信，虛擬機網絡之間的通信以及防火墻等。點計算節點主要包含計算服務、網絡服務以及監控服務。存儲節點負責為計算節點提供存儲功能。在OpenStack框架下進行搭建控制節點、網絡節點、計算節點、存儲節點，利用防火墻和交換機配置網絡，實現對管理層的訪問。在系統上整合Swift與HDFS實現大數據集的統一訪問。

2）管理層：作為整個系統的核心部分，其能夠實現資源的動態分配和管理，在作業結束后釋放資源。統一管理課程平臺、在線實驗、網盤資源模塊等Web網站，并對其整個資源進行監控。

3）資源服務層：提供負責支撐各項應用的計算資源，軟硬件資源及各項教學資源，以及實驗鏡像環境、論壇、網盤等。

4）用戶層：提供了統一的Web接口給用戶（教師、學生、管理員），可以使用瀏覽器訪問在線平臺。同時這些行為數據也會被記錄并保存，為大數據分析使用。

3.2? 在線平臺實現

使用Fuel工具搭建OpenStack環境：

1）安裝Virtual Box，設置專用網絡、公共網絡以及內部管理網絡。

2）新建Fuel節點，安裝Fuel Master虛擬機。

3）在Web端登錄，創建Open stack環境。

4）安裝Xftp，新增本地源。

5）增加Controller和Compute虛擬機節點

6）Web端添加節點，配置端口，配置Fuel網絡。

7）Openstack網絡配置，開始部署節點。

搭建基于OpenStack在線實驗云平臺，其邏輯結構如圖2所示。

應用Horizon的Web可視化UI管理和監控平臺以及其他各組的運行狀態，通過核心組件Nova（計算服務）管理虛擬機，Keystone（認證服務）負責用戶認證和服務目錄，Cinder（塊存儲）提供塊存儲服務，Neutron（組網）管理網絡，Glance（鏡像服務）存取虛擬機磁盤鏡像文件，安裝MySQL，然后部署Swift（象存儲服務），配合其他可選組件實現系統的彈性部署。

3.3? 大數據計算平臺實現

3.3.1? 安裝配置Hadoop

利用實驗室閑置的計算機安裝Linux系統并搭建一個局域網，配置Java開發環境，確定好集群的規模，配置SSH免密登錄。選取其中一臺作為master，其余為slaves。配置IP等信息存放在/etc/hosts文件上，將Hadoop安裝在/usr/local目錄下，在master上進行配置（core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml），完成Hadoop的文件配置后，將其復制到slaves的各個節點的相同位置，修改配置文件，設置Hadoop的環境變量，使環境變量生效。進行相應測試，確認部署完成。

3.3.2? HDFS的Web界面

在部署好Hadoop集群之后，我們可以通Web界面訪問HDFS文件系統，查看各個節點的分布信息，瀏覽名稱節點上的日志等信息，上傳或下載文件。所有這些功能都可通過Liunx的Shell命令或者JavaAPI接口實現。

如圖3所示，在瀏覽器地址欄中輸入master：50070即可打開HDFS的Web界面。點擊Overview就可以查看文件系統的基本信息，例如系統啟動時間、Hadoop版本號、Hadoop源碼編譯時間、集群ID等。

3.3.3? 配置HBase

傳統的關系型數據庫不能滿足海量的大數據存儲的需求，HBase是一個高可靠、可伸縮、實時讀寫、分布式的列式數據庫，其具有很好的橫向擴展性能，通過增加服務器來實現存儲能力的提升。可采用HDFS作為其底層數據存儲。具有強大的非結構化數據存儲能力。HBase采用分區存儲，一個大的表會被分拆為許多個Region，這些Region會被分發到不同的服務器上實現分布式存儲[10]。

將HBase安裝在/usr/local/hbase目錄下，然后配置環境變量，配置HBase的數據在HDFS中的位置，分發HBase到各子節點，通過$ bin/start-hbase.sh命令啟動HBase集群，通過瀏覽器訪問，可查看HBase的狀態。通過$ hbase shell命令實現對集群進行HBase的詳細操作。

3.4? HDFS和Swift整合

由于Hadoop的文件系統HDFS是基于Java開發的，而OpenStack Object Storage（Swift）采用Python開發，因此不能直接兼容。為了實現Hadoop的MapReduce可直接分析Swift中的內容，需要設計一個適配器，用來繼承FileSystem類，向下可以調用Swift自有的適配Java的API-（Java-cloudfiles），實現對Swift（Object Storage）的各種操作。適配器的邏輯關系如圖4所示。

適配器的設計如下：SwiftAdapter class繼承FileSystem抽象類，實現對Swift的輸入流（Swift InputStream）的read和seek操作，實現對Swift的輸出流（SwiftOutputStream）的write和flush操作，可調用Swift Java API實現創建文件、打開文件、獲得URI、創建目錄等操作。

4? 大數據系統應用

用戶使用大數據實驗教學系統進行教學、學習和管理的流程，如圖5、圖6所示。通過本系統的建設，將教學資源數字化統一管理，能夠極大的提高使用者的工作效率。

教學輔助人員的操作流程如圖7所示，通過管理界面，可以對整個實驗教學大數據系統的運行進行統一的調度，實現對資源的高效管理。

實驗教學大數據系統可與學校的各個信息管理系統相連接，實現數據信息的同步與共享，從而能夠有效地整合學校的各類教學數據，為大數據分析提供可靠的原始數據。一方面，可以進行學生單一的課程數據分析、學業表現分析等，可以讓學生和教師更全面的、直觀的了解學習情況；另一方面，可以進行課程教學分析、學科整體分析等，為課程教學改革及學科發展提供指導，亦可應用于科研活動中。

5? 系統測試

5.1? OpenStack測試

在Fuel環境下，通過日志選項卡查看安裝日志等信息，通過健康檢查選項卡可以快速地進行Openstack環境健康情況檢測。如圖8所示。

5.2? Hadoop集群測試

在master節點上，進入Hadoop目錄啟動Hadoop：

$ cd /usr/local/hadoop/

$ bin/hdfs namenode -format

$ sbin/start-dfs.sh #啟動hdfs

$ sbin/start-yarn.sh ##啟動yarn

通過命令jps查看各個節點所啟動的進程。在master節點上通過$ bin/hdfs dfsadmin -report命令查看DataNode是否正常啟動。

5.3? 功能測試

使用黑盒測試方法針對軟件的UI和各項功能進行相應的測試。因測試用例繁雜，組織學生志愿者參與測試，保證系統正常、穩定后再引入課堂。

5.4? 性能測試

5.4.1? 響應測試

隨機統計若干項系統完成任務所需要的時間，以及任務執行時CPU和內存的使用率，如表1所示。

5.4.2? 可靠性測試

為抗單節點故障，系統還設置了兩個Master Server。經測試當某臺機器宕機之后，系統依舊可以正常運行。當數據庫服務器宕機時，重啟機器之后，經測試系統也可以正常運行。

6? 結? 論

本文針對高校實驗教學普遍“重理論，輕實踐”的現狀，以及實驗教學內容多為機械重復，教學工作量大，自學資料偏少，學習時間相對固定，缺乏合理的多元化評價方式等問題，構建了實驗教學大數據系統，推動傳統課堂向網絡轉變，拓展了實驗學習的空間與時間，有助于學生自主學習、自主管理。按需彈性部署各項軟硬件資源，提高了實驗教學效率。將HDFS與Swift技術相融合，提高了數據的訪問和處理效率，優化了復雜的軟件結構，降低了硬件成本。對系統進行了穩定性等各方面的測試，滿足教學需求，實現了實驗教學的數字化、網絡化。

參考文獻：

[1] 賈潤亮.新時期對計算機大數據與云計算網絡技術的思考 [J].軟件，2022，43（1）：74-76.

[2] 潘正軍，趙蓮芬，袁麗娜.基于OpenStack的云計算和大數據實驗教學平臺應用研究[J].現代計算機：專業版，2017（31）：53-57.

[3] SEFRAOUI O，AISSAOUI M，ELEULDJ M. OpenStack：Toward an Open-Source Solution for Cloud Computing [J].International Journal of Computer Applications，2012，55（3）：38-42.

[4] 何俊彥.基于OpenStack的教學資源云平臺建設與應用 [J].計算機應用與軟件，2017，34（9）：124-127.

[5] 干瑞杰.基于OpenStack的校園實驗室私有云構建及高可用性研究 [J].中國科技信息，2020（8）：100-103+12.

[6] 薛志云，何軍，張丹陽，等.Hadoop和Spark在實驗室中部署與性能評估 [J].實驗室研究與探索，2015，34（11）：77-81.

[7] OPENSTACK. OpenStack Documentation [EB/OL].[2023-02-28].http：//docs.openstack.org.

[8] LANDSET S，KHOSHGOFTAAR T M，RICHTER A N，et al. A survey of open source tools for machine learning with big data in the Hadoop ecosystem [J].Journal of Big Data，2015，2（1）：1-36.

[9] 李金亮，翟永剛，湯向東.基于Hadoop+Openstack云存儲的研究 [J].計算機光盤軟件與應用，2014，17（11）：60-61.

[10] 蔡春花，黃思遠，高繼梅.基于Hadoop的學習行為數據云存儲平臺的設計與實現[J].軟件工程，2022，25（10）：50-53+49.

作者簡介：齊連眾（1984—），男，漢族，遼寧鐵嶺人，實驗師，碩士研究生，研究方向：計算機應用技術、大數據應用技術等。