基于Hadoop的學生自主學習資源平臺構建

滕艷平，張亞杰，王海珍，廉佐政，黎明

基于Hadoop的學生自主學習資源平臺構建

滕艷平，張亞杰，王海珍，廉佐政，黎明

（齊齊哈爾大學 計算機與控制工程學院，黑龍江 齊齊哈爾 161006）

針對傳統的教學資源組織形式、教學手段和教學內容已不能完全滿足學生需求的問題，提出并設計了基于Hadoop的計算機類學生自主學習資源云平臺．該系統采用B/S結構模式、MVC的編程模式，以MySql和Hbase作為系統數據庫，提高資源查詢、存儲的速度及準確性．達到了管理員上傳課程，學生按需自主學習的目的，并對學生學習行為數據進行分析，實現個性化教學、因材施教，提高學生的學習效率和教學質量．

Hadoop；自主學習資源平臺；MVC；MySql+HBase

目前，隨著互聯網技術在教育領域的逐步應用，其教育資源的建設將成為網絡輔助教學的重要手段，Hadoop云計算技術[1-2]的出現，為教學資源的共享提供了更好的方式．傳統的教學資源平臺在數據檢索、存儲以及數據分析等方面面臨新的挑戰，大量開放的教育資源改變了傳統的教育教學模式，為學生自主學習提供了一個良好的開放的學習空間，從而將傳統以教師為主體的教學方式轉變為以學生為主體的新型網絡教育方式．云技術將學習資源碎片化[3]，形成一個綜合共享的資源池，提高資源存儲容量、查詢速度和高并發讀寫性能．基于Hadoop學生自主學習資源平臺的構建，可為學習者在線學習提供豐富的多媒體資源、學習過程記錄、課程進展信息、學生學習行為數據分析等，提高學生自主學習的能力，調動學生學習積極性，促進教師和學生相互交流．

1 Hadoop及相關技術介紹

Hadoop[4-5]是由Apache開發的一個開源的分布式處理大規模數據的框架，在Hadoop 技術集群中每臺計算機都提供運算和存儲，支持并行擴展，不完全依賴于某臺高性能的服務器硬件支撐．Hadoop包含多項技術，其技術組件有HDFS（Hadoop Distributed File System），MapReduce，HBase，ZooKeeper等，已經形成完整的生態系統．因此，用戶利用 Hadoop可以輕松地組合計算機資源，搭建自己所需的分布式計算平臺，充分利用集群的計算、存儲能力，最終完成海量數據的處理．Hadoop主要的框架組件[6]為：

（1）HDFS實現對數據的分布式存儲，具有故障檢測、流式讀取數據以及高度容錯性等特性．它采用Master/Slave架構，由控制節點Name Node和數據節點Data Node組成．

（2）MapReduce是編程計算框架模型，負責大規模數據的分布式處理和分析．MapReduce由2個部分組成，map任務和reduce 任務．

（3）HBase是一個分布式、按列存儲的非結構化的數據庫，使用HDFS作為底層存儲，支持隨機讀?。瓾Base利用Hadoop HDFS作為其文件存儲系統，運行MapReduce來處理其中的海量數據．

（4）ZooKeeper是分布式系統的可靠協調系統，用于構建分布式應用，完成配置維護、命名空間服務、分布式并發同步等任務．

2 自主學習資源平臺總體設計

2.1 平臺的總體框架

Hadoop技術框架具有分布式存儲海量資源和并行計算的特性，本文設計目標是在Hadoop框架上實現教學資源共享，以達到學生可以高效自主學習的目的．系統采用了B/S（Browser/Server）架構的計算模式、MVC（Model View Controller）的編程模式[7]，在對用戶需求分析的基礎上構建平臺的總體框架．平臺自底向上可以劃分為4層，用戶層位于最頂層，用戶可以在客戶端直接使用此平臺，根據需求向平臺發出請求，平臺接收請求后對用戶的需求及時進行處理和反饋；業務邏輯層為第2層，為用戶層所提供的服務可通過系統的各功能模塊來完成，主要用于用戶層和存儲層之間的溝通；數據存儲層位于業務邏輯層的下層，負責教學平臺海量數據的存儲，Mysql用于結構化數據的存儲，Hbase用于非結構化數據的存儲，二者都位于HDFS文件系統中，同時在對學生學習行為數據分析時又用到Hadoop的其他組件，如Flume，Sqoop，Hive等；基礎設施層位于整個平臺的最底層，屬于平臺的硬件資源，主要用于管理和存儲海量的教學資源數據．平臺的總體框架見圖1．

圖1 平臺的總體框架

2.2 系統功能模塊的設計

本系統根據用戶角色將功能分為學生端、管理員端，學生端主要包括注冊登錄模塊、課程中心模塊、章節測試模塊、實踐教學模塊、課程的收藏模塊、關注和評論模塊．學生可以在前端進行課程的學習和資源下載、完成課程作業、查看課程的學習路線等功能．管理員可以進行課程的管理，包括課程上傳、課程學習路線的發布、章節測試上傳、回復學生的評論、學習行為數據的分析等．系統功能結構見圖2．

圖2 系統功能結構

3 Hadoop平臺的搭建

在Hadoop平臺搭建過程中，涉及Hadoop集群搭建、SSH無密鑰連接、Hadoop的安裝、HBase的配置、Zookeeper集群等相關內容．

3.1 虛擬機設置及模板機Hadoop101的創建

首先在宿主機上安裝VMware Workstation[8]，隨后模擬出3個計算機節點．在此平臺上采用1個Master結點（Hadoop102）和2個slave結點（Hadoop103，Hadoop104），要使各個結點之間可以互相通信，則要對虛擬機和各個結點進行相關配置．設置VMware Workstation的網絡連接模式 VMnet8為橋接模式．

通過鏡像文件CentOS-7-x86_64-DVD-2009安裝Linux操作系統，隨后進行模板虛擬機的安裝和配置．IP地址：192.168.117.5、主機名稱為Hadoop101、內存4 G、硬盤50 G，為了使各個結點之間通信更加方便，在系統中關閉防火墻，關閉防火墻的命令為 #chkconfig iptables off．

3.2 Hadoop集群搭建

利用模板機Hadoop101，克隆3臺虛擬機：Hadoop102，Hadoop103，Hadoop104．虛擬機信息見表1．

表1 虛擬機詳細信息

為了保證每臺機器的主機名和IP地址可以正確解析，需要分別在Hadoop102，Hadoop103，Hadoop104的hosts文件中加上集群其他節點的IP地址和主機名的映射關系．

3.3 SSH無密鑰連接

Hadoop集群之間通過SSH協議傳輸數據，從而可以安全地控制整個集群的開啟和關閉，使用SSH協議可以解決計算機遠程登錄時產生的信息泄露問題．通過此協議可以實現3個結點之間無密登錄．

（1）在Hadoop102結點中生成公鑰和私鑰，具體的命令為 ssh-keygen-t rsa，即可生成2個文件；

（2）id_rsa（私鑰）、id_rsa.pub（公鑰），將公鑰拷貝到Hadoop103，Hadoop104結點上；

[h2@Hadoop102 .ssh]$ ssh-copy-id Hadoop102

[h2@Hadoop102 .ssh]$ ssh-copy-id Hadoop103

[h2@Hadoop102 .ssh]$ ssh-copy-id Hadoop104

（3）在Hadoop103，Hadoop104分別進行上述配置．

3.4 Hadoop的安裝

（1）用XShell文件傳輸工具將Hadoop-3.1.3.tar.gz導入到opt目錄下的software文件夾下面；

（2）進入到Hadoop安裝包路徑下，解壓安裝文件到/opt/module下面：

tar -zxvf Hadoop-3-1-3.tar.gz –C/ opt/module

（3）將Hadoop添加到環境變量，運行命令：

vim /etc/profile，在文件末尾添加內容

#HADOOP_HOME

export HADOOP_HOME=/opt/module/Hadoop-3.1.3

export PATH=$PATH：$HADOOP_HOME/bin

export PATH=$PATH：$HADOOP_HOME/sbin

（4）測試Hadoop是否安裝成功；

（5）scp（secure copy）安全拷貝．使用scp命令將Hadoop102中配置好的Hadoop文件夾拷貝到另外2個Hadoop103，Hadoop104中，實現數據的同步．

3.5 HBase的配置

HBase與Hadoop搭建集群步驟[9]類似，Zookeeper作為一個獨立的服務，在功能上與Hbase分開，會使整個分布式系統在功能上更清晰，在設計中使HBASE_MANAGES_ZK=false關閉HBase集成的Zookeeper．單獨構建Zookeeper集群，Hbase集群主要配置參數見表2，文件系統使用HDFS，在Hadoop集群的基礎上完成了HBase集群的部署．

表2 Hbase主要配置參數

3.6 Zookeeper集群

Zookeeper是Hadoop的子項目，是解決在分布式環境下集群的協調同步問題，其部署過程與Hadoop以及Hbase類似，分布式模式下的配置見表3．

表3 zookeeper配置文件

4 自主學習資源平臺功能的實現

4.1 系統主界面的實現

學生用戶可以注冊并登錄此平臺來完成自主學習任務，首先進入課程中心搜索需要課程資源或學習路線，點擊課程可以進入課程詳情界面，可以查看課程相關視頻、下載實驗指導書和配套習題等．同樣，學生可以根據每門課程的學習路線來規劃相應的學習，學習完成后，可以提交課后作業和完成章節測試，來檢驗自己對知識的掌握程度，可以在實踐教學中完成課程所設置的實驗項目．此外，可以進行課程的收藏，也可以在關注和評論模塊對課程進行關注，并進行話題的討論，以達到師生之間的交互．管理員用戶可以在此平臺上進行課程的管理，課程學習路線的發布，與學生進行在線交流，并且可以分析學生學習行為的數據，從而達到更好的學習效果．系統主界面見圖3．

圖3 系統主界面

4.2 學生學習行為數據分析

本系統可以對學生用戶登錄系統的次數、課程瀏覽的次數、課程下載的次數等信息進行采集[10]，從而進行學生自主學習行為的分析，對教師后續的教學起到輔助決策作用．首先，將每個課程訪問的頻率等數據收集下來，利用Flume工具對用戶行為數據的采集；然后，采用MapReduce進行數據的預處理，再將預處理后的數據存儲到MySql表中，對其進行分析；最后，進行可視化數據展示，這樣教師可以更好地根據學生學習情況對課程內容和進度進行及時地調整，達到個性化教學目的．其數據處理分析流程見圖4．

圖4 數據處理分析流程

5 結語

本文采用Hadoop技術框架及其組件，構建了學生自主學習資源平臺，并給出其總體框架結構和系統功能模塊的設計，通過搭建Hadoop平臺，實現學生端和管理員端各模塊功能．學生成功登錄后，可以進行課程學習或下載相關資源，同時還可以和教師進行交流；教師也可以通過此平臺發布課程，實現了教學資源的共享，方便用戶的使用．這極大地提高了學生的學習興趣和主動性，提高了教學質量和教學效果．

[1] 蔣云霞，符琦．基于Hadoop的云教學資源平臺的研究[J]．當代教育理論與實踐，2016，8（4）：3．

[2] 張舜．基于Hadoop的高校數字資源分布式處理系統設計與實現[D]．南寧：廣西大學，2019．

[3] 劉麗娟．基于Hadoop的獨立學院云教學自主學習平臺的研究和實現[J]．自動化技術與應用，2017（36）：12．

[4] 劉瑩．基于Hadoop的高校自主學習平臺的研究與建立[D]．西安：西安科技大學，2014．

[5] 孫國福．基于Hadoop的教學資源平臺建設[J]．電子技術與軟件工程，2020（20）：188-190．

[6] 林中明，李文敬．基于Hadoop的Web用戶識別與新聞智能推薦算法研究[J]．軟件導刊，2016，15（5）：3．

[7] 劉丹，梁麗，曾燕，等．基于Hadoop的云教學資源平臺[J]．長春理工大學學報（自然科學版），2017（40）：6．

[8] 羅光明．基于Hadoop的分布式文件系統實現[J]．西華師范大學學報（自然科學版），2015（1）：95-101．

[9] 譚潔清，毛錫軍．Hadoop云計算基礎架構的搭建和hbase和hive的整合應用[J]．貴州科學，2013（5）：32-35．

[10] 葛蘇慧，萬泉，白成杰．基于Hadoop的高校學生行為預警決策系統研究[J]．計算機應用與軟件，2021（1）：6-12．

Construction of students′ autonomous learning resource platform based on Hadoop

TENG Yanping，ZHANG Yajie，WANG Haizhen，LIAN Zuozheng，LI Ming

（School of Computer and Control Engineering，Qiqihar University，Qiqihar 161006，China）

Aiming at the problem that the traditional organization form of teaching resources，teaching means and teaching content can′t fully meet the needs of students，proposes and designs a cloud platform of computer students′ autonomous learning resources based on Hadoop．The system adopts B/S structure mode and MVC programming mode，and takes MySQL and HBase as the system database to improve the speed and accuracy of resource query and storage．It achieves the purpose that administrators upload courses and students learn independently on demand， analyzes students′ learning behavior data，realizes personalized teaching and individualized teaching，and improves students′ learning efficiency and teaching quality．

Hadoop；independent learning resource platform；MVC；MySql and HBase

1007-9831（2022）11-0077-05

TP311.5∶G642.0

A

10.3969/j.issn.1007-9831.2022.11.015

2022-07-15

黑龍江省高等教育教學改革研究項目（SJGY20190710）；齊齊哈爾大學教育科學研究項目（GJZRYB202007）；齊齊哈爾大學學位與研究生教育教學改革研究項目（JGXM_QUG_2020004）；黑龍江省教育廳基本業務專項齊齊哈爾大學科研項目（135509117）

滕艷平（1965-），女，黑龍江齊齊哈爾人，教授，從事計算機網絡研究．E-mail：typ2732996@163.com