基于大數據背景的Hadoop教學創(chuàng)新實踐仿真研究

趙秀麗 彭銀

摘? 要 以高職院校Hadoop教學資源、實訓設備等極度缺乏的現狀為出發(fā)點，結合學校開設的大數據技術與應用等相關專業(yè)，探討充分利用大數據平臺，整合校企教學資源，開發(fā)Hadoop虛擬仿真教學管理系統(tǒng)，實現Hadoop集群配置管理與應用、實驗輔助教學管理和Hadoop課程資源開放性、共享性、職業(yè)性，推動學校Hadoop課程的虛擬仿真實驗室建設和實踐教學改革。

關鍵詞 Hadoop;實訓設備;高職;大數據技術與應用;教學

資源;智慧教學;虛擬實驗室;虛擬仿真教學管理系統(tǒng)

中圖分類號：TP391.9? ? 文獻標識碼：B

文章編號：1671-489X（2020）01-0053-03

1 引言

大數據已成為時下IT界最炙手可熱的名詞，在全球引領了新一輪信息技術革命的浪潮。因大數據而生的Hadoop可以處理海量規(guī)模的數據，其高可靠性、高可拓展性、高容錯性和高效性的優(yōu)點，一出現就受到眾多大公司的青睞，同時引起研究界的普遍關注。

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構，充分利用集群的威力進行高速運算和存儲，用戶可以在不了解分布式底層細節(jié)的情況下開發(fā)分布式程序，只需要簡單地實現相應的接口即可，完全不用考慮底層數據流、容錯、程序的并行執(zhí)行等細節(jié)，這種設計無疑大大降低了開發(fā)分布式并行程序的難度。并且，Hadoop依賴社區(qū)服務器，其成本比較低。

2016年后，全國各高校先后開設大數據技術與應用專業(yè)，Hadoop課程逐漸登上高校教育的舞臺，但目前國內高校普遍面臨實訓設備、教學資源等缺乏的問題。本文以高職院校Hadoop教學資源、實訓設備等極度缺乏的現狀為出發(fā)點，充分利用大數據平臺，開發(fā)Hadoop虛擬仿真教學管理系統(tǒng)，實現Hadoop集群配置管理與應用，提高學生學習興趣、操作能力、編程能力以及自主創(chuàng)新能力，實現智慧教學，加快學校信息化建設。

2 基于大數據背景的Hadoop教學創(chuàng)新實踐進行仿真研究的意義

Hadoop仿真研究對于解決實訓資源匱乏至關重要? ? 《2017年中國大數據人才發(fā)展報告》指出，大數據人才需求呈現爆炸式增長，但是大數據人才儲備出現極度缺乏的態(tài)勢。2016年后，全國各高校先后開設大數據技術與應用專業(yè)。近年來，由于高校普遍擴招，大數據相關專業(yè)的學生人數越來越多，而受制于實驗室建設費用高昂、實驗指導教師有限等因素，很多院校實驗器材、實驗設備、實驗環(huán)境無法完全滿足Hadoop實際教學環(huán)境的需求。基于大數據背景的Hadoop教學創(chuàng)新實踐的仿真研究能夠一定程度上解決這些問題，而且是一種經濟有效的解決方式。通過仿真實驗的開展，可以使學生對實驗原理、實驗結果進行更深入的了解，掌握Hadoop的關鍵技術，培養(yǎng)學生利用Hadoop

技術解決大數據問題的能力。

Hadoop仿真研究對于Hadoop信息化教學改革尤為重要? ? 《教育信息化“十三五”規(guī)劃》指出，到2020年，基本建成“人人皆學、處處能學、時時可學”的與國家教育現代化發(fā)展目標相適應的教育信息化體系。Hadoop仿真研究是加快大數據技術與應用相關專業(yè)信息化建設的需要，通過建立虛擬實驗室環(huán)境，提供可操作的虛擬實驗設備和實驗輔助教學管理，使學生能夠通過Web界面實現接近真實的人機交互界面完成實驗，提高學生的學習興趣，提升學生利用Hadoop技術解決問題的能力。虛擬仿真的研究，一方面順應了時代發(fā)展的趨勢，另一方面滿足了大數據實訓室建設和Hadoop實踐教學改革與創(chuàng)新的需要。

Hadoop仿真研究對于提高學生運用Hadoop知識解決大數據問題的能力尤為必要? Hadoop仿真研究的課程整合校企資源，采用項目開展實踐教學，知識和能力結構從低到高，涵蓋了Hadoop的關鍵技術。將知識和技能包含在項目中，通過完成項目提高學生利用Hadoop分析大數據問題和解決大數據問題的能力。

Hadoop仿真研究對于實現Hadoop課程資源的開放性、共享性、先進性十分關鍵? 教學資源可以開放、共享，學生和教師可以不受時間與空間的制約，隨時隨地都可以登錄系統(tǒng)進行學習與研究，打破了傳統(tǒng)實驗教學必須依賴具體的設備和受空間約束等問題，真正實現“人人皆學、處處能學、時時可學”。

3 基于大數據背景的Hadoop教學創(chuàng)新實踐進行仿真研究的國內外研究現狀

2008年2月，雅虎宣布搭建出世界上最大的基于Hadoop

的集群系統(tǒng)——Yahoo！ Search Webmap。UC Berkeley等著名高校也對Hadoop進行應用和研究，以提高其整體性能，其Hadoop仿真研究處于國際領先的地位;格拉斯哥大學的Terrier Team擁有超過30個節(jié)點的實驗集群，使用Hadoop

促進信息檢索研究和實驗，處于國際領先地位;內布拉斯加大學的Holland Computing Center擁有中等規(guī)模的Hadoop

機群用于存儲和提供物理數據，在Hadoop的實驗研究中處于國際領先地位。

2008年以后，特別是2015年后，國內對Hadoop進行研究的企業(yè)越來越多，互聯(lián)網企業(yè)成為國內Hadoop研究的中堅力量。黨的十八屆五中全會公報提出要實施“國家大數據戰(zhàn)略”，標志著大數據戰(zhàn)略上升為國家戰(zhàn)略。

2016年，教育部先后設置“數據科學與大數據技術”本科專業(yè)和“大數據技術與應用”高職專業(yè)，Hadoop課程正式登上高校教育的舞臺。Hadoop在高校特別是在高職院校教育中面臨指導教師、學習資源和實訓設備缺乏等諸多問題，Hadoop仿真研究仍處于探索階段。目前，國內有部分高校陸續(xù)開始創(chuàng)建省級Hadoop虛擬仿真實驗機構，但是到目前為止，仍沒有較為完善的Hadoop仿真教學資源，并且存在Hadoop教學資源開放共享程度不夠的問題。

根據國家級虛擬仿真實驗教學中心建設要求，高校虛擬仿真實驗室的管理和共享平臺應該具有擴展性、兼容性和前瞻性，能夠實現校內外、本地區(qū)及更廣范圍內的實驗教學資源共享，滿足多地區(qū)、多學校和多學科專業(yè)的虛擬仿真實驗教學的需求。目前，高校Hadoop虛擬仿真實驗教學項目和實驗教學資源大都僅僅滿足對本校學生開放或者是對較少專業(yè)的學生開放，對周圍高校或更廣范圍的實驗教學沒有較強的輻射作用。

4 基于大數據背景的Hadoop教學創(chuàng)新實踐進行仿真研究的預期成果

通過開發(fā)Hadoop虛擬仿真教學管理系統(tǒng)，不斷優(yōu)化教學資源，推動信息化教學條件下學生自主學Hadoop、探究學Hadoop等實驗教學改革方法，提高教學效率，豐富教學內容，降低成本和風險，開展綠色、開放的實驗教學。該系統(tǒng)主要由Hadoop課程實驗仿真平臺和Hadoop虛擬實驗教學管理系統(tǒng)兩部分組成，可以完全滿足“Hadoop實戰(zhàn)”模擬實驗教學，是真實實驗教學很好的補充，預期成果：能夠模擬實現Hadoop集群搭建和應用的真實實驗中所用到的器材和設備;能夠提供與Hadoop集群搭建和應用真實實驗相似的實戰(zhàn)環(huán)境;能夠提供Hadoop集群搭建和應用全方位的虛擬實驗教學輔助功能，包括實驗預習、實戰(zhàn)項目維護、實戰(zhàn)項目的指導等;通過實現Hadoop虛擬仿真教學，提高學生的自主學習能力和學習興趣。

5 基于大數據背景的Hadoop教學創(chuàng)新實踐進行仿真研究的目標與內容

大數據時代的到來，造成大數據人才缺口較大的態(tài)勢，通過高校教育培養(yǎng)復合型大數據人才迫在眉睫。培養(yǎng)復合型大數據技能人才，Hadoop集群的搭建成為其中最重要的一環(huán)。2016年后越來越多的國內高職高專院校開設了Hadoop

課程，為解決高職高專院校由于教師資源緊缺，教學資源、教學設備、教學環(huán)境等缺乏的突出問題，本課題以Hadoop集群搭建與應用為研究對象，開展Hadoop虛擬仿真教學管理系統(tǒng)研究。通過Java Web開發(fā)技術，開發(fā)Hadoop虛擬仿真教學管理系統(tǒng)。利用該系統(tǒng)，用戶能夠在客戶端通過Web方式學習Hadoop的基礎知識及Hadoop集群搭建與應用的虛擬仿真;同時，系統(tǒng)管理員能夠對學生的實戰(zhàn)項目的進度、效果進行有效監(jiān)督和管理，減輕教師的教學負擔，充分發(fā)揮學生的主觀能動性，提升Hadoop的教學質量，從而真正實現培養(yǎng)復合型大數據技術技能人才的目標。

基于大數據背景的Hadoop教學創(chuàng)新實踐進行仿真研究主要有三方面的內容：智慧教學管理平臺、智慧學習平臺、智慧實訓平臺。智慧教學管理平臺主要實現學生信息管理、課程信息管理、在線考試管理、在線交流;智慧學習平臺主要實現學習實時跟蹤、在線發(fā)布實驗、學習資源庫;智慧實訓平臺主要包括在線交流、在線實訓、實訓資源庫。

6 基于大數據背景的Hadoop教學創(chuàng)新實踐進行仿真研究的方案

系統(tǒng)總體規(guī)劃與設計? 通過大數據平臺，對Hadoop虛擬仿真教學管理系統(tǒng)進行需求分析，確定系統(tǒng)的概要設計與詳細設計，并且確定開發(fā)所需的軟硬件環(huán)境。

課程標準的制定? 課程標準制定依據大數據技術與應用職業(yè)行業(yè)規(guī)范，積極引進行業(yè)、企業(yè)的崗位技能標準，嵌入真實工作任務的大數據技術與應用大賽賽項規(guī)程，建立課、崗、賽融合的課程標準。

課程教學資源的完善，提高教學質量，提升學生崗位適應能力? 依據行業(yè)發(fā)展狀況，服從貴州省“大扶貧、大數據、大生態(tài)”的戰(zhàn)略，對課程內容進行優(yōu)化整合，將與職業(yè)崗位相關的Hadoop新知識、新技術盡可能引入課堂教學項目中，把學生的興趣引導到對新產業(yè)、新知識、新技能的思考中來，確保教學內容與時俱進。形成突出職業(yè)能力培養(yǎng)、項目為導向的教學內容組織，以項目或典型工作任務驅動開展教學，通過實踐項目教學，充分調動學生的學習熱情，提高學生的主動學習能力、團隊合作精神以及協(xié)調能力，進一步提升學生崗位適應能力，提高教學質量。

Hadoop課程實驗仿真平臺和Hadoop虛擬實驗教學管理的實現? 通過仿真平臺和虛擬實驗教學管理，達到Hadoop集群搭建與應用的目的。

7 基于大數據背景的Hadoop教學創(chuàng)新實踐進行仿真研究的科學問題

虛擬化技術? 虛擬化技術是一種資源管理技術，是將計算機的各種實體資源，如服務器、網絡及存儲等，予以抽象、轉換后呈現出來，打破實體結構間不可切割的障礙，使用戶可以運用比原本的組態(tài)更好的方式來應用這些資源。

HDFS? Hadoop分布式文件系統(tǒng)（HDFS）被設計成適合運行在通用硬件上的分布式文件系統(tǒng)。HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上，能提供高吞吐量的數據訪問，非常適合大規(guī)模數據集上的應用。

MapReduce? MapReduce是一種編程模型，用于大規(guī)模數據集（大于1 TB）的并行運算。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。

8 結語

信息化時代，國家倡導發(fā)展“互聯(lián)網+教育”。響應此號召，以Hadoop集群搭建與應用為研究對象，將教育技術與信息技術深度融合，開展Hadoop虛擬仿真教學管理系統(tǒng)研究，實現資源平臺、管理平臺互通，形成優(yōu)質Hadoop課程體系，實現高效Hadoop教學管理，共享Hadoop實訓資源，能有效解決高職高專院校教師資源緊缺，教學資源、教學設備、教學環(huán)境等缺乏的問題，實現網絡化、智能化、個性化的Hadoop智慧教學。

參考文獻

[1]薛占熬，王楠，司小朦，等.多粒度粗糙直覺模糊截集的研究[J].河南師范大學學報：自然科學版，2016（5）：131-139.