Hadoop大數據技術課程實踐教學解決方案探索

摘要：詳細介紹了Hadoop大數據技術課程的實踐教學解決方案，包括課程簡介、實踐教學內容規劃、實踐教學平臺選擇、實踐教學方法與手段以及實踐報告的規范。強調了理論與實踐并重，規劃了涵蓋驗證性、綜合性、設計性和創新性實驗的16個實驗項目，提出了五種實踐教學平臺選擇方案，并介紹了多種有效的教學方法。同時，提出了撰寫實踐報告的規范要求。這些解決方案的探索旨在提高Hadoop大數據技術課程的教學質量，培養具備實戰能力的大數據人才。

關鍵詞：Hadoop；大數據技術；實踐教學

一、前言

近幾年，因大數據和人工智能技術在社會的廣泛應用，很多高校相繼開設了Hadoop大數據技術課程。Hadoop大數據技術是數據科學、大數據等專業本科生的一門專業核心課，Hadoop 是當前熱門的大數據處理與分析平臺。通過Hadoop相關課程的學習，學生能夠比較系統地掌握大數據應用的框架，包括Hadoop的基礎組件、原理架構和使用方法，并初步具備大數據應用的開發和能力，為從事大數據處理、應用、開發奠定基礎。

目前，Hadoop大數據技術的課程建設資源還是較少。一方面是因為大數據相關專業是新興的專業，建設時間較短，相關的課程資源不多；另一方面更重要的原因是該課程需要搭建大量實踐環境。因此，Hadoop大數據技術除了考慮實踐課程的內容外，實踐環境或平臺的建設、實踐教學方法與手段，以及實踐報告的規范都是要考慮的問題。在該課程多年的教學基礎上，本文對課程的實踐教學解決方案進行了探索，包括實踐內容的規劃、實踐教學平臺的選擇、實踐教學的方法與手段，以及實踐報告的規范等。

二、課程簡介

Hadoop課程是大數據相關專業，如數據科學與大數據技術、大數據技術與應用、大數據與信息工程等的專業核心課。課程名稱較多，如Hadoop大數據技術、Hadoop系統搭建與項目實踐、Hadoop大數據技術與應用等。其前導課程包括大數據導論、Java面向對象編程語言、數據庫原理與應用和Linux操作系統等。該課程涉及理論部分和實踐部分，一般為64學時，理論與實踐教學各32學時。

三、實踐教學內容規劃

Hadoop課程的內容大多圍繞其生態圈構建，Hadoop生態圈組件眾多，常見的包括HDFS、Yarn、MapReduce、HBase、Hive、Pig，Flume、ZooKeeper、Ambari和Mahout等[1-2]，如圖1所示。

在多年的實踐教學中，作者基于教材《Hadoop大數據技術與應用》（浙江科學技術出版社）[3]，對Hadoop生態圈的各組件進行了實踐教學內容規劃，將32學時的實踐分為16次課（每次課2學時），每次課安排一個實驗，包括驗證性實驗10個、綜合性實驗1個、設計性實驗4個、創新型實驗1個，見表1。其中，實驗類型的驗、綜、設、創分別表示驗證性、綜合性、設計性和創新性實驗。

四、實踐教學平臺的選擇

Hadoop課程在許多高等院校的計算機和大數據相關專業普遍開設，但由于Hadoop實踐課程對設備的依賴性較高，部分院校在教學平臺上的建設滿足不了該課程的需求。因此，學生的實踐教學平臺選擇決定了教學的質量，教學平臺的選擇顯得十分重要。根據近幾年的教學經驗，可以通過以下幾種方式構建教學實踐平臺。

（一）教師學生自行搭建

教師課前在教學電腦上搭建好環境，把搭建的方法傳授給學生，學生在個人電腦上完成實驗環境的搭建，并在此環境下完成課程實驗。

該方式對教師和學生的要求較高，工作量較大。要求授課教師對搭建各種環境十分熟練，能及時解決學生遇到的各種問題，同時對學生個人電腦硬件（CPU、內存和硬盤等）有一定的要求。學生通過該方式完成實驗后，能扎實掌握Hadoop相關內容，但也存在實驗環境搭建不成功的個例，適合動手能力較強的學生。

（二）實驗室統一搭建

實驗室統一搭建Hadoop環境，并在Hadoop環境上分別搭建其他實驗環境供學生實驗課使用，學生不必為搭建實驗環境操心，可以專心完成每部分的實驗內容。

該方式需要實驗室搭建多個實驗環境，對實驗室工作人員要求較高，不利于多個連續或關聯性的實驗，適合動手能力較弱的學生。

（三）校企合作共建實驗平臺

部分高校與企業合作，充分利用企業現有的資源與實踐平臺，如與中科曙光瑞冀教育中心以校企合作方式共建專業，并利用企業的人才、技術和數據等資源進行教學。該平臺以集群作為基礎，以私有云的方式搭建名為LSN的課程管理系統，該系統提供了完成的Hadoop課程全部實驗環境，課程界面與實驗平臺如圖2和圖3所示。

該方式利用與企業共建的實驗平臺，學生能在宿舍或實驗室登錄到LSN系統，利用干凈的實驗環境重復實驗，大大提高教學質量。該方式能發揮行業辦學優勢，加快培養符合大數據行業發展所需的技術人才。

（四）利用現有的教學實踐平臺

利用現有的教學實踐平臺，如頭歌實踐教學平臺或中國大學MOOC等，找到相關課程進行實踐教學，如圖4和圖5所示。

該方式比較容易實現，學生不受環境限制，但部分平臺可能會有一些要求，如收取一定費用。

（五）多種平臺相互結合

綜合利用以上平臺進行實踐，如個別實驗對環境要求較高，或個人電腦上搭建不成功時，可利用其他平臺進行補充實踐，其優點是充分利用學生和平臺的特點，因材施教。

五、實踐教學的方法與手段

Hadoop大數據技術的實踐教學是培養學生掌握大數據處理能力的重要環節，通過多年教學的總結，以下是一些可行的實踐教學方法與手段。

（一）理論學習與講解

學生需要掌握大數據的基本概念、Hadoop生態系統組成、HDFS、MapReduce、YARN等基礎知識，通過講解經典的Hadoop應用案例，有助于學生理解Hadoop在實際場景中的應用。理論學習與講解作為學生入門環節的教學手段必不可少，有助于學生理解掌握課程的全貌。

（二）實驗室教學

通過讓學生搭建Hadoop集群環境，可以是物理服務器或虛擬化環境，讓學生熟悉Hadoop的安裝和配置。在此基礎之上，學生在自己搭建的環境下進行文件操作、WordCount等基礎實驗，讓學生熟悉Hadoop的操作流程。

（三）項目驅動學習

可將學生分組，每組完成一個基于Hadoop的大數據分析項目，如日志分析、數據查詢等。然后以項目的方式進行實施，讓學生體驗項目開發從需求分析、設計、實現到測試的全過程生命周期。

（四）互動式教學

鼓勵學生在課堂上提問和討論，通過互動深化對知識的理解。采用翻轉課堂或在線開發課堂，讓學生在課前學習理論知識，課堂上或以在線方式進行問題討論和實驗操作。

（五）實踐考核

要求學生撰寫實驗報告，總結實驗過程和結果。項目完成后，進行項目答辯，檢驗學生的學習成果，該方法作為課程實驗報告或課程大作業均有效。

（六）企業實戰

引入企業的真實數據案例，讓學生在模擬的企業環境中進行數據分析。邀請企業中的大數據工程師作為導師，指導學生的實踐學習，該方法在部分院校中取得較好的效果。

（七）在線學習資源

利用在線課程資源進行Hadoop相關課程的學習，作為課程輔助學習手段。鼓勵學生參與Hadoop相關的技術論壇和社區，如Apache Hadoop官網、CSDN論壇等。

六、實踐報告的規范

Hadoop大數據技術實踐報告是學生在完成Hadoop相關實驗或項目后撰寫的文檔，用于記錄實踐過程、分析問題、總結經驗和展示成果。一般包括以下幾方面：

第一，封面。一般含有：實驗題目、學生姓名、學號、指導教師姓名、實踐日期和提交日期等信息。

第二，實踐環境。包括硬件環境（服務器或虛擬機配置）和軟件環境（操作系統、Hadoop版本、其他相關軟件），一般由教師提前完成填寫。

第三，實踐內容、實驗目的和實驗步驟?？捎衫蠋熥珜懀部捎蓪W生根據理解填寫。

第四，實驗結果。由學生撰寫。

第五，結果分析、討論及總結。對實踐過程中獲得的數據進行分析，對實踐成果進行評價，對遇到的問題深入討論，進行總結。

實踐報告的撰寫還需統一格式，如字體、字號、段落、間隔、圖表、代碼長度等。遵循以上規范，可以撰寫出一份結構清晰、內容完整、格式統一的Hadoop大數據技術實踐報告。

七、結語

本文通過多年的教學經驗，就Hadoop大數據技術課程實踐教學的解決方案進行了探討，包括Hadoop大數據技術的課程簡介、實踐教學內容的規劃、實踐教學平臺的選擇、實踐教學的方法與手段，以及實踐報告的規范等，希望對Hadoop大數據技術相關課程的任課教師有參考或借鑒作用。

參考文獻

[1]Tom White.Hadoop權威指南：大數據的存儲與分析（第四版）[M].北京：清華大學出版社，2017.

[2]許桂秋，孫海民，胡貴恒.大數據處理技術基礎與應用（Hadoop+Spark）[M].北京：人民郵電出版社，2024.

[3]方曙東，許桂秋.大數據技術與應用[M].杭州：浙江科學技術出版社，2020.

基金項目：廣東省本科高校在線開放課程項目“在線開放課程驅動高?；旌辖虒W變革研究——《Hadoop大數據技術》在線開放課程的建設”（項目編號：2022ZXKC593）

作者單位：廣州城市理工學院計算機工程學院

責任編輯：王穎振 楊惠娟