高職大數據技術與應用專業課程教學內容探索與研究

摘要：大數據技術與應用研究方向是將大數據分析挖掘與處理、移動開發與架構、軟件開發、云計算等前沿技術相結合的“互聯網+”前沿科技專業。本專業旨在培養學生系統掌握數據管理及數據挖掘方法，成為具備大數據分析處理、數據倉庫管理、大數據平臺綜合部署、大數據平臺應用軟件開發和數據產品的可視化展現與分析能力的高級專業大數據技術人才。

關鍵詞：大數據技術;Hadoop大數據技術;課程教學

大數據技術與應用專業的主修專業課程分別為：面向對象程序設計、Hadoop大數據技術、數據挖掘、機器學習、數據統計分析、高等數學、Python編程、JAVA編程、數據庫技術、Web開發、Linux操作系統、大數據平臺搭建及運維、大數據應用開發、可視化設計與開發等。本文將介紹該專業中核心課程Hadoop大數據技術課程教學中個人的心得體會。

一、課程定位

《Hadoop大數據技術》是大數據技術與應用專業的核心課程，屬于專業必修課。其前置課程主要有《Linux操作系統》、《數據庫技術與應用》。本課程主要任務是通過“教、學、做”一體化教學，培養學生了解大數據的發展歷史及目前發展的現狀、以及它們的技術特點，從而把握大數據分析未來發展方向，全面掌握大數據的架構原理和使用場景。

二、課程學習目標

本課程要求學生了解大數據的發展現狀，具有分析大數據的基本技能。通過本課程的學習，了解并掌握大數據系統的起源及系統特征、大數據系統的架構及功能設計、大數據系統程序開發、企業大數據案例分析的內容，并在學習過程中，幫助學生形成獨特的思維理念。能夠運用大數據理論知識，處理生活中實際遇到的問題。

課程目標1：使學生初步掌握目前流行的大數據主流技術，理解和掌握大數據技術的基本概念、基本方法和基本技巧。熟悉運用Java語言給出簡單問題的解決方案，并初步建立學生的計算思維模式。

課程目標2：理解和熟練運用分布式文件系統;理解分布式資源管理器基本原理;理解和熟練運用分布式并行處理框架;理解分布式鎖服務概念、讀寫機制、節點數據操作流程、Zookeeper選舉;理解分布式數據庫概念、結構、訪問接口，存儲機制。

課程目標3：理解數據倉庫工具概念、架構，工作原理;理解內存型計算框架概念、RDD、Streaming工作原理;理解分布式消息隊列概念、工作原理、核心API;理解開源日志收集系統概念、結構。

課程目標4：培育和踐行社會主義核心價值觀。教育引導學生把國家、社會、公民的價值要求融為一體，提高個人的愛國、敬業、誠信、友善修養，自覺把小我融入大我，不斷追求國家的富強、民主、文明、和諧和社會的自由、平等、公正、法治，將社會主義核心價值觀內化為精神追求、外化為自覺行動。

1.知識目標

（1）了解大數據發展歷程、基本概念、主要影響、應用領域、關鍵技術和產業發展，并了解云計算、物聯網的概念及其與大數據之間的緊密關系;

（2）熟練掌握Hadoop平臺的安裝和使用方法;

（3）掌握Hadoop分布式文件系統HDFS的重要概念、體系結構、存儲原理和讀寫過程;

（4）了解分布式數據庫HBase的訪問接口、數據模型、實現原理和運行機制;

（5）熟悉Hive的安裝及使用;

（6）熟悉分布式編程框架MapReduce的基本原理和編程方法。

2.能力目標

（1）能夠認識大數據知識體系的輪廓;

（2）會搭建Hadoop大數據開發環境;

（3）能夠熟練掌握分布式文件系統HDFS的使用方法;

（4）能夠使用分布式數據庫對數據進行存儲管理;

（5）能夠使用MapReduce框架處理大數據相關問題。

3.素質目標

（1）在習近平新時代中國特色社會主義思想指引下，踐行社會主義核心價值觀，具有深厚的愛國情感和中華民族自豪感;

（2）培養學生的創新思維和創業意識;

（3）培養學生的團隊協作精神;

（4）培養學生的自主學習能力以及分析問題、解決問題的能力;

（5）培養具有良好的職業素養和勤奮工作的基本素質。

三、課程設計思路

1.設計思想

本課程的設計思路是，作為大數據的入門課程，為學生搭建起通向“大數據知識空間”的橋梁和紐帶，以“構建知識體系、闡明基本原理、引導初級實踐、了解相關應用”為原則，為學生在大數據領域“深耕細作”奠定基礎、指明方向。在每個模塊都安排了入門級的實踐操作，讓學生更好地學習和掌握大數據關鍵技術。

2.課程的重、難點

課程系統講授大數據的基本概念、大數據處理架構Hadoop、分布式文件系統HDFS、分布式數據庫、分布式并行編程模型MapReduce等。在每一單元學習都安排了實踐操作。

重點是大數據存儲、計算。

難點是MapReduce編程。

3.教學方法設計

課程實行理實緊密結合，教師講解理論，學生動手實踐，綜合應用各種教學方法。充分調動學生的學習積極性，注重學生的創新能力、遷移能力與團隊合作能力的培養。

案例教學法：在一些實踐性強的單元安排一些案例進行講解。講練結合：教師講解基本原理，讓學生實踐，在實踐的過程中理解和掌握知識點。

對比教學法：將HBase和關系數據庫進行對比、Shell命令和Java編程進行對比，讓學生更好、更全面的掌握相應知識點。

四、教師能力要求

教師必須理解課程性質，明確課程目標與任務。應知大數據基本知識，掌握大數據系統的設計與開發流程，能夠掌握一定的大數據開發技術，掌握Hadoop相關組件的功能，具備良好的職業素養和嚴謹的工作態度、團隊協作精神、創新意識。

參考文獻：

[1]Tom Wbite編著，王海、華東、劉喻、呂粵海譯《Hadoop權威指南（第4版）》，清華大學出版社，2017年7月，ISBN：9787302465133.

[2]Lars George編著，代志遠、劉佳、蔣杰譯《HBase權威指南》，人民郵電出版社，2013年10月，ISBN：9787115318893.

[3]Edward Capriolo/Dean Wanpler/Jason Rutberglen編著，曹坤譯《Hive編程指南》，人民郵電出版社，2013年12月，ISBN：9787115333834.

[4]Holden Karau/Andy Konwinski/Patrick Wendell/Matei Zaharia編著，王道遠譯《Spark快速大數據分析》，人民郵電出版社，2015年9月，ISBN：9787115403094.

[5]林子雨.大數據基礎編程、實驗和案例教程[M].北京：清華大學出版社，2017.

[6]林子雨.大數據技術原理與應用[M].北京：人民郵電出版社，2016.

[7]李俊杰等.大數據技術與應用基礎項目化教程[M].北京：人民郵電出版社，2017.

[8]薛志東等.大數據技術基礎[M].北京：人民郵電出版社，2018.

作者簡介：顧蓬蓬（1981.11-）男，漢，江蘇省蘇州市人，成都理工大學信息工程學院2007級碩士研究生，蘇州健雄職業技術學院，講師，主要研究方向為：軟件開發技術。