大數據技術基礎課程教學內容設計

劉楊濤 張秋紅 唐丙寅

摘要：社會對大數據技術人才的需求量逐年增加，為了培養適應社會需要的具有較強實踐能力的大數技術人才，必須對大數據技術基礎教學內容進行完善。文章介紹了課程的設計原則和教學目標，確定了貫穿大數據技術中的數據采集、存儲、分析、應用和數據可視化全過程的知識體系，并在此基礎上提出了比較完善的教學內容設計方案。新的教學內容在教學實踐中進行了嘗試，該教學設計方案有利于學習實踐應用能力的培養。

關鍵詞：大數據技術基礎;知識體系;教學內容;設計方案

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）01-0023-03

隨著社會的發展，數據量的激增，原有的數據處理方法已經不能適應社會發展的需要。一種以分布式技術為核心的大數據技術的出現，為海量數據處理提供新的思路和方法，也為企業業務分析和行業發展帶來了新的思維角度，提高了數據應用力，推動社會的影響和發展。大數據技術被越來越多的行業和部門所采用，社會對大數據技術人才需求也在逐年增加[1]。大數據技術的應用關鍵是大數據技術應用人才的培養。為了適應社會對大數據技術人才的需求，目前數百所學校開設了大數據技術專業（方向）。如何培養適應時代需求、具有大數據思維、掌握大數據技術的高素質人才是各校面臨的問題[2]。

大數據技術基礎是大數據技術的基礎性課程，是學習大數據技術的先導課程。為了滿足時代的需求，應完善大數據技術基礎課程的教學內容設計。南陽理工學院是一所應用型本科高校，加強學生的實踐應用能力培養是我們的教學目標之一。設計一套適合學生實踐應用能力培養的大數據技術基礎課程教學內容，有助于提高學生學習的積極性和主動性，提高學生的學習效果和動手能力。筆者以我校的大數據技術基礎教學實踐為基礎，就該課程的教學內容設計問題進行討論，期望給國內同類高校參考和借鑒。

1 教學內容設計的原則

目前國內許多高校都開設了大數據技術基礎，各個學校的教學內容設計上各用特色，但在知識章節上側重點不同。然而，在堅持加強學生實踐應用能力培養的目標下，現有的內容難以滿足需求[3]，需要從以下幾個方面考慮，對教學內容進行重新設計。

1）教學內容應“全”而非“難”。大數據技術基礎是一門技術導論課，有些院校可能只開設該門課程，后續不再開設大數據技術的其他課程，因此在授課內容上應該盡可能地全面，以保證學生較為全面地掌握大數據技術基礎知識。此外，該課程開設時間較早，此時學生掌握的基本理論并不全面，同時有限學時數的限制，因此教學內容不宜難，要考慮學生知識的接受能力，教學深度要適宜。

2）及時更新知識體系統。當前大數據技術迅速發展，不斷有新的技術出現。一些陳舊的技術在實際應用中逐漸被淘汰，可以適當刪減相關內容以節約有限的學時，同時將一些新的技術應用要及時更新和補充到教學內容中去，適應社會的用人需求。

3）重新梳理前后邏輯。不同的學校、不同的專業在開設大數據技術相關課程時，各自體系的邏輯順序不同。在制定教學內容時，也要統籌考慮課程內部的順序以及專業后續課程的邏輯銜接。

4）加強實踐內容設置。豐富完善的實驗教學內容，有助于提高學生的學習興趣。在實踐安排上僅有綜合實習的內容是不夠的，需要增加課內實驗，通過單個課內實驗項目，加強知識的學習和理解，對于課程的學習和學生應用實踐能力的提高有很大的作用。

2 教學目標

大數據技術基礎是大數據專業的基礎性課程，也是其他專業學生學習和了解大數據技術的導論課程。對于應用型本科高校，培養學生具備一定的理論基礎，同時具用良好的實踐應用能力是該類學校的培養目標[4]。因此該門課程的教學目標是通過該課程的學習能夠讓學生掌握大數據的基本概念，了解大數據技術及其應用。具備大數據的思維[5]，能夠按照具體的工程項目的要求，選擇合適的軟硬件設備，設計大數據架構的解決方案。能夠使用Hadoop大數據處理架構及其生態系統，完成分布式存儲系統和分布式運算系統的搭建，能夠使用相應的工具和方法實現大數據的采集、存儲、簡單處理和分析，并實現數據的可視化展示。

3 知識體系

大數據技術是一種海量數據采集及預處理、存儲及管理、數據分析與挖掘、大數據應用與展現及應用等一系列新技術的總稱。大數據技術應用主要圍繞大數據應用中的“數據采集與預處理、數據存儲、數據分析、數據應用與可視化”四個環節[6]。目前，大數據技術主要采用Hadoop大數據處理架構及其生態系統的相關開源軟件[7]，因此課程的知識體系主要是在掌握一定理論的基礎上，主要學習Hadoop大數據處理架構及生態圈相關的數據處理技術、大數據應用與可視化。并在此基本上通過具體的大數據應用案例將相應的知識點進行綜合應用。因此，課程的知識體系分為大數據基礎、大數據存儲、大數據分析、大數據應用4個部分。

4 教學內容設計

4.1 大數據基礎教學內容

大數據基礎主要學習大數據的基本概念、大數據的應用、大數據的關鍵技術、大數據產業的相關情況。內容包括以下幾部分：

1）大數據概述。主要講述對大數據的總體認識，內容包括大數據時代背景、大數據的基本概念、大數據的應用及對社會的影響，以及大數據與物聯網、人工智能的關系。

2）大數據關鍵技術介紹，主要介紹大數據的采集、存儲、分析和應用的相關關鍵技術簡介，貫穿了大數據處理的全過程。

3）Hadoop大數據處理架構。主要介紹目前主流的開源的大數據處理架構Hadoop。

4.2 大數據存儲技術教學內容

大數據存儲技術主要介紹大數據的存儲方法，包括以文件形式存儲數據的HDFS分布式文件系統和以數據庫存儲數據的分布式數據庫HBase兩種。

1）HDFS分布式文件系統。主要介紹HDFS分布式系統的相關概念、基本結構、存儲原理、工作原理及基本操作，以及HDFS編程基礎。

2）分布式數據庫HBase。主要介紹HBase數據庫的特點、應用場景、數據訪問接口、數據模型、工作機制與運行原理、數據集群的安裝配置與操作和HBase Java API編程基礎。

4.3 大數據處理與分析教學內容

大數據處理與分析主要介紹基于Hadoop生態系統的各種大數據處理與分析工具的使用方法。

1）分布式日志采集系統Flume。主要介紹海量日志的采集工具Flume的特點、使用場景、工作原理和使用方法。

2）數據交換工具Sqoop。主要介紹數據Sqoop的特點，應用場景以及使用方法。

3）分布式協調服務的Zookeeper。主要介紹分布式協調服務的概述、Zookeeper的特點、Zookeeper的工作原理和Zookeeper的使用方法。

4）MapReduce分布式并行處理框架。主要介紹Mapreduce架構的基本特點、模型簡介、工作原理和Mapreduce的具體應用。

5）分布式數據分析工具Pig。主要介紹Pig的特點、基本概念、工作原理、使用方法和Pig的應用案例。

6）大數據處理框架spark。主要介紹Spark的特點、Scala語言、Spark運行框架、Spark的部署和應用、Spark編程。

7）分布式數據倉庫Hive。主要介紹Hive出現的背景、Hive的構成、Hive的使用方法和Hive的應用案例。

8）數據可視化。本章內容主要概述什么是數據可視化、可視化的發展歷程和重要作用，介紹桌面可化化、OLAP可視化和Web可視化的方法，重點掌握Web可視化中Echars的可視化編程方法。

4.4 大數據應用教學內容

大數據應用主要介紹大數據技術在各行各業的應用情況以及具體的案例。通過具體的案例講解讓學生了解大數據技術的實際應用方法，提高實踐應用動手能力。

1）大數據在行業各業的應用情況。概述大數據在互聯網、健康醫療、現代農業、現代物流、現代金融和城市管理、數字政府中的具體應用。了解大數據庫在社會生產和生活中具體應用

2）大數據應用案例。本章節內容主要是通過一個具體的大數據應用案例，培養學生的大數據技術的綜合應用能力，該案例要求貫穿大數據的采集與預處理、大數據存儲、大數據分析與可視化。具體的案例如智能推薦系統、用戶網站行業分析、OTA離線數據分析等。

4.5 大數據課堂實驗教學內容

課程的學習僅僅依靠綜合實習是不夠的，必須增加相應的課堂實驗操作，以驗證所學的知識，提高知識的實際應用能力。對于大數據技術基礎而言，一門偏重技術實踐的課程，課程實驗尤為重要。大數據技術基礎課程實驗的內容安排如表1所示。

5主要創新與特色

1）教學內容設計較為全面

根據社會對大數據人才的需求，按照宜“全”忌“難”的原則，既有一定的理論基礎，又有大量的技術應用，建立了較為全面的教學內容。在第一部分大數據基本知識的基礎上，介紹了大數據的架構、處理、分析和應用的各種新技術，涵蓋了大數據處理技術的各個方面。

2）知識體系與科技發展同步

根據大數據技術的發展和應用現狀，及時調整了大數據庫技術的知識體系，保持課堂教學內容與社會技術應用同步。第三部分增加了Flume海量日志采集和Spark處理框架。

3）貫穿大數據技術全過程

大數據應用技術教學內容貫穿大數據采集-存儲-分析-應用的全過程，能更清晰完整地展現大數據技術的全流程。在技術應用部分分為大數據存儲、大數據處理和大數據應用三個層面，全面系統地介紹大數據的應用技術。

4）加強實踐應用能力培養

課程內容更加注重學生的應用實踐能力培養，而非純理論。課程共計設置24個學時的課堂實驗，在教學部分安排2個學時的應用舉例和2個學時的案例講解，有利于提高學生的應用實踐能力的培養，激發了學生的學習興趣。

6 結束語

社會對大數據技術人才的需求量逐年增加，社會需要大量實踐應用能力較強的大數技術人才。實現以提高學生應用實踐能力為目標的教學內容改革，對培養大數據技術人才有重要的意義。本文針對大數據技術基礎的教學目標，結合社會的人才需求，提出了新的教學內容設計方案，包括設知識體系、理論教學內容和實踐教學內容的調整。教學內容安排從基礎理論、基本架構、處理技術和綜合應用這4個方面，由理論到實踐，由簡到難順序向前推進。新的教學內容在教學實踐中進行了嘗試，該教學內容有利于學習實踐應用能力的培養，有助于學生更加深刻理解大數據技術，激發學生學習的積極性，為學生后續大數據技術的學習提供保證。今后，該教學內容存在的不足有待在后期的教學實踐活動中進一步改進。

參考文獻：

[1] 馮永，鐘將，李學明，等.共智融合的大數據智能化人才培養研究與實踐[J]. 中國電化教育， 2021（4）：16-25.

[2] 莫禮平，周愷卿.基于CDIO理念的大數據專業實踐類課程教學設計模式研究[J].現代計算機， 2020（27）：63-67.

[3] 張志偉，房愛東，崔琳，等.新工科背景下大數據專業建設探究[J].攀枝花學院學報，2018，35（5）：107-111.

[4] 周黎鳴，林英豪，李征，等.新工科背景下大數據專業課程建設[J].計算機時代，2021（1）：102-105.

[5] 吳啟明，尹蘭蘭，林芳.地方應用型本科院校人才培養質量保障體系的構建——以數據科學與大數據專業為例[J].高教學刊，2020（26）：146-149.

[6] 許安見，鄒楊.數據科學與大數據專業培養方案探討[J].教育教學壇，2019（5）：45-46.

[7] 王建芳.大數據時代計算機科學與技術專業應用型人才培養研究[J].齊齊哈爾大學學報（哲學社會科學版），2021（3）：185-188.

【通聯編輯：王力】

收稿日期：2021-04-09

基金項目：南陽理工學院“操作系統原理”一流課程建設基本（編號：270112）

作者簡介：劉楊濤（1980—），男，河南羅山人，講師，碩士，研究方向為大數據應用技術。

3290500589214