大數據分析與應用課程體系構建

王 巖，楊 森，黃 嵐，王康平，鄒淑雪

（吉林大學 計算機科學與技術學院，吉林 長春 130012）

1 大數據社會需求

隨著互聯網技術的廣泛應用與全面普及，數據洪流洶涌而至。自2008 年《自然》雜志提出“大數據”概念[1]起，大數據技術開始涉及我們日常生活的各個領域。在實際生產、消費等過程中會產生大量的數據，這些數據對指導生產過程、市場宏觀調控等發揮著重要的作用。這些數據每天以TB 量級產生，傳統的單機數據處理模式難以應對如此量級的大數據，而大數據技術正好能克服單機處理能力不足的問題。隨著大數據技術的發展，大數據技術廣泛地應用在各個行業中，因此急需一批高質量的大數據從業人員滿足市場需求。以51job 人才招聘網2019年5 月的招聘信息為例，關于大數據的崗位多達2 萬多條（28 832 條）。

在企業實際應用方面，大數據技術正在與數據挖掘、人工智能等技術融合[3]。以大數據為驅動，以數據挖掘、人工智能技術為指導地新的生產方式正在促進生產力的發展。例如智慧城市利用各種信息技術，將城市的系統和服務集成、融合，以提升資源運用效率，優化城市管理和服務，改善市民生活質量。工業4.0 通過數據流動自動化技術，以“互聯網+制造業”的智能生產方式，提高生產效率、節約生產成本。大數據技術正在和其他新興技術融合，從而促進生產力的發展、節約成本、提高管理效率。

2 大數據教學現狀

目前，許多國家都認識到了大數據的重要性并開始實施大數據戰略。美國政府將大數據視為強化美國競爭力的關鍵因素之一，把大數據的研究和生產計劃提高到國家戰略層面。英國在 2017年議會期滿前，開放有關交通運輸、天氣和健康方面的核心公共數據庫，并在5 年內投資 1 000萬英鎊建立世界上首個“開放數據研究所”。法國政府在其發布的《數字化路線圖》中表示，將大力支持“大數據”的戰略性高新技術。鑒于大數據已成為當代國家的競爭力之一，受到許多政府、高校和公司的重視。從2008 年起，美國斯坦福大學就設置了大數據課程作為必修課，把大數據技術作為學生必須掌握的現代科技技術之一。在2009 年后，美國加州大學伯克利分校開設了9 門大數據相關課程。到2018 年為止，美國、澳大利亞、新加坡等國家80%以上的高校開設了大數據課程。表1 是全球部分著名高校開設的大數據及其相關的課程。

2016 年，我國教育部發布的《2015 年度普通高等學校本科專業備案和審批結果》中首次增設數據科學與大數據技術專業。到2018 年為止，全國已有248 所高校開設了大數據專業課程。其中部分高校還建設了大數據學院和大數據研究院。表2 是國內部分高校的大數據課程開設情況。

表1 國外一些高校的大數據課程開設情況

表2 國內一些高校的大數據課程開設情況

3 大數據教學體系構建

大數據課程需以大數據編程語言為基礎、大數據計算框架為核心、大數據算法為升華、大數據應用為落腳石，同時大數據還需結合時代發展的趨勢，融合、接納、包容其他領域專業知識。大數據編程語言作為大數據從業者學習和工作的基本工具，有了大數據編程語言的基礎才能更加深入的了解大數據計算框架的核心思想，從源碼級別理解大數據架構的設計理念。只有理解了大數據框架的設計理念，才能將以MapReduce 為核心的大數據算法合理、高效地部署在大數據計算平臺上。在充分理解、掌握大數據編程語言、框架設計以及大數據算法后，以實際的應用為出發點，靈活運用各種大數據技巧和方法，解決生產、科研中的實際問題，為社會創造價值。目前，大數據相關課程還在建設初期，教學案例還不夠豐富，課程體系建設還有待提高[4]，但相關的課程建設正在積極探索中。大數據課程主要包括大數據存儲、大數據算法、大數據平臺構建等方面，涉及Linux 操作系統的使用，Python、R、Java 等編程語言，Hadoop、Spark、Storm、HBase、Hive 等計算框架，數據挖掘、人工智能、機器學習等大數據算法以及大數據可視化等眾多技術。在實際的大數據應用過程中往往需要結合多種技術，這大大增加了學生的學習難度。

3.1 大數據教學體系整體規劃

在如此龐大的大數據市場和人才培養需求面前，如何合理組織和安排大數據課程的整體教學，已成為急需探討和解決的問題[5]。在國內外高校的大數據教學中，基本把整個大數據的課程分為基礎部分和高級部分，分別在2 個學期授課。其中大數據基礎部分以Python、R、Matlab、Hadoop、Spark、Storm 等編程語言和云計算等大數據基礎框架的學習為主，大數據高級部分則是以大數據分析課程為主，由數據挖掘、人工智能以及大數據實踐等課程支撐。在一些高校中，授課教師除了授課之外，還設置課外大數據實踐課題，學生以小組為單位，完成選定的課題。這些實踐課題的完成程度將會作為期末成績的一部分。在課堂上，授課教師還定期回答學生在實踐過程中留下的問題，學生可根據自己的情況及時發言或討論，從中獲得自己想要的知識。

參照國內外多所高校的大數據教學計劃，依據吉林大學最新教學大綱的大數據教學任務，筆者提出大數據課程教學體系構建方案（如圖1 所示）。在第4 學期的Java 程序設計、Linux 實踐基礎、數據庫技術和算法設計的課程基礎上，在第5 學期開設云計算技術的相關課程，云計算技術課程包括分布式云計算存儲技術、Hadoop、Spark、Storm 等教學內容。學生在學習云計算技術的同時，還需要學習數據挖掘、人工智能等課程。在此學習階段，學生需要學習Python、R、Matlab 等大數據分析編程語言，還要學習常見的數據挖掘、人工智能算法，并且還需要能夠根據實際的應用情況熟練地使用Hadoop、Spark、Storm 等大數據計算框架。在第6 學期，吉林大學還開設了企業實訓大數據、電子商務技術及應用課程，這2 門課程更加強調學生的實踐能力。最后在第7 學期，開設了生物信息學課程，作為部分準碩士研究生的預備課程。大數據課程理論結合實踐，注重程序和架構的設計；結合數據挖掘、人工智能基礎實現電子商務、生物信息學等實踐教學任務。在任務和項目驅動的教學理念下，制訂實踐教學內容（見表3）；強調實踐應用的重要地位，融入大數據框架、大數據數據庫和數據挖掘、人工智能算法等內容，為學生實際操作提供指導。

3.2 大數據程序設計課程

大數據程序設計課程是大數據課程的基礎，側重大數據計算框架部署和理解，同時還需要將Java、Python、R、Shell 和Linux 基礎等多門基礎課程結合。大數據程序設計是大數據教學體系整體框架中的核心部分，也是后期以大數據為核心專業課程開設的基礎。

圖1 以大數據為核心、大數據應用為拓展的大數據課程教學體系

表3 任務與項目為驅動的實踐教學設置

大數據程序設計課程設立在第5 學期，以Hadoop、Spark 大數據計算框架為主，在介紹和講解大數據基本概念的同時，需要學生深入理解框架內部細節，熟悉大數據計算框架的數據存儲、數據傳輸、作業調度、集群維護以及提高大數據代碼調錯能力，并進一步深刻認識和理解MapReduce 的編程思想；同時，在基于大數據計算框架的基礎上，學生還需要熟悉和掌握大數據數據庫技術、常見的大數據數據庫框架，如Hive、HBASE 等，熟練掌握大數據數據庫的增、刪、改、查等操作。通過各章節實例，學生進一步熟練掌握計算機 IDE 編程環境，如Eclipse、IDEA 等，進行程序的編寫和調試；并通過上機實踐學習MapReduce 編程思想、數據分析編程語言以及大數據框架的構成（見表3）。大數據的編程基礎為后續以任務與項目為驅動的教學模式奠定開發基礎；同時，在整個授課過程中，應時時貫徹MapReduce 設計思想，反復強調先設計后動手的軟件工程設計理念，并穿插大數據在企業界的真實案例，給學生以實際應用的宏觀概念，為后續以大數據為核心的數據挖掘實踐課程奠定應用基礎。最終提交設計文檔，并提供程序演示等內容。

3.3 大數據與數據挖掘、人工智能的結合

隨著數據挖掘、人工智能的迅速發展，這為大數據發展帶來了新的契機[6]。大數據與數據挖掘、人工智能的結合是未來大數據發展的前景。

對于大數據開發者來說，大數據與數據挖掘、人工智能的結合既是一個挑戰，也是一個機遇。挑戰是掌握數據挖掘、人工智能技術和算法需要重新投入學習成本；機遇是掌握數據挖掘、人工智能技術的算法之后可讓職業生涯達到一個新的高度。數據挖掘、人工智能技術是一個新的發展趨勢，他們作為大數據課程的另一門連續與延伸性實踐課程，目的是使學生掌握數據挖掘、人工智能基本技術，熟悉各種分類、聚類、神經網絡、強化學習等算法的基本內容，從而為學生結合大數據與數據挖掘、人工智能奠定堅實基礎，有利于廣大學生拓展就業途徑，并提供創業機會，具有良好的社會效益前景。

大數據與數據挖掘、人工智能結合課程仍然以課堂和實踐課程形式進行講授，延續任務與項目為驅動的教學模式，時時講解、時時操作。在講授16 學時基礎課內容后，利用32 學時時間，進行與數據挖掘、人工智能結合的大數據項目的實際操作。搭建開發環境、進行數據預處理、建立模型、選擇參數。例如全國各地房價預測、交通樞紐車輛數量預測等實踐應用（見表3）。同樣，學生以分組分工協作形式完成項目內容，最終提交設計文檔，并提供程序演示等內容。

4 結語

大數據技術作為一門新興的科技技術，已經在各國政府和企業得到了廣泛的使用，并取得了良好社會效益和經濟效益。在近5 年的發展過程中大數據技術結合數據挖掘、人工智能等前沿技術為人類提供了便利、智能的生活方式。在如此龐大的大數據市場和人才培養需求面前，需要提供合理的課程講授體系和實踐內容，構建以提高學生能力和素質為目標的大數據人才培養教學體系架構。