Spark實時大數據處理技術在線開放課程建設與實踐

朱常鵬 劉元超 李剛

摘 ?要：隨著移動互聯網的發展，大數據相關技術的廣泛應用成為未來發展的必然趨勢，推動社會對大數據人才需求的快速增長。文章通過對重慶理工大學數據科學與大數據技術專業“Spark實時大數據處理技術”在線開放課程的建設，從課程開設背景出發，對課程建設基礎、課程設計情況以及課程建設措施三個方面進行詳細闡述。在線開放課程的建設與實踐進一步深化了教育教學改革，提高了教學與人才培養質量。

關鍵詞：Spark;實時大數據處理;在線開放課程

中圖分類號：TP311;G434 ? 文獻標識碼：A 文章編號：2096-4706（2021）12-0195-04

Abstract： With the development of mobile internet， the wide application of big data related technologies has become an inevitable trend of future development， promoting the rapid growth of social demand for big data talents. Based on the construction of the online open course "Spark real-time big data processing technology" for the major of data science and big data technology of Chongqing University of Technology， this paper expounds it in detail from three aspects of the course construction basis， course design and course construction measures under the background of the course offering. The construction and practice of online open courses have further deepened the education and teaching reform and improved the quality of teaching and talent training.

Keywords： Spark; real-time big data processing; online open course

0 ?引 ?言

移動互聯網的日益發展產生了海量數據，大數據處理技術在此情境下應運而生。大數據處理技術與實體經濟的深度融合，使得大數據處理技術不僅在互聯網領域的應用越來越廣泛，也進一步推動了產業互聯網的發展，助力產業轉型升級。社會對大數據技術人才的需求越來越迫切。數據科學與大數據技術專業作為新興專業，我校旨在籍此培養滿足社會需求的各類大數據專業人才。在這一背景下，我校針對大數據專業核心課程“Spark實時大數據處理技術”進行在線開放課程建設。希望通過在線課程的建設與實踐，進一步提高大數據專業中教師“教”與學生“學”的質量，為社會培養高質量大數據人才提供堅實后盾。

1 ?課程開設背景

數據科學與大數據技術專業，是我校為順應信息技術發展潮流而于2017年開設的新專業，隸屬兩江人工智能學院。2018年，該專業成為首批重慶市高校大數據智能化類特色專業，成為重慶市教委重點建設的專業。“Spark實時大數據處理技術”是數據科學與大數據技術專業的核心課程，開設于2019—2020學年。2019年，“Spark實時大數據處理技術”在線開放課程獲批我校校級在線開放課程。本課程前期面向本專業的所有學生和學院其他專業的部分學生，隨后逐漸向全校在讀學生開放。初期授課對象約為120人。隨著社會對大數據與人工智能人才需求的快速增長，預計全校范圍內的授課對象規模將大幅增加。作為數據科學與大數據技術專業的核心課程，核心與基礎是“Spark實時大數據處理技術”的主要特色，它為大數據開發與智能分析等后續課程提供基礎性支撐。

隨著新興信息技術對大數據與人工智能依賴程度的提高，社會對大數據人才的需求將快速增加。本課程不僅僅是數據科學與大數據技術專業的核心課程，將來也會成為整個信息技術專業的核心課程。為進一步深化教育教學改革，提高教學質量，進行“Spark實時大數據處理技術”在線開放課程建設研究與實踐具有重要意義，可推進基于信息化技術教學模式優化和優質資源共享，實現網絡環境下的人才培養新模式。[1-3]

目前較有影響力的同類課程來自廈門大學與電子科技大學。但作為新興專業，大多數國內高校的課程建設尚處于起步階段。希望通過對該課程在線開放課程的建設，使其既能滿足專業、學院與學校的教學要求，又能達到國內同類課程的頂尖水平。

2 ?課程建設基礎

目前，“Spark實時大數據處理技術”在線開放課程已具備以下基礎：

（1）符合本校2019版人才培養計劃的教學大綱。

（2）覆蓋本課程所有知識點的教案與課件。

（3）經典的大數據使用案例。

（4）自主構建的大數據實驗環境。

數據科學與大數據技術作為一門新興學科，目前可供借鑒與參考的教學資料較為匱乏。課程已具備的主要教學資源為課件與經典大數據應用案例，具體為：

（1）“Spark實時大數據處理技術”課件。

（2）基于Spark的交通大數據處理與智能分析案例。

（3）基于Spark的車輛軌跡分析案例。

（4）基于Spark的朋友圈分析案例。

3 ?課程設計情況

針對“Spark實時大數據處理技術”在線開放課程的設計情況，下文從課程具體設計及課程視頻資源情況兩個方面進行介紹。

3.1 ?課程具體設計

課程具體設計涉及課程每章節教學目標、教學設計與方法、教學活動與評價等方面。

3.1.1 ?第一章Spark架構介紹與RDD

本章的教學目標：講授Spark的基本架構、工作流程與其核心——RDD。通過第一章的學習，學生應該熟悉掌握Spark的基本知識，為后續開展基于Spark的編程奠定基礎。

教學設計：以Spark架構圖為基礎，重點介紹Spark大數據處理的工作流程，以及Spark大數據處理的核心——RDD。

教學活動：本章包含10學時的理論教學與6學時的實驗教學，通過理論與實驗相結合的教學方法，提高學生對Spark架構的理解及其實際動手能力。

3.1.2 ?第二章Spark SQL

本章的教學目標：講授Spark SQL的編程技巧與實際應用。

教學設計：以傳統的SQL語言為比較對象，首先重點講授基于RDD的datasets和data frame概念，然后講授Spark SQL如何處理結構化的數據。

教學活動：本章包含6學時的理論教學與4學時的實驗教學，通過理論與實驗相結合的教學方法，提高學生對datasets、data frames和Spark SQL的理解與實際動手能力。

3.1.3 ?第三章Spark MLlib

本章的教學目標：講授基于Spark的人工智能技術——Spark MLlib。

教學設計：以傳統的機器學習算法為比較對象，講授如何使用Spark MLlib提供的經典機器學習算法——回歸、分類算法與聚類算法進行基于大數據的機器學習。

教學活動：本章包含8學時的理論教學與4學時的實驗教學，通過理論與實驗相結合的教學方法，提高學生對機器學習和Spark MLlib的理解與實際動手能力。

3.1.4 ?第四章Spark Graphx

本章的教學目標：講授基于Spark的圖計算技術——Spark Graphx。

教學設計：首先通過社交網絡的案例，講授圖的概念以及需要圖計算的原因。然后講授如何使用Spark Graphx進行圖計算的編程。

教學活動：本章包含6學時的理論教學與4學時的實驗教學，通過理論與實驗相結合的教學方法，提高學生對社交網絡、圖計算和Spark Graphx的理解與實際動手能力。

3.2 ?課程視頻資源情況

本課程視頻資源情況如表1所示。

4 ?課程建設措施

為保障“Spark實時大數據處理技術”在線開放課程建設的質量及可持續性發展，采取以下課程建設措施，包括課程建設與維護計劃及措施、預期效果等方面：

（1）深入研究現代教育理論在“Spark實時大數據處理技術”在線開放課程中的體現方式，樹立先進的教學理念，加強基礎，重視課程教學過程中對學生的素質培養，提高學生的動手實踐能力。圖1、圖2、圖3、圖4展示了一個使用貝葉斯分類算法進行學生性別識別的實際案例。圖1兩個關鍵特征，列出學生的兩個關鍵特征聲音和頭發，用于判別學生的性別。圖2判別樹的構造，展示了在判別過程中，不斷地通過同學的性別構建出二叉樹來學習這兩個特征對性別的影響程度，從而構建出一個識別器模型。在模型構建中，通過頭發或聲音的構建思路或策略分別如圖3、圖4所示。通過采用經典信息熵的方式得出，先通過聲音這一特征，然后再通過頭發這一特征進行判別樹的構造具有更好的準確性。

（2）完善現有的“Spark實時大數據處理技術”在線開放課程電子教案，增加多媒體動畫演示及擴展知識面的素材，提高電子資源的數量和質量。通過網上教學和輔導，提高教學效果和教學質量。圖5、圖6錄課視頻展示本課程核心內容RDD的部分內容。通過具體例子Filter闡述轉化操作的含義及作用。圖5Filter操作的作用，講述了Filter函數的具體作用。圖6Fliter函數的計算過程與返回結果，講述了該函數的執行過程與返回結果。

（3）基于自主構建的云平臺，利用已有的技術[4，5]，建立并完善開放的Spark運行環境，為全校師生提供免費的基于Spark的大數據處理服務。圖7為云平臺登錄界面，展示了該平臺的登錄界面。學生通過輸入學號和密碼可以登入該平臺，進行Spark程序的執行與學習。圖8為Spark程序上傳界面，展示學生登入云平臺之后，可以上傳待運行的Spark代碼，同時可以修改或刪除已上傳的代碼。在此之后，通過圖9 Spark運行環境配置界面，進行Spark運行環境的設置，比如設置執行器的數量和內存大小。最后點擊圖9中的運行按鈕就可以在云平臺上運行自己的Spark程序。

（4）開發基于Web的交互教學平臺，綜合多種電化教學手段，構建網絡信息環境下的教學平臺，讓網絡資源成為理論教學的一種拓展，改變教師的教學觀念、教學方法以及學生的學習方式、思維方式。

（5）積極開展“Spark實時大數據處理技術”在線開放課程的教學改革和教學創新等方面的研究，積極吸取國內外先進的教學理念，使“Spark實時大數據處理技術”的教學體現出一流的水平和鮮明的特色，并積極推廣教學研究成果，發表高水平的教研論文。

（6）不斷加強與國內外高校的教學交流和研討，加強“Spark實時大數據處理技術”在線開放課程多媒體資源的推廣和交流，加強實驗室的建設與管理，搭建共享實驗平臺，使該課程具有示范和輻射作用。

5 ?結 ?論

隨著大數據技術企業應用的不斷創新發展，社會對大數據人才的需求量日益增長，大數據人才培養問題顯得愈發重要。我校開設的數據科學與大數據技術專業已成為重慶市高校大數據智能化類特色專業。“Spark實時大數據處理技術”課程作為該專業的核心課程，其重要性顯而易見。“Spark實時大數據處理技術”在線開放課程已立項為我校校級在線開放課程。本文從課程開設背景、建設基礎、課程設計情況、建設措施四個方面闡述了“Spark實時大數據處理技術”在線開放課程建設研究與實踐過程。進行該課程在線開放課程建設研究與實踐具有重要意義，進一步深入優化課程教學，助推教育教學改革和教育制度創新，提高了教育教學質量。

參考文獻：

[1] 李曉鋒.從精品開放課程到在線開放課程：精品課程建設理念與實踐的轉型 [J].中國教育信息化，2021（1）：15-18.

[2] 楊文武，張海防.共享理念下高校繼續教育信息化建設研究——以江蘇省為例 [J].中國成人教育，2021（9）：61-65.

[3] 劉允，王友國，羅先輝.地方高校在線開放課程建設實踐與探索——以南京郵電大學為例 [J].教育與教學研究，2016，30（8）：69-73.

[4] ZHU C P，HAN B，ZHAO Y L. A bi-metric autoscaling approach for n-tier web applications on kubernetes [J/OL]. Front. Comput. Sci.，2022，16（3）：163101.https：//doi.org/10.1007/s11704-021-0118-1.

[5] ZHU C P，HAN B，ZHAO Y L. A Comparative Study of Spark in the bare metal and kubernetes [C]//2020 6th International Conference On Big Data and Information Analytics，2020.

作者簡介：朱常鵬（1981—），男，漢族，湖北仙桃人，講師，博士研究生，主要研究方向：大數據、云計算;劉元超（1979—），女，漢族，山東德州人，講師，碩士研究生，主要研究方向：教學管理;李剛（1968—），男，漢族，四川瀘州人，教授，博士研究生，主要研究方向：軟件工程、人工智能。