《大數據處理框架技術》課程思政設計與實踐

劉海 彭云峰 賈偉峰 王波

摘要：發掘課程內容蘊含的思政元素，融入專業知識和技能的教學過程，是高?！罢n程思政”工作全面推進的重要內容。《大數據處理框架技術》作為大數據專業的專業核心課，同時作為大數據處理流程中最重要的一個環節，課程具有十分重要的承上啟下的作用。在課程的教學目標中，提到最多的就是工程思想，這與現實生活中的優秀工程思想“紅旗渠”精神存在一定的契合度。進一步地深入挖掘發現，課程中的RDD設計思想與“紅旗渠”精神中的“團結協作”精神要點可以進行有效融合。該文就以上所述內容的課程思政設計與實踐過程展開了詳細的闡述與總結。

關鍵詞： 課程思政; 紅旗渠精神;RDD設計原理;團結協作

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）12-0132-03

開放科學（資源服務）標識碼（OSID）：

1 引言

《大數據處理框架技術》是大數據專業的一門專業必修課，課程對于學生認識大數據的處理流程和處理原理具有十分重要的意義。而在眾多的大數據處理框架技術中，Spark以其高效的內存計算在迭代計算領域逐漸拔得頭籌，目前Spark的使用趨勢從2015年開始已經超越Hadoop的市場占比[1]。Spark內存計算的本質又是以RDD為數據基礎的數據集轉換和行動操作，各個操作最終形成了記錄數據集變化的DAG圖，為減少各階段之間的串行依賴，提高并行計算能力，就需要盡可能地減少RDD運行的階段數量，RDD在Spark中的運行過程如圖1所示。因此RDD工作原理和階段劃分的講解在每年的課程講解中都需要花費大量的時間和精力。

2021年中國共產黨迎來百年華誕，7月1日，習近平總書記在慶祝大會上做了重要講話（簡稱“七一”重要講話，下同）?！捌咭弧敝匾v話為各行各業的發展指明了前進的方向，也為高校課程思政教學提供了豐富的精神資源[2]。習近平總書記一貫重視高校思政教育，多次指出各類課程應與思想政治理論課同向、同行，強調“要堅持顯性教育和隱性教育相統一，挖掘其他課程和教學方式中蘊含的思想政治教育資源，實現全員、全過程、全方位育人”?！捌咭弧敝匾v話也為《大數據處理框架技術》教學指明了新的方向和新的思路，《大數據處理框架技術》課程的教學目標中提到最多的就是工程思想，那么可以把現實的某一具體工程設計思想融入課程，也可以進一步把符合工程思想的“紅旗渠精神”融入課程。

2 RDD課程思政設計思路

20世紀60年代，河南安陽林州人民在太行山懸崖峭壁上修建了舉世聞名的“人工天河”——紅旗渠，孕育形成了“自力更生、艱苦創業、團結協作、無私奉獻”的紅旗渠精神[3]。紅旗渠精神中的“團結協作”精神要點是對當年30萬林縣人克服重重困難于物資不足、糧食不足的環境中在短短10年間就完成了舉世矚目成績的體現。30萬人不是一個小的數字，30萬人的組織和協調也不是一件簡單的事情，其需要工程項目組織者認真籌劃項目的各個階段，并有效地把具體任務分配到各個工人，更重要的是要協調各個工人之間的任務銜接，只有這樣，才能把團結起來的30萬人的工作效率發揮到最大。

而在RDD的設計原理中，同樣體現著在數據已知、計算資源已知的前提下，各個RDD如何有效的分工協作才能最大化提高計算效率的思想。RDD的設計原理在于實現RDD之間更多并行的操作，減少RDD之間的串行操作。因為RDD之間存在著前后相互依賴的關系，后續RDD的執行需要等待其前面相依賴的所有RDD都執行完畢。但是并不是所有的RDD之間都存在直接的依賴關系，對于在同一空間和時間沒有相互關系的RDD就可以實行并行的操作，這樣就可以最大化減少數據處理的整體時間。

根據《大數據處理框架技術》課程的教學目標，課程希望學生在教學實驗中以團隊為主體協作完成大數據系統的分析與設計工作，并不斷進行自我完善，優化知識結構以適應其他需求。因此RDD的設計理念與紅旗渠精神中的“團結協作”要點是一致的，當面對修建紅旗渠這一重大任務時，科學的協作會發揮出更大的效率。

3 RDD課程思政設計與實踐過程

3.1 RDD設計背景

Spark是一個基于內存迭代計算的大數據計算模型，它的出現改變了Hadoop的MapReduce計算模型，由于其強大的計算機能力和運行效率，Spark迅速進入了大數據開發人員的視野，占領了大數據計算的主要市場[4]。RDD是Spark解決迭代計算的核心思想，通過將計算數據保存在分布式的內存中以此減少IO操作，這也是Spark基于內存計算的由來[5]。迭代式算法（比如機器學習、圖算法等）和交互式數據挖掘工具共同之處在于不同計算階段之間會重用中間結果，Hadoop采用的是磁盤讀寫的方式，也就是說對于每一次計算而言，計算開始都要從硬盤讀取數據，計算結束后再把結果寫入磁盤，磁盤的讀寫浪費了大量的時間。以上內容為教師在課堂上所要講授的專業知識內容。

上述所講授Hadoop工作過程與紅旗渠修建過程相比較的話，就好比在修建紅旗渠過程中，如果每做完當天布置的任務就要跑回林縣縣城指揮部獲取明天的任務，則時間都花在了冤枉路上。此處對應于實際的教學過程中，教師要通過知識的講解和提問以及學生發言等方式引導學生通過RDD內存計算的優勢去解決紅旗渠修渠過程中的每日任務獲取問題。

3.2 RDD的概念

那么在修建紅旗渠的過程中碰到上述問題怎么辦呢？讓同學們以小組為單位思考并討論5分鐘，此處踐行了CDIO工程教育理念中的“構思”過程。所謂CDIO工程教育理念是以構思（Conceive）、設計（Design）、實施（Implement）、運行（Operate）等全生命周期為載體，培養學生的基礎知識、工程實踐能力、自主學習能力和團隊協作能力等四個方面的預期目標[6-7]。不同于傳統的老師教學生學的方式，CDIO工程教育理念更多的是希望學生在老師的引導下，能體現學生以學為中心，能針對某一問題獨立進行構思、設計、實現和運行[8]。為提高同學們討論和回答問題的積極性，可以通過設置平時成績加分項等激勵性措施鼓勵大家自由發言，對于發言較好的同學增加相應的平時成績，同時為培養學生的團隊協作意識，尤其鼓勵學生以小組為單位的協作式回答問題或者主動上講臺進行翻轉課堂教學。

學生討論的結果大致可以分為總指揮部轉移到現場和工人多記住幾天任務兩種。對于總指揮部轉移到現場的情況，其在根本上不能實質性地解決問題，因為紅旗渠工程太大，不可能全部靠近所有工人。因此要想在根本上解決問題，正確的策略應該是讓工人記住更多的任務。對于數據計算而言，人的記憶力就相當于內存計算。

3.3 RDD之間的依賴關系

對于紅旗渠建設這樣一個宏大的工程，在缺水缺資源的艱苦環境下，只有盡快地完成整個工程的修建，才能解決林縣長期缺水的問題，也才能在有限的資源下發揮最大的價值。因此單個工人的效率不代表整個工程的效率，整個工程存在多個子項目，子項目之間有的存在依賴關系，有的不存在，只有充分調動不存在依賴關系的子工程同時開工，才能在整體上提高工程的效率。此處需要引導學生思考對于RDD計算而言的話，在眾多的RDD之中，哪些RDD之間是存在相互依賴關系的，哪些是不存在相互依賴關系的，現在RDD數量已知，那么如何用最短的時間讓所有的RDD都計算完畢就成為RDD設計的關鍵因素。很明顯，RDD的設計與紅旗渠的建設在原理上是相同的，同紅旗渠建設過程相似，RDD之間也是存在直接依賴或者間接依賴關系的基于內存的數據集，只有讓盡量多不存在直接依賴關系的RDD同步并行執行，才能最大限度上提高大數據處理的整體效率。上述過程對應于CDIO工程教育理念中的初步“設計”過程。在實際的教學過程中，教師要以紅旗渠建設這一實際的工程問題解決方案為基礎，首先引導學生去思考實際的紅旗渠建設子項目間的協作方案，在此基礎上，再引導學生轉入RDD之間的協作方案解決思路。

3.4 RDD階段之間的劃分

通過RDD中的轉換（Transformation）操作方法和行動（Action）操作方法，可以剖析出所有RDD之間直接或者間接關系的DAG圖，DAG圖對應到紅旗渠建設過程中，相當于紅旗渠建設的子工程時間計劃表。那么如何劃分RDD之間的同步并行或者異步串行過程呢？按照上面所述，要想辦法讓更多的RDD同步并行才能最大限度上提高整體的工作效率。在實際的教學過程中，此處要引導學生按照時間順序和子工程的銜接性進行階段的劃分。以修紅旗渠來說，首先要勘測水平，確定整個渠道從上游到下游之間的高度差。這步完成之后，才能進行炸山和挖渠的過程，這一過程與前一過程是不能同時進行的，因為這一過程要完全依賴于上一過程的結果，但是這一過程與下一過程對渠道進行修葺和涂抹防滲水材料的過程是可以同時進行的。最后整個實質過程完成之后，就是紅旗渠的通水過程了，紅旗渠的通水過程又是一個不能與前一過程并行執行的過程，通水的前提在于前面所有的工程都順利完成。因此，對于修建紅旗渠而言，可以把能同時運行的子項目都劃分到一個階段，而把不能同時運行的存在前后依賴關系的子項目劃分在不同的階段。劃分階段的過程也是提高整體工程效率的過程，階段越少，一方面各個階段包含的能并行執行的子項目越多，另一方面整個工程總的運行時間越短。既然目前已知階段的減少可以提高整體工程的效率，那么接下來面臨的問題就是如何進行階段的劃分才能使得階段的數量最少。現在整個工程的各個子項目及子項目間的關系已知，按照工程從開始到結束的時間進行劃分的話，固然可以。按照反推法，從工程結束往前倒推的方法也是可以的。此處需要讓學生首先在小組內討論得出各自小組的結論，然后再在課堂上現場進行翻轉課堂教學闡述各自小組的觀點，進而在整體的討論中對比分析，從而得出最優的結論。

現在類比到RDD中，可以發現與修建紅旗渠的情況幾乎是一樣的，各個RDD之間的關系已知，并且組成了相應的DAG圖。為了提高RDD的整體運行效率，也就要讓整個RDD運行過程中用最少的階段執行最多的并行RDD任務。那么采用什么方法對RDD進行階段劃分才能實現階段的最小化呢？通過討論可以知道學會使用反推法，在結果已知的情況下，那么就從最靠近結果的RDD開始，把RDD有直接關系的劃分到一個階段，沒有關系的劃分到不同的階段，并且要盡可能少劃分階段，此問題即可解決。上述過程對應于CDIO工程教育理念中的“設計”和“實現”過程。

3.5 階段考核

上述通過CDIO工程教育理念，結合講授法、引導法、討論法和翻轉課堂等教學方法對知識講解完畢后，接下來就需要對學生的課堂學習效果進行測試，題目可以采用“學習通”平臺進行發布，根據“學習通”上的測試成績就可以實時地分析出學生的課堂學習效果，因此整個過程是可評估的，學生也是有獲得感的。因為在此過程中，學生不僅收獲了對專業知識的掌握，也收獲了對現實工程問題的解決思路的掌握，更收獲了紅旗渠精神中的“團結協作”精神要點的精髓，最后也收獲了使用CDIO工程教育理念解決復雜問題的能力，所謂“授人以魚不如授人以漁”，掌握學習的方法要比掌握知識本身更重要。從課程教學目標考慮，本課程通過融入紅旗渠修建過程中的“團結協作”理念，可以使學生理解團結協作解決復雜工程問題的重要性，同時也會讓學生理解修建紅旗渠的不易性，團結協作在于兩個方面，一個是大家思想上的團結性，另一個是分工協作的高效性。上述過程對應于CDIO工程教育理念中的“運行”過程。

4 總結

知識都是來源于生活的，無論再難的知識點也是通過對大自然的總結所得出的科學結論。知識來源于生活，也最終要回歸生活，教師對工科知識的講解一定要契合實際的案例才能讓學生對所學知識有深刻的理解和掌握，也才能讓學生善于從實際的生活去對標課堂所學知識點。因此教師要善于去挖掘課程中所蘊含的思政資源，善于把課程知識點與現實生活中的案例有效地融合起來。實際上工科知識的講解存在很多思政案例，因為工科的宗旨與科學精神和工程精神是一致的，都是要精益求精，都是為了解決某一問題而經歷的求解過程。因此，在知識講解過程中把握住大體流程就可達到思政內容錦上添花的目的。

本次紅旗渠精神中“團結協作”與RDD工作原理結合的齊頭并進RDD課程思政在整體上還是融合得非常好，但是依然存在融合深度不夠，有待進一步深化的問題，后期計劃把修渠工人與RDD，工人之間協作與RDD協作進一步進行深度的融合。

參考文獻：

[1] 胡德敏，龔燕.基于Spark的混合推薦算法研究[J].計算機應用研究，2017，34（12）：3585-3588.

[2] 周竹梅，宋巖，李海廷.以“七一”重要講話引領會計課程思政教學[J].會計之友，2021（21）：158-161.

[3] 岳小兵.紅旗渠畔黨旗紅[N].東方煙草報，2021-08-23（004）.

[4] 方文都.基于Spark的物品推薦系統的設計與實現[D].北京：北京郵電大學，2021.

[5] 楊浪.基于Spark的電影推薦系統設計與實現[D].北京：北京郵電大學，2021.

[6] 戴宏明，戴宏亮.新工科背景下基于CDIO理念的軟件工程應用型人才培養方案研究[J].計算機教育，2020（1）：64-67.

[7] 胡志剛，任勝兵，陳志剛，等.工程型本科人才培養方案及其優化——基于CDIO-CMM的理念[J].高等工程教育研究，2010（6）：20-28.

[8] 劉海，劉凌霞，曹領.基于CDIO的計算機網絡教學改革探索[J].數字化用戶， 2019， 25（51）： 350，352.

【通聯編輯：代影】