應用技術型高校Hadoop 課程建設研究

肖薇，李建敦，任菊慧

（上海電機學院 電子信息學院，上海）

一 引言

中國特色社會主義進入快速發展的新時代，國家在“十四五”開局之年提出了大數據的發展戰略，加快了我國數字經濟建設，為我國協同推進數字產業化和產業數字化轉型創造了良好的環境，同時，為我國加快數字社會建設步伐，營造良好數字生態奠定了堅實的基礎。豐富的數據資源是我國加快建設數字經濟的重大優勢。經過長期的數字基礎設施建設，我國目前互聯網用戶規模已超過10 億，互聯網普及率達71.6%，成為全球最大規模網絡通信國家。此外，海量用戶數據極大推進了我國零售業的創新，成為全球規模最大、最具活力的網絡零售市場。在十九屆中共中央政治局第二次集體學習中，習近平總書記重點指出：“大數據是信息化發展的新階段”，并做出了“推動大數據技術產業創新發展、構建以數據為關鍵要素的數字經濟、運用大數據提升國家治理現代化水平、運用大數據促進保障和改善民生、切實保障國家數據安全”的戰略部署。這說明我國數字經濟發展具有廣闊而光明的前景，以數據為關鍵要素的經濟發展將為我國構建大數據時代國家綜合競爭新優勢指明了方向[1]，也將成為推動全球經濟快速穩步發展的新動能。

新工科建設是應對新經濟發展的一項持續深化工程教育改革的重大行動計劃。目前，已具備新技術、新產業、新業態和新模式的多種特征。各高校正在加速改造升級傳統工科專業，加快培養新興領域工程科技人才[2]。大數據技術人才培養對應用技術型高等院校而言充滿了挑戰與機遇。為了建設合理的大數據專業課程體系，使學生充分掌握大數據專業核心技術，通過吸取計算機相關課程建設經驗，以大數據行業需求為指導方向，及時調整大數據課程教學內容，以培養學生對大數據分析與處理的能力[3-9]。隨著大數據爆發式的增長態勢，我國對大數據專業人才的需求也非常巨大。然而，我國大數據開放共享還處于初級探索階段，并且存在總體數量少、地域差異大、資源建設與利用情況差、數據管理薄弱、服務不完善等多種問題。此外，大多企事業單位為了保護數據資源的隱私，從而導致數據資源共享程度低，甚至出現數據孤島現象。同時，大量涌現的數據也可能導致其質量低、資源流通不暢、管理能力弱等現象，從而難以從海量數據資源中挖掘有用的價值。因此，加速新一代信息技術人才培養以滿足我國大數據行業的人才需求迫在眉睫[2]。

二 培養目標

Hadoop 課程作為數據科學與大數據技術專業的一門核心技術課程，以培養大數據分析與處理、數據存儲與計算能力為目標，將業界主流大數據處理語言Python 基礎與實踐應用相結合，旨在讓學生了解大數據的基本概念，掌握Hadoop 集群的搭建及基礎操作，以及MapReduce 編程等，并能將其應用于智能制造等行業數據處理中。課程具有較強的模塊性與邏輯性，強調理論聯系實際，對培養學生分析處理能力、編程能力及可視化展示等基礎能力有重要作用，同時對激發學生發現問題與解決問題、邏輯思維與創新意識有重要意義。課程依照人才培養方案與大綱要求，以培養大數據分析與處理、數據存儲與計算能力為目標，將業界主流大數據處理語言python 基礎與實踐應用相結合，全面覆蓋基礎，并結合線上與線下教學模式，全面提升學生的數據思維與處理能力，力求使學生獲得扎實的編程功底，為面向大數據的綜合處理與決策支持等提供有力支撐。

在專業人才培養方案中，Hadoop 基礎應用旨在加強本科及高本貫通學生對大數據處理的認識，提升在大數據存儲與計算方面的應用能力。該課程建設的有序實施，能使學生對大數據處理的基本概念與方法有較深入的理解，同時培養一定的實踐操作能力，從而為面向智能制造行業的大數據處理與決策支持提供有力支撐。本課程建設有望從整體上提升課程體系的質量，包括教學大綱、授課計劃、課程實驗、題庫等，進而更好地服務課程定位與專業人才培養方案，提升畢業要求與職業能力的完成質量。此外，本課程建設有望更加貼近學生實際情況，激發學生的學習熱情，為未來平滑就業提供有力保障。

三 大數據知識體系

大數據技術目前已經形成了較龐大的知識體系，主要分為五大模塊，如圖 1 所示。

圖1 大數據的生態圈[10]

（1）數據收集。數據類型有歷史數據/ 文件、點擊流、數據市場、實時日志和數據流等。目前主流的大數據日志數據采集系統平臺有Flume、Kafka、Scribe 和S-qoop 等。

（2）數據存儲。數據存儲主要采用抽取方式對數據進行管理，主要包括云存儲、云數據庫、Hadoop 集群、系統管理和自動部署等。

（3）數據分析。數據分析主要分為離線計算和實時計算兩大類。實時數據分析為當業務系統產生數據，大數據平臺能夠立刻采集、存儲并進行計算處理。離線數據分析即系統每時每刻產生的歷史數據等。數據分析過程主要包括數據清洗、數據建模、多維分析、作業跟蹤和即席查詢等。

（4）數據集成。在大數據處理中，數據集成通常是指將計算任務在內部分解成為若干個子任務，將這些子任務之間的邏輯關系或順序構建成圖結構。數據經過分析處理后會得到不同的結果，將這些結果集根據業務需求進行組裝集成，形成數據網關、開發套件、BI 組件、可視化第三方工具等。

（5）數據交易萬象。數據集成結果為數據交易萬象提供服務，形成數據集市層，包括API、數據報告、塊數據、第三方數據等。

用戶根據需求對大數據項目進行檢索或使用，如環境數據、運營商數據、征信數據、金融數據、電商數據等。同時，大數據也需要咨詢顧問、數據專家或數據地圖等對數據進行管理和維護，從而優化出合理有效的運維運營支持、同意標準規范、權限賬戶控制和項目組織協調方案。

四 課程建設內容

以行業需求為導向，Hadoop 課程建設擬從以下幾方面來深化課程建設。

（一） 設計貼近行業的課程教學內容

傳統課程教學中采用理論教學和純粹驗證教學，在本課程改革中，教學方法上擬定由驗證型、提高型向綜合型、設計開發型和創新型轉變。課程教學內容劃分上按教學規律分階段遞級展開，按照由認識到理解、由理解到掌握、由具體到抽象、由微觀到宏觀的學習規律遞進，以漸進的形式達到對學生動手能力和創新能力的培養。目標由以往單純的教學型向產學研相結合的方向轉變，采用案例化教學，以項目驅動法和案例為新元素，廣泛收集Hadoop 基礎應用的最新應用案例。通過以實際案例為導向組織教學內容，從而強化各知識點的運用，更加貼近行業需求。

（二） 提升實踐環節的前沿性

在強化理論知識的基礎上，通過校企合作平臺等途徑，積極了解企業的前沿方向與技術，進一步豐富與優化本課程中實際案例的導入。此外，在實驗課中，還可以增加以小組為單位的創新大作業。學生可以結合臨港周邊企業的大數據處理技術與方案，實現與Hadoop 基礎應用相關的課題，這樣可以進一步提高實踐動手能力和團隊合作能力。此外，課題的不斷改進和完善也能給學生帶來成就感，從心理上對專業前景充滿信心，提高大數據專業學生的專業技能和就業核心競爭力，幫助學生提前熟悉畢業設計制作過程，培養學生的職業能力。

（三） 改善考核方式

在課程建設中新課程考核突出實踐教學，注重學生在實踐過程中應用能力和過程的考核。對于應用技術型高校學生，以能力考核為核心的課程考核體系是提升學生培養質量的重要基礎和有力保障。在課程考核中要重點突出考核內容設計的科學性，并采用多樣化的方式，以激勵學生主動學習。對于綜合成績評定，增強過程考核的比例，減少期末考試所占比例，也即增大考核實踐教學中學生實驗應用能力、大作業完成能力、主題討論理解能力等多項分數所占的比例，并且降低期末考試理論知識的考查力度。擬通過實驗應用、實踐創新項目大作業等動手環節，進一步鍛煉學生運用基本理論與技術解決實際工程問題的能力，尤其考查實驗過程中學生的創新性和系統考慮周密性等。

（四） 提升課程在線性

依托專業教學平臺，以面向產出的教學思維為指導，開展在線翻轉課的教學實踐。首先在課程體系的基礎，通過直播、錄播、借鑒示范課程等途徑，為學生提供全天候學習環境，以保證學生可以做到提前預習、課后復習、反復鞏固的效果。其次，豐富習題庫，根據大數據時代發展的趨勢，將大數據前沿知識的新技術融入已有的題庫中，以不斷充實和更新專業基礎知識。同時，加強知識點與畢業能力的鏈接強度，通過階段性、自主性測試等手段讓學生明晰能力達成度，讓課程考核真正做到產出為導向。最后，完善小組協作與實時答疑，提升學生的團隊溝通能力與解決問題能力。大數據的分析處理平臺和分布式框架搭建涉及的組件眾多，如何將多種技術有機結合，以完成海量數據挖掘和處理是一項復雜的工作。因此，小組中的每個成員需要明確場景業務需求，充分發揮團隊優勢。

五 校企合作平臺

Hadoop 課程對應用型本科院校學生的實踐能力有較高要求。通過課堂學習，讓學生對理論基礎知識有直觀的理解和掌握，同時結合實驗課，將理論知識和實驗緊密結合，從而達到對大數據技術的全面掌握。近年來，針對本課程實行的教學改革與基本措施如下：

（1）進一步明確培養目標，完善課程建設方案。結合大數據發展的需要，堅持以社會需求為導向，進一步明確“技術應用”培養目標并完善課程建設方案。大數據順應了信息時代的發展趨勢，培養大數據分析與處理相關的人才也是社會發展的需求。目前，大數據的研究還處于初級階段，隨著應用領域的擴展、技術的提升、數據共享開發機制的健全，以及產業鏈的不斷成熟，大數據處理與挖掘將是時代發展的重點。

（2）加強隊伍和課程體系建設。自大數據本科專業招生以來，通過專業建設使課程體系更加完整，課程師資隊伍建設也成為專業建設中的核心部分。大數據技術是計算機方向的一門新技術和新知識，專業教師不僅要加強基礎理論知識的學習，同時，還要不斷融入新技術，并且加強實踐能力的訓練。因此，在專業授課之余，還需要積極參加相關企業實踐課題或培訓，緊跟大數據前沿知識，提升自身專業修養。

（3）建立了有效的校企合作機制。學校培養人才的最終目的是為社會服務，因此傳統教育離不開社會的發展。而校企合作教學團隊建設是一種有效途徑。通過將“企業成功應用案例引入課題教學和實踐教學”的可行辦法，探索出傳統教學中融入企業真實實踐項目的有效途徑，從而為后續的相關課程建設提供了成功的經驗。

本課程通過以實踐操作項目為引導的教學指導思想，引入了公司大數據開發平臺。教學過程中有配套的實驗視頻教學，詳細地講述了每個實驗的操作步驟，同學們可以多次學習大數據經驗方面的專家給出的實際指導。在該開發平臺上，教師和同學可以自己搭建和部署實驗環境，或直接導入公司已搭建好的實驗環境。同時，該開發平臺還提供了實驗參考報告，對于實驗過程中的操作命令和代碼也給出了詳細指導。通過視頻和報告結合的學習手段，能夠更加有目標性和方向性地讓學生更好地掌握實驗開發過程，激發學生的學習興趣。此外，學生可以在校園內隨時登錄開發平臺進行相關的實驗操作，從而有效避免了實驗課的時間約束。采用這種新型教學方式可以為應用技術型高校的大數據專業教學引入新的教學模式和方法。同時，通過與企業真實項目結合，激發學生的學習興趣，不斷增強他們的動手實踐能力，為大數據時代培養真正有用的專業人才。

六 結語

根據院校自身的辦學特色和管理目標，將現代化的技術融入應用技術型院校教學中，是高校與時俱進的發展理念。Hadoop 課程作為大數據技術中的核心專業課程，以行業需求為導向，從課程教學內容、實踐環節、考核方式、課程在線性等方面來深化課程建設。同時，結合校企合作平臺，從而全面提升應用技術型院校學生的理論知識和實踐能力，為學生未來平滑就業提供有力保障。