高職大數據專業實訓云平臺建設研究與實踐

陸赟

關鍵詞：大數據專業；實訓云平臺；實訓課程

0 引言

隨著新一代信息技術的快速發展及國家數字中國建設需要，行業企業對大數據人才需求急速增長，目前有800多所高職院校都開設了大數據技術專業，但是學校在實施大數據專業教學過程中遇到了很多問題。例如，高校存在教材和配套資源短缺的問題，還面臨師資無法滿足授課需求、學校實驗設備無法跟上技術迭代的困境[1]。另一方面學校缺少來自一線企業的綜合實訓項目，導致培養的人才與企業需求存在偏差。針對這些問題，建設大數據專業實訓云平臺，為大數據專業打造專業的實驗實訓環境成為當前迫切需求。

1 建設背景

近年來，國家的大力推動和各行各業對大數據人才的需求都對高校大數據人才培養提出了新的要求。

1.1 大數據政策背景

2017年1月，工業和信息化部確定了“十三五”期間中國大數據行業的發展規劃方向、政策與標準，將引領中國大數據行業的科學發展，并強力推進制造業強國與互聯網強國的建設。

2018年9月，中國工信部發布“2018年大數據產業發展試點示范項目名單”，共發布了涉及大數據分析存儲處理、大數據分析信息挖掘等的十個領域，近二百個國家重點建設項目。

當前，大數據分析領域已成為以采集、存儲、處理、挖掘、分析等活動為主的中國重要新興產業，并成了促進中國經濟開展質量革命、效益革新、經濟動力轉型的關鍵動力。中共中央、國務院一直以來高度重視大數據事業建設，并積極推進落實國家大數據戰略。

“十四五”規劃強調要積極推動大數據、人工智能、區塊鏈等新興產業發展，打造具有國際競爭力的數字產業集群。

可見大數據的重要性越來越受到重視。大數據技術將海量數據處理變為可能，并且大幅降低了成本，使得越來越多跨專業學科的人投入大數據的開發應用中。

1.2 大數據行業需求

新一代信息技術的快速發展引發數據迅猛增長，如何從海量數據集中獲取有商業價值的數據成為各行各業追求的目標。企業對大數據人才的需求也越來越大，需求的崗位主要包括大數據開發工程師、分析師、運維工程師等，而且崗位對大數據技術的實踐能力要求很高，比如熟悉Hadoop或Spark生態相關技術，包括MapReduce、HBase、HDFS、Hive、Spark、Storm 等，而且能夠在Linux環境下進行安裝部署運行維護等。人才是驅動數字經濟發展的第一資源，也是驅動大數據產業演進發展的第一資源。在數字經濟發展高歌猛進階段，以大數據技術人才為代表的信息化人才培養數量和質量嚴重滯后于產業發展。

1.3 高職大數據專業發展現狀

我國職業院校承擔培養高素質技術技能人才，為了響應國家大數據發展戰略，滿足行業企業對大數據人才的需求，從大數據專業人才培養角度來看，大數據專業彌補了傳統的信息技術專業諸多的缺憾，但是該專業對高校的教學提出了更高的要求[2]。在實驗設備及技術更新上增加了巨大的困難，其原因主要在于：

1） 大數據技術發展迅猛，日新月異，而高職院校老師的技術和知識更新跟不上大數據技術的發展，導致部分學校的教學內容和知識傳授面都十分有限和滯后。

2） 數據源的缺乏，大數據技術其核心就是對數據的處理和分析，從數據中挖掘出其潛在的價值的，學生要掌握這套技術是需要大量的項目實踐，這需要大量的案例數據源，而部分學校是嚴重滯后甚至沒有的。

3） 由于校內實驗實訓條件和教師項目經驗的缺乏，只能進行一些模擬訓練或者短時間的基礎技能訓練，不能滿足大數據行業發展對應用型人才需求的要求。

4） 高校在開設云計算、大數據專業課程的時候往往缺乏教學實訓的實驗平臺，并且缺乏教學實訓方案[3]。

新疆農業職業技術學院于2018年招收第一批大數據技術與應用專業的學生，到目前為止已招收5屆大數據專業學生。大數據技術專業開設的專業課程有Hadoop集群部署、Spark開發、Python數據分析等課程，其中Hadoop 和Spark 課程對實訓環境要求比較高，機房的電腦配置相對比較低，在集群部署階段只能分組完成任務，學生個人無法獨自完成實驗，技能提升相對緩慢，而且缺乏很多實際項目應用的實訓課程資源及教學實訓方案等，導致培養出的大數據人才和企業需求的人才有一定的差距。

2 平臺設計

人才培養以提高師生學習能力、教學能力、實踐操作能力為目標，需要在原有的大數據技術與應用基礎上，把大數據企業產品技術標準、崗位操作流程等融入專業人才培養方案中，以實現學生和用人崗位之間的無縫對接，以適應大數據行業技術進步和社會經濟發展方式轉變后，對人才培養的新要求。因此，大數據實訓平臺應該是以大數據應用與技術專業的課程為基礎、以鍛煉學生大數據崗位技能為目的而建立的。在構建過程中，學校可以利用大數據對于信息搜集與處理能力強的優勢，為學生提供個性化的專業實訓知識，同時為他們理論知識的應用提供實踐平臺[4]。在應用實踐中，高職專業學生能夠掌握核心課程的基礎知識，并利用項目任務的方法來提高對知識點的掌握，最后也能夠把基礎知識運用在實踐練習之中。所以在設計的階段，需要運用新的大數據分析框架和技術，根據新疆農業職業技術學院信息技術分院學生知識的認知特性，為學生的實訓課程創造條件。

2.1 平臺需求目標

通過深入調研開設大數據技術專業的高職院校，了解大數據實訓平臺的建設現狀。大數據實訓云平臺需要基于云搭建。目前云平臺以其擴展性、按需彈性、運營成本低等優勢逐漸地被企業所采用。學生要做實驗同樣可以采用云平臺，來部署ICT大數據教學平臺，上線相關技術領域的實驗。學生需要一臺電腦和網線就可以聯入進行實驗，可以省去大量底層軟件安裝和環境搭建。在教學模式上，可以采取以項目式教學或者以實訓為主理論和實踐相結合的教學模式，采用分階段、分進程的模式教學。學生通過完成實驗任務來獲得大數據的相關知識和技能，同時獲得職業能力，提高人才的培養質量。

2.2 平臺功能簡述

實訓平臺圍繞工科學生工程實踐能力培養為目標，根據我國工科學生工程實踐能力的現狀與問題，結合學校開設的應用課程，建立集實訓、教學、考試、就業、評價等功能為一體的綜合型平臺，將制作出來的基于實際項目應用的實訓課程資源移植到平臺上供學生實驗。

大數據實訓云平臺總體目標是建設成為以學校大數據課程資源為中心、面向教學與科研的計算、管理、服務平臺。具體包括：三個面向：學生、教師、管理人員[5]。兩個兼顧：教學與科研。一個全覆蓋：學生從入學到畢業的過程記錄與監管，專業所有的教學資源、實踐資源與研究資源。立體型：支持新媒體教材的資源管理與服務，能做到五個結合：線上線下相結合、紙質與電子相結合、文本與媒體相結合、演示驗證及設計分析相結合、引導與探究相結合。

從軟件設計上來看，大數據實訓云平臺需要包含大數據實訓課程資源、教學管理、云平臺管理模塊。功能模塊圖如圖1。

1） 實訓課程資源

將大數據內容按照不同類型的知識模塊可以分成兩類，分別為大數據基礎課程體系、大數據進階課程體系。大數據基礎課程體系，主要包括：Linux系統、Python基礎、Java編程、數據庫基礎等課程;大數據進階體系，主要包括：Hadoop集群部署、Spark開發、數據分析、數據可視化、項目實訓案例課程等。

每個課程體系都考核了學生多方面知識領域的全面學習，與現在教育方式一致，仍然保留傳統教學方式。除此以外，教師還可定制實驗內容及實驗鏡像，將文本類、實操類、視頻等課程資源上傳到教學平臺，供學生們學習。

項目實訓案例課程可以完全還原項目的實際工作完成流程，將與大數據分析相關的技術理論知識點和具體的項目實踐過程相結合，讓學生體會感受到各個知識點在具體項目中的有效運用。其實現過程就是將企業大項目分解成若干個實驗小任務，不同任務間需要共用一個實驗系統，從而整個項目的連貫性和真實性。每個實驗小任務都會提供整套的實驗環境，當用戶切換實驗時，對應的實驗環境不變，到下一個實驗會繼續使用上一實驗的環境，最終完成該項目。具體項目案例可以包括大數據集群部署項目、手機流程統計、天氣數據分析等。

2） 教學管理

教學管理模塊主要包括課程管理、班級管理、考試管理、線上答疑、實驗報告等。

①課程管理

在課程管理頁面下，可以選擇需要授課的大數據實訓資源課程，查看已經選擇的實訓課程，同時可以在線創建新的課程、修改原有課程、添加課程視頻、管理視頻等，以及上傳新的課件或刪除已上傳的課件。

②班級管理

每個課程可以有多個班級上課，在班級管理頁面下，可以對多個班級進行管理，可以查看班級、學生數量等信息，同時也可以面向不同的班級在線進行布置實訓任務、管理學生、管理考試等操作。

③考試管理

在考試管理頁面下，可以在線創建考試，考題主要就是課程中的實訓任務，不同實訓任務設置不同的分值，并定義考試的相關考試信息，包括：考試開始日期、考試時長、考試的班級、考核通過分數等，也可以查看學生的考試答題情況并導出成績。

④線上答疑

系統具備實時的在線答疑能力，包括系統智能答疑和教師在線解答兩種模式，方便用戶簡單、快速的獲取信息。

⑤實驗報告

系統自動為用戶生成可下載的實驗報告，內容包括實驗完成結果分析、實驗過程日志、關鍵步驟的截圖、實驗結果分析等。

3） 云平臺管理

云平臺管理模塊包含用戶管理、資源管理、權限管理等。

①用戶管理

管理員可對平臺中的用戶信息進行新增、修改與刪除，根據條件對已有用戶進行查詢，可以增加新的角色并賦予角色相應的權限，可以根據層級新增組織、學院、系別、專業、班級等。

②資源管理

管理員或者教師可以在后臺資源監控中心可查看平臺的用戶數量、實驗數量、用戶分布、活躍用戶等數據，通過查看實時的CPU、內存、硬盤、實例的使用情況來時刻關注學生實驗的狀態，從而提高了教師的教學質量和效率。

③權限管理

大數據實訓云平臺根據用戶的角色不同，可以將用戶分為管理員、教師和學生，三種角色擁有不同的權限。權限管理主要是針對不同的角色，選擇所擁有的功能權限。

2.3 平臺應用

大數據實訓云平臺的管理員、教師、學生擁有不同的功能權限，共同完成大數據專業課程的教學實戰。

1） 管理員用戶權限

管理員可以登錄大數據實訓平臺的統一管理后臺，可進行大數據實訓課程資源管理、實驗報告設置、用戶管理、權限管理、安全設置等操作。

2） 教師用戶權限

教師用戶可以在教學管理模塊進行課程管理、班級管理、考試管理、在線答疑、查詢學生實驗報告等。

3） 學生用戶權限

學生可以進入教學管理模塊的課程管理頁面，選擇需要學習的課程，點擊實驗任務進行學習和操作，每個實驗頁面按照操作和指導文本分為兩部分內容，左邊為課程內容模板，右邊為實驗集群頁面。學生還可以進入項目實戰課程進行項目實戰。

大數據教學實戰的流程一般是選擇創建環境、實驗操作、提交報告、教師評分。首先是學生在教師的授課課程中打開對應實驗任務，學生開啟實驗后系統自動創建所需實驗環境。其次學生參照實驗手冊完成實驗，并記錄實驗流程，生成實驗報告。然后學生提交報告，教師可根據實驗報告提交情況，管理掌控實驗進度。最后教師根據學生實驗報告內容的正確性、完整性和及時性打分。實戰流程如圖2 所示。

2.4 平臺部署模式

大數據實訓云平臺支持用公有云、私有云及混合云部署模式，學生、教師、管理員等所有相關用戶通過能夠連接互聯網的終端就可以訪問實驗平臺，能夠做到隨時隨地學習，極大地降低了本地化運維成本。

2.5 平臺物理承載環境需求

大數據實訓云平臺需要本地物理空間支持，物理空間需要滿足綜合布線、教學需求和終端機、網絡聯機等基礎設施部署。在教學規劃中，實訓類課程是專業建設的重點內容。針對本次項目，大數據實訓室應規劃能夠滿足50人的使用規模，從空間設計到平臺、實訓環境部署都將以此學生人數為標準進行規劃，提供相匹配的實踐環境建設的解決方案。因此，建議學院的實訓云物理承載環境要求如表1：

大數據實訓室采用傳統的計算機教室布局方法，此種方法可最大程度節省空間面積，滿足一個班50人同時進行實訓要求。

3 結束語

大數據實訓云平臺的設計貫徹“產、學、研、用”一體化的思想。采用虛擬化技術和大數據管理的架構，通過構建教學系統和集群網絡，把大數據管理的技術應用到企業真實項目中，將理論、實驗教學與大數據項目實戰結合，通過由淺入深，循序漸進，逐步提高學生的專業知識與項目實戰水平，使學生的能力與企業人才需求無縫連接，從而緩解企業大數據管理人才培養不足現象。同時，借助強大的技術體系、數據挖掘系統，匹配教師的科研需求，從而增強老師的科研能力。