基于云件服務的新一代大數據工程實訓平臺

王 偉，劉 偉，崔海波,

（ 1.同濟大學 計算機科學與技術系，上海 200092；2.湖北大學 計算機與信息工程學院，湖北 武漢430062；3.武漢理工大學 計算機科學與技術學院，湖北 武漢 430070；4.湖北省教育信息化工程技術研究中心，湖北 武漢430062）

1 背 景

隨著計算思維的推廣、大數據時代的來臨、工程認證的履行及新工科概念的提出，基于互聯網與云計算的工程實踐平臺的勢在必行，需要逐步重新構建教育信息化基礎設施，以支持新一代工程實踐平臺的建設。

現有的傳統教育的基礎設施出現了諸如配置部署復雜、安全性難以滿足、軟件硬件升級成本高、機密數據分散等問題，不便于數據的集中管理和維護，需要逐步重新構建基于云計算的教育信息化基礎設施，以支持下一代教育信息化公共服務平臺的建設。另一方面，大數據領域持續發展，各行各業都在積極地應用大數據設施處理和分析數據，為了適應大數據時代的新狀況，大數據相關的理念、處理方法、操作的教學與實踐勢在必行。

近年來，隨著實時互聯網、微服務、云端渲染、容器等技術和理念發展的不斷深入，軟件（software）形態將進一步朝著云件（cloudware）形態的方向發展[1-2]。構建基于云件服務的新一代大數據工程實訓平臺，簡單來說，就是將所有實訓軟件全部遷移到云端，并通過瀏覽器為終端用戶提供大數據實訓服務。這為大規模重構教育信息化基礎設施、為下一代教育信息化公共服務平臺帶來了新的方法和機遇[3]。

該實訓平臺針對高校工科類實訓場景，通過將傳統桌面軟件和大數據軟件云端化，使得用戶通過瀏覽器就可以方便使用Matlab、Hadoop等大型軟件環境，使得傳統軟件無需修改，即能做到為廣大師生提供大規模SaaS化的實訓服務。基于云件系統的大數據實踐平臺改變了傳統試驗方式，節約了機房場地及試驗設備，豐富了教學形式，簡化了教學過程，提供了便捷高效的工程實踐環境。

2 相關工作

目前，有云計算驅動的教育信息化基礎設施的改造主要體現在虛擬化桌面上面。虛擬化桌面，即虛擬桌面基礎架構（virtual desktop infrastructure,VDI），是近年來虛擬化技術由服務器虛擬化向桌面虛擬化延伸的一種技術，是云計算的一種應用模式。然而，隨著大規模教育信息化的推進，基于虛擬桌面的基礎設施難以滿足海量、輕量級、定價便宜甚至免費的教育場景。教育不同于商業場景，對基礎設施的靈活性、即用即走、價格、海量部署、長尾效應等特性有著特殊的需求。因此，教育信息化的公共服務基礎設施不能按照目前既有的云計算基礎設施構建的思路，需要一個全新的思路。軟件和應用的輕量級虛擬化技術將成為一個可行的解決方案，它將是未來云環境下軟件的主要形態，使得在任何時間、任何地方通過瀏覽器使用任何軟件成為可能。圖1展示了從傳統虛擬桌面到軟件上云方式的變革。

圖1 基于云件技術的軟件上云的方式

有了軟件上云，用戶可以一鍵使用部署好的軟件，以此提供大數據的基礎設施和環境，平臺采用微服務架構設計，具有較好的可擴展性、容災和靈活配置等特性，易于規模化部署。同時，基于高校應用場景，搭建教師管理系統和學生作業系統，為課程學生提供工程軟件的訓練，為面向工程設計與計算創新設計的學生提供學習和實踐，教師可以在平臺上直接布置作業、檢驗作業。

該平臺基于新一代微服務架構和自主研發的云件服務技術，在互聯網、軟件服務、教育3個交叉領域進行軟件服務創新。將傳統的PC桌面軟件（如Matlab、SPSS等）和服務器端分布式軟件（如Hadoop、Spark等）全部進行云端化，使得用戶直接僅僅通過瀏覽器就可以訪問這些軟件服務或編程環境，將大數據實訓的各個環節連接到一起，最終做到大數據工程實訓服務的觸手可及、 隨時可用、 秒級啟動、 用完即走。

3 構建基于云件系統的大數據工程實訓平臺

3.1 云件與云件服務平臺

隨著云計算和虛擬化技術的興起，越來越多 的軟件逐漸把軟件主體放在云端，而客戶端只需要通過互聯網技術使用云端軟件的服務即可，使得軟件不再依賴于終端軟硬件資源，這樣的軟件形態稱為云件，更多地體現為一種服務[1-2]。

云件也是SaaS的一種服務方式，是通過互聯網技術使用云端的服務，但是與傳統的SaaS服務，例如網盤、郵箱和在線辦公相比，其主要差別在于傳統SaaS軟件往往是將桌面軟件進行大量的改造，大部分需要相應的客戶端程序，大量的計算還需要本地軟硬件的支持，比如某些在線制圖的工具，將傳統桌面制圖軟件用HTML 5和Flash等相關技術進行了Web重構，這是非常繁重的工作，且需要本地渲染的支持。而云件則是將終端的操作系統和運行環境遷移到了云端，傳統桌面軟件可以不做任何修改進行云化（cloudalization），客戶端采用統一的交互平臺（如瀏覽器）來實現交互功能，最終實現與本地同樣用戶體驗但不依賴本地資源的軟件模式。

首先構建一個面向云件服務的PaaS平臺，它是云件開發、測試、部署和運維的集成操作平臺，既面向開發者提供云件開發工具和云件運行環境，也面向用戶提供云件服務；然后在上面構建大數據實訓環境。圖2展示了構建在云件平臺上的大數據工程實訓模塊示例。

圖2 構建在云件平臺上的大數據工程實訓模塊

基于該云件服務平臺支撐的相關核心技術包括：基于松耦合馮偌伊曼模型的計算分散化范式、面向云件的云端操作系統、實時交互式渲染技術以及云件系統性能檢測與容器化調度技術，具體支撐技術的細節可以參見參考文獻[1—2]。

3.2 大數據工程實訓平臺的設計

基于微服務架構和云件技術，針對高校需求，設計并實現了基于云件系統的大數據實踐教學平臺，該平臺主要包括如下功能模塊。

（1）教師端功能：定制課程實驗內容、上傳文件、實驗管理、學生管理、查看學生算法、成績管理、報告管理。

（2）學生端功能：查看實驗內容、閱讀實驗指導書、算法演示、改進算法（例如R/Python）、算法對比分析、提交算法、提交報告、查看成績、修改個人信息。

（3）平臺管理功能：查看資源、查看計算作業、節點運算管理、創建容器環境、管理容器環境、恢復容器環境、查看進度、強制關閉。

（4）開發環境：提供相應的開發環境，如R、Python、Matlab、Hadoop、Spark 環境。

（5）算法庫：提供數據分析和挖掘的常用經典算法，以及基于R/Python實現的源代碼。

（6）綜合實驗項目案例庫：提供不同行業的數據資源庫，提供綜合實驗項目案例，供課程選用。

（7）數據資源庫：提供多種數據資源庫，包含真實數據和模擬產生數據，供算法及案例選用。

大數據工程實訓平臺的微服務總體架構如圖3所示，大數據工程實訓平臺的部署方案如圖4所示。

圖4 大數據工程實訓平臺的部署方案

平臺用戶分為教師、學生和管理員3類。

（1）教師端。教師登錄平臺后，以菜單的方式可以看到課程、內容、環境。課程管理中包含系統提供的基礎課程，教師可在此基礎上，根據實際情況進行內容篩選和排課；教師通過內容管理模塊可對知識點內容進行編輯管理，也可進行課程拓展；通過環境管理模塊完成容器鏡像維護。

（2）學生端。學生登錄平臺后，可以看到與他相關的課程列表，點擊相應課程的學習，進入相應課程的學習；課程包含知識點分類列表，知識點實訓的實驗指導書、實驗環境及實驗成果的提交等菜單項；進入實驗環境，也可以方便地查看實驗文檔，包括相關參考文獻、實驗筆記、實驗視頻；提交實驗成果后，學生可查看老師的評分，并查看實驗筆記。

（3）管理員。管理員進行平臺后，可以看到環境、課程、內容、用戶。環境管理模塊主要完成對系統、設備、容器等的狀態檢測；課程管理模塊主要對基礎和拓展的課程進行管理和維護；內容管理模塊對系統提供的和教師提供的內容進行維護；用戶管理模塊主要管理教師和學生賬號。

新一代大數據工程實訓平臺的構建，有利于為學生和老師提供一個完整的實訓平臺，主要優點包括：

（1）獨享。學生能夠獨享自己的實驗環境，不用跟不同時間段上機的同學共享一臺PC。可以在實驗環境中下載自己的代碼文件，對系統進行定制，實驗環境更加安全可控。

（2）快速。學生只需打開瀏覽器，1秒鐘內即可創建新的實驗環境，省去本地搭建開發環境的麻煩，可以在線編寫、提交實驗報告。

（3）經濟。無需采購大量硬件，同時也省去了對大量PC環境的運維工作，所有實驗運維工作都在Web頁面進行操作，老師及管理員可以為所有學生定制統一環境。

（4）高效。資源的利用率更高，一臺服務器可以提供幾百個甚至上千個容器環境，滿足多名學生實訓需要，全部實訓在云端進行，不再受本地計算機配置限制，可以方便支持大數據這類需要分布式環境的實訓類別，如圖5所示。

（5）靈活。只要有互聯網，學生可以隨時隨地訪問自己的實訓環境，在宿舍也能繼續上機課的實訓任務，做到全天候隨時隨地訪問實訓環境的效果。

圖5 一鍵開啟Hadoop實驗環境

圖6 大數據工程實訓平臺主頁面示范

圖7 平臺整體服務網絡架構

3.3 大數據工程實訓平臺的最終呈現形式

大數據工程實訓平臺以Web系統的方式最終呈現，通過互聯網PC端和移動端均可以通過瀏覽器進行訪問。通過在云端構建完整的微服務容器運行環境，實現規模化部署、容災和靈活配置，系統的部署和運行也以微服務形式架設在IaaS云計算系統上。圖6、圖7展示了大數據工程實訓平臺主頁面范例和平臺整體服務網絡架構。

4 大數據工程實訓平臺在實際課程教學中的使用

2015年國務院常務會議通過的《關于促進大數據發展的行動綱要》中強調開發應用好大數據這一基礎性戰略資源，教育部高等學校教學指導委員會也將“大數據”列為“十三五”期間高等學校的教學改革和教學建設的重點，同時教育部高等教育司也于2016年在普通高等學校本科專業設置中增加了“數據科學與大數據技術”專業（專業代碼080910T），以及面向高職的“大數據技術與應用”專業（專業代碼 610215）。

基于上述背景，本文所提出的大數據工程實訓平臺作為同濟大學全校本科和研究生大數據類課程“大數據原理與實踐”與“數據科學通識導論”的支撐建設平臺。團隊指導老師從2016年開始，面向全校本科生建設大數據類課程，同時課程建設團隊開設了“嘉數匯”微信公眾號，輔以互動交流、課件發布、材料補充等，取得了良好的效果。團隊同時開通http://bigdata.tongji.edu.cn域名為課程的實訓平臺做好準備。其中“大數據原理與實踐”也入選了2017年的Google支持教育部產學合作協同育人項目；而云件基礎技術項目“未來互聯網云件服務平臺”也榮獲了2016年第二屆全國高校云計算應用創新大賽一等獎。

目前在該平臺上陸續構建5類實訓模塊：①基礎語言學習實驗（4個子模塊，42個實驗）；②數據分析與挖掘實驗（4個子模塊，28個實驗）；③大數據基礎實驗（4個子模塊，13個實驗）；④大數據挖掘實驗（2個子模塊，12個實驗）；⑤案例分析實驗（3個子模塊，18）。

5 結論與展望

筆者結合實際的教學經驗，將所有實訓軟件全部遷移到云端，并通過瀏覽器為終端用戶提供大數據實訓服務，具體包括學生端、教師端、平臺管理、開發環境、算法庫、綜合實驗項目案例庫、數據資源庫等功能，為高校大數據人才培養提供一個全方位的觸手可及、 隨時可用、 秒級啟動、用完即走的大規模工程實訓服務平臺。未來的重點工作將基于高校應用場景，構建更大規模的實訓平臺，為大規模重構教育信息化基礎設施、為下一代教育信息化公共服務平臺提供核心技術支持。

參考文獻：

[1]Guo D, Wang W. Cloudware: An emerging software paradigm for cloud computing[C]// In Proceedings of the Internetware 2016,Beijing, China, September 18, 2016: 1-10.

[2]Guo D, Wang W. Towards cloudware paradigm for cloud computing[C]// In Proceedings of The 9th IEEE International Conference on Cloud Computing, 2016, San Francisco, USA, June 27 - July 2, 2016: 164-171.

[3]鐘登華. 新工科建設的內涵與行動[J]. 高等工程教育研究, 2017(3): 1-6.