校園大數據實訓室建設和實踐

■ 甘肅 段曉東

編者按：為滿足教學需求，筆者搭建了大數據實訓平臺、開發了大數據實訓課程、資源庫以及題庫等，幫助教師和學生順利開展線上教學活動。本文筆者從設計、運行與管理等方面具體介紹了這一建設方案，供讀者參考。

基于云計算架構建設實踐創新型大數據實訓室，為高校提供完整的數據科學實驗平臺，重點建設專業教學資源以及實訓、教學科研環境，滿足課程實驗、課程設計、實習實訓、科研訓練等多方面需求，幫助學生學習課程內容，提高動手能力，激發學習興趣。

建設內容

1.搭建大數據實訓平臺

涵蓋實訓教學、考試、管理，幫助學生快速掌握應用大數據技術的技能。

2.開發大數據實訓課程

結合大數據實訓教學知識體系，開發大數據實訓課程，充實教學實訓平臺的課程內容。

3.開發實訓資源庫

結合大數據知識，設計開發教學案例、數據和算法。

4.開發試題庫

結合實訓課程內容，開發課程試題庫，用以學生的課內外練習及考核。

項目效益分析

大數據實訓室建設，能快速引入大數據技術、成熟的解決方案以及管理和教學內容。另外，實訓室的建設將使學生掌握主流技術，分享大數據應用項目實踐經驗。

業務流程、業務功能和業務量分析

大數據實訓平臺承載了課程教學、試題庫練習、案例分析等教學內容。采用傳統的課堂學習結合在線案例實訓的混合教學模式，可以使學生在傳統課堂進行理論課的學習，在平臺上進行案例實訓學習、在線練習和在線考試；老師在平臺上發布各類課程、試題庫和案例庫。

平臺采用分布式存儲和計算引擎，每位實訓學生最低需要4核CPU，8 GB內存進行實訓，同時預留30 %的CPU和內存資源維持正常運轉。總共需要4×50＋60=260核CPU，520 GB內存資源。

實訓平臺面向三類用戶：學生、教師、系統管理員。學生在在線實訓平臺完成大數據業務場景的數據采集、預處理、分析挖掘和數據可視化等大數據仿真實訓操作，全面掌握大數據的理論和技能。

教師通過平臺發布大數據實訓課程、案例和試題等教學資源，并對學習過程進行管理，包括排課、考勤、考試等教學管理，做到因材施教，方便與學生形成一對一的互動和溝通，實時掌握學生的學習狀況。

管理員全程參與監控運維平臺，具體包括用戶權限的管理，對服務器、網絡、數據庫等支撐平臺進行統一管理和控制；全面監控平臺的運行情況，包括系統內集群使用情況，人數上限和當前使用量情況；支持調整集群配額，如改變集群節點個數、內存、CPU配額等。

平臺總體設計

1.硬件部分

硬件部分專門提供面向大數據集群的硬件要求，服務器6臺，內存要求≥128 GB，千兆交換機2臺，多電腦切換器一個，理線器6個，光纖跳線10個，PDU電源4個，品牌42U機柜一個。如果資金寬裕一點，可以直接采用刀片式服務器，內存擴充到16×16 GB，刀箱采用12U，可安裝在標準機柜中，支持半寬和全寬服務器混插，每個機箱可配置2個8路節點。交換模塊在不影響刀片部署密度的前提下支持網絡直通擴展方案，同時支持不低于4個網絡交換機。本次配置2個網絡交換模塊，每個交換模塊配置8×1 GE＋8×10 GE。配置16×10 GE SFP+多模模塊。

光纖交換機直接采用24端口8 GB光纖交換機，存儲可采用SAN存儲，粗略估算：1個學生最多5個VM，一臺虛擬機100 GB大小，50個學生上機最多2500 GB，300個學生備份按照100 GB×300計算，總共需要33TB，同時需要考慮Raid冗余，因此最少需要50 TB存儲。

存儲系統的設計需滿足橫向擴展能力和容錯能力，其中橫向擴展能力指根據需求增加不同的計算和存儲容量，依靠多服務器、存儲協同運算，借負載平衡及容錯等功能在確保可靠度的前提下提高運算以及存儲能力，適應未來教學任務的不斷增加。容錯能力指保證整個大數據分析系統的穩定性魯棒性，在技術架構設計上需要考慮服務器節點發生宕機、故障時整個集群系統仍能保證提供分析服務以及數據的不丟失能力。

2.軟件部分

大數據分析平臺，包括分布式批處理，實時計算引擎、機器學習算法、分布式文件和數據存儲等方面的技術能力支撐，用以支持實訓課程中數據預處理、特征提取、模型構建和優化分析等操作。

3.教學案例包

教學案例包用于為學生提供多場景的大數據分析案例，幫助學生從真實案例中了解大數據的應用，各種算法的使用，各種數據處理的使用。

4.網絡系統設計

依托現有網絡設備，萬兆交換機2臺，提供萬兆以太網接口支持基于端口的劃分VLAN；支持組播標準LGMPV1/V2/V3;支持ARP攻擊防御，ACL等安全功能。

5.備份系統設計

數據平臺應采用分布式文件系統，多機器容錯。另外配置離線備份系統，保證數據不丟失。

項目建設與運行管理

為協調系統建設中出現的問題，筆者單位成立了領導小組，落實相關人員的職責，執行領導小組的決策，協調具體工作的實施，并對系統建設情況進行定期檢查和監督。在項目質保期內，由學院項目負責團隊和項目承建單位共同承擔項目的運行維護工作。在質保期后，由學院項目負責團隊承擔運行維護工作，同時由項目承建單位提供相應的技術支持。