基于大數據技術實驗室建設探索與研究

黃葉超，鄭庚

（廣東輕工職業技術學院，廣東廣州，510300）

0 引言

在科學技術不斷革新的基礎上，數據量的穩定增長促進著大數據時代的帶來，也進一步推動著大數據技術的發展，在此時代背景下，各大高校積極在教學過程中，加大對大數據技術人才培養的力度，而大數據技術實驗室的建設正是源于此。目前高校在人才培養的過程中，往往存在缺乏實驗基地以及實驗條件差的情況，這無法滿足學生實際需求，因此建設大數據技術實驗室就顯得十分重要了。

1 大數據分析

大數據是一種信息資產，并且無法通過常規的軟件工具，進行捕捉、儲存以及管理、分析，同時大數據有著多樣化、海量以及增值量高的特點，是新時代的備受關注的基礎性戰略資源[1]。并且大數據具有高數量、速度快以及多樣性、高價值的特點，人們同對大數據的整理以及分析，能夠獲得新的需求，并持續增長新知識，對社會建設有著創新性價值。

大數據技術主要是對數據中蘊含的特點進行挖掘，通過建立模型、迭代驗證以及模型確立、預測實現這整個流程[2]，能夠對各行業進行預測性分析，提出具有建設性、可行性的建議，有著一定的輔助決策作用。大數據技術主要分為計算分析技術以及數據存儲技術這兩個方面，其中數據存儲技術主要包括著MPP架構新型數據庫集群以及非結構化數據收集架構等，而數據計算分析技術主要包括自然語言處理、預測模型以及模式識別技術等。

2 高校大數據技術實驗室建設的意義

大數據技術實驗室的建設，一方面可以給廣大師生搭建一個大數據技術研究與探索的重要平臺，能夠給一些工程研究生、青年教師，提供研究大數據處理技術、課題研究以及課堂教學實訓的良好環境，另一方面能夠有效的培養學生掌握大數據技術應用理論、應用能力，使得高校學生能夠具備扎實、良好的大數據處理、分析技術，提高高校學生的創新能力、實踐能力以及動手能力，有利于高校培養出大數據技術型人才。

3 大數據技術實驗室建設探索

3.1 硬件設施建設與軟件設施建設

大數據技術實驗室建設需要在高校實際科研需求以及教學需求下，遵循國家建設標準，通過國內外先進大數據技術支持，結合安全有效的技術手段，建立起有可行性、可擴展性以及實用性佳的大數據技術實驗室。在這個背景下，大數據技術實驗室硬件設施建設需要包括數據存儲與數據計算中心、數據終端以及可視化模塊[3]。數據存儲以及數據計算作為大數據技術實驗室整個核心部分，其主要包括計算資源、虛擬化以及存儲資源等基本功，常見的硬件設施多選擇HP、Dell以及IBM等。通過一些列的軟件部署以及架構，支撐起大數據技術實驗室基礎功能，常見的軟件設施有多種存儲模型管理系統等，在實際建設的過程中，高校可以積極借鑒國內外有效高校的大數據技術實驗室建設經驗，同時也可以參考一些科技公司在這方面的經驗。

3.2 實驗室建設總體框架

大數據技術實驗室由硬件與軟件設施整合而成的，主要包括了應用層、云服務平臺以及虛擬資源層、基礎設施層。其中“應用層”主要作為教學實驗實訓管理；“云服務平臺層”主要作為云服務運維管理；“虛擬資源層”主要作為計算資源的虛擬化管理，主要負責用戶管理，對用戶的申請、權限以及生產環境等配置模板進行管理，同時也針對用戶的實際需求，制作出相應的系統鏡像，然后對其分配計算資源；“基礎設施層”則主要為服務器以及網絡設備，主要負責用戶VM管理以及在基礎設施中進行為物理服務器的維護以及添加。

3.3 大數據技術實驗室管理平臺建設

大數據及時實驗室管理平臺建設主要包括知識資源庫管理平臺、協同開發服務云端平臺以及協同開發桌面云平臺。首先知識資源庫管理平臺建設，一方面建設源碼庫、類庫等支持性構件，另一方面要建設開發計劃、測試用例、實際素材以及案例庫等相關文檔，以此保障項目研發效率得到有效提升。另外，針對高校人才培養目標，需要建設相關的知識資源案例，提供詳細的項目案例示范、文檔撰寫示范以及編碼案例示范等。其次協同開發服務云端平臺建設，需要將項目設計部分以及實際需求產生的項目軟件說明書，在平臺中進行系統導入，在此要注意的是，該說明書必須要作為注冊的初始化文檔進行導入。最后為系統開發桌面云平臺建設，在實際建設的過程中，必須要將桌面計算機的CPU、內存自己硬盤與計算資源在云計算數據中心機房進行部署，然后再對物理資源進行虛擬化轉變，并根據用戶的實際需求，提供符合用戶意見的虛擬桌面服務。

3.4 Spark大數據實驗室建設分析

簡單以Spark大數據實驗室建設作為案例進行分析，Spark實驗室的建設是在基于OpenStack云平臺基礎上的，OpenStack主要起到一種虛擬機管理的作用，也就是說，主要對虛擬機的建設、掛起以及重啟、銷毀等操作進行管理。作為Spark實驗室的主要集群平臺，其通常由≧6臺的虛擬機配置，其中4臺虛擬機主要為工作節點，1臺虛擬機為主節點，剩余1臺虛擬機為主備份節點，組成Spark服務器集群。同時可以合理增加hadoop2.X配置，并要保障其部署結構能夠和Spark部署結構相一致，該配置能夠當做Spark on yarn的模式環境，這樣就能夠保障Spark集群可以提供Spark standlone以及Spark on yarn這兩種模式。在這種陪著下，Spark大數據實驗室建設具備了輕配置以及易擴展的優勢特點，同時能夠重資源、易安裝，基本能夠滿足高校教師的課堂研究與教學需求，同時也滿足了學生的實踐需求。

4 結語

對于高校來說，利用學校自身具備的多學科優勢，積極建設大數據技術實驗室顯得十分重要，大數據技術實驗室的建設，是將技術與科學的管理體系相結合，在專業優勢背景下，使得高?？蒲心芰Υ蟠筇嵘?，培養出更符合社會所需的技術型人才。

[1]李曉丹,劉云翔,王浩等.應用型計算機專業大數據分析實驗室建設[J].實驗技術與管理,2017,34(09):236-238.

[2]莫瀟曉.大數據背景下計算機專業實驗室建設及管理研究[J].電子技術與軟件工程,2017,(09):151-153.

[3]崔博.院校大數據實驗室建設研究[J].才智,2017,(12):15.