大數據技術在計算機基礎實驗室管理中的探索與應用

劉潔　陳暢頻

關鍵詞：大數據；實驗室管理；精細化管理

實驗室是高校開展實踐教學和科研創(chuàng)新的重要場所，承擔著高校人才培養(yǎng)、創(chuàng)新活動和科研的重要任務。在“新工科”“雙一流”和“高水平”大學的建設背景下，學校對實驗室投入不斷增加，實驗課程數目持續(xù)增長，實驗設備和材料數量迅速增加，服務的實驗室的師生人數也顯著增加，創(chuàng)新開放要求也在迅速提高，實驗室管理軟件也越來越多，同時實驗技術人員卻越來越少，如何合理規(guī)劃實驗室資源，對傳統(tǒng)的實驗室管理提出了巨大挑戰(zhàn)。大數據的廣泛應用給提升實驗室管理提供了新的方向，探索以大數據、物聯(lián)網等新興技術為基礎的精準化管理模式勢必成為一種必然。

1傳統(tǒng)計算機實驗室管理現(xiàn)狀

傳統(tǒng)的計算機實驗室管理主要存在以下幾個問題：

1.1設備陳舊，實驗管理手段落后，實驗室場地范圍大

學校在基礎實驗室的經費投入少，基本都在更新計算機、云桌面節(jié)點等設備和購買正版軟件上。大部分高校計算機實驗室配置普遍不高，且硬件種類繁多，差異性大，課程的多樣性導致軟件需求復雜，實驗管理的智能化手段少，很多工作仍然是人工完成。目前高校多校區(qū)辦學現(xiàn)象普遍，每個校區(qū)都需要建設計算機實驗室，從而導致實驗室分散管理，增加了實驗室的工作量。

1.2工作任務繁重

計算機實驗室除了承擔大量實驗教學和實訓任務，還要承擔各種無紙化考試、開放上機、各類培訓、學科競賽創(chuàng)新、教學評估、檢查參觀等活動，人員流動大。除此之外，還有各種表格核對、計算和統(tǒng)計工作。

1.3實驗室管理軟件過多，存在大量的信息孤島與數字鴻溝

隨著信息化的發(fā)展，實驗室各項業(yè)務都需要在網上辦理，但每項業(yè)務都有獨立的管理軟件，如實驗教學管理系統(tǒng)、實驗資源管理系統(tǒng)、實驗材料系統(tǒng)、門禁系統(tǒng)、開放預約系統(tǒng)等，每個系統(tǒng)產生大量獨立的數據，無法互聯(lián)互通，存在大量冗余和錯誤，缺乏科學管理與利用，給實驗室管理無形中增添了很多工作量。

1.4實驗技術專職人員缺乏

傳統(tǒng)的實驗室管理以個人經驗為主，管理人員相對充足。但近年來政策導向下，新進實驗技術人員人數減少，很多高校甚至暫停招聘專職人員，使用部分外包模式，加上原有人員也陸續(xù)退休，但隨著高水平大學建設的推進，學校也對實驗室發(fā)展提出新的要求，實驗室任務日益加重，實驗技術人員還需要承擔繁雜的實驗室教學資料的收集、整理、匯總、上報工作和各種實驗室建設項目及各種名目的實驗室檢查。

1.5實驗室安全制度不完整

安全管理上基礎設施差、經費投入少，雖然有門禁系統(tǒng)但缺乏智能管理。對學生創(chuàng)新活動及教師科研活動的支持雖然抱有強烈的意愿，但客觀條件卻只能使少數學生和教師受益。

2建設以數據為驅動的實驗室綜合服務管理平臺

2.1實驗室綜合服務管理平臺架構

針對以上存在問題，我校實驗中心計算機實驗室基于大數據、云計算和物聯(lián)網技術，建立了集教學、學生實踐創(chuàng)新、教師科研于一體的實驗室綜合服務管理平臺，充分利用信息資源，提升服務水平，實現(xiàn)實驗室的智能化和精準化管理，更好地為教學和培養(yǎng)人才服務。實驗室綜合服務管理平臺分為四層，見圖1。

2.2實驗室綜合服務管理平臺設計

2.2.1基礎設施層

基礎設施層是整個平臺的基礎，包括所有軟硬件及其他實施，我校在高水平建設實驗室改造項目中已對實驗室的基礎設施進行了改造，包括綜合布線系統(tǒng)、空調、安防、智能監(jiān)控、門禁系統(tǒng)、智能電氣控制、各類傳感器，這為項目的實施提供了良好的基礎環(huán)境。隨后，在多次設備專項購置及信息化項目中，合理優(yōu)化和購置云桌面節(jié)點、服務器、網絡設備、電氣控制系統(tǒng)，為建設數據倉庫存儲中心和計算中心奠定基礎。平臺建設后，可較全面地收集教學、設備、網絡、運維、門禁、電控、安全等各方面的數據，為基于大數據的實驗室管理創(chuàng)造有利條件。

2.2.2數據倉庫

這一層需要對基礎設施層收集來的數據進行清洗、轉換、整合、分析和儲存，并為虛擬資源層和應用層中各種應用提供數據支撐。基礎設施層除了自實驗室原有各種系統(tǒng)中采集的實驗教學、用戶、資產等關系型數據庫數據外，還采集來自各種監(jiān)控、傳感器、教學過程等數據，數據類型不一。這些數據有結構化數據也有非結構化數據，結構化數據主要來自實驗室原有各種系統(tǒng)，例如教務、資產、材料等，可采用ETL工具進行采集，按照數據倉庫建立的方法定期從各個業(yè)務系統(tǒng)中采集，并根據需求進行調整，最后存儲到Hadoop大數據平臺的數據庫Hbase中。由于數據來源不一，比如班級數據有來自學生處的行政班級數據，也有來自教務處的選課班級數據，同一個學生可能屬于多個班級，經過平臺抽取后，需要先對數據源進行清洗，部分數據還需要人工校驗。利用完整性約束對數據不一致情況進行檢測和校驗，從而保證數據一致性。利用樸素貝葉斯分類的缺失值填充機制優(yōu)化對缺失的數據進行填充。最終將清洗后的多個數據源通過ETL技術進行同步集成，從而使分布和異構的數據集中構成適合業(yè)務特點的寬表形式，為上層提供數據挖掘和決策支持。對于大數據平臺中的非結構化數據，例如從攝像頭、視頻會議、傳感器、網絡爬取等采集的非結構化或半結構化數據將存儲到HDFS和Hbase中，進行定期清洗和篩選，決定數據是否保留，這部分數據大約占到數據總量的800/0。最終利用大數據應用框架中的Hadoop平臺的數據倉庫實現(xiàn)存儲、查詢和管理。

2.2.3虛擬資源層

虛擬資源層利用虛擬化技術實現(xiàn)將實驗室各種資源及數據有機整合，包括云計算資源、云存儲資源、網絡資源和管理控制設備等，再按需規(guī)劃并重新邏輯動態(tài)分配。實驗室綜合服務管理平臺的虛擬資源層將這些資源和數據應用整合和集成到統(tǒng)一的虛擬化平臺上，利用Docker集群化部署，實現(xiàn)快速部署集群，混合使用共享存儲和本地存儲資源，隔離計算環(huán)境，向上形成多租戶數據分析服務，包括分布式數據存儲與計算服務、實驗環(huán)境管理服務、教學資源管理服務、可視化服務等，支持實驗環(huán)境一鍵訪問，達到統(tǒng)一管理和使用的目的，而這種基于容器及容器集群架構運行的大數據實驗基礎平臺，降低基礎架構的復雜度和運維成本，可靠靈活，同時顯著提高了利用率。

2.2.4應用層

應用層是整個平臺的核心，實驗室專職技術人員在這一層完成對實驗室的精細化管理，包含對實驗教學、考試、資產、材料、安全、開放等一系列業(yè)務。其在基礎設施層和數據倉庫層利用物聯(lián)網技術實現(xiàn)對人和物的行為數據和管理信息的采集和清理后，在應用層實現(xiàn)各種智能終端對實驗室內設備傳感器的遠程控制，為人和物建立直接聯(lián)系。其利用大數據多樣性的特點，收集來自不同設備不同系統(tǒng)的數據資料和教學資源庫，構造業(yè)務邏輯，從而對實驗室管理綜合和科學處理，利用神經網絡等技術挖掘有價值的實驗教學數據，構建大數據分析框架，利用集群、分割、孤立點算法和語義引擎進行淺層分析或者深入挖掘，分析對比，提取數據中隱含的、未知的、極具潛在應用價值的信息和規(guī)律，對數據進行直觀展示，為實驗室的教學管理、用戶管理、實驗預約管理、資產材料管理等各項工作提供決策和指導。

2.3提升管理手段與加強實驗室隊伍建設相結合

實驗室隊伍建設是關系到實驗室綜合服務管理平臺建設后是否能發(fā)揮優(yōu)勢作用的關鍵。從提升實驗室管理角度及人員稀缺的角度出發(fā)，定期對實驗技術人員進行相關培訓，使相關人員從根本上轉變工作觀念，打破過去以各自經驗和手工為主的管理模式，善于利用新的技術手段，勇于創(chuàng)新，提升個人業(yè)務水平，更好地為高水平建設服務。

3以大數據技術實現(xiàn)資源整合，推動實訓實驗環(huán)境的管理

實驗室綜合服務管理平臺基于大數據的視角開展頂層設計，收集整合實驗教學產生的各種數據，從中提取出有價值的信息，從而進一步推動實驗教學改革、科研活動及學生創(chuàng)新。

3.1對實驗室管理模式的創(chuàng)新

平臺可以對實驗室管理可視化分析（如圖2），展示實驗室實時數據、實驗室開放信息、能耗分析、設備信息、預約信息、門禁信息、材料信息、教學信息，實驗技術人員可以實時掌握實驗室的數據，實驗室原有的多個系統(tǒng)的數據經過平臺整合共享后，避免了反復在多個系統(tǒng)中進行數據比對，減少了部分統(tǒng)計工作，并能智能預警和報障。

我校計算機實驗室分布在兩個校區(qū)，利用大數據技術可以實時分析設備利用情況，減少人員壓力，為實驗技術人員在設備購置的各項決策中提供數據支持，避免浪費。

平臺充分利用大數據、云計算和物聯(lián)網相關技術，提升了實驗室管理水平。平臺的虛擬化技術，在一定程度上簡化了實驗技術專業(yè)人員的工作，不用耗費大量人力于臨時考試、培訓、創(chuàng)新活動的環(huán)境布置。

3.2對實驗教學模式的創(chuàng)新

隨著信息技術在教學過程中的深入融合與應用，越來越多的實踐實訓教學環(huán)節(jié)是在計算機上模擬仿真完成的。實驗室綜合服務管理平臺中的虛擬資源層能夠實現(xiàn)對實驗環(huán)境的資源調度的彈性管理。平臺基于H.264數字視頻編解碼標準，支持SRT傳輸協(xié)議，利用虛擬化技術搭建線上實驗教學環(huán)境，集課程軟件環(huán)境、分組實訓、桌面共享、音頻視頻交互、圖像文字、課程錄像及點播、文件傳輸、論壇交流、教師管理控制等功能于一體，為實驗室提供了遠程的實時交互線上實驗教學環(huán)境，使得實驗教學在空間上得到延伸。通過該平臺教師和學生可在校外訪問教學實驗資源，在家完成實驗和授課，將原來受環(huán)境限制的實驗室開辟到了網絡空間中。

實驗室綜合服務管理平臺還可以全面地呈現(xiàn)教學過程和相關數據。一方面，平臺為教師多維度地展示學生的學習進度，使教師能直觀了解課堂的學習情況，有效幫助教師調整教學進度和教學方式，提高教學效果。教師也可以在平臺中根據教學目標和學生情況，靈活制定實驗項目和實驗環(huán)境。另一方面，老師還能根據多年積累的教學經驗或者其他老師共享的資料定制資源庫、習題庫及案例庫，通過對教學過程的組織，可以實現(xiàn)教師備課、學生預習、實驗作業(yè)布置批改、教學過程檢查等功能。同時，這些數據可以反過來量化教學過程，有助于教學評價的智能化和公平公正化，為教學決策提供數據。

3.3推動學生和教師創(chuàng)新實踐活動

平臺也為學生實踐創(chuàng)新活動和科研活動助力，面向全校師生提供課外科技創(chuàng)新研究的資源和服務。在開放實驗室中部署一套物聯(lián)網智能網關，實現(xiàn)對實驗室電氣設備、空調、燈光控制器以及對煙霧傳感的采集，并與平臺實時聯(lián)動，實現(xiàn)統(tǒng)一控制與報警聯(lián)動功能。平臺實現(xiàn)實驗室內學生和教師的預約、實驗室分配及與門禁系統(tǒng)聯(lián)動、數據采集、自主考勤，通過人臉識別攝像頭，判斷學生信息并記錄學生在實驗室學習的時間，得到開放人機時數，平臺增設電器控制系統(tǒng)，可對實驗室電源插座、空調、燈光、煙霧進行開閉的智能控制，通過采集的信息與平臺實現(xiàn)聯(lián)動，進一步增強基地開放實驗室安全性，同時具有火災和盜竊的檢測和報警系統(tǒng)，為實驗室全天安全開放提供技術保障，提高實驗室利用率。

結語

我室對基于大數據的計算機實驗室管理進行了初步探討，實驗室綜合服務管理平臺數據的一致性使實驗技術人員減少了在多個系統(tǒng)中核對數據的工作，虛擬化技術提供各種虛擬化實訓環(huán)境和考試環(huán)境，免于反復同傳和克隆，從一定程度上使實驗技術人員從煩瑣的重復勞動中解放出來，更好地服務實驗教學、科研與學生創(chuàng)新。大數據的數據分析特性更好地為材料購買和資產建設提供很多趨勢數據，為實驗室建設提供依據。大數據正以獨特的技術推動高校計算機實驗室的建設，為實驗室信息化、精細化、智慧化管理提供了新的途徑，提升了實驗室管理水平。

作者簡介：劉潔（1980— ），女，漢族，廣西桂林人，博士，實驗師，研究方向：實驗教學與管理。