大數(shù)據(jù)技術(shù)在高校信息化中的應(yīng)用與研究

王寶祥 潘超

摘要：我國高校經(jīng)過十幾年的信息化建設(shè)，積累了大量數(shù)據(jù)。大數(shù)據(jù)的研究和應(yīng)用，已經(jīng)成為新的趨勢。該文分析了高校信息化建設(shè)對于海量數(shù)據(jù)應(yīng)用存在的問題，提出了一種基于大數(shù)據(jù)技術(shù)的解決方案，并分析研究了大數(shù)據(jù)技術(shù)在高校信息化中的實際應(yīng)用場景。文章旨在助力高校信息化建設(shè)，有效推動教育教學(xué)改革。

關(guān)鍵詞：大數(shù)據(jù);高校;信息化建設(shè);教學(xué)改革

中圖分類號：TP311? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）13-0036-03

隨著信息化的高速發(fā)展，各高校積累了大量有價值的數(shù)據(jù)資源。但從目前情況看，高校數(shù)據(jù)應(yīng)用普遍存在以下幾個問題：缺乏整體的數(shù)據(jù)規(guī)劃和設(shè)計、數(shù)據(jù)質(zhì)量低下、數(shù)據(jù)反哺效果未充分彰顯、缺乏亮點應(yīng)用。大數(shù)據(jù)技術(shù)的發(fā)展，為高校信息化建設(shè)帶來了機(jī)遇與挑戰(zhàn)，如何使大數(shù)據(jù)技術(shù)服務(wù)于高校的教育教學(xué)和管理工作，將這些海量數(shù)據(jù)應(yīng)用于高校的各個業(yè)務(wù)場景，從而推進(jìn)高校信息化建設(shè)，成為大多數(shù)高校當(dāng)前面臨的重要課題[1]。

本文從大數(shù)據(jù)的基本定義出發(fā)，分析高校信息化建設(shè)及數(shù)據(jù)應(yīng)用現(xiàn)狀，介紹了大數(shù)據(jù)的關(guān)鍵技術(shù)，提出一種基于大數(shù)據(jù)技術(shù)的解決方案，闡述了大數(shù)據(jù)平臺的系統(tǒng)框架，并對方案在高校數(shù)據(jù)實際場景的應(yīng)用進(jìn)行了研究與展望。

1大數(shù)據(jù)與高校信息化現(xiàn)狀

1.1 大數(shù)據(jù)特點

維基百科定義大數(shù)據(jù)為：大數(shù)據(jù)是指那些基于目前數(shù)據(jù)庫管理工具或傳統(tǒng)數(shù)據(jù)處理應(yīng)用都難以處理的大型而復(fù)雜的數(shù)據(jù)集[2]。其面臨的挑戰(zhàn)主要有數(shù)據(jù)的采集存儲、分析查詢、共享、管理和可視化。麥肯錫將大數(shù)據(jù)定義為：一種規(guī)模大到在獲取、存儲、管理和分析方面已超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。業(yè)界基本認(rèn)為其具有五個顯著的特點：數(shù)據(jù)規(guī)模超大、數(shù)據(jù)流轉(zhuǎn)速度快、數(shù)據(jù)類型多樣化、價值密度低、商業(yè)價值巨大[3]。

1.2 高校信息化建設(shè)現(xiàn)狀

目前，高校普遍處于信息化迷茫期。已建設(shè)眾多信息系統(tǒng)，如招生就業(yè)系統(tǒng)、人事管理系統(tǒng)、教務(wù)管理系統(tǒng)、考勤系統(tǒng)、一卡通系統(tǒng)、網(wǎng)絡(luò)管理系統(tǒng)等。這些信息系統(tǒng)為師生提供了便捷的信息服務(wù)，同時產(chǎn)生大量結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。在大數(shù)據(jù)時代，只有有效利用這些數(shù)據(jù)，才能更好地輔助教學(xué)、科研，做好科研管理、學(xué)生管理、招生就業(yè)推廣等各方面的工作，才能極大地提高高校的信息化水平。

由于初期學(xué)校信息系統(tǒng)建設(shè)缺乏統(tǒng)一的規(guī)劃和數(shù)據(jù)標(biāo)準(zhǔn)，這些信息系統(tǒng)所產(chǎn)生的數(shù)據(jù)存在碎片化、不一致、不規(guī)范和難共享的問題，已經(jīng)制約了高校管理和教學(xué)水平的提升。

2大數(shù)據(jù)技術(shù)在高校信息化中的應(yīng)用

高校擁有海量數(shù)據(jù)已逐漸成為現(xiàn)實，如何做好數(shù)據(jù)管理和規(guī)劃，發(fā)揮數(shù)據(jù)的預(yù)測、決策作用，成為當(dāng)前高校信息化建設(shè)的重要發(fā)展方向，也是高校信息化建設(shè)工作面臨的最大挑戰(zhàn)。

利用大數(shù)據(jù)技術(shù)促進(jìn)信息技術(shù)與教育教學(xué)的深度融合，構(gòu)建基于大數(shù)據(jù)的信息化教學(xué)模式，這必將給高校信息化發(fā)展帶來巨大變革。高校大數(shù)據(jù)建設(shè)的技術(shù)原理類似，但普遍存在實施不到位，缺乏信息化建設(shè)整體考慮，不能做到規(guī)劃-設(shè)計-實施-運營全過程，實施效果難閉環(huán)，效果達(dá)不到預(yù)期等情況。

2.1大數(shù)據(jù)的關(guān)鍵技術(shù)

在大數(shù)據(jù)時代，需要處理的數(shù)據(jù)量越來越龐大，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無法應(yīng)對，需要使用先進(jìn)的技術(shù)對海量數(shù)據(jù)進(jìn)行處理，從而提升數(shù)據(jù)的處理水平，保證數(shù)據(jù)處理的時效性及準(zhǔn)確性[4]。大數(shù)據(jù)技術(shù)體系基礎(chǔ)的技術(shù)通常包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲、數(shù)據(jù)倉庫、NoSQL數(shù)據(jù)庫、機(jī)器學(xué)習(xí)、數(shù)據(jù)治理和數(shù)據(jù)可視化。

常用的大數(shù)據(jù)處理技術(shù)框架如圖1所示，主要分為以下幾個方面：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)分析和數(shù)據(jù)可視化。

2.2大數(shù)據(jù)技術(shù)在高校信息化建設(shè)中的實施

大數(shù)據(jù)的數(shù)據(jù)源廣泛，且數(shù)據(jù)類型和結(jié)構(gòu)都不相同，但處理的基本流程是相同的。大數(shù)據(jù)時代下，高校信息化建設(shè)工作就是基于各業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)做好大數(shù)據(jù)的抽取、存儲、分析、管理和應(yīng)用等。

依據(jù)大數(shù)據(jù)處理通用框架，結(jié)合高校自身特點，經(jīng)深入研究分析，設(shè)計出一套適合高校的大數(shù)據(jù)平臺總體架構(gòu)，如圖2所示，整個平臺的處理流程可以定義為：對學(xué)校各業(yè)務(wù)平臺中的廣泛異構(gòu)的數(shù)據(jù)源進(jìn)行抽取和集成，將統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)進(jìn)行存儲，根據(jù)大數(shù)據(jù)應(yīng)用情境與決策需求，選擇合適的數(shù)據(jù)分析技術(shù)對存儲的數(shù)據(jù)進(jìn)行分析挖掘，從中得到有用的知識并用可視化的方式將結(jié)果呈現(xiàn)給終端用戶。

該架構(gòu)主要由四部分組成：數(shù)據(jù)采集模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)挖掘分析模塊、數(shù)據(jù)應(yīng)用模塊組成。

（1）數(shù)據(jù)采集模塊。

大數(shù)據(jù)的一個重要特征就是多樣性，數(shù)據(jù)來源廣泛、數(shù)據(jù)類型多樣。數(shù)據(jù)采集的對象包括：學(xué)校運營中使用的業(yè)務(wù)系統(tǒng)所產(chǎn)生的數(shù)據(jù)，主要有教學(xué)、科研、管理、一卡通、圖書館、上網(wǎng)記錄、物聯(lián)網(wǎng)數(shù)據(jù)等。從這些結(jié)構(gòu)化、半/非結(jié)構(gòu)化數(shù)據(jù)中進(jìn)行數(shù)據(jù)的提取與集成，統(tǒng)一存儲，為下一步的數(shù)據(jù)處理提供源數(shù)據(jù)。

（2）數(shù)據(jù)處理模塊。

針對海量數(shù)據(jù)結(jié)構(gòu)類型復(fù)雜，數(shù)據(jù)預(yù)處理與格式轉(zhuǎn)換開銷大，將主要采用三種采集方法進(jìn)行數(shù)據(jù)采集。第一種方式是針對結(jié)構(gòu)化數(shù)據(jù)利用接口和ETL工具如Kettle，采用數(shù)據(jù)庫導(dǎo)入的方式進(jìn)行數(shù)據(jù)采集;第二種方式利用Sqoop、Flume采集非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù);第三種方式是針對網(wǎng)絡(luò)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，利用網(wǎng)絡(luò)爬蟲進(jìn)行原始網(wǎng)頁抓取。用分布式的存儲架構(gòu)來對數(shù)據(jù)進(jìn)行處理，包含數(shù)據(jù)清洗、整合、變換等，按照數(shù)據(jù)類型，結(jié)構(gòu)化數(shù)據(jù)存于RDBMS中，半/非結(jié)構(gòu)化數(shù)據(jù)持久化到HDFS及HBase中。

（3）數(shù)據(jù)挖掘分析模塊。

數(shù)據(jù)分析模塊是大數(shù)據(jù)處理架構(gòu)的核心模塊，其主要功能是進(jìn)行基于Hadoop平臺和Spark的數(shù)據(jù)挖掘與分析。通過Kafka將數(shù)據(jù)在內(nèi)部架構(gòu)中進(jìn)行分發(fā)，根據(jù)不同的業(yè)務(wù)需要將數(shù)據(jù)分為基于MapReduce的離線處理部分與基于Spark Streaming的準(zhǔn)實時處理部分，并且將數(shù)據(jù)同步到實時索引系統(tǒng)（ElasticSearch），提供實時的數(shù)據(jù)檢索服務(wù)。數(shù)據(jù)分析工作主要是基于Hive平臺調(diào)用挖掘算法進(jìn)行并行計算，獲取大量數(shù)據(jù)間隱含的知識模式，并基于教育行業(yè)信息化數(shù)據(jù)標(biāo)準(zhǔn)，建立相應(yīng)的分析模型。

（4）數(shù)據(jù)應(yīng)用模塊。

數(shù)據(jù)應(yīng)用模塊的主要功能是將數(shù)據(jù)分析模塊的分析結(jié)果應(yīng)用到應(yīng)用類業(yè)務(wù)場景和分析決策類場景中，以最終為廣大師生提供精準(zhǔn)管理、科學(xué)決策、個性化服務(wù)。

通過建立大數(shù)據(jù)平臺，整合學(xué)校信息資源，形成一個統(tǒng)一的大數(shù)據(jù)處理模式，為學(xué)校做出科學(xué)、準(zhǔn)確的決策提供數(shù)據(jù)支撐;為教職工提供方便快捷的數(shù)據(jù)服務(wù);為學(xué)生提供全方位、個性化的學(xué)習(xí)、生活服務(wù)。

3大數(shù)據(jù)在信息化建設(shè)中的作用

高校信息化建設(shè)的目標(biāo)是通過全面優(yōu)化教學(xué)內(nèi)容、方法、手段和理念，促進(jìn)學(xué)校教育教學(xué)改革，進(jìn)一步創(chuàng)新人才培養(yǎng)和社會服務(wù)模式，全面提高高等教育質(zhì)量。構(gòu)建高校大數(shù)據(jù)平臺是以我校智慧校園建設(shè)戰(zhàn)略發(fā)展規(guī)劃為藍(lán)本而進(jìn)行的創(chuàng)新性探索，將會在我校資源整合、人才培養(yǎng)、學(xué)校管理和校園輿情分析等方面發(fā)揮重要的作用。

3.1大數(shù)據(jù)促進(jìn)資源整合

高校信息化建設(shè)如果缺乏科學(xué)設(shè)計、整體管控，“信息孤島”會演變?yōu)椤皵?shù)據(jù)孤島”[5]。構(gòu)建現(xiàn)代高校信息資源大數(shù)據(jù)平臺，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)及規(guī)范，建立教育數(shù)據(jù)共享交換平臺，連通各類教育信息系統(tǒng)，實現(xiàn)高校資源整合和優(yōu)化配置，消除“數(shù)據(jù)孤島”，讓數(shù)據(jù)多跑路，讓師生少跑腿，助力教育治理能力提升。

3.2大數(shù)據(jù)助力人才培養(yǎng)模式改革

高校的根本任務(wù)是人才的培養(yǎng)，建設(shè)智慧校園的第一發(fā)展目標(biāo)是培養(yǎng)智慧型人才。

大數(shù)據(jù)背景下，以學(xué)生為中心，基于師生教學(xué)互動和學(xué)生學(xué)習(xí)過程的大數(shù)據(jù)，開展多維度、全面、動態(tài)和智能的分析，指導(dǎo)學(xué)校按照客觀教育規(guī)律不斷深化教育教學(xué)改革，提升教學(xué)質(zhì)量。這種基于數(shù)據(jù)驅(qū)動的因材施教和個性化人才培養(yǎng)模式將成為主流。

3.3大數(shù)據(jù)助力管理工作

數(shù)據(jù)是對現(xiàn)象客觀的描述，用數(shù)據(jù)來支持決策更加科學(xué)合理。將大數(shù)據(jù)引入到高校信息化建設(shè)中來，通過大數(shù)據(jù)技術(shù)對高校信息資源進(jìn)行合理的分析總結(jié)，提取出各種規(guī)律性的信息，為高校全面、科學(xué)、系統(tǒng)的管理奠定了堅實的基礎(chǔ)。

在學(xué)校管理工作中，讓數(shù)據(jù)發(fā)揮價值，既可以全面掌握學(xué)生的學(xué)習(xí)及思想動態(tài)，為其提供精準(zhǔn)的、更具針對性、個性化的教育，又可以幫助管理人員制定更加科學(xué)、合理的制度，提升高校的管理水平。例如我校通過大數(shù)據(jù)平臺分析了本校學(xué)生的一卡通消費情況，從中篩選出每個月在食堂吃飯超過60次，平均每頓飯花費不超過6元的學(xué)生，以此作為評判家庭經(jīng)濟(jì)困難學(xué)生的重要依據(jù)，并給予適當(dāng)?shù)膸头觥?/p>

3.4預(yù)測與輿情分析

根據(jù)分析結(jié)果做預(yù)測是大數(shù)據(jù)的核心功能。利用大數(shù)據(jù)技術(shù)進(jìn)行可視化分析和數(shù)據(jù)深入挖掘，獲取的結(jié)果可以被用來作為預(yù)測的依據(jù)。對于高校管理人員，對獲取的數(shù)據(jù)進(jìn)行分析和整合，提出精準(zhǔn)預(yù)測。例如我校通過大數(shù)據(jù)平臺對比往年的招生情況、線上咨詢等信息，來預(yù)測未來各地市的招生情況，制訂招生計劃;通過對往屆學(xué)生的就業(yè)去向數(shù)據(jù)進(jìn)行分析，提供專業(yè)的就業(yè)指導(dǎo)和科學(xué)干預(yù)，切實提高了就業(yè)率。

此外，通過大數(shù)據(jù)平臺分析學(xué)生的心理動態(tài)、信息需求，借此加強(qiáng)輿情預(yù)測，避免不良的個體行為或情緒影響到群體，及時保護(hù)學(xué)生不受侵害，提升校園輿情管理水平。

4結(jié)束語

大數(shù)據(jù)技術(shù)對高校信息化建設(shè)的順利進(jìn)行提供了重要的技術(shù)支持，既是當(dāng)今時代對教育事業(yè)的發(fā)展要求，也是教育教學(xué)深化改革的必然要求。大數(shù)據(jù)中蘊(yùn)含的價值在不斷地優(yōu)化傳統(tǒng)的教與學(xué)、傳統(tǒng)的校園生活方式，可以為高校信息化建設(shè)的創(chuàng)新發(fā)展提供新的視角。在今后的高校信息化建設(shè)過程中，進(jìn)一步推進(jìn)大數(shù)據(jù)技術(shù)與高等教育的深度融合，充分發(fā)揮大數(shù)據(jù)優(yōu)勢，最終達(dá)到促進(jìn)學(xué)生成長、教學(xué)質(zhì)量提升、學(xué)科發(fā)展、科研應(yīng)用的目標(biāo)，進(jìn)而推動我國教育事業(yè)的可持續(xù)發(fā)展。

參考文獻(xiàn)

[1] 張林輝，田佳美.大數(shù)據(jù)在校園信息化建設(shè)中的應(yīng)用[J].中國教育技術(shù)裝備，2018（1）：49-50.

[2] Big data [EB/OL].https： https：//en.wikipedia.org/wiki/Big_data.

[3] 宗國福，李懿哲，任鵬.云計算、大數(shù)據(jù)技術(shù)在高校科研信息化建設(shè)中的應(yīng)用探索[J].中國管理信息化，2020，23（14）：183-184.

[4] 郭俊文.云計算模式下大數(shù)據(jù)處理技術(shù)研究綜述[J].科技視界，2020（13）：24-25.

[5] 周南平，賈佳.大數(shù)據(jù)背景下的高校信息化建設(shè)路徑研究[J].中國電化教育，2018（9）：75-80.

【通聯(lián)編輯：朱寶貴】