張 寧
(遼寧省大數(shù)據(jù)管理中心遼寧省信息中心 遼寧沈陽(yáng) 110002)
當(dāng)代社會(huì)之所以能夠以如此快的速度進(jìn)行不斷的發(fā)展和進(jìn)步,主要是因?yàn)榇髷?shù)據(jù)在社會(huì)發(fā)展過(guò)程中,起到的重要推動(dòng)作用,并且為我們國(guó)家的各個(gè)領(lǐng)域方面的發(fā)展也有著重大的引導(dǎo)作用。對(duì)于我國(guó)教育領(lǐng)域方面的影響,也是非常的深遠(yuǎn),各大高校為了能夠積極地順應(yīng)時(shí)代發(fā)展的潮流,也在積極地構(gòu)建大數(shù)據(jù)平臺(tái),如此一來(lái),就能夠充分的運(yùn)用大數(shù)據(jù)平臺(tái)的信息分析作用以及相關(guān)的挖掘能力,對(duì)于我國(guó)教育體制方面的改革是有著重大的推動(dòng)作用。
根據(jù)相關(guān)資料調(diào)查顯示,教育大數(shù)據(jù)的含義,主要指的就是在進(jìn)行教育教學(xué)的過(guò)程中能夠生產(chǎn)出具有結(jié)構(gòu)化和非結(jié)構(gòu)化等相關(guān)特點(diǎn)的數(shù)據(jù)信息,除了要具有結(jié)構(gòu)化和非結(jié)構(gòu)化,還應(yīng)當(dāng)具有分布式存儲(chǔ)管理相關(guān)特點(diǎn)的新技術(shù)以及新的處理模式,并且在這樣的影響下,教育大數(shù)據(jù)才能夠針對(duì)多元化的數(shù)據(jù)信息進(jìn)行的分析、儲(chǔ)存和有效處理。大數(shù)據(jù)相關(guān)的新技術(shù)和處理模式,在一般情況下,指的都是認(rèn)知計(jì)算、HBase分布式數(shù)據(jù)庫(kù)以及Hadoop分布式集群等能夠起到分析挖掘以及儲(chǔ)存計(jì)算方法。教育大數(shù)據(jù)在不斷發(fā)展的前提下,是能夠不斷地推動(dòng)我國(guó)教育體制改革方面不斷地進(jìn)步和發(fā)展,并且在其中還能起到非常關(guān)鍵的作用,以及能夠體現(xiàn)出較高的價(jià)值,一般教育數(shù)據(jù)所包含的內(nèi)容,是包括高校在日常生活中產(chǎn)生的教育教學(xué)、科目研究以及學(xué)生管理方面產(chǎn)生的數(shù)據(jù)信息,其中最主要的結(jié)構(gòu)內(nèi)容還包括了高校師生的基本信息,就比如說(shuō),學(xué)生的學(xué)習(xí)成績(jī)、教材等,以及教師相關(guān)教學(xué)內(nèi)容相關(guān)各種基本信息。這些師生的基本信息以及學(xué)校發(fā)展的基本信息之間是獨(dú)立存在專屬的儲(chǔ)存空間,在一定程度上是具有較高價(jià)值、多種類的類型等相關(guān)特征[1]。
只有將教育大數(shù)據(jù)相關(guān)的利用價(jià)值進(jìn)行深層次的挖掘,就能夠幫助各類高校建立起本校專屬的數(shù)據(jù)大平臺(tái)。數(shù)據(jù)大平臺(tái)的重要性基本上是由于其具有的多功能,才在各個(gè)高校中能夠起到非常重要的作用。接下來(lái),將從以下兩個(gè)方面來(lái)對(duì)數(shù)據(jù)大數(shù)據(jù)所具有的功能進(jìn)行簡(jiǎn)單的論述。
第一點(diǎn),數(shù)據(jù)大平臺(tái)能夠?qū)τ趯W(xué)校所產(chǎn)生的各種數(shù)據(jù)信息進(jìn)行有效的融合以及儲(chǔ)存,就比如說(shuō),相關(guān)高校在日常管理的過(guò)程中,會(huì)產(chǎn)生很多數(shù)據(jù)信息,比如上文提到的學(xué)的基本信息,相關(guān)學(xué)生方面的管理而產(chǎn)生出來(lái)的信息內(nèi)容,再加上高校的教師和學(xué)生的數(shù)量普遍來(lái)說(shuō)是比較多的,所以在一定程度上,產(chǎn)生出來(lái)的各種數(shù)據(jù)信息也是比較繁多和復(fù)雜的。如果不能夠充分的利用數(shù)據(jù)大平臺(tái)相關(guān)內(nèi)容來(lái)進(jìn)行處理和儲(chǔ)存的話,就會(huì)在高校管理的過(guò)程中,產(chǎn)生很多影響,嚴(yán)重的話,還會(huì)影響到整個(gè)高校的日常管理。由此可得,在高校中充分的運(yùn)用數(shù)據(jù)大平臺(tái),是能夠完美地體現(xiàn)出數(shù)據(jù)大平臺(tái)能夠?qū)⒏咝H粘I罟芾磉^(guò)程中產(chǎn)生的各類數(shù)據(jù)信息進(jìn)行妥善的處理和儲(chǔ)存[2]。
第二點(diǎn),數(shù)據(jù)大平臺(tái)在高校教育的應(yīng)用過(guò)程中,還能夠充分地體現(xiàn)出數(shù)據(jù)大平臺(tái)能夠?qū)Ω咝H粘9芾韺W(xué)習(xí)過(guò)程中產(chǎn)生的新型信息數(shù)據(jù)進(jìn)行統(tǒng)一化的管理以及數(shù)據(jù)信息的整體儲(chǔ)存。詳細(xì)地說(shuō),就是高校在實(shí)際的經(jīng)營(yíng)管理過(guò)程中,學(xué)生和教師是會(huì)產(chǎn)生一定的變化,尤其是學(xué)生,每一年都會(huì)有畢業(yè)的學(xué)生,還會(huì)有新來(lái)的學(xué)生,對(duì)于這些新來(lái)的學(xué)生所產(chǎn)生的重大信息數(shù)據(jù)等相關(guān)內(nèi)容,都是需要進(jìn)行統(tǒng)一的管理和儲(chǔ)存的,還要注意與原有的信息數(shù)據(jù)方面進(jìn)行區(qū)分,避免出現(xiàn)混淆的情況。因此,在整個(gè)對(duì)新型數(shù)據(jù)信息的處理過(guò)程中,能夠更好地展現(xiàn)出大數(shù)據(jù)平臺(tái)的功能。
但是,由于高校中各種數(shù)據(jù)信息的來(lái)源是多種多樣的,這樣一來(lái),對(duì)于大數(shù)據(jù)平臺(tái)相關(guān)功能的缺陷展現(xiàn)得淋漓盡致,因此,就需要采取相對(duì)應(yīng)有效的數(shù)據(jù)信息處理相關(guān)措施。就比如說(shuō),在運(yùn)用大數(shù)據(jù)平臺(tái)相關(guān)功能的過(guò)程中,要盡可能的制定統(tǒng)一化的數(shù)據(jù)標(biāo)準(zhǔn),對(duì)于以往陳舊的數(shù)據(jù)信息進(jìn)行有效的處理,避免在接受新型信息內(nèi)容的過(guò)程中,和陳舊信息內(nèi)容之間混淆了。其次,應(yīng)當(dāng)有效地確保相關(guān)數(shù)據(jù)信息在訪問(wèn)的過(guò)程中,所使用的是統(tǒng)一接口,并且還要有效地保障所產(chǎn)生的數(shù)據(jù)是具有唯一性特點(diǎn)的歸口。然后還要在對(duì)高校相關(guān)信息數(shù)據(jù)進(jìn)行有效處理的過(guò)程中,要對(duì)有問(wèn)題的數(shù)據(jù)信息進(jìn)行準(zhǔn)確的篩選,繼而進(jìn)行處理、分析,要最大限度地保障整個(gè)數(shù)據(jù)信息的質(zhì)量是始終處于提升的狀態(tài)。最后,對(duì)于大數(shù)據(jù)交換平臺(tái)的相關(guān)內(nèi)容要進(jìn)行合理化處理,要以數(shù)據(jù)信息共享方面的不斷提高作為基礎(chǔ)內(nèi)容,并且要在數(shù)據(jù)信息的采集方面盡可能做到規(guī)范處理,同樣也包括管理和應(yīng)用等方面的內(nèi)容,這樣一來(lái),對(duì)于高校中的綜合數(shù)據(jù)信息的相關(guān)分析處理的能力進(jìn)行有效的提高,從而保證整個(gè)高效數(shù)據(jù)能夠?qū)崿F(xiàn)全量的融合。
在高校相關(guān)數(shù)據(jù)信息的處理過(guò)程中,充分的運(yùn)用數(shù)據(jù)大平臺(tái)的相關(guān)功能,是能夠?qū)⒏咝H粘9芾砉ぷ髦挟a(chǎn)生所有數(shù)據(jù)都集中在同一個(gè)數(shù)據(jù)庫(kù)當(dāng)中,在對(duì)整個(gè)數(shù)據(jù)庫(kù)中的相關(guān)數(shù)據(jù)信息進(jìn)行處理、分析以及挖掘的過(guò)程中,是需要將學(xué)生的具體情況進(jìn)行有效的融合,這樣一來(lái),是為了能夠更好地研究出合適的教學(xué)方案和具有科學(xué)性的教學(xué)模式,與此同時(shí),對(duì)于整個(gè)高校的教學(xué)方面的管理工作以及學(xué)術(shù)研究方面的發(fā)展,提供了關(guān)鍵的數(shù)據(jù)信息方面的有力保障,從而能夠?qū)⒏咝5慕虒W(xué)質(zhì)量進(jìn)行更高層面的提升,并且在一定程度上對(duì)于我國(guó)高校教育教學(xué)方面的改變提供了一定促進(jìn)作用。
相關(guān)高校在進(jìn)行數(shù)據(jù)大平臺(tái)的構(gòu)建過(guò)程中,還應(yīng)當(dāng)充分的發(fā)揮相關(guān)的功能,主要從以下四個(gè)內(nèi)容進(jìn)行描述。第一,相關(guān)高校要能夠?yàn)閷W(xué)校提供相對(duì)應(yīng)的數(shù)據(jù)信息采集的各種接口,要保證數(shù)據(jù)大平臺(tái)在進(jìn)行數(shù)據(jù)信息的收集過(guò)程中,各個(gè)系統(tǒng)中的數(shù)據(jù)的連接是具有效果的,這樣一來(lái),就能夠最大限度地實(shí)現(xiàn)數(shù)據(jù)大平臺(tái)在進(jìn)行數(shù)據(jù)信息的收集過(guò)程中是保證具有時(shí)效性的,而且對(duì)于具有非結(jié)構(gòu)化和結(jié)構(gòu)化相關(guān)數(shù)據(jù)也能夠進(jìn)行有效的采集、融合以及處理。第二,相關(guān)高校在充分運(yùn)用數(shù)據(jù)大平臺(tái)的過(guò)程中,對(duì)于分布式儲(chǔ)存系統(tǒng)的運(yùn)用要始終保證科學(xué)合理的運(yùn)用,就比如說(shuō),對(duì)于前文提到過(guò)的那兩個(gè)系統(tǒng)的運(yùn)用過(guò)程中,要將各種類型的數(shù)據(jù)信息進(jìn)行有效的儲(chǔ)存,將相關(guān)數(shù)據(jù)大平臺(tái)中的查詢以及管理等相關(guān)功能進(jìn)行有效地提高。第三,相關(guān)高校在運(yùn)用數(shù)據(jù)大平臺(tái)的過(guò)程中,要依據(jù)相關(guān)分析、管理以及應(yīng)用等方面的各種需求,來(lái)對(duì)相關(guān)的計(jì)算方法進(jìn)行區(qū)別運(yùn)用,就比如說(shuō)常見(jiàn)的算法有,圖式計(jì)算、實(shí)時(shí)計(jì)算等。這樣一來(lái),就能夠?qū)⒏咝V写罅康臄?shù)據(jù)信息進(jìn)行有效的手機(jī)、挖掘以及分析和使用。第四,依據(jù)相關(guān)高校的教育教學(xué)的各種決定需求以及高校發(fā)展各個(gè)方面的需求,要能夠提供與之相匹配的數(shù)據(jù)分析法以及數(shù)據(jù)計(jì)算等方法來(lái)進(jìn)行有關(guān)數(shù)據(jù)信息方面的處理和分析。
相關(guān)高校教育教學(xué)過(guò)程中,產(chǎn)生的教育數(shù)據(jù)信息的基本內(nèi)容一般是包含著教學(xué)、科學(xué)研究以及學(xué)生就業(yè)問(wèn)題等方面的教育管理數(shù)據(jù),還有就是在實(shí)際的學(xué)生教學(xué)過(guò)程中而產(chǎn)生的各種教學(xué)視屏、圖畫(huà)以及相關(guān)文檔等各種數(shù)據(jù)信息,以及在教師的教學(xué)過(guò)程中以及學(xué)生的學(xué)習(xí)過(guò)程中會(huì)產(chǎn)生的各種數(shù)據(jù)信息也要進(jìn)行有效的處理。高校教育大數(shù)據(jù)平臺(tái)對(duì)于各種信息數(shù)據(jù)方面收集工作過(guò)程中,通常會(huì)對(duì)高校各種業(yè)務(wù)管理體系在運(yùn)轉(zhuǎn)過(guò)程中產(chǎn)生的各種數(shù)據(jù)信息和具有實(shí)時(shí)性的數(shù)據(jù)信息這兩種進(jìn)行有效的收集。在這其中,相關(guān)收集業(yè)務(wù)的管理過(guò)程中也會(huì)產(chǎn)生各種類型的數(shù)據(jù)信息,對(duì)于這類數(shù)據(jù)信息的相關(guān)處理基本上逗死通過(guò)批量導(dǎo)入、將接口的相關(guān)處理進(jìn)行公開(kāi)化以及將數(shù)據(jù)庫(kù)相關(guān)的數(shù)據(jù)信息記錄直接讀取出來(lái)等各種方式來(lái)進(jìn)行實(shí)現(xiàn),但是,針對(duì)各種圖像、音頻等相關(guān)多媒體數(shù)據(jù)的收集過(guò)程中,一般是經(jīng)過(guò)圖像識(shí)別的有關(guān)技術(shù),才得以實(shí)現(xiàn)。
相關(guān)數(shù)據(jù)信息的儲(chǔ)存層,一般都是要以HBdoop技術(shù)作為基礎(chǔ),再充分的利用服務(wù)器中所含有的硬件,以及對(duì)于Hadoop這種具有分布式特點(diǎn)的計(jì)算框架來(lái)構(gòu)建出一個(gè)可以為Hive、HBase等相關(guān)信息技術(shù)來(lái)為大數(shù)據(jù)相關(guān)內(nèi)容提供相對(duì)應(yīng)的服務(wù),與此同時(shí),還要完成高難度的吞吐、容錯(cuò)以及可靠等相關(guān)工作,來(lái)進(jìn)行數(shù)據(jù)信息的分析挖掘工作的相關(guān)任務(wù),并且,還要充分運(yùn)用具有較高的擴(kuò)展性以及可靠性的分布式系統(tǒng)。這樣一來(lái),就能夠最大程度的滿足各種不同方式的儲(chǔ)存以及可以實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)對(duì)于高校教育中大數(shù)據(jù)的各種采集工作以及存儲(chǔ)要求,因此,在進(jìn)行數(shù)據(jù)挖掘?qū)哟蔚倪^(guò)程中,還要有一定高效方面提高相關(guān)的基礎(chǔ)保障[3]。
在高校相關(guān)數(shù)據(jù)信息的處理過(guò)程中,相關(guān)數(shù)據(jù)信息中的挖掘?qū)又饕艘獙?duì)高校中相關(guān)教學(xué)方面的管理內(nèi)容進(jìn)行簡(jiǎn)單的分析、挖掘以及御用,再具體地說(shuō),其中主要內(nèi)容就是包括學(xué)生具體行為方面的分析、學(xué)習(xí)內(nèi)容的有關(guān)分析和專業(yè)分析,以及教師的各種教學(xué)行為方面的分析和科學(xué)研究方面的分析等。在這其中,主要能夠波及大數(shù)據(jù)平臺(tái)中的技術(shù),可以從兩個(gè)方面的具體內(nèi)容進(jìn)行簡(jiǎn)單的分析,第一點(diǎn),在實(shí)際的應(yīng)用過(guò)程中,要不斷挖掘新數(shù)據(jù)技術(shù)的相關(guān)需求,將挖掘相關(guān)的模型進(jìn)行有效的設(shè)計(jì)。第二點(diǎn),在充分利用大數(shù)據(jù)信息平臺(tái)的過(guò)程中,要充分的利用數(shù)據(jù)挖掘的各種功能,要及時(shí)地發(fā)現(xiàn)問(wèn)題,并采取合適的措施來(lái)進(jìn)行解決。
在對(duì)高校相關(guān)數(shù)據(jù)信息的分析、處理和挖掘的過(guò)程中,需要注意的一個(gè)方面就是要從中發(fā)現(xiàn)相關(guān)數(shù)據(jù)信息的運(yùn)用價(jià)值的高低,但是為了能夠有效地體現(xiàn)出相關(guān)數(shù)據(jù)信息在運(yùn)用過(guò)程中的各種價(jià)值觀念,還需要在實(shí)際的運(yùn)用過(guò)程中進(jìn)行充分的展現(xiàn)。依據(jù)學(xué)生的角度來(lái)看,要對(duì)學(xué)生的基本信息和狀態(tài)進(jìn)行深度挖掘和分析,盡可能全面的掌握學(xué)生的心理狀態(tài),要幫助學(xué)生在未來(lái)的發(fā)展軌跡中設(shè)定相關(guān)的發(fā)展目標(biāo),而且要依據(jù)學(xué)生的心理狀態(tài)以及成長(zhǎng)經(jīng)歷,對(duì)學(xué)生進(jìn)行畫(huà)像描述。依據(jù)教師的角度來(lái)看的話,應(yīng)當(dāng)在教學(xué)的過(guò)程中,將上文提到的數(shù)據(jù)信息方面的挖掘工作進(jìn)行充分的運(yùn)用,并將其中有用的數(shù)據(jù)信息融入相關(guān)的教學(xué)方案中,這樣一來(lái),相關(guān)教師的教學(xué)方法就得到了有效的創(chuàng)新,并且能夠提高相關(guān)教師的教學(xué)質(zhì)量。而且對(duì)于專業(yè)化的相關(guān)內(nèi)容的發(fā)展要有一個(gè)全面的分析,要及時(shí)地檢查專業(yè)改革所帶來(lái)的多方面影響,避免出現(xiàn)制約專業(yè)進(jìn)行改革等不好的情況。與此同時(shí),能夠有效預(yù)測(cè)是否存在制約高校整體發(fā)展的各種負(fù)面的因素。
高校大數(shù)據(jù)平臺(tái)在收集相關(guān)數(shù)據(jù)的過(guò)程中,通常會(huì)采取以下兩種方法:第一種,關(guān)于已經(jīng)存在的各種業(yè)務(wù)管理中相關(guān)系統(tǒng)進(jìn)行對(duì)接工作的過(guò)程中,需要將各個(gè)業(yè)務(wù)系統(tǒng)中產(chǎn)生的各種數(shù)據(jù)信息都要進(jìn)行集中處理,一般來(lái)說(shuō),都是要放到同一個(gè)大的數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行儲(chǔ)存,然后對(duì)于相關(guān)數(shù)據(jù)信息的存取標(biāo)準(zhǔn)要制定出一個(gè)合理的標(biāo)準(zhǔn)要求,并且在這種前提下,充分的利用API對(duì)接來(lái)直接對(duì)相關(guān)數(shù)據(jù)信息進(jìn)行讀取和相關(guān)的收集工作。第二種,就是采用比較直接的方法來(lái)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)信息進(jìn)行收集,一般來(lái)說(shuō),是會(huì)應(yīng)用到Flume技術(shù)來(lái)達(dá)到相對(duì)應(yīng)的收集工作的目的。在整個(gè)收集數(shù)據(jù)信息的過(guò)程中,主要的對(duì)象就是高校中的學(xué)生和教師,并且會(huì)對(duì)高校中的師生在校的生活中發(fā)生的事情中的數(shù)據(jù)信息進(jìn)行收集,但是當(dāng)事件監(jiān)聽(tīng)器對(duì)于相關(guān)事件對(duì)象的行蹤信息有所掌握之后,就會(huì)充分運(yùn)用事件處理器,并且將相關(guān)事件中的各種行為信息數(shù)據(jù)進(jìn)行有效的處理和整理,在完全整合之后,會(huì)將相關(guān)內(nèi)容發(fā)送到相關(guān)服務(wù)器當(dāng)中的收集組件,收集組件在處理完相關(guān)數(shù)據(jù)信息之后,會(huì)將相關(guān)的數(shù)據(jù)信息發(fā)送當(dāng)緩存組件中。之后才會(huì)通過(guò)數(shù)據(jù)發(fā)布的相關(guān)組件將有用的數(shù)據(jù)信息發(fā)送到消息處理的隊(duì)伍之中。
結(jié)合之前所產(chǎn)生的各種數(shù)據(jù)信息的處理方法,可以從中看出,一般情況下,都會(huì)充分利用各個(gè)業(yè)務(wù)當(dāng)中的管理系統(tǒng)進(jìn)行有效的儲(chǔ)存。并且針對(duì)這一部分的數(shù)據(jù)信息會(huì)進(jìn)行有效的收集,對(duì)于各種類型的知識(shí)內(nèi)容也會(huì)進(jìn)行獲取,在相關(guān)數(shù)據(jù)倉(cāng)庫(kù)搭建后,還需要相關(guān)聯(lián)的數(shù)據(jù)進(jìn)行轉(zhuǎn)換,這樣是為了將相關(guān)數(shù)據(jù)信息更好地進(jìn)行儲(chǔ)存。由于高校的專業(yè)種類是比較多的,教師和學(xué)生數(shù)量也比較多,因此,在進(jìn)行數(shù)據(jù)收集的過(guò)程中,要按照專業(yè)、教師以及學(xué)生的各種行為進(jìn)行有效的分析,并且在應(yīng)用的過(guò)程中,要保證相關(guān)主題是符合相關(guān)要求,另外,還要充分結(jié)合數(shù)據(jù)顆粒度中存在的原理進(jìn)行相關(guān)數(shù)據(jù)組織工作,并且還要設(shè)計(jì)出大數(shù)據(jù)平臺(tái)的儲(chǔ)存?zhèn)}庫(kù)。
高校教育大數(shù)據(jù)在實(shí)際應(yīng)用的過(guò)程中,所能夠設(shè)計(jì)到的范圍與規(guī)模的發(fā)展過(guò)程中,逐漸呈現(xiàn)出增大的發(fā)展趨勢(shì),因此,在進(jìn)行高校教育大數(shù)據(jù)進(jìn)行相關(guān)的管理工作以及儲(chǔ)存的過(guò)程中,要充分的利用Hadoop技術(shù),這樣一來(lái),就能夠更好地實(shí)現(xiàn)相關(guān)數(shù)據(jù)信息的儲(chǔ)存管理和計(jì)算機(jī)一體化方面的發(fā)展。
總的來(lái)說(shuō),在高校管理的過(guò)程中,構(gòu)建出高校教育大數(shù)據(jù)平臺(tái),是能夠?qū)⑾嚓P(guān)教育教學(xué)過(guò)程產(chǎn)生的多種數(shù)據(jù)信息進(jìn)行深層次的挖掘,這樣一來(lái),還能夠充分體現(xiàn)出教育大數(shù)據(jù)中的重要現(xiàn)實(shí)意義,就比如說(shuō),可以更好地幫助高校培養(yǎng)出精通各種大數(shù)據(jù)信息技術(shù)的專業(yè)性人才,以及能夠在一定程度上推動(dòng)了高校方面的教育、教學(xué)以及科學(xué)研究方面的改革,還能夠更好促進(jìn)相關(guān)政策的順利運(yùn)行。