在線教育考試成績(jī)預(yù)測(cè)與評(píng)估研究

摘? 要：研究機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)下的大數(shù)據(jù)與在線教育的預(yù)測(cè)和評(píng)估結(jié)果，對(duì)評(píng)估在線教育的學(xué)習(xí)效果和在線教育改革與發(fā)展具有重要的現(xiàn)實(shí)意義。以貴州某學(xué)院學(xué)生成績(jī)的數(shù)據(jù)為基礎(chǔ)，通過對(duì)五種機(jī)器學(xué)習(xí)模型方法進(jìn)行比對(duì)，驗(yàn)證了機(jī)器學(xué)習(xí)算法的準(zhǔn)確率與原有方法相比有較大的提升，促進(jìn)了在線教育學(xué)習(xí)效果的提高，有利于對(duì)學(xué)生的客觀評(píng)價(jià)和在線教育的發(fā)展。

關(guān)鍵詞：在線教育;機(jī)器學(xué)習(xí);成績(jī)預(yù)測(cè)

中圖分類號(hào)：TP311.5;G434? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）03-0028-03

Abstract：It is of great practical significance to study the prediction and evaluation results of big data and online education under machine learning and neural network for evaluating the learning effect of online education and the reform and development of online education. In this paper，student performance of an adult education college in Guizhou is taken as the data. Through comparison of five machine learning model methods，it is verified that the accuracy of machine learning algorithm is greatly improved compared with the original method. It promotes the improvement of the learning effect of online education，and is conducive to the objective evaluation of students and the development of online education.

Keywords：online education;machine learning;predict performance

0? 引? 言

2015年是中國(guó)的教育大數(shù)據(jù)元年[1]，相關(guān)研究機(jī)構(gòu)和科研學(xué)者都開始關(guān)注教育大數(shù)據(jù)，在教育教學(xué)環(huán)節(jié)和教學(xué)活動(dòng)中產(chǎn)生了大量的相關(guān)教育數(shù)據(jù)，這些數(shù)據(jù)對(duì)教育評(píng)價(jià)和教學(xué)效果有著直接的影響，尤其是在線大數(shù)據(jù)、海量教育大數(shù)據(jù)對(duì)相關(guān)教育產(chǎn)業(yè)、教育機(jī)構(gòu)的影響。教育大數(shù)據(jù)產(chǎn)生于各種教育實(shí)踐活動(dòng)，既包括受教育者在校園內(nèi)的教學(xué)數(shù)據(jù)，也涵蓋由此產(chǎn)生的相關(guān)數(shù)據(jù);同時(shí)還包括網(wǎng)絡(luò)環(huán)境下的遠(yuǎn)程的教育教學(xué)活動(dòng)。

在線教育也稱網(wǎng)絡(luò)教育，是指在互聯(lián)網(wǎng)環(huán)境下，以現(xiàn)代教育思想和學(xué)習(xí)理論為指導(dǎo)，充分發(fā)揮互聯(lián)網(wǎng)環(huán)境下豐富的教育教學(xué)資源優(yōu)勢(shì)，向受教育者和學(xué)習(xí)者提供一種網(wǎng)絡(luò)化教和學(xué)的環(huán)境，利用數(shù)字化的語音、視頻和教育教學(xué)平臺(tái)，開展以學(xué)習(xí)者為重的非面授教育活動(dòng)。在線教育是遠(yuǎn)程教育的現(xiàn)代化表現(xiàn)，也是一種同時(shí)異地或者異時(shí)異地進(jìn)行教育的形式。

總的來說，在線教育數(shù)據(jù)主要有以下三大特點(diǎn)：（1）數(shù)據(jù)間聯(lián)系緊密;（2）數(shù)據(jù)存儲(chǔ)存在異構(gòu)性且處理困難;（3）在線數(shù)據(jù)分布廣泛。但在目前的互聯(lián)網(wǎng)環(huán)境下，海量在線數(shù)據(jù)分布的廣泛性會(huì)提高數(shù)據(jù)收集和檢索的難度，原有的很多不相關(guān)數(shù)據(jù)在深入剖析數(shù)據(jù)之間深層次的關(guān)系后，會(huì)發(fā)現(xiàn)大量數(shù)據(jù)之間依然存在一定的關(guān)系。

1? 在線教育大數(shù)據(jù)面臨的問題

在互聯(lián)網(wǎng)和大數(shù)據(jù)時(shí)代，在線教育平臺(tái)和在線教育機(jī)構(gòu)不斷增加，社會(huì)所擁有的教育資源也越來越多，每個(gè)教育平臺(tái)、教育機(jī)構(gòu)所擁有的數(shù)據(jù)都是獨(dú)立的、非共享的。各種數(shù)據(jù)之間的格式、含義、表示等都有差異，雖然這些異構(gòu)的大數(shù)據(jù)很多都具有相同的表征含義，但對(duì)于教育機(jī)構(gòu)和很多研究者而言，它們之間都沒有本質(zhì)的關(guān)聯(lián)，大量數(shù)據(jù)存在但沒有得到有效利用。因此，高效利用大量的在線教育資源面臨著巨大挑戰(zhàn)：如何對(duì)互聯(lián)網(wǎng)中看似不相關(guān)、紛亂無序的教育大數(shù)據(jù)進(jìn)行有效的管理和利用[2，3]，如何提升教育資源已獲得更為優(yōu)化的服務(wù)模式，以及如何有效評(píng)價(jià)服務(wù)模式的效率和性能已經(jīng)成為急需解決的關(guān)鍵問題。

2? 基于機(jī)器學(xué)習(xí)算法的在線教育成績(jī)?cè)u(píng)價(jià)模型

在大數(shù)據(jù)分析的技術(shù)背景下，以貴州某大學(xué)成人教育學(xué)院的真實(shí)學(xué)生數(shù)據(jù)和網(wǎng)絡(luò)爬蟲爬取到的相關(guān)數(shù)據(jù)為基礎(chǔ)，去構(gòu)建一個(gè)大數(shù)據(jù)環(huán)境下的機(jī)器學(xué)習(xí)預(yù)測(cè)回歸算法，分析該方法應(yīng)用于在線學(xué)習(xí)結(jié)果預(yù)測(cè)評(píng)價(jià)中，以期提高在線成人教育的教學(xué)效果。為此我們選擇了五種常見的分類算法進(jìn)行對(duì)比：邏輯回歸（Logistic Regression，LR）、支持向量機(jī)（Support Vector Machine，SVM）、決策樹（Decision Tree，DT）、樸素貝葉斯（Na?ve Bayes，NB）和反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)[4]。

2.1? 特征向量的選取

考慮到數(shù)據(jù)之間的異構(gòu)性，首先將無效信息刪除，同時(shí)對(duì)于原始信息中屬性中的丟失率超過20%的特征和無效特征刪除后，得到有效的原始數(shù)據(jù)。其次，可以進(jìn)一步將異構(gòu)數(shù)據(jù)進(jìn)行處理和合并刪除相同語義的數(shù)據(jù)，由此構(gòu)建特征向量。最后，將網(wǎng)絡(luò)爬蟲爬取到的文本信息進(jìn)行分詞后獲取情感信息，利用情感詞庫構(gòu)建情感特征向量，將兩者特征向量進(jìn)行歸一化之后進(jìn)行級(jí)聯(lián)，得到如表1所示的學(xué)生特征屬性名稱和特征描述表。

考慮到每種特征值的取值有很大的差異性，因此在特征空間量化的過程中，我們采用正則化的方法將所有的特征向量值都統(tǒng)一到[-1，1]的空間內(nèi)。這樣有利于后續(xù)的模型進(jìn)行處理。

2.2? 模型數(shù)據(jù)集和評(píng)價(jià)指標(biāo)的選取

考慮到實(shí)際樣本數(shù)量的采集，將數(shù)據(jù)集的70%和80%分別作為實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)集，10%的數(shù)據(jù)作為實(shí)驗(yàn)的驗(yàn)證集，剩余的20%和10%作為兩次實(shí)驗(yàn)的測(cè)試集。采用的評(píng)價(jià)指標(biāo)主要有準(zhǔn)確率（Precision）、F1-Measure、精確度（Accuracy）和召回率（Recall）[5]。主要的評(píng)價(jià)指標(biāo)計(jì)算公式分別為：

2.3? 學(xué)習(xí)成績(jī)預(yù)測(cè)框架設(shè)計(jì)

學(xué)習(xí)預(yù)測(cè)框架包括原始數(shù)據(jù)合并與處理、訓(xùn)練模型和預(yù)測(cè)應(yīng)用三個(gè)階段：（1）原始數(shù)據(jù)合并與處理階段：首先需要對(duì)數(shù)據(jù)源進(jìn)行選取，將原始數(shù)據(jù)清理之后進(jìn)行采用主成分分析方法（Principal Component Analysis，PCA）進(jìn)行特征提取，將提取后的特征和情感數(shù)據(jù)特征進(jìn)行融合，構(gòu)成最終的特征向量。并按照一定的比例將數(shù)據(jù)劃分為訓(xùn)練集數(shù)據(jù)、驗(yàn)證集數(shù)據(jù)和測(cè)試集數(shù)據(jù)三類;（2）訓(xùn)練模型階段首先將數(shù)據(jù)重抽樣，利用合成少數(shù)類過采樣技術(shù)[6]（Synthetic Minority Oversampling Technique，SMOTE）對(duì)不平衡數(shù)據(jù)進(jìn)行處理使數(shù)據(jù)類型平衡，再使用機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，將訓(xùn)練好的模型利用驗(yàn)證集數(shù)據(jù)進(jìn)行模型驗(yàn)證后，對(duì)得到的模型使用測(cè)試數(shù)據(jù)測(cè)試，不斷地調(diào)整模型的參數(shù)和性能，直到最終完成模型;（3）在預(yù)測(cè)階段，將測(cè)試數(shù)據(jù)輸入訓(xùn)練好的模型進(jìn)行預(yù)測(cè)，得到在線學(xué)習(xí)期末成績(jī)趨勢(shì)的預(yù)測(cè)結(jié)果。在線學(xué)習(xí)期末成績(jī)預(yù)測(cè)模型框架圖如圖1所示。

2.4? 模型結(jié)果分析

實(shí)驗(yàn)結(jié)果證明，與使用70%重采樣的結(jié)果相比，選擇80%重采樣的數(shù)據(jù)集進(jìn)行五種機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型，我們可以發(fā)現(xiàn)精確度和召回率有大幅度的提升。比較與其他四種方法，Logistic Regression獲得了最好的實(shí)驗(yàn)結(jié)果。最終的Logistic Regression得到擬合模型表達(dá)式為：

在上式中，GPA_COURSE表示所有已完成課程的平均成績(jī)/績(jī)點(diǎn)，COURSE_COUNT表示已完成的課程數(shù)，STUDENT_LEVEL表示學(xué)生類別，PASS_COURSE_TIME表示通過課程的平均學(xué)習(xí)時(shí)長(zhǎng)，COURSE_TIME表示課程所用時(shí)間，CHAPER_TEST表示課程章節(jié)測(cè)試成績(jī)，HW_SCORE表示平時(shí)作業(yè)成績(jī)。

從模型中我們可以看到作業(yè)成績(jī)對(duì)于在線學(xué)習(xí)的成績(jī)影響非常小，當(dāng)采用后的數(shù)據(jù)量非常大的情況下，在實(shí)際測(cè)試過程中可以考慮刪除該權(quán)重向量對(duì)預(yù)測(cè)的影響，以減少計(jì)算的復(fù)雜度和模型的開銷。

此外，由于數(shù)據(jù)量的采集依然存在問題，由于學(xué)生的情感評(píng)價(jià)打分有一定的缺陷，沒有有效利用情感等分進(jìn)行模型訓(xùn)練，導(dǎo)致深度學(xué)習(xí)算法在現(xiàn)有樣本數(shù)量下，訓(xùn)練模型的效果不佳，因此對(duì)于測(cè)試集最后的預(yù)測(cè)精度不高。當(dāng)樣本數(shù)量進(jìn)一步增大，深度學(xué)習(xí)模型的預(yù)測(cè)結(jié)果將進(jìn)一步提升。

3? 結(jié)? 論

隨著社會(huì)的不斷進(jìn)步，遠(yuǎn)程教育、在線教育將促進(jìn)每個(gè)人知識(shí)的不斷獲取和技能的不斷提升。面對(duì)海量數(shù)據(jù)環(huán)境下的在線教育的預(yù)測(cè)和評(píng)估也將隨著時(shí)代的不斷發(fā)展而變得越來越充滿挑戰(zhàn)性。

此外，原有的、單一的評(píng)估模式和評(píng)估方法僅將學(xué)生的考試成績(jī)作為唯一的評(píng)判標(biāo)準(zhǔn)，將其變換成多方法、多模型的在線教育的評(píng)估方法，兼顧學(xué)習(xí)時(shí)間、學(xué)習(xí)效率、學(xué)習(xí)態(tài)度的同時(shí)也充分考慮學(xué)生的個(gè)人學(xué)習(xí)能力等因素，用更客觀的評(píng)測(cè)權(quán)重來得到最后的期末綜合總分，這樣才能有利于在線教育的長(zhǎng)遠(yuǎn)發(fā)展以及對(duì)學(xué)生的有效評(píng)價(jià)。

參考文獻(xiàn)：

[1] 楊現(xiàn)民，唐斯斯，李冀紅.教育大數(shù)據(jù)的技術(shù)體系框架與發(fā)展趨勢(shì)——“教育大數(shù)據(jù)研究與實(shí)踐專欄”之整體框架篇 [J].現(xiàn)代教育技術(shù)，2016，26（1）：5-12.

[2] LANE J. Big Data：The Role Of Education and Training [J]. Journal of Policy Analysis and Management，2016，35（3）：722-724.

[3] ALEKSANDRA K M，MIRJANA I，ZORAN B. Data science in education：Big data and learning analytics [J]. Computer Applications in Engineering Education，2017，25（6）：1006-1078.

[4] 李航.統(tǒng)計(jì)學(xué)習(xí)方法 [M].北京：清華大學(xué)出版社，2012.

[5] SANDEEP M J，ERIK W M，EITEL J M L，et al. Early Alert of Academically At-Risk Students：An Open Source Analytics Initiative [J]. Journal of Learning Analytics，2014（1）：6-47.

[6] CHAWLA N V，BOWYER K W，HALL L O，et al. SMOTE：Synthetic Minority Over-sampling Technique [J]. Journal of Artificial Intelligence Research，2002，16（1）：321-357.

作者信息：徐洪峰（1977-），男，漢族，江西上饒人，副教授，碩士，研究方向：機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、企業(yè)信息化。