基于機器學習的高校學生成績預(yù)測

摘" 要： 以某校本科生的歷史成績數(shù)據(jù)、一卡通消費數(shù)據(jù)、校園網(wǎng)日志數(shù)據(jù)和圖書館刷卡記錄數(shù)據(jù)為基礎(chǔ)，提出一種利用學生行為數(shù)據(jù)來預(yù)測學生成績的方法。選擇五種常用于教育數(shù)據(jù)挖掘的預(yù)測方法（邏輯回歸算法、支持向量機算法、決策樹算法、Ｋ近鄰算法和樸素貝葉斯算法），通過Stacking集成進行模型優(yōu)化，實驗結(jié)果表明，相較于單獨利用成績和單獨利用分類模型預(yù)測成績，該方法準確率更高，該研究對于輔助教學管理，促進智慧校園建設(shè)有一定意義。

關(guān)鍵詞： 教育數(shù)據(jù)挖掘； 成績預(yù)測； 組合優(yōu)化

中圖分類號：TP391" " " " " 文獻標識碼：A" " "文章編號：1006-8228（2023）12-220-04

Grade prediction of university student based on machine learning

Li Kaiwei

（School of Big Data and Computer Science， Shanxi Institute of Science and Technology， Jincheng， Shanxi 048000， China）

Abstract： Based on the historical performance data， one card consumption data， campus network log data， and library card swiping record data of undergraduate students in a certain university， a method for predicting student grades using student behavior data is proposed. Five commonly used prediction methods （logistic regression algorithm， support vector machine algorithm， decision tree algorithm， K-nearest neighbor algorithm， and naive Bayesian algorithm） for educational data mining are selected for model optimization through Stacking integration. Experimental results show that this method has higher accuracy compared to predicting grades using grades alone and classification models alone. This study has certain significance for assisting teaching management and promoting the construction of smart campuses.

Key words： education data mining; grade prediction; combination optimization

0 引言

學生成績預(yù)警，是教育大數(shù)據(jù)分析的一個重要研究方向，旨在通過數(shù)據(jù)挖掘?qū)W生相關(guān)數(shù)據(jù)進行成績預(yù)測，為學生和教學管理者提供一定的決策支持。

高校擴招政策實施后，在校生人數(shù)逐年上升，在教學過程中，教師難以了解每位學生的知識掌握情況；而且，傳統(tǒng)的統(tǒng)計掛科方式一般在課程結(jié)束后進行預(yù)警，具有滯后性，已無法滿足高校培養(yǎng)新時代高質(zhì)量人才的需求。隨著數(shù)字化校園的建設(shè)，高校積累了大量的學生數(shù)據(jù)，通過分析學生生活學習數(shù)據(jù)，預(yù)判學生未來的學習成績，實現(xiàn)從簡單的查詢到預(yù)測性分析的轉(zhuǎn)變，可以提前為在校生提供預(yù)警，從而提高教學質(zhì)量，促進智慧校園的發(fā)展。

1 相關(guān)工作

教育數(shù)據(jù)挖掘（educational data mining，簡稱EDM），就是將教學過程中或教育需求采集的數(shù)據(jù)資源，運用統(tǒng)計學、數(shù)據(jù)挖掘和機器學習等相關(guān)技術(shù)，轉(zhuǎn)化為有價值的信息。C. Romero和Ventura兩人分階段歸納了1995年至2005年的數(shù)據(jù)挖掘在傳統(tǒng)教育系統(tǒng)、特定的網(wǎng)絡(luò)課程、學習內(nèi)容管理系統(tǒng)，以及自適應(yīng)和智能的網(wǎng)絡(luò)教育系統(tǒng)中的應(yīng)用[1]；周慶等人[2]總結(jié)了EDM研究的相關(guān)背景知識，并指出在大數(shù)據(jù)時代背景下，EDM面臨著政策、資源和技術(shù)等多方面的機遇和挑戰(zhàn)。李宇帆等人[3]對EDM進行了系統(tǒng)性梳理，概括工作流程，詳細介紹了數(shù)據(jù)挖掘技術(shù)在教育領(lǐng)域的應(yīng)用場景。

學業(yè)成績預(yù)測作為教育數(shù)據(jù)挖掘領(lǐng)域中一個研究方向，也引起了很多學者的關(guān)注，Polyzou A 等人[4]根據(jù)課程銜接關(guān)系，利用先修課程來預(yù)測現(xiàn)學課程的表現(xiàn)。張鴻博[5]提出在學業(yè)成績數(shù)據(jù)基礎(chǔ)上，結(jié)合校園網(wǎng)數(shù)據(jù)進行分析，結(jié)果表明，可以獲得更為準確的預(yù)測。王崢[6]收集學生個人信息數(shù)據(jù)和時空軌跡數(shù)據(jù)，構(gòu)建學生個人行為畫像以及社交行為畫像，設(shè)計學業(yè)預(yù)警與社交分析系統(tǒng)，分析影響成績的因素。Krejcar Ondrej[7]提出一種使用監(jiān)督機器學習方法的預(yù)測分析模型，該模型基于學生的歷史學習成績預(yù)測學生的最終成績。文獻[8]提出了一種基于離群數(shù)據(jù)挖掘與分析的課程、課堂、課外“三位一體”的預(yù)警信息發(fā)現(xiàn)與生成模型LAOMA，建立了學業(yè)預(yù)警兩類六級信號系統(tǒng)及反饋機制。Krejcar Ondrej[9]提出一種基于學生的歷史學習成績的有監(jiān)督機器學習預(yù)測分析模型，比較分類和回歸技術(shù)在預(yù)測學生成績的性能。文獻[10]分析影響預(yù)測結(jié)果的因素，包括歷史成績、論壇變量、點擊流數(shù)據(jù)、課程持續(xù)時間、作業(yè)類型、數(shù)據(jù)收集程序、考試中的問題格式和預(yù)測結(jié)果，實驗表明，與練習相關(guān)的變量是最好的預(yù)測因素。

上述研究取得了一定的進展，但是存在一些不足：

⑴ 現(xiàn)有的研究主要利用學生的學習行為進行成績預(yù)測，缺乏對其他信息的利用，一定程度上影響了預(yù)測準確性。

⑵ 現(xiàn)有的研究在課程臨近結(jié)束時才能給出預(yù)測，存在一定的滯后性，無法及時為教學和管理工作提供幫助。

2 成績預(yù)測模型設(shè)計

針對以上不足，本文設(shè)計基于Stacking方法[11-12]的成績預(yù)測模型，訓練多個分類器并將其結(jié)合輸出組合預(yù)測，相較于單分類模型，通過組合各種不同的分類模型以提高整體模型的穩(wěn)定性，從而獲得更準確的預(yù)測結(jié)果。Stacking方法作為一種分層模型集成框架，如圖1所示，首先在第一層構(gòu)建多個不同類型的基學習器[（M1，M2，M3ΛMn）]，每個基模型對訓練集train1訓練，然后用于預(yù)測train1和test1的標簽列[（p1，p2，p3Λpn）]，[（t1，t2，t3Λtn）]，并分別把[（p1，p2，p3Λpn）]以及[（t1，t2，t3Λtn）]合并得到[P1]、[T1]，對其他分類器做相同操作，得到一個新的訓練集和測試集train2、test2，在第二層構(gòu)建一個元學習器，訓練train2，預(yù)測test2，得到最終的標簽列。

本文選取支持向量機算法、決策樹算法、Ｋ近鄰算法、樸素貝葉斯算法和Logistic回歸進行成績預(yù)測，并基于Stacking集成進行模型優(yōu)化，基模型選擇前四種分類算法，Logistic回歸作為元模型，為避免過擬合的風險，采用五折交叉驗證，以模型M1訓練為例，需對其進行五次訓練，每次挑選一折作為驗證集，基分類器M1經(jīng)過第一次訓練后，預(yù)測驗證集得到輸出p1，預(yù)測測試集得到輸出t1，重復上述操作，M1經(jīng)過五折交叉驗證后，得到M1每次經(jīng)過訓練后在驗證集上的輸出p1，p2，p3，p4，p5，將其拼接在一起得到在原始訓練集上預(yù)測的結(jié)果P1，M1每次經(jīng)過訓練后在測試集上的輸出t1，t2，t3，t4，t5，并將其相加之后求平均得到原始測試集上預(yù)測結(jié)果T1。并對其他的基模型進行同樣的操作，得到P1，P2，P3，P4和T1，T2，T3，T4。然后，再將P1，P2，P3，P4合并在一起作為新訓練集，T1，T2，T3，T4作為新測試集，進一步訓練得到Logistic回歸作為元模型，得到最終的預(yù)測結(jié)果。

3 實驗設(shè)置

3.1 實驗數(shù)據(jù)

本文使用的數(shù)據(jù)來源于某高校2021級全校本科生在2021年9月至2022年5月產(chǎn)生的數(shù)據(jù)，主要包括學生考試成績、一卡通消費數(shù)據(jù)、校園網(wǎng)日志數(shù)據(jù)和圖書門禁借閱數(shù)據(jù)。刪除由于休學、退學、轉(zhuǎn)學、參軍入伍、交流訪學等原因?qū)е聰?shù)據(jù)為空值的學生樣本數(shù)據(jù)，排除部分樣本數(shù)據(jù)缺失對實驗結(jié)果的影響，如表1所示。

3.2 對比試驗設(shè)置

⑴ 單模型分類，分別利用支持向量機算法、決策樹算法、Ｋ近鄰算法和樸素貝葉斯算法，Logistic回歸進行預(yù)測[13]；

⑵ 基于投票法集成，本質(zhì)是通過多個模型的集成降低方差，從而提高模型的魯棒性?；舅枷胧沁x擇所有分類器中輸出最多的一個類，作為最終的分類結(jié)果[14]。

3.3 評價指標

Accuracy（準確率），代表預(yù)測結(jié)果中被正確分類的樣本數(shù)占總樣本數(shù)的比例。公式為：

[Accuracy=TP+TNTP+TN+FP+FN]

其中，TP代表一個實例是正例，且被判定為正例；TN代表一個實例是負例，且被判定為負例；FP代表一個實例是負例，但被判定為正例；FN代表一個實例是正例，但被判定為負例。

Precision（精準率），代表預(yù)測結(jié)果中被正確預(yù)測為正樣本的個數(shù)占預(yù)測結(jié)果中被預(yù)測為正樣本數(shù)的百分比，公式為：

[Precision=TPTP+FP]

Recall（召回率），代表被正確預(yù)測為正樣本數(shù)占樣本中真實的正樣本的百分比，公式為：

[Recall=TPTP+FN]

3.4 實驗結(jié)果

為驗證本文提出的方法的有效性，選取上述對比試驗，通過準確率、精準率、召回率分析各模型的性能，結(jié)果如下所示。

由圖2可以看出，對比五個分類算法的整體預(yù)測準確率以及精準率、召回率，發(fā)現(xiàn)五個算法各有優(yōu)劣，不能簡單通過整體準確率來判斷，通過Stacking方法優(yōu)化組合模型，堆疊各種各樣的基學習器，使用第一階段的結(jié)果作為下一層預(yù)測的特征，與其他傳統(tǒng)單一分類模型相比，在基于學生數(shù)據(jù)預(yù)測期末成績的問題上取得了較好的預(yù)測效果，準確率達到了94%，此外，在精確率、召回率指標上也均有顯著的提升。

4 總結(jié)

本文以某高校2021級本科生的考試成績、圖書館門禁借閱系統(tǒng)數(shù)據(jù)和一卡通消費數(shù)據(jù)為基礎(chǔ)，分析其對于學生成績的影響，針對單模型預(yù)測容易發(fā)生過擬合的問題，通過Stacking 集成學習進行優(yōu)化，提高模型的準確度，實驗結(jié)果表明預(yù)警模型評估效果得到了提升。未來將考慮引入課堂學習行為、心理素質(zhì)及家庭因素，使用多維度數(shù)據(jù)來研究學生的學業(yè)情況。

參考文獻（References）：

[1] Sheel S J， Vrooman D ， Renner R S ，et al.A comparison of

neural networks and classical discriminant analysis in predicting students' mathematics placement examination scores.[C]//DBLP.DBLP，2001.

[2] 周慶，牟超，楊丹.教育數(shù)據(jù)挖掘研究進展綜述[J].軟件學報，

2015，26（11）：3026-3042.

[3] 李宇帆，張會福，劉上力，等.教育數(shù)據(jù)挖掘研究進展[J].計算

機工程與應(yīng)用，2019，55（14）：15-23.

[4] Elbadrawy， Asmaa，Polyzou， Agoritsa，REN Zhiyun，et al.

Predicting student performance using personalized analytics[J].Computer （Long Beach Calif），2016，49（4）：61-69.

[5] 張鴻博.距離優(yōu)化的DBSCAN網(wǎng)絡(luò)行為分析及N-

Adaboost學業(yè)成績預(yù)測研究[D].蘭州：蘭州大學，2020.

[6] 王崢.基于學生校園數(shù)據(jù)的學業(yè)預(yù)警與社交分析系統(tǒng)的

設(shè)計與實現(xiàn)[D].北京：北京郵電大學，2019.

[7] Nikhil A S ， Techstudent B .A Predictive Analytic study on

stock market trend by supervised machine learning algorithms[J]. 2020.

[8] 金義富，吳濤，張子石，等.大數(shù)據(jù)環(huán)境下學業(yè)預(yù)警系統(tǒng)設(shè)計與

分析[J].中國電化教育，2016（2）：69-73.

[9] Abdul Bujang Siti Dianah，Selamat Ali，Krejcar Ondrej.A

predictive analytics model for students grade prediction by supervised machine learning[J].IOP Conference Series： Materials Science and Engineering，2021，1051（1）：012005.

[10] MORENO M P M，PONG Tingchuen，MUNOZ M P J，et al.

Analysis of the factors influencing learners' performance prediction with learning analytics[J]. IEEE Access，2020，8：5264-5282.

[11] 徐慧麗.Stacking算法的研究及改進[D].廣州：華南理工

大學，2018.

[12] 鄭紅，葉成，金永紅，等.基于Stacking集成學習的流失用戶

預(yù)測方法[J].應(yīng)用科學學報，2020，38（6）：944-954.

[13] 蘭嘉楓.基于一卡通數(shù)據(jù)的大一新生成績預(yù)測預(yù)警[D].

武漢：華中師范大學，2022.

[14] Farshid Marbouti，Heidi A. Diefes-Dux，Krishna

Madhavan.Models for early prediction of at-risk students in a course using standards-based grading[J].Comput Educ，2016，103：1-15.