基于多層特征融合的學生成績預測模型

劉 彤，齊慧冉，倪維健

(山東科技大學 計算機科學與工程學院，山東 青島 266590)

0 引 言

目前深度學習方法[1，2]已廣泛應用于成績預測任務中，此類方法通常利用RNN提取成績的時序信息[3]，或利用注意力機制對成績中不同的學科信息加權進而實現成績預測[4]，但該類方法側重于單獨考慮歷史成績的時序依賴關系和課程權重關系，或簡單將兩者信息融合，而在由多類學科成績組成的歷史成績序列中，并非所有的成績都依賴于其相鄰的成績信息，每個學科成績都有各自的進化軌跡。因此，在考慮歷史成績的時序性的同時還需關注相關學科的成績序列表達，將兩者同步進行特征提取。此外，基于機器學習和深度學習的方法通常需要大規模的訓練數據，因而難以在學業早期數據不足的情況下實現成績預測，因此對稀疏數據進行信息補充尤為重要。

針對上述問題，本文提出基于多層特征融合的成績預測模型(multilayer feature fusion-based model for predicting student academic performance，AAPM)。該模型構建了兩層歷史成績建模模塊，實現了成績信息的時序依賴性與課程相關性的同步特征提取；基于共現頻率構建了相似學生網絡，融合相似學生特征進行信息互補以實現及時預測。

1 相關工作

當前，應用于成績預測的研究方法主要分為3類：基于傳統機器學習的成績預測研究；基于推薦方法的成績預測研究；基于深度學習的成績預測研究。

基于傳統的機器學習方法通常利用隨機森林[5]、支持向量機[6]、邏輯回歸[7]或決策樹模型[8]對成績進行預測。但此類方法通常需要手動篩選特征，不能挖掘成績特征隱含的深層次的信息。

基于推薦的成績預測研究，通常將學生預測問題類比于推薦系統中的用戶評價問題，借用推薦領域的技術[9]來解決學生成績預測問題。如文獻[10]提出成績預測問題本質上是矩陣填充問題，其與推薦系統中使用矩陣填充模型預測推薦類似，因此采用了矩陣分解技術對成績進行預測。文獻[11]將推薦領域中的用戶-項目概念映射到學生-課程概念中，采用協同過濾思想進行成績預測。但這類方法通常僅依賴成績信息進行預測，在課程初期歷史成績記錄較少的情況下，會存在數據冷啟動問題。

與決策樹模型和推薦算法等相比，基于深度學習方法的深層結構能更充分挖掘數據的隱含信息。文獻[12]考慮到不同屬性對于成績預測的影響程度不同，利用最速下降法獲取各屬性特征的最優權系數從而實現成績表現的分類預測，但模型并未考慮到歷史成績序列之間的順序依賴性，文獻[13]利用時間序列神經網絡方法來預測成績，與不采用序列的方法相比，該方法可以顯著提高預測準確性。文獻[14]考慮到學生不同時期的行為在預測任務中有不同程度的影響，提出軟注意力機制動態地學習每個學生不同時期行為的重要程度，使預測性能大大提高。受此啟發，本文考慮到在多學科歷史成績序列中，各學科成績對于目標學科成績預測的影響程度不同，同時成績之間具有時序依賴關系，為了同時捕捉多學科成績的時序性與相關性特征表示，需要更加靈活的順序結構模型。為此本文將具有時序建模功能的LSTM模型和具有局部加權功能的Attention機制應用到歷史成績序列中，構建了歷史成績序列建模模塊和多學科注意力模塊，有效地實現了多歷史成績信息的時序依賴性與課程相關性的深層次同步特征表示。

2 模 型

2.1 問題定義

模型任務是預測學生的目標學科的成績。具體來說，給定學生si的前pt-1學期的歷史成績信息Gsi，cj，pt-1、 在校行為數據Bsi，aj、 個人基本信息Isi，fj， 預測第t學期的學業成績Gsi，cj，pt。 其中si∈S代表學生，cj∈C代表第j課程，pt-1代表第t-1個學期，an∈A代表在校行為數據中的第n項特征，A代表學生在校行為數據所有屬性的集合，fm∈F代表個人基本信息內的第m項特征，F代表學生個人基本信息數據中所有屬性的集合。

2.2 模型結構

本文提出的AAPM模型框架如圖1所示，包含4個模塊：①數據預處理與編碼模塊；②歷史成績建模模塊；③相似學生建模模塊；④成績預測輸出模塊。

圖1 基于多層特征融合的成績預測模型

2.2.1 數據預處理與編碼

該模塊實現對原始數據進行預處理與編碼表示，根據數據的屬性特點將其分為3類特征，分別是歷史成績特征Gsi，cj，pt-1∈RN*M*T、 在校行為特征Bsi，an∈RN*K、 個人基本信息特征Isi，fm∈RN*L。

2.2.2 多學科歷史成績建模模塊

(1)成績序列建模模塊：在該模塊中，采用LSTM提取成績序列的時序依賴關系。其中，LSTM的輸入是按考試時間排序的歷史成績信息，輸出為歷史成績序列的隱含知識狀態特征信息hsi，pt， 具體過程如下

(1)

isi，pt=σ(Wi[hsi，pt-1，gsi，pt]+bi)

(2)

fsi，pt=σ(Wf[hsi，pt-1，gsi，pt]+bf)

(3)

(4)

osi，pt=σ(Wo[hsi，pt-1，gsi，pt]+bo)

(5)

hsi，pt=osi，pt?tanh(csi，pt)

(6)

(7)

csi，cj，pt=asi，cj，pt?csi，pt

(8)

hsi，cj，pt=osi，cj，pt?tanh(csi，cj，pt)

(9)

2.2.3 相似學生建模模塊

(10)

根據共現頻次衡量學生si和學生sj之間的相似度，公式如下

(11)

(12)

2.2.4 成績預測輸出模塊

(13)

fsi，cj，pt=Wsifsi(x)

(14)

在綜合考慮了相似行為學生特征后，在成績預測層加入了第二層特征融合方法，如式(15)所示，即成績預測模型的最終表示方式

(15)

2.3 模型訓練

本文使用反向傳播算法來訓練網絡模型，用平滑平均絕對誤差[16]作為損失函數，通過迭代求解損失值和隨機梯度下降來優化模型，使得損失函數的值收斂到最小。公式如下

(16)

3 實 驗

3.1 數據集描述與預處理

本文使用由某市教育局提供的某中學的真實數據集進行實驗，實驗選取了學號為13012至16162之間的3151名學生的信息，其中包括2015至2018學年6個學期的9門課程的成績信息，1 463 904條消費記錄信息以及223 630條校園考勤記錄信息。對該數據進行預處理，按其屬性特點劃分為3類特征，見表1。

表1 特征分類

3.2 評價指標

為評估AAPM模型在成績預測任務中的有效性，本文使用成績預測研究中常用的評價指標，分別為平均絕對誤差(mean absolute error，MAE)、均方誤差(mean squared error，MSE)、決定系數(coefficient of determination，R2)[17]，如式(17)～式(19)所示

(17)

(18)

(19)

3.3 對比實驗

實驗對比了AAPM模型與以往的成績預測方法在預測精確性、穩定性和及時性上的表現，包括TWA[3]、MSFMDDCN-LSTM[12]、MFNN[4]、IFTSNN[13]、DAPAMT[14]方法。實驗結果如下：

(1)對比模型預測的精確性。使用數據集中前5個學期的數據在上述模型中進行不同學科成績的預測，以MAE、MSE、R2作為模型評價指標。從表2中可以看出，本文提出的AAPM模型在各類學科成績預測任務中，MAE、MSE、R2這3項指標值均優于其它方法，原因主要在于該模型能夠更深層的挖掘大量歷史成績序列的演化信息，特別在數學、物理、生物等學科中，由于該類學科的歷史成績數據更加標準化，模型預測的精確度更高。

表2 對比實驗結果

(2)對比模型預測的及時性。如圖2所示，圖中每個子圖代表一個課程，子圖中的橫坐標代表不同學期的數據量，如橫坐標中的1代表模型僅使用了第一學期的訓練數據，縱坐標代表模型的評價指標R2值，子圖中的折線代表各類模型隨著每學期數據的增加而取得的預測得分。可以看出，其它對比模型在僅使用第一學期的訓練數據做預測時模型的預測效果都不好，無法在學業早期數據量不足的情況下進行成績的精準預測。如圖2(b)中，TWA模型在僅使用第一學期的訓練數據的情況下，預測精確度僅為60%，而AAPM模型的預測精度達到了85%，與其它方法相比，AAPM方法在僅使用第一學期訓練數據的情況下，預測的精確度就已達到了其它模型使用前5個學期的數據進行預測的效果，并在使用前3個學期的訓練數據預測學生成績的任務時在多門學科中均達到80%以上的精確度，其原因主要是本文提出的模型能夠在學業早期通過相似學生群組信息進行信息補充，這使得教師或課程管理人員可以在學業早期數據不足的情況下精準預測學生未來的學業成績，及時地采取可操作、干預性的措施來幫助成績不佳的學生。

圖2 對比實驗結果

(3)對比模型預測的穩定性。如圖2所示，在使用不同學期訓練數據的情況下，TWA和MSFMDDCN-LSTM方法在多個學科預測中都表現出了預測效果不穩定的現象，如圖2(e)中，TWA在第三學期預測指標值達到了68%，而在第四學期又降至51%，圖2(a)中，MSFMDDCN-LSTM的預測指標值在第三學期達到58%，第四學期降至40%以下，而在第五學期又提高到68%，在圖2(b)、圖2(c)、圖2(f)中，這兩類模型也表現出了此類不穩定的預測性能特征，而本文提出的方法在多門學科的預測中，由于模型采用了注意力機制與LSTM的柔性結合方式，更能深層次有效地處理大量數據，其預測指標值一直呈現平穩上升的趨勢。

3.4 消融實驗

為評估網絡中各模塊對預測結果的影響，在實驗中移除圖1所示模型中的部分模塊，評估剩余部分的預測效果，具體設計了如下由部分模塊構成的網絡模型：①AAPM：完整的網絡結構。②LSTM：移除歷史成績序列模塊。③LA：移除多學科注意力模塊，不考慮學科之間的影響。④Similarity：移除相似學生建模模塊，不考慮有影響作用的相似學生的信息。

各部分網絡模塊預測結果如圖3 所示，可以看出：①移除掉LA模塊的網絡模型預測效果最差，特別是在語文、化學和政治這些科目中與完整的AAPM模型相比，預測得分相差之大尤為明顯，由此可以看出各學科對目標預測學科的隱含作用關系較強，不可忽視。②其次是移除掉LSTM模塊的網絡模型，在各個科目的預測任務上表現也較差，特別在語文、數學、英語科目的預測上相比較于完整的網絡模型有較明顯的下降，由此也表明了將成績作為序列特征建模的有效性，同時也可以看出學習是一個長期積累循序漸進的過程。③移除掉Similarity模塊的網絡模型在各個科目上的預測效果都低于完整的網絡模型AAPM，由此可以看出在預測出融入相似學生信息的必要性。

圖3 消融實驗結果

4 結束語

本文提出的AAPM模型極大提高了學生成績預測性能。首先，針對歷史成績的時序性和多學科間的相關性，構建了兩層歷史成績建模模塊，實現了成績序列信息在課程和時間兩個維度的深層次同步特征表示。其次，構建了相似學生社交網絡，將相似學生的信息進行特征融合，信息得到充分互補，使模型能在學業早期數據不足情況下進行預測。最后，在教育數據集上的實驗驗證了模型有效性。未來，將對學生不同特征間的組合進行更多考慮和設計。