DKTwMF：一種融合多特征的知識追蹤模型

王 斌，盛宇軒，冀星昀

(中南大學 計算機學院，湖南 長沙 410083)

0 引 言

近年來，隨著在線教育逐漸被人們認可，慕課網(wǎng)、網(wǎng)易云課堂、Coursera和Khan Academy等大型在線開放式網(wǎng)絡課程(massive open online courses，MOOC)平臺由于其高質(zhì)量的在線課程，吸引了全球范圍內(nèi)的大量用戶注冊使用[1]。特別是在疫情防控期間，教育部要求在確保全體師生健康的基礎上做好“停課不停學”工作，各地高校利用各大MOOC平臺，開展了大規(guī)模的線上教學[2]。利用從這些平臺收集的數(shù)據(jù)，研究人員能夠深入了解學生的學習過程，進而為教師、學生提供個性化服務，這引發(fā)了對教育數(shù)據(jù)挖掘(educational data mining，EDM)的更多關注[3-5]。

知識追蹤是教育數(shù)據(jù)挖掘領域的一個重要研究課題[6-7]，其目標是隨著時間推移不斷對學生知識掌握狀態(tài)進行建模，通過估計學生的知識掌握程度[7]，預測學生在后續(xù)練習中的表現(xiàn)狀況。知識追蹤模型被廣泛應用于教育系統(tǒng)中，實現(xiàn)了學習評價的智能化，有助于推進個性化教育。知識追蹤的方法主要分為三類[8]。第一類是基于概率圖模型的知識追蹤，代表性模型是貝葉斯知識追蹤模型(Bayes knowledge tracing，BKT)[9-10]。該模型使用隱馬爾可夫模型(hidden Markov model，HMM)學習學生知識狀態(tài)，用一組二進制變量表示學生是否掌握相應的知識。BKT可以通過嚴格的公式推導得到學生知識掌握情況、下次作答的預測結(jié)果，具有很強的解釋性。但是由于該模型需要對各個知識單獨建模(即只保留了練習的相對順序)，模型不能充分考慮知識之間的相互作用。第二類是基于矩陣分解的知識追蹤，如概率矩陣分解(PMF)。該算法是推薦系統(tǒng)領域的經(jīng)典算法之一，由于推薦領域與知識追蹤的相似性，部分學者將這一算法改進以用于知識追蹤領域。第三類是基于深度學習的知識追蹤。

2015年斯坦福大學的Piech等人[11]在NIPS上提出深度知識追蹤模型(deep knowledge tracing，DKT)。相比其他模型，DKT能夠利用學生的歷史作答數(shù)據(jù)挖掘出各個練習之間的隱藏聯(lián)系。與BKT相比，DKT首次出現(xiàn)便達到了25%的AUC增長[11]。盡管一些研究人員發(fā)現(xiàn)通過適當?shù)臄U展，BKT可以達到和DKT相近的性能[3]，相信通過適當擴展DKT性能仍能夠明顯提升。傳統(tǒng)的DKT模型只使用了知識點ID和作答結(jié)果作為模型的輸入，它并沒有考慮其他特征，如作答時間、作答次數(shù)、上次作答結(jié)果等。這些特征不僅表示了學生的作答行為，更為知識診斷提供了額外的信息，充分利用這些額外信息能夠更加準確地評估學生知識掌握情況。

文獻[12]提出一種基于手動選擇特征、離散化連續(xù)特征的方法來提升DKT模型效果。文獻[13]通過獲取學生能力，并以固定時間間隔將學生動態(tài)分配至具有相似能力的不同組別中，再將這些信息送入DKT中。但這些方法受到兩個方面的限制：(1)需要足夠的專業(yè)知識來理解數(shù)據(jù)。當對數(shù)據(jù)理解不足時，模型的構建可能會產(chǎn)生較大偏差；(2)當數(shù)據(jù)巨大時，方法費時費力。與DKT模型類似，另一種EERNN(exercise-enhanced recurrent neural network)模型[14]也是通過LSTM網(wǎng)絡來追蹤學生知識掌握的情況。不同的是，EERNN模型更加注重于充分利用題目當中的文本信息，以解決冷啟動問題。同時，該模型還引入了注意力機制，通過考慮題目之間的相似性來提升在學生未來表現(xiàn)預測中的準確性。除了上述三種基本方法外，近年來，基于知識圖譜的知識追蹤也在不斷發(fā)展[15]。

為了解決上述DKT模型中的問題，該文提出一種融合多特征的知識追蹤模型(deep knowledge tracing with multiple features，DKTwMF)。首先，提出基于鄰域互信息和隨機森林的混合特征選擇算法(neighborhood mutual information and random forest，NMIRF)，來提取巨大數(shù)據(jù)中的重要特征，然后將這些重要特征數(shù)據(jù)以及學生表現(xiàn)作為LSTM模型輸入對學生的知識水平進行建模。同時，當數(shù)據(jù)維度增大時，循環(huán)神經(jīng)網(wǎng)絡的訓練代價相當昂貴，因此提出一種新的多特征編碼方案(multi-feature encoding，MFE)，通過使用交叉特征、one-hot編碼對多特征輸入進行編碼，兼顧了輸入數(shù)據(jù)維度和模型效果。之后，再通過自動編碼器(auto encoder，AE)對數(shù)據(jù)進行降維。

1 融合多特征的知識追蹤模型

1.1 模型架構

1.2 NMIRF混合特征選擇算法

單一的特征選擇算法都有各自的局限性，因此該文提出一種NMIRF混合特征選擇算法。如圖2所示，該算法首先使用方差選擇過濾法對所有變量進行初步篩選，計算各個變量之間的方差，然后根據(jù)閾值(一般使用0，即不存在變動的數(shù)據(jù))，選擇方差大于閾值的特征,得到k個候選特征集合。然后，使用鄰域互信息算法對計算各個特征之間的相關性。由于教育數(shù)據(jù)集中存在分類數(shù)據(jù)(如知識點ID、題目ID等)和數(shù)值數(shù)據(jù)(如響應時間)，因此使用鄰域互信息能夠很好地計算k個特征之間的相關性。最后，結(jié)合特征相關性使用隨機森林對特征進行精選，得到該模塊的最終結(jié)果。

圖2 NMIRF混合特征選擇算法

評估變量特征重量性(variable importance measures，VIM)是隨機森林的一個重要特征，常規(guī)計算方法有兩種[16-17]：(1)基于基尼指數(shù)的評估方法；(2)基于袋外數(shù)據(jù)(out of bag sets，OOB)分類準確率的評估方法。當數(shù)據(jù)中同時包含連續(xù)變量和分類變量時，基于基尼指數(shù)的評估方法比基于OOB分類準確率的評估方法效果差，因此，該文使用基于袋外數(shù)據(jù)分類準確率的變量重要性度量，即袋外數(shù)據(jù)變量特征值發(fā)生擾動后的分類正確率與未發(fā)生擾動的分類正確率的平均減少量。變量特征x重要性計算公式如下：

(1)

在特征精選模塊，該文提出一種基于序列后向選擇法的混合特征選擇算法，即不斷從特征子集中刪除不重要的特征，直至達到截止條件。為更準確地評估變量的重要性，需要逐步剔除最不重要的變量，然后重新構建隨機森林，并在新的隨機森林上重新對待篩選特征子集中特征的重要性進行排序。數(shù)據(jù)集中可能存在相關性很高的特征，即使在其他變量(除待評估變量之外)特征不發(fā)生擾動的情況下，其他特征也可能對待評估變量特征重要性評估產(chǎn)生影響，因此該文結(jié)合相關性矩陣與隨機森林決定是否剔除該特征。具體特征精選算法描述如下：

(1)初始化待選擇特征子集U，使用鄰域互信息計算各個特征之間的相關性矩陣S。

(2)根據(jù)數(shù)據(jù)集構建包含M棵決策樹的隨機森林,初始化決策樹i=1。

(5)對于i=2，3，…，M，重復步驟(3)～(4)，計算特征x的重要性vimx。

(6)對待選擇特征子集U中的每個特征重復(3)～(5)，并對特征重要性進行排序。

(7)選擇特征重要性排序中最不重要的特征y，相關性矩陣中與特征y相關性高于閾值δ的特征集合W。如果集合W為空，更新待選擇特征子集U=U-y，跳轉(zhuǎn)至第(8)步；否則，對于W中任一特征，分別計算在使用U-W+w集合時隨機森林的袋外分數(shù)，最大袋外分數(shù)對應的特征記為w，更新待選擇特征子集U=U-W+w。

(8)根據(jù)新的特征子集重新構建隨機森林，重復步驟(2)～(7)，直到剩余兩個特征，確定最終特征子集。

1.3 MFE多特征編碼

由Piech等人提出的DKT模型只考慮了知識點ID和作答結(jié)果，該文考慮加入更多的特征作為神經(jīng)網(wǎng)絡輸入，為此提出多特征編碼方案MFE(multi feature encoding)。通過對多個單獨特征的編碼進行拼接，從而構建模型的輸入。MFE方案中的多特征編碼構建公式如下：

C(st,ct)=st+[max(s)+1]*ct

(2)

vt=O(C(st,ct))⊕O(C(ft,ct))⊕O(ft)

(3)

其中，C()表示使用交叉特征，O()表示one-hot編碼，⊕表示將編碼結(jié)果進行拼接。公式(2)、公式(3)中st代表知識點ID，ct代表對應練習的作答結(jié)果(1表示作答正確，0表示作答錯誤)，ft代表通過特征工程模塊選取的重要特征對應的取值。

交叉特征是將兩個或多個特征通過一定規(guī)則編碼成一個特征的方法。例如，兩個單獨特征的交叉特征編碼方式如下：

C(f,g)=f+[max(F)+1]*g

(4)

C(g,f)=g+[max(G)+1]*f

(5)

式中，f、g分別表示需要編碼的兩個特征，F(xiàn)、G分別表示特征f、g的取值集合。文獻[18]中指出使用交叉特征相比使用單獨特征可以明顯提高模型性能。如圖3所示，假設知識點數(shù)為6種，作答結(jié)果為2種(正確/錯誤)。如果不使用交叉特征，神經(jīng)網(wǎng)絡中每個隱藏節(jié)點與6+2個節(jié)點進行連接，對應6+2的連接權重。使用交叉特征神經(jīng)網(wǎng)絡中每個隱藏節(jié)點與6*2個節(jié)點進行連接，此時對于每個知識都有單獨作答正確權重、作答錯誤權重與之對應，而不是所有知識點共用正確權重與錯誤權重。使用交叉特征而不是單獨特征的關鍵原因是：神經(jīng)網(wǎng)絡中的權重不平衡，從而導致模型效果下降。

圖3 交叉特征

(6)

2 實驗與分析

2.1 數(shù)據(jù)集

為驗證DKTwMF模型的有效性，該文使用三個教育相關的公開數(shù)據(jù)集進行了對比實驗。這三個數(shù)據(jù)集分別來自不同的智能教育系統(tǒng)，每個系統(tǒng)都對學生練習的交互信息進行了記錄。

Assistments 2009-2010:Assistments是一個基于計算機的學習系統(tǒng)，可以同時評估學生的掌握水平和教師的授課水平。該文使用的數(shù)據(jù)集是從Assistments skill builder集合中收集的，這些集合是學生在類似的問題(同一個知識點)上不斷進行練習，直到能正確地回答n個連續(xù)的問題(其中n通常是3)。當系統(tǒng)認為學生掌握相應的技能后，學生通常不會重復練習同樣的技能。與其他數(shù)據(jù)集不同，該數(shù)據(jù)集中學生的作答記錄可能不連續(xù)，在實驗中，通過預處理，將所有屬于一個學生的記錄連接在一起。

KDD 2010：該數(shù)據(jù)集是ACM的知識發(fā)現(xiàn)和數(shù)據(jù)挖掘小組(knowledge discovery and data mining)在2010年發(fā)布的競賽題目使用的數(shù)據(jù)集。該次競賽以基于學生在線做題記錄，預測學生認知能力(學習成績)為目的。該數(shù)據(jù)集來自2005年至2009年卡內(nèi)基學習認知診斷系統(tǒng)。數(shù)據(jù)集包含574名學生，437個知識點，809 694條學生作答記錄。與Assistments平臺不同的是，該平臺記錄了學生的詳細操作數(shù)據(jù)，學生的每一個行為都可能是評估學生知識的依據(jù)。使用數(shù)據(jù)集中的KC(knowledge component)作為知識點，對于多個KC組合的情況視為新的知識點。

OLI F2011：開放學習計劃(open learning initiative，OLI)是卡內(nèi)基梅隆大學的一個計算機學習系統(tǒng)，該系統(tǒng)用于為在校學生提供在線課程。OLI系統(tǒng)在學生許可的情況下收集了學生課堂學習記錄和網(wǎng)絡學習數(shù)據(jù)。該文使用2011年秋季學期大學工程力學的數(shù)據(jù)作為實驗數(shù)據(jù)，包含335名學生，361 092條學生練習記錄。該系統(tǒng)詳細記錄了學生的操作情況，即學生在練習過程中的鼠標點擊、翻頁、保存等信息。實驗中對數(shù)據(jù)記錄進行了刪減，只保留了學生的最終作答記錄。

針對多知識點題目，不同的系統(tǒng)處理方法也不相同。其中，Assistments中的數(shù)據(jù)對于多知識點題目，會生成多條記錄。而KDD提供的數(shù)據(jù)只會生成一條記錄，系統(tǒng)采用KC(knowledge component)記錄題目關聯(lián)的知識點，知識點之間采用～～串聯(lián)起來。例如，題目Q1關聯(lián)了知識點k1、k2，題目Q2關聯(lián)了知識點k1。假設學生S1參與一次作答，其中Q1作答錯誤，Q2作答正確。

Assistments生成的記錄如表1所示，KDD生成的記錄如表2所示。

表1 Assistments記錄樣例

表2 KDD記錄樣例

2.2 評價指標

模型的評價標準采用AUC(area under the curve)，即ROC曲線線下面積。ROC曲線每個點反映模型對同一信號刺激的感受性，橫軸為負正類率(false positive rate，F(xiàn)PR)，縱軸為真正類率(true positive rate，TPR)。對于二分類問題，所有實例可以被劃分為正類、負類。這里將作答結(jié)果為正確的歸為正類，作答結(jié)果為錯誤的歸為負類，對應的FPR取值為FP/(FP+TN)，TPR取值為TP/(TP+FN)。

表3 二分類AUC指標

2.3 實驗對比方法

該文將數(shù)據(jù)中的學生隨機分成5組，依次取其中一組作為測試數(shù)據(jù)集進行實驗，最終使用五次實驗結(jié)果的平均值作為評價結(jié)果。通過五折交叉驗證得到的實驗數(shù)據(jù)更趨于穩(wěn)定值，結(jié)果能夠更讓人信服。實驗使用TensorFlow中的LSTM Cell實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡模型，為消除其他因素的影響，各模型均采用Adam梯度下降算法，神經(jīng)網(wǎng)絡包含200個隱藏神經(jīng)元，dropout概率設置為0.4。為保證得到的是穩(wěn)定性結(jié)果，實驗采用五折交叉的方式進行驗證，模型評價標準采用AUC[11]。實驗使用基本DKT作為基本模型，分別通過AE降維、NMIRF自動特征提取對模型進行擴充。一些研究人員發(fā)現(xiàn)通過適當?shù)臄U展，BKT可以達到和DKT相近的性能[3]，因此實驗也與BKT及其擴展模型進行比較。更具體的對比模型介紹如下：

DKT：該模型為基本模型，如文獻[11]所述，即只對skill ID和correct進行one-hot編碼，然后使用編碼數(shù)據(jù)對LSTM網(wǎng)絡進行訓練。

DKT+AE：在基本DKT模型的基礎上，使用自動編碼器對DKT模型的輸入進行預處理，降低輸入維度。

DKT+NMIRF：首先使用NMIRF算法對數(shù)據(jù)集進行篩選，然后將篩選后的多特征數(shù)據(jù)使用MFE編碼，最后使用編碼結(jié)果作為循環(huán)神經(jīng)網(wǎng)絡輸入，并對網(wǎng)絡進行訓練。

DKTwMF：該文提出的模型，將經(jīng)過NMIRF篩選的多特征數(shù)據(jù)使用MFE算法進行編碼，然后使用AE進行預處理，最后使用LSTM神經(jīng)網(wǎng)絡進行訓練。

BKT：經(jīng)典貝葉斯知識追蹤模型，該模型中知識一旦被掌握就不會遺忘。

BKT+F：在經(jīng)典BKT模型的基礎上擴展了知識遺忘屬性，該模型中知識可以在掌握和未掌握之間相互轉(zhuǎn)化，該項擴展有助于對于同一知識的預測。

BKT+S：在經(jīng)典BKT的基礎上擴展了技能發(fā)現(xiàn)。經(jīng)典BKT對各知識點單獨建模，未對技能之間的交互進行建模，該模型將獨立的BKT相互關聯(lián)起來。

BKT+A：在經(jīng)典BKT模型的基礎上擴展了學生潛在能力屬性，針對不同的學生設置個性化的猜測、失誤概率，該項擴展有助預測學生從一個知識到另外一個知識點的能力。

BKT+FSA：該模型同時擴展了知識遺忘、技能發(fā)現(xiàn)、潛在能力。

2.4 結(jié)果分析

本節(jié)對在不同數(shù)據(jù)集下，不同模型的AUC結(jié)果進行比較分析，目的在于通過實驗驗證DKTwMF模型效果。

對于Assistments數(shù)據(jù)集，各模型的AUC評價結(jié)果如圖4所示。

圖4 Assistments數(shù)據(jù)集AUC結(jié)果

從圖4中可以發(fā)現(xiàn)，基本BKT的AUC值僅有0.73，通過不同的擴展方式模型效果均得到了不同程度的提升；擴展知識遺忘之后的模型BKT+F達到了略優(yōu)于基本DKT的效果，AUC值達到0.83；BKT+FSA由于過多參數(shù)導致該模型效果略差于BKT+F。從圖5中可以發(fā)現(xiàn)，通過加入多特征(DKT+NMIRF)、對輸入進行降維(DKT+AE)都能在一定程度上提升原模型DKT的效果；DKTwMF在Assistments數(shù)據(jù)集上達到了最優(yōu)的結(jié)果0.867，達到所有模型中最優(yōu)效果。

對于KDD數(shù)據(jù)集，各模型的AUC評價結(jié)果如圖5所示。

圖5 KDD數(shù)據(jù)集AUC結(jié)果

從圖5中可以發(fā)現(xiàn)，BKT在該數(shù)據(jù)集上僅達到0.62的AUC值，BKT+F相比基本BKT模型效果沒有明顯提升，擴展知識遺忘后AUC值僅增加0.01；在BKT系列模型中，BKT+FSA達到最好的預測效果，并且AUC值稍大于基本DKT模型；DKT模型的AUC值為0.79，在擴展多特征后DKT+NMIRF達到與BKT+FSA相當?shù)念A測效果。不同于Assistments數(shù)據(jù)集，在該數(shù)據(jù)集上DKTwMF模型相比基本DKT模型雖然沒有明顯的效果提升，但仍然達到了所有模型中的最優(yōu)效果。

對于OLI數(shù)據(jù)集，各模型的AUC評價結(jié)果如圖6所示。

圖6 OLI數(shù)據(jù)集AUC結(jié)果

從圖6中可以發(fā)現(xiàn)，BKT系列模型中AUC值最好的是BKT+FSA，但是該模型仍不如未經(jīng)改進的DKT模型。而DKTwMF模型的AUC值相比DKT模型又增加了0.04，DKTwMF模型相比BKT模型效果提升了11%。

通過上述實驗可以發(fā)現(xiàn)：對于BKT系列模型，針對不同數(shù)據(jù)集不同模型的表現(xiàn)效果大不相同，想要得到適合該數(shù)據(jù)集的BKT模型需要不斷的嘗試驗證。雖然BKT+FSA能夠達到不錯的效果，但是過多的參數(shù)可能導致效果下降(Assistments數(shù)據(jù)集)。對于DKT系列模型，可以發(fā)現(xiàn)通過加入多特征輸入、數(shù)據(jù)降維都可以在不同程度上提升模型效果。DKTwMF模型同時具備了這兩種優(yōu)化方法，因此模型具有更高的AUC值、能夠更準確地預測學生表現(xiàn)情況。無論是多知識點生成多條記錄(Assistments)的場景，還是多知識點生成一條記錄(KDD)的場景，該模型均能達到不差于其他模型的表現(xiàn)。并且，相比于BKT系列模型，該模型不需要專家知識的指導就可以完成建模，建模效果優(yōu)于一般手動選擇特征。綜上所述，該文提出的模型能夠智能、高效、準確地對學生知識水平進行建模。

3 結(jié)束語

相比其他知識追蹤方法，提出的模型主要有以下優(yōu)點：(1)智能性。通過NMIRF自動對特征進行選擇，不需要專家的領域知識的指導。模型不需要知識之間的關系圖，模型中的神經(jīng)網(wǎng)絡可以通過數(shù)據(jù)自動學習各知識之間聯(lián)系；(2)精準性。通過上述實驗證明，DKTwMF模型相比其他模型能夠更準確地對學生的知識掌握狀態(tài)進行建模；(3)高效性。DKTwMF模型采用NMIRF算法對特征進行自動選擇，大大節(jié)省了了手動特征選擇然后驗證的時間。同時，使用AE降低數(shù)據(jù)維度也能降低模型的訓練時間。但目前，DKTwMF模型也有以下不足：(1)由于模型采用深度學習的思想，需要大量數(shù)據(jù)對模型進行訓練，因此該模型不適用于少量數(shù)據(jù)的情況；(2)可解釋性不足。BKT模型采用概率的方式表示學生的知識掌握狀態(tài)，每個知識點都對應明確的函數(shù)表示，而神經(jīng)網(wǎng)絡會自動學習神經(jīng)元之間的相互作用，沒有明確的函數(shù)表明學生對每個知識的掌握程度。因此，針對這些不足，未來還有待進一步完善。