F-TCKT:融合遺忘因素的深度時(shí)序卷積知識(shí)追蹤模型

作者簡介：張鵬（1980－），男，四川內(nèi)江人，高級(jí)工程師，碩導(dǎo)，碩士，主要研究方向?yàn)橹腔劢逃?shù)字校園應(yīng)用；文磊（1996－），男（通信作者），四川遂寧人，碩士研究生，主要研究方向?yàn)榻逃龜?shù)據(jù)挖掘（s201231053@stu.cqupt.edu.cn）.

摘 要：智慧教育中，對(duì)學(xué)生的知識(shí)水平進(jìn)行追蹤是很重要的技術(shù)之一。傳統(tǒng)的深度知識(shí)追蹤方法的主要關(guān)注點(diǎn)集中在循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）上，但RNN存在梯度消失或者梯度爆炸的問題，并且很多知識(shí)追蹤方法沒有考慮到學(xué)習(xí)過程中遺忘行為對(duì)結(jié)果的影響。針對(duì)以上問題，為了準(zhǔn)確地預(yù)測學(xué)生的知識(shí)水平，提出了一種融合遺忘因素的深度時(shí)序卷積知識(shí)追蹤模型（temporal convolutional knowledge tracking with forgetting，F(xiàn)-TCKT）。該模型引入了三個(gè)影響學(xué)生遺忘行為的因素，包括學(xué)習(xí)相同知識(shí)點(diǎn)的時(shí)間間隔、學(xué)習(xí)的時(shí)間間隔和同一知識(shí)點(diǎn)的學(xué)習(xí)次數(shù)。首先利用全連接網(wǎng)絡(luò)計(jì)算得到表示學(xué)生遺忘程度的向量并與學(xué)生的答題記錄進(jìn)行拼接，然后使用梯度穩(wěn)定的時(shí)間卷積網(wǎng)絡(luò)（temporal convolutional network，TCN）和注意力機(jī)制預(yù)測學(xué)生下一次答題正誤的概率。經(jīng)實(shí)驗(yàn)驗(yàn)證，與傳統(tǒng)方法相比，F(xiàn)-TCKT具有更好的預(yù)測性能。

關(guān)鍵詞：智慧教育；知識(shí)追蹤；時(shí)間卷積網(wǎng)絡(luò)；遺忘行為

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001－3695（2023）04－018－1070－05doi： 10.19734/j.issn.1001－3695.2022.08.0448

Abstract：Tracking students’ knowledge level is one of the most important techniques in intelligent education. Traditional deep knowledge tracking methods mainly focus on RNN， but RNN has the problem of gradient disappearance or gradient explosion. And many knowledge tracking methods do not take into account the impact of forgetting behavior on the results of lear-ning. Aiming at the above problems， in order to accurately predict the knowledge level of students， this paper proposed a deep temporal convolutional knowledge tracking model， which integrated forgetting factors（F-TCKT）. This method introduced three factors that affected students’ forgetting behavior， including the time interval of learning the same knowledge point， the time interval of learning and the times of learning the same knowledge point. Firstly， the method used the fully connected network to calculate the vector that represented the degree of forgetting of students， and then concatenated the vector with the answer record of students. Finally， the method used the TCN and attention mechanism to predict the probability of students’ next answer. Experimental results show that F-TCKT has better prediction performance than traditional methods.

Key words：intelligent education; knowledge tracking; temporal convolutional network; forgetting behavior

0 引言

隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，智能教學(xué)和智慧教育也逐漸發(fā)展起來，一些教學(xué)系統(tǒng)和大規(guī)模在線開放課程逐漸興起，教育領(lǐng)域提出了一種稱為智能導(dǎo)學(xué)系統(tǒng)（intelligent tutoring system，ITS）的解決方案［1］。對(duì)于智能導(dǎo)學(xué)系統(tǒng)的構(gòu)建又分為學(xué)習(xí)者模型、領(lǐng)域模型和教學(xué)模型三個(gè)模塊，該系統(tǒng)在學(xué)習(xí)者模型中的一個(gè)預(yù)期功能是對(duì)學(xué)習(xí)者的學(xué)習(xí)情況進(jìn)行建模，以此來評(píng)估學(xué)習(xí)者的學(xué)習(xí)狀態(tài)和知識(shí)掌握能力。知識(shí)追蹤是對(duì)學(xué)習(xí)者建模中的一個(gè)重要研究。

經(jīng)典的知識(shí)追蹤模型主要包括基于貝葉斯網(wǎng)絡(luò)的知識(shí)追蹤（Bayesian knowledge tracing，BKT）［2］。隨著深度學(xué)習(xí)的發(fā)展，出現(xiàn)了基于循環(huán)神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤（deep knowledge tracing，DKT）［3］以及結(jié)合外部記憶模塊的動(dòng)態(tài)鍵值記憶網(wǎng)絡(luò)（dynamic key-value memory networks，DKVMN）［4］，也出現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的深度知識(shí)追蹤模型（convolutional knowledge tracing，CKT）［5］。BKT對(duì)于學(xué)生學(xué)習(xí)過程的建模過于簡化，不符合實(shí)際情況，而DKT和DKVMN由于采用了RNN存在梯度問題，容易出現(xiàn)過擬合的情況。

另外，只有少數(shù)幾個(gè)研究者考慮了學(xué)生的遺忘行為對(duì)于知識(shí)追蹤方法預(yù)測性能的影響，其中基于BKT的方法只考慮了艾賓浩斯曲線理論［6， 7］中對(duì)學(xué)生知識(shí)保留率的兩個(gè)方面的影響因素，即學(xué)生重復(fù)學(xué)習(xí)的次數(shù)和每次學(xué)習(xí)時(shí)間的間隔，但兩者對(duì)于遺忘因素考慮的方式是不一樣的。Khajah等人［8］從輸入的數(shù)據(jù)入手，在練習(xí)序列之間增加了一個(gè)表示遺忘的計(jì)算權(quán)值。Qiu等人［9］認(rèn)為傳統(tǒng)的貝葉斯知識(shí)追蹤模型只假設(shè)了滑動(dòng)參數(shù)和猜測參數(shù)兩個(gè)性能參數(shù)，滑動(dòng)參數(shù)是指學(xué)生知道但答錯(cuò)的概率，猜測參數(shù)是指學(xué)生不知道但答對(duì)的概率，因?yàn)橐紤]遺忘，所以多增加了一個(gè)遺忘參數(shù)，基于DKT的方法增加了一個(gè)影響因素，即學(xué)生順序?qū)W習(xí)的時(shí)間間隔。Nagatani等人［10］在輸入和輸出時(shí)添加了遺忘相關(guān)的三個(gè)因素。李曉光等人［11］利用矩陣保存學(xué)生的知識(shí)狀態(tài)，并利用LSTM及遺忘相關(guān)的三個(gè)因素對(duì)矩陣進(jìn)行更新。但以上的方法都沒有全面地考慮遺忘因素對(duì)知識(shí)追蹤預(yù)測性能的影響，對(duì)于有關(guān)遺忘因素的數(shù)據(jù)的利用程度也較低。

為了解決上述問題，本文提出了一種融合遺忘因素的深度知識(shí)追蹤模型F-TCKT（forgetting-temporal convolutional know-ledge tracing）。F-TCKT針對(duì)學(xué)生答題時(shí)的遺忘因素建模，實(shí)時(shí)更新學(xué)生的知識(shí)點(diǎn)掌握程度和遺忘程度，并以此為基礎(chǔ)預(yù)測學(xué)生未來的學(xué)習(xí)表現(xiàn)。本文主要的創(chuàng)新和貢獻(xiàn)有：

a）艾賓浩斯遺忘曲線理論認(rèn)為學(xué)生對(duì)于重復(fù)知識(shí)點(diǎn)的學(xué)習(xí)次數(shù)以及兩次學(xué)習(xí)之間的時(shí)間間隔會(huì)影響學(xué)生對(duì)知識(shí)點(diǎn)的遺忘程度，記憶痕跡衰退說認(rèn)為遺忘是由記憶痕跡的衰退引起的，并且是自然發(fā)生的，結(jié)合兩個(gè)遺忘理論及之前的研究，F(xiàn)-TCKT考慮了三個(gè)影響學(xué)生知識(shí)遺忘的因素，即距離上次學(xué)習(xí)相同知識(shí)點(diǎn)的時(shí)間間隔，距離上次學(xué)習(xí)的時(shí)間間隔以及對(duì)于重復(fù)知識(shí)點(diǎn)的學(xué)習(xí)次數(shù)。F-TCKT通過對(duì)上述三個(gè)因素建模得到學(xué)生對(duì)所學(xué)知識(shí)點(diǎn)的掌握程度，以此反映學(xué)生對(duì)所學(xué)知識(shí)點(diǎn)的遺忘程度并對(duì)遺忘行為進(jìn)行擬合。

b）F-TCKT設(shè)計(jì)了一個(gè)基于時(shí)間卷積網(wǎng)絡(luò)和注意力機(jī)制的知識(shí)追蹤神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)包括輸入層、遺忘層、拼接層、學(xué)習(xí)層和預(yù)測輸出層，能夠全面地對(duì)融合了遺忘因素的學(xué)生的知識(shí)水平進(jìn)行預(yù)測，同時(shí)也提高了數(shù)據(jù)的利用程度。

c）通過在兩個(gè)真實(shí)在線教育數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證表明，F(xiàn)-TCKT可以對(duì)學(xué)生的遺忘行為有效建模，并實(shí)時(shí)追蹤學(xué)生的學(xué)習(xí)水平。

1 理論依據(jù)

1.1 相關(guān)模型

1.1.1 貝葉斯知識(shí)追蹤模型

BKT是機(jī)器學(xué)習(xí)中一種以學(xué)習(xí)者對(duì)知識(shí)點(diǎn)掌握情況的潛在變量和答題表現(xiàn)結(jié)果的觀察變量來構(gòu)建學(xué)習(xí)者知識(shí)水平的知識(shí)追蹤模型。原生貝葉斯知識(shí)追蹤的一個(gè)重要假設(shè)是：所有學(xué)生的初始知識(shí)狀態(tài)是相同的，同時(shí)學(xué)習(xí)速率也相同。王卓等人［12］和Yudelson等人［13］針對(duì)這一假設(shè)對(duì)模型提出了改進(jìn)，但依然無法解決BKT沒有考慮到技能之間的關(guān)聯(lián)這一問題，因此性能往往并不好。

1.1.2 深度知識(shí)追蹤模型

2015年，Piech等人通過將循環(huán)神經(jīng)網(wǎng)絡(luò)及其長短期記憶網(wǎng)絡(luò)（LSTM）首次運(yùn)用到知識(shí)追蹤領(lǐng)域，以學(xué)生的歷史做題序列作為輸入，此方法在多個(gè)指標(biāo)上對(duì)比貝葉斯知識(shí)追蹤有了明顯的提升。Liu等人［14］提出了EERNN模型，在模型中采用了注意力機(jī)制，聚焦于關(guān)聯(lián)關(guān)系的影響而不是長期依賴的關(guān)聯(lián)衰減的影響，但由于神經(jīng)網(wǎng)絡(luò)的可解釋性較差，僅能以學(xué)生的整體水平建模。

1.1.3 動(dòng)態(tài)鍵值記憶模型

2017年，香港中文大學(xué)的Zhang等人提出了結(jié)合外部記憶模塊與循環(huán)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)鍵值對(duì)記憶網(wǎng)絡(luò)（DKVMN），采用鍵表示知識(shí)空間，值表示知識(shí)狀態(tài)，與傳統(tǒng)的DKT模型相比，提升了可解釋性，也提高了準(zhǔn)確率。

1.2 TCN神經(jīng)網(wǎng)絡(luò)

時(shí)間卷積網(wǎng)絡(luò)［15］是一類包含卷積運(yùn)算和殘差連接且具有深度結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，專門用于處理時(shí)間序列數(shù)據(jù)，該模型提出的初衷是為了解決RNN在應(yīng)用中存在的梯度消失或者梯度爆炸的問題。時(shí)間卷積網(wǎng)絡(luò)主要由因果卷積、擴(kuò)張卷積和殘差連接組成，其中擴(kuò)張卷積使有效窗口的大小隨著層數(shù)呈指數(shù)型增長，卷積網(wǎng)絡(luò)可以通過較少的層使感受野增大。對(duì)于深層卷積網(wǎng)絡(luò)中可能會(huì)出現(xiàn)的梯度問題，可以通過殘差連接得到有效消除。RNN在序列問題中應(yīng)用廣泛，但難以訓(xùn)練，無法對(duì)數(shù)據(jù)并行處理的問題依舊存在，TCN繼承了RNN可以記憶時(shí)序數(shù)據(jù)的特點(diǎn)，并結(jié)合了CNN可并行計(jì)算和處理效率高的優(yōu)勢。

最近幾年，TCN被廣泛用于時(shí)序問題的建模，Chen等人［16］提出將時(shí)間卷積網(wǎng)絡(luò)應(yīng)用到概率預(yù)測中，在多個(gè)真實(shí)數(shù)據(jù)集上的精度和準(zhǔn)確度優(yōu)于傳統(tǒng)的預(yù)測方法。段建設(shè)等人［17］提出將TCN應(yīng)用于知識(shí)追蹤領(lǐng)域，與傳統(tǒng)的深度知識(shí)追蹤模型進(jìn)行比較，在效率和預(yù)測真實(shí)性上有良好表現(xiàn)。本文以TCN作為主模型，對(duì)學(xué)習(xí)者的學(xué)習(xí)行為進(jìn)行建模，通過擴(kuò)張卷積中擴(kuò)張因子的放大和殘差連接能夠提取學(xué)生答題記錄中的特征，并提升模型的訓(xùn)練效率。

1.3 attention機(jī)制

注意力機(jī)制是對(duì)輸入權(quán)重分配的關(guān)注，注意力機(jī)制最開始是在編碼器—解碼器中使用的，通過對(duì)編碼器所有時(shí)間步的隱藏狀態(tài)進(jìn)行加權(quán)平均之后得到下一層輸入變量。從廣義上可以理解為由一個(gè)查詢矩陣Q和對(duì)應(yīng)的鍵矩陣K以及需要加權(quán)平均的值矩陣V所構(gòu)成的一層感知機(jī)。在神經(jīng)網(wǎng)絡(luò)中添加attention機(jī)制，能夠有效緩解神經(jīng)網(wǎng)絡(luò)模型和數(shù)據(jù)的復(fù)雜度，提升模型運(yùn)算效率。

Pandey等人［18］率先在知識(shí)追蹤領(lǐng)域使用了Transformer模型，提出了SAKT模型，但SAKT模型存在注意力層太淺的問題。本文通過在TCN中引入注意力機(jī)制，能夠緩解TCN在殘差模塊堆疊較多時(shí)模型的復(fù)雜度，同時(shí)也能提高模型對(duì)數(shù)據(jù)的處理效率。

2 F-TCKT模型

2.1 影響遺忘的因素

傳統(tǒng)的基于深度學(xué)習(xí)的知識(shí)追蹤方法大多都只對(duì)學(xué)生做題記錄中的題目序列和答題序列進(jìn)行整體建模，得到的結(jié)果也只是學(xué)生的整體學(xué)習(xí)水平，其中忽略了學(xué)生在學(xué)習(xí)和測試過程中存在的一些重要因素，比如先驗(yàn)知識(shí)的儲(chǔ)存，答案的選擇是通過知識(shí)體系推敲出來的還是通過猜測選擇的，而這些因素其實(shí)都能從學(xué)生在學(xué)習(xí)過程中對(duì)知識(shí)點(diǎn)的掌握程度和遺忘程度入手。根據(jù)教育學(xué)理論艾賓浩斯曲線理論表明，學(xué)生對(duì)于所學(xué)知識(shí)點(diǎn)的保留率受學(xué)生重復(fù)學(xué)習(xí)次數(shù)和學(xué)習(xí)時(shí)間間隔兩個(gè)方面的影響。學(xué)習(xí)時(shí)間間隔又可以細(xì)分為對(duì)于重復(fù)學(xué)習(xí)相同知識(shí)點(diǎn)的時(shí)間間隔和按時(shí)間學(xué)習(xí)的時(shí)間間隔。另外，教育心理學(xué)理論記憶痕跡衰退說［19］認(rèn)為，學(xué)生對(duì)于知識(shí)點(diǎn)的掌握狀態(tài)也影響著學(xué)生的遺忘程度。

通過對(duì)相關(guān)文獻(xiàn)的閱讀和考慮，有以下三個(gè)影響知識(shí)遺忘的因素：

a）RTI（repeated time interval），距離上次學(xué)習(xí)相同知識(shí)點(diǎn)的時(shí)間間隔；

b）STI（sequence time interval），距離上次學(xué)習(xí)的時(shí)間間隔；

c）LT（repeated learn times），對(duì)于重復(fù)知識(shí)點(diǎn)的學(xué)習(xí)次數(shù)。

本文利用全連接網(wǎng)絡(luò)對(duì)相關(guān)數(shù)據(jù)集中關(guān)于上述三個(gè)影響遺忘的因素進(jìn)行建模，最終輸出向量KL（knowledge level），以此來表示學(xué)生對(duì)于知識(shí)點(diǎn)的掌握程度，進(jìn)而反映出學(xué)生對(duì)于知識(shí)點(diǎn)的遺忘程度。將KL和學(xué)生答題的知識(shí)點(diǎn)序列和答題序列進(jìn)行拼接再輸入到知識(shí)追蹤模型，能夠真實(shí)地反映出學(xué)生對(duì)于不同知識(shí)點(diǎn)的學(xué)習(xí)水平。

2.2 F-TCKT模型設(shè)計(jì)

本文提出的基于TCN神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的深度知識(shí)追蹤模型F-TCKT，如圖1所示。

3.2 評(píng)測指標(biāo)

為了評(píng)價(jià)F-TCKT模型預(yù)測學(xué)生答題表現(xiàn)的有效性，本文采用AUC（area under curve）和準(zhǔn)確率ACC（accuracy）作為評(píng)價(jià)預(yù)測性能的指標(biāo)。AUC是指受試者工作特征曲線（receiver ope-rating characteristic curve， ROC）下的面積，其中ROC是根據(jù)二分類方式，以真陽性率為縱軸、假陽性率為橫軸的曲線，所以AUC是衡量學(xué)習(xí)器優(yōu)劣的一種性能指標(biāo)，AUC值在（0.5， 1］，越接近1代表預(yù)測效果越好；ACC是所有預(yù)測正確的結(jié)果占全部預(yù)測結(jié)果的百分比，ACC的值越高說明模型的預(yù)測效果越好。

3.3 超參數(shù)設(shè)置及對(duì)比實(shí)驗(yàn)

為了評(píng)價(jià)F-TCKT模型的性能，本文將F-TCKT模型與如下兩種知識(shí)追蹤模型及其變種進(jìn)行對(duì)比。BKT和DKT是經(jīng)典的知識(shí)追蹤方法，其變種BKT+和DKT+則是考慮了遺忘因素的影響。

1）BKT 該模型是基于隱馬爾可夫模型構(gòu)建的學(xué)習(xí)者認(rèn)知狀態(tài)變化的模型。實(shí)驗(yàn)設(shè)置主要有四個(gè)參數(shù)：P（L0）表示學(xué)習(xí)者還沒有開始答題時(shí)對(duì)知識(shí)點(diǎn)的掌握程度；P（G）表示學(xué)習(xí)者未掌握知識(shí)點(diǎn)但答對(duì)練習(xí)題的概率；P（S）表示學(xué)習(xí)者掌握了知識(shí)點(diǎn)但沒有答對(duì)練習(xí)題的概率；P（T）表示學(xué)習(xí)者通過練習(xí)題對(duì)知識(shí)點(diǎn)從未掌握到掌握的概率，使用EM算法求解參數(shù)。

2）BKT+ 由于需要考慮遺忘因素對(duì)知識(shí)追蹤方法的影響，所以BKT+中引入了第五個(gè)表示遺忘的參數(shù)P（F），表示學(xué)習(xí)者對(duì)某一知識(shí)點(diǎn)由掌握到不掌握的遺忘概率。

3）DKT DKT模型使用RNN模型，模擬學(xué)生在學(xué)習(xí)過程中對(duì)于知識(shí)掌握程度隨著時(shí)間變化的過程。循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏層大小為200，批處理次數(shù)設(shè)置為32，使用Adam作為優(yōu)化器，學(xué)習(xí)率設(shè)置為0.01。

4）DKT+ 參數(shù)設(shè)置如式（3），同時(shí)在輸入和輸出時(shí)添加與遺忘相關(guān)的三要素，并得到最終的預(yù)測結(jié)果。

5）F-TCKT 對(duì)于ASSISTments2012和slepemapy.cz數(shù)據(jù)集的超參數(shù)設(shè)置如下：批處理大小設(shè)置為32，使用Adam作為優(yōu)化器，學(xué)習(xí)率設(shè)置為0.01。時(shí)間卷積網(wǎng)絡(luò)中較大的卷積核會(huì)增大特征提取時(shí)過濾的程度，使特征的提取受到影響。在選取合適卷積核的尺寸時(shí)，為了減少計(jì)算的復(fù)雜程度，應(yīng)當(dāng)從小到大進(jìn)行選取，過小的卷積核尺寸容易造成模型的學(xué)習(xí)能力較低，過大的卷積核尺寸容易造成過擬合。在測試集上的測試結(jié)果如表2所示。因此，對(duì)于ASSISTments2012數(shù)據(jù)集，卷積核尺寸設(shè)置為5；對(duì)于slepemapy.cz數(shù)據(jù)集，卷積核尺寸設(shè)置為7。

確定F-TCKT中時(shí)間卷積網(wǎng)絡(luò)的卷積核的大小之后，根據(jù)以往文獻(xiàn)中對(duì)BKT、DKT中參數(shù)的設(shè)置，與F-TCKT模型進(jìn)行預(yù)測性能的對(duì)比，在兩個(gè)數(shù)據(jù)集上的平均AUC值、平均ACC值如表3所示。表3給出了F-TCKT與各個(gè)對(duì)比方法在兩個(gè)數(shù)據(jù)集上的平均AUC值、平均ACC值的對(duì)比結(jié)果。結(jié)果表明，F(xiàn)-TCKT在兩個(gè)數(shù)據(jù)集上的平均AUC值、平均ACC值均優(yōu)于其他對(duì)比方法。這一結(jié)果表明，F(xiàn)-TCKT在預(yù)測學(xué)生知識(shí)掌握程度的性能上是優(yōu)于現(xiàn)有模型的。BKT由于二元性的計(jì)算方式，所以預(yù)測能力最低，添加了遺忘因素的BKT+模型提升了預(yù)測性能，說明遺忘因素能夠提升預(yù)測的精度；DKT利用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)生的知識(shí)水平建模，在預(yù)測性能上有一定的提升，但DKT默認(rèn)學(xué)生的知識(shí)水平基礎(chǔ)是一致的，而遺忘因素的添加能夠解決這個(gè)問題。

F-TCKT在ASSISTments 2012數(shù)據(jù)集上的AUC相比DKT+提升了2.92%，在slepemapy.cz數(shù)據(jù)集上的AUC相比DKT+提升了4.37%。這是由于DKT+對(duì)于遺忘數(shù)據(jù)的利用是從整體出發(fā)去解決的，解決了DKT中學(xué)生初始知識(shí)水平?jīng)]有差異化的問題，但對(duì)于相關(guān)數(shù)據(jù)的利用程度較低，F(xiàn)-TCKT通過卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制最大化提取了數(shù)據(jù)的特征，使數(shù)據(jù)的利用程度有了一定的提升，在提升預(yù)測性能的同時(shí)也減少了訓(xùn)練時(shí)間。

3.4 消融實(shí)驗(yàn)

3.4.1 消融實(shí)驗(yàn)設(shè)計(jì)

為了進(jìn)一步探究F-TCKT模型中不同的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)預(yù)測性能的影響，本文針對(duì)F-TCKT設(shè)計(jì)了消融實(shí)驗(yàn)，使用以下兩種網(wǎng)絡(luò)結(jié)構(gòu)在數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，兩種網(wǎng)絡(luò)結(jié)構(gòu)如表4所示。

1）TCKT模型 該模型去除了遺忘模型，僅保留TCN和注意力機(jī)制，即去除了方法中對(duì)學(xué)生學(xué)習(xí)建模時(shí)遺忘行為的影響。

2）F-TCKT without attention 該模型去除了attention機(jī)制，僅在TCN基礎(chǔ)上對(duì)不同卷積層的特征信息通過簡單相加的方式進(jìn)行融合。

3.4.2 消融實(shí)驗(yàn)結(jié)果分析

將3.4.1節(jié)的兩種方法在ASSISTments2012和slepemapy.cz兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，TCKT和F-TCKT without attention模型的平均AUC值如表5所示。

實(shí)驗(yàn)結(jié)果如表5所示，TCKT和F-TCKT without attention均提升了預(yù)測的精度，F(xiàn)-TCKT相較于TCKT和F-TCKT without attention都有不小的提升，說明完整的融合遺忘因素和添加了attention機(jī)制的F-TCKT能夠更好地?cái)M合學(xué)生真實(shí)的學(xué)習(xí)情況。

4 結(jié)束語

近年來對(duì)于知識(shí)追蹤方法的研究越來越火熱，在時(shí)間序列問題上，TCN的應(yīng)用也越來越廣泛，同時(shí)也取得了較好的結(jié)果。受此啟發(fā)，提出了一種融合遺忘因素和注意力機(jī)制的知識(shí)追蹤模型F-TCKT，利用TCN處理學(xué)生學(xué)習(xí)的歷史交互信息，并通過注意力機(jī)制融合不同尺寸的序列特征信息。實(shí)驗(yàn)表明，F(xiàn)-TCKT預(yù)測學(xué)生答題表現(xiàn)時(shí)優(yōu)于傳統(tǒng)知識(shí)追蹤模型BKT、DKT以及兩種模型的變種，在追蹤學(xué)生學(xué)習(xí)水平變化的同時(shí)，還引入了學(xué)生的遺忘行為，追蹤優(yōu)于學(xué)生的遺忘造成的知識(shí)水平變化過程。

在未來的研究中，應(yīng)當(dāng)關(guān)注學(xué)習(xí)者在學(xué)習(xí)和答題過程中會(huì)出現(xiàn)的其他特征因素的影響，例如學(xué)生在答題過程中對(duì)于題目的猜測和失誤，與學(xué)生的遺忘行為相結(jié)合，以準(zhǔn)確地預(yù)測學(xué)生的知識(shí)掌握水平。

參考文獻(xiàn)：

［1］方愛國，張博鋒，郭曉燕，等. 基于學(xué)習(xí)過程的智能導(dǎo)學(xué)系統(tǒng)的研究與實(shí)現(xiàn) ［J］. 計(jì)算機(jī)應(yīng)用研究，2005，22（8）： 140－142. （Fang Aiguo，Zhang Bofeng，Guo Xiaoyan，et al. Research and implementation of intelligent instructing system based on learning processes ［J］. Application Research of Computers，2005，22（8）： 140－142.）

［2］Pardos Z A，Heffernan N T. Modeling individualization in a Bayesian networks implementation of knowledge tracing ［C］//Proc of International Conference on User Modeling，Adaptation，and Personalization. Berlin： Springer，2010： 255－256.

［3］Piech C，Bassen J，Huang J，et al. Deep knowledge tracing［C］// Proc of the 28th International Conference on Neural Information Processing Systems. Cambridge，MA： MIT Press，2015：505－513.

［4］Zhang Jiani，Shi Xingjian，King I，et al. Dynamic key-value memory networks for knowledge tracing ［C］// Proc of the 26th International Conference on World Wide Web. Republic and Canton of Geneva，Switzerland：" International World Wide Web Conferences Steering Committee，2017： 765－774.

［5］Shen Shuanghong，Liu Qi，Chen Enhong，et al. Convolutional know-ledge tracing： modeling individualization in student learning process ［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press，2020： 1857－1860.

［6］Ebbinghaus H. Memory： a contribution to experimental psychology ［J］. Annals of Neurosciences，2013，20（4）： 155－156.

［7］Murre J M，Dros J. Replication and analysis of Ebbinghaus’ forgetting curve ［J］. PLoS One，2015，10（7）： e0120644.

［8］Khajah M，Lindsey R V，Mozer M C. How deep is knowledge tracing？ ［C］// Proc of the 9th International Conference on Educational Data Mining. 2016： 94－101.

［9］Qiu Yumeng，Qi Yingmei，Lu Hanyuan，et al. Does time matter？Modeling the effect of time with Bayesian knowledge tracing ［C］// Proc of the 4th International Conference on Educational Data Mining. 2011： 139－148.

［10］Nagatani K，Zhang Qian，Sato M，et al. Augmenting knowledge tracing by considering forgetting behavior ［C］// Proc of World Wide Web Conference. New York：ACM Press，2019： 3101－3107.

［11］李曉光，魏思齊，張昕，等. LFKT： 學(xué)習(xí)與遺忘融合的深度知識(shí)追蹤模型 ［J］. 軟件學(xué)報(bào)，2021，32（3）： 818－830. （Li Xiaoguang，Wei Siqi，Zhang Xin，et al. LFKT： deep knowledge tracing model with learning and forgetting behavior merging ［J］. Journal of Software，2021，32（3）： 818－830.）

［12］王卓，張銘. 基于貝葉斯知識(shí)跟蹤模型的慕課學(xué)生評(píng)價(jià) ［J］. 中國科技論文，2015，10（2）： 241－246. （Wang Zhuo，Zhang Ming. Student evaluation of MOOC based on Bayesian knowledge tracking model ［J］. Chinese Science and Technology Papers，2015，10（2）： 241－246.）

［13］Yudelson M V，Koedinger K R，Gordon G J. Individualized Bayesian knowledge tracing models ［C］//Proc of International Conference on Artificial Intelligence in Education. Berlin： Springer，2013： 171－180.

［14］Liu Qi，Huang Zhenya，Yin Yu，et al. EKT： exercise-aware know-ledge tracing for student performance prediction ［J］. IEEE Trans on Knowledge and Data Engineering，2019，33（1）： 100－115.

［15］Bai Shaojie，Kolter J Z，Koltun V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling ［EB/OL］. （2018－04－19）. https：//arxiv. org/pdf/1803. 01271. pdf.

［16］Chen Yitian，Kang Yanfei，Chen Yixiong，et al. Probabilistic forecasting with temporal convolutional neural network ［J］. Neurocompu-ting，2020，399： 491－501.

［17］段建設(shè)，崔超然，宋廣樂，等. 基于多尺度注意力融合的知識(shí)追蹤方法 ［J］. 南京大學(xué)學(xué)報(bào)：自然科學(xué)，2021，57（4）： 591－598. （Duan Jianshe，Cui Chaoran，Song Guangle，et al. Knowledge tracing based on multi-scale attention fusion ［J］. Journal of Nanjing University： Natural Science，2021，57（4）： 591－598.）

［18］Pandey S，Karypis G. A self-attentive model for knowledge tracing ［C］//Proc of the 12th International Conference on Educational Data Mining. ［S.l.］： International Educational Data Mining Society. 2019： 384－389.

［19］Bailey C D. Forgetting and the learning curve： a laboratory study ［J］. Management Science，1989，35（3）： 340－352.