基于深度學習的知識追蹤研究綜述

王丹萍，王 忠，梁宏濤

(青島科技大學 信息科學技術學院，山東 青島 266061)

0 引言

隨著人工智能、大數據、智能教學平臺(ITS,intelligent tutoring system)等信息技術的不斷發展無形中推動了教育形式由傳統向新型模式的轉變。《中國教育現代化2035》)[1]提出，高校需探求新的教學模式，促進以個性化學習為基礎的教學，以推動人工智能在教育方面的應用。雖說人工智能的發展為學生自主學習提供了可能，但也帶來了諸多挑戰，例如，在線學習平臺學生的數量遠超于教師數量，教師難以提供學生個性化教學。因此，基于學生歷史學習數據，如何利用科學有效的方法針對學生的學習狀態進行準確分析與預測，已成為目前智慧教育領域中亟待解決的重要課題。

而解決個性化教學的關鍵是知識追蹤(KT,knowledge tracing)[2]，知識追蹤旨在創建學生的知識狀態與認知結構隨時間變化的模型，將學生的歷史學習記錄作為模型的輸入，評估學習者的知識水平，即掌握知識的程度跟隨時間變化的過程，以此來預測學生在未來學習中的作答表現，實現個性化學習輔導[3]。

通過查閱知識追蹤領域綜述文獻可知，業界研究者們根據知識追蹤領域的數據信息特點、變量的表示形式、建模方法針對知識跟蹤模型展開研究。Liang等[4]總結了知識追蹤模型在智慧教育領域的改進模型及其應用。Li等[5]從學習者、歷史學習數據、知識點等詳細闡述了知識追蹤在教育界的應用研究。其中值得提出的是Zeng等[6]探究了在智慧教育視域下的知識追蹤的現狀及發展趨勢，總結了學生與學習資源的交互過程。Zhang等[7]探討了知識追蹤領域研究進展，Wei等[8]總結了知識追蹤領域模型的優缺點，未對深度學習改進模型進行詳細介紹，通過知識追蹤領域的研究綜述來看還有很多內容亟待解決。

通過查閱、檢索計算機領域頂級期刊，閱讀、梳理、總結知識追蹤模型，從模型的原理、不足、改進、應用對教育領域的知識追蹤進行比較、分析、應用、總結和展望。簡要介紹了傳統知識追蹤模型的原理、特點以及不足。全面梳理了基于深度學習的知識追蹤及其改進模型，分別從可解釋性問題、缺少學習特征、記憶增強網絡、圖神經網絡、引入注意力機制的改進模型詳細介紹。整理了知識追蹤領域的公開數據集，評價指標及模型性能對比分析，探討了知識追蹤在智慧教學領域的實際應用，總結了該領域目前的研究現狀和未來的研究方向。

1 傳統知識追蹤模型

在智慧教學領域，依據數據和建模形式不同，知識追蹤模型分為機器學習和深度學習方法，機器學習方法中最具代表性的是基于隱馬爾可夫模型[9](HMM,hidden markov model)的貝葉斯知識追蹤模型[10](BKT,bayesian knowledge tracing)。1995年，Corbett等[11]首次提出將BKT引入到智能教學中。BKT的核心原理是基于時間序列的隱馬爾可夫概率模型，建立學生對于知識集合的認知狀態隨時間變化的模型，追蹤和分析學生在下一時刻掌握知識點的概率，模型圖如圖1所示。

圖1 BKT模型原理圖

在傳統BKT模型中，學生的知識掌握概率主要受到以下這四個參數的影響：P(L)是學習者在學習前對知識掌握的概率；P(T)指學生掌握知識的情況由“未掌握”到“掌握”的概率；P(T)指學生掌握知識的情況由“未掌握”到“掌握”的轉移概率；P(G)指學生在未掌握知識的情況下正確作答習題的概率，稱為猜測概率；P(S)指學生在掌握知識的情況下錯誤作答習題的概率，稱為失誤概率。一般來說，BKT模型是基于學生的作答信息追蹤其認知狀態，當P(L)≥0.95時,則認為學生對知識點已掌握，值得關注的是，BKT模型基于如下三點假設。

1)假設所有學生具備相同的學習環境和學習背景，并且轉移概率P(T)在不同時刻保持不變。

2)假設每個題目之間不具備相關性，各個題目之間相互獨立。

假設學生不會遺忘已學知識點，即學生掌握知識的狀態僅能由“未掌握狀態”轉移到“掌握狀態”，不能反向轉移。

3)BKT模型預測結果雖說具有統計學解釋意義，但應用于實際教學仍存在較多局限性。隨后，諸多研究學者做了一系列深入和豐富的研究，從不同角度對BKT模型進行改進與擴展。Hawkins等[12]基于學生作答的習題具有相似性和關聯性，提出了貝葉斯知識追蹤相同模板模型(BKT-ST,bayesian knowledge tracing-same tamplate)模型。Qiu等[13]提出KT-Forget模型和KT-Slip模型，嘗試對時間因素進行建模，新模型考慮參數“忘記”和“滑動”參數，在殘差和AUC都得到了改進和提升。Agarwal等[14]提出多狀態貝葉斯知識跟蹤模型(MS-BKT,multistate-Bayesian knowledge tracing)解決經典知識追蹤模型中的學習率不變且僅有兩種知識狀態，此模型將知識狀態從“未學習”、“已學習”擴展到21種狀態，多個狀態的添加能更精確地評估學生的學習狀態，提升了模型的性能。

諸多研究學者在貝葉斯知識追蹤的基礎上提出了擴展模型，BKT改進模型雖說取得了一定成效，但是BKT模型的假設具備先天局限性，變量和KC之間無法做到以一一對應，且模型本身在處理數據過程中會丟失重要信息，無法準確模擬學生的知識狀態,因此，BKT模型在實際教學過程中難以大范圍推進。

2 基于深度學習的知識追蹤

由于BKT模型本身的局限性，無法準確追蹤學生的作答表現。而近年來深度學習以其強大的特征提取能力，且無需人工標記數據信息，引起了研究者的廣泛關注，2015年由Piech等[15]首次將深度學習應用于知識追蹤領域，基于循環神經網絡(RNN,recurrent neural network)[16]，提出一個經典模型，稱為基于深度學習[17]的知識追蹤模型(DKT,deep learning based knowledge tracing)。

2.1 DKT模型原理

DKT模型結構如圖2所示。將循環神經網絡RNN模型應用于知識跟蹤中，DKT模型分為輸入層、隱藏層、輸出層[18]，輸入層為學習者的學習表現，即歷史學習記錄{x1,x2,…,xt}，通過壓縮感知機[19]或one-hot編碼將其轉換成向量形式輸入到模型中。隱藏層可看作模型的記憶單元，存儲著學生的歷史學習記錄{h1,h2,…,ht}稱為學生的知識狀態，通過一個sigmoid[20]激活線性層，輸出未來學生的作答表現{y1,y2,…,yt}，表示正確作答習題的預測概率。

圖2 DKT模型原理圖

由圖2可知，每個時刻的隱藏信息僅單向傳遞，因此當前時刻的隱藏狀態僅由上一時刻的隱藏信息和當前時刻的輸入信息決定。在DKT模型中所涉及的公式如式(1)、(2)所示，其中，Whx、Wyh分別為輸入和輸出權重矩陣，Whh是遞歸權重矩陣，bh和by分別為隱藏層偏置和輸出層偏置。

ht=tanh(Whxxt+Whhht-1+bh)

(1)

yt=σ(Wyhht+by)

(2)

DKT模型的優化目標函數是小批次次梯度隨機下降法[21](SGDM,stochastic gradient descent on minnbatches)，公式如式(3)所示:

(3)

其中:LBCE為交叉熵損失函數，δ(qt+1)稱為學生在t+1時刻的作答習題表現的One-hot編碼向量。qt+1為t+1時刻作答的習題標簽，at+1為回答習題情況的標簽。

2.2 DKT改進模型

基于深度學習的DKT模型已經解決了傳統BKT模型的大多數問題，但由于深度學習模型的輸入和輸出機制不具備可解釋性，缺少學習特征等極大地限制了知識追蹤模型在實際教學方面的應用[22]，因此，眾多研究學者針對深度學習的知識追蹤模型進行改進與擴展，具體分類如圖3所示。

圖3 DKT改進模型思維導圖

2.2.1 可解釋性問題的改進

1)自解釋模型。為更好地解決知識交互等可解釋性問題，Lee等[23]提出了一種新的知識查詢網絡模型(KQN,knowledge query network)，利用神經網絡將學生的學習活動編碼為知識狀態和技能向量，將技能向量之間的余弦和歐氏距離[24]與相應技能的優勢比聯系起來，使KQN具有可解釋性和直觀性。Yeung等[25]提出(Deep-IRT,deep-item response theory)模型，通過DKVMN模型處理學生的歷史學習規則，既保留了深度學習知識追蹤模型的性能，同時能夠預測知識的難易程度和學生的知識狀態隨時間的變化，使模型預測的過程具備可解釋性。Su等[26]提出了新的框架—時間-概念增強深度多維項目反應理論(TC-MIRT,time concept-multidimensional item response theory)將歷史學習記錄集成到一個改進的遞歸神經網絡中，構建兩個時間增強組件，使模型具備可解釋參數的能力。

2)事后解釋模型。事后解釋(post-hoc interpretable)方法是解決模型不可解釋性的有效方法，意旨模型預測結束后，通過解釋方法構造解釋模型，解釋學習模型的預測過程、預測依據，事后解釋方法既能解決模型的解釋過程、又能提高模型預測性能。在KT領域，主要有兩種方法，分為層關聯傳播(LRP,layer-wise relevance)和不確定性評估。Lu等[27]提出分層相關性傳播方法，利用反向傳播將相關性分值傳輸到輸入層，計算反向傳播相關性。Hu等[28]首次將評估不確定性引入深度知識追蹤，通過為每個預測提供不確定分數，首次實驗表明，僅使用蒙特卡羅效果不明顯，接著引入正則化損失函數，將敏感的不確定性納入深度知識跟蹤，以此來緩解預測學生知識狀態過程中的不透明性。

2.2.2 缺少學習特征的改進

雖然DKT及其變體模型是目前應用于知識追蹤領域最具成效的方法，但由于DKT模型的輸入僅是one-hot編碼，忽略了學習過程中其余重要的特征信息，如：學生作答題目的次數、思考時間、習題內容等，因此DKT模型未能大范圍進行個性化教學。

1)嵌入學習過程特征。Yang等[29]提出了一種人工對特征進行預處理的方法，即根據學生的內部特征將其離散化，使用基于樹的分類器(CART)將學生的額外特征信息(學習者的響應時間、提示請求和嘗試作答次數)進行預處理，通過最小化交叉熵學習分類規則，學習特征經過CART融合處理后作為長短期記憶網絡(LSTM,long short-term memory)的輸入，輸出為學生在異構特征下正確回答習題的預測結果。

Zhang等[30]利用特征工程的方法將學習特征離散化，把離散后的特征(學生作答的時間、提示請求和嘗試作答次數)，通過自動編碼網絡層，將輸入信息轉化成低維特征向量,減少模型訓練的時間和資源。Minn等[31]提出基于動態學生分類的深度知識跟蹤模型(DKT-DSC,deep knowledge tracing dynamic student classification)，融合k-means聚類，在每個時刻估計學生的學習能力，并根據學生學習能力的相似性將學生分配小組，學習能力相似，則為同一組，根據學生所分組追蹤認知狀態。

DKT模型僅將作答習題的結果作為模型的輸入，忽略了提問環節能反映學生的思維過程，Chan等[32]提出基于點擊流的(CKT,clickstream knowledge tracing)模型，通過對學生作答習題時的點擊流活動建模來擴充一個基本的KT模型，并將與不使用點擊流數據的基準KT模型進行比較，實驗數據表明，合并點擊流數據可以提高模型的性能。

由于學習過程包含著許多不能直接觀察到的潛在事件，如片面理解、犯錯等，Ruan等[33]首先提出序列深度知識跟蹤(SDKT,sequence-to-sequence deep knowledge tracing)模型，通過編碼器-解碼器結構將學生的歷史學習記錄和未來的作答表現區分開。編碼器用于對學習歷史記錄進行編碼，解碼器用于預測學生的未來表現。接著Ruan等人提出變分深度知識追蹤(VDKT,variational deep knowledge tracing)模型，稱為潛變量DKT模型，通過潛變量將隨機性融入DKT模型中。Hooshyar等[34]提出GameDKT模型，模擬學生在游戲過程中的知識狀態，利用交叉驗證預測學生在未來時刻的表現。

2)融入遺忘因素。Wang等[35]提出個人基礎與遺忘融合的時間卷積知識追蹤模型(TCN-KT,temporal convolutional network knowledge tracing)融合了學生遺忘行為，利用RNN計算得出學生先驗基礎，接著利用TCN時間卷積網絡預測作答下一習題的正確率。Nagatani等[36]基于學習過程中的遺忘信息，提出融合遺忘信息的知識追蹤模型，考慮了學生的整個學習互動過程，并納入了多種類型的信息來表示復雜的遺忘行為。例如，學生回答相同習題的時間間隔、相鄰習題的時間間隔、歷史作答習題的次數。添加遺忘特征的模型如圖4所示。

圖4 添加遺忘特征模型圖

Gan等[37]基于學生的知識狀態是隨著時間不斷變化的，提出領域感知的知識跟蹤機(FA-KTM,field-aware knowledge tracing machine)，融合了學生的學習行為，即(遺忘和學習的動態過程)和適應性項目難度，相較于DKT模型性能表現良好。Yang等[38]基于遺忘曲線理論提出了一種更新門來適應融合特征的卷積知識跟蹤模型(CKT,convloutional knowledge tracing)，利用三維卷積增強了近期作答習題的短期效應，利用LSTM對融合后的特征進行處理，通過實驗數據證明優于最先進的模型，模型圖如圖5所示。

圖5 卷積知識跟蹤模型

3)其它特征。由于傳統DKT模型存在兩大主要問題，其一是模型預測時無法輸入重構信息，即使學生作答習題表現較好，但預測的結果準確度降低；其二是時間間隔對于預測結果的影響，存在突然的波動和下降。為了解決這些問題，Yeung等[39]在損失函數中添加了重構和波性對應的正則化項。

Chen等[40]考慮到學生練習數據的稀疏性是影響知識跟蹤預測精度的重要因素，提出了名為先決條件驅動的帶約束建模的深度知識跟蹤(PDKT-C,prerequisite-dreven deep knowledge tracing)，模型融合了前提條件約束，將教學概念之間的關系與知識結構信息同時融入了知識跟蹤模型中。

Wang等[41]為了更好區分習題和概念的關系，提出了一種深度層次知識跟蹤(DHKT,deep hierarchical knowledge tracing)模型，通過計算嵌入內積的鉸鏈損失(hinge loss)以及利用習題和知識成分之間的層次信息，將得到的結果作為神經網絡的輸入，評估學生的學習作答表現，模型預測的結果取決于當前時刻作答習題和知識狀態。

Xu等[42]提出了一種新的知識追蹤方法DynEmb框架，該方法結合了矩陣分解技術和最新進展的遞歸神經網絡(rnn)，該方法無需手工標記知識標簽信息，通過矩陣分解和技能標簽構造問題的嵌入，將題目和知識信息融合，通過實驗評估表明具備較好的魯棒性。

Wang等[43]利用側關系改進知識跟蹤，設計了一個新的框架(DKTS,deep knowledge tracing side)，將問題的邊關系納入知識追蹤，捕獲習題的順序依賴和內在關系，以跟蹤學生的知識狀態，在真實教育數據上的實驗結果驗證了所提框架的有效性。

Tong等[44]提出一種基于結構的知識追蹤(SKT,structure knowledge tracing)框架，基于知識結構中的多重關系對概念間的影響傳播進行建模，對于無向關系(相似關系)，采用同步傳播方法，影響在相鄰概念之間雙向傳播；對于有向關系(前提關系)，采用局部傳播方法，其影響只能單向地從前任傳播到后續，同時，利用門控函數更新概念在時間和空間上的狀態。Pu等[45]將作答時間信息和習題的結構信息作為輸入信息加入到Transformer結構中，增加時間特性來增強預測學生知識狀態的準確度。

2.2.3 動態鍵值記憶網絡模型

雖然DKT模型及其變體在追蹤學生的知識狀態取得了一定成效，但也存在一定的缺陷，例如，LSTM[46]通過輸入門獲取短期記憶(即學生的近期歷史學習記錄)，遺忘門保留部分長期記憶，但是學習過程中的其它影響因素保留在隱藏單元中，當學習記錄數量足夠多時，模型則很難準確預測學生的知識狀態，因此記憶增強神經網絡(MANN,memory augmented neural network)[47]是解決上述局限的創新型方法。記憶增強神經網絡在循環神經網絡基礎上添加了記憶矩陣，能夠將學習過程中隱藏的狀態作為輸入，提高了知識追蹤模型的性能。

香港中文大學施行建教授受到MANN模型的啟發，提出動態關鍵值記憶網絡(DKVMN,dynamic key-value memory networks)[48]，此模型在內存中使用鍵值對，對不可變的關鍵組件進行輸入，通過讀取和寫入值矩陣追蹤學生的知識狀態，直接輸出學生對每個概念的掌握程度。

DKVMN模型如圖6所示，由三部分組成，左下部分表示相應權重計算的過程，即通過注意力機制計算習題和知識成分之間的權重，上部分代表讀取過程，即依據學生當前作答習題的難易程度和掌握知識狀態的水平預測學習表現，右部分表示寫入過程，即作答習題記錄利用擦除加法更新知識狀態，DKVMN模型的步驟如下所示。

圖6 DKVMN模型圖

1)輸入向量qt與嵌入矩陣A得到連續向量kt，Mk矩陣中每一列存儲著一個知識成分，矩陣Mv中存儲著知識狀態，在t時刻，將kt與知識成分(即Mk的每一列)做內積，通過Softmax函數激活，進一步計算相關權重，即注意力權重Wt，公式如式(4)所示:

Wt=Softmax(ktMk(i))

(4)

2)根據注意力權重Wt與矩陣Mv進行求和得到rt，即學生對qt的掌握程度，公式如式(5)所示:

(5)

3)由于每個習題難易程度不同，將習題的嵌入向量kt與對習題的掌握程度rt連接起來，通過全連接層和Tanh激活函數，得到學生掌握知識的程度和之前練習的難度即ft，計算公式如式(6)所示:

(6)

4)通過Sigmoid激活全連接層預測學生的作答表現yt，公式如式(7)所示:

(7)

由于DKVMN模型忽略了習題信息和學生的行為特征，Ai等[49]提出了概念感知的深層知識追蹤模型(DKVMN-CA,dynamic key-value memory networks concept-aware)，首次將深度強化學習應用于個性化數學練習推薦系統，在DKVMN模型的基礎上，明確考慮了練習——概念映射關系，當學生作答習題結束后，作答結果和練習時間將用于更新知識狀態。

Sun等[50]在DKVMN模型基礎上，提出一種結合行為特征與學習能力的知識跟蹤算法(DKVMN-LA,dynamic key-value memory networks learning ability)，DKVMN-LA算法將學生的歷史學習記錄分段，定義和計算在每個分段中的學習能力，并動態地將學生分為三個不同的組，結合學習能力特征改進了DKVMN，在學習過程中利用學生行為特征獲取信息，提高了模型的預測。

Abdelrahman等[51]提出了(SKVMN,sequential key-value memory networks)模型，通過增加鍵值存儲器來增強每個時刻知識狀態的表示能力，并且能獲取序列中不同時刻的知識狀態之間的依賴關系，其次在模型中增加了帶有跳數的LSTM，利用三角隸屬度函數探索習題之間的順序依賴關系；最后通過摘要向量作為練習過程的輸入改進了DKVMN的寫入過程，以便更好地表示存儲在鍵值內存中的知識狀態。

Chaudhry等[52]提出一個多任務記憶增強深度學習模型(MTEM,multi-task memory enhances deep learning)來聯合預測線索獲取和知識跟蹤任務，通過實驗證明，此模型優于基線線索獲取預測模型。Minn等[53]提出一種新的基于記憶網絡的動態學生分類(DSCMN,dynamic student classification on memory networks,)模型，通過捕捉學生每個時間間隔以及長期學習過程中的學習能力來提高模型的預測精度。

2.2.4 圖神經網絡模型

從知識追蹤領域的數據結構特點來看，可以將課程結構化一個圖，但DKT模型未考慮這種潛在的圖結構，Nakagawa等[54]將圖神經網絡(GNN,graph neural network)首次應用于知識追蹤領域，提出了基于GNN的圖知識追蹤模型(GKT,graph-based knowledge tracing)，如圖7所示，將知識結構轉化為一個圖，節點對應概念，邊對應之間的關系為E，將知識追蹤任務看作時間序列節點級分類問題，GKT模型的具體計算步驟如下。

1)聚合；模型聚合作答的概念i及其相鄰概念j∈Ni的隱藏狀態和嵌入。

(8)

其中:xt∈{0,1}2N是一個輸入向量，表示在t時間步時作答習題的正確性，Ex∈R2N*e是嵌入概念索引和答案響應的矩陣，Ec∈RN*e是嵌入概念索引的矩陣，Ec(k)代表Ec的第k行，e為嵌入大小。

1)更新；依據聚合特征和知識圖結構更新隱藏狀態。

(9)

(10)

(11)

由式(9)～(11)所示，fself表示多層感知器(MLP)，gea表示擦加門，ggru是門選循環單元(GRU)門，fneighbor是一個向相鄰節點傳播的函數。

2)預測；輸出學生在下一時刻作答習題表現為正確的預測概率。

(12)

其中:Wout是所有節點通用的權重矩陣，bk是節點k的偏差項，σ是Sigmoid函數，訓練該模型以使觀測值的負對數似然(NLL)最小化。

由于知識追蹤模型未能全面挖掘歷史學習過程中其余豐富的信息，Tong等[55]提出了一種層級圖知識追蹤框架(HGKT,hierarchical exercise graph for knowledge tracing)來探索練習記錄之間潛在的層級關系，引入問題圖式的概念來構建一個分層的練習圖，該框架充分利用了分層習題圖和注意序列模型的優勢，增強了知識追蹤能力。

Yang等[56]提出了一種基于圖的知識跟蹤交互模型(GIKT,graph interaction knowledge tracing)，利用圖卷積網絡通過嵌入傳播實質上合并了問題-技能相關性，此外，GIKT將學生對習題的掌握程度概括為當前掌握習題的狀態、歷史作答記錄、目標問題、以及相關技能。Song等[57]基于“練習-概念”關系和多熱點嵌入缺乏可解釋性提出聯合圖卷積網絡的深度知識追蹤(joint knowledge tracing，JKT)，通過對原始數據和“練習-概念”的原始關系進行深度重構，分別構建了“練習-練習”和“概念-概念”的多維關系，并構建了影響子圖。

由于將圖引入知識追蹤模型中，會過分關注節點細節，卻不關注最高層信息，Song等[58]提出了一種基于雙圖對比學習的知識追蹤(Bi-CLKT,bi-contrastive learning knowledge tracing)，設計了“練習到練習”(E2E)關系子圖兩層對比學習方案，涉及到子圖的節點級別對比學習以獲得練習的區別表示以及圖級對比學習以獲得概念的區別表示，實驗表明，優于其他基線模型。

2.2.5 基于注意力機制

Su等[59]基于注意力機制[60]首次提出了新的訓練增強遞歸神經網絡框架(EERNNA,exercise-enhanced recurrent netural network)，模型圖如圖7所示，利用學生的歷史訓練紀錄和習題預測成績，設計了雙向LSTM，從習題中提取練習語義表示，在大規模真實數據上的大量實驗證明了EERNNA框架的有效性，且能很好地解決冷啟動問題。

圖7 EERNNA 模型圖

為解決數據稀疏的問題，Pandey等[61]提出自我注意知識追蹤(SAKT,self -attention knowledge tracing)，從學生歷史學習記錄提取出知識成分，并進行追蹤預測學生的作答表現。Ghosh等[62]提出一種專注知識追蹤(AKT,attentive knowledge tracing)框架，利用一種新穎的單調注意力機制，將歷史作答記錄、評估問題的未來反應與可解釋性模型結合，注意力權重用指數衰減和上下文感知的相對距離度量進行計算。對概念和問題嵌入進行正則化，捕捉相同概念習題之間的學習者個體差異。

盡管應用于知識追蹤的注意機制有優勢，但同樣存在局限性，以往模型的注意層太淺，無法捕捉到不同習題和認知狀態存在的復雜關系。因此Choi等[63]提出一個基于變壓器的分離自注意知識跟蹤模型(SAINT,self-attentive neural knowledge tracing)，SAINT由一個編碼器和一個解碼器組成，它們是由幾個相同層組成的堆棧，由多頭自我注意和點式前饋網絡組成，特別的是，解碼器層由兩個多頭注意力層組成，模型圖如圖8所示。

圖8 SAINT 模型圖

Pandy等[64]提出了一種新的感知知識追蹤自注意模型(RKT,relation knowledge tracing)，添加了一個含有上下文信息的關系感知的自我注意力層，整合了習題關系信息和學生的成績數據，并通過建立指數衰減的核函數集成了遺忘行為信息。Guo等[65]提出了一種基于對抗訓練AT的KT方法(ATKT,adversarial training knowledge tracing)，首先構造了對抗攝動，并添加至原始的交互嵌入上作為對抗示例。緊接著為了更好地實現AT，Guo等提出高效的注意力-lstm模型作為KT的骨干，自適應地結合歷史學習狀態隱藏的信息。

綜上所述，基于深度學習的知識追蹤模型穩固了知識追蹤在智慧教學領域的基礎，結合深度學習的優勢與智慧教學的現狀，采用RNN模擬學生的認知狀態以及預測學習表現。但傳統的基于深度學習的知識追蹤模型具有局限性，諸多研究學者從可解釋性、缺少學習特征、動態鍵值記憶網絡、圖神經網絡、引入注意力機制等方面進行模型改進。

3 模型對比分析

3.1 數據集介紹

本小節介紹在知識追蹤領域中公開的10類數據集，經過整理與統計其數據集的詳細信息和下載鏈接如表1所示，供研究者可根據所研究內容自行選擇合適的數據集。

表1 數據集介紹及其下載鏈接

3.2 評估指標

知識追蹤領域一般從分類和回歸兩個方面評估模型的性能，主要分為以下幾種：均方根誤差(RMSE,root mean square error)、代表真實值與預測值之間的差值，均方根值越低，則模型準確度越高，預測能力越好；平均絕對誤差(MAE,mean absolute error)、預測準測度(ACC)，其值越高則準確率越高；ROC曲線下的面積(AUC,arer under the roc curve)，其值越高，模型的性能越好。

具體的計算公式如表2所示，其中，right代表習題預測正確的個數，N，n表示作答習題個數，h(x(i))代表第i個習題的預測分值，y(i)表示真實分值。在知識追蹤領域中，諸多研究者選取AUC作為模型的評價指標，模型提供了一個評價標準，AUC的得分為0.5表示預測值和猜測值相同，AUC的值越高，則模型性能越好。

表2 評估指標及其公式

3.3 模型性能對比

表3整理了在知識追蹤領域測試的模型性能表現(以最常用的AUC指標為基準)，表中數據選取原則為至少在4個數據集上做過實驗，數據均來源于模型最初提出的論文，取AUC的最大值，BKT為最基礎模型作為參考，根據實際意義得知，在不同的數據集上模型性能均不同，往往受到超參數的影響，因此，表中數據的參考價值大于實際意義。

表3 模型性能(AUC)一覽表

4 未來的研究方向

隨著知識追蹤在教育領域的應用與研究，其發展方向不斷深入，主要包括調整學生知識結構、程序題的自動評測、學生個性化指導、預測學生掌握知識狀態等，但目前知識追蹤在起步階段，同樣也存在許多問題亟待解決，接下來總結了幾個研究方向供研究者參考。

1)建模單一化問題：知識追蹤領域的建模形式大多采用二元變量來描述學生的作答情況，知識追蹤領域的數據主要來源在線學習平臺，而學生的情緒未能記錄在在線學習平臺，而在實際教學過程中，想法多變的學生和種類多變的習題讓知識追蹤的準確率難以提升，研究學者提出關注學習過程中學生的情緒(無聊、困惑、遺忘等)，但由于學生在不同年齡段想法不同，因此，未來知識追蹤會更加關注學生年齡問題對于建模問題的影響，根據不同年齡段的學生，及時進行教學計劃的調整，實現個性化教學。如何將學生年齡信息并與其它信息進行融合等都是未來的重要研究方向。

2)主觀題自動測評：隨著人工智能與教育的不斷發展，大部分研究工作者致力于客觀題自動評測，已經有較好的成果，而主觀題的測評由于“學習者隨意發揮”，無準確評價標準，因此很多KT模型無法針對主觀題進行建模，特別是針對程序自動測評，很多測評系統僅僅能評判程序正確與否，卻無法給出程序的步驟分，而教育十三五規劃要求培養信息化人才，因此程序的自動測評，將成為未來重要的一個研究方向。

3)針對不同領域建模：起初，知識追蹤針對數學問題建模，由于每個學科都有其本身的特點，應用于數學問題的建模方式無法直接應用于其他學科，Cheng等人提出了自適應知識追蹤(AKT)模型，但是由于AKT模型針對超參數較為敏感，因此，未來一個重要方向為如何解決不同學科的超參數問題，進一步提升知識追蹤模型的準確性。

5 結束語

綜上所述，在人工智能與教育相結合的大背景下，知識追蹤作為智慧教學領域的主要研究方向之一，主要目的是獲取學生的歷史學習記錄，追蹤其隨時間變化的知識狀態，預測學生未來時刻的學習表現，從而實現個性化教學。本文主要集中近五年教育領域中的知識追蹤模型，對該領域進行了全面的梳理與回顧，首先介紹了知識追蹤領域經典的貝葉斯知識追蹤(BKT)，并針對BKT介紹了其擴展模型,基于此模型，介紹了基于深度學習的DKT模型，并針對此模型的可解釋性問題、缺少學習特征、缺少教育數據特征等問題進行擴展進行詳細闡述；然后整理了知識追蹤領域的公開數據集，對比了模型的性能；最后探討了知識追蹤領域現存的問題與未來的發展方向。