深度知識追蹤在適應(yīng)性學(xué)習(xí)系統(tǒng)的應(yīng)用

李蓬

(北京建筑大學(xué)電氣與信息工程學(xué)院，北京 100044)

0 引言

在線教育平臺為學(xué)習(xí)者提供了一個方便、靈活的學(xué)習(xí)環(huán)境，能夠充分滿足每個學(xué)習(xí)者的學(xué)習(xí)偏好和學(xué)習(xí)需求。但是，目前的在線教育忽視了學(xué)習(xí)者的具體情況和個體特征，向?qū)W習(xí)者提供相同的學(xué)習(xí)資源，這容易引起學(xué)習(xí)者信息迷航和學(xué)習(xí)困難。20世紀(jì)90年代，建構(gòu)主義教育理論的流行和計算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展促進(jìn)了適應(yīng)性學(xué)習(xí)系統(tǒng)的產(chǎn)生。適應(yīng)性學(xué)習(xí)系統(tǒng)以學(xué)習(xí)者為中心，通過監(jiān)測學(xué)習(xí)者和學(xué)習(xí)過程，推斷學(xué)習(xí)者的學(xué)習(xí)需求和學(xué)習(xí)狀態(tài)，然后為每個學(xué)習(xí)者提供不同的學(xué)習(xí)材料、學(xué)習(xí)策略和指導(dǎo)，從而提高學(xué)習(xí)成效。

學(xué)習(xí)者已有的知識結(jié)構(gòu)是學(xué)習(xí)新知識的起點(diǎn)。因此，準(zhǔn)確地分析學(xué)習(xí)者的知識水平是構(gòu)建適應(yīng)性學(xué)習(xí)系統(tǒng)的關(guān)鍵。知識追蹤可以根據(jù)學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)，預(yù)測學(xué)習(xí)者對所學(xué)知識的掌握情況，為后續(xù)的教學(xué)設(shè)計提供依據(jù)。傳統(tǒng)的知識追蹤方法，如貝葉斯知識追蹤(Bayesian Knowledge Tracing，BKT)，沒有考慮知識概念之間的關(guān)系，且難以解決多知識概念的問題。認(rèn)知診斷方法，如IRT和DINA等，需要對大量的習(xí)題進(jìn)行標(biāo)注。深度知識追蹤(Deep Knowledge Tracing，DKT)是指采用深度學(xué)習(xí)以實(shí)現(xiàn)知識追蹤的技術(shù)[1]。DKT不僅可以解決上述問題，而且取得了更好的預(yù)測效果[2]。目前，DKT成為在線教育中分析學(xué)習(xí)者知識水平的一個研究熱點(diǎn)。

適應(yīng)性學(xué)習(xí)是當(dāng)前智慧教育的一個重要特征，使得學(xué)習(xí)過程更加個性化，真正實(shí)現(xiàn)了因材施教的教育理想。本文探討DKT在適應(yīng)性學(xué)習(xí)系統(tǒng)的應(yīng)用，首先介紹DKT的基本模型和發(fā)展，然后描述適應(yīng)性學(xué)習(xí)系統(tǒng)的主要功能模塊，最后分析DKT在適應(yīng)性學(xué)習(xí)系統(tǒng)的應(yīng)用，以滿足學(xué)習(xí)者的個性化學(xué)習(xí)需求。

1 深度知識追蹤概述

2015年，Piech等基于深度學(xué)習(xí)對學(xué)習(xí)者的知識狀態(tài)演化過程進(jìn)行建模，提出了深度知識追蹤(DKT)模型[1]。DKT模型利用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)對學(xué)習(xí)者的答題記錄進(jìn)行建模分析，預(yù)測學(xué)習(xí)者的知識狀態(tài)，其結(jié)構(gòu)如圖1所示。

圖1 DKT網(wǎng)絡(luò)模型

對于每個學(xué)習(xí)者的答題記錄序列X=(x1，x2，x3，… ，xt)，其中X={qt，at}，qt表示知識概念的編號，at表示學(xué)習(xí)者的作答情況(0表示回答錯誤，1表示回答正確)。xt是通過獨(dú)熱編碼轉(zhuǎn)換成的向量。如果輸入數(shù)據(jù)涉及N個知識概念，習(xí)題的作答結(jié)果有兩種情況(正確或錯誤)，那么xt被編碼成長度為2N的{0，1}向量。具體編碼規(guī)則是：假設(shè)某一道習(xí)題屬于第i個知識概念，回答正確時其向量表示為第N+i個向量元素的值為1，其余為0；回答錯誤時第i個向量元素的值為1，其余為0。ht是RNN的隱含層，表示學(xué)習(xí)者在t時刻對所學(xué)知識的整體掌握水平。yt是長度為N的向量，其中每一個元素為相應(yīng)知識概念的預(yù)測結(jié)果。因此，通過學(xué)習(xí)者前t個時刻的答題序列可以預(yù)測t+1時刻對知識概念的作答情況。

RNN在結(jié)構(gòu)上存在缺陷，使其難以對較長時間序列的特征進(jìn)行建模。因此，DKT模型采用了LSTM實(shí)現(xiàn)。LSTM是RNN的一個改進(jìn)，引入了三種門結(jié)構(gòu)(輸入門、遺忘門和輸出門)，以模擬人類的記憶系統(tǒng)。LSTM可以學(xué)習(xí)序列特征的長期依賴關(guān)系。因?yàn)橐话銓W(xué)習(xí)者的答題序列較長，所以LSTM結(jié)構(gòu)更適合于知識追蹤任務(wù)。

雖然DKT模型提高了預(yù)測性能，但是仍存在一些不足。首先，LSTM的隱含層表示的是學(xué)習(xí)者對所有知識概念的綜合掌握情況，不能預(yù)測學(xué)習(xí)者對每一個知識概念的掌握程度。其次，LSTM的記憶容量有限，不能模擬人類的長期記憶過程。

2017年，Zhang等人提出了DKVMN模型，該模型通過引入輔助記憶單元，以優(yōu)化網(wǎng)絡(luò)的記憶結(jié)構(gòu)，進(jìn)而提高了模型的存儲容量[3]。輔助記憶單元不同于LSTM的內(nèi)部記憶(隱含態(tài))，而是采用稱為記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)(MANN)的外部記憶。相比于傳統(tǒng)的DKT模型，DKVMN模型不再利用一個向量來存儲信息，而是引入了兩個記憶矩陣。key矩陣為靜態(tài)記憶矩陣，用來存儲學(xué)習(xí)者作答時涉及的知識概念信息；value矩陣為動態(tài)記憶矩陣，用來存儲學(xué)習(xí)者對知識概念的掌握情況，其中每一個向量表示學(xué)習(xí)者對相應(yīng)知識概念的掌握程度。DKVMN模型擁有更大的記憶容量，可以存儲更長的時間序列信息，因此，具有更高的預(yù)測精度。另外，DKVMN模型可以準(zhǔn)確地預(yù)測學(xué)習(xí)者對每個知識概念的掌握程度。后續(xù)有的研究對DKVMN模型又做了改進(jìn)。例如，Abdelrahman等人提出了SKVMN模型，該模型利用Hop-LSTM發(fā)現(xiàn)習(xí)題之間的序列依賴，并通過修改DKVMN的寫操作提高了預(yù)測效果[4]。Ai等人利用知識概念的特征、習(xí)題難度、回答問題的時間等信息提出了DKVMN-CA模型，提高了知識追蹤的預(yù)測性能[5]。

除了上述兩個基本模型，最近的研究提出了一些新的DKT模型。例如，Nakagawa等人把圖神經(jīng)網(wǎng)絡(luò)(GNN)引入到知識追蹤，提出了GKT模型，該模型將知識概念表示為圖中的節(jié)點(diǎn)，知識概念之間的關(guān)系表示為節(jié)點(diǎn)之間的邊[6]。Pandey等人提出了SAKT模型，該模型利用Transformer結(jié)構(gòu)解決了數(shù)據(jù)稀疏問題[7]。Wang等人整合深層神經(jīng)網(wǎng)絡(luò)和認(rèn)知診斷模型，提出了NeuralCDM模型，不僅提高了知識診斷的性能，還提高了結(jié)果的可解釋性[8]。Liu等人設(shè)計了EKT框架，該框架不僅考慮了學(xué)習(xí)者的答題記錄和相應(yīng)習(xí)題的文本信息，還開發(fā)了記憶網(wǎng)絡(luò)以整合知識概念等信息[9]。

2 深度知識追蹤在適應(yīng)性學(xué)習(xí)系統(tǒng)的應(yīng)用

20世紀(jì)90年代興起的建構(gòu)主義學(xué)習(xí)理論對當(dāng)前的在線教育模式產(chǎn)生了深刻影響。建構(gòu)主義學(xué)習(xí)理論認(rèn)為，學(xué)習(xí)不是知識從教師到學(xué)習(xí)者的單向傳授，而是由學(xué)習(xí)者在一定的學(xué)習(xí)情境中自主地構(gòu)建知識結(jié)構(gòu)的過程。適應(yīng)性學(xué)習(xí)系統(tǒng)根據(jù)學(xué)習(xí)者的學(xué)習(xí)目標(biāo)和個體特征，通過適應(yīng)性技術(shù)為學(xué)習(xí)者創(chuàng)造一個智能化的學(xué)習(xí)環(huán)境，可以極大程度地提升學(xué)習(xí)效率。

2.1 適應(yīng)性學(xué)習(xí)系統(tǒng)的構(gòu)成

適應(yīng)性學(xué)習(xí)系統(tǒng)主要包括學(xué)習(xí)者模型、領(lǐng)域模型、教學(xué)模型和接口模型等四個基本模塊[10]。目前，對于適應(yīng)性學(xué)習(xí)系統(tǒng)的構(gòu)成，還沒有統(tǒng)一的說法，其基本結(jié)構(gòu)如圖2所示。

圖2 適應(yīng)學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)

學(xué)習(xí)者模型提供了學(xué)習(xí)者的個體特征信息，如知識水平、學(xué)習(xí)風(fēng)格、興趣等。領(lǐng)域模型記錄了所要傳授的領(lǐng)域知識以及各知識概念之間的關(guān)系。教學(xué)模型包括各種教學(xué)策略和教學(xué)方法，以及各種適合學(xué)習(xí)者的學(xué)習(xí)活動的教學(xué)設(shè)計規(guī)則。接口模型實(shí)現(xiàn)教學(xué)系統(tǒng)與學(xué)習(xí)者之間的交互。學(xué)習(xí)者模型、領(lǐng)域模型、教學(xué)模型和接口模型是適應(yīng)性學(xué)習(xí)系統(tǒng)的基本組成結(jié)構(gòu)，當(dāng)前研究大多針對具體應(yīng)用對系統(tǒng)進(jìn)行功能擴(kuò)展。

2.2 深度知識追蹤在適應(yīng)性學(xué)習(xí)系統(tǒng)的應(yīng)用

適應(yīng)性學(xué)習(xí)系統(tǒng)要解決兩個關(guān)鍵問題：首先，準(zhǔn)確地獲取學(xué)習(xí)者的特征信息，構(gòu)建合理的學(xué)習(xí)者模型；其次，采用有效的適應(yīng)性學(xué)習(xí)技術(shù)，及時調(diào)整學(xué)習(xí)環(huán)境，滿足學(xué)習(xí)者的需要。學(xué)習(xí)者模型是適應(yīng)性學(xué)習(xí)系統(tǒng)提供個性化學(xué)習(xí)的依據(jù)。學(xué)習(xí)者模型既保存著相對穩(wěn)定的靜態(tài)信息，也保存著在學(xué)習(xí)過程中會發(fā)生變化的動態(tài)信息。學(xué)習(xí)者模型包含的信息越豐富、越準(zhǔn)確，系統(tǒng)的自適應(yīng)能力就會越強(qiáng)。教學(xué)模型對學(xué)習(xí)者模型的信息進(jìn)行分析和推理，結(jié)合領(lǐng)域模型，動態(tài)調(diào)整教學(xué)內(nèi)容和教學(xué)策略，為學(xué)習(xí)者提供個性化的教學(xué)服務(wù)。

深度知識追蹤在適應(yīng)性學(xué)習(xí)系統(tǒng)的應(yīng)用如圖3所示。首先，通過測量和跟蹤學(xué)習(xí)者在學(xué)習(xí)過程中的特征，建立學(xué)習(xí)者模型。其次，根據(jù)學(xué)習(xí)者的學(xué)習(xí)目標(biāo)和知識水平、學(xué)習(xí)風(fēng)格等個體特征，篩選學(xué)習(xí)材料，組織學(xué)習(xí)內(nèi)容，安排學(xué)習(xí)進(jìn)程，并制訂學(xué)習(xí)策略，然后提供給學(xué)習(xí)者。最后，監(jiān)測學(xué)習(xí)者的學(xué)習(xí)活動，推斷學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，分析學(xué)習(xí)者遇到的問題，提供有針對性的指導(dǎo)和干預(yù)措施以及協(xié)作學(xué)習(xí)支持。

圖3 適應(yīng)性學(xué)習(xí)的實(shí)現(xiàn)

學(xué)習(xí)者的知識水平是學(xué)習(xí)者的一個重要特征，是進(jìn)行個性化教學(xué)的主要依據(jù)。除了知識水平，本文還整合學(xué)習(xí)者的認(rèn)知能力、學(xué)習(xí)風(fēng)格和情感狀態(tài)等特征。學(xué)習(xí)者的認(rèn)知能力、學(xué)習(xí)風(fēng)格等特征是相對穩(wěn)定的，屬于靜態(tài)信息。這些特征在學(xué)習(xí)者進(jìn)入在線學(xué)習(xí)平臺之前就測量好。知識水平和情感狀態(tài)等特征是在學(xué)習(xí)過程中不斷變化的，屬于動態(tài)信息。系統(tǒng)使用知識追蹤和情感識別方法跟蹤學(xué)習(xí)者的學(xué)習(xí)活動，并及時更新學(xué)習(xí)者模型。本文采用深度知識追蹤方法分析學(xué)習(xí)者的知識水平。利用學(xué)習(xí)者的答題數(shù)據(jù)，采用深度知識追蹤方法，可以得到學(xué)習(xí)者當(dāng)前的知識狀態(tài)。

學(xué)習(xí)者模型建立之后，教學(xué)模型根據(jù)學(xué)習(xí)者的特征提供適應(yīng)性、個性化的學(xué)習(xí)服務(wù)，其實(shí)現(xiàn)主要包括以下幾個方面：

(1)學(xué)習(xí)材料推送

學(xué)習(xí)材料的內(nèi)容有多種形式，如有的由具體的數(shù)據(jù)、實(shí)例構(gòu)成，有的由抽象的概念、理論構(gòu)成。學(xué)習(xí)材料的類型也有多種，如文本、視頻、圖片、語音等。另外，學(xué)習(xí)材料有不同的難度。因此，提供的學(xué)習(xí)材料需要與學(xué)習(xí)者的知識水平、學(xué)習(xí)風(fēng)格等相匹配。否則，面對豐富的學(xué)習(xí)資料，容易引起信息迷失或認(rèn)知過載。個性化學(xué)習(xí)材料推送根據(jù)學(xué)習(xí)者的知識水平、學(xué)習(xí)風(fēng)格、認(rèn)知能力等，從領(lǐng)域模型中篩選符合學(xué)習(xí)者需求的學(xué)習(xí)材料，然后適時地呈現(xiàn)給學(xué)習(xí)者。

(2)學(xué)習(xí)路徑規(guī)劃

學(xué)習(xí)路徑是指為實(shí)現(xiàn)學(xué)習(xí)目標(biāo)而形成的學(xué)習(xí)活動的路線。優(yōu)化的學(xué)習(xí)路徑可以避免信息迷航，提高學(xué)習(xí)者的學(xué)習(xí)效率。學(xué)習(xí)路線涉及到學(xué)習(xí)內(nèi)容中知識概念的先后順序。因此，需要通過分析學(xué)習(xí)者的知識水平，以確定學(xué)習(xí)者是否可以進(jìn)入下一個學(xué)習(xí)環(huán)節(jié)。學(xué)習(xí)路徑規(guī)劃根據(jù)學(xué)習(xí)者的學(xué)習(xí)目標(biāo)、知識水平等組織學(xué)習(xí)內(nèi)容，安排學(xué)習(xí)進(jìn)度，使學(xué)習(xí)者用較少的時間實(shí)現(xiàn)學(xué)習(xí)目標(biāo)，并培養(yǎng)自主學(xué)習(xí)和終生學(xué)習(xí)的能力。

(3)學(xué)習(xí)策略推薦

學(xué)習(xí)策略是指在教學(xué)活動中為了達(dá)到教學(xué)目標(biāo)所采取的方式和方法。學(xué)習(xí)策略推薦可以根據(jù)學(xué)習(xí)者的知識水平、學(xué)習(xí)風(fēng)格等特征，為學(xué)習(xí)者選擇有效的學(xué)習(xí)方式和方法。同時，系統(tǒng)監(jiān)測和跟蹤學(xué)習(xí)者的學(xué)習(xí)過程，根據(jù)學(xué)習(xí)者的學(xué)習(xí)情況，動態(tài)調(diào)整學(xué)習(xí)內(nèi)容和學(xué)習(xí)方法，優(yōu)化學(xué)習(xí)過程和學(xué)習(xí)情境，為每個學(xué)習(xí)者提供個性化的學(xué)習(xí)體驗(yàn)，從而提高學(xué)習(xí)效率和學(xué)習(xí)效果。

(4)學(xué)習(xí)干預(yù)

學(xué)習(xí)干預(yù)是指根據(jù)學(xué)習(xí)者在學(xué)習(xí)過程中出現(xiàn)的問題和薄弱環(huán)節(jié)，提供有針對性的幫助和引導(dǎo)，使學(xué)習(xí)者可以及時糾正錯誤，改進(jìn)學(xué)習(xí)方法。學(xué)習(xí)者的情感狀態(tài)與學(xué)習(xí)成效有密切的關(guān)系。每個學(xué)習(xí)者都有自己優(yōu)化的學(xué)習(xí)區(qū)間，在該區(qū)間內(nèi)，學(xué)習(xí)內(nèi)容的復(fù)雜程度與學(xué)習(xí)者知識水平的提高相匹配，學(xué)習(xí)者處于專注的學(xué)習(xí)狀態(tài)。如果提供給學(xué)習(xí)者的學(xué)習(xí)內(nèi)容與學(xué)習(xí)者的知識水平出現(xiàn)偏差，那么學(xué)習(xí)者就可能出現(xiàn)困惑、沮喪或者厭倦等負(fù)面情緒。系統(tǒng)監(jiān)視學(xué)習(xí)者的學(xué)習(xí)行為，推斷學(xué)習(xí)者的情緒狀態(tài)。當(dāng)發(fā)現(xiàn)學(xué)習(xí)者出現(xiàn)負(fù)面情緒時，系統(tǒng)根據(jù)學(xué)習(xí)者的知識水平、學(xué)習(xí)風(fēng)格等特征提供情緒調(diào)節(jié)和學(xué)習(xí)輔導(dǎo)。

(5)協(xié)作學(xué)習(xí)支持

協(xié)作學(xué)習(xí)是指學(xué)習(xí)者通過共同合作以完成學(xué)習(xí)任務(wù)。社會建構(gòu)主義學(xué)習(xí)理論認(rèn)為知識的構(gòu)建是在一定的環(huán)境中借助于學(xué)習(xí)者之間的協(xié)作來完成的。因此，知識的學(xué)習(xí)不僅靠學(xué)習(xí)者的主動建構(gòu)，社會交互更加重要。首先，系統(tǒng)根據(jù)學(xué)習(xí)目標(biāo)和學(xué)習(xí)者的知識水平等特征構(gòu)建學(xué)習(xí)者共同體。然后，系統(tǒng)提供交互協(xié)作的功能，支持學(xué)習(xí)者的交流互動。協(xié)作學(xué)習(xí)有助于學(xué)習(xí)者相互學(xué)習(xí)，提高學(xué)習(xí)積極性，挖掘?qū)W習(xí)者的潛能。

3 結(jié)語

互聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能技術(shù)的迅速發(fā)展和廣泛應(yīng)用，為適應(yīng)性學(xué)習(xí)系統(tǒng)的實(shí)現(xiàn)提供了強(qiáng)有力的保證。適應(yīng)性學(xué)習(xí)系統(tǒng)可以根據(jù)學(xué)習(xí)者的能力和需求，客戶化學(xué)習(xí)活動，使學(xué)習(xí)者獲得滿意的學(xué)習(xí)體驗(yàn)。學(xué)習(xí)者具有學(xué)習(xí)風(fēng)格、認(rèn)知能力、學(xué)習(xí)興趣等多種特征，其中知識水平是學(xué)習(xí)者最重要的屬性，是系統(tǒng)提供個性化的基礎(chǔ)。基于DKT預(yù)測學(xué)習(xí)者的知識狀態(tài)可以獲得更好的預(yù)測性能，在適應(yīng)性學(xué)習(xí)系統(tǒng)的應(yīng)用方面具有良好的應(yīng)用前景。