結(jié)合深度知識(shí)追蹤與矩陣補(bǔ)全的習(xí)題推薦方法

郭英清,王 敏,2,肖明勝

(1.贛南師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,江西 贛州 341000;2.江西省數(shù)值模擬與仿真技術(shù)重點(diǎn)實(shí)驗(yàn)室,江西 贛州 341000)

0 引 言

隨著教育資源規(guī)模日益增大,學(xué)習(xí)者難以在數(shù)量龐大的教學(xué)資源中找到符合自身需求的資源。同樣地,教師面對(duì)大量的學(xué)習(xí)者也難以做到為每一位學(xué)習(xí)者提供個(gè)性化學(xué)習(xí)推薦。特別地,在信息過(guò)載的今天,為滿足不同認(rèn)知能力和知識(shí)水平的學(xué)習(xí)者需求,如何在大量的習(xí)題中精準(zhǔn)地推薦合適的習(xí)題是個(gè)性化學(xué)習(xí)研究的一項(xiàng)重要課題。

近年來(lái),許多研究者將推薦技術(shù)用于習(xí)題推薦,其主要思路是以學(xué)習(xí)者的習(xí)題成績(jī)作為評(píng)分,將習(xí)題得分預(yù)測(cè)轉(zhuǎn)換成評(píng)分預(yù)測(cè),從而實(shí)現(xiàn)習(xí)題推薦?，F(xiàn)有的習(xí)題推薦方法主要分為基于協(xié)同過(guò)濾的方法和基于認(rèn)知診斷的方法?；趨f(xié)同過(guò)濾的習(xí)題推薦方法有:Linden等人[1]根據(jù)學(xué)生做題記錄計(jì)算相似性得到相似用戶,利用相似用戶的習(xí)題得分預(yù)測(cè)目標(biāo)學(xué)生得分情況,再用預(yù)測(cè)結(jié)果進(jìn)行習(xí)題推薦。Wu等人[2]結(jié)合時(shí)間效應(yīng)提出張量因子分解方法,用矩陣分解方法預(yù)測(cè)學(xué)生習(xí)題成績(jī)并依此進(jìn)行學(xué)習(xí)資源推薦。Toledo等人[3]在編程平臺(tái)使用協(xié)同過(guò)濾方法實(shí)現(xiàn)學(xué)生的在線習(xí)題推薦。周亞[4]將學(xué)習(xí)者分為新老用戶,以協(xié)同過(guò)濾算法為基礎(chǔ),提出一種混合推薦方法來(lái)提高習(xí)題推薦效果。蔣昌猛等人[5]通過(guò)更新學(xué)生-知識(shí)點(diǎn)失分率矩陣,獲取薄弱知識(shí)點(diǎn)并以此進(jìn)行習(xí)題推薦。馬驍睿等人[6]用深度知識(shí)追蹤得到的知識(shí)水平矩陣代替交互矩陣,融合相似用戶的知識(shí)水平向量,得到的推薦結(jié)果準(zhǔn)確性高、解釋性好?；趨f(xié)同過(guò)濾的習(xí)題推薦算法簡(jiǎn)單易部署,但僅參考學(xué)習(xí)者的答題記錄來(lái)進(jìn)行推薦,忽略了學(xué)習(xí)者的知識(shí)水平;另外,協(xié)同過(guò)濾推薦算法未考慮其他因素對(duì)學(xué)習(xí)者答題情況的影響,推薦結(jié)果不具備較好的解釋性。

認(rèn)知診斷方法通過(guò)不同的模型對(duì)學(xué)習(xí)者進(jìn)行能力建模,所得到的參數(shù)具有較強(qiáng)的解釋性意義,并用于學(xué)習(xí)者得分預(yù)測(cè)和試題推薦[7]。Lord[8]提出了項(xiàng)目反應(yīng)理論(Item Response Theory,IRT),IRT通過(guò)模型函數(shù)從學(xué)習(xí)者的作答數(shù)據(jù)中得到習(xí)題參數(shù)和學(xué)習(xí)者能力值,根據(jù)習(xí)題參數(shù)和學(xué)習(xí)者能力值來(lái)進(jìn)行習(xí)題推薦。Corbett等人[9]于1995年提出貝葉斯知識(shí)追蹤(Bayesian Knowledge Tracing,BKT),將學(xué)習(xí)者對(duì)每個(gè)知識(shí)點(diǎn)的掌握情況建模為一組二元變量,每個(gè)變量代表學(xué)習(xí)者是否掌握某個(gè)知識(shí)點(diǎn),采用隱馬爾可夫模型(Hidden Markov Model,HMM)跟蹤學(xué)生知識(shí)狀態(tài)的變化,預(yù)測(cè)學(xué)生掌握知識(shí)點(diǎn)的概率。加性因子模型(Additive Factor Model,AFM)[10]考慮練習(xí)嘗試次數(shù)和學(xué)習(xí)率兩個(gè)變量對(duì)學(xué)習(xí)者知識(shí)狀態(tài)的影響,假設(shè)學(xué)習(xí)是一個(gè)漸進(jìn)的變化過(guò)程而不是離散的過(guò)渡,直接預(yù)測(cè)學(xué)習(xí)者正確回答練習(xí)的概率。同時(shí),諸多研究者從參數(shù)約束[11]、引入失誤因子[12]和情緒態(tài)度[13]等不同角度對(duì)標(biāo)準(zhǔn)AFM進(jìn)行擴(kuò)展。基于認(rèn)知診斷的習(xí)題推薦方法考慮到學(xué)習(xí)者的知識(shí)水平,并基于目標(biāo)的知識(shí)水平向量進(jìn)行推薦。但傳統(tǒng)認(rèn)知診斷方法的數(shù)據(jù)集需要專家標(biāo)注,且沒(méi)有考慮到學(xué)習(xí)的群體性。認(rèn)知診斷推薦方法針對(duì)學(xué)習(xí)者個(gè)人知識(shí)水平建模,在面對(duì)知識(shí)點(diǎn)和習(xí)題一對(duì)一關(guān)系時(shí),無(wú)法推薦學(xué)習(xí)者未做過(guò)的習(xí)題,推薦結(jié)果存在流行度長(zhǎng)尾問(wèn)題。

綜上所述,習(xí)題推薦算法主流分為協(xié)同過(guò)濾和認(rèn)知診斷方法,但在實(shí)際場(chǎng)景下,協(xié)同過(guò)濾算法忽略了學(xué)習(xí)者知識(shí)水平,僅靠做題記錄來(lái)進(jìn)行推薦。認(rèn)知診斷方法需專家標(biāo)注數(shù)據(jù)集,沒(méi)有考慮到學(xué)習(xí)的群體性,且大部分推薦算法存在數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題,難以滿足習(xí)題推薦需求。因此,如何在數(shù)據(jù)稀疏情況下對(duì)學(xué)習(xí)者知識(shí)狀態(tài)建模,進(jìn)而進(jìn)行習(xí)題推薦仍是一個(gè)值得研究的問(wèn)題。

針對(duì)上述問(wèn)題,該文提出一種結(jié)合深度知識(shí)追蹤與矩陣補(bǔ)全的習(xí)題推薦方法,命名為DKT-SVD++(Deep Knowledge Tracing based Singular Value Decomposition Plus Plus)。DKT-SVD++用深度知識(shí)追蹤模型訓(xùn)練得到學(xué)習(xí)者的知識(shí)水平矩陣,又利用奇異值分解模型對(duì)未做習(xí)題進(jìn)行評(píng)分預(yù)測(cè),并對(duì)學(xué)習(xí)者的知識(shí)水平矩陣進(jìn)行補(bǔ)全,進(jìn)而根據(jù)概率高低進(jìn)行習(xí)題推薦。DKT-SVD++由One-Hot編碼、知識(shí)追蹤、知識(shí)融合、知識(shí)補(bǔ)全和習(xí)題推薦五個(gè)步驟構(gòu)成。DKT-SVD++方法具有以下優(yōu)點(diǎn):

(1)通過(guò)深度知識(shí)追蹤來(lái)獲取學(xué)習(xí)者的知識(shí)掌握水平,實(shí)現(xiàn)對(duì)學(xué)習(xí)者知識(shí)水平的精準(zhǔn)建模,推薦結(jié)果具有更高精確度。

(2)使用奇異值分解模型對(duì)學(xué)習(xí)者知識(shí)矩陣進(jìn)行補(bǔ)全,緩解了數(shù)據(jù)稀疏問(wèn)題,且提高推薦結(jié)果的多樣性。

(3)DKT-SVD++緩解了依據(jù)答題記錄進(jìn)行推薦方法存在的問(wèn)題,是否答題以及答題正確與否不能代表學(xué)習(xí)者的知識(shí)掌握水平。

DKT-SVD++在KDDCup2010和Statics2011兩個(gè)公開(kāi)數(shù)據(jù)集上與UserCF、DKT和DKT-CF方法進(jìn)行了性能比較,實(shí)驗(yàn)結(jié)果驗(yàn)證了DKT-SVD++方法的有效性。

1 相關(guān)工作

1.1 知識(shí)追蹤

知識(shí)追蹤基于學(xué)習(xí)者行為序列進(jìn)行建模,預(yù)測(cè)學(xué)習(xí)者知識(shí)點(diǎn)的掌握程度,已被廣泛應(yīng)用于智能教學(xué)系統(tǒng)中評(píng)估學(xué)習(xí)者的知識(shí)水平[14]。知識(shí)追蹤問(wèn)題可以描述為:給定一學(xué)習(xí)者的學(xué)習(xí)序列x1,x2,…,xt,預(yù)測(cè)其下次表現(xiàn)xt+1。Corbett等人[9]在1995年提出BKT模型,用二元變量來(lái)對(duì)學(xué)習(xí)者的知識(shí)點(diǎn)掌握情況進(jìn)行建模,采用HMM模型來(lái)跟蹤學(xué)生知識(shí)狀態(tài)的變化,預(yù)測(cè)學(xué)生掌握知識(shí)點(diǎn)的概率。BKT方法的預(yù)測(cè)結(jié)果具有統(tǒng)計(jì)學(xué)意義,可解釋性較好。然而B(niǎo)KT對(duì)于學(xué)習(xí)的假設(shè)具有先天的局限性,使得模型的實(shí)際應(yīng)用范圍受限。隨后,Kaser等人[15]基于BKT模型,結(jié)合習(xí)題與知識(shí)點(diǎn)中豐富的關(guān)聯(lián)關(guān)系提出了約束參數(shù)空間的BKT模型,通過(guò)實(shí)驗(yàn)證明了所提方法在五個(gè)大規(guī)模數(shù)據(jù)集中的預(yù)測(cè)精度更高。Qiu等人[16]在BKT模型中加入知識(shí)遺忘特性,模擬學(xué)生的知識(shí)熟練程度可能隨時(shí)間的推移而下降。2015年,Chris等人[17]提出深度知識(shí)追蹤(Deep Knowledge Tracing,DKT)模型,將循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用到知識(shí)追蹤任務(wù)中,證明深度知識(shí)追蹤在不需要專家注釋的情況下取得了更好的效果。隨后,很多學(xué)者對(duì)DKT模型進(jìn)行改進(jìn)和擴(kuò)展,以進(jìn)一步提高預(yù)測(cè)性能。Dong等人[18]在深度知識(shí)追蹤中引入注意力機(jī)制,在模型中使用Jaccard系數(shù)來(lái)計(jì)算知識(shí)點(diǎn)之間的注意力權(quán)重,再結(jié)合長(zhǎng)短期記憶網(wǎng)絡(luò)與注意力值得到預(yù)測(cè)結(jié)果。Zhang等人[19]提出動(dòng)態(tài)鍵值存儲(chǔ)網(wǎng)絡(luò)模型(Dynamic Key-Value Memory Networks,DKVMN),將學(xué)習(xí)者的學(xué)習(xí)過(guò)程建模為讀和寫兩個(gè)過(guò)程,使用矩陣來(lái)存儲(chǔ)知識(shí)點(diǎn)和知識(shí)的掌握程度,再用注意力機(jī)制來(lái)得到題目和知識(shí)點(diǎn)之間相關(guān)性,以此來(lái)對(duì)深度知識(shí)追蹤模型的可解釋性問(wèn)題進(jìn)行改進(jìn)。Lee等人[20]用向量點(diǎn)積來(lái)模擬知識(shí)狀態(tài)和知識(shí)點(diǎn)的相互作用,用向量來(lái)表示學(xué)習(xí)者對(duì)知識(shí)點(diǎn)的掌握情況,使得自解釋模型(Knowledge Query Network,KQN)具有解釋性和直觀性。Yeung等人[21]結(jié)合了IRT理論和DKVMN模型,提出深度項(xiàng)目反應(yīng)理論模型(Deep Item Response Theory,Deep-IRT),利用DKVMN對(duì)學(xué)習(xí)者能力和題目難度進(jìn)行建模,通過(guò)IRT得到預(yù)測(cè)結(jié)果。

1.2 知識(shí)矩陣補(bǔ)全

通過(guò)DKT模型得到的知識(shí)水平矩陣存在大量未評(píng)分的知識(shí)點(diǎn),為了使得推薦結(jié)果盡可能準(zhǔn)確,應(yīng)對(duì)原始知識(shí)水平矩陣進(jìn)行補(bǔ)全,再進(jìn)行習(xí)題推薦。在實(shí)際情況中評(píng)分矩陣往往是稀疏的,為此需要對(duì)稀疏的評(píng)分矩陣進(jìn)行補(bǔ)全。常用的方法有矩陣補(bǔ)全、矩陣分解和聚類算法等[22]。矩陣補(bǔ)全方法容易造成補(bǔ)全數(shù)據(jù)和實(shí)際評(píng)分偏離程度較大,而聚類需要人為指定聚類個(gè)數(shù)K,K值會(huì)很大程度影響聚類效果[23]。因此,該文采用矩陣分解方法對(duì)稀疏知識(shí)矩陣進(jìn)行補(bǔ)全。

矩陣分解是將矩陣拆解為數(shù)個(gè)矩陣的乘積,常見(jiàn)的有三角分解法、正交三角分解法和奇異值分解法(Singular Value Decomposition,SVD)。SVD作為一種有效的代數(shù)特征提取方法,被廣泛應(yīng)用于提取評(píng)分矩陣的隱藏特征,進(jìn)而進(jìn)行推薦。SVD將評(píng)分矩陣分解為兩個(gè)低階矩陣的乘積,因此,通過(guò)訓(xùn)練得到這兩個(gè)低階矩陣可以重構(gòu)出評(píng)分矩陣。為了緩解計(jì)算復(fù)雜度和數(shù)據(jù)稀疏帶來(lái)的問(wèn)題,Simon Funk[24]提出了隱因子模型(Latent Factor Model,LFM),將評(píng)分矩陣優(yōu)化為兩個(gè)低秩的用戶與項(xiàng)目矩陣。隨著LFM的提出,后續(xù)又涌現(xiàn)出大量基于LFM的推薦模型。其中,Koren[25]為解決用戶評(píng)分受用戶本身特質(zhì)的影響,提出了帶有三項(xiàng)偏移偏的LFM模型。除了顯式的評(píng)分行為以外,用戶的隱式反饋也可以側(cè)面反映用戶的偏好,基于這種假設(shè),Koren[26]提出考慮領(lǐng)域影響的隱語(yǔ)義模型(Singular Value Decomposition Plus Plus,SVD++),緩解了因顯式評(píng)分過(guò)少而引起的冷啟動(dòng)問(wèn)題;同年,又基于SVD++模型提出了引入時(shí)間效應(yīng)的隱因子模型,通過(guò)衰減過(guò)往用戶行為權(quán)重,提高就近用戶隱式反饋行為權(quán)重來(lái)實(shí)現(xiàn)動(dòng)態(tài)推薦[27]。在推薦領(lǐng)域,許多研究者結(jié)合矩陣分解對(duì)推薦方法進(jìn)行改進(jìn)。武聰?shù)热薣28]通過(guò)將標(biāo)簽相似度和用戶相似度融入矩陣分解模型中,在提高準(zhǔn)確性的同時(shí)加強(qiáng)了推薦依據(jù)。田震等人[29]在廣義矩陣分解的基礎(chǔ)上引入隱藏層,利用深層神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)用戶和物品間高階交互關(guān)系,提高推薦結(jié)果的準(zhǔn)確度。王丹等人[30]將三種不同權(quán)重因素融入低秩概率矩陣分解模型中,將特征映射到低秩空間,在正則化約束下對(duì)評(píng)分進(jìn)行預(yù)測(cè)。查琇山等人[31]通過(guò)對(duì)手游標(biāo)簽聚類求得相似評(píng)分矩陣,先使用SVD方法訓(xùn)練得到預(yù)測(cè)評(píng)分,再進(jìn)行手游推薦。

2 DKT-SVD++習(xí)題推薦方法

DKT-SVD++方法首先通過(guò)深度知識(shí)追蹤對(duì)學(xué)習(xí)者的知識(shí)掌握情況進(jìn)行建模,再用SVD++方法預(yù)測(cè)學(xué)習(xí)者未做題目的答對(duì)概率。DKT-SVD++習(xí)題推薦方法不僅利用了學(xué)習(xí)者自身的知識(shí)掌握信息,還考慮到學(xué)習(xí)者相似群體的知識(shí)水平掌握情況,更為重要的是通過(guò)SVD++對(duì)未做習(xí)題進(jìn)行了預(yù)測(cè)評(píng)分補(bǔ)全。因此,DKT-SVD++方法提高了習(xí)題推薦結(jié)果的新穎度和精確度。同時(shí),由于采用了SVD++對(duì)知識(shí)矩陣補(bǔ)全,DKT-SVD++一定程度上緩解了習(xí)題推薦系統(tǒng)中的數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題。

DKT-SVD++方法整體框架:

DKT-SVD++方法整體框架如圖1所示,推薦過(guò)程分為One-Hot編碼、知識(shí)追蹤、知識(shí)融合、知識(shí)補(bǔ)全和習(xí)題推薦五個(gè)步驟,具體如下:

圖1 DKT-SVD++框架

(2)知識(shí)追蹤:深度知識(shí)追蹤模型以第i個(gè)學(xué)習(xí)者的獨(dú)熱編碼Si為輸入,輸出其做題正確的概率向量Yi=[yi1,yi2,…,yiK]。這里深度知識(shí)追蹤模型利用LSTM網(wǎng)絡(luò),在t時(shí)序網(wǎng)絡(luò)隱含層的狀態(tài)ht和輸出yt的計(jì)算如公式(1)和(2)所示。

ht=tanh(Whxst+Whhht-1+bh)

(1)

yt=σ(Wyhht+by)

(2)

其中,Whx為輸入權(quán)值矩陣,Whh為遞歸權(quán)值矩陣,Wyh為輸出權(quán)值矩陣。需要注意的是,有的學(xué)習(xí)者對(duì)同一習(xí)題可能多次練習(xí),這時(shí)只取最后一次習(xí)題答對(duì)概率。最后,得到學(xué)習(xí)者的知識(shí)水平矩陣Q∈R(M×N)。

(3)知識(shí)融合:用余弦相似度衡量學(xué)習(xí)者之間的相似性,設(shè)Qi={qi1,qi2,…,qiN},Qj={qj1,qj2,…,qjN},則Qi和Qj的余弦相似度計(jì)算如下:

(3)

這樣,根據(jù)余弦相似度大于閾值α的規(guī)則可以得到第i個(gè)學(xué)習(xí)者的相似用戶Ui={ui1,ui2,…,uiL}。通過(guò)公式(4)的計(jì)算,得到第i個(gè)學(xué)習(xí)者知識(shí)水平向量。

KTi=ρ*Qi+(1-ρ)*average(Ui)

(4)

其中,Qi為第i個(gè)學(xué)習(xí)者的知識(shí)水平向量, average(Ui)為相似用戶知識(shí)水平的平均值,ρ為融合比例。最后得到融合后的學(xué)習(xí)者知識(shí)水平矩陣KT∈R(M×N)。

(4)知識(shí)補(bǔ)全:融合后的學(xué)習(xí)者知識(shí)水平矩陣KT表達(dá)了學(xué)習(xí)者對(duì)知識(shí)的掌握程度,更多考慮相似用戶的群體信息。但對(duì)于學(xué)習(xí)者未做習(xí)題而言,融合后的知識(shí)水平往往預(yù)估偏差大,不能較好地表示出學(xué)習(xí)者的真實(shí)知識(shí)掌握水平。因此,通過(guò)SVD++對(duì)學(xué)習(xí)者未做習(xí)題進(jìn)行知識(shí)矩陣補(bǔ)全,某種程度上可以更好緩解數(shù)據(jù)稀疏問(wèn)題。以學(xué)習(xí)者的知識(shí)水平矩陣Q為輸入,利用SVD++對(duì)Q矩陣進(jìn)行分解(Usvd,Isvd)=SVD(Q)。通過(guò)Usvd和Isvd計(jì)算出學(xué)習(xí)者未作答習(xí)題的概率,這個(gè)概率替換矩陣KT相應(yīng)位置的概率,從而達(dá)到知識(shí)矩陣補(bǔ)全的目的。最后得到補(bǔ)全后的知識(shí)水平矩陣A。

(5)習(xí)題推薦:確定習(xí)題推薦個(gè)數(shù)R和習(xí)題難度范圍[β1,β2](β1<β2),根據(jù)補(bǔ)全后的知識(shí)水平矩陣A向?qū)W習(xí)者推薦答題概率在β1和β2的R道習(xí)題。考慮第i個(gè)學(xué)習(xí)者的習(xí)題推薦,首先對(duì)Ai=[pi1,pi2,…,

算法1:DKT-SVD++習(xí)題推薦算法。

輸入:學(xué)習(xí)者答題序列X,難度范圍[β1,β2],知識(shí)點(diǎn)融合比例ρ,推薦習(xí)題個(gè)數(shù)R。

輸出:推薦習(xí)題集合Z。

(1)S=onehot(X) //將輸入進(jìn)行One-Hot編碼

(2)Q=DKT(S) //訓(xùn)練深度知識(shí)追蹤模型,構(gòu)建知識(shí)水平矩陣Q

(3)forQi∈Q

forQj∈Q

userCosi,j=cos(Qi,Qj) //計(jì)算相似度

(4)Ui=userCosrank(userCosi) //根據(jù)排名得到相似用戶

(5)KTi=ρ*Qi+(1-ρ)*average(Ui) //更新知識(shí)點(diǎn)矩陣KT

(6)fori,j∈KT

KTi,j=SVDpredict(i,j)*average(KTi) //知識(shí)點(diǎn)矩陣KT補(bǔ)全

(7)forAi∈A

Zi=recommend(A,ρ,β1,β2,R) //產(chǎn)生學(xué)習(xí)者i的推薦習(xí)題

(8)returnZ//返回推薦習(xí)題集合

3 實(shí)驗(yàn)與結(jié)果

3.1 數(shù)據(jù)集

實(shí)驗(yàn)采用了兩組數(shù)據(jù)集,第一組為KDDCup2010公開(kāi)數(shù)據(jù)集,該數(shù)據(jù)集來(lái)自KDD2010年教育數(shù)據(jù)挖掘大賽的挑戰(zhàn)數(shù)據(jù)集,包含3 310名學(xué)生和942 666個(gè)答題記錄,只保留有知識(shí)成分的步驟。第二組為Statics2011數(shù)據(jù)集,此數(shù)據(jù)集由工程靜態(tài)力學(xué)課程提供,包含來(lái)自333名學(xué)生的189 927個(gè)記錄。兩組數(shù)據(jù)集的相關(guān)信息如表1所示.

表1 數(shù)據(jù)集信息

3.2 評(píng)價(jià)指標(biāo)

為衡量提出的DKT-SVD++方法的有效性,實(shí)驗(yàn)采用精確率、召回率和F1值作為指標(biāo),并與對(duì)比方法進(jìn)行比較。精確率、召回率和F1值分別用公式(5)～公式(7)計(jì)算。

(5)

(6)

(7)

其中,TP表示推薦習(xí)題中學(xué)習(xí)者正確回答的個(gè)數(shù),FP表示推薦習(xí)題中學(xué)習(xí)者錯(cuò)誤回答的個(gè)數(shù),FN表示其他待推薦習(xí)題中學(xué)習(xí)者正確回答的數(shù)量。

3.3 參考方法

為驗(yàn)證DKT-SVD++方法的習(xí)題推薦性能,選擇以下三種方法進(jìn)行比較:

(1)UserCF[32]:使用學(xué)習(xí)者習(xí)題得分矩陣進(jìn)行基于用戶的協(xié)同過(guò)濾推薦,計(jì)算學(xué)習(xí)者之間的余弦相似度,根據(jù)相似學(xué)習(xí)者的答題情況給目標(biāo)學(xué)習(xí)者進(jìn)行習(xí)題推薦。

(2)DKT[17]:根據(jù)DKT模型得到學(xué)習(xí)者知識(shí)水平矩陣,給目標(biāo)學(xué)習(xí)者知識(shí)水平向量進(jìn)行排名,推薦答對(duì)概率最高的習(xí)題。

(3)DKT-CF[6]:使用學(xué)習(xí)者知識(shí)水平矩陣進(jìn)行基于用戶的協(xié)同過(guò)濾推薦,計(jì)算學(xué)習(xí)者之間的余弦相似度,把相似學(xué)習(xí)者的知識(shí)水平向量和目標(biāo)學(xué)習(xí)者的知識(shí)水平向量進(jìn)行融合,進(jìn)而根據(jù)概率高低進(jìn)行排名推薦。

3.4 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)是在一臺(tái)配有NVIDIA GTX1050 Ti顯卡、16G內(nèi)存和操作系統(tǒng)為Ubuntu 18.04的臺(tái)式電腦上進(jìn)行,編程語(yǔ)言為python3.8,深度學(xué)習(xí)開(kāi)發(fā)環(huán)境為pytorch 1.10.2。

在DKT模型訓(xùn)練階段,隱含層采用200個(gè)LSTM節(jié)點(diǎn),學(xué)習(xí)率LR設(shè)為0.04,訓(xùn)練輪數(shù)Epoch設(shè)置為500,每批數(shù)據(jù)大小BATCH_SIZE設(shè)為32。KDDCup2010數(shù)據(jù)集每批最大習(xí)題個(gè)數(shù)MAX_STEP設(shè)為1 000,Statics2011數(shù)據(jù)集每批最大習(xí)題個(gè)數(shù)MAX_STEP設(shè)為2 000。

在兩個(gè)數(shù)據(jù)集中,均隨機(jī)劃分80%的學(xué)習(xí)者數(shù)據(jù)用于訓(xùn)練,20%的學(xué)習(xí)者數(shù)據(jù)用于測(cè)試。在DKT模型中,只把測(cè)試學(xué)習(xí)者的80%做題記錄作為測(cè)試,剩下的20%作為未做習(xí)題。DKT-CF方法中目標(biāo)學(xué)習(xí)者和相似學(xué)習(xí)者之間知識(shí)水平向量的融合比例ρ=0.4。

3.5 性能比較

首先評(píng)估SVD++在習(xí)題推薦中的性能,然后給出DKT-SVD++與參考方法的性能比較。

(1)SVD++性能評(píng)估。

矩陣分解方法采用均方根誤差作為評(píng)價(jià)指標(biāo),計(jì)算如公式(8)所示:

(8)

在KDDCup2010和Statics2011兩個(gè)數(shù)據(jù)集上進(jìn)行RMSE性能評(píng)估。在實(shí)驗(yàn)中,興趣因子Factors設(shè)為200,訓(xùn)練輪數(shù)Epoch設(shè)置為100,學(xué)習(xí)率LR設(shè)為0.005。如圖2所示, SVD++均取得了比其他SVD方法更低的RMSE。因此,采用SVD++方法來(lái)對(duì)知識(shí)矩陣進(jìn)行補(bǔ)全是可行的。

圖2 SVD性能比較

(2)性能比較。

表2至表4分別給出了DKT-SVD++與參考方法的精確度、召回率和F1值性能比較。從表中可以看出,基于DKT模型的推薦方法性能均優(yōu)于UserCF方法。這是因?yàn)閭鹘y(tǒng)協(xié)同過(guò)濾方法僅靠答題記錄來(lái)推薦,這并不能代表學(xué)習(xí)者對(duì)習(xí)題所包含知識(shí)點(diǎn)的掌握狀態(tài),而DKT模型充分利用了學(xué)習(xí)者知識(shí)水平矩陣進(jìn)行推薦。從表中可以看出,DKT-CF相比與DKT方法,其性能優(yōu)勢(shì)很小,這是因?yàn)镈KT-CF只是利用了相似用戶的平均信息。另外,從表中可以看出DKT-SVD++方法性能均優(yōu)于其他方法,相比其他方法,DKT-SVD++能產(chǎn)生更精準(zhǔn)的推薦結(jié)果;隨著推薦習(xí)題數(shù)的增加,DKT-SVD++獲得越來(lái)越大的性能優(yōu)勢(shì)。這是因?yàn)橥ㄟ^(guò)SVD++對(duì)學(xué)習(xí)者知識(shí)水平矩陣進(jìn)行知識(shí)補(bǔ)全,充分利用了學(xué)習(xí)者對(duì)未做習(xí)題的預(yù)測(cè)評(píng)分。

表2 精確度實(shí)驗(yàn)結(jié)果

表3 召回率實(shí)驗(yàn)結(jié)果

表4 F1值實(shí)驗(yàn)結(jié)果

(3)消融實(shí)驗(yàn)。

為進(jìn)一步探討知識(shí)融合及稀疏矩陣補(bǔ)全對(duì)習(xí)題推薦的作用,對(duì)所提出的算法框架結(jié)構(gòu)進(jìn)行了逐層的消融實(shí)驗(yàn)。如圖1所示,推薦算法框架中三個(gè)重要的結(jié)構(gòu)為DKT、知識(shí)融合和矩陣補(bǔ)全。根據(jù)文獻(xiàn)[6]的研究,知識(shí)融合比例設(shè)置為0.4時(shí)算法會(huì)有最好的表現(xiàn)和穩(wěn)定性。因此,在消融實(shí)驗(yàn)中,設(shè)置知識(shí)融合比例ρ=0.4,推薦個(gè)數(shù)R=100。

分別對(duì)基準(zhǔn)DKT模型推薦結(jié)果,DKT模型融合知識(shí)水平向量的推薦結(jié)果,DKT模型融合知識(shí)水平向量再進(jìn)行稀疏矩陣補(bǔ)全的推薦結(jié)果進(jìn)行比較,如表5所示。從表中數(shù)據(jù)可以看出,DKT模型結(jié)合知識(shí)融合與矩陣補(bǔ)全可以獲得最好的推薦性能,這說(shuō)明在DKT模型基礎(chǔ)上,結(jié)合知識(shí)融合與知識(shí)矩陣補(bǔ)全來(lái)進(jìn)行習(xí)題推薦是可行的。另外,僅使用DKT模型與知識(shí)融合來(lái)進(jìn)行推薦,與基準(zhǔn)DKT模型性能相比較,性能增益不明顯,這是因?yàn)榱?xí)題推薦未全部命中經(jīng)知識(shí)融合補(bǔ)全后的知識(shí)點(diǎn)。知識(shí)矩陣補(bǔ)全對(duì)推薦結(jié)果表現(xiàn)提升明顯,這是因?yàn)榫仃囇a(bǔ)全挖掘了用戶的潛在特征,可以更好地對(duì)學(xué)習(xí)者進(jìn)行建模。

表5 消融實(shí)驗(yàn)結(jié)果

4 結(jié)束語(yǔ)

該文提出一種結(jié)合深度知識(shí)追蹤與矩陣補(bǔ)全的習(xí)題推薦方法DKT-SVD++。首先,通過(guò)深度知識(shí)追蹤獲得學(xué)習(xí)者知識(shí)水平矩陣,再結(jié)合相似學(xué)習(xí)者信息對(duì)知識(shí)水平矩陣進(jìn)行融合,利用矩陣分解方法來(lái)進(jìn)行知識(shí)矩陣補(bǔ)全,緩解數(shù)據(jù)稀疏問(wèn)題,并依據(jù)知識(shí)水平矩陣向?qū)W習(xí)者推薦習(xí)題。實(shí)驗(yàn)結(jié)果表明,DKT-SVD++方法在精確率、召回率和F1值上有明顯優(yōu)勢(shì)。在后續(xù)的研究中,考慮對(duì)深度知識(shí)追蹤模型進(jìn)行改進(jìn),預(yù)期學(xué)習(xí)更多個(gè)性化特征;進(jìn)一步在課程教學(xué)的知識(shí)圖譜基礎(chǔ)上對(duì)學(xué)習(xí)者和習(xí)題進(jìn)行建模,從而研究具有更強(qiáng)解釋性的推薦方法。