王雪岑,張 昱,趙長(zhǎng)寬,陳 默,于 戈
東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,沈陽110169
大規(guī)模在線開放課程(massive open online course,MOOC)是一種新興的在線教學(xué)形式?;贛OOC中學(xué)習(xí)者的交互活動(dòng)數(shù)據(jù),通過數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等技術(shù)可以研究學(xué)習(xí)者和學(xué)習(xí)資源以及它們的交互特征和學(xué)習(xí)評(píng)價(jià)之間的關(guān)聯(lián)關(guān)系,實(shí)現(xiàn)個(gè)性化的評(píng)價(jià)與反饋。采用網(wǎng)絡(luò)模型,結(jié)合豐富的節(jié)點(diǎn)間的交互信息實(shí)現(xiàn)對(duì)在線教學(xué)交互的評(píng)價(jià),能夠及時(shí)在學(xué)習(xí)過程中發(fā)現(xiàn)問題并干預(yù),做到在學(xué)習(xí)過程中為學(xué)習(xí)者提供個(gè)性化的反饋結(jié)果,具有重要的現(xiàn)實(shí)意義。
近年來,基于學(xué)習(xí)者交互網(wǎng)絡(luò)的研究大量涌現(xiàn),包括教學(xué)資源推薦、學(xué)習(xí)行為預(yù)測(cè)等[1-3],而對(duì)交互評(píng)價(jià)方法的研究相對(duì)較少。本文首先構(gòu)建學(xué)習(xí)者與學(xué)習(xí)資源的二分交互網(wǎng)絡(luò)模型,據(jù)此提出基于二分交互網(wǎng)絡(luò)表示學(xué)習(xí)的評(píng)價(jià)方法,分析網(wǎng)絡(luò)中不同交互之間的關(guān)系以及不同類型節(jié)點(diǎn)之間的一階相似性和相同類型節(jié)點(diǎn)之間的高階相似性,再分別學(xué)習(xí)學(xué)習(xí)者節(jié)點(diǎn)與學(xué)習(xí)資源節(jié)點(diǎn)的向量表示,最后基于兩類節(jié)點(diǎn)的嵌入向量矩陣計(jì)算交互評(píng)價(jià)結(jié)果。
傳統(tǒng)交互評(píng)價(jià)研究中使用較多的是案例研究中的文獻(xiàn)法、問卷調(diào)查法、訪談法以及觀察法。利用電子檔案袋(electronic portfolio,e-Portfolio)[4]等評(píng)價(jià)工具與載體,按照學(xué)生連續(xù)自主學(xué)習(xí)的順序收集交互信息,記錄學(xué)生的學(xué)習(xí)情況,能夠有效地協(xié)助開展交互評(píng)價(jià),并跟蹤掌握學(xué)生的學(xué)習(xí)進(jìn)度情況。此外,模糊綜合評(píng)價(jià)方法(fuzzy comprehensive evaluation,F(xiàn)CE)、層次分析法(analytic hierarchy process,AHP)也都可以用于量化教學(xué)交互質(zhì)量,獲得綜合評(píng)價(jià)的結(jié)果[5-7]。
對(duì)學(xué)習(xí)者與學(xué)習(xí)資源的交互以及對(duì)學(xué)習(xí)者的社會(huì)性交互的評(píng)價(jià)研究工作主要是從教育學(xué)理論的角度出發(fā)解決交互評(píng)價(jià)的問題,而本文的工作是在現(xiàn)有的大量在線教學(xué)交互數(shù)據(jù)的基礎(chǔ)上,通過網(wǎng)絡(luò)表示學(xué)習(xí)技術(shù)對(duì)學(xué)習(xí)者交互網(wǎng)絡(luò)進(jìn)行建模,挖掘?qū)W習(xí)過程中網(wǎng)絡(luò)的變化情況,提出可計(jì)算的交互評(píng)價(jià)指標(biāo)并驗(yàn)證其有效性。
目前表示學(xué)習(xí)方法的工作主要集中在同質(zhì)信息網(wǎng)絡(luò)中節(jié)點(diǎn)的表示學(xué)習(xí),受Word2vec詞嵌入模型[8]的啟發(fā),DeepWalk[9]算法最早提出將網(wǎng)絡(luò)中的節(jié)點(diǎn)視作詞,將通過隨機(jī)游走算法獲得的節(jié)點(diǎn)序列作為Skipgram 神經(jīng)網(wǎng)絡(luò)模型的輸入,訓(xùn)練并得到節(jié)點(diǎn)的向量表示。Node2vec[10]算法是DeepWalk算法的進(jìn)一步擴(kuò)展,通過引入一個(gè)偏置達(dá)到可以采取不同隨機(jī)游走方法的目的。LINE(large-scale information network embedding)[11]算法分別針對(duì)兩種類型節(jié)點(diǎn)之間的一階相似和二階相似度設(shè)計(jì)目標(biāo)函數(shù),之后將分別訓(xùn)練得到的向量表示的拼接結(jié)果作為節(jié)點(diǎn)嵌入。Struc2vec[12]算法在Node2vec算法的基礎(chǔ)上可以有效地對(duì)遠(yuǎn)距離的具有結(jié)構(gòu)相似性的節(jié)點(diǎn)進(jìn)行建模。但多個(gè)研究結(jié)果表明同質(zhì)信息網(wǎng)絡(luò)的表示學(xué)習(xí)方法難以有效地應(yīng)用于節(jié)點(diǎn)類型不同的網(wǎng)絡(luò)表示學(xué)習(xí)中。
針對(duì)異質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí),Metapath2vec[13]算法基于元路徑的隨機(jī)游走得到節(jié)點(diǎn)序列,最后通過異構(gòu)Skip-gram 模型對(duì)序列中的節(jié)點(diǎn)進(jìn)行建模。Hin2vec 算法[14]則提出了一個(gè)神經(jīng)網(wǎng)絡(luò)模型,不僅可以學(xué)習(xí)網(wǎng)絡(luò)中節(jié)點(diǎn)的向量表示,還可以學(xué)習(xí)不同類型節(jié)點(diǎn)之間的關(guān)系,即指定元路徑的向量表示。
異質(zhì)信息網(wǎng)絡(luò)的表示學(xué)習(xí)方法可以應(yīng)用于二分交互網(wǎng)絡(luò),但普遍忽略了對(duì)頂點(diǎn)之間不同交互的區(qū)分,沒有考慮節(jié)點(diǎn)之間的顯式交互行為和隱式交互行為對(duì)節(jié)點(diǎn)表示學(xué)習(xí)的不同影響。二分網(wǎng)絡(luò)的表示學(xué)習(xí)算法(bipartite network embedding,BiNE)[15-16]和二分屬性網(wǎng)絡(luò)表示學(xué)習(xí)算法(bipartite attributed network embedding,BiANE)[17]將網(wǎng)絡(luò)內(nèi)有連接的節(jié)點(diǎn)映射到嵌入空間進(jìn)行向量表示,并將異質(zhì)信息網(wǎng)絡(luò)拆分成兩個(gè)同質(zhì)信息網(wǎng)絡(luò),對(duì)兩個(gè)同質(zhì)網(wǎng)絡(luò)分別進(jìn)行優(yōu)化,使得在同質(zhì)網(wǎng)絡(luò)中有相互連接的節(jié)點(diǎn)也有相近的向量表示,BiNE和BiANE都是得到網(wǎng)絡(luò)中只有兩種類型節(jié)點(diǎn)嵌入的有效算法,但沒有具體考慮到網(wǎng)絡(luò)中豐富的交互信息對(duì)節(jié)點(diǎn)嵌入的不同影響。
網(wǎng)絡(luò)表示學(xué)習(xí)技術(shù)為網(wǎng)絡(luò)建模和預(yù)測(cè)提供了強(qiáng)有力的工具,但目前針對(duì)教育大數(shù)據(jù)的交互評(píng)價(jià)方法中尚未有表示學(xué)習(xí)方法的應(yīng)用,本文的工作是在學(xué)習(xí)者-學(xué)習(xí)資源二分交互網(wǎng)絡(luò)中使用網(wǎng)絡(luò)表示技術(shù)用于交互的評(píng)價(jià)。
二分交互網(wǎng)絡(luò)是一個(gè)用于對(duì)兩種類型的實(shí)體之間的交互行為進(jìn)行建模的數(shù)據(jù)結(jié)構(gòu)。在該網(wǎng)絡(luò)中存在兩種類型的節(jié)點(diǎn),其邊由不同類型的節(jié)點(diǎn)之間的交互構(gòu)成。本文基于學(xué)習(xí)者與學(xué)習(xí)資源的交互行為構(gòu)建了一個(gè)二分交互網(wǎng)絡(luò),在該網(wǎng)絡(luò)中包含學(xué)習(xí)者與學(xué)習(xí)資源兩種類型的節(jié)點(diǎn),且邊只存在于學(xué)習(xí)者與學(xué)習(xí)資源之間。結(jié)合上述問題以及本文的研究?jī)?nèi)容,提出了基于二分交互網(wǎng)絡(luò)表示學(xué)習(xí)的評(píng)價(jià)方法(evaluation algorithm based on bipartite interactive network representation learning,EABINRL)。表1 列出了本文主要的符號(hào)表示及其含義。

表1 符號(hào)表示及其含義Table 1 Symbolic representation and its meaning
下面給出與本文研究工作相關(guān)的定義:
定義1(二分交互網(wǎng)絡(luò))二分交互網(wǎng)絡(luò)表示為一個(gè)四元組形式G=(U,V,E,F),其中U={u1,u2,…,un}表示n個(gè)學(xué)習(xí)者節(jié)點(diǎn)的集合,V={v1,v2,…,vm}表示m個(gè)學(xué)習(xí)資源節(jié)點(diǎn)的集合,E?U×V是G中發(fā)生交互的邊集合,E僅存在于U和V兩個(gè)分區(qū)之間。F是U中的節(jié)點(diǎn)與V中的節(jié)點(diǎn)之間所有交互類型的特征集合。
定義2(二分交互網(wǎng)絡(luò)表示學(xué)習(xí))給定一個(gè)二分交互網(wǎng)絡(luò)G=(U,V,E,F),通過映射函數(shù)f:U?V→Rd將二分交互網(wǎng)絡(luò)G中的每個(gè)節(jié)點(diǎn)映射為一個(gè)d維向量,d?min(|U|,|V|),從而得到二分交互網(wǎng)絡(luò)G中不同分區(qū)在低維空間中的對(duì)應(yīng)向量矩陣。
EABINRL的模型結(jié)構(gòu)如圖1所示。在對(duì)顯式交互行為建模過程中,首先在交互特征矩陣上運(yùn)用AHP量化不同交互的強(qiáng)度,得到網(wǎng)絡(luò)權(quán)重矩陣,之后選擇KL 散度作為原網(wǎng)絡(luò)空間中發(fā)生交互的經(jīng)驗(yàn)分布和在嵌入空間發(fā)生交互的概率分布之間的差異度量,最小化該KL散度能夠使得在原網(wǎng)絡(luò)上相互連接的兩個(gè)頂點(diǎn)在嵌入空間中也互相靠近。在對(duì)隱式交互行為建模過程中,首先按照節(jié)點(diǎn)類型將二分交互網(wǎng)絡(luò)進(jìn)行分區(qū),即得到兩個(gè)同質(zhì)網(wǎng)絡(luò),基于網(wǎng)絡(luò)權(quán)重矩陣分別得到兩個(gè)分區(qū)上的權(quán)重矩陣,之后分別在分區(qū)上提取隱式交互關(guān)系。通過一個(gè)聯(lián)合優(yōu)化框架分別得到兩個(gè)分區(qū)的節(jié)點(diǎn)向量表示矩陣,最后得到基于Frobenius范數(shù)計(jì)算的評(píng)價(jià)結(jié)果。

圖1 EABINRL模型結(jié)構(gòu)圖Fig. 1 Structure diagram of EABINRL model
首先采用AHP 確定交互網(wǎng)絡(luò)的權(quán)重,以本文后續(xù)實(shí)驗(yàn)采用的學(xué)習(xí)者交互數(shù)據(jù)集構(gòu)建的交互層次結(jié)構(gòu)模型如圖2所示。

圖2 交互特征體系Fig. 2 Feature system of interactive quality
基于AHP確定主準(zhǔn)則層中各個(gè)交互相對(duì)應(yīng)的權(quán)重集合,首先構(gòu)建判斷矩陣,其基本思想是兩兩比較在各個(gè)交互的重要性,利用9級(jí)測(cè)量法來表示比較結(jié)果,得到n階判斷矩陣A。A中的元素xij表示交互Xi相對(duì)于Xj的重要性,由對(duì)屬于同一準(zhǔn)則層的各個(gè)交互進(jìn)行兩兩比較得到,根據(jù)表2所示的相對(duì)重要性的取值,可以得到判斷結(jié)果xij的取值。

表2 相對(duì)重要性xij 的取值Table 2 Value of relative importance xij
根據(jù)上述構(gòu)建判斷矩陣的方法,圖2中的主準(zhǔn)則層可以構(gòu)建如式(1)所示的六階判斷矩陣A:
接下來得到各交互特征因素對(duì)應(yīng)的權(quán)重值,首先對(duì)A中各個(gè)行向量取平均,,經(jīng)過標(biāo)準(zhǔn)化得到W的近似值,根據(jù)式(2)得到λmax:
最后通過公式CR=CI/RI檢驗(yàn)根據(jù)判斷矩陣A求得的權(quán)重的合理性,其中CI是判斷矩陣的一致性指標(biāo),由式(3)得到:
RI是A的平均隨機(jī)一致性指標(biāo),取值如表3 所示。當(dāng)CR小于0.1 時(shí),表示根據(jù)A求得的權(quán)重是合理的。

表3 判斷矩陣RI取值表Table 3 RI value of judgement matrix
與LINE 中的一階相似度建模類似,本文通過考慮分區(qū)之間的節(jié)點(diǎn)一階相似度對(duì)不同分區(qū)之間的顯式交互行為建模。首先得到在原始二分交互網(wǎng)絡(luò)中學(xué)習(xí)者節(jié)點(diǎn)ui與學(xué)習(xí)資源節(jié)點(diǎn)vj的經(jīng)驗(yàn)概率,由式(4)得到:
其中,wij代表上節(jié)計(jì)算得到的交互邊eij的權(quán)重值。兩個(gè)節(jié)點(diǎn)之間的邊權(quán)重越高,該邊上的交互行為對(duì)學(xué)習(xí)效果的影響就越重要,在嵌入空間中這兩個(gè)節(jié)點(diǎn)同時(shí)出現(xiàn)的概率更大。
在嵌入空間中,與word2vec 中的通過內(nèi)積模擬兩個(gè)實(shí)體的交互建模類似,對(duì)于學(xué)習(xí)者節(jié)點(diǎn)ui與學(xué)習(xí)資源節(jié)點(diǎn)vj對(duì)之間的顯式交互行為,定義這兩個(gè)節(jié)點(diǎn)之間的相似度為經(jīng)過sigmoid函數(shù)激活后的兩個(gè)節(jié)點(diǎn)的內(nèi)積,由式(5)得到ui和vj之間的聯(lián)合概率分布:
其中,ui∈Rd和vj∈Rd分別為學(xué)習(xí)者節(jié)點(diǎn)ui和學(xué)習(xí)資源節(jié)點(diǎn)vj的向量表示。
采用KL散度保留節(jié)點(diǎn)之間的顯式交互關(guān)系,使得原始網(wǎng)絡(luò)中發(fā)生交互的兩個(gè)節(jié)點(diǎn)在嵌入空間中也互相接近,通過最小化經(jīng)驗(yàn)分布與概率分布的差異來學(xué)習(xí)網(wǎng)絡(luò)中節(jié)點(diǎn)的表示向量,即最小化式(6)的目標(biāo)函數(shù):
最小化目標(biāo)函數(shù)O1將使在原網(wǎng)絡(luò)空間中強(qiáng)連通的兩個(gè)節(jié)點(diǎn)在嵌入空間中也彼此接近,從而保證了局部相似性。
將原學(xué)習(xí)者-學(xué)習(xí)資源交互網(wǎng)絡(luò)分為包含同類型節(jié)點(diǎn)高階相似性的兩個(gè)同質(zhì)網(wǎng)絡(luò),再根據(jù)不同節(jié)點(diǎn)類型區(qū)分出的兩個(gè)同質(zhì)網(wǎng)絡(luò)內(nèi)存在節(jié)點(diǎn)之間的隱式交互行為,對(duì)隱式交互行為建模就轉(zhuǎn)化為學(xué)習(xí)兩個(gè)同質(zhì)網(wǎng)絡(luò)中節(jié)點(diǎn)的向量表示。節(jié)點(diǎn)之間的二階相似性由式(7)和式(8)得到[18],其中wij是交互邊eij的權(quán)重,可以得到兩個(gè)同質(zhì)網(wǎng)絡(luò)的權(quán)重矩陣WU和WV。
接下來分別在兩個(gè)同質(zhì)網(wǎng)絡(luò)上執(zhí)行隨機(jī)游走,采用有偏自適應(yīng)隨機(jī)游走方法[15-16]生成兩個(gè)語料庫DU和DV,之后分別在兩個(gè)語料庫上通過Skip-gram模型學(xué)習(xí)節(jié)點(diǎn)的嵌入,可以捕獲節(jié)點(diǎn)之間的高階相似性,該高階相似性表示中心節(jié)點(diǎn)與該節(jié)點(diǎn)的鄰居節(jié)點(diǎn)之間的相似性。
對(duì)給定語料庫DU的節(jié)點(diǎn)序列的目標(biāo)函數(shù)為:
其中,ui是給定的中心節(jié)點(diǎn),uc∈Φ(ui)為節(jié)點(diǎn)ui在序列S中的上下文節(jié)點(diǎn)。類似的,給定語料庫DV中的節(jié)點(diǎn)序列S、中心節(jié)點(diǎn)vj以及節(jié)點(diǎn)序列S中vj的上下文節(jié)點(diǎn)vc∈Φ(vj),得到語料庫DV的目標(biāo)函數(shù)為:
根據(jù)文獻(xiàn)[9-11]定義節(jié)點(diǎn)uc或vc是中心節(jié)點(diǎn)ui或vj的上下文的條件概率,分別由式(11)和式(12)所示:
其中,節(jié)點(diǎn)u作為上下文時(shí)的向量由u′表示。實(shí)現(xiàn)式(9)和式(10)中定義的目標(biāo)最大化,即是使得上下文相似的節(jié)點(diǎn)在嵌入空間中也是彼此接近的。然而在式(11)和式(12)中每遍歷一個(gè)節(jié)點(diǎn)對(duì)(ui,uc) 或(vi,vc),都需要計(jì)算給定中心節(jié)點(diǎn)與語料庫DU或DV上所有節(jié)點(diǎn)向量的點(diǎn)積,所需計(jì)算量大且耗費(fèi)大量的時(shí)間。因此,采用了負(fù)采樣的思想對(duì)目標(biāo)進(jìn)行優(yōu)化。
基于EABINRL 分別得到了二分交互網(wǎng)絡(luò)中兩類節(jié)點(diǎn)的向量表示矩陣,F(xiàn)robenius 范數(shù)可以衡量在嵌入空間中兩類節(jié)點(diǎn)向量表示矩陣之間的相距情況,本節(jié)基于這個(gè)思想提出了一個(gè)交互評(píng)價(jià)指標(biāo):
其中,ui為學(xué)習(xí)者節(jié)點(diǎn)表示矩陣中的第i個(gè)節(jié)點(diǎn),vm為學(xué)習(xí)資源節(jié)點(diǎn)表示矩陣中的第m個(gè)節(jié)點(diǎn),|V|為學(xué)習(xí)資源節(jié)點(diǎn)的數(shù)量,|d|為兩個(gè)節(jié)點(diǎn)向量表示矩陣的行數(shù)。本文的二分交互網(wǎng)絡(luò)表示學(xué)習(xí)方法保證了具有高質(zhì)量交互的節(jié)點(diǎn)在嵌入空間中也是接近的,在這個(gè)評(píng)價(jià)指標(biāo)中,D(i)的值越大則表示在嵌入空間中的學(xué)習(xí)者節(jié)點(diǎn)與學(xué)習(xí)資源節(jié)點(diǎn)是不接近的,代表該學(xué)習(xí)者的交互質(zhì)量較差;相反的是,D(i)的值越小代表該學(xué)生的交互質(zhì)量越好。
本文采用局部敏感哈希算法(locality sensitivity hashing,LSH)[19]得到高質(zhì)量并且多樣化的負(fù)樣本。首先將類型相同的節(jié)點(diǎn)分到不同的桶中,從與給定的一個(gè)中心節(jié)點(diǎn)ui所在的桶不相同的桶中選擇ns個(gè)負(fù)樣本,由N(ui)表示。這樣得到優(yōu)化DU的目標(biāo)函數(shù):
其中,定義條件概率P(z|ui;f)如式(15)所示,即最大化給定中心節(jié)點(diǎn)與其上下文節(jié)點(diǎn)之間的相鄰概率,最小化給定中心節(jié)點(diǎn)與負(fù)樣本之間的相鄰概率。
其中,σ表示sigmoid 激活函數(shù)1/(1+e-x)。類似的,得到優(yōu)化DV的目標(biāo)函數(shù):
條件概率P(z|vj;f)與P(z|ui;f)是類似的。將上述目標(biāo)函數(shù)結(jié)合起來,得到一個(gè)同時(shí)保留二分交互網(wǎng)絡(luò)中不同類型節(jié)點(diǎn)之間的顯式交互關(guān)系,以及相同類型節(jié)點(diǎn)之間的隱式交互關(guān)系的聯(lián)合優(yōu)化框架:
其中,參數(shù)α和β為將聯(lián)合優(yōu)化框架中的不同成分組合在一起的超參數(shù)。α與β的值分別代表隱式交互行為以及顯式交互行為對(duì)學(xué)習(xí)節(jié)點(diǎn)表示的結(jié)果影響。
本文EABINRL 的目標(biāo)是最大化式(17),采用隨機(jī)梯度上升算法[15-16]優(yōu)化目標(biāo)函數(shù)。具體步驟如下:
(1)最大化F1=-βO1,即優(yōu)化顯式交互關(guān)系,ui、vj的更新公式如下:
其中,λ代表學(xué)習(xí)率。
(2)最大化F2=α(lnO2+lnO3),即優(yōu)化隱式交互關(guān)系,ui、vj的更新公式如下:
其中,I(z,ui)用來判斷節(jié)點(diǎn)z是否是節(jié)點(diǎn)ui的上下文的指示函數(shù),類似的,I(z,vj)是判斷節(jié)點(diǎn)z是否是節(jié)點(diǎn)vj的上下文的指示函數(shù)。上下文向量uz′、vz′的更新公式為:
本文EABINRL的具體流程如算法1所示:
算法1EABINRL
本實(shí)驗(yàn)采用了MoocData 平臺(tái)提供的數(shù)據(jù)集[3],根據(jù)不同時(shí)間段的學(xué)習(xí)活動(dòng)選取了兩個(gè)數(shù)據(jù)集,分別命名為MOOC1和MOOC2,包括學(xué)習(xí)者、學(xué)習(xí)資源信息、學(xué)習(xí)者-學(xué)習(xí)資源發(fā)生的交互信息等。表4 給出了實(shí)驗(yàn)數(shù)據(jù)集信息統(tǒng)計(jì)情況。

表4 數(shù)據(jù)集信息Table 4 Information of datasets
在對(duì)比實(shí)驗(yàn)中向量表示維度d取值均為128,實(shí)驗(yàn)參數(shù)設(shè)置為:
(1)DeepWalk/Node2vec:從每個(gè)節(jié)點(diǎn)開始的行走次數(shù)w=10,節(jié)點(diǎn)序列長(zhǎng)度l=80,窗口大小ws=10,p=q=0.25(Node2vec)。
(2)Struc2vec 參數(shù)設(shè)置:w=20,l=80,ws=5,三種優(yōu)化策略(OPT1、OPT2、OPT3)。
(3)Metapath2vec 參數(shù)設(shè)置:學(xué)習(xí)率=0.01,負(fù)采樣樣本個(gè)數(shù)ns=5,ws=5。
(4)BiNE 算法的參數(shù)設(shè)置:隱式系數(shù)α=β=0.01,顯式系數(shù)γ=0.1,ws=5,隨機(jī)游走停止概率p=0.15,ns=4。
(5)本文EABINRL 算法的參數(shù)設(shè)置:交互特征權(quán)重系數(shù)取值分別為[0.27,0.27,0.27,0.13,0.05,0.30],α=0.01,β=1.00,ws=5,p=0.15,ns=4。
實(shí)驗(yàn)評(píng)價(jià)指標(biāo)為:本文實(shí)驗(yàn)的任務(wù)是通過2.4 節(jié)提出的交互評(píng)價(jià)指標(biāo)預(yù)測(cè)學(xué)習(xí)狀態(tài)來驗(yàn)證該交互評(píng)價(jià)指標(biāo)的正確性。選取精度(Precision)作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo),Precision 定義為Precision=ST/S,S表示將預(yù)測(cè)結(jié)果排序后前N%的學(xué)習(xí)者的數(shù)值,降序排序?yàn)轭A(yù)測(cè)學(xué)習(xí)狀態(tài)差的結(jié)果,反之為學(xué)習(xí)狀態(tài)好的結(jié)果,ST為S中預(yù)測(cè)正確的數(shù)值,Precision 的結(jié)果由P@N表示。
除了節(jié)點(diǎn)可視化實(shí)驗(yàn),其他實(shí)驗(yàn)的P@N均為預(yù)測(cè)學(xué)習(xí)狀態(tài)差的學(xué)習(xí)者的結(jié)果。
首先分析訓(xùn)練次數(shù)與實(shí)驗(yàn)結(jié)果的相關(guān)性,如圖3(a)和圖3(b)所示,可以看出實(shí)驗(yàn)的精度與訓(xùn)練次數(shù)不完全成正比,且如果訓(xùn)練次數(shù)過多還會(huì)出現(xiàn)過擬合、實(shí)驗(yàn)精度下降的問題。

圖3 MOOC1、MOOC2數(shù)據(jù)集上不同迭代次數(shù)和d 值的精度Fig. 3 Precision with different training times and d values on MOOC1 and MOOC2 datasets
圖3(c)和圖3(d)給出了選取不同向量表示維度d對(duì)實(shí)驗(yàn)結(jié)果的影響,可以看出d取128時(shí)的實(shí)驗(yàn)結(jié)果最為優(yōu)秀和穩(wěn)定,且向量表示維度不是越大越好。
之后將本文評(píng)價(jià)方法與基于其他網(wǎng)絡(luò)表示學(xué)習(xí)評(píng)價(jià)的方法進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表5和表6所示。

表5 MOOC1數(shù)據(jù)集上學(xué)習(xí)者狀態(tài)預(yù)測(cè)結(jié)果Table 5 Learner state prediction on MOOC1 dataset

表6 MOOC2數(shù)據(jù)集上學(xué)習(xí)者狀態(tài)預(yù)測(cè)結(jié)果Table 6 Learner state prediction on MOOC2 dataset
P@N的值越大表明該方法在預(yù)測(cè)任務(wù)中更有效,從對(duì)比實(shí)驗(yàn)結(jié)果可以看出:(1)基于異質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí)的評(píng)價(jià)方法的結(jié)果均優(yōu)于基于同質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí)的評(píng)價(jià)方法的結(jié)果;(2)在兩個(gè)實(shí)際教育數(shù)據(jù)集上,本文的評(píng)價(jià)方法的結(jié)果均優(yōu)于基于傳統(tǒng)表示學(xué)習(xí)方法評(píng)價(jià)的結(jié)果,明確了本文考慮學(xué)習(xí)者的交互對(duì)其學(xué)習(xí)效果具有影響的有效性;(3)本文的評(píng)價(jià)方法結(jié)果比沒有考慮交互之間的不同關(guān)系的評(píng)價(jià)方法結(jié)果更好,說明不同的交互對(duì)學(xué)習(xí)效果的影響是不同的,應(yīng)進(jìn)行區(qū)分。
在MOOC1 數(shù)據(jù)集上通過t-SNE[20-21]同時(shí)將預(yù)測(cè)學(xué)習(xí)狀態(tài)好以及學(xué)習(xí)狀態(tài)差的P@N結(jié)果進(jìn)行了可視化,如圖4所示。

圖4 不同評(píng)價(jià)方法的P@N 可視化Fig. 4 Visualization of evaluation methods in P@N
圖4(a)~(j)分別為Deepwalk、Node2vec、Struct-2vec、Metapath2vec、EABINRL 的P@5 和P@10 可視化結(jié)果。從可視化結(jié)果的對(duì)比中可以直觀地看出本文的評(píng)價(jià)方法能夠更好地區(qū)分學(xué)習(xí)狀態(tài)不同的學(xué)習(xí)者。
最后考慮不同隱式交互權(quán)重參數(shù)α以及不同顯式交互權(quán)重參數(shù)β對(duì)實(shí)驗(yàn)結(jié)果的影響,在MOOC2數(shù)據(jù)集上訓(xùn)練得到的結(jié)果如圖5(a)和圖5(b)所示??梢钥闯鋈绻寥≈颠^大,該評(píng)價(jià)模型的精度反而越低,而隨著β取值的增加,該評(píng)價(jià)模型的精度逐漸提高,在β取1.000 時(shí)結(jié)果最好?;诖丝梢钥闯?,顯式的交互行為對(duì)學(xué)習(xí)效果具有更大的影響能力。

圖5 MOOC2數(shù)據(jù)集中不同α 和β 值的精度結(jié)果Fig. 5 Precision with different α and β values on MOOC2 dataset
本文提出了一個(gè)基于二分交互網(wǎng)絡(luò)表示學(xué)習(xí)的交互評(píng)價(jià)方法(EABINRL),該交互評(píng)價(jià)方法考慮到了在線學(xué)習(xí)中的顯式交互行為以及隱式交互行為,從這兩方面學(xué)習(xí)二分交互網(wǎng)絡(luò)節(jié)點(diǎn)的向量表示。首先考慮到交互信息的不同權(quán)重,接著為不同類型節(jié)點(diǎn)之間的顯式交互關(guān)系建模,以及為相同類型節(jié)點(diǎn)之間的隱式交互關(guān)系建模,學(xué)習(xí)得到受不同交互關(guān)系影響的節(jié)點(diǎn)向量表示,最后得到交互評(píng)價(jià)結(jié)果。在真實(shí)數(shù)據(jù)集的學(xué)習(xí)者狀態(tài)預(yù)測(cè)任務(wù)結(jié)果證明了EABINRL方法的有效性。
未來工作包括兩方面內(nèi)容:一是本文研究使用的交互數(shù)據(jù)普遍為點(diǎn)擊流信息,未來需考慮更為豐富的交互語義信息;二是節(jié)點(diǎn)屬性信息對(duì)學(xué)習(xí)者的學(xué)習(xí)效果也會(huì)產(chǎn)生影響,未來考慮結(jié)合屬性信息對(duì)交互網(wǎng)絡(luò)建模。