基于學(xué)習(xí)行為的MOOC 用戶持續(xù)學(xué)習(xí)預(yù)測框架

陳輝，白駿，殷傳濤，榮文戈，熊璋

(1. 北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院，北京 100191； 2. 北京航空航天大學(xué) 中法工程師學(xué)院，北京 100191)

大型開放式網(wǎng)絡(luò)課程（massive open online courses, MOOC）作為目前一種最重要的在線學(xué)習(xí)機(jī)制之一，極大地改變了學(xué)習(xí)者的學(xué)習(xí)行為，使得不同的學(xué)習(xí)者能夠不受時(shí)間和空間的限制，隨意進(jìn)行感興趣知識(shí)的學(xué)習(xí)，因此，MOOC 在當(dāng)今網(wǎng)絡(luò)學(xué)習(xí)大潮中扮演越來越重要的角色，受到越來越多的歡迎[1]。然而，作為一種新的學(xué)習(xí)機(jī)制，MOOC 的發(fā)展遇到了一系列的挑戰(zhàn)，其中一個(gè)最重要的問題是，有相當(dāng)多的學(xué)習(xí)者無法完成MOOC 平臺(tái)上的課程學(xué)習(xí)，Lykourentzou 等[2]通過研究顯示，只有不到10%的注冊(cè)用戶可以在MOOC 平臺(tái)上完成特定的課程學(xué)習(xí)。

對(duì)于任何一個(gè)新的信息化系統(tǒng)，其成功的要素一般可以從用戶使用過程中的愉悅度、參與度、接受度、留存率及任務(wù)完成度等角度來研究，該HEART 度量框架是一個(gè)廣泛適用的評(píng)價(jià)體系[3]。因此對(duì)于MOOC 平臺(tái)，如何吸引學(xué)習(xí)者能夠留在MOOC平臺(tái)中不斷學(xué)習(xí)，去完成一些特定課程，提高留存率和任務(wù)完成度，是一個(gè)非常重要的任務(wù)，盡管簡單地使用退課率來評(píng)估MOOC 平臺(tái)對(duì)于學(xué)習(xí)者的學(xué)習(xí)效果可能并不一定準(zhǔn)確，但其確實(shí)反映了一些具有挑戰(zhàn)性的問題且值得進(jìn)一步研究。

學(xué)習(xí)者的學(xué)習(xí)習(xí)慣對(duì)于學(xué)習(xí)的效果會(huì)有直接的關(guān)聯(lián)，不同的課程內(nèi)容對(duì)于學(xué)習(xí)的效果也有不同的作用。因此，更好地了解學(xué)習(xí)者對(duì)于不同課程的學(xué)習(xí)特征對(duì)于MOOC 平臺(tái)的退課預(yù)測研究有著重要的價(jià)值。對(duì)于學(xué)習(xí)者來說，有很多因素可能會(huì)影響注冊(cè)用戶在MOOC 平臺(tái)上學(xué)習(xí)課程的持久性，如年齡、性別、以往的學(xué)習(xí)經(jīng)歷、受教育程度等[2]，此外，學(xué)習(xí)者在MOOC 平臺(tái)上的一些學(xué)習(xí)習(xí)慣，也可能對(duì)其在平臺(tái)上的學(xué)習(xí)效果產(chǎn)生重要的影響，比如在學(xué)習(xí)過程中嘗試提交作業(yè)或其他測試的行為[4]，對(duì)論壇帖子的瀏覽和關(guān)注[5]，課程視頻的點(diǎn)擊[6]等。同樣的，不同類型的課程，如課程內(nèi)容上的差異[7]等，也可能會(huì)有不同的退課表現(xiàn)。因此，本文在研究MOOC 平臺(tái)退課率時(shí)，不僅要研究學(xué)習(xí)者學(xué)習(xí)習(xí)慣帶來的影響，也要研究課程本身帶來的影響。基于這樣的思考，本文提出了一個(gè)基于用戶和課程感知增強(qiáng)的活動(dòng)學(xué)習(xí)框架。在該框架中，首先提出了一種語義感知編碼機(jī)制來分別對(duì)用戶和課程的活動(dòng)進(jìn)行編碼，然后使用注意機(jī)制分別從用戶和課程的角度提取學(xué)習(xí)活動(dòng)的相關(guān)性，最后設(shè)計(jì)了一個(gè)基于門控機(jī)制的上下文提取機(jī)制，將用戶和課程的特征整合在一起，以實(shí)現(xiàn)最終的退課行為預(yù)測。為了評(píng)價(jià)所提框架，本文在XuetangX 數(shù)據(jù)集上[8]進(jìn)行了實(shí)驗(yàn)研究，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的退課預(yù)測框架的可行性。

1 MOOC 退課率預(yù)測現(xiàn)狀

近年來，MOOC 平臺(tái)為全世界各地的數(shù)百萬用戶提供了眾多的免費(fèi)在線課程[9]，一些MOOC 平臺(tái)，例如Coursera、udacity、edx、XuetangX 等已經(jīng)成為開放式和遠(yuǎn)程教育最重要的在線學(xué)習(xí)平臺(tái)[1]。盡管MOOC 的優(yōu)勢(shì)已經(jīng)得到充分證明，但值得注意的是較高的退課率已成為MOOC 實(shí)際應(yīng)用中最重要的一個(gè)挑戰(zhàn)[10]，有研究表明，超過90%的用戶都不能順利地在MOOC 平臺(tái)上完成課程[11]。因此，預(yù)測學(xué)習(xí)者放棄課程的可能性就變得非常重要[12]，從而使得MOOC 平臺(tái)能夠及時(shí)提供支持性干預(yù)措施，通過各種不同的激勵(lì)方法來鼓勵(lì)學(xué)習(xí)者繼續(xù)完成課程的學(xué)習(xí)[13]。

通過分析用戶在MOOC 平臺(tái)上學(xué)習(xí)課程方面的特點(diǎn)，預(yù)測其潛在的退課可能性是在線教育領(lǐng)域一個(gè)非常重要的課題[14]，2015 年KDD 大會(huì)還特地為此類退課率預(yù)測挑戰(zhàn)舉辦了數(shù)據(jù)挖掘的競賽。為了降低退課率，需要給學(xué)習(xí)者提供一個(gè)滿意的MOOC 平臺(tái)學(xué)習(xí)體驗(yàn)，而好的學(xué)習(xí)體驗(yàn)與很多因素相關(guān)[15]，例如：學(xué)習(xí)者本身背景、課程內(nèi)容、平臺(tái)的質(zhì)量、學(xué)校的特點(diǎn)等。有學(xué)習(xí)者通過研究指出，MOOC 平臺(tái)上學(xué)習(xí)者退課率高的主要因素和學(xué)習(xí)者的學(xué)習(xí)行為與MOOC 平臺(tái)屬性相關(guān)，其中與學(xué)習(xí)者相關(guān)的屬性包括學(xué)習(xí)的動(dòng)機(jī)、學(xué)習(xí)時(shí)間、背景知識(shí)和技能等因素，而與MOOC 平臺(tái)相關(guān)的屬性包括課程設(shè)計(jì)和課程互動(dòng)性等因素[7]。類似的，Goopio 和Cheung[16]的研究表明，MOOC 平臺(tái)上的退課率主要與學(xué)習(xí)體驗(yàn)、互動(dòng)性、課程設(shè)計(jì)、技術(shù)、語言、時(shí)間和情境七大因素有關(guān)。

為了降低MOOC 平臺(tái)學(xué)習(xí)者的退課率，一個(gè)可行的解決辦法是盡早預(yù)測退課行為，從而使得平臺(tái)能夠提前部署一些干預(yù)手段，幫助和鼓勵(lì)學(xué)習(xí)者來完成課程[17]。不同學(xué)習(xí)者的不同學(xué)習(xí)行為、學(xué)習(xí)習(xí)慣和學(xué)習(xí)時(shí)間都會(huì)影響學(xué)習(xí)者的退課行為，這其中學(xué)習(xí)者的學(xué)習(xí)行為對(duì)于退課的預(yù)測有著非常重要的作用[14]。在MOOC 平臺(tái)上，通過研究分析學(xué)習(xí)者的學(xué)習(xí)行為來預(yù)測退課的可能性一直是退課率預(yù)測領(lǐng)域的重要挑戰(zhàn)。例如，文獻(xiàn)[18-19]對(duì)學(xué)生參與MOOC 課程的情況進(jìn)行了調(diào)查，開發(fā)了一種潛在動(dòng)態(tài)因子圖（LadFG）來建模和預(yù)測學(xué)習(xí)行為，同時(shí)，進(jìn)一步提出融合特征提取、特征選擇和學(xué)習(xí)者分類的預(yù)測模型，并利用MOOC 平臺(tái)提供的一些學(xué)習(xí)行為特征進(jìn)行預(yù)測。

在研究MOOC 平臺(tái)的學(xué)習(xí)者學(xué)習(xí)行為特征的工作中，最常用的一種學(xué)習(xí)行為特征是注冊(cè)用戶在MOOC 中學(xué)習(xí)模式的點(diǎn)擊流。點(diǎn)擊流是網(wǎng)絡(luò)課程研究中一個(gè)重要的學(xué)習(xí)者行為的時(shí)間序列指標(biāo)[20]，通過使用點(diǎn)擊流數(shù)據(jù)可以構(gòu)建一個(gè)不斷變化的學(xué)習(xí)者學(xué)習(xí)狀態(tài)表示，利用這個(gè)學(xué)習(xí)狀態(tài)表示，就能對(duì)學(xué)習(xí)者進(jìn)行跟蹤，從而預(yù)測其可能出現(xiàn)的退課行為。點(diǎn)擊流是一種重要的行為模式，并且是評(píng)估MOOC 學(xué)習(xí)成果的一種重要數(shù)據(jù)來源[21-22]，因?yàn)椴煌膶W(xué)生通常有不同的學(xué)習(xí)方式，這意味著對(duì)于同一門課程，不同類型的學(xué)習(xí)者可能會(huì)有不同的活動(dòng)和學(xué)習(xí)結(jié)果[23]。為了更好地了解點(diǎn)擊流，需要更好地對(duì)點(diǎn)擊流進(jìn)行建模，較早的嘗試提取用戶操作方面的特征，如不同點(diǎn)擊類型的計(jì)數(shù)[24]，雖然這種方法顯示出一定的效果并且易于實(shí)現(xiàn)，但無法研究點(diǎn)擊流所包含的一些復(fù)雜屬性，比如點(diǎn)擊之間的順序[25]。目前隨著深度學(xué)習(xí)技術(shù)的發(fā)展，出現(xiàn)了許多基于神經(jīng)網(wǎng)絡(luò)的方法來對(duì)點(diǎn)擊流進(jìn)行建模。

為了充分利用點(diǎn)擊流中的順序信息，一些研究人員建議使用序列感知學(xué)習(xí)技術(shù)來研究學(xué)習(xí)者學(xué)習(xí)模式，進(jìn)而預(yù)測學(xué)習(xí)者的退課行為。例如，Wang等[26]提出一種基于遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network, RNN）的深度模型用于退課預(yù)測。類似的，Tang 等[27]提出一種基于RNN 具有短期記憶單元的方法。Xiong 等[28]則進(jìn)一步開發(fā)了基于長短期記憶（long short-term memory, LSTM）網(wǎng)絡(luò)的方法來預(yù)測學(xué)習(xí)狀態(tài)。同樣，F(xiàn)ei 和Yeung[25]提出一個(gè)LSTM 單元的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行退課預(yù)測[29]。這種針對(duì)學(xué)習(xí)者學(xué)習(xí)行為序列的建模方法在預(yù)測退課行為時(shí)顯示出了巨大的潛力，因?yàn)辄c(diǎn)擊流確實(shí)具有順序?qū)傩浴５牵c(diǎn)擊流活動(dòng)序列內(nèi)不同活動(dòng)之間的內(nèi)在聯(lián)系也值得充分研究。例如，與其他活動(dòng)相比，“加載視頻”與“觀看視頻”的相關(guān)性更高。因此，有學(xué)者指出，除了點(diǎn)擊流內(nèi)部活動(dòng)之間的時(shí)序特性，部分點(diǎn)擊流內(nèi)部活動(dòng)之間的依賴性應(yīng)該也有助于提高總體退學(xué)預(yù)測任務(wù)的準(zhǔn)確性。

在研究點(diǎn)擊流內(nèi)部活動(dòng)關(guān)系方面，Wang 等[26]提出了一種結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）和RNN 方法的ConRec 網(wǎng)絡(luò)，從原始MOOC 數(shù)據(jù)中自動(dòng)提取特征。類似的，為了利用學(xué)習(xí)行為之間的相關(guān)性，Wen 等[23]設(shè)計(jì)了一個(gè)基于時(shí)間序列的二維矩陣作為CNN 模型的輸入，將時(shí)間信息與學(xué)習(xí)者的行為特征相結(jié)合，利用時(shí)間序列解決行為特征的局部相關(guān)性問題。除了研究活動(dòng)之間的相關(guān)性以外，還需要指出不同用戶和不同課程可能具有不同的活動(dòng)模式，這意味著活動(dòng)相關(guān)性也應(yīng)分別從用戶和課程的角度進(jìn)行研究。實(shí)際上，一些研究人員指出，從用戶和課程不同的角度去研究活動(dòng)相關(guān)性也將影響MOOC 課程的退課率預(yù)測[30]，因?yàn)椴煌恼n程可能與活動(dòng)具有不同的相關(guān)模式，在學(xué)習(xí)行為的研究中，不同種類的課程對(duì)學(xué)生的學(xué)習(xí)行為可能有不同的影響[15]。Feng 等[8]針對(duì)這個(gè)問題進(jìn)行了研究，提出了一種上下文感知功能交互網(wǎng)絡(luò)（context-aware feature interaction network,CFIN）來預(yù)測輟學(xué)概率，并在更大的數(shù)據(jù)集上取得了最好的結(jié)果。

2 退課預(yù)測框架

2.1 問題定義

令u∈U和c∈C為用戶和課程，其中U和C分別為用戶集合和課程集合，從用戶u學(xué)習(xí)周期為Dh的c課程學(xué)習(xí)日志中提取用戶的學(xué)習(xí)行為X(u,c)，其中每個(gè)元素xi(u,c)表 示特定的行為，vi是xi(u,c)的歸一化統(tǒng)計(jì)值，其相應(yīng)的行為名稱為si={wij}lis=i1（如“加載視頻”），其中wij表 示行為xi(u,c)名 稱中的第j個(gè)單詞， lsi為該名稱的長度。學(xué)習(xí)行為的上下文信息包含用戶信息Z(u)和 課程信息Z(c)，其中用戶信息元zi(u)包含學(xué)習(xí)者的個(gè)人基本信息（如年齡、性別、受教育程度、注冊(cè)課程數(shù)量等），課程信息元素zi(c)則包含課程基本信息（如課程種類及注冊(cè)課程的用戶數(shù)）。

退課預(yù)測任務(wù)可根據(jù)上述變量形式化定義為：給定過去時(shí)間段內(nèi)發(fā)生的學(xué)習(xí)行為X(u,c)及相關(guān)上下文信息Z(u)和Z(c) ， 預(yù)測用戶u是否會(huì)在預(yù)測周期Dp內(nèi) 放棄課程c的學(xué)習(xí)，用于是否退課的結(jié)果是一個(gè)二分類的值y(u,c)，用1 表示用戶在預(yù)測周期內(nèi)沒有放棄學(xué)習(xí)任務(wù)，否則為0，因此本文目的是學(xué)習(xí)一個(gè)預(yù)測函數(shù)，使得其預(yù)測結(jié)果y?(u,c)盡可能地逼近真實(shí)結(jié)果y(u,c)。

2.2 框架結(jié)構(gòu)

針對(duì)MOOC 平臺(tái)學(xué)習(xí)者的學(xué)習(xí)行為，本文首先提取學(xué)習(xí)行為的語義信息，并捕捉學(xué)習(xí)行為之間的交互關(guān)系。在此基礎(chǔ)上，進(jìn)一步從用戶和課程的角度分別對(duì)行為進(jìn)行分析，獲得從用戶和課程角度觀察到的行為信息，最后，通過一個(gè)門控機(jī)制將用戶、課程信息及與用戶、課程相關(guān)的行為交互特征進(jìn)行融合，并最終用于用戶退課的預(yù)測，因此，本文提出一個(gè)基于用戶和課程信息感知增強(qiáng)的行為學(xué)習(xí)框架，如圖1 所示。

圖1 基于用戶和課程信息感知增強(qiáng)的退課預(yù)測框架Fig. 1 User and coursed information perception enhancement based dropout predication framework

2.2.1 用戶和課程的語義編碼

為了構(gòu)建一個(gè)有效的退課預(yù)測框架，本文需要設(shè)計(jì)一個(gè)有效的方法來表示上下文信息和學(xué)習(xí)行為。早期工作一般直接使用隨機(jī)初始化的嵌入層或?qū)W習(xí)行為統(tǒng)計(jì)值作為表示層，而忽略了此類信息的語義。因此，本文提出語義感知編碼層（semantic aware encoding，SAE），從上下文信息和學(xué)習(xí)行為中提取語義感知特征。

圖2 基于語義編碼的點(diǎn)擊活動(dòng)特征編碼Fig. 2 Semantic oriented based click activity feature encoding

2.2.2 多角度特征增強(qiáng)

在退課預(yù)測任務(wù)中，有一些學(xué)習(xí)行為是相互關(guān)聯(lián)的，如“加載視頻”和“播放視頻”有時(shí)序先后關(guān)系。這類相關(guān)性可以幫助框架更深入地了解用戶行為。為了使框架具備對(duì)學(xué)習(xí)行為之間相互作用的建模能力，本文提出了多角度特征增強(qiáng)層（multiperspective feature enhancement，MFE），該層從多個(gè)角度提取了學(xué)習(xí)行為之間的相關(guān)性。

令Fa∈Rla×de表示學(xué)習(xí)行為特征張量，fia表示Fa中 第i類 行為所對(duì)應(yīng)的分量，其中l(wèi)a和de分別表示學(xué)習(xí)行為的數(shù)量和學(xué)習(xí)行為特征張量的長度。為了從多角度提取學(xué)習(xí)行為之間的相關(guān)性，本文采用了多頭縮放點(diǎn)積自注意力機(jī)制，每個(gè)頭的特征Hi用于提取單個(gè)角度的相關(guān)性，其計(jì)算式如下：

式中：lh為注意力多頭數(shù)，本文利用線性層整合不同的頭特征，并分別使用層歸一化和殘差連接來穩(wěn)定特征比例和梯度。于是獲得了具有多角度相關(guān)性增強(qiáng)的學(xué)習(xí)行為特征F?a：

2.2.3 基于門控機(jī)制的上下文相關(guān)特征優(yōu)化

每個(gè)學(xué)習(xí)行為的重要性會(huì)根據(jù)用戶和課程的不同而變化，因此，直接使用所有學(xué)習(xí)行為的特征會(huì)存在很多噪聲從而導(dǎo)致預(yù)測性能較差。為了融合學(xué)習(xí)行為的相關(guān)上下文信息來優(yōu)化行為特征，本文提出了基于門控機(jī)制的上下文相關(guān)特征提取優(yōu)化層（gated context-related feature refine，GCR），該層分別基于用戶信息特征和課程信息特征得到帶有相關(guān)注意力機(jī)制的行為特征，然后使用門控機(jī)制合并這2 個(gè)特征。

式中：WG為用于計(jì)算門孔得分的線性層映射矩陣。

3 實(shí)驗(yàn)驗(yàn)證

3.1 數(shù) 據(jù) 集

為了驗(yàn)證所提出的框架，在本文研究中，對(duì)XuetangX 數(shù)據(jù)集的教師定型模式課程進(jìn)行了實(shí)驗(yàn)。XuetangX 數(shù)據(jù)集發(fā)布于2019 年，包含超過220 000個(gè)實(shí)例，并且比KDDCUP 2015 大得多，KDDCUP 2015也來自XuetangX 數(shù)據(jù)集，且包含超過120 000 個(gè)活動(dòng)日志。本文通過預(yù)處理并將整個(gè)數(shù)據(jù)集拆分為142 149 個(gè)訓(xùn)練實(shí)例，15 794 個(gè)開發(fā)實(shí)例和67 699 個(gè)測試實(shí)例，與文獻(xiàn)[8]采用了相同的配置，歷史期和預(yù)測期分別為35 d 和10 d。

3.2 實(shí)驗(yàn)設(shè)置

本文根據(jù)開發(fā)集上框架的性能選擇超參數(shù)。選擇與文獻(xiàn)[8]相似的配置，使用50 維的GloVe 嵌入向量和1 個(gè)包含50 個(gè)隱藏單元的LSTM 層。此外，使用了1 層4 頭自注意力層，使用Adam 優(yōu)化器對(duì)框架進(jìn)行了優(yōu)化，并將學(xué)習(xí)率設(shè)置為 10-4。權(quán)重為 10-5的L2 正則化還可以避免過度擬合。將批次大小設(shè)置為32，訓(xùn)練了50 個(gè)epoch，使用在開發(fā)集上表現(xiàn)最佳的框架參數(shù)來進(jìn)行評(píng)估。

3.3 對(duì)比方法

為了驗(yàn)證所提框架，本文將其與其他方法進(jìn)行比較。

1） 邏輯回歸（logistics regression, LR）：LR 是一種廣泛用于分類的線性回歸分析方法。能夠基于對(duì)不同變量之間的回歸系數(shù)的分析來估計(jì)某個(gè)事件是否會(huì)發(fā)生。LR 已作為基本技術(shù)[31-32]應(yīng)用于許多MOOC 退課預(yù)測任務(wù)中。

2） 支持向量機(jī)（support vector machine, SVM）：SVM 廣泛用于二分類任務(wù)，并且能夠利用從點(diǎn)擊流[33]中精心選擇的特征來預(yù)測MOOC 退課。

3） 隨機(jī)森林（random forest, RF）：RF 是基于決策樹的方法，在訓(xùn)練過程中引入隨機(jī)性來提高分類器的性能，也是一種MOOC 退課預(yù)測[34]中廣泛使用的基本方法。

4） 梯度提升決策樹（gradient boosting decision tree, GBDT）：基于GBDT 的退課預(yù)測模型是使用決策樹的整體來預(yù)測標(biāo)簽，深度大于1，并且在此任務(wù)中顯示了可喜的結(jié)果[35]。

5） 全連接神經(jīng)網(wǎng)絡(luò)（deep neural network, DNN）：1 個(gè)3 層DNN，用于研究將深度學(xué)習(xí)技術(shù)用于退課預(yù)測任務(wù)的可行性。

6） CFIN：上下文感知功能交互網(wǎng)絡(luò)[8]，是目前面向較大的XuetangX 數(shù)據(jù)集的重要模型。

3.4 評(píng)估指標(biāo)

本文使用精度（ACC）[36]、接受者操作特征曲線（ROC）、曲線下的面積（AUC）[37]來評(píng)估所提框架的性能。對(duì)于二分類問題，根據(jù)預(yù)測分類和實(shí)際標(biāo)簽可以將樣本劃分為4 類，即真正例（TP）、假正例（FP）、真反例（TN）和假反例（FN)。分類結(jié)果可以用“混淆矩陣”表示，如表1 所示。

表1 分類結(jié)果混淆矩陣Table 1 Confusion table confusion matrix for classification results

分類框架中每個(gè)樣本的輸出結(jié)果一般為實(shí)數(shù)值，對(duì)于設(shè)定的閾值，將該實(shí)數(shù)值和閾值比較，大于閾值的為正樣本，反之為負(fù)樣本。通過設(shè)定不同的閾值，可以得到不同的分類結(jié)果。將樣本按照預(yù)測得到的實(shí)數(shù)值從高到低進(jìn)行排序，將每個(gè)樣本對(duì)應(yīng)的實(shí)數(shù)值作為閾值，就可以得到和樣本數(shù)量相當(dāng)?shù)姆诸惤Y(jié)果。考慮不同閾值下的分類結(jié)果，綜合反映了分類框架得到結(jié)果的排序質(zhì)量，從而能夠更好地反映框架的泛化能力。根據(jù)實(shí)際標(biāo)簽，可以計(jì)算出假陽率（FPR）及真陽率（TPR）的值：

ROC 也可以利用FPR 和TPR 來計(jì)算，將每個(gè)閾值對(duì)應(yīng)的（FPR，TPR）點(diǎn)繪制在坐標(biāo)圖中，得到ROC 曲線，ROC 曲線的橫坐標(biāo)為假正例率，縱坐標(biāo)為真正例率。利用ROC 曲線對(duì)分類框架效果進(jìn)行比較時(shí)，若各框架的ROC 曲線沒有發(fā)生交叉，直觀上來講，最外層的ROC 曲線包覆住了其他框架的ROC 曲線，因此，最外層的ROC 曲線對(duì)應(yīng)的分類框架效果最好。若框架的ROC 曲線發(fā)生了交叉，那么通常采用比較ROC 曲線下面積的方式[37]。因此，該面積即AUC 被采納為通用的分類框架優(yōu)劣判據(jù)。在實(shí)際訓(xùn)練過程中一般只有有限個(gè)樣本，因此繪制得到的ROC 曲線由有限個(gè)（FPR，TPR）點(diǎn)連接而成，點(diǎn)坐標(biāo)集合為：{ (x1,y1),(x2,y2),...,(xm,ym)}，則AUC可以采用將黎曼積分化為求和形式的方法求解：

3.5 結(jié)果與分析

表2 列出了有關(guān)ACC 和AUC 的總體性能，就AUC 而言，本文提出的框架可以勝過大多數(shù)機(jī)器學(xué)習(xí)方法，但要比最先進(jìn)的方法CFIN 要低一些。而在ACC 方面，本文提出的框架可以勝過CFIN。表2表明，本文提出的框架與大型數(shù)據(jù)集中的復(fù)雜方法相比具有競爭優(yōu)勢(shì)。

表2 ACC 和AUC 總體性能Table 2 Overall performace in terms of ACC and AUC

為了進(jìn)一步分析提出的SAE、MFE 和GCR 組件的效果，本文還通過以下方法進(jìn)行消融研究：①使用隨機(jī)初始化的特征向量而不是語義感知編碼層(不包含SAE)；②刪除多視角特征增強(qiáng)層（不包含MFE）；③用平均池化層替換增強(qiáng)的學(xué)習(xí)行為特征（不包含GCR）上門控的上下文相關(guān)特征優(yōu)化層。本文注意到最明顯的下降發(fā)生在沒有MFE 的情況下，這證明了捕獲學(xué)習(xí)行為之間交互關(guān)系的重要性。在沒有SAE 的情況下，所獲得的框架特征語義要比具有隨機(jī)初始化特征的框架更好。如表3所示，門控上下文相關(guān)特征細(xì)化層可以幫助框架過濾不相關(guān)的活動(dòng)特征，并根據(jù)不帶GCR 的結(jié)果提高性能。

表3 消融實(shí)驗(yàn)Table 3 Ablation test

3.6 案例與分析

本文對(duì)一個(gè)測試樣本進(jìn)行采樣，并可視化其學(xué)習(xí)行為-學(xué)習(xí)行為注意力得分、上下文信息-學(xué)習(xí)行為注意力得分。

如圖3 所示，學(xué)習(xí)行為與學(xué)習(xí)行為之間的注意力系數(shù)熱度圖，可以看到框架可以捕捉到一些具有明顯時(shí)序關(guān)系的學(xué)習(xí)行為之間的交互關(guān)系，如“點(diǎn)擊論壇”與“問題獲取”、“問題獲取”與“創(chuàng)建評(píng)論”之間的注意力分?jǐn)?shù)明顯要更高。而對(duì)一些相關(guān)性較低的學(xué)習(xí)行為組合則分配了較低的注意力分?jǐn)?shù)，如“播放視頻”和“關(guān)閉課件”。

圖3 學(xué)習(xí)行為-學(xué)習(xí)行為注意力熱度圖Fig. 3 Study activity-study activity attention heat map

如圖4 所示，上下文信息與學(xué)習(xí)行為之間的注意力系數(shù)熱度圖，可以看到用戶功能主要集中在學(xué)習(xí)行為“問題獲取”和“創(chuàng)建評(píng)論”上，而課程功能則關(guān)注于學(xué)習(xí)行為“點(diǎn)擊課件”、“關(guān)閉課件”及“載入視頻”等，這有助于框架過濾噪和提取與上下文最相關(guān)的學(xué)習(xí)行為特征。

圖4 上下文信息-學(xué)習(xí)行為注意力熱度圖Fig. 4 Context-study activity attention heat map

4 結(jié) 論

針對(duì)MOOC 平臺(tái)較高退課率的問題，本文提出了一個(gè)基于長短時(shí)記憶機(jī)和多頭注意力機(jī)制的MOOC 平臺(tái)用戶學(xué)習(xí)情況預(yù)測框架，在該框架中：

1） 提出語義編碼機(jī)制，將用戶的學(xué)習(xí)行為進(jìn)行分析，為用戶和相應(yīng)課程進(jìn)行編碼，可以更好地獲得用戶和課程的特征。

2） 提出一個(gè)多角度的用戶和課程之間交互的編碼方法，更好地將用戶和課程之間的交互關(guān)系進(jìn)行分析。

3） 提出基于門控機(jī)制的上下文相關(guān)行為特征優(yōu)化機(jī)制，最后將獲得的用戶、課程及優(yōu)化后的行為交互特征融合并用于退課預(yù)測，并在XuetangX數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

4） 所提框架能獲得較好的總體性能，消融實(shí)驗(yàn)也驗(yàn)證了本文提出的不同編碼機(jī)制和特征融合機(jī)制的有效性。本文所提方法能夠使得MOOC 平臺(tái)能夠盡可能早的對(duì)用戶活動(dòng)進(jìn)行干預(yù)，從而提升整體的MOOC 平臺(tái)使用體驗(yàn)。