李景奇 卞藝杰 方征
摘要:當(dāng)前網(wǎng)絡(luò)教學(xué)中存在教學(xué)過程評價難以量化、課程教學(xué)進度安排缺少數(shù)據(jù)支持等問題。隨著大數(shù)據(jù)技術(shù)的發(fā)展,網(wǎng)絡(luò)學(xué)習(xí)行為分析已經(jīng)取得較大進展,但學(xué)習(xí)內(nèi)容的跟蹤與評價還比較缺乏。將知識跟蹤嵌入網(wǎng)絡(luò)課程,及時跟蹤學(xué)生知識掌握情況,將有助于教師發(fā)現(xiàn)學(xué)生學(xué)習(xí)問題,調(diào)整教學(xué)策略;同時也可引導(dǎo)學(xué)生將學(xué)習(xí)的關(guān)注點聚焦在知識內(nèi)容的理解上,而不是分數(shù)上。貝葉斯知識跟蹤(BKT)模型是一種以知識點為核心構(gòu)建學(xué)生知識模型的方法,具有簡捷、預(yù)測準(zhǔn)確、易于解釋的特點。基于BKT公式改進的網(wǎng)絡(luò)教學(xué)跟蹤評價模型,可用以課時估算和學(xué)習(xí)成績預(yù)測。實證分析數(shù)據(jù)顯示,該模型的預(yù)測準(zhǔn)確率和精確度較高。在實際應(yīng)用中,BKT知識跟蹤功能可單獨開發(fā)應(yīng)用,也可與教學(xué)平臺集成使用,亦可支持線下教學(xué)。
關(guān)鍵詞:網(wǎng)絡(luò)教學(xué);BKT;貝葉斯知識跟蹤;模型構(gòu)建;跟蹤評價
中圖分類號:G434 文獻標(biāo)識碼:A 文章編號:1009-5195(2018)05-0104-09 doi10.3969/j.issn.1009-5195.2018.05.012
一、研究背景
遠程教學(xué)時空分離的特征,使得學(xué)習(xí)資料的網(wǎng)絡(luò)傳遞和學(xué)習(xí)過程的跟蹤評價尤為重要。目前學(xué)習(xí)資料的共享與傳遞方法已經(jīng)非常多,比如課程資源庫、QQ班級群、網(wǎng)絡(luò)教學(xué)平臺等,但學(xué)習(xí)過程的跟蹤評價方法卻仍然較為匱乏。當(dāng)前網(wǎng)絡(luò)教學(xué)存在的主要問題是:
(1)教學(xué)過程評價難以量化。一般而言,教學(xué)過程中教師主要通過診斷性評價和形成性評價來評估學(xué)生學(xué)習(xí)情況,經(jīng)常使用的工具就是測試和作業(yè)。但測試與作業(yè)如何與學(xué)生知識的掌握程度精確對應(yīng),如何通過這種評估發(fā)現(xiàn)學(xué)生的知識狀態(tài),需要進一步量化研究。另一方面,測試和作業(yè)的結(jié)果如何持續(xù)跟蹤利用也是值得研究的問題。
(2)課程教學(xué)進度安排缺少數(shù)據(jù)支持。目前,課程教學(xué)進度往往根據(jù)經(jīng)驗,按課程知識點將課程劃分為多個單元或章節(jié),然后按單元或章節(jié)來制定教學(xué)進度。比如一個單元需要2個學(xué)時,包括4個知識點,則每個知識點分配0.5個學(xué)時。這種簡單依靠經(jīng)驗和教學(xué)內(nèi)容去安排教學(xué)進度,容易導(dǎo)致有些知識點講解不夠,而有些知識點浪費時間太多。
針對以上問題,清華大學(xué)THEOL在線學(xué)習(xí)平臺提出了CIPP評價,從背景評估、輸入評估、過程評估和結(jié)果評估四個方面,利用網(wǎng)絡(luò)教學(xué)平臺所能收集到的學(xué)習(xí)成績數(shù)據(jù)和學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為數(shù)據(jù)進行評價(李景奇等,2009)。雖然學(xué)習(xí)過程的跟蹤與評價可以實現(xiàn),但前提是學(xué)生經(jīng)常使用網(wǎng)絡(luò)教學(xué)平臺。但實際教學(xué)中,學(xué)生利用網(wǎng)絡(luò)教學(xué)平臺主要還是查看教學(xué)資料,用于討論和互動的較少;且即使利用學(xué)習(xí)成績和網(wǎng)絡(luò)學(xué)習(xí)行為數(shù)據(jù),也只能用于簡單地對學(xué)生學(xué)習(xí)行為進行評價,無法對學(xué)生掌握知識的程度進行精確預(yù)估。美國教育技術(shù)辦公室發(fā)布的《通過教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進教與學(xué)》報告認為,可以通過學(xué)生建模來解決學(xué)習(xí)過程中的問題。學(xué)生建模主要包括學(xué)習(xí)者知識建模、學(xué)習(xí)者行為建模、學(xué)習(xí)者經(jīng)歷建模、學(xué)習(xí)者建檔、領(lǐng)域知識建模、學(xué)習(xí)組件和教學(xué)策略分析、趨勢分析、自適應(yīng)學(xué)習(xí)系統(tǒng)和個性化學(xué)習(xí)等8個領(lǐng)域(徐鵬等,2013)。該報告歸納了目前教育數(shù)據(jù)挖掘和分析應(yīng)用的現(xiàn)狀,也為教與學(xué)的數(shù)據(jù)挖掘和利用提供了指導(dǎo),其中學(xué)習(xí)者知識建模無疑是最為重要的數(shù)據(jù)分析手段,但需要進一步研究學(xué)習(xí)者建模與教師教學(xué)過程之間的關(guān)系,從而為教師教學(xué)給予更多的支持。
隨著大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用,諸多學(xué)者對學(xué)習(xí)行為數(shù)據(jù)作了進一步的研究分析,如陳海建等(2017)通過對開放式教學(xué)下學(xué)習(xí)者的基本信息、在線學(xué)習(xí)行為和課堂表現(xiàn)進行分析,挖掘?qū)W習(xí)者的興趣、愛好、學(xué)習(xí)能力等特點,以標(biāo)簽化的形式進行個性歸納和畫像,并基于學(xué)習(xí)者畫像,探討個性化教學(xué)。曹曉明等(2014)將傳統(tǒng)教師引導(dǎo)的基于分層的群組個性化學(xué)習(xí)方式和采用智能Agent伴學(xué)的個性化學(xué)習(xí)方式統(tǒng)一起來,引入學(xué)習(xí)分析技術(shù),輔助教師量化掌控學(xué)情,動態(tài)調(diào)整教學(xué)過程。魏順平等(2017)基于國家開放大學(xué)學(xué)習(xí)網(wǎng)中的教與學(xué)行為日志,對在線教學(xué)過程進行評價,并將教學(xué)過程評價結(jié)果用于對在線教育機構(gòu)師生在線教學(xué)過程的監(jiān)測分析,以快速了解師生的教與學(xué)現(xiàn)狀,評價師生的教與學(xué)質(zhì)量,及時、有針對性地進行教學(xué)干預(yù)。以上研究通過學(xué)生學(xué)習(xí)數(shù)據(jù)分析,輔助教學(xué)過程的監(jiān)控和調(diào)節(jié),但對學(xué)生學(xué)習(xí)的核心,即知識掌握程度的評估仍然缺乏有效的數(shù)據(jù)支持。
一些學(xué)者也從學(xué)生模型構(gòu)建的角度,積極探索通過學(xué)生模型建構(gòu),促進學(xué)生學(xué)習(xí)。如郭富強(2011)設(shè)計了一個包括學(xué)生知識水平、學(xué)習(xí)偏差程度、學(xué)生認知能力、學(xué)習(xí)情緒的智能教學(xué)系統(tǒng)學(xué)生模型,并通過模型來調(diào)整教學(xué)行為。楊卉等(2005)提出了一個兩層動態(tài)學(xué)生模型,通過跟蹤和綜合評價相結(jié)合的方法獲取學(xué)習(xí)者的綜合特征,并采用廣義模糊綜合評判方法對學(xué)習(xí)者二級特征進行評價。雖然以上研究中,也注意到了學(xué)生知識水平的評估,但就具體的實現(xiàn)方式并沒有作深入研究。
總之,目前的網(wǎng)絡(luò)教學(xué)過程跟蹤與評價研究,在學(xué)生的網(wǎng)絡(luò)學(xué)習(xí)行為分析方面已經(jīng)進行了較多、較為充分的研究。特別是大數(shù)據(jù)技術(shù)的發(fā)展,更進一步促進了學(xué)習(xí)網(wǎng)絡(luò)行為分析,產(chǎn)生了許多學(xué)習(xí)分析模型和研究成果。但在學(xué)習(xí)內(nèi)容方面的跟蹤與評價還很少。目前遠程教學(xué)中,特別是沒有開辦網(wǎng)絡(luò)教育的高校,完全依靠教學(xué)平臺教學(xué)的模式還不多,更多的是一種混合式教學(xué),即在提供遠程教學(xué)資料的同時,輔以部分線下課堂授課,同時把課程資料、作業(yè)、測試通過網(wǎng)絡(luò)課程來實現(xiàn)。因此,如果能通過網(wǎng)絡(luò)課程的設(shè)計,把知識跟蹤嵌入其中,及時跟蹤學(xué)生知識掌握情況,就能很便捷地發(fā)現(xiàn)學(xué)生學(xué)習(xí)中存在的不足,進而更有針對性地提供教學(xué)指導(dǎo),節(jié)約教學(xué)時間,提高教學(xué)效率。
在網(wǎng)絡(luò)課程知識跟蹤評價模型中,貝葉斯知識跟蹤(Bayesian Knowledge Tracing,BKT)模型是美國智能教育系統(tǒng)中應(yīng)用較早的一種方法。近年來隨著教育數(shù)據(jù)挖掘技術(shù)的發(fā)展,LFA(Learning Factors Analysis)、PFA(Performance Factors Analysis)模型也得到了較多的研究和應(yīng)用。LFA模型是一種結(jié)合統(tǒng)計學(xué)、專家知識和組合搜索的方法來評價和改進認知模型的方法(Cen et al.,2006)。它主要基于三個變量:學(xué)生知識初始水平、知識點難度和知識點掌握效率,通過多元邏輯回歸算法預(yù)測知識點的掌握概率。該模型的重點是發(fā)現(xiàn)當(dāng)前認知模型的不足,從而改進課程知識點的教學(xué)安排。但該模型對知識掌握程度的連續(xù)變化無法跟蹤,而且它假設(shè)每個學(xué)生的學(xué)習(xí)效率是相同且恒定不變的,因此無法應(yīng)用于自適應(yīng)學(xué)習(xí)分析。PFA對LFA模型進行了改進,增加了對知識點測試中正誤反應(yīng)的變量,從而使得PFA能夠適應(yīng)學(xué)生自適應(yīng)學(xué)習(xí)跟蹤和評價(Pavlik et al.,2009)。但該模型認為學(xué)生初始水平在網(wǎng)絡(luò)教學(xué)中不易測量,很少使用,因此刪除了該變量。LFA和PFA模型進一步發(fā)展了網(wǎng)絡(luò)課程知識學(xué)習(xí)分析,但與BKT相比,它們需要更多知識點的相關(guān)變量,計算比較復(fù)雜,而且其結(jié)果不易被解釋。而BKT模型由于簡捷、預(yù)測準(zhǔn)確、易于解釋的特點而被廣泛應(yīng)用于各類商業(yè)教學(xué)軟件以及教學(xué)研究中。
二、BKT模型及其應(yīng)用
1.BKT模型的概念
BKT模型是一種學(xué)生知識建模方法,最早由Corbett和Anderson提出。他們在一個智能教育項目中使用知識跟蹤的方式來預(yù)測學(xué)生的知識水平,并取得了較好效果(Corbett et al.,1994)。由于該方法采用了貝葉斯算法,因此該方法后來被稱為貝葉斯知識跟蹤模型,以區(qū)別于其他學(xué)生知識建模方法,并應(yīng)用于智能教育系統(tǒng)中。智能教育系統(tǒng)中的一個重要問題是,什么時候能夠判斷某個學(xué)生掌握了某個知識點。一個比較簡單的處理方式是要求學(xué)生連續(xù)對N個同一知識點相關(guān)的題目回答正確。雖然這種方式現(xiàn)在仍然被某些系統(tǒng)利用,但BKT能夠用一種更加直觀且容易理解的方式解決這個問題(王卓等,2015)。BKT經(jīng)常作為更復(fù)雜學(xué)習(xí)模型的起點(Van De Sande,2013)。
2.BKT模型的基本原理
BKT模型假設(shè)學(xué)生的知識學(xué)習(xí)有兩種狀態(tài),每個知識點都處在“掌握狀態(tài)”與“未掌握狀態(tài)”之間。知識點的學(xué)習(xí)狀態(tài),通過學(xué)習(xí)或測試,可由“未掌握狀態(tài)”轉(zhuǎn)移到“掌握狀態(tài)”。但這種轉(zhuǎn)移不會反向,知識點的學(xué)習(xí)狀態(tài)不會由“掌握狀態(tài)”轉(zhuǎn)移到“未掌握狀態(tài)”,即假設(shè)掌握后的知識不會遺忘。學(xué)習(xí)成績主要由知識點學(xué)習(xí)狀態(tài)決定,學(xué)習(xí)狀態(tài)用概率表示。另外知識點在掌握狀態(tài)下,學(xué)生也可能因誤答而做錯;知識點在未掌握狀態(tài)下,學(xué)生也可能會猜對。因此BKT模型對于學(xué)生知識掌握概率的計算包括了4個參數(shù),如表1所示。表1中P(L0)和P(T)是學(xué)習(xí)參數(shù),主要用于表示學(xué)生學(xué)習(xí)的知識狀態(tài)。P(L0)指的是學(xué)生在尚未學(xué)習(xí)某知識點時,該知識點就已經(jīng)被其掌握的概率;P(T)指的是知識轉(zhuǎn)移概率,即經(jīng)過了學(xué)習(xí)之后,對于該知識點從未掌握狀態(tài)到掌握狀態(tài)的轉(zhuǎn)移概率。而P(G)和P(S)作為學(xué)生的表現(xiàn)參數(shù),P(G)是猜對的概率,即學(xué)生即使未掌握某個知識點仍然能正確回答問題的概率;P(S)是誤答的概率,即學(xué)生掌握該知識點,但是仍然不小心回答錯誤的概率。
(1)
該公式非常簡單,根據(jù)學(xué)生狀態(tài)確定初始值后,利用公式(1)對學(xué)生知識狀態(tài)進行更新。第n次學(xué)習(xí)后知識掌握概率P(Ln)是以下兩種概率之和:(1)知識掌握后依據(jù)實情判斷的知識后驗概率;(2)知識將會轉(zhuǎn)移到掌握狀態(tài)的概率。P(T)可以根據(jù)實際情況和經(jīng)驗進行確定,它不依賴于學(xué)生是否能正確地運用知識回答問題。
在預(yù)測學(xué)生成績時,該模型每步驟的預(yù)測值依賴于學(xué)生達成該目標(biāo)的應(yīng)用知識點規(guī)則所需要的知識和該規(guī)則的成績參數(shù),如公式(2)所示。
(2)
也就是說,P(Cis),即學(xué)生s達成目標(biāo)i進行正確行為的概率是以下兩個結(jié)果之和:(1)學(xué)生s掌握應(yīng)用規(guī)則r的概率乘以規(guī)則r在掌握狀態(tài)的正確回答概率(P(Sr)是誤答參數(shù));(2)學(xué)生s不掌握應(yīng)用規(guī)則r的概率乘以規(guī)則r在未掌握狀態(tài)的猜對概率(P(Gr)是猜對參數(shù))(王卓等,2015;Corbett et al.,1994)。可以發(fā)現(xiàn),如果假設(shè)P(Sr)、P(Gr)值為0,則P(Cis)就等同于學(xué)生對該規(guī)則的掌握概率。
3.貝葉斯知識跟蹤模型的應(yīng)用
最早提出BKT的是卡耐基梅隆大學(xué)教授 Corbett和Anderson,他們將該模型應(yīng)用于ACT-R認知結(jié)構(gòu)項目中,用于掌握學(xué)生的知識狀態(tài)和預(yù)測學(xué)生知識點學(xué)習(xí)后的成績表現(xiàn)(Corbett et al.,1994)。Pardos等(2013)將BKT應(yīng)用于edX慕課平臺,并針對缺少知識點劃分、多次問題解答、測試之外的多種影響等慕課特點進行了改進。Machardy等(2015)利用BKT,開發(fā)了一個評價在線教育短視頻使用情況的框架,并探索其與測試結(jié)果之間的相關(guān)性。王卓等(2015)應(yīng)用貝葉斯知識跟蹤模型評價慕課學(xué)生,通過收集慕課平臺兩門課程的學(xué)生學(xué)習(xí)數(shù)據(jù),基于BKT模型,根據(jù)MOOC的特點,對缺少知識點的劃分、測驗多次提交,提出了改進方案,并利用EM 算法(最大期望算法)實現(xiàn)了BKT及相關(guān)變形模型的參數(shù)估計。Hawkins等(2014)推薦了一種新的實現(xiàn)BKT模型的方法,稱之為EP算法(經(jīng)驗可能性算法),并比較了EM算法和EP算法,認為EP算法性能優(yōu)于EM算法。閭漢原等(2011)在BKT知識跟蹤模型基礎(chǔ)上,增加了一個態(tài)度節(jié)點來細化各種因素,以提高預(yù)測準(zhǔn)確率。
因此從目前的研究來看,BKT應(yīng)用主要集中于成績預(yù)測,利用學(xué)生對知識點測試題的應(yīng)答數(shù)據(jù)進行分析和挖掘,然后用以預(yù)測學(xué)生在網(wǎng)絡(luò)課程中的成績表現(xiàn)。然而對于BKT的本質(zhì)而言,預(yù)測成績是其一方面的功能,而更重要的功能是以一種簡單明了的方式表示學(xué)生的知識狀態(tài),為教師的教學(xué)提供精確的支持。BKT知識跟蹤模型的應(yīng)用改變了以考試為中心的教學(xué)模式,在學(xué)習(xí)過程中確定了學(xué)生對知識的掌握程度。
三、BKT網(wǎng)絡(luò)教學(xué)跟蹤評價設(shè)計
1.BKT公式改進
BKT應(yīng)用的關(guān)鍵是4個參數(shù)值的確定。最初提出BKT模型的Corbett,對于參數(shù)的設(shè)定也只建議根據(jù)經(jīng)驗來設(shè)定,而沒有給出比較具體的設(shè)定方法。因此,需要對BKT模型的4個參數(shù)進一步研究,以方便在實際中應(yīng)用。
對于初始掌握狀態(tài)P(L0)一般可以從兩個方面來獲得。一是往年經(jīng)驗和歷史成績,根據(jù)往年學(xué)生學(xué)習(xí)該課程時,對知識點的掌握程度,教師可以對其賦予初始值,這個初始值也可以在后續(xù)測試中修正。二是可以進行診斷性測試,讓學(xué)生在網(wǎng)上進行答題,收集答題情況,計算學(xué)生知識點的初始掌握概率。而利用診斷性測試計算P(L0)還需要進一步改進。在實際教學(xué)中,試題類型一般分為選擇題、判斷題、填空題、簡答題、設(shè)計題等。對于公式(1)中的四個參數(shù),可以這樣設(shè)置:對于選擇題,因為每題有ABCD 4個選項,因此猜對概率P(G)為0.25;判斷題只有兩種選擇,因此P(G)為0.5;填空題、簡答題、設(shè)計題沒法猜測,因此P(G)為0。如果計算機自動判斷,題目主要是選擇題、判斷題和填空題;人工判斷會更精確,可以使用更多的簡答題、設(shè)計題。每個知識點可以設(shè)計若干試題進行測試,來判定學(xué)生知識掌握狀態(tài)。但在網(wǎng)絡(luò)課程中,對于教師教學(xué)而言,主要依據(jù)整體知識掌握狀態(tài)來進行課程講授,因此對學(xué)生知識狀態(tài)的了解需要從整體上把握。整體上看,初始知識掌握狀態(tài)P(L0)可以在知識點沒有講解之前,進行針對性測試,根據(jù)答題正確率,確定P(L0),具體如公式(3)所示:
(3)
公式(3)中i為該知識點相關(guān)試題的題型類別,即選擇題、判斷題、填空題等,Ri (C)為該題型的正確率,Pi (G)為猜對概率,Ri (Q)為該題型占總體問題的占比,Wi為該題型的權(quán)重,即分值。這樣可以在知識點講授之前,確定P(L0)。然后假定學(xué)習(xí)完成后,知識點掌握程度應(yīng)該為1。根據(jù)前述公式(1),設(shè)P(Ln)=1,求解P(T),求出知識轉(zhuǎn)移概率。然后根據(jù)知識轉(zhuǎn)移概率來判斷知識點的難易程度。當(dāng)P(T)越大,說明知識點越容易,學(xué)生越容易掌握,學(xué)習(xí)效果越好;當(dāng)P(T)越小,說明知識點越難,學(xué)生越不容易掌握,學(xué)習(xí)效果越差。然后再根據(jù) P(T)和課程重點來設(shè)計課程安排:對于既是難點又是重點的課程知識,要多花時間;對于是難點但非重點的,要少花時間;非難點又是重點的,適當(dāng)花點時間;非難點又非重點的,則可安排自學(xué)。
在知識點講授后,再進行一次測試,重新測量學(xué)生知識狀態(tài)。如果學(xué)習(xí)后的學(xué)生掌握概率達不到0.95(知識掌握狀態(tài)下的常用概率),則說明學(xué)生還沒完全掌握。然后再求解P(T),根據(jù)P(T)和目前知識點掌握情況,做兩方面的工作:(1)掌握知識概率大于0.6,轉(zhuǎn)移概率也大于0.6,說明學(xué)生掌握情況及格,只是講授時間不足,需增加講授時間;(2)掌握知識概率小于0.6,轉(zhuǎn)移概率也小于0.6,說明學(xué)生掌握情況不及格,知識點過難,內(nèi)容較多,不符合教育學(xué)中的小步教學(xué)規(guī)則,可適當(dāng)把知識點進一步細分。當(dāng)然這個概率是根據(jù)目前教學(xué)中常以60分為及格線來定的概率標(biāo)準(zhǔn),實際教學(xué)中可以根據(jù)情況進行設(shè)定。對于教學(xué)時間,BKT模型并沒有提及,這與其僅關(guān)注智能教學(xué)系統(tǒng)中的學(xué)生學(xué)習(xí)狀況有關(guān)。而在當(dāng)前網(wǎng)絡(luò)教學(xué)中,僅僅依靠學(xué)生自主學(xué)習(xí)不能保證良好的教學(xué)效果,因此一般遠程教學(xué)中都有一定的教師課下輔導(dǎo)教學(xué)安排;而在其他混合式教學(xué)模式中,教學(xué)時間也是必須的。因此需要把教學(xué)時間作為變量加入到BKT模型中,具體如公式(4)。
(4)
公式(4)中,P(Ln)是指學(xué)生在知識點學(xué)習(xí)后達到的知識掌握狀態(tài),P(L0)是在學(xué)習(xí)之前的知識掌握狀態(tài),P(T)為知識轉(zhuǎn)移概率,t為學(xué)時變量。在首次應(yīng)用BKT時,在知識點學(xué)習(xí)前后分別進行一次測試,確定P(L0)和P(Ln),然后根據(jù)學(xué)時變量(學(xué)時變量為學(xué)時數(shù)/總學(xué)時數(shù)),確定P(T)的值。該知識點P(T)值確定以后,在以后的教學(xué)中,只需要在學(xué)習(xí)前進行一次診斷性測試,確定P(L0)值,再確定P(Ln)標(biāo)準(zhǔn)(例如0.6),進而計算學(xué)時變量,就可以根據(jù)學(xué)時變量確定學(xué)時數(shù)。
2.BKT網(wǎng)絡(luò)教學(xué)跟蹤評價模型
根據(jù)BKT改進公式,可以把整個課程所有知識點看作學(xué)生的總體知識模型,從而簡化對每個知識點的分析。對于整體教學(xué)內(nèi)容,可以把學(xué)生未學(xué)之前的知識狀態(tài)設(shè)置為P(L0),通過診斷性測驗,然后根據(jù)公式(3),獲得初始概率。每次課程學(xué)習(xí)后的結(jié)果定為P(Ln),根據(jù)經(jīng)驗設(shè)定各項參數(shù),預(yù)估學(xué)生的知識掌握狀態(tài)。學(xué)習(xí)過程中隨機進行測試,以調(diào)整參數(shù)值;還可以根據(jù)計算結(jié)果調(diào)整教學(xué)進度。把每次測試都看作是學(xué)生知識掌握程度的反饋,而不是作為評價學(xué)生學(xué)習(xí)的手段,能更為精確地掌握學(xué)生學(xué)習(xí)的狀態(tài)。
因此,基于BKT的網(wǎng)絡(luò)教學(xué)跟蹤評價可以理解為以下步驟形式:首先確定測試知識點,設(shè)置前置測試題,獲取初始知識狀態(tài)。然后采集歷史數(shù)據(jù)進行參數(shù)估計,并運用BKT改進公式進行運算,根據(jù)預(yù)測結(jié)果進行分析,確定教學(xué)時間。最后進行教學(xué),完成知識點教學(xué)后再安排一次測驗,調(diào)節(jié)BKT參數(shù)值。如此反復(fù),直至課程結(jié)束。如圖1所示。
BKT網(wǎng)絡(luò)教學(xué)跟蹤評價在獲取初始知識狀態(tài)時需要注意,在進行前置測試時,必須能夠讓每位學(xué)生都參與,并且每題無論對錯都要做答,才能保證P(L0)相對準(zhǔn)確。另外在實際教學(xué)中,教師可以根據(jù)實際情況,盡可能多地設(shè)置測試,以便采集更多的學(xué)生知識學(xué)習(xí)數(shù)據(jù)。有了數(shù)據(jù),才好進行BKT分析。知識點是跟蹤評價的核心,因此對知識點的教學(xué)設(shè)計和題目設(shè)計,是BKT模型成功的重要保障。教師可以聯(lián)合課程專家,合理設(shè)置知識點,建設(shè)課程題庫,為網(wǎng)絡(luò)教學(xué)跟蹤提供信息化基礎(chǔ)條件。同時利用BKT網(wǎng)絡(luò)教學(xué)跟蹤,積極進行網(wǎng)絡(luò)課程設(shè)計,將學(xué)生的學(xué)習(xí)過程信息化、可追溯化。
BKT網(wǎng)絡(luò)教學(xué)跟蹤評價將知識狀態(tài)作為調(diào)節(jié)變量引入網(wǎng)絡(luò)教學(xué)過程中,為教師調(diào)整教學(xué)時間和教學(xué)內(nèi)容提供決策依據(jù)。在實際應(yīng)用中,該模型既可在線上實現(xiàn),也可以在線下操作,從而方便教師的使用。在線上,該模型可以結(jié)合網(wǎng)絡(luò)教學(xué)平臺,通過集成或開發(fā)新功能的方式應(yīng)用于網(wǎng)絡(luò)教學(xué)跟蹤評價。在線下,教師可以借助該模型,定期收集測試信息,代入模型,即可獲得跟蹤評價結(jié)果,從而實現(xiàn)無論線上線下,都能跟蹤學(xué)生知識掌握狀態(tài),了解學(xué)生學(xué)習(xí)狀況。
四、實證分析
1.課時估算
課時估算可用于在教學(xué)之前對知識點的用時進行分析,確定在每個知識點的教學(xué)時間。本文以ACCESS數(shù)據(jù)庫課程為例,來探究BKT網(wǎng)絡(luò)教學(xué)跟蹤評價模型的應(yīng)用效果。參加該課程學(xué)習(xí)的學(xué)生中,2012級人力資源班學(xué)生共30人,2012級工程管理班學(xué)生共33人。因為學(xué)生的期末成績其實是一種百分制的掌握概率,所以我們把成績轉(zhuǎn)換為概率來計算其知識掌握狀態(tài)P(L1),通過期末成績來預(yù)估學(xué)生的知識轉(zhuǎn)移概率P(T)。根據(jù)期末成績求均值,作為P(L1)的取值,則2012級人力資源班為0.73,2012級工程管理班為0.79。假設(shè)初始狀態(tài)P(L0)為0.01(一般不要把其設(shè)置為0,以便于計算),代入公式(1)計算P(T),則學(xué)生的轉(zhuǎn)移概率,分別為0.8和0.86,具體如表2所示。
2.學(xué)習(xí)成績預(yù)測
學(xué)生成績預(yù)測可以幫助教師在課程未結(jié)束前,及時掌握學(xué)生知識學(xué)習(xí)情況。本案例假設(shè)學(xué)生在整個學(xué)習(xí)過程中知識轉(zhuǎn)換概率是恒定不變的,利用公式(4)預(yù)估學(xué)生知識點學(xué)習(xí)后的學(xué)習(xí)狀態(tài)。本次實驗統(tǒng)計了ACCESS數(shù)據(jù)庫課程專升本2017級學(xué)生的前置測試。統(tǒng)計方法是在課程開始之前,提供10項選擇題和5項填空題,讓學(xué)生自主作答,并要求每題不管對錯,都要寫出答案。最后回收有效成績26份,通過公式(3)計算得出選擇題正確率是0.46,填空題是0.2,然后計算出P(L0)為0.15。再根據(jù)轉(zhuǎn)移概率0.8通過公式(4),計算出本課程后的知識掌握概率為0.83,即平均成績?yōu)?3分(假設(shè)P(S)、P(G)值為0)。最終期末考試后,實際平均成績?yōu)?0分,預(yù)測值與實際值差7分。具體如表4所示。