江波 高明 陳志翰 王小霞
摘要:學習過程數(shù)據(jù)反映了學習者在學習過程中的狀態(tài)。當前眾多對學習者學習過程數(shù)據(jù)進行挖掘與分析的研究,大多基于學習者在某一學習行為上投入的精力和時間來開展。這些粗粒度數(shù)據(jù)并不能細致地反映學習者的認知投入水平,且部分學習行為數(shù)據(jù)對學習效果的預測正確率不高。與學習者參與度相比,學習過程中的學習行為序列,更能反映學習者學習行為軌跡、意愿與認知過程。利用滯后序列分析法對DEEDS平臺上的學習過程數(shù)據(jù)的分析發(fā)現(xiàn):滯后序列分析法可以清晰地揭示若干重要的學習行為序列;相較于支持向量機、邏輯斯蒂回歸以及決策樹等數(shù)據(jù)挖掘方法,樸素貝葉斯方法具有良好的預測性能,平均正確率超過70%。研究結果證明,學習者的學習行為序列可以為教師呈現(xiàn)更全面的在線學習圖景,幫助教師發(fā)現(xiàn)學習者的學習習慣、偏好以及認知過程,輔助教師對教學過程進行反思。同時,通過行為序列數(shù)據(jù)可以較準確地預測出學習者的學習成就,繼而對預測模型中關鍵屬性進行分析,為教師在后續(xù)教學過程中采取有針對性的干預措施提供建議,達到提高教育教學績效的目的。
關鍵詞:學習過程;行為序列;數(shù)據(jù)挖掘;滯后序列分析法;學習效果預測
中圖分類號:G434 文獻標識碼:A 文章編號:1009-5195(2018)02-0103-10 doi10.3969/j.issn.1009-5195.2018.02.012
一、引言
學習過程數(shù)據(jù)反映了學習者在學習過程中的狀態(tài)。在傳統(tǒng)課堂教學中,往往需要指派特定人員對課堂中學習者的學習行為進行觀察、記錄,整理成學習過程數(shù)據(jù),再借助這些數(shù)據(jù)對學習者學習參與度、學習行為與學習效果關系進行研究(McIntyre et al., 1983)。但是,無論是通過傳統(tǒng)的研究人員觀察、手動記錄,還是借助視音頻錄制設備對學習者學習過程進行錄制,再經(jīng)轉錄形成研究數(shù)據(jù),都存在數(shù)據(jù)收集煩瑣、錄入易出錯等問題。隨著信息通信技術的不斷發(fā)展、各類在線學習平臺(如MOOC、Moodle等)和學習設備(如電子書包等)的不斷涌現(xiàn),人們在學習平臺、學習設備上的大量數(shù)據(jù)也得以被簡單有效地收集起來。
學習者的學習過程數(shù)據(jù)收集問題雖得以解決,但是這些數(shù)據(jù)大多是無規(guī)則的、零散的,隱含大量潛在信息,通過常規(guī)的統(tǒng)計方法難以對其進行分析。隨著數(shù)據(jù)挖掘技術在其他領域的有效應用,已有眾多研究者利用數(shù)據(jù)挖掘技術分析教育領域的學習數(shù)據(jù),發(fā)掘隱藏在其中的、具有潛在價值的信息和知識。例如,通過學習者的學習過程數(shù)據(jù),發(fā)現(xiàn)學生的學習時間偏好以及在線課程模塊訪問偏好(魏順平,2011);挖掘學習行為與學習效果之間的關聯(lián)(傅鋼善等,2014;賈積有等,2014);通過學習行為數(shù)據(jù)來預測學習者的學習效果(孫力等,2015;胡祖輝等,2017)等。現(xiàn)有的很多關于學習效果預測的相關研究是基于學習者的學習行為參與度(Engagement)數(shù)據(jù),即學習者某一學習行為上投入的精力和時間。這些粗粒度數(shù)據(jù)并不能細致地反映學習者的認知投入水平,且部分學習行為數(shù)據(jù)對學習效果的預測正確率不高(Macfadyen et al.,2010)。最新研究發(fā)現(xiàn),與學生參與度相比,學習過程中的學習行為序列,更能反映學習者學習行為軌跡、意愿與認知過程(楊現(xiàn)民等,2016)。例如,通過學習行為序列分析來研究整個活動過程行為模式(Hou et al., 2009),以及不同學習階段行為模式和不同學習成就組行為模式的比較(Yang et al.,2015)等。同時,借助學習者學習行為序列對學習者學習效果預測,可為教師確定用于監(jiān)控和分析學習過程的關鍵行為序列,達到監(jiān)測學習者學習情況、及時實施教學干預、提高學習效果的目的。受此啟發(fā),本文針對某虛擬仿真實驗平臺的學習行為數(shù)據(jù),利用學習者的學習行為序列來開展過程分析與學習效果預測研究。
二、文獻綜述
目前對學習行為的概念尚沒有明確的界定,不同學者從不同層面、不同學習環(huán)境、不同學習對象等出發(fā)對學習行為給出了各自不同的定義。例如,有學者從網(wǎng)絡環(huán)境出發(fā),認為學習行為是學習者在由現(xiàn)代信息技術所創(chuàng)設的、具有全新溝通機制與豐富資源的學習環(huán)境中,開展的遠程自主學習行為(彭文輝等,2006)或學習活動的總和(楊金來等,2008)。也有學者從學習行為涵蓋的注意力、學習動機、學習態(tài)度與策略應用等方面指出,學習行為是學習者在學習中所表現(xiàn)出來的積極的和消極的兩個方面的行為(姚純貞等,2009)。吳淑蘋(2013)針對教師這一特定學習對象,給出了其在網(wǎng)絡學習環(huán)境下的學習行為是教師在專業(yè)成長的過程中,在由信息技術所創(chuàng)設的,具有全新溝通機制、研修模式與豐富資源的網(wǎng)絡培訓環(huán)境中,開展的網(wǎng)絡自主研修學習行為。
綜合考慮學習環(huán)境、學習對象等各方面因素,研究將學習行為界定為學習者在某種動機指引下,為獲得某種學習結果而與周圍環(huán)境進行雙向交互活動的總和(郁曉華等,2013)。基于此,本研究中的學習行為序列是指按照學習行為發(fā)生時間先后所形成的行為次序,也就是將一種行為向另一種行為的轉換定義為一個行為序列。
尋找具有顯著性的若干學習行為序列可以發(fā)現(xiàn)學習者的學習行為模式。滯后序列分析法(Lag Sequential Analysis,LSA)是薩基特(Sackett,1978)提出的一種用于檢驗行為序列顯著性的方法,旨在通過分析一種行為在另一種行為之后出現(xiàn)所形成概率的顯著性來探索人類的行為模式。該方法自提出后,已被應用于眾多領域,如在電子商務領域,用于客戶行為偏好分析;在醫(yī)療領域,用于患者行為分析與治療;在游戲領域,用于玩家游戲行為分析等。近年來,該方法引起了教育研究者的廣泛關注,并將其遷移運用至教育領域內。在已有研究中,部分研究利用滯后序列分析法探究群體間在行為模式上的差異。例如,胡(Hou,2012)采用LSA探索了角色扮演游戲中不同性別群體在行為序列上的差異,并根據(jù)研究結果探討了所采用的教學模式的不足,提出了相應的改進建議。李爽等(2017)利用LSA對開放大學2131名學生在Moodle平臺上的日志數(shù)據(jù)進行了在線學習行為序列和參與模式探索。其研究發(fā)現(xiàn),根據(jù)行為序列可以定義出不同的在線參與模式,進而提出更具針對性的教學改進意見。另一部分研究,利用滯后序列分析法探索整個活動過程中的學習行為模式(Jeong,2003;Lan et al.,2012;Yang et al.,2016)。例如,胡等(Hou et al.,2009)從教師的在線討論行為出發(fā)探索了知識分享討論活動中教師的行為模式。還有一部分研究運用滯后序列對不同學習階段的學習者學習模式差異進行了分析。例如,楊等(Yang et al.,2015)利用LSA分析了協(xié)同翻譯過程中,學生在不同活動階段的知識建構行為。以往研究均表明,通過分析學習者的學習行為序列可以幫助教學相關者把握學習者潛在的行為模式,發(fā)現(xiàn)不同學習群體、整個學習活動階段以及不同學習階段學習行為上的差異。然而已有研究鮮少嘗試利用這些行為序列建立學習者學習效果預測模型,幫助教師確定用于監(jiān)控和分析學習過程的關鍵行為序列,從而實現(xiàn)監(jiān)測學習者學習情況、及時實施教學干預、提高學習效果的目的。
學習效果預測是教育數(shù)據(jù)挖掘領域的一類常見問題,一般使用學習者的各類學習數(shù)據(jù)對其學習效果進行預測(Huang et al.,2013;Jiang et al.,2014;牟智佳等,2017)。例如,通過學習者的操作日志數(shù)據(jù)、論壇行為數(shù)據(jù)對學習成績進行預測(Vicente-Arturo et al.,2012;Romero et al.,2013),或者根據(jù)學習者的行為數(shù)據(jù)對其所學課程的證書獲得情況進行預測(Qiu et al.,2016;賀超凱等,2016)。以上研究均表明通過對預測模型中相關屬性的理解與分析,可以找出影響學習效果的關鍵行為,輔助教學者在后續(xù)教學活動中采取更有針對性的教學方式,制定科學合理的教學管理制度,從而有效地提高教育教學績效。
雖然已有眾多研究對學習者學習過程數(shù)據(jù)進行挖掘與分析,但大多是從學習者在某一學習行為上投入的精力和時間來開展,較少從學習行為序列的角度來考察學習行為與學習效果之間的關聯(lián)。鑒于此,本研究基于已有學習過程數(shù)據(jù)集,應用滯后序列分析法來探索學習者的學習行為模式,并嘗試根據(jù)學習者的學習行為序列對其學習效果進行預測。
三、研究方法
1.研究問題
在已有研究基礎上,本研究嘗試應用滯后序列分析法、數(shù)據(jù)挖掘方法來研究以下兩個問題:(1)在學習者的學習過程中,有哪些行為序列的出現(xiàn)概率達到顯著性水平,由此反映的學習者學習參與模式是怎樣的?(2)根據(jù)學習者在學習過程中的學習行為序列,是否可以對學習者的學習效果進行預測?
2.案例課程與數(shù)據(jù)樣本
本研究以意大利熱那亞大學(University of Genoa)2014年秋季學期“數(shù)字電路”實驗課程有完整記錄的93名計算機工程專業(yè)學生在DEEDS(Digital Electronics Education and Design Suite)平臺上的學習過程數(shù)據(jù)為樣本。該課程分為理論教學和實驗教學兩部分,其中本研究所涉及的實驗學習部分,主要是在學生完成理論知識學習后,在教室環(huán)境下借助DEEDS平臺提供的虛擬仿真環(huán)境根據(jù)預設的學習任務在規(guī)定時間內自主探究并完成實驗課程的學習。DEEDS是由意大利兩位學者專為“數(shù)字電路”實驗課程的學習而開發(fā)的(Donzellini et al.,2007),集成了課程所需的“數(shù)字電路模擬器(d-DcS)”“有限狀態(tài)機模擬器(d-FsM)”和“微機接口與編程模擬器(d-McE)”三大模擬器,可實現(xiàn)邏輯電路的設計、組裝、測試以及時序電路圖繪制等多種功能,為課程電路實驗的開展提供了一個逼真的虛擬仿真實驗環(huán)境。
學習者在DEEDS平臺上的學習過程數(shù)據(jù)經(jīng)研究者使用特定軟件被收集起來(Vahdat et al.,2015),從而形成了研究所使用的數(shù)據(jù)集。本研究分析的是93名學生在2014年秋季學期“數(shù)字電路”課程學習中產(chǎn)生的20余萬條數(shù)據(jù),這些數(shù)據(jù)構成了本研究的數(shù)據(jù)樣本。研究重點分析數(shù)據(jù)集所記錄的學號(student_id)、活動(activity)等字段,考察學生在虛擬仿真實驗環(huán)境下的行為序列與轉換模式,并嘗試從行為序列出發(fā)對學習者的學習效果進行預測。
3.數(shù)據(jù)處理與編碼
原始數(shù)據(jù)集定義并記錄了不同學時和不同學習任務下的15種大類的學習活動。例如,“Deeds_Es_# _#”表示某一課時進行某一任務的普通邏輯電路模擬活動,“Deeds_Es”表示未具體甄別出所屬課時以及所屬任務的普通邏輯電路模擬活動。需要說明的是,“Deeds_Es_#_#”和“Deeds_Es”雖然在數(shù)據(jù)采集中被認為是兩種學習活動,但它們之間的差異僅在于具體課時和任務的不同,本質上還是在進行邏輯電路模擬活動。因此,本研究對類似的學習活動進行了合并處理,將其歸納為9種學習行為,作為行為序列分析的行為對象。表1呈現(xiàn)的是9種行為的名稱、描述、來源活動以及研究編碼。
如前所述,本研究將一種行為向另一種行為的轉換定義為一個行為序列,并用兩種行為的編碼組合表示兩種行為形成的序列,組合中行為編碼的前后順序代表該序列中行為轉換的方向。例如,AS表示先查看學習任務(A)后閱讀學習資料(S)這一行為序列,亦即從查看學習任務(A)跳轉到閱讀學習資料(S)所形成的序列。根據(jù)行為序列的定義,本研究中的9種行為形成了可供研究的81個行為序列。
4.研究工具與方法
研究首先采用Python語言編寫算法從原始數(shù)據(jù)集中提取學習行為數(shù)據(jù)并生成研究所需格式的行為序列文件;之后,采用滯后序列分析工具GSEQ 5.1①對兩種行為所形成序列的發(fā)生頻次和概率值進行計算,并根據(jù)結果繪制行為轉換模式圖;接著,采用適用于Python語言的數(shù)據(jù)挖掘包scikit-learn進行學習效果預測研究,運用SPSS 18.0對包含不同特征數(shù)目的模型進行預測效果比較以及最終模型確定等工作。
四、研究結果
1.學習過程分析
研究應用滯后序列分析法考察學習者在學習過程中達到顯著性水平的行為序列,構建學習者在虛擬仿真環(huán)境下進行實驗學習的行為序列轉換圖,呈現(xiàn)一幅學習過程全景圖,并進一步對行為序列轉換圖所反映出的行為模式、學習習慣等進行分析。
(1)行為序列總體情況
研究首先對學生在課程學習期間所產(chǎn)生學習行為序列的頻次進行統(tǒng)計,形成如表2所示的9種學習行為間的轉換頻次表。表中行代表起始行為,列表示緊接著該行行為之后發(fā)生的行為,也就是由行行為跳轉到列行為;表中數(shù)據(jù)代表的是兩種行為所形成的行為序列的發(fā)生頻次。例如,第1行第3列中的數(shù)字339表示,在查看學習任務行為(A)后緊接著進行普通電路模擬行為(D1)這一行為序列發(fā)生的總頻次為339次。另外,從表2中也可以快速發(fā)現(xiàn)序列發(fā)生頻次的總體情況,例如出現(xiàn)較多的行為序列有D1T(從組裝與運行普通電路行為跳轉到記錄與反思實驗結果行為,11686次)、TD1(記錄與反思實驗結果行為跳轉到組裝與運行普通電路行為,12215次),出現(xiàn)較少的行為序列有AP(查看學習任務行為跳轉到電路參數(shù)調節(jié)行為,7次)等。
(2)行為轉換模式分析
根據(jù)滯后序列分析理論,表3是在行為頻次矩陣基礎上調整后的殘差表,表中數(shù)據(jù)是兩種行為所形成的行為序列發(fā)生頻次調整后的殘差值(Z-score)。其中,Z-score>1.96表明該行為序列出現(xiàn)的頻次在統(tǒng)計上具有顯著意義(p<0.05)。從表3中可以發(fā)現(xiàn),AA(從查看一個學習任務跳轉到查看另一個學習任務)、OA(由進行與實驗無關的其他行為跳轉到查看學習任務)以及SA(從閱讀學習資料行為跳轉到查看學習任務)等31個行為序列發(fā)生頻次達到了顯著性水平。為了更直觀呈現(xiàn)學習過程中行為序列之間的跳轉情況,依據(jù)其中具有顯著意義的31個行為序列繪制了如圖1所示的行為序列轉換圖。圖中節(jié)點表示各種學習行為,節(jié)點之間的連線表示有意義的行為序列,箭頭代表行為轉換的方向。
圖1中不同節(jié)點之間眾多的交叉連線表明,學生在DEEDS平臺上的行為轉換較為豐富。由圖可知,9種學習行為中,普通電路模擬行為(D1)、閱讀學習資料行為(S)與其他行為相比有著更多具有顯著意義的序列。另外,可以發(fā)現(xiàn)這些序列中既包括單向的跳轉序列,也包括雙向的彼此交互序列。
通過對圖1所示行為序列轉換圖的分析可以發(fā)現(xiàn)學習者潛在的一些行為模式、學習習慣以及認知過程等:(1)當學習者在查看學習任務時,傾向于對當前課時學習任務首先進行一番了解(AA),以便做出合理的計劃。例如,是選擇按照所給任務順序按部就班完成當前課時的學習,還是選擇先完成自己熟悉的,再探究尚不熟悉的內容。(2)在進行普通電路的模擬時,他們傾向于在電路運行成功后及時記錄實驗結果(D1T)。(3)在進行時序電路圖的繪制時,傾向于不斷運行實驗電路,根據(jù)實驗現(xiàn)象來繪制對應的時序電路圖(D2D1、D1D2)。(4)在實驗中遇到問題時,經(jīng)常采取的解決辦法有以下幾種:其一,不斷試錯。例如,D1P、PD1(或者FP、PF)表示的是不斷調整參數(shù)不斷運行電路這一行為,D2P、PD2表示的是調整參數(shù)與制圖之間的往返行為。其二,通過在平臺上查閱教師分發(fā)的學習資料尋找解決辦法(D1S、SD1)。其三,通過回顧以往學習內容,如查看已完成的電路或時序電路圖,從而獲得啟發(fā)以解決當前所遇到的問題(D2D2、FF)。(5)與其他學習行為相比,當學習者在查看學習任務或閱讀學習資料時,他們的注意力更容易分散,從事一些與學習無關的活動(AO、SO)。學生在A、S兩種行為之后更易分神的原因:一方面可能是在學習基本理論知識時遇到困難,導致在查看實驗課程學習任務時無法激起學習興趣,直接放棄本節(jié)課的學習,同時為了應付教師在實驗學習時的巡視,在兩個活動界面間不斷切換(OA、AO);另一方面可能是在電路運行時出現(xiàn)問題,查閱學習資料時對學習資料無法理解或依舊無法找出解決辦法時放棄嘗試,從事與學習無關的學習活動(SO)。另外,當學習者從事與學習無關的行為時,往往更難以進行自我約束,以致難以及時返回到當前學習進程中,這與在線學習環(huán)境下經(jīng)常出現(xiàn)的情況也是相吻合的(OO)。
同時,通過對行為序列轉換圖(圖1)的分析,也可以發(fā)現(xiàn)學生在虛擬仿真環(huán)境下進行實驗學習的一些局限。例如,F(xiàn)S序列的缺乏表明學生在有限狀態(tài)機實驗環(huán)節(jié)遇到困惑時,較少通過查閱或復習相關學習資料去尋求解決辦法,而更傾向于通過調節(jié)參數(shù)來解決(FP、PF)。然而學生在普通電路實驗環(huán)節(jié)遇到問題時,卻能夠通過查閱學習資料尋找解決辦法(D1S)。FS序列未達到顯著性水平,這可能在某種程度上揭示了教師在平臺上所提供的學習資料存在一定的缺陷,未能起到解惑和補充的作用。D2S的缺乏可能同樣表明了教師所提供的學習資料內容在繪制時序電路圖環(huán)節(jié)的局限性。再如,由圖1可知,與編碼O所示行為(與實驗無關的其他行為)進行交互所形成的序列大多是查看學習任務(OA)、跳轉到另一無關行為(OO)等,而缺乏OD1(由無關行為跳轉到組裝與運行普通電路)、OD2(從無關行為回到繪制時序電路圖)、OF(由無關行為跳轉到組裝與運行有限狀態(tài)機電路)等行為序列,表明當學生偏離學習路線時,他們往往很難再繼續(xù)回到與實驗學習直接相關的電路組裝與繪制時序電路圖等行為上。這在某種程度上也反映了教師在學生的學習過程中可能未能很好地起到監(jiān)督與引導作用,未能在學生偏離當前學習路線時及時進行干預,讓學生返回到當前的實驗學習中。因此,在后續(xù)教學中,教師還應重視對學生學習過程的觀察,積極與學生進行交流,了解學生在學習過程中的問題所在,及時進行引導。
2.學習成績預測建模與分析
在進行學習效果預測之前,研究對原始數(shù)據(jù)進行了如下處理:
第一,預測屬性的劃分。原始學習成績采用的是百分制,研究取60分作為中間值,將成績劃分成“及格”和“不及格”兩個類別,并以此作為預測屬性。
第二,數(shù)據(jù)歸一化。為了消除特征屬性之間的量綱對數(shù)據(jù)挖掘的影響,本研究將所有學習者的81種行為序列特征屬性取值歸一化處理至0到1之間。
(1)特征選擇
本研究采用卡方檢驗進行特征屬性的選擇。基于卡方檢驗的特征選擇是通過計算每一個特征屬性與類別之間的卡方統(tǒng)計量來表示兩者之間的相關性,卡方統(tǒng)計量越大表明兩者之間的相關性越大。表4是特征屬性與類別按卡方值大小排序后得到的卡方檢驗結果。從表中可以發(fā)現(xiàn),與學習效果關系最密切的三個行為序列分別是PF、FP、ST,最不相關的是最后6個行為序列。為了選擇不同的行為序列屬性進行建模,研究根據(jù)卡方值大小生成81個特征子集,即第一個特征子集中僅包含卡方值最大的一個行為序列(PF),第二個特征子集中包含卡方值最大的2個序列特征PF、FP,依此類推,第81個特征子集中包含全部的行為序列。
(2)模型建立
在對學習行為序列與學習效果進行相關性分析后,本研究使用Python及其常用的scikit-learn包作為數(shù)據(jù)挖掘工具,應用四種常用的數(shù)據(jù)挖掘方法——樸素貝葉斯(Romero et al.,2013)、支持向量機(Qiu et al.,2016)、邏輯斯蒂回歸(賀超凱等,2016)以及決策樹(孫力等,2015;胡祖輝等,2017)方法進行數(shù)據(jù)挖掘。在進行樣本選擇時,使用了10折交叉驗證方法。
確定好所選擇挖掘算法和樣本數(shù)據(jù)后,依次選擇不同的特征子集作為特征屬性輸入,同時將“成績類別”既作為輸入值又作為預測值。四種方法在采用81個不同特征子集,運行30次后所得預測效果如圖2所示。圖中圓點表示的是四種方法采用不同特征子集建立預測模型運行30次后的平均預測準確率;豎線表示的是30次運行結果的標準差,反映了選用不同特征數(shù)目所得模型在預測效果方面的穩(wěn)定性。
如圖2所示,通過樸素貝葉斯方法(Bayes)建立的模型總體預測效果要高于其他三種方法所建立的模型。此外,圖2也展示了應用不同方法所建學習效果預測準確率與所選特征數(shù)目的關系。例如,在應用樸素貝葉斯方法建立學習效果預測模型時(圖2(a)),學習效果預測準確率隨所選特征數(shù)目的增加總體呈上升趨勢。當特征子集中特征數(shù)目取44時,所建立模型對學習效果的預測準確率取得較大值72.97%。此后,除特征數(shù)目取56時所建模型學習效果預測準確率陡增至71.80%外,隨著特征數(shù)目再次增加,學習效果預測準確率開始呈下降趨勢。在應用支持向量機方法(SVM)對學習效果建立預測模型時(圖2(b)),當所選特征子集中只包含最大的1個特征時,所建立模型對學習效果的預測準確率最佳(54.97%)。由圖2(c)可知,應用邏輯斯蒂回歸方法(Logistic)對學習效果進行預測時,選用不同特征子集對學習效果預測準確度不會產(chǎn)生影響。在應用決策樹方法(Decision Tree)進行預測建模時(圖2(d)),當特征子集中包含最大的5個特征時,對學習效果的預測準確率達到最大值(61.87%)。此后隨著特征子集中特征數(shù)目的增加,學習效果預測準確度呈下降趨勢。
(3)模型選擇與分析
通過對上述四種方法所取得學習效果預測準確度分析可知,應用樸素貝葉斯方法所得學習效果預測準確率明顯高于其他三種方法。從圖2(a)中可以發(fā)現(xiàn),選用不同特征數(shù)目所建預測模型的準確率結果中有9個峰值,模型所對應的特征數(shù)目分別為5、11、15、18、20、29、34、44、56。上述9個預測模型進行獨立樣本T檢驗的結果如表5所示。綜合考慮模型復雜度、模型差異性和預測準確度,本研究選擇特征數(shù)目為29的預測模型為最終結果。模型所選擇的特征數(shù)目為表4所示的前29個,平均預測準確度達到73.10%,總體來說具有良好的預測效果。
為了更直觀地展示最終所選擇學習成績預測模型中與學習效果密切相關的學習行為序列,根據(jù)所得預測模型中與學習效果較密切相關(亦即表4中卡方值最大)的8個序列繪制了類似的行為序列轉換圖(如圖3所示)。
從圖3中可以發(fā)現(xiàn),更多有意義的行為序列發(fā)生在與F(有限狀態(tài)機時序電路模擬)交互生成的行為序列中。在該課程的學習中,有限狀態(tài)機時序電路方面的內容既是課程的重點,也是課程的一大難點(Vahdat et al.,2015),而且該章節(jié)的內容占據(jù)了整個實驗課程內容60%的比重,這也解釋了為什么與學習效果密切相關的行為序列是與F交互生成的。
此外,與F交互的行為也是學習者學習投入與學習意愿的表現(xiàn)。如FT、TF序列表示的是學習者在電路運行成功后,根據(jù)所呈現(xiàn)的現(xiàn)象對實驗結果進行記錄。FS、SF、FP、PF這些序列表征的是學習者問題解決的過程,其中F與S所形成的行為序列,展示的是學習者采取查詢資料的方式來解決問題;F與P所形成的序列,體現(xiàn)的是通過不斷試錯來尋找解決辦法。在最終所要提交的實驗報告中,除了對實驗結果進行記錄外,還有部分知識是需要學習者對學習內容理解后進行作答,這也解釋了為什么ST、TS序列也會出現(xiàn)在圖3中。上述這些行為發(fā)生得越頻繁,表明學生為獲得更好的表現(xiàn)和達到課程目標投入更多努力的意愿。
從表4還可以發(fā)現(xiàn),除ST(閱讀學習資源并進行記錄)序列外,與實踐操作相關的PF、FP以及SF序列具有更大的卡方值,也就是說這些行為序列與學習效果關聯(lián)性更大。建構主義學習理論認為,知識不是從教師講授中得到的,而是學習者在一定的情境下,借助其他輔助手段,利用必要的學習材料和學習資源,通過意義建構的方式而獲得的。在案例課程中,DEEDS提供了學習者所需要的學習情境,教師提供了必要的學習材料和資源,PF、FP以及SF體現(xiàn)的正是學習者通過意義建構獲得知識的過程。這也驗證了在學習行為序列基礎上所建立學習效果預測模型的有效性。
五、討論與總結
學習過程數(shù)據(jù)反映了學習者在學習過程中的狀態(tài)。通過對學習過程數(shù)據(jù)進行分析,無論是對教師發(fā)現(xiàn)教學現(xiàn)象、掌握教學規(guī)律,還是調整教學策略、優(yōu)化教學路徑、提高教學效果和教師專業(yè)發(fā)展能力都具有重要意義。
1.促進對教與學過程的理解
通過對學習行為序列的分析,可以促進教師或教學研究者對教與學過程的理解,從而幫助研究者和教學者,尤其是缺乏教學經(jīng)驗或剛入職的年輕教師,發(fā)現(xiàn)學生的學習路徑,掌握學生的行為偏好,把握學生潛在的行為模式。例如在滯后序列分析中,本研究發(fā)現(xiàn):學習者與在傳統(tǒng)實驗環(huán)境中一樣,在虛擬仿真環(huán)境下依然保持著在實驗運行成功后立即記錄實驗結果(D1T)的習慣。再如,具有顯著性意義的D1P、PD1、D1S、SD1、D2D2、FF行為序列表明學習者常采用的問題解決方式是不斷試錯、查閱資料以及對以往學習內容的回顧。
同時,通過將滯后序列分析中繪制的行為序列轉換圖與教學者預設的學習模式圖進行對比,可以幫助教學者找出預想學習模式與實際學習模式存在的差異,幫助教學者進行教學反思,形成實踐性見識。如在本研究中,AD1、AF(兩個序列均表示查看學習任務后進入實驗的跳轉行為)序列的缺失表明學習者并不是在獲知學習任務后立即著手開始實驗,往往傾向于先進行一些其他活動,繼而再跳轉到實驗環(huán)節(jié)。教學者可以采取多種形式獲知出現(xiàn)此類現(xiàn)象的原因,例如是學習平臺存在缺陷還是教師的引導方式存在問題,進而為改善后續(xù)教學提供支持。
2.發(fā)現(xiàn)有效行為序列與教學規(guī)律
發(fā)現(xiàn)和定義對學習效果具有促進意義的行為序列是提高教學績效的前提。通過對所建立學習效果預測模型中關鍵數(shù)據(jù)節(jié)點的分析與解讀,可為教師確定用于監(jiān)控和分析學習過程的關鍵行為序列,亦可幫助教師發(fā)現(xiàn)教學重點,輔助教師采取科學有效的教學形式。例如,本研究發(fā)現(xiàn),在案例課程中,與學習效果密切相關的行為序列大多是在有限狀態(tài)機實驗環(huán)節(jié)呈現(xiàn)的行為序列(即出現(xiàn)在預測模型中的序列是與F交互生成的)。為了達到幫助學習者對教學內容理解與掌握的目的,教師可以在此發(fā)現(xiàn)上提供該章節(jié)更豐富的學習資料,引導學生采取正確有效的學習形式。
以往的規(guī)律往往是研究者通過主觀臆想或演繹推論得出的,較少從復雜、多變的教學或學習現(xiàn)象觀察中研究得出。通過對學習效果預測模型中關鍵行為序列的分析,可為教師發(fā)現(xiàn)和掌握教與學規(guī)律提供支持。例如本研究發(fā)現(xiàn),即使是在虛擬仿真環(huán)境下,最有效的提升學生對學習效果理解與掌握的途徑還是為學習者提供所需要的學習情境、必要的學習材料和資源,讓學生自主建構知識。
3.及時實施干預,提升教學效果
通過分析學習行為轉換,可以幫助教學者發(fā)現(xiàn)學生的學習路徑、掌握學生的行為偏好、把握學生潛在的行為模式,促進教師對教學過程的反思;通過學習行為序列建立學習效果預測模型,可以幫助教師找出更有意義的行為序列、發(fā)現(xiàn)教學規(guī)律,同時為教師確定可用于教學監(jiān)控的關鍵指標。兩者有效結合,可以幫助教師轉換教學模式,調整教學策略,提升教學經(jīng)驗,監(jiān)控學生的學習過程,并在學習發(fā)生偏離時實施教學干預,從而達到優(yōu)化教與學活動、提升教學效果的目的。例如,在本研究案例課程的后續(xù)教學中,教師可以對AO、SO、OO以及與B交互形成的多種在頻次上具有顯著意義但與學習效果無顯著意義的序列進行干預,引導學生更多地參與到與學習密切相關的學習活動中。
注釋:
① 滯后序列分析工具GSEQ5.1相關信息:http://www2.gsu.edu/~psyrab/gseq/index.html。
參考文獻:
[1]傅鋼善,王改花(2014). 基于數(shù)據(jù)挖掘的網(wǎng)絡學習行為與學習效果研究[J]. 電化教育研究, (9): 53-57.
[2]賀超凱,吳蒙(2016). edX 平臺教育大數(shù)據(jù)的學習行為分析與預測[J]. 中國遠程教育, (6): 54-59.
[3]胡祖輝,施佺(2017). 高校學生上網(wǎng)行為分析與數(shù)據(jù)挖掘研究[J]. 中國遠程教育, (2): 26-32.
[4]賈積有,繆靜敏,汪瓊 (2014). MOOC學習行為及效果的大數(shù)據(jù)分析——以北大6門MOOC為例[J]. 工業(yè)和信息化教育, (9): 23-29.
[5]李爽,鐘瑤,喻忱等(2017). 基于行為序列分析對在線學習參與模式的探索[J]. 中國電化教育, (3): 88-95.
[6]牟智佳,武法提(2017). MOOC學習結果預測指標探索與學習群體特征分析[J]. 現(xiàn)代遠程教育研究, (3), 58-66+93.
[7]彭文輝,楊宗凱,黃克斌(2006). 網(wǎng)絡學習行為分析及其模型研究[J]. 中國電化教育, (10): 31-35.
[8]孫力,程玉霞(2015). 大數(shù)據(jù)時代網(wǎng)絡教育學習成績預測的研究與實現(xiàn)——以本科公共課程統(tǒng)考英語為例[J]. 開放教育研究, (3): 74-80.
[9]魏順平(2011). Moodle 平臺數(shù)據(jù)挖掘研究——以一門在線培訓課程學習過程分析為例[J]. 中國遠程教育, (1): 24-30.
[10]吳淑蘋(2013). 基于數(shù)據(jù)挖掘的教師網(wǎng)絡學習行為分析與研究[J]. 教師教育研究, (3): 47-55.
[11]楊金來,洪偉林,張翼翔(2008). 網(wǎng)絡學習行為的實時監(jiān)控研究與實踐[J]. 開放教育研究, (4): 87-92.
[12]楊現(xiàn)民,王懷波,李冀紅 (2016). 滯后序列分析法在學習行為分析中的應用[J]. 中國電化教育,(2): 17-23,32.
[13]姚純貞,米建榮,王紅成(2009). 國內外學習行為研究綜述[J].教學與管理,(30): 48-50.
[14]郁曉華,顧小清(2013). 學習活動流:一個學習分析的行為模型[J]. 遠程教育雜志,(4): 20-28.
[15]Donzellini, G., & Ponta, D. (2007). A Simulation Environment for e-Learning in Digital Design[J]. IEEE Transactions on Industrial Electronics, 54(6): 3078-3085.
[16]Hou, H.-T. (2012). Exploring the Behavioral Patterns of Learners in an Educational Massively Multiple Online Role-Playing Game (MMORPG)[J]. Computers & Education, 58(4): 1225-1233.
[17]Hou, H.-T., Sung, Y.-T., & Chang, K.-E. (2009). Exploring the Behavioral Patterns of an Online Knowledge-Sharing Discussion Activity Among Teachers With Problem-Solving Strategy[J]. Teaching and Teacher Education, 25(1): 101-108.
[18]Huang, S., & Fang, N. (2013). Predicting Student Academic Performance in an Engineering Dynamics Course: A Comparison of Four Types of Predictive Mathematical Models[J]. Computers & Education, 61: 133-145.
[19]Jeong, A. C. (2003). The Sequential Analysis of Group Interaction and Critical Thinking in Online[J]. American Journal of Distance Education, 17(1): 25-43.
[20]Jiang, S., Warschauer, M., E., & Williams, A. et al.(2014). Predicting MOOC Performance with Week 1 Behavior[A]. J. Stamper, Z. Pardos, M. Mavrikis & B. M. McLaren (2014). Proceedings of the 7th International Conference on Educational Data Mining[C]:273-275.
[21]Lan, Y.-F., Tsai, P.-W., & Yang, S.-H. et al.(2012). Comparing the Social Knowledge Construction Behavioral Patterns of Problem-Based Online Asynchronous Discussion in E/M-Learning Environments[J]. Computers & Education, 59(4): 1122-1135.
[22]Macfadyen, L. P., & Dawson, S. (2010). Mining LMS Data to Develop an “Early Warning System” for Educators: A Proof of Concept[J]. Computers & Education, 54(2): 588-599.
[23]McIntyre, D. J., Copenhaver, R. W., & Byrd, D. M. et al. (1983). A Study of Engaged Student Behavior Within Classroom Activities During Mathematics Class[J]. The Journal of Educational Research, 77(1): 55-59.
[24]Qiu, J., Tang, J., & Liu, T. X. et al. (2016). Modeling and Predicting Learning Behavior in MOOCs[A]. Proceedings of the Ninth ACM International Conference on Web Search and Data Mining[C]:93-102.
[25]Romero, C., López, M.-I., & Luna, J.-M. et al.(2013). Predicting StudentsFinal Performance From Participation in On-Line Discussion Forums[J]. Computers & Education, 68: 458-472.
[26]Sackett, G. P. (1978). Observing Behavior: Theory and Applications in Mental Retardation (Vol. 1)[M]. Baltimore: University Park Press.
[27]Vahdat, M., Oneto, L., & Anguita, D. et al.(2015). A Learning Analytics Approach to Correlate the Academic Achievements of Students with Interaction Data from an Educational Simulator[A]. G. Conole, T. Klobu?ar, & C. Rensing et al.(2015). Design for Teaching and Learning in a Networked World[M]. Springer International Publishing: 352-366.
[28]Vicente-Arturo, R.-Z., Abelardo, P., & Daniel, B. et al.(2012). Monitoring Student Progress Using Virtual Appliances: A Case Study[J]. Computers & Education, 58(4): 1058-1067.
[29]Yang, X., Guo, X., & Yu, S. (2016). Student-Generated Content in College Teaching: Content Quality, Behavioural Pattern and Learning Performance[J]. Journal of Computer Assisted Learning, 32(1): 1-15.
[30]Yang, X., Li, J., Guo, X., & Li, X. (2015). Group Interactive Network and Behavioral Patterns in Online English-To-Chinese Cooperative Translation Activity[J]. The Internet and Higher Education, 25: 28-36.
收稿日期 2017-10-28 責任編輯 汪燕