慕課試驗(yàn)平臺(tái)的研發(fā)：一項(xiàng)用戶研究的結(jié)果

維托米爾·科瓦諾維克+斯雷奇科·約克西莫維奇+菲利普·凱特林諾珀洛斯+哈拉蘭博斯·米凱爾+喬治·西蒙斯+德拉甘·伽瑟維克

【摘 要】 2011年，大規(guī)模公開在線課程（簡(jiǎn)稱“慕課”）席卷教育領(lǐng)域，在線教育因此成為全世界公共輿論的焦點(diǎn)。雖然研究者對(duì)于能收集到海量的慕課數(shù)據(jù)倍感興奮，然而由于面對(duì)幾個(gè)方面的挑戰(zhàn)，這種數(shù)據(jù)并沒有如同預(yù)期那樣發(fā)揮作用。慕課的數(shù)據(jù)分析既耗時(shí)又費(fèi)力，而且需要使用一套非常先進(jìn)但卻尚未被教育研究者所掌握的技術(shù)性技能。因此，慕課數(shù)據(jù)分析很少在課程結(jié)束之前進(jìn)行，這樣一來(lái)數(shù)據(jù)在影響學(xué)生學(xué)習(xí)結(jié)果和體驗(yàn)方面的潛能受到限制。本文介紹我們研發(fā)的一種用戶友好型慕課數(shù)據(jù)分析軟件平臺(tái)——MOOCito（MOOC intervention tool，慕課干預(yù)工具）。這種工具主要是為了開展根據(jù)數(shù)據(jù)而做出的教學(xué)干預(yù)和課程實(shí)驗(yàn)。本文闡述MOOCito的重要設(shè)計(jì)原則，同時(shí)也對(duì)促使我們研發(fā)這種工具的慕課研究趨勢(shì)做一個(gè)概述。這項(xiàng)工作仍在進(jìn)行中，本文簡(jiǎn)要介紹MOOCito原型，同時(shí)呈現(xiàn)一項(xiàng)旨在了解這個(gè)系統(tǒng)的感知有用性和易用性的用戶評(píng)價(jià)研究結(jié)果。本文還討論了本研究的結(jié)果以及這些研究結(jié)果對(duì)實(shí)踐的啟示。

【關(guān)鍵詞】 大規(guī)模公開在線課程（慕課）；A/B 測(cè)試；對(duì)照實(shí)驗(yàn)；分析平臺(tái)；用戶研究；技術(shù)接受模型；Coursera

【中圖分類號(hào)】 G420 【文獻(xiàn)標(biāo)識(shí)碼】 B 【文章編號(hào)】 1009-458x（2017）07-0016-10

導(dǎo)讀：眾所周知，慕課備受詬病的問題之一是輟學(xué)率高，而導(dǎo)致輟學(xué)率居高不下的首要原因是慕課教學(xué)/學(xué)習(xí)缺乏個(gè)性化指導(dǎo)和支持。提供慕課的機(jī)構(gòu)也一直在苦苦尋找破解這個(gè)難題的路徑，然而這個(gè)問題至今未見明顯改善，因?yàn)槟秸n生師比如此之大，如果按照傳統(tǒng)課堂教學(xué)的方法提供個(gè)性化教學(xué)和支持服務(wù)，那么慕課的規(guī)模優(yōu)勢(shì)蕩然無(wú)存，且不說(shuō)教育機(jī)構(gòu)是否能夠按照“合理”比例配足教師——這本身也是一個(gè)問題。因此，有些機(jī)構(gòu)、教師和研究者認(rèn)為，為了能夠?qū)崿F(xiàn)規(guī)模化，犧牲個(gè)性化似乎在所難免；這種觀點(diǎn)尤其受到以追逐利潤(rùn)為終極目標(biāo)的商業(yè)性教育機(jī)構(gòu)的推崇，大有愈演愈烈之勢(shì)。但是，這顯然違背了教育教學(xué)規(guī)律。可喜的是，國(guó)外同仁一直沒有放棄個(gè)性化慕課的教學(xué)嘗試。例如，西班牙拉里奧哈國(guó)際大學(xué)丹尼爾·布爾戈斯教授和同事阿爾貝托·考比為本期“國(guó)際論壇”撰寫的文章《轉(zhuǎn)基因?qū)W習(xí)：構(gòu)建基于規(guī)則、適合大規(guī)模招生的e-learning推薦模型》，向中國(guó)同行介紹布爾戈斯教授四年前提出的個(gè)性化e-learning推薦模型LIME（Learning Interaction Mentoring Evaluation）和經(jīng)過不斷探索改進(jìn)而研發(fā)出來(lái)的“適合云學(xué)習(xí)環(huán)境（SPOCs或MOOCs）、輔導(dǎo)教師/教師人工操作、基于規(guī)則的推薦系統(tǒng)”iLIME，其最主要的目的是賦權(quán)于慕課教師，提高教學(xué)和學(xué)習(xí)支持的個(gè)性化水平。

《慕課試驗(yàn)平臺(tái)的研發(fā)：一項(xiàng)用戶研究的結(jié)果》這篇文章介紹的是這幾位研究者正在進(jìn)行之中的一項(xiàng)研究的初步成果：一種慕課分析技術(shù)平臺(tái)MOOCito（MOOC intervention tool）的原型以及反映這個(gè)平臺(tái)的感知有用性和感知易用性的目標(biāo)用戶評(píng)價(jià)研究結(jié)果。這項(xiàng)研究最吸引我之處是其研究目的：“使幾乎沒有技術(shù)背景的教師能夠分析慕課數(shù)據(jù)，更好地了解學(xué)生的學(xué)習(xí)情況”和教師“能夠在授課過程中根據(jù)分析結(jié)果采取行動(dòng)和開展試驗(yàn)，以提升學(xué)生學(xué)習(xí)體驗(yàn)，更好地了解學(xué)習(xí)過程”。正因如此，它的設(shè)計(jì)原則是：不以具備技術(shù)知識(shí)為前提、漸進(jìn)式數(shù)據(jù)輸入、支持聚類分析、支持教學(xué)干預(yù)、便于后續(xù)數(shù)據(jù)分析和支持研究的復(fù)制。恕我孤陋寡聞，我認(rèn)為這些都是本研究有別于同類研究之處或者比同類研究更勝一籌之處。對(duì)于慕課研究成果的應(yīng)用，我相信很多一線教師都有這種感覺：要么是看不懂，要么是不知如何把這些成果用于提升自己的教學(xué)實(shí)踐。至于慕課研究，雖然這是一個(gè)廣闊的舞臺(tái)，①但是一線教師和大多數(shù)教育研究者往往是懷著“敬畏之心”并“敬而遠(yuǎn)之”，因?yàn)槟秸n研究基本上離不開分析技術(shù)工具的使用，研究者必須有相當(dāng)水平的技術(shù)知識(shí)和技能，能夠讀懂各種數(shù)理統(tǒng)計(jì)圖表，等等。教育研究者和一線教師本來(lái)應(yīng)該是慕課研究的主力軍和慕課研究成果推廣應(yīng)用的主角，然而這個(gè)領(lǐng)域的現(xiàn)狀卻是，很多研究者有很強(qiáng)的技術(shù)背景但并非嚴(yán)格意義上的教育教學(xué)行家或缺少教學(xué)經(jīng)驗(yàn)，研究成果往往也是一經(jīng)問世便被束之高閣，未能發(fā)揮理論促進(jìn)教學(xué)或理論與實(shí)踐相長(zhǎng)的作用。

雖然MOOCito現(xiàn)在仍然只是一個(gè)原型，相關(guān)研究工作還在進(jìn)行之中，但是它的理念確實(shí)不同一般，跟LIME模型和iLIME系統(tǒng)相比，對(duì)教師（以及教育研究者）的賦權(quán)力度可能更大。有了這種工具，教師參與慕課教學(xué)試驗(yàn)的熱情可能更加高漲，在慕課研究中也可能發(fā)揮更大作用，慕課研究成果可能得到更好的推廣應(yīng)用。如果MOOCito的研發(fā)理念能夠?qū)ζ渌芯空哂兴鶈l(fā)，轉(zhuǎn)變目前慕課研究視角和著重點(diǎn)，進(jìn)一步加強(qiáng)理論研究與實(shí)踐探索的相互作用，我甚至斗膽預(yù)言：到那個(gè)時(shí)候，慕課的教學(xué)與研究生態(tài)會(huì)出現(xiàn)新景象。

最后，衷心感謝來(lái)自塞爾維亞、希臘和加拿大三國(guó)的六位同行對(duì)本刊的信任和支持！（肖俊洪）

引言

本文闡述解決上述一些問題的初步計(jì)劃，介紹一個(gè)新的慕課分析技術(shù)平臺(tái)。這是一項(xiàng)仍然在進(jìn)行中的工作。這個(gè)平臺(tái)旨在使幾乎沒有技術(shù)背景的教師能夠分析慕課數(shù)據(jù)，更好地了解學(xué)生的學(xué)習(xí)情況。再者，教師應(yīng)該能夠在授課過程中根據(jù)分析結(jié)果采取行動(dòng)和開展試驗(yàn)，以提升學(xué)生學(xué)習(xí)體驗(yàn)，更好地了解學(xué)習(xí)過程。本文介紹了這個(gè)系統(tǒng)的原型，簡(jiǎn)要闡述其設(shè)計(jì)原則，呈現(xiàn)一項(xiàng)旨在了解目標(biāo)用戶群對(duì)這個(gè)系統(tǒng)的感知有用性和易用性的用戶評(píng)價(jià)研究的結(jié)果，并討論研究結(jié)果及其對(duì)實(shí)踐的啟示。

背景

慕課日益流行，顯然我們需要一個(gè)能用于分析慕課數(shù)據(jù)的公共平臺(tái)（Veeramachaneni et al.， 2014）。比如MOOCdb（Veeramachaneni et al.， 2014）的目的是研發(fā)慕課數(shù)據(jù)的一種標(biāo)準(zhǔn)化格式，以便建立在此基礎(chǔ)上的分析技術(shù)和可視化工具（比如MOOCviz①），可以用于分析來(lái)自不同慕課平臺(tái)的數(shù)據(jù)。但是，MOOCdb的一個(gè)主要挑戰(zhàn)是使用者必須有相當(dāng)?shù)募夹g(shù)能力，因此絕大多數(shù)慕課教師無(wú)法使用這種工具。

慕課研究的另一個(gè)主要趨勢(shì)是人們對(duì)對(duì)照實(shí)驗(yàn)和A/B測(cè)試的興趣越來(lái)越大，幾個(gè)慕課平臺(tái)都支持這種實(shí)驗(yàn)和測(cè)試，采用這種方法的研究者也越來(lái)越多（Diver & Martinez， 2015； Hollands & Tirthali， 2014； Reich， 2015）。目前，慕課領(lǐng)域的實(shí)驗(yàn)性研究主要集中在研究教學(xué)實(shí)踐的差別上，比如隨機(jī)對(duì)學(xué)生進(jìn)行分類并對(duì)不同學(xué)生采用不同學(xué)習(xí)材料（Fisher， 2014； Lamb， Smilack， Ho， & Reich， 2015； Williams， Kim， & Keegan， 2015）、教學(xué)方法（Kizilcec， Schneider， Cohen， & McFarland， 2014； Tomkin & Charlevoix， 2014）或平臺(tái)界面（Anderson， Huttenlocher， Kleinberg， & Leskovec， 2014），全然不考慮學(xué)生的個(gè)體差異。如同蘭姆等（Lamb et al， 2015）所指出的，這使得我們?cè)谠u(píng)估某一種教學(xué)措施的實(shí)際效果方面碰到一些問題，尤其主要考慮到學(xué)生流失嚴(yán)重這個(gè)事實(shí)。溫（Winne， 1982）也指出，學(xué)生個(gè)體差異還會(huì)影響研究結(jié)果對(duì)不同環(huán)境的效度。我們有必要考慮學(xué)生個(gè)體的特殊性，而不能把學(xué)生當(dāng)作是同質(zhì)群體，隨機(jī)對(duì)他們進(jìn)行分類。

目前，開展慕課實(shí)驗(yàn)所碰到的另一個(gè)挑戰(zhàn)是教師不能夠在教學(xué)過程中針對(duì)不同類型的學(xué)生改變和調(diào)整教學(xué)方法，也無(wú)法檢驗(yàn)不同教學(xué)方法的效果。比如，我們無(wú)法做到在發(fā)現(xiàn)不積極參加討論的學(xué)生之后馬上給他們發(fā)送提醒郵件，要求他們更加積極地參加在線討論。同樣，教師可能希望檢查某一種教學(xué)干預(yù)信息對(duì)不同類型學(xué)生的效果或不同教學(xué)干預(yù)信息（比如給全體學(xué)生發(fā)送鼓勵(lì)性信息和結(jié)合學(xué)生個(gè)人情況單獨(dú)給他（她）發(fā)送有針對(duì)性的鼓勵(lì)性信息）（參見Kizilcec， Schneider， Cohen， & McFarland， 2014）對(duì)某一群學(xué)生的效果。由于慕課數(shù)據(jù)分析費(fèi)用高昂，我們不得不在沒有分析學(xué)生學(xué)習(xí)活動(dòng)的情況下事先設(shè)計(jì)好教學(xué)干預(yù)方法，然后隨機(jī)用在學(xué)生身上。雖然某些系統(tǒng)，比如MOOClet （Williams et al.， 2015）或Bazaar（Rosé et al.， 2015）允許動(dòng)態(tài)對(duì)學(xué)生進(jìn)行分組，但是我們必須能夠相當(dāng)熟練使用這些系統(tǒng)并且有足夠基礎(chǔ)設(shè)施的支持，才能成功應(yīng)用于教學(xué)中。

方法

1. 設(shè)計(jì)原則

我們首先把重點(diǎn)放在研發(fā)我們心目中的分析系統(tǒng)原型上。這一過程遵循以下設(shè)計(jì)原則。必須指出，這些設(shè)計(jì)原則是針對(duì)上文指出的問題而制定的。

不以具備技術(shù)知識(shí)為前提：考慮到慕課教師和研究者較多沒有接受過高級(jí)IT培訓(xùn)，本系統(tǒng)不應(yīng)該要求目標(biāo)用戶具備一定的技術(shù)知識(shí)。

漸進(jìn)式數(shù)據(jù)輸入：慕課平臺(tái)通常每天或每周向云儲(chǔ)存（比如Amazon S3）上傳一次數(shù)據(jù)，本系統(tǒng)應(yīng)該能夠支持漸進(jìn)式數(shù)據(jù)輸入，保證用戶能使用到每一批新數(shù)據(jù)，以便在課程教學(xué)正在進(jìn)行的過程中及時(shí)分析數(shù)據(jù)。

支持聚類分析：考慮到有必要了解學(xué)生的不同參與模式，本系統(tǒng)應(yīng)該能夠支持根據(jù)學(xué)生與課程材料的交互和與其他學(xué)習(xí)者的交互對(duì)他們進(jìn)行分類。

支持教學(xué)干預(yù)：由于在慕課數(shù)據(jù)的使用上我們必須采取主動(dòng)，本系統(tǒng)應(yīng)該能夠支持在教學(xué)正在進(jìn)行的過程中快速分析數(shù)據(jù)。因此，數(shù)據(jù)的預(yù)處理和學(xué)生課程學(xué)習(xí)表現(xiàn)重要指標(biāo)的提取應(yīng)該能夠做到盡可能自動(dòng)化。

便于后續(xù)數(shù)據(jù)分析：教師實(shí)施一項(xiàng)教學(xué)干預(yù)之后，本系統(tǒng)應(yīng)該能夠?qū)@個(gè)干預(yù)的效果進(jìn)行分析。因此，本系統(tǒng)應(yīng)該以某種適合使用大眾化統(tǒng)計(jì)分析包（比如SPSS、R和Matlab）進(jìn)行后續(xù)分析的格式儲(chǔ)存已經(jīng)采集的教學(xué)干預(yù)信息。

支持研究的復(fù)制：我們的目的是提高目前的慕課研究水平，因此本系統(tǒng)應(yīng)該能夠支持根據(jù)先前公開發(fā)表的研究“預(yù)先設(shè)置”（pre-configured）各種分析。這樣不但減少研究者人工分析的必要性，而且會(huì)有助于驗(yàn)證先前的研究成果和這些成果的推廣性。有了這些“分析模板”，研究者便可以驗(yàn)證先前研究的可復(fù)制性以及研究背景對(duì)研究結(jié)果的影響。

我們根據(jù)上述設(shè)計(jì)原則，采用迭代設(shè)計(jì)循環(huán)，研發(fā)了用戶界面的原型。我們首先拿出紙質(zhì)原型并借助Axure RP平臺(tái)①，最終把這個(gè)原型發(fā)展成為用于這項(xiàng)用戶研究的版本。目前我們平臺(tái)的研發(fā)重點(diǎn)在于支持聚類分析和Coursera平臺(tái)，以便在實(shí)踐中檢驗(yàn)我們所提出的方法的效果。如果MOOCito證明對(duì)教師和研究者有用，我們下一步目標(biāo)是擴(kuò)大它的應(yīng)用范圍，將它用于其他分析中（比如社交網(wǎng)絡(luò)分析和話語(yǔ)分析）和其他慕課平臺(tái)上（比如EdX和FutureLearn）。由于不同的慕課平臺(tái)有共性，MOOCito用于其他平臺(tái)多半只需技術(shù)上的調(diào)整，能將輸出格式稍微不同的慕課數(shù)據(jù)輸入本系統(tǒng)即可。同樣，我們也能夠通過簡(jiǎn)單規(guī)則配置界面（比如：如果一個(gè)學(xué)生在五天后還沒有登錄參加在線討論，給他發(fā)送一封郵件提醒他參加討論活動(dòng)）實(shí)現(xiàn)課程干預(yù)在某種程度上的自動(dòng)化。最后，目前階段我們數(shù)據(jù)輸入仍然需要手工操作，但是在未來(lái)版本中這一步驟也可能是自動(dòng)化的。

2. 原型概況

這個(gè)原型的最終版本有四個(gè)應(yīng)用選項(xiàng)，分別對(duì)應(yīng)數(shù)據(jù)分析過程的四個(gè)主要步驟（見圖1-圖6）。

教師可以通過“詳情選項(xiàng)”（見圖2）檢查和比較具體學(xué)生的學(xué)習(xí)表現(xiàn)指標(biāo)。“詳情選項(xiàng)”界面上半部分的表格顯示全體學(xué)生所有指標(biāo)的值，因此教師可以通過這個(gè)表了解到每一位學(xué)生的表現(xiàn)指標(biāo)。這個(gè)表格是可以排序的，因此教師很容易發(fā)現(xiàn)有數(shù)值異常指標(biāo)的學(xué)生。教師還能夠通過“詳情選項(xiàng)”界面下半部分比較特定學(xué)生的學(xué)習(xí)表現(xiàn)指標(biāo)（比如發(fā)帖學(xué)生和提交作業(yè)學(xué)生的學(xué)習(xí)表現(xiàn)指標(biāo)）。

“分析選項(xiàng)”（見圖3）是本系統(tǒng)的中心組成部分，教師可以在這里了解不同類別的學(xué)生。第一步是選擇（和有限預(yù)處理）用于聚類分析的學(xué)習(xí)表現(xiàn)指標(biāo)（相當(dāng)于數(shù)據(jù)挖掘的“特征選擇”），這里還有根據(jù)已發(fā)表成果預(yù)先設(shè)定的一些指標(biāo)配置供選擇（Kizilcec et al.， 2013； Li et al.， 2015）。第二步是用戶進(jìn)行聚類分析（見圖4），使用的是一些流行算法（即K-means、層次聚類和EM聚類），這些都可以和最基本的參數(shù)進(jìn)行配置（比如距離量度和K、聚類數(shù)量）。分析的結(jié)果將呈現(xiàn)為可視化圖（見圖5）：聚類質(zhì)心點(diǎn)、輪廓評(píng)價(jià)圖和在兩個(gè)主成分空間投射聚類。對(duì)于K-means和層次聚類而言，如果給K選擇一系列數(shù)值，那么其結(jié)果會(huì)是一張拐點(diǎn)評(píng)價(jià)圖。

經(jīng)過一輪或多輪分析之后，教師可以把干預(yù)信息發(fā)送給目標(biāo)學(xué)生（見圖6），可以是某一類型的全體學(xué)生，也可以是某一類型當(dāng)中的部分學(xué)生。比如，可以給某一種類型的一半學(xué)生發(fā)送一條干預(yù)信息，給另一半發(fā)送另外一條信息（或者不給另一半任何信息）。教學(xué)信息可以以模板形式保存起來(lái)，如同電子郵件合并應(yīng)用一樣，這些教學(xué)信息可以包含幾個(gè)“變量”。最后，教師可以把教學(xué)干預(yù)的總結(jié)情況以CSV文件保存起來(lái)，今后可以用于比較不同教學(xué)干預(yù)的效果。

3. 評(píng)價(jià)研究的設(shè)計(jì)

共有11位來(lái)自英國(guó)、美國(guó)和南美的慕課教學(xué)經(jīng)驗(yàn)豐富的教師、研究者和設(shè)計(jì)者參加本評(píng)價(jià)研究。他們來(lái)自3所大型研究型大學(xué)。這些人有多年在線學(xué)習(xí)、慕課教學(xué)和Coursera平臺(tái)使用的經(jīng)驗(yàn)（見表1）。本研究的主要目的是獲取用戶對(duì)這一原型進(jìn)行評(píng)價(jià)的豐富質(zhì)性數(shù)據(jù)，了解這些目標(biāo)終端用戶對(duì)這個(gè)原型的印象。

所有參與者簽署知情同意書之后，研究者給他們做了15分鐘的學(xué)習(xí)場(chǎng)景介紹，主要介紹一個(gè)假設(shè)的慕課教師正在Coursera平臺(tái)上教授一門編程入門課程。我們首先給他們介紹目前Coursera平臺(tái)的管理界面，用的是愛丁堡大學(xué)Code Yourself這門慕課的真實(shí)數(shù)據(jù)，然后詳細(xì)介紹MOOCito系統(tǒng)的情況和功能。隨后，我們請(qǐng)參與者參加一項(xiàng)網(wǎng)上調(diào)查①，有20項(xiàng)李克特五點(diǎn)選項(xiàng)題目（從“1=完全不同意”到“5=完全同意”）和9道開放性問題，內(nèi)容涉及我們這個(gè)系統(tǒng)的感知有用性和易用性以及參與者的總體印象。

技術(shù)接受模型（TAM）是常用于評(píng)估軟件系統(tǒng)適切性的一種心理測(cè)量工具（Venkatesh & Bala， 2008）。本研究的工具便是根據(jù)這個(gè)模型設(shè)計(jì)而成的。技術(shù)接受模型可以用來(lái)評(píng)價(jià)感知有用性和感知易用性的決定因素，即影響采用一種新軟件系統(tǒng)的因素。由于我們的主要目的是質(zhì)性分析參與者對(duì)本系統(tǒng)的感知有用性和易用性，因此我們?cè)谠O(shè)計(jì)調(diào)查工具時(shí)僅借鑒技術(shù)接受模型的相關(guān)內(nèi)容。

研究結(jié)果和討論

表2是李克特量表問題的調(diào)查結(jié)果。

總體上講，表2顯示參與者對(duì)本系統(tǒng)及其感知有用性和易用性是滿意的。評(píng)價(jià)最高的項(xiàng)目包括“D3本工具有助于我提出跟課程設(shè)計(jì)或?qū)W生相關(guān)、值得更加深入探索的有趣問題”（4.73），“D1本工具使我能夠深入了解本學(xué)習(xí)環(huán)境下學(xué)生學(xué)習(xí)表現(xiàn)”（4.64），“I2能夠給不同群組學(xué)生提供不同干預(yù)/教學(xué)/指導(dǎo)是很重要的一點(diǎn)”（4.73）以及“I3能夠給同一群組學(xué)生提供不同干預(yù)/教學(xué)/指導(dǎo)是很重要的一點(diǎn)”（4.55）。參與者在回答開放性問題時(shí)也肯定了以下幾個(gè)方面的特點(diǎn)：能夠選擇學(xué)生學(xué)習(xí)表現(xiàn)指標(biāo)、每周的數(shù)據(jù)以各種圖形呈現(xiàn)和界面清晰，雖然數(shù)據(jù)量很大。至于實(shí)施教學(xué)干預(yù)的機(jī)會(huì)，參與者重點(diǎn)提到能夠靈活和方便實(shí)施有意義干預(yù)而又不存在向特定目標(biāo)對(duì)象“不恰當(dāng)?shù)靥峁]有針對(duì)性信息的風(fēng)險(xiǎn)”，他們也肯定信息模板的使用和模板里預(yù)留“變量”的作用。

參與者對(duì)本系統(tǒng)的總體印象是積極的，但是也指出幾個(gè)需要解決的重要問題。這些問題涉及我們這個(gè)工具對(duì)普通慕課教師的可及性。首先，參與者強(qiáng)調(diào)作為MOOCito用戶的教師可能不熟悉某些術(shù)語(yǔ)、學(xué)習(xí)表現(xiàn)指標(biāo)、統(tǒng)計(jì)分析或作為“研究模板”的那些文獻(xiàn)。因此，我們必須提供更加詳細(xì)的信息，比如提供簡(jiǎn)短概要和視頻輔導(dǎo)。另外，也應(yīng)該提供參考文獻(xiàn)的完整書目信息和概要。一些參與者表示他們不知道如何對(duì)數(shù)據(jù)進(jìn)行最有效分析，因此，我們也應(yīng)該增加“標(biāo)準(zhǔn)方法”介紹。從D4（用本工具分析數(shù)據(jù)既容易又直觀）的得分也可以看出我們需要簡(jiǎn)化分析步驟，使得我們的工具更加直觀，操作更加方便。鑒于此，我們未來(lái)努力的一個(gè)方向是進(jìn)一步簡(jiǎn)化分析程序，提供更有效的指南，給幾乎沒有統(tǒng)計(jì)學(xué)背景和經(jīng)驗(yàn)的教師提供更好的支持。

另有幾個(gè)問題涉及的是本系統(tǒng)提供有意義反饋和教學(xué)干預(yù)的能力。首先，參與者表示教師應(yīng)該能夠從學(xué)習(xí)表現(xiàn)指標(biāo)了解到學(xué)生的實(shí)際活動(dòng)內(nèi)容，比如，如果某個(gè)學(xué)生的帖子聚合力低，教師應(yīng)該能夠很容易發(fā)現(xiàn)這些低聚合力的信息，經(jīng)過對(duì)它們進(jìn)行分析之后更好地了解學(xué)生的學(xué)習(xí)表現(xiàn)。此外，一些參與者表示難以判斷何時(shí)干預(yù)和如何干預(yù)。換言之，我們必須提供更加容易“解讀”的分析結(jié)果，以容易付諸行動(dòng)的方式對(duì)結(jié)果進(jìn)行總結(jié)。比如，除了詳細(xì)介紹聚類中心外，我們不妨使用“低”“中等”“高”這樣的字眼描述學(xué)習(xí)表現(xiàn)指標(biāo)，使這項(xiàng)結(jié)果更簡(jiǎn)潔易懂（比如1類的特點(diǎn)是低聚合力，發(fā)帖量大，在線教學(xué)視頻瀏覽量中等）。在這方面，我們不妨采用某些將數(shù)據(jù)轉(zhuǎn)換成文本的技術(shù)（Ramos-Soto， Vazquez-Barreiros， Bugarín， Gewerc， & Barro， 2017），為每一類學(xué)生配備一段話的描述，方便慕課教師理解數(shù)據(jù)分析結(jié)果。

總體看，參與者使用MOOCito工具的意愿很強(qiáng)（G3我愿意在我今后課程中使用本工具，4.36），打算在自己今后的課程中使用這個(gè)工具（G2我打算在我今后課程中使用本工具，4.00）。 雖然他們報(bào)告說(shuō)很想使用這個(gè)工具提高教學(xué)和科研水平，但是用于科研目的的意愿（G6我會(huì)在科研中使用本工具， 4.55）高于課程設(shè)計(jì)和教學(xué)（G7我會(huì)使用本工具提高課程設(shè)計(jì)和教學(xué)水平，促進(jìn)學(xué)生學(xué)習(xí)， 4.30）。誠(chéng)如一位參與者所言，“它（MOOCito）具有成為一種高效教育研究工具的潛力，也可能作為跟蹤學(xué)生日常學(xué)習(xí)活動(dòng)的手段。”諸如此類的反饋意見顯示研發(fā)慕課分析平臺(tái)的必要性。我們希望MOOCito能夠填補(bǔ)這個(gè)空白，促進(jìn)慕課教學(xué)和研究水平。

本研究存在幾方面局限。第一，因?yàn)槲覀兊闹饕康脑谟谥С质褂肅oursera平臺(tái)的教師，我們的評(píng)價(jià)研究結(jié)果可能會(huì)受到Coursera平臺(tái)目前的分析技術(shù)能力和用戶滿意度影響。因此，雖然Coursera是擁有最多用戶的慕課平臺(tái)，但是仍然可能無(wú)法代表整個(gè)慕課領(lǐng)域的情況。鑒于此，未來(lái)一項(xiàng)重要工作是在其他慕課平臺(tái)試驗(yàn)我們的MOOCito系統(tǒng)。尤其是考慮到Coursera最近正在轉(zhuǎn)向企業(yè)培訓(xùn)領(lǐng)域，今后它在高等教育領(lǐng)域的應(yīng)用范圍可能會(huì)受到影響，在其他平臺(tái)開展試驗(yàn)顯得更為重要。第二，雖然本文提供MOOCito的詳細(xì)圖形界面原型，但是這項(xiàng)工作仍在進(jìn)行之中，目前尚不能確定MOOCito最終用于實(shí)際教學(xué)和研究中究竟能夠發(fā)揮什么作用。第三，本研究有11位參與者，雖然對(duì)于原型測(cè)試而言數(shù)量不算少，但是如果要確保原型有用性研究結(jié)果的可靠性，人數(shù)可能少了一些。當(dāng)然，他們所提供的質(zhì)性反饋很有價(jià)值，有助于指導(dǎo)MOOCito下一步的研發(fā)工作。

結(jié)束語(yǔ)和下一步工作

慕課能夠產(chǎn)生大量學(xué)生學(xué)習(xí)活動(dòng)的數(shù)據(jù)，但是由于沒有給慕課教師和研究者提供使用分析技術(shù)的支持，學(xué)生數(shù)據(jù)用于促進(jìn)學(xué)生學(xué)習(xí)上的潛力大受影響。不僅如此，由于慕課數(shù)據(jù)分析非常復(fù)雜，分析結(jié)果無(wú)法用于指導(dǎo)教學(xué)實(shí)踐，我們希望通過學(xué)生數(shù)據(jù)更好地認(rèn)識(shí)學(xué)生學(xué)習(xí)這方面受到的影響。

本文介紹一個(gè)新的慕課分析平臺(tái)MOOCito，其目的是幫助慕課教師深入了解學(xué)生的學(xué)習(xí)并根據(jù)收集到的學(xué)生數(shù)據(jù)實(shí)施相應(yīng)的教學(xué)干預(yù)。由于MOOCito的目標(biāo)是幫助幾乎沒有或者完全沒有高級(jí)技術(shù)知識(shí)的“普通”慕課教師，因此它著重在教學(xué)實(shí)施的過程中對(duì)數(shù)據(jù)進(jìn)行分析并根據(jù)分析結(jié)果采取相應(yīng)教學(xué)干預(yù)，使學(xué)生能及時(shí)獲得恰當(dāng)?shù)慕虒W(xué)支持。此外，教師能夠通過MOOCito試驗(yàn)不同教學(xué)方法，為驗(yàn)證不同教學(xué)干預(yù)策略的效果提供更加可靠的證據(jù)。雖然目前不乏慕課教學(xué)試驗(yàn)研究（Reich， 2015），但是由于沒有專門分析技術(shù)的支持，加之?dāng)?shù)據(jù)分析先于試驗(yàn)而完成，這往往導(dǎo)致我們只能預(yù)先計(jì)劃這些教學(xué)試驗(yàn)，要做到隨時(shí)根據(jù)學(xué)生實(shí)際表現(xiàn)調(diào)整教學(xué)策略，從方法上講會(huì)遇到很大挑戰(zhàn)（Lamb et al.， 2015）。

MOOCito的研發(fā)仍在進(jìn)行中，本文介紹了針對(duì)MOOCito的感知有用性和易用性的用戶研究結(jié)果。研究結(jié)果進(jìn)一步支持我們的觀點(diǎn)，即必須為慕課教師提供他們目前所缺乏的分析技術(shù)方面的支持，正如一位參與者所言：“我相信這是一種非常好的工具，它必將能夠明顯促進(jìn)慕課教學(xué)。這種工具也會(huì)擴(kuò)大慕課數(shù)據(jù)的用途，使教師能夠利用這些數(shù)據(jù)開展研究，發(fā)表成果。”

根據(jù)初步研究結(jié)果，我們認(rèn)為今后應(yīng)該從以下幾方面完善MOOCito平臺(tái)的研發(fā)。首先，新版本的原型在MOOCito使用方面必須提供更多指導(dǎo)和幫助（比如提供更詳細(xì)的描述、概要和輔導(dǎo)材料）。其次，MOOCito必須更好地與慕課平臺(tái)銜接，并且能夠把學(xué)習(xí)表現(xiàn)指標(biāo)轉(zhuǎn)換成相關(guān)學(xué)習(xí)活動(dòng)的概述（比如討論內(nèi)容、教學(xué)視頻、測(cè)驗(yàn)等）。最后，也是最重要的，必須能夠提供更容易理解和付諸行動(dòng)的聚類描述，這一步非常關(guān)鍵，是我們今后的中心工作。我們希望解決慕課教師在實(shí)際工作中所發(fā)現(xiàn)的問題，為他們提供一套分析技術(shù)工具，促進(jìn)慕課教學(xué)和研究水平的提高，最終達(dá)成提升學(xué)生學(xué)習(xí)體驗(yàn)的目標(biāo)。

[參考文獻(xiàn)]

Anderson， A.， Huttenlocher， D.， Kleinberg， J.， & Leskovec， J. （2014）. Engaging with Massive Online Courses. In Proceedings of the 23rd International Conference on World Wide Web （pp. 687-698）. New York， NY， USA： ACM. doi：10.1145/2566486.2568042

Coffrin， C.， Corrin， L.， de Barba， P.， & Kennedy， G. （2014）. Visualizing patterns of student engagement and performance in MOOCs. In Proceedings of the Fourth International Conference on Learning Analytics and Knowledge （pp. 83-92）. New York， NY， USA： ACM. doi：10.1145/2567574.2567586

Diver， P.， & Martinez， I. （2015）. MOOCs as a massive research laboratory： opportunities and challenges. Distance Education， 36（1）， 5-25. doi：10.1080/01587919.2015.1019968

Ferguson， R.， & Clow， D. （2015）. Examining engagement： Analysing learner subpopulations in Massive Open Online Courses （MOOCs）. In Proceedings of the Fifth International Conference on Learning Analytics and Knowledge （pp. 51-58）. New York， NY， USA： ACM. doi：10.1145/2723576.2723606

Fisher， W. W. （2014）. HLS1x： CopyrightX course report. doi：10.2139/ssrn.2382332

Ga?evi?， D.， Kovanovi?， V.， Joksimovi?， S.， & Siemens， G. （2014）. Where is research on massive open online courses headed？ A data analysis of the MOOC Research Initiative. The International Review of Research in Open and Distributed Learning， 15（5）. Retrieved from http：//www.irrodl.org/index.php/irrodl/article/view/1954

Hecking， T.， Ziebarth， S.， & Hoppe， H. U. （2014）. Analysis of dynamic resource access patterns in online courses. Journal of Learning Analytics， 1（3）， 34-60. doi：10.18608/jla.2014.13.4

Hollands， F. M.， & Tirthali， D. （2014）. MOOCs： Expectations and Reality （Full Report）. Center for Benefit-Cost Studies of Education， Teachers College， Columbia University. Retrieved from http：//cbcse.org/wordpress/wp-content/uploads/2014/05/MOOCs_Expectations_and_Reality.pdf

Joksimovi?， S.， Poquet， O.， Kovanovi?， V.， Dowell， N.， Mills， C.， Ga?evi?， D.， Dawson， S.， Graesser， A. C.， & Brooks， C. （2017）. How do we model learning at scale？ A systematic review of the literature. Manuscript Submitted for Publication. Retrieved from http：//vitomir.kovanovic.info/？ddownload=1145

Kizilcec， R. F.， Piech， C.， & Schneider， E. （2013）. Deconstructing disengagement： Analyzing learner subpopulations in Massive Open Online Courses. In Proceedings of the Third International Conference on Learning Analytics and Knowledge （pp. 170-179）. New York， NY， USA： ACM. doi：10.1145/2460296.2460330

Kizilcec， R. F.， Schneider， E.， Cohen， G.， & McFarland， D. （2014）. Encouraging forum participation in online courses with collectivist， individualist and neutral motivational framings. eLearning Papers， 37， 13-22. Retrieved from http：//rene.kizilcec.com/wp-content/uploads/2013/02/kizilcec2014encouraging2014elearning.pdf

Kovanovi?， V.， Ga?evi?， D.， Dawson， S.， Joksimovi?， S.， & Baker， R. S. （2015）. Does time-on-task estimation matter？ Implications on validity of learning analytics findings. Journal of Learning Analytics， 2（3）， 81-110. doi：10.18608/jla.2015.23.6

Kovanovi?， V.， Joksimovi?， S.， Ga?evi?， D.， Owers， J.， Scott， A.-M.， & Woodgate， A. （2016）. Profiling MOOC course returners： How does student behavior change between two course enrollments？ In Proceedings of the Third ACM Conference on Learning @ Scale （L@S16） （pp. 269-272）. New York， NY， USA： ACM. doi：10.1145/2876034.2893431

Kovanovi?， V.， Joksimovi?， S.， Ga?evi?， D.， Siemens， G.， & Hatala， M. （2015）. What public media reveals about MOOCs： A systematic analysis of news reports. British Journal of Educational Technology， 46（3）， 510-527. doi：10.1111/bjet.12277

Lamb， A.， Smilack， J.， Ho， A.， & Reich， J. （2015）. Addressing common analytic challenges to randomized experiments in MOOCs： Attrition and zero-Inflation. In Proceedings of the Second （2015） ACM Conference on Learning @ Scale （pp. 21-30）. New York， NY， USA： ACM. doi：10.1145/2724660.2724669

Li， N.， Kidziński， ?.， Jermann， P.， & Dillenbourg， P. （2015）. MOOC video interaction patterns： What do they tell us？ In Proceedings of the 10th European Conference on Technology Enhanced Learning （pp. 197-210）. Springer International Publishing. doi：10.1007/978-3- 319-24258-3_15

Mak， S. F. J.， Williams， R.， & Mackness， J. （2010）. Blogs and Forums as Communication and Learning Tools in a MOOC （pp. 275-284）. Presented at the Seventh International Conference on Networked Learning.

Ramos-Soto， A.， Vazquez-Barreiros， B.， Bugarín， A.， Gewerc， A.， & Barro， S. （2017）. Evaluation of a data-to-text system for verbalizing a learning analytics dashboard. International Journal of Intelligent Systems， 32（2）， 177-193. doi：10.1002/int.21835

Reich， J. （2015）. Rebooting MOOC research. Science， 347（6217）， 34-35. doi：10.1126/science.1261627

Rosé， C. P.， Ferschke， O.， Tomar， G.， Yang， D.， Howley， I.， Aleven， V.， Siemens， G.， Crosslin， M.， Ga?evi?， D.， & Baker， R. （2015）. Challenges and opportunities of dual-layer MOOCs： Reflections from an edX deployment study. In Exploring the Material Conditions of Learning： The Computer Supported Collaborative Learning （CSCL） Conference 2015， Volume 1 （Vol. 15， pp. 848-851）. Gothenburg， Sweden： The International Society of the Learning Sciences. Retrieved from https：//www.isls.org/cscl2015/papers/1309-InteractiveEvent-Rose.pdf

Sinha， T. （2014）. “Your click decides your fate”： Leveraging clickstream patterns from MOOC videos to infer students information processing & attrition behavior. arXiv：1407.7143 [Cs]. Retrieved from http：//arxiv.org/abs/1407.7143

Tomkin， J. H.， & Charlevoix， D. （2014）. Do professors matter？ Using an A/B test to evaluate the impact of instructor involvement on MOOC student outcomes. In Proceedings of the First ACM Conference on Learning @ Scale Conference （pp. 71-78）. New York， NY， USA： ACM. doi：10.1145/2556325.2566245

Veeramachaneni， K.， Halawa， S.， Dernoncourt， F.， OReilly， U.-M.， Taylor， C.， & Do， C. （2014）. MOOCdb： Developing standards and systems to support MOOC data science. arXiv：1406.2015 [Cs]. Retrieved from http：//arxiv.org/abs/1406.2015

Venkatesh， V.， & Bala， H. （2008）. Technology Acceptance Model 3 and a research agenda on interventions. Decision Sciences， 39（2）， 273-315. doi：10.1111/j.1540-5915.2008.00192.x

Williams， J. J.， Kim， J.， & Keegan， B. （2015）. Supporting instructors in collaborating with researchers using MOOClets. In Proceedings of the Second （2015） ACM Conference on Learning @ Scale （pp. 413-416）. New York， NY， USA： ACM. doi：10.1145/2724660.2728705

Winne， P. H. （1982）. Minimizing the black box problem to enhance the validity of theories about instructional effects. Instructional Science， 11（1）， 13-28. doi：10.1007/BF00120978

收稿日期：2017-05-08

定稿日期：2017-05-09

作者簡(jiǎn)介： 維托米爾·科瓦諾維克（Vitomir Kovanovi?），英國(guó)愛丁堡大學(xué)（University of Edinburgh）信息科學(xué)學(xué)院博士研究生和研究助理，美國(guó)德克薩斯大學(xué)阿靈頓分校（University of Texas at Arlington）學(xué)習(xí)創(chuàng)新和網(wǎng)絡(luò)化知識(shí)（Learning Innovation and Networked Knowledge，LINK）研究實(shí)驗(yàn)室研究助理，學(xué)習(xí)分析技術(shù)研究學(xué)會(huì)（Society for Learning Analytics Research，SoLAR）執(zhí)行委員會(huì)委員；曾擔(dān)任2016年學(xué)習(xí)分析技術(shù)與知識(shí)大會(huì)（LAK16）執(zhí)行主席和2016年慕課學(xué)習(xí)大會(huì)（Learning with MOOCs）程序委員會(huì)主席；主要研究興趣為學(xué)習(xí)分析技術(shù)和教育數(shù)據(jù)挖掘，已發(fā)表40多篇同行評(píng)審論文，曾榮獲愛丁堡大學(xué)、西蒙弗雷澤大學(xué)（Simon Fraser University）和塞爾維亞教育部獎(jiǎng)學(xué)金。

斯雷奇科·約克西莫維奇（Sre?ko Joksimovi?），英國(guó)愛丁堡大學(xué)莫雷教育學(xué)院（Moray House School of Education）博士研究生，SoLAR執(zhí)行委員會(huì)委員，美國(guó)德克薩斯大學(xué)阿靈頓分校學(xué)習(xí)創(chuàng)新和網(wǎng)絡(luò)化知識(shí)研究實(shí)驗(yàn)室研究助理；研究興趣為網(wǎng)絡(luò)學(xué)習(xí)環(huán)境下教與學(xué)分析，發(fā)表多篇論文，曾榮獲愛丁堡大學(xué)、西蒙弗雷澤大學(xué)獎(jiǎng)學(xué)金。

菲利普·凱特林諾珀洛斯（Philip Katerinopoulos），先后畢業(yè)于希臘雅典國(guó)立科技大學(xué)（National Technical University of Athens）和英國(guó)愛丁堡大學(xué)，現(xiàn)在愛丁堡任職軟件開發(fā)工程師；研究興趣為數(shù)據(jù)管理和可視化。

哈拉蘭博斯·米凱爾（Charalampos Michail），先后畢業(yè)于希臘帕特雷大學(xué)（University of Patras）和英國(guó)愛丁堡大學(xué)，現(xiàn)在希臘雅典任職軟件工程師；研究興趣為生物信息學(xué)和計(jì)算系統(tǒng)。

喬治·西蒙斯（George Siemens）博士，美國(guó)德克薩斯大學(xué)阿靈頓分校學(xué)習(xí)創(chuàng)新和網(wǎng)絡(luò)化知識(shí)研究實(shí)驗(yàn)室教授、執(zhí)行主任，加拿大阿薩巴斯卡大學(xué)（Athabasca University）遠(yuǎn)程教育中心教授；研究興趣包括技術(shù)、網(wǎng)絡(luò)、分析技術(shù)、情感和社會(huì)性交互，以及教育的開放性。他是大規(guī)模公開在線課程和學(xué)習(xí)分析技術(shù)先驅(qū)，SoLAR創(chuàng)會(huì)主席，曾應(yīng)邀到35個(gè)國(guó)家發(fā)表學(xué)術(shù)主旨演講，研究成果獲得多個(gè)獎(jiǎng)項(xiàng)，秘魯圣馬丁大學(xué)（Universidad San Martin de Porres）和加拿大弗雷澤谷大學(xué)（Fraser Valley University）授予他榮譽(yù)博士學(xué)位，以表彰他在學(xué)習(xí)、技術(shù)和網(wǎng)絡(luò)等領(lǐng)域的開拓性工作，并為澳大利亞、歐盟、加拿大和美國(guó)的政府部門以及很多外國(guó)大學(xué)提供數(shù)字學(xué)習(xí)和學(xué)習(xí)分析技術(shù)在教育領(lǐng)域應(yīng)用等方面的顧問咨詢服務(wù)。

德拉甘·伽瑟維克（Dragan Ga?evi?），英國(guó)愛丁堡大學(xué)莫雷教育學(xué)院和信息科學(xué)學(xué)院教授、學(xué)習(xí)分析技術(shù)和信息科學(xué)首席教授，致力研究能夠影響下一代的學(xué)習(xí)技術(shù)、促進(jìn)我們理解自我調(diào)節(jié)和社會(huì)性學(xué)習(xí)的計(jì)算方法；曾擔(dān)任2011年和2012年LAK大會(huì)程序委員會(huì)主席，2013年和2014年學(xué)習(xí)分析技術(shù)暑期研討會(huì)（Learning Analytics Summer Institute）程序委員會(huì)主席，2016年學(xué)習(xí)分析技術(shù)與知識(shí)大會(huì)（LAK16）主席，《學(xué)習(xí)分析技術(shù)期刊》（Journal of Learning Analytics）（2012-2017年）創(chuàng)刊主編，SoLAR主席（2015-2017年）。在澳大利亞、加拿大、香港和美國(guó)還有多個(gè)榮譽(yù)性職位；先后獲得加拿大、澳大利亞、歐洲和美國(guó)相關(guān)機(jī)構(gòu)和業(yè)界的資助，多篇論文在學(xué)習(xí)和軟件技術(shù)領(lǐng)域主要國(guó)際會(huì)議獲得最佳論文獎(jiǎng)，經(jīng)常應(yīng)邀到各地發(fā)表主旨演講。

譯者簡(jiǎn)介： 肖俊洪，汕頭廣播電視大學(xué)教授，Distance Education （Taylor & Francis）期刊副主編，System： An International Journal of Educational Technology and Applied Linguistics （Elsevier）編委（515041）。

責(zé)任編輯 郝 丹