□ 陳 翀,閆乾勛
習(xí)近平總書記在黨的二十大報(bào)告中明確提出“推進(jìn)教育數(shù)字化,建設(shè)全民終身學(xué)習(xí)的學(xué)習(xí)型社會(huì)、學(xué)習(xí)型大國(guó)[1]”,為國(guó)家教育發(fā)展指明了方向。作為國(guó)家教育體制改革試點(diǎn)項(xiàng)目,教育部明確了“切實(shí)辦好開放大學(xué),推動(dòng)建設(shè)學(xué)習(xí)型社會(huì)”的重要任務(wù)[2],這也是開放大學(xué)在教育體制改革中的使命。開放教育作為高等教育的重要組成部分,需符合高等教育基本規(guī)律,教師教學(xué)、學(xué)生學(xué)習(xí)的質(zhì)量均需由科學(xué)的學(xué)習(xí)評(píng)價(jià)體系來評(píng)判。但與普通高校不同的是,開放大學(xué)實(shí)行注冊(cè)入學(xué),其培養(yǎng)對(duì)象的學(xué)習(xí)背景、學(xué)習(xí)需求、學(xué)習(xí)能力、學(xué)習(xí)素養(yǎng)差異巨大,普通高校標(biāo)準(zhǔn)統(tǒng)一的評(píng)價(jià)體系并不適應(yīng)開放大學(xué)個(gè)性化教與學(xué)的需求。隨著教育數(shù)字化建設(shè)進(jìn)程的推進(jìn),在線教育教學(xué)在高等教育領(lǐng)域廣泛開展,大數(shù)據(jù)理念和技術(shù)在教育領(lǐng)域中得到廣泛應(yīng)用[3],這使得以在線教育為主要教學(xué)方式的開放大學(xué),在分析利用學(xué)習(xí)行為數(shù)據(jù)并進(jìn)行個(gè)性化學(xué)習(xí)評(píng)價(jià)方面,具有得天獨(dú)厚的優(yōu)勢(shì)。
有關(guān)適用于在線教育的學(xué)習(xí)評(píng)價(jià),目前國(guó)內(nèi)已有較多學(xué)者進(jìn)行了探討和研究。如胡久紅、肖娥芳等認(rèn)為學(xué)習(xí)者自控力及心理因素、教師在線教學(xué)技能水平及對(duì)學(xué)習(xí)者的了解程度、在線學(xué)習(xí)環(huán)境、教學(xué)資源質(zhì)量等因素對(duì)在線學(xué)習(xí)影響程度較深。[4-5]而徐俊芳、王書瑤等認(rèn)為在線學(xué)習(xí)主要從學(xué)生互評(píng)、教師教學(xué)滿意度、學(xué)習(xí)者的客觀成績(jī)或主觀學(xué)習(xí)滿意度,且多傾向于從學(xué)習(xí)者的主觀評(píng)價(jià)和學(xué)習(xí)成績(jī)方面來評(píng)價(jià)。[6-7]同時(shí)肖娥芳等依據(jù)在線學(xué)習(xí)環(huán)境、教師在線教學(xué)技能水平、學(xué)生在線學(xué)習(xí)狀況三因素,構(gòu)建了基于FAHP法的在線教育學(xué)習(xí)評(píng)價(jià)指標(biāo)體系。[5]倪彤光等從學(xué)生學(xué)習(xí)行為、問卷調(diào)查和學(xué)習(xí)狀態(tài)3個(gè)層次出發(fā),初步建立了在線學(xué)習(xí)評(píng)價(jià)模型。[8]劉文斌等針對(duì)現(xiàn)有教學(xué)評(píng)價(jià)缺陷,提出一種以學(xué)生學(xué)習(xí)行為與偏好為屬性決策變量的在線課程教學(xué)質(zhì)量評(píng)價(jià)方法。[9]
綜上可知,研究者基于學(xué)習(xí)者、教師、學(xué)習(xí)環(huán)境、學(xué)習(xí)行為等單因素內(nèi)容進(jìn)行分析,提出了多因素評(píng)價(jià)體系,其對(duì)學(xué)生具有普適性和主觀依賴性。而在線學(xué)習(xí)評(píng)價(jià)應(yīng)該是一個(gè)動(dòng)態(tài)多維的、具有強(qiáng)針對(duì)性的系統(tǒng)工程,需要伴隨學(xué)生自身學(xué)習(xí)的全方位和全過程。以往的研究中大都未能根據(jù)學(xué)生的學(xué)習(xí)能力和學(xué)習(xí)行為習(xí)慣設(shè)立個(gè)性化方案,形成一套系統(tǒng)的、滿足開放教育對(duì)象個(gè)性化學(xué)習(xí)需求的學(xué)習(xí)評(píng)價(jià)系統(tǒng)?;诖?本文在借鑒在線教學(xué)評(píng)價(jià)研究成果的基礎(chǔ)上,結(jié)合開放大學(xué)的學(xué)習(xí)現(xiàn)狀,提出一套具有開放教育在線學(xué)習(xí)特色的學(xué)習(xí)評(píng)價(jià)系統(tǒng)和反饋機(jī)制,旨在充分利用在線教育大數(shù)據(jù)中的有效數(shù)據(jù)信息,通過學(xué)習(xí)行為與學(xué)習(xí)之間的相關(guān)性,對(duì)開放教育學(xué)生形成個(gè)性化反饋,以充分調(diào)動(dòng)每位學(xué)生的學(xué)習(xí)積極性,提高自身的學(xué)習(xí)效率。
學(xué)習(xí)評(píng)價(jià)是通過在學(xué)習(xí)進(jìn)程中對(duì)學(xué)習(xí)者進(jìn)行實(shí)時(shí)評(píng)價(jià),為學(xué)習(xí)者提供及時(shí)的反饋、引導(dǎo)、激勵(lì)和調(diào)節(jié)等學(xué)習(xí)支持的一種教學(xué)反饋機(jī)制。理想的學(xué)習(xí)評(píng)價(jià)能夠有效促進(jìn)教學(xué)與課程的動(dòng)態(tài)性、生成性關(guān)系,彌補(bǔ)在線教學(xué)缺乏動(dòng)態(tài)反饋的缺點(diǎn),提升在線教學(xué)的課程意義。[10]其中,由于開放大學(xué)的課程具有全線上教學(xué)的特點(diǎn),因此一直都十分重視學(xué)習(xí)評(píng)價(jià)。
為了通過多種方式考查學(xué)生日常學(xué)習(xí)過程中的表現(xiàn)、所取得的成績(jī)及所反映出的情感、態(tài)度、策略等情況,對(duì)學(xué)生學(xué)習(xí)結(jié)果做出相對(duì)全面、準(zhǔn)確的評(píng)價(jià),開放大學(xué)推行了目前課程體系中一直沿用的學(xué)習(xí)評(píng)價(jià)模式——“形成性評(píng)價(jià)+終結(jié)性評(píng)價(jià)”,即在關(guān)注學(xué)生學(xué)習(xí)考核結(jié)果的同時(shí)也重視學(xué)生學(xué)習(xí)過程,并通過聯(lián)合評(píng)價(jià)結(jié)果,相應(yīng)修改或調(diào)整教學(xué)計(jì)劃以獲得更加理想的教學(xué)效果。這種“形成性評(píng)價(jià)+終結(jié)性評(píng)價(jià)”的綜合評(píng)價(jià)方式自實(shí)施以來,有效改善了傳統(tǒng)評(píng)價(jià)方式手段和內(nèi)容單一的情況,但仍存在不少問題。
(1)評(píng)價(jià)內(nèi)容程式化,缺乏針對(duì)性。開放大學(xué)實(shí)行注冊(cè)入學(xué)制,學(xué)生在進(jìn)入開放大學(xué)學(xué)習(xí)之前,都是來自各行各業(yè)的在職人員,他們的前置學(xué)歷各不相同。如表1所示,J開放大學(xué)即便是同層次(尤其是???的學(xué)生,他們?cè)谌雽W(xué)前所接受的教育類型也各不相同,分布極不均衡,其學(xué)習(xí)背景、學(xué)習(xí)能力、學(xué)習(xí)素養(yǎng)、學(xué)習(xí)需求等差異巨大,統(tǒng)一的、程式化的評(píng)價(jià)體系無法滿足開放大學(xué)的學(xué)情。這意味著學(xué)生學(xué)習(xí)評(píng)價(jià)的內(nèi)容不應(yīng)僅局限于對(duì)知識(shí)與能力的評(píng)價(jià),學(xué)生的學(xué)習(xí)動(dòng)機(jī)、興趣、情感、態(tài)度、意志、性格等方面的評(píng)價(jià)也應(yīng)當(dāng)予以足夠的重視。而目前的學(xué)習(xí)評(píng)價(jià)主要以作業(yè)成績(jī)和作業(yè)評(píng)語(yǔ)的方式呈現(xiàn),學(xué)情反饋維度單一、反饋內(nèi)容不夠深入,不能有針對(duì)性地對(duì)學(xué)生個(gè)體的學(xué)習(xí)情況進(jìn)行評(píng)價(jià)反饋,難以及時(shí)為學(xué)生調(diào)整學(xué)習(xí)方法和學(xué)習(xí)策略,提高學(xué)習(xí)效率和提供個(gè)性化學(xué)習(xí)支持服務(wù)。

表1 J開放大學(xué)新生各類前置學(xué)歷占比
(2)評(píng)價(jià)結(jié)果以點(diǎn)概面,缺乏全面性。目前開放課程的“形成性評(píng)價(jià)”設(shè)計(jì)主要依據(jù)知識(shí)單元的學(xué)習(xí)進(jìn)度安排時(shí)間節(jié)點(diǎn),無法貫穿整個(gè)學(xué)習(xí)過程。如表2所示,以J開放大學(xué)開設(shè)的某門課程為例,形成性評(píng)價(jià)的設(shè)計(jì)由觀看視頻時(shí)長(zhǎng)、BBS討論、形成性測(cè)試、期末大作業(yè)4類考核構(gòu)成,在一個(gè)學(xué)習(xí)周期中,BBS討論、形成性作業(yè),分別被安排在第1、3、4、5周。這種在整個(gè)學(xué)習(xí)周期內(nèi)安排幾個(gè)評(píng)價(jià)節(jié)點(diǎn)的方式無法實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)全過程的持續(xù)觀察、記錄和反思。同時(shí),對(duì)學(xué)生提交的作業(yè)質(zhì)量和在BBS上發(fā)帖質(zhì)量的評(píng)價(jià)往往依賴于教師的教學(xué)經(jīng)驗(yàn)和個(gè)人態(tài)度等,具有一定的主觀性和片面性。

表2 J開放大學(xué)課程的形成性考核任務(wù)和要求
(3)反饋時(shí)間滯后,缺乏即時(shí)性。開放大學(xué)的教學(xué)模式以線上教學(xué)為主,教師和學(xué)生處于準(zhǔn)分離狀態(tài),無法像傳統(tǒng)課堂那樣面對(duì)面交流。這種模式下,即時(shí)的學(xué)情反饋機(jī)制顯得尤為重要,學(xué)情反饋是否及時(shí)準(zhǔn)確直接影響到教學(xué)的質(zhì)量和效果。以上述課程為例,其形成性評(píng)價(jià)屬于階段性的過程性評(píng)價(jià),教師只能在學(xué)生提交作業(yè)時(shí)了解其在上一學(xué)習(xí)階段中的學(xué)習(xí)效果,而學(xué)生也只能在作業(yè)評(píng)閱后通過教師給出的評(píng)語(yǔ)了解自身的學(xué)習(xí)狀態(tài)。學(xué)生在學(xué)習(xí)過程中無法即時(shí)得到評(píng)價(jià)和反饋,教師也無法即時(shí)了解學(xué)生的學(xué)習(xí)需求、學(xué)習(xí)行為和學(xué)習(xí)效果,這在一定程度上影響了教學(xué)進(jìn)度的靈活調(diào)整和教學(xué)效果的有效提升。
通過上述分析表明,開放大學(xué)現(xiàn)階段評(píng)價(jià)模式無法滿足教師教學(xué)及學(xué)生的個(gè)性化學(xué)習(xí)需求。因此,本文擬借助“大數(shù)據(jù)技術(shù)”充分挖掘?qū)W生的在線學(xué)習(xí)過程行為數(shù)據(jù),應(yīng)用“學(xué)本評(píng)估”理論框架豐富評(píng)價(jià)形式,對(duì)數(shù)據(jù)分析進(jìn)行指導(dǎo),構(gòu)建學(xué)習(xí)評(píng)價(jià)系統(tǒng),實(shí)現(xiàn)個(gè)性化、全面化、實(shí)時(shí)化的學(xué)習(xí)評(píng)價(jià)。
1.大數(shù)據(jù)技術(shù)
在數(shù)據(jù)量龐大繁雜的今天,傳統(tǒng)的數(shù)據(jù)處理工具已無法滿足其使用需求。因此,眾多學(xué)者針對(duì)大數(shù)據(jù)的特點(diǎn),研發(fā)了一種全新的數(shù)據(jù)處理工具。這種工具能夠快速分析和處理海量數(shù)據(jù)信息,被稱為大數(shù)據(jù)技術(shù)[11]。
大數(shù)據(jù)技術(shù)包括四個(gè)模塊部分,即數(shù)據(jù)獲取﹑數(shù)據(jù)存儲(chǔ)(數(shù)據(jù)索引、存儲(chǔ)、分享、歸檔)、數(shù)據(jù)分析(數(shù)據(jù)清洗、處理)和數(shù)據(jù)應(yīng)用,各模塊之間的關(guān)系如圖1所示[12]。由于大數(shù)據(jù)具有海量化、多樣化和快速化的特征,能夠?qū)?shù)據(jù)進(jìn)行實(shí)時(shí)處理,因而各模塊之間的關(guān)系不僅包括從數(shù)據(jù)獲取到數(shù)據(jù)應(yīng)用的漸進(jìn)序列關(guān)系,還包括兩模塊之間的交互和反饋關(guān)系。

圖1 大數(shù)據(jù)技術(shù)的模塊組成與關(guān)系

圖2 “學(xué)本評(píng)估”理論框架
利用大數(shù)據(jù)技術(shù)可將大量的、多樣化的學(xué)生學(xué)習(xí)行為進(jìn)行量化處理,進(jìn)而可以從量化的數(shù)據(jù)中分析其與學(xué)習(xí)效果的關(guān)聯(lián)性,最后根據(jù)關(guān)聯(lián)性分析結(jié)果對(duì)學(xué)生的個(gè)性化學(xué)習(xí)提供反饋和指導(dǎo)[13]。大數(shù)據(jù)技術(shù)為開放大學(xué)在線學(xué)習(xí)全面性評(píng)價(jià)和個(gè)性化評(píng)價(jià)提供了實(shí)施基礎(chǔ)、技術(shù)支持和發(fā)展空間,同時(shí)大數(shù)據(jù)技術(shù)模塊組成為開放大學(xué)個(gè)性化學(xué)習(xí)評(píng)價(jià)系統(tǒng)框架提供支撐。
2.“學(xué)本評(píng)估”(LOA)理論
2007年,卡里斯(Carless)等人提出了“學(xué)本評(píng)估”(Learning-oriented assessment)理論的概念和基本框架,該理論以建構(gòu)主義學(xué)習(xí)理論為基礎(chǔ),從學(xué)習(xí)的視角出發(fā),將測(cè)評(píng)融入學(xué)習(xí)系統(tǒng)中,從而更全面、充分地發(fā)揮評(píng)價(jià)對(duì)學(xué)習(xí)每個(gè)階段和各個(gè)環(huán)節(jié)的促進(jìn)作用。[14]
“學(xué)本評(píng)估”理論主要包括評(píng)估任務(wù)作為學(xué)習(xí)任務(wù)、學(xué)生參與和反饋?zhàn)鳛榍梆伻齻€(gè)要素。首先,該理論注重評(píng)估任務(wù)作為學(xué)習(xí)任務(wù),強(qiáng)調(diào)不能僅關(guān)注學(xué)生學(xué)習(xí)的結(jié)果,而是希望學(xué)生能通過完成一系列階段性的評(píng)估任務(wù),來獲得更深層次的學(xué)習(xí)體驗(yàn),提升自身學(xué)業(yè)水平。這為開放大學(xué)學(xué)習(xí)評(píng)價(jià)從單一終結(jié)性評(píng)價(jià)轉(zhuǎn)向診斷性、過程性、終結(jié)性評(píng)價(jià)相結(jié)合的方式指明了路徑。其次,強(qiáng)調(diào)學(xué)生參與評(píng)估,學(xué)生學(xué)習(xí)行為的反饋可作為教師教學(xué)計(jì)劃、教學(xué)目標(biāo)、評(píng)價(jià)標(biāo)準(zhǔn)等優(yōu)化的方向,這有助于教師單向評(píng)價(jià)向多維互動(dòng)評(píng)價(jià)轉(zhuǎn)變。最后,倡導(dǎo)反饋?zhàn)鳛榍梆?提出教師、學(xué)習(xí)同伴、學(xué)生自己都應(yīng)該將評(píng)價(jià)反饋?zhàn)鳛橄码A段學(xué)習(xí)的前饋,以此形成良性循環(huán)。這有助于改善開放大學(xué)混合學(xué)習(xí)評(píng)價(jià)反饋效果不佳的問題,進(jìn)而促進(jìn)學(xué)生下一步學(xué)習(xí)的有效進(jìn)行。
3.大數(shù)據(jù)背景下在線學(xué)習(xí)評(píng)價(jià)的特征
開放大學(xué)學(xué)生個(gè)體差異較大,在線學(xué)習(xí)過程的學(xué)習(xí)行為也隨之多樣化,借助大數(shù)據(jù)工具進(jìn)行在線學(xué)習(xí)評(píng)價(jià)的必要性不言而喻。以大數(shù)據(jù)技術(shù)與“學(xué)本評(píng)估”理論為基礎(chǔ),結(jié)合開放大學(xué)在線學(xué)習(xí)評(píng)價(jià)現(xiàn)狀,總結(jié)大數(shù)據(jù)應(yīng)用流程及在線學(xué)習(xí)評(píng)價(jià)特征,具體如圖3所示。

圖3 學(xué)習(xí)評(píng)價(jià)領(lǐng)域中大數(shù)據(jù)的應(yīng)用流程和特征
(1)豐富學(xué)習(xí)評(píng)價(jià)內(nèi)容。滿足個(gè)性化需求的開放大學(xué)學(xué)習(xí)評(píng)價(jià)不能只為了程序式檢查和評(píng)比分?jǐn)?shù),更應(yīng)通過豐富的評(píng)價(jià)內(nèi)容對(duì)學(xué)生展開全方位了解。在大數(shù)據(jù)時(shí)代背景下,多元化操作行為在各類界面和終端都會(huì)留下數(shù)據(jù)痕跡,大量的數(shù)據(jù)痕跡拼接而成的數(shù)據(jù)庫(kù)為評(píng)價(jià)形式多元化提供了可能。
一方面,評(píng)價(jià)主體需要多方參與,應(yīng)努力形成師生之間交流點(diǎn)評(píng)、學(xué)生之間相互討論、教師之間溝通經(jīng)驗(yàn)的主體多元化評(píng)價(jià)形式。另一方面,評(píng)價(jià)方法需要豐富改善,加強(qiáng)過程性評(píng)價(jià)與終結(jié)性評(píng)價(jià)的結(jié)合,建立針對(duì)學(xué)生個(gè)性化綜合素質(zhì)的評(píng)價(jià)方法。設(shè)立學(xué)生在線課程問答、實(shí)踐活動(dòng)上傳展示、階段性課程成果收集等多種在線學(xué)習(xí)評(píng)價(jià)方法,豐富學(xué)習(xí)評(píng)價(jià)內(nèi)容形式。
(2)完善學(xué)習(xí)評(píng)價(jià)結(jié)果。學(xué)習(xí)評(píng)價(jià)的初衷是為了及時(shí)反映學(xué)生在學(xué)習(xí)過程中的狀態(tài)、收獲和困惑,并及時(shí)為學(xué)生提供個(gè)性化的支持服務(wù),而目前的學(xué)習(xí)評(píng)價(jià)較為注重周、月等時(shí)間節(jié)點(diǎn)的診斷和測(cè)試,并以此為依據(jù)反映學(xué)生階段性學(xué)習(xí)表現(xiàn)。此類缺乏連續(xù)性的間斷節(jié)點(diǎn)評(píng)價(jià)難以對(duì)學(xué)生個(gè)體形成正確認(rèn)識(shí),并準(zhǔn)確反映自身學(xué)習(xí)思考的過程。推進(jìn)大數(shù)據(jù)背景下的開放教育在線學(xué)習(xí)方式,借助大數(shù)據(jù)的連續(xù)性特點(diǎn),可將每個(gè)學(xué)生在學(xué)習(xí)全過程中的理解程度、思考問題邏輯、創(chuàng)新性想法等精細(xì)化行為通過不定期評(píng)價(jià)以量化的方式保留其細(xì)節(jié)特征,為分析其學(xué)習(xí)差異性提供動(dòng)態(tài)化的精細(xì)數(shù)據(jù),使教師可以對(duì)學(xué)生進(jìn)行全過程的監(jiān)督和反饋,準(zhǔn)確把握每個(gè)學(xué)生的學(xué)習(xí)方向,提高學(xué)生的學(xué)習(xí)效率。
(3)實(shí)時(shí)反饋學(xué)習(xí)評(píng)價(jià)。反饋個(gè)性化是開放大學(xué)學(xué)習(xí)評(píng)價(jià)最重要的特征之一,它不僅僅針對(duì)每個(gè)學(xué)生的個(gè)性化學(xué)習(xí)行為進(jìn)行分析,而是通過對(duì)學(xué)生的評(píng)價(jià),實(shí)現(xiàn)對(duì)學(xué)生個(gè)體的個(gè)性化教學(xué)反饋,以期達(dá)到更好的學(xué)習(xí)效果。通過大數(shù)據(jù)分析,獲得學(xué)生接受新事物能力、學(xué)習(xí)態(tài)度、學(xué)習(xí)的努力程度、學(xué)習(xí)動(dòng)機(jī)、學(xué)習(xí)興趣、個(gè)人性格等方面的量化數(shù)據(jù),對(duì)不同學(xué)生在學(xué)習(xí)過程中的差異表現(xiàn)進(jìn)行表征,并以可視化的方式反饋給老師。老師可根據(jù)數(shù)據(jù)反饋,及時(shí)了解各學(xué)生自身情況,并制定個(gè)性化教學(xué)方案,實(shí)現(xiàn)精準(zhǔn)化教學(xué),盡可能選擇最適合學(xué)生的學(xué)習(xí)方式,對(duì)學(xué)生學(xué)習(xí)起到激勵(lì)促進(jìn)作用。同時(shí),學(xué)生可通過學(xué)習(xí)評(píng)價(jià)的反饋更清晰地了解自身學(xué)習(xí)興趣、學(xué)習(xí)效果、學(xué)習(xí)習(xí)慣等,從而為進(jìn)行個(gè)性化教學(xué)、提升教學(xué)質(zhì)量提供強(qiáng)有力的支撐。
結(jié)合開放大學(xué)校情和大數(shù)據(jù)背景下在線學(xué)習(xí)評(píng)價(jià)的特征分析,依據(jù)大數(shù)據(jù)技術(shù)框架和“學(xué)本評(píng)估”理論,本研究設(shè)計(jì)了大數(shù)據(jù)背景下在線學(xué)習(xí)評(píng)價(jià)系統(tǒng)模型,具體如圖4所示。該系統(tǒng)主要由在線學(xué)習(xí)過程觀測(cè)點(diǎn)活動(dòng)記錄、數(shù)據(jù)處理與存儲(chǔ)、數(shù)據(jù)分類與整合、數(shù)據(jù)分析和在線學(xué)習(xí)過程評(píng)價(jià)(可視化信息反饋)5個(gè)子系統(tǒng)和個(gè)性化反饋擴(kuò)展部分組成。通過這些,教師平臺(tái)教學(xué)和學(xué)生在線學(xué)習(xí)的行為活動(dòng)可由大數(shù)據(jù)形式反映并分析出來,保障在線學(xué)習(xí)質(zhì)量,判斷未來教學(xué)和學(xué)習(xí)的趨勢(shì)。
1.在線學(xué)習(xí)過程觀測(cè)點(diǎn)活動(dòng)記錄子系統(tǒng)
學(xué)生的性格、能力、愛好、習(xí)慣等特性暗含于學(xué)生學(xué)習(xí)行為當(dāng)中,因此需要選擇有代表性的、能夠如實(shí)反映學(xué)生全面發(fā)展?fàn)顩r的指標(biāo)。同時(shí),參與開放大學(xué)學(xué)習(xí)的學(xué)生具有年齡、職業(yè)背景、個(gè)體需求差異大的特點(diǎn),所以還需要選取與學(xué)生個(gè)體發(fā)展相匹配并能體現(xiàn)其個(gè)性的評(píng)價(jià)指標(biāo)。根據(jù)上述原則,該系統(tǒng)將觀測(cè)點(diǎn)分為教師平臺(tái)教學(xué)、學(xué)生在線學(xué)習(xí)兩部分,其中教師端觀測(cè)點(diǎn)包括平臺(tái)登錄頻次、批閱課程作業(yè)量和時(shí)效性、發(fā)布課程公告數(shù)量和瀏覽量、發(fā)布討論帖數(shù)量和瀏覽量、發(fā)表評(píng)論條數(shù)和字?jǐn)?shù)、作業(yè)點(diǎn)評(píng)率與點(diǎn)評(píng)字?jǐn)?shù);學(xué)生端觀測(cè)點(diǎn)包括平臺(tái)登錄頻次、課程在線時(shí)長(zhǎng)和時(shí)段、學(xué)生課程測(cè)評(píng)所需時(shí)間和成績(jī)、發(fā)表評(píng)論關(guān)鍵詞情況、作業(yè)提交率、及格率和提交時(shí)間段等。
2.數(shù)據(jù)處理與存儲(chǔ)子系統(tǒng)
數(shù)據(jù)處理與存儲(chǔ)子系統(tǒng)主要包括數(shù)據(jù)采集獲取、數(shù)據(jù)篩選轉(zhuǎn)化、數(shù)據(jù)記錄存儲(chǔ)3個(gè)模塊。在系統(tǒng)中,學(xué)生相關(guān)學(xué)習(xí)行為主要由網(wǎng)絡(luò)日志中所記錄的用戶登錄學(xué)習(xí)平臺(tái)后產(chǎn)生的一系列操作數(shù)據(jù)組成,由于大數(shù)據(jù)背景下在線學(xué)習(xí)過程活動(dòng)所產(chǎn)生的數(shù)據(jù)量巨大,所以需要如Web爬蟲、Session會(huì)話跟蹤技術(shù)、網(wǎng)絡(luò)抓取等數(shù)據(jù)采集工具對(duì)網(wǎng)站相關(guān)內(nèi)容數(shù)據(jù)進(jìn)行動(dòng)態(tài)采集[15],為后續(xù)子系統(tǒng)提供豐富的數(shù)據(jù)庫(kù)支撐。但是原始數(shù)據(jù)庫(kù)數(shù)據(jù)表中記錄的大量用戶的基本信息和學(xué)習(xí)行為數(shù)據(jù),不能直接作為系統(tǒng)進(jìn)行數(shù)據(jù)挖掘的數(shù)據(jù)源,而是需要通過數(shù)據(jù)篩選模塊清洗不干凈數(shù)據(jù)、刪除冗余數(shù)據(jù),將非數(shù)值數(shù)據(jù)轉(zhuǎn)換為數(shù)值數(shù)據(jù)。處理后的碎片化數(shù)據(jù)可通過數(shù)據(jù)轉(zhuǎn)化模塊按照一定規(guī)則進(jìn)行劃分和數(shù)據(jù)標(biāo)準(zhǔn)化,并根據(jù)數(shù)據(jù)的特征、數(shù)據(jù)之間的關(guān)聯(lián)性,進(jìn)一步轉(zhuǎn)化為“數(shù)據(jù)集”,在數(shù)據(jù)利用方面使后續(xù)子系統(tǒng)更加便捷。同時(shí)為防止數(shù)據(jù)丟失,需要通過數(shù)據(jù)記錄存儲(chǔ)模塊將處理后的數(shù)據(jù)或數(shù)據(jù)集存儲(chǔ)到相關(guān)數(shù)據(jù)庫(kù)中。處理完成的數(shù)據(jù)按照結(jié)構(gòu)性質(zhì)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),其中結(jié)構(gòu)化數(shù)據(jù)(如登錄時(shí)間、發(fā)帖量、視頻學(xué)習(xí)時(shí)長(zhǎng)等)存儲(chǔ)在關(guān)系型開源數(shù)據(jù)庫(kù)MySQL中,非結(jié)構(gòu)化數(shù)據(jù)(如圖片、文本等)存儲(chǔ)在非關(guān)系型開源分布式數(shù)據(jù)庫(kù)HBase中。
3.數(shù)據(jù)分類與整合子系統(tǒng)
數(shù)據(jù)分類與整合子系統(tǒng)調(diào)取存儲(chǔ)在數(shù)據(jù)庫(kù)中的相關(guān)數(shù)據(jù)集,根據(jù)提取數(shù)據(jù)的特征進(jìn)行歸類,將碎片化數(shù)據(jù)整合成教師與學(xué)生雙層面數(shù)據(jù)庫(kù)。在參照開放教育在線學(xué)習(xí)評(píng)價(jià)特征的基礎(chǔ)上,教師與學(xué)生雙層面數(shù)據(jù)可進(jìn)一步細(xì)化,其中教師層面包括:教學(xué)過程與教學(xué)習(xí)慣數(shù)據(jù),主要指教師帶有個(gè)人主觀性的教學(xué)實(shí)踐行為數(shù)據(jù)。學(xué)生層面包括:學(xué)習(xí)過程,主要指學(xué)生與學(xué)習(xí)資源交互產(chǎn)生的數(shù)據(jù);學(xué)習(xí)習(xí)慣,主要指學(xué)生帶有個(gè)人主觀性的學(xué)習(xí)實(shí)踐行為數(shù)據(jù);學(xué)習(xí)方法,主要指學(xué)生完成學(xué)習(xí)任務(wù)的行為數(shù)據(jù);學(xué)習(xí)能力,主要指學(xué)生完成學(xué)習(xí)任務(wù)的時(shí)間及課堂測(cè)試數(shù)據(jù);學(xué)習(xí)態(tài)度數(shù)據(jù),主要指可表現(xiàn)學(xué)生在線學(xué)習(xí)認(rèn)真程度的數(shù)據(jù)。同時(shí)數(shù)據(jù)分類與整合子系統(tǒng)中細(xì)化的核心內(nèi)容,可以根據(jù)實(shí)際評(píng)價(jià)的需求進(jìn)行相應(yīng)調(diào)整,以達(dá)到通過數(shù)據(jù)整合的方式,打破學(xué)生在線學(xué)習(xí)過程數(shù)據(jù)孤島的最終目的。
4.數(shù)據(jù)分析子系統(tǒng)
作為關(guān)鍵環(huán)節(jié)的數(shù)據(jù)分析子系統(tǒng),主要是利用已分類整合好的數(shù)據(jù)集,進(jìn)一步創(chuàng)建分析學(xué)生和教師的“個(gè)體用戶自畫像”,即建立針對(duì)用戶的個(gè)性化資料庫(kù),為用戶提供高質(zhì)量的個(gè)性化服務(wù)。教師“個(gè)體用戶自畫像”重點(diǎn)在于掌握教學(xué)規(guī)律和習(xí)慣,發(fā)現(xiàn)教學(xué)過程中的盲點(diǎn)。學(xué)生“個(gè)體用戶自畫像”主要是開放教育教師在查詢學(xué)生個(gè)體時(shí)使用,通過學(xué)生個(gè)體畫像了解和認(rèn)識(shí)學(xué)生,為學(xué)生提供個(gè)性化教學(xué),同時(shí)學(xué)生也可以查看自己的用戶畫像信息,了解自身學(xué)習(xí)情況,為自檢提供數(shù)據(jù)支撐。
根據(jù)開放大學(xué)學(xué)生特點(diǎn),設(shè)計(jì)數(shù)據(jù)分析子系統(tǒng)主要包括學(xué)習(xí)行為TGI偏好指數(shù)分析、學(xué)習(xí)成效分析、價(jià)值分類學(xué)情模型分析。其中TGI偏好指數(shù)反映目標(biāo)群體在特定研究范圍內(nèi)的優(yōu)勢(shì)或弱勢(shì),根據(jù)TGI規(guī)則可以了解學(xué)生相關(guān)傾向和偏好;學(xué)業(yè)成效是學(xué)生學(xué)習(xí)結(jié)果的最終體現(xiàn),是教學(xué)質(zhì)量的直接反映,因此學(xué)習(xí)成效分析可分為學(xué)生綜合成績(jī)分析、學(xué)生綜合成績(jī)與教師教學(xué)行為相關(guān)性分析,以明確學(xué)生對(duì)課程的掌握情況,以及學(xué)生與教師之間的聯(lián)結(jié)情況;在線學(xué)習(xí)流程一般為“登錄學(xué)習(xí)平臺(tái)—觀看學(xué)習(xí)課程資源—根據(jù)課程團(tuán)隊(duì)教師發(fā)布的學(xué)習(xí)活動(dòng)進(jìn)行討論或提交作業(yè)—退出學(xué)習(xí)平臺(tái)”,反映學(xué)生的總體學(xué)習(xí)行為特征較為統(tǒng)一,因此借鑒電商領(lǐng)域衡量客戶價(jià)值和客戶創(chuàng)利能力的RFM模型,根據(jù)學(xué)生在線學(xué)習(xí)活躍程度和學(xué)習(xí)時(shí)長(zhǎng)設(shè)計(jì)RFT(Rencency, Frequency, Time)學(xué)生價(jià)值分類模型,分析學(xué)生學(xué)習(xí)過程活動(dòng)的特征,從而為判斷學(xué)生的積極性和交互程度提供依據(jù)。
5.在線學(xué)習(xí)過程評(píng)價(jià)子系統(tǒng)
該系統(tǒng)旨在把評(píng)價(jià)內(nèi)容貫穿于學(xué)習(xí)全過程,通過相關(guān)評(píng)價(jià)指標(biāo)對(duì)學(xué)習(xí)開始前階段、學(xué)習(xí)過程中階段、學(xué)習(xí)結(jié)束后階段三個(gè)核心時(shí)間段開展評(píng)價(jià)。利用可視化等展示工具將進(jìn)行學(xué)習(xí)評(píng)價(jià)后的結(jié)果及時(shí)呈現(xiàn)給學(xué)生和教師,讓學(xué)生和教師都可以準(zhǔn)確掌握學(xué)生的學(xué)習(xí)情況。
首先在學(xué)習(xí)開始前階段,需要對(duì)學(xué)生的基礎(chǔ)進(jìn)行充分考慮,包括:所學(xué)知識(shí)掌握情況、接受新知識(shí)的能力、對(duì)知識(shí)點(diǎn)的渴求度、學(xué)習(xí)目的等。對(duì)于開放大學(xué)學(xué)生而言,其學(xué)習(xí)動(dòng)機(jī)較多是為了提升自身工作崗位遷移能力,因此明晰學(xué)生知識(shí)的欠缺部分,明確其對(duì)新知識(shí)接收、歸納、總結(jié)的水平,才可制定專項(xiàng)學(xué)習(xí)方向,使教學(xué)方案合理化,實(shí)現(xiàn)個(gè)性化的教學(xué)設(shè)計(jì),達(dá)到因材施教的效果。其次在學(xué)習(xí)過程中階段,對(duì)學(xué)生學(xué)習(xí)習(xí)慣開展評(píng)價(jià)。學(xué)習(xí)習(xí)慣是一種學(xué)生個(gè)性化的學(xué)習(xí)過程,包括每天學(xué)習(xí)時(shí)間段、接納知識(shí)效率較高和較低時(shí)間段、學(xué)習(xí)過程的參與積極性等。在該階段根據(jù)學(xué)生個(gè)體用戶自畫像所表現(xiàn)的教學(xué)問題進(jìn)行診斷,參考問題診斷結(jié)果與學(xué)生學(xué)習(xí)習(xí)慣對(duì)個(gè)性化教學(xué)設(shè)計(jì)進(jìn)一步完善,有助于形成適合學(xué)生的學(xué)習(xí)策略,提高學(xué)習(xí)效率。最后在學(xué)習(xí)結(jié)束后階段,對(duì)學(xué)生開展學(xué)習(xí)效果評(píng)價(jià)。學(xué)習(xí)效果是學(xué)生學(xué)習(xí)完成后所引起的個(gè)體心理與行為上的變化。因此,系統(tǒng)設(shè)計(jì)從自學(xué)能力、所學(xué)知識(shí)基礎(chǔ)應(yīng)用能力、所學(xué)知識(shí)綜合應(yīng)用能力、學(xué)科探究問題能力等由簡(jiǎn)至難4個(gè)角度,綜合考查學(xué)生對(duì)知識(shí)的掌握情況,并借鑒該評(píng)價(jià)結(jié)果對(duì)該學(xué)生下一階段學(xué)習(xí)的教學(xué)設(shè)計(jì)進(jìn)行完善。
6.個(gè)性化反饋擴(kuò)展部分
個(gè)性化反饋屬于在線學(xué)習(xí)評(píng)價(jià)系統(tǒng)中的擴(kuò)展部分,開展評(píng)價(jià)是手段,最終目的是實(shí)現(xiàn)學(xué)生的個(gè)性化教學(xué)設(shè)計(jì)。因此,本文設(shè)計(jì)了依據(jù)系統(tǒng)的評(píng)價(jià)結(jié)果開展的個(gè)性化反饋內(nèi)容,具體如圖5所示。
一是個(gè)性化教學(xué)方向。不是簡(jiǎn)單地把學(xué)習(xí)視頻、學(xué)習(xí)課件、課程作業(yè)等堆放在學(xué)習(xí)平臺(tái)上,而是要根據(jù)學(xué)生的用戶自畫像,有針對(duì)性地推送有價(jià)值的學(xué)習(xí)內(nèi)容。同時(shí),教師也應(yīng)根據(jù)學(xué)生在實(shí)際工作崗位中的知識(shí)需求和學(xué)習(xí)興趣來設(shè)計(jì)教學(xué)活動(dòng),提高教學(xué)效果和學(xué)習(xí)效率。二是個(gè)性化教學(xué)內(nèi)容。現(xiàn)階段在線學(xué)習(xí)平臺(tái)中一些宏觀、抽象概念的語(yǔ)言表達(dá)枯燥單一,教學(xué)內(nèi)容不夠生動(dòng),部分學(xué)生對(duì)抽象內(nèi)容難以理解。因此教師需要根據(jù)學(xué)生對(duì)教學(xué)內(nèi)容的接受程度,個(gè)性化呈現(xiàn)多種學(xué)習(xí)內(nèi)容,滿足不同學(xué)生的喜好需求。對(duì)于難以理解抽象概念的學(xué)生,學(xué)習(xí)內(nèi)容通過符合開放大學(xué)學(xué)生需求的方式來展現(xiàn),以此增強(qiáng)學(xué)生理解,激發(fā)學(xué)習(xí)興趣。三是個(gè)性化教學(xué)形式。通過了解學(xué)生在學(xué)習(xí)過程中對(duì)于交流討論的接受程度、偏好及學(xué)習(xí)興趣,設(shè)計(jì)專題學(xué)習(xí)小組。對(duì)于互動(dòng)意愿強(qiáng)烈的學(xué)生,以學(xué)生自發(fā)組織、教師參與的形式建立學(xué)習(xí)小組,在較大程度上提高學(xué)生的積極性;對(duì)于自學(xué)意愿強(qiáng)烈的學(xué)生,以教師重點(diǎn)主導(dǎo),師生一對(duì)一的形式促進(jìn)交流。在最大程度上尊重學(xué)生學(xué)習(xí)習(xí)慣的同時(shí),保證學(xué)習(xí)效率。四是個(gè)性化教學(xué)導(dǎo)學(xué)機(jī)制。學(xué)生的開放性導(dǎo)致同批次入學(xué)的學(xué)生在學(xué)習(xí)素養(yǎng)方面差異較大,因此需要建立個(gè)性化教學(xué)導(dǎo)學(xué)機(jī)制,達(dá)到學(xué)習(xí)支持服務(wù)覆蓋全過程的目的,以提高學(xué)習(xí)效果。對(duì)于學(xué)習(xí)時(shí)間較少且知識(shí)點(diǎn)掌握情況不樂觀的學(xué)生,可制定更為細(xì)致的導(dǎo)學(xué)方案,如要有明確的學(xué)習(xí)目標(biāo)、學(xué)習(xí)計(jì)劃和學(xué)習(xí)規(guī)范。當(dāng)有新的任務(wù)或作業(yè)時(shí)要給學(xué)生提示,并提醒學(xué)生結(jié)束時(shí)間。同時(shí)可通過在課程中間設(shè)置小問題等方式,避免學(xué)生掛網(wǎng)蹭學(xué)時(shí)。
本文以J開放大學(xué)統(tǒng)計(jì)數(shù)據(jù)為例,分析學(xué)習(xí)過程評(píng)價(jià)系統(tǒng)用于開放教育的路徑和方法,具體如圖6所示。

圖6 大數(shù)據(jù)背景下開放大學(xué)在線學(xué)習(xí)評(píng)價(jià)系統(tǒng)實(shí)施流程
首先,學(xué)生通過網(wǎng)上平臺(tái)進(jìn)行線上學(xué)習(xí)活動(dòng),在該學(xué)習(xí)過程中產(chǎn)生的行為數(shù)據(jù)將被記錄下來。同時(shí),教師通過平臺(tái)開展的一系列教學(xué)活動(dòng)而生成的行為數(shù)據(jù)也被記錄。其次,學(xué)生和教師行為數(shù)據(jù)庫(kù)中的數(shù)據(jù)會(huì)被傳遞至基于大數(shù)據(jù)的開放大學(xué)學(xué)習(xí)評(píng)價(jià)系統(tǒng)。根據(jù)不同的評(píng)價(jià)指標(biāo)和內(nèi)容,系統(tǒng)選擇對(duì)應(yīng)的方法和模型,對(duì)學(xué)生的學(xué)習(xí)過程開展評(píng)價(jià)。
圖7為學(xué)生A高級(jí)財(cái)務(wù)會(huì)計(jì)課程在線學(xué)習(xí)分析圖。由圖7(a)可知,該學(xué)生高級(jí)財(cái)務(wù)會(huì)計(jì)知識(shí)點(diǎn)1和6測(cè)評(píng)成績(jī)較好。對(duì)比分析其對(duì)應(yīng)的學(xué)習(xí)時(shí)長(zhǎng),知識(shí)點(diǎn)1實(shí)際學(xué)習(xí)時(shí)長(zhǎng)低于課程標(biāo)準(zhǔn)值,而知識(shí)點(diǎn)6高于課程標(biāo)準(zhǔn)值。利用在線評(píng)價(jià)系統(tǒng)初步判斷,該學(xué)生對(duì)于知識(shí)點(diǎn)1掌握較為熟練,對(duì)知識(shí)點(diǎn)6雖儲(chǔ)備知識(shí)不足,但對(duì)該內(nèi)容具備一定的學(xué)習(xí)能力。知識(shí)點(diǎn)3和4的測(cè)評(píng)成績(jī)都不理想,其中知識(shí)點(diǎn)3的實(shí)際在線學(xué)習(xí)時(shí)長(zhǎng)遠(yuǎn)超標(biāo)準(zhǔn)時(shí)長(zhǎng),表明該內(nèi)容是學(xué)習(xí)薄弱項(xiàng);知識(shí)點(diǎn)4學(xué)習(xí)時(shí)長(zhǎng)較短,表明學(xué)生A對(duì)該內(nèi)容儲(chǔ)備知識(shí)不足且缺乏學(xué)習(xí)興趣。

(a)課程時(shí)長(zhǎng)與測(cè)評(píng)成績(jī)分析

(b)在線時(shí)間段分析圖7 A學(xué)生高級(jí)財(cái)務(wù)會(huì)計(jì)課程在線學(xué)習(xí)分析圖
根據(jù)學(xué)習(xí)評(píng)價(jià)系統(tǒng)分析的結(jié)果,可通過4個(gè)不同的反饋機(jī)制,進(jìn)行學(xué)生個(gè)性化教學(xué)設(shè)計(jì)。第一,評(píng)價(jià)結(jié)果直接反饋至在線學(xué)習(xí)平臺(tái)后臺(tái)系統(tǒng),該后臺(tái)可根據(jù)學(xué)生在線學(xué)習(xí)評(píng)價(jià)結(jié)果主動(dòng)推送個(gè)性化課程及學(xué)習(xí)資料。對(duì)于學(xué)生A,系統(tǒng)可個(gè)性化推薦自身學(xué)習(xí)意愿強(qiáng)烈但學(xué)習(xí)效果不佳的課程(如知識(shí)點(diǎn)3),適當(dāng)減少知識(shí)點(diǎn)1和6的推送。第二,評(píng)價(jià)結(jié)果通過在線學(xué)習(xí)平臺(tái)消息推送反饋至學(xué)生本人,使學(xué)生可通過分析結(jié)果精準(zhǔn)了解自己的學(xué)習(xí)狀態(tài),便于進(jìn)行自評(píng)。第三,評(píng)價(jià)結(jié)果通過在線教學(xué)平臺(tái)反饋至學(xué)生信息卡中,建立個(gè)性化資料庫(kù),教學(xué)者可通過可視化展示頁(yè)面掌握每個(gè)學(xué)生的學(xué)習(xí)習(xí)慣和學(xué)習(xí)程度。如圖7(b)所示,可知學(xué)生A在6-8點(diǎn)和18-21點(diǎn)在線頻次較高,教師可掌握其高頻學(xué)習(xí)時(shí)間段創(chuàng)建相似學(xué)習(xí)習(xí)慣小組,供學(xué)生們進(jìn)行實(shí)時(shí)在線交流。第四,教師以每個(gè)學(xué)生的可視化評(píng)價(jià)結(jié)果為依據(jù),及時(shí)對(duì)學(xué)生進(jìn)行學(xué)習(xí)過程干預(yù),提供個(gè)性化教學(xué)方案和學(xué)習(xí)指導(dǎo)建議,以適應(yīng)終身教育在線學(xué)習(xí)及學(xué)生多樣化的特點(diǎn)。
隨著教育數(shù)字化步伐的不斷邁進(jìn),大批量線上教學(xué)產(chǎn)生了教育大數(shù)據(jù),其存在為在線學(xué)習(xí)評(píng)價(jià)系統(tǒng)提供了新思路。而大數(shù)據(jù)、學(xué)習(xí)分析和內(nèi)容分析等技術(shù)的引入,讓“個(gè)性化分析”為特征的在線學(xué)習(xí)評(píng)價(jià)有了技術(shù)和方法的支撐。本文在此背景下分析了開放大學(xué)學(xué)習(xí)評(píng)價(jià)現(xiàn)狀及大數(shù)據(jù)背景下的在線學(xué)習(xí)評(píng)價(jià)特征,并以大數(shù)據(jù)技術(shù)與“學(xué)本評(píng)估”理論為基礎(chǔ),從觀測(cè)點(diǎn)記錄、數(shù)據(jù)處理與存儲(chǔ)、數(shù)據(jù)分類與整合、數(shù)據(jù)分析、過程評(píng)價(jià)、個(gè)性化反饋6個(gè)方面提出了基于大數(shù)據(jù)理念的開放大學(xué)個(gè)性化學(xué)習(xí)評(píng)價(jià)系統(tǒng)。最后,借鑒開放大學(xué)實(shí)際數(shù)據(jù)論述了該系統(tǒng)的實(shí)施流程。
基于大數(shù)據(jù)理念的開放大學(xué)學(xué)習(xí)評(píng)價(jià)系統(tǒng)在政策層面貫徹落實(shí)國(guó)家《深化新時(shí)代教育評(píng)價(jià)改革總體方案》的精神,對(duì)扭轉(zhuǎn)“唯分?jǐn)?shù)”和“唯升學(xué)”的評(píng)價(jià)模式進(jìn)行實(shí)踐探索。在實(shí)踐層面體現(xiàn)評(píng)價(jià)主體、方法、功能的多元化,能通過精細(xì)化的評(píng)價(jià)為每個(gè)學(xué)生建立個(gè)性化學(xué)習(xí)庫(kù),在學(xué)生學(xué)習(xí)的過程中持續(xù)改進(jìn)課程體系的教學(xué)內(nèi)容和教學(xué)環(huán)節(jié)設(shè)計(jì),在實(shí)踐層面實(shí)現(xiàn)真正意義上的“因材施教”。本研究模型為開放大學(xué)在線學(xué)習(xí)與評(píng)價(jià)服務(wù)提供更加高效、精準(zhǔn)和個(gè)性化的參考,同時(shí)也期望由開放大學(xué)研究拓展至終身學(xué)習(xí)領(lǐng)域,為其評(píng)價(jià)環(huán)節(jié)提供新視角。