MOOC綜合評價(jià)方法及標(biāo)準(zhǔn)研究

摘要：文章緊扣MOOC的內(nèi)涵與特點(diǎn)，在分析已有的網(wǎng)絡(luò)課程、多媒體教材等數(shù)字資源評價(jià)標(biāo)準(zhǔn)的基礎(chǔ)上，提出了MOOC的主觀評價(jià)與客觀評價(jià)相結(jié)合的綜合評價(jià)方法、評價(jià)標(biāo)準(zhǔn)以及客觀評價(jià)中各指標(biāo)的計(jì)算公式，以期能對MOOC建設(shè)和評價(jià)提供更多的參考依據(jù)。

關(guān)鍵詞：MOOC；在線課程；評價(jià)方法；評價(jià)標(biāo)準(zhǔn)；課程建設(shè)

中圖分類號：G642 文獻(xiàn)標(biāo)識碼：A 論文編號：1674-2117（2017）05-0099-04

研究背景

我國對數(shù)字媒體教材進(jìn)行的技術(shù)質(zhì)量規(guī)范最早可追溯到1990年11月17日，原國家教委辦公廳印發(fā)了《電視教材編制要求和技術(shù)質(zhì)量試行標(biāo)準(zhǔn)》，其中對電視教材的質(zhì)量標(biāo)準(zhǔn)及綜合評定給出了具體的規(guī)定。此后，又陸續(xù)頒發(fā)了多媒體教材、網(wǎng)絡(luò)課程、精品課程、視頻公開課的技術(shù)規(guī)范及評價(jià)標(biāo)準(zhǔn)，對各種媒體數(shù)字教材和資源的開發(fā)及應(yīng)用起到了良好的推動作用。我軍這方面的工作起步稍晚，最早的數(shù)字教材技術(shù)規(guī)范是原總部機(jī)關(guān)于2000年9月26日印發(fā)的《電視教材技術(shù)規(guī)范》，其規(guī)范了電視教材的質(zhì)量標(biāo)準(zhǔn)及綜合評價(jià)標(biāo)準(zhǔn)，以后也陸續(xù)制訂了多媒體教材、網(wǎng)絡(luò)課程等技術(shù)規(guī)范及評價(jià)標(biāo)準(zhǔn)，對我軍各種軍體教材和數(shù)字資源的開發(fā)及應(yīng)用起到了較好的促進(jìn)作用。軍事職業(yè)教育主管部門明確把在線教育為主的遠(yuǎn)程教育作為軍事職業(yè)教育的主要手段，為規(guī)范軍事職業(yè)教育在線課程的建設(shè)，統(tǒng)一技術(shù)標(biāo)準(zhǔn)，指導(dǎo)課程教師及制作人員開發(fā)在線課程，實(shí)現(xiàn)全軍范圍內(nèi)在線課程的應(yīng)用共享，于2016年6月印發(fā)了《軍隊(duì)在線課程建設(shè)規(guī)范（試行）》，該規(guī)范對在線課程的定義、內(nèi)容組成、技術(shù)指標(biāo)、制作流程等進(jìn)行了規(guī)范，是軍事職業(yè)教育在線課程設(shè)計(jì)、開發(fā)的基本依據(jù)，勢必會對軍隊(duì)以MOOC為主的在線課程建設(shè)起到規(guī)范和推動作用，這也促使軍隊(duì)在線課程建設(shè)規(guī)范的制訂工作走到了國家的前面。在制訂該規(guī)范時(shí)，鑒于軍事職業(yè)遠(yuǎn)程在線教育還處于起步階段，為了鼓勵在線課程的建設(shè)，提高在線課程的參與性、積極性和主動性，在規(guī)范中暫沒有涉及在線課程的評價(jià)方法及標(biāo)準(zhǔn)，而國內(nèi)未見MOOC建設(shè)規(guī)范及相關(guān)評價(jià)標(biāo)準(zhǔn)出臺，文章正是立足于此開展研究，探討了MOOC的合理評價(jià)方法和評價(jià)標(biāo)準(zhǔn)。

評價(jià)方法研究

《軍隊(duì)在線課程建設(shè)規(guī)范（試行）》提出，在線課程是指依托網(wǎng)絡(luò)教育平臺，按一定的教學(xué)目標(biāo)、教學(xué)策略組織起來的，以微視頻為主要載體呈現(xiàn)知識點(diǎn)內(nèi)容，在指定的教學(xué)周期內(nèi)，將知識講授、學(xué)習(xí)體驗(yàn)、互動研討、交互答疑、練習(xí)作業(yè)、考核評價(jià)等教學(xué)環(huán)節(jié)完整在線實(shí)現(xiàn)的課程（軍隊(duì)在線課程建設(shè)規(guī)范，2016）。同時(shí)認(rèn)為，大規(guī)模開放在線課程（MOOC，慕課）就是一種典型的在線課程。

MOOC具有以下特點(diǎn)：①以“微視頻+在線隨堂測試”為基本教學(xué)單元的知識點(diǎn)組織和學(xué)習(xí)模式；②注重在線隨堂測試、作業(yè)、答疑、學(xué)習(xí)社區(qū)等手段，實(shí)現(xiàn)師生、生生的教學(xué)互動與研討；③基于“學(xué)習(xí)大數(shù)據(jù)”對學(xué)習(xí)行為進(jìn)行分析、統(tǒng)計(jì)，支撐個(gè)性化學(xué)習(xí)與管理服務(wù)；④課程教學(xué)活動在統(tǒng)一和規(guī)范化的學(xué)習(xí)平臺中完成；⑤實(shí)現(xiàn)有組織的學(xué)習(xí)和自主學(xué)習(xí)的統(tǒng)一；⑥基于虛擬仿真、人工智能等技術(shù)的學(xué)習(xí)功能進(jìn)行開發(fā)與應(yīng)用；⑦提供證書與學(xué)分的獲取（軍隊(duì)在線課程建設(shè)規(guī)范，2016）。

從這一定義和特點(diǎn)可以看出，在線課程是教學(xué)資源，同時(shí)也是一種在線教學(xué)活動過程，不僅重視課程資源建設(shè)，還非常強(qiáng)調(diào)課程資源教學(xué)應(yīng)用效果。為此，對其評價(jià)的方法要與現(xiàn)有的教學(xué)資源的評價(jià)有所區(qū)別。

縱觀國家、軍隊(duì)已有的教學(xué)資源評價(jià)標(biāo)準(zhǔn)，不外乎通過對其教育性、科學(xué)性、技術(shù)性、藝術(shù)性、效益性等方面進(jìn)行評價(jià)，如在2006年軍隊(duì)下發(fā)的網(wǎng)絡(luò)課程技術(shù)規(guī)范中，通過教學(xué)性、可用性、技術(shù)性等3項(xiàng)1級指標(biāo)及15項(xiàng)2級指標(biāo)來評價(jià)網(wǎng)絡(luò)課程。2014年全軍微課評選標(biāo)準(zhǔn)，采用了教學(xué)內(nèi)容、教學(xué)設(shè)計(jì)、內(nèi)容呈現(xiàn)、編輯制作、效果效益等5項(xiàng)1級指標(biāo)（無2級指標(biāo)）來評價(jià)微課，詳細(xì)指標(biāo)參見表1。

經(jīng)分析研究，已有的評價(jià)標(biāo)準(zhǔn)中評價(jià)指標(biāo)體系相對詳細(xì)、完整，能滿足相關(guān)教學(xué)資源進(jìn)行主觀評價(jià)的要求。

但是，已有的評價(jià)方法和標(biāo)準(zhǔn)存在明顯不足：①人為因素影響標(biāo)準(zhǔn)把握。主觀評價(jià)依據(jù)人為主觀評分，具有一定的隨意性，標(biāo)準(zhǔn)不易準(zhǔn)確把握。②評價(jià)指標(biāo)中應(yīng)用效果所占比例不高。應(yīng)用效果指標(biāo)評價(jià)比例多數(shù)占25%左右，且是依據(jù)模糊估計(jì)，缺乏對比性，準(zhǔn)確性差。

針對已有的各種評選、評價(jià)標(biāo)準(zhǔn)的不足，筆者結(jié)合MOOC平臺開發(fā)經(jīng)驗(yàn)、MOOC建設(shè)以及在線開展教學(xué)組織的實(shí)際情況，提出了主觀評價(jià)與客觀評價(jià)相結(jié)合的綜合評價(jià)方法和評價(jià)標(biāo)準(zhǔn)。

1.主觀評價(jià)方法

主要針對課程的教學(xué)性、技術(shù)性方面，參考吸收國家及軍隊(duì)相關(guān)網(wǎng)絡(luò)課程、視頻公開課、微課等的評價(jià)方法和標(biāo)準(zhǔn)，優(yōu)化調(diào)整，設(shè)計(jì)了教學(xué)設(shè)計(jì)、教學(xué)內(nèi)容、教師講授、教學(xué)資源、設(shè)計(jì)規(guī)范、媒體展現(xiàn)、課程制作、平臺銜接8個(gè)技術(shù)指標(biāo)，適用于專家、管理人員等人為主觀估分評價(jià)，減少了主觀評價(jià)所占分值比例，主觀評價(jià)分值占總分的50%，具體可參見下頁表2中1級指標(biāo)教學(xué)性和技術(shù)性的相關(guān)內(nèi)容，在此不贅述。

2.客觀評價(jià)方法

隨著技術(shù)的不斷進(jìn)步，不論是美國的三大MOOC平臺，還是國內(nèi)的中國大學(xué)MOOC、清華大學(xué)學(xué)堂在線MOOC等平臺以及國防科技大學(xué)面向全軍服務(wù)的“夢課”學(xué)習(xí)平臺，都能對學(xué)生學(xué)習(xí)行為、教師教學(xué)行為、課程資源情況等數(shù)據(jù)進(jìn)行完整的記錄。為了彌補(bǔ)已有評價(jià)標(biāo)準(zhǔn)模糊人為估分的不足，針對MOOC建設(shè)質(zhì)量和應(yīng)用效果，完全可以依托在線教育平臺的統(tǒng)計(jì)分析功能，采取數(shù)據(jù)挖掘技術(shù)，依據(jù)適當(dāng)?shù)脑u價(jià)算法，自動得到每門課程的教學(xué)及應(yīng)用效果數(shù)據(jù)，作為課程應(yīng)用情況的定量評價(jià)依據(jù)，提升客觀評價(jià)分值所占比例，客觀評價(jià)分值占總分的50%。

假設(shè)有n門課程參與評價(jià)，第i門課程的應(yīng)用效果評價(jià)指標(biāo)和計(jì)算方法如下。

（1）指標(biāo)一：注冊情況

此項(xiàng)分值滿分設(shè)置為6分，綜合考慮了課程注冊人數(shù)情況及課程點(diǎn)贊、踏踩方面的數(shù)據(jù)。計(jì)算公式為：ai/Max（a1，a2，…，an）×3+bi/（bi+ci）×3。

其中，ai為第i門課程注冊人數(shù)；bi為第i門課程點(diǎn)贊次數(shù)；ci為第i門課程踏踩次數(shù)。

（2）指標(biāo)二：完成情況

此項(xiàng)分值滿分設(shè)置為6分，計(jì)算公式為：di/ai×6。

其中，di為第i門課程學(xué)習(xí)完成人數(shù)。

（3）指標(biāo)三：交流交互

此項(xiàng)分值滿分設(shè)置為10分，綜合考慮了課程交流、教師回復(fù)以及教師主導(dǎo)交流等方面的數(shù)據(jù)。計(jì)算公式為：ei/Max（e1，e2，…，en）×3+fi/ei×2+fi/Max（f1，f2，…，fn）×2+gi/Max（g1，g2，…，gn）×3。

其中，ei為第i門課程交流交互數(shù)；fi為第i門課程教師回復(fù)數(shù)；gi為第i門課程教師主導(dǎo)交流數(shù)。

（4）指標(biāo)四：作業(yè)測試

此項(xiàng)分值滿分設(shè)置為10分， 綜合考慮了課程隨堂測試準(zhǔn)確率、教師作業(yè)布置和批改方面的數(shù)據(jù)。計(jì)算公式為：hi×3+ii/Max（i1，i2，…，in）×3+ji/Max（j1，j2，…，jn）×4。

其中，hi為第i門課程隨堂測試準(zhǔn)確率；ii為第i門課程作業(yè)布置次數(shù)；ji為第i門課程作業(yè)批改次數(shù)。

（5）指標(biāo)五：活躍指數(shù)

此項(xiàng)分值滿分設(shè)置為8分，計(jì)算公式為：。

其中，ki為第i門課程的點(diǎn)擊數(shù)。

（6）指標(biāo)六：題庫建設(shè)

此項(xiàng)分值滿分設(shè)置為10分，綜合考慮了課程試題數(shù)量、平臺中所有課程題庫平均試題數(shù)量、試題題型分布、試題難度等方面的情況。計(jì)算公式為：IIF（li≥Avg（l1，l2，…，ln），3，li/Avg（l1，l2，…，ln）×3）+li/Max（l1，l2，…，ln）×2+mi+ni；

其中，li為第i門課程題庫試題數(shù)；Avg（l1，l2，…，ln）為所有參評課程題庫試題平均數(shù)。

mi為第i門課程題庫試題題型分布是否合理得分，最高得分為3分。筆者通過對大學(xué)本科課程結(jié)業(yè)考試、研究生入學(xué)考試、教師資格認(rèn)證等幾十類上百種試卷進(jìn)行分析研究，得出試題庫中選擇題、填空題、判斷題三種題型的試題數(shù)量分布比例為45∶30∶25為佳的結(jié)論，即計(jì)算時(shí)題庫題型分布比例越逼近此比例，得分越高。

ni為第i門課程題庫試題難易度設(shè)置是否合理得分，最高得分為2分，題庫試題平均難度合理值設(shè)置為0.7，越逼近此值，得分越高。

評價(jià)標(biāo)準(zhǔn)構(gòu)建

筆者通過前面的分析與研究，構(gòu)建了MOOC綜合評價(jià)方法和標(biāo)準(zhǔn)，評價(jià)標(biāo)準(zhǔn)分3項(xiàng)1級指標(biāo)和14項(xiàng)2級指標(biāo)，其中，教學(xué)性和技術(shù)性2項(xiàng)指標(biāo)基于主觀評判，應(yīng)用效果指標(biāo)由教學(xué)平臺客觀計(jì)算得出，如上頁表2所示。

結(jié)語

鑒于以MOOC為主的在線課程建設(shè)已列入教育部、軍隊(duì)相關(guān)管理部門的任務(wù)規(guī)劃，而MOOC評價(jià)標(biāo)準(zhǔn)目前暫未檢索到。筆者在文中提出的評價(jià)標(biāo)準(zhǔn)中的6項(xiàng)客觀指標(biāo)，是根據(jù)教育平臺中課程本身的數(shù)據(jù)以及與其他課程之間的相關(guān)數(shù)據(jù)進(jìn)行對比分析統(tǒng)計(jì)，由平臺自動統(tǒng)計(jì)得出的，計(jì)算方法簡潔實(shí)用，客觀合理，可以作為MOOC教學(xué)效果評價(jià)的參考依據(jù)。筆者提出的MOOC綜合評價(jià)方法、評價(jià)標(biāo)準(zhǔn)及評價(jià)指標(biāo)的計(jì)算方法已在面向全軍服務(wù)的“夢課”學(xué)習(xí)平臺中采用，通過實(shí)證研究與分析，具有一定的科學(xué)性和合理性。本研究提出的評價(jià)方法和標(biāo)準(zhǔn)也存在一些不足，如沒有考慮在線課程的學(xué)時(shí)數(shù)、課程受眾面等因素，值得進(jìn)一步思考、探究、優(yōu)化和完善。

參考文獻(xiàn)：

[1]軍隊(duì)在線課程建設(shè)規(guī)范（試行）[S].北京：訓(xùn)練管理部軍事職業(yè)教育局，2016，6.

[2]現(xiàn)代遠(yuǎn)程教育資源建設(shè)技術(shù)規(guī)范[S].北京：教育部，2001.

[3]國家級精品資源共享課建設(shè)技術(shù)要求[S].北京：教育部，2012.

作者簡介：敖永紅（1965—），男，重慶豐都人，碩士，高級工程師，碩士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)教育應(yīng)用；何星霖（1987—），男，湖南衡陽人，學(xué)士，教育技術(shù)學(xué)研究生，研究方向?yàn)橛?jì)算機(jī)教育應(yīng)用；柯水洲（1992—），男，湖北綿陽人，碩士，高級工程師，研究方向?yàn)樵诰€教育研究。