MOOC教學過程質量監控評價體系的構建與研究

謝賓 施秋萍 劉洋 劉晟藍

摘要：MOOC作為技術支持教育的一種，其本質仍是“師生相對分離”的遠程教育，教學過程中教師不能像傳統教學一樣實時監控教學過程。構建MOOC教學過程質量監控評價體系能夠實現教學過程的監控和評價，使教師根據監控數據和評價結果有針對性的、動態的調整教學。利用定量評價與質性評價，結合基于學生學習行為大數據的學習分析技術，給予及時的評價結果，反饋教與學。

關鍵詞：MOOC；教學質量；監控；評價體系

中圖分類號：G642.0 文獻標志碼：A 文章編號：1674-9324（2016）32-0242-04

一、MOOC質量評價及教學評價的研究與應用現狀

1.MOOC相關研究動態與研究內容。本研究在中國知網中檢索篇名包含MOOC的文章，共計1524篇（截止2015年9月），并使用文獻題錄信息統計分析工具進行分析，從關鍵詞詞頻分布上，MOOC、在線教育、高等教育以及教學模式關鍵詞詞頻出現較高。在國外研究中，MOOC的主要研究方向為MOOC概念、設計、學習理論、案例研究、商業模型、目標群組以及評價等方面。其中研究多傾向于概念、設計、學習理論理論以及案例的研究，在MOOC商業模式、目標群組以及評價方式等方面的研究相對較少，尤其是在慕課的評價（assessment）方面，相關研究也比較少。從以上國內外的MOOC研究現狀可以看出，目前MOOC教學評價方面的研究比較缺乏。

2.MOOC質量/教育質量的評價研究。MOOC課程質量以及其教育價值是決策者、研究者最為關注的問題，決定著MOOC是否具有真正實施到實際教學中的條件。在MOOC質量評價方面，劉路等對歐洲遠程教育大學聯合會的開放教育質量標簽、西班牙MOOC教育質量綜合評價指標體系以及德國MOOC設計質量評價標準進行了比較研究，認為MOOC質量評價應按評價目的選擇局部或整體性評價標準，評價方式突出教師與學習者的評價主體地位，評價環節強化質量控制。李青等在在線課程質量量規的基礎上，結合MOOC的特殊性，構建了MOOC質量模型，包括媒體技術、課程內容和課程管理三部分。馮雪松等人從量化因素與定性描述兩方面出發，圍繞課程內容建設及實施、內容組織、呈現、講授方法及課程執行與推廣等六個方面構建了MOOC質量評價體系。Miguel對比了ADECUR和Standard UNE 66181：2012標準。Yousef A. M. F等總結cMOOC、xMOOC以及面對面教學方式的優缺點，在綜合三種教學方式的基礎上構建了Blended MOOC，并應用包括開放性、質量保證等12個維度評價量規進行質量評價。MOOC質量評價是在整體層面對MOOC本身進行的綜合性評估，關注的是MOOC平臺與課程的有用性與易用性，評價客體是MOOC課程。MOOC教學過程質量監控評價是對MOOC教學過程的評價，關注的是學生的學習和教師的教學，評價客體是MOOC教學的過程和效果。

3.MOOC教學評價研究。針對于MOOC教學過程和效果的評價，研究點主要集中在三個方面：同伴評價及其機制研究，自動測評系統、技術研究以及評價方法體系的構建研究。在同伴評價研究中，鄭燕林等探索了同伴評價實施路徑的選擇；劉玲等以edX，Coursera和北京大學MOOC為例，研究為什么實施同伴評價，同伴評價如何實施，教師如何使用，以及在實施中碰到哪些問題，等等，包括定量評價與質性評價；孫力等構建了同伴互評概率模型來提高MOOC評價系統中主觀試題評分的客觀性和準確性；Hoi K. Suen指出，缺乏形成性評價和反饋，MOOCs就會變成信息垃圾或者節目廣播，不能發揮教育作用，可以通過綜合幾種方式提高同伴評價的準確性和可用性。在構建綜合評價方法體系方面，丁慧等從學習互動評價、過程性評價和終結性評價的基礎上構建學習評價機制。馬桂花從電子學習檔案袋、教師記錄檔案袋和學習成效評價等方面構建多維動態評價體系，并強調以過程性評價為核心。沈欣憶等針對BOOC學習，提煉了12種學習策略，其中，學習評價策略包括作業完整度的同伴評價、優秀作業的同伴推薦、教師對學習者反思的評價以及電子徽章。裴小琴等人從知識、能力和態度三個層面出發，根據學習成績、自主學習、協作學習、信息處理以及參與水平五個指標對混合式教學模式下MOOC教學效果進行評價。Linda Briggs指出MOOC的幾種常用評價工具：同伴評價、自動作文評分、MOOC考試監考。Amit Chauhan總結了幾種評估和評價方式，如學習分析技術，利用學生課程應用狀態、學習者特點以及學生交互、論壇數據進行分析評價，自適應評價、自動測評、先前學習認定等評價方式；指出可以通過花在任務上的時間、學生與課程交互、知識技能的認證等方式進行學習評價。María認為MOOC教學評價方式主要圍繞兩種類型的MOOC，并列舉了除了測評、任務完成等其他評價方式，如同伴評價2.0（將同伴評價作為學習的一項任務）、基于網絡的評價、電子檔案袋、引入專家評價、語義網、學習分析等。

二、MOOC教學過程質量監控評價體系原則

無論是cMOOC、xMOOC還是bMOOC，其評價方式目前都是從某一個或者部分角度出發進行評價。MOOC能否取得有效的教學效果，除了科學有效的課程內容設計、教學方法模式的創新應用，有效機制的保障之外，教學過程質量監控評價體系也是極為重要的一環。通過實施教學過程質量監控和評價，教師可以在教學過程中做到及時調整教學內容、方法和進度等，優化教學過程，從而提高MOOC教學的有效性。

1.MOOC的教學應用模式。SPOC（小型私有化在線課程）與MOOC相比最大的區別是可控的課程參與學生數，使SPOC教學的學習監控、學習評價、個性化輔導、學生出勤率以及師生交互都優于MOOC課程，能夠提供較深層次的在線學習體驗。將SPOC教學與面對面的教學結合起來，實現混合式學習，利用翻轉課堂方式采用線上學習與線下教學的教學應用模式，如圖1所示，解決在線教育“最后40厘米”的關鍵問題。

2.MOOC教學過程質量監控評價體系構建原則。①評價目的清晰化：MOOC教學過程質量監控評價體系的評價目的是對教學的全過程進行及時的監控，評價教與學效果，以便教師調整教學進度、方法和過程。評價內容包括教師的教學過程，學生的學習行為、學習結果，師生交互行為，并對教與學的狀態利用數據分析技術進行監控。②評價主體全面化：傳統的教學評價主體只有教師，而基于MOOC的教學過程監控與評價需要多方聯動。建構主義學習理論指出，學生是學習的主體、知識的建構者，因此教學評價尤其需要注重學生的主體地位和作用，重視學生對學習過程的評價和自我反思。除教學參與者（教師和學生）之外，教學督導能夠以第三方的角度客觀的對教學過程進行評價。基于平臺的學生學習行為大數據能夠實時的反映出學生的在線學習行為，對學習過程進行監控，為教學評價提供量化的數據。③評價方式多元化：MOOC教學是一個動態的、個性化的學習過程，需要與之相應的多元化、動態化、過程性的評價方式，為學習者和教學者提供及時的評價結果。除了可量化的學生學習成績以外，教師評價、同伴評價、自我評價等質性評價更能反映出學生學習過程中的狀態。

三、MOOC教學過程質量監控評價體系

1.MOOC教學過程質量監控評價體系要素。根據MOOC教學過程質量監控評價體系的構建原則，采取多元化的評價方式，基于在線教育網絡課程的評價要素，結合基于學習行為大數據的學習分析技術，本文將MOOC教學過程質量監控評價體系的構成要素分為兩種類型：質性評價和定量評價，四個模塊：互動評價、在線學習行為、測評分析、線上與線下教學，如圖2所示。

互動評價。互動評價主要包含四個方面的內容：①教師評價：教師評價主要包括評價教學過程和評價學生表現兩方面。教師對學生的學習表現最具話語權，能夠全面、深層次的評價學生的整體學習效果，從教學的參與者與學生學習引導者的角度進行主觀的評價，為教學質量評價提供第一手的數據。②學生自評：學生是學習的主體、教學的對象，是知識的獲得者與建構者。學生自評主要是進行學習效果的自我評價、學習過程的自我感受等。③同伴評價：同伴評價是學生之間進行作品、作業的相互評價，同伴互評不僅能夠提高學習者的參與熱情，而且學習者之間通過觀看彼此的作業，可以從中獲得新的啟發和靈感，進而拓寬自己的視野，促進相互學習。為了提高學生互評的可信度和有用性，將“同伴評價”作為一個學習任務，以任務的形式提高同伴評價的深度。④教學督導評價：教學督導一般為執教經驗比較豐富的老教師，能夠以第三方的角度對教學過程進行客觀的評價，避免教師和學生作為教學的直接參與者，在評價過程中可能摻雜的一些影響評價的主觀因素。

在線學習行為。MOOC仍是“師生相對分離”的在線教育形式，其主要教學方式為學生的在線自主學習。對MOOC教學質量進行監控評價，必須把握學生的在線學習行為，學生的在線學習行為反映的是學生在線學習的參與水平。通過MOOC平臺數據實時的監控學生的學習過程，利用數據的收集、匯總、統計與分析，可視化的展現學生利用平臺的學習狀態。①課程平臺訪問次數：學生登陸課程平臺訪問課程的次數，訪問次數反映了學生學習的積極性。②課程平臺登陸在線時長：學生每次登陸課程平臺在線的時長。③學生登陸時間段：學生登陸時間段能夠反映出學生利用哪些時間進行了MOOC學習，白天、晚上、深夜還是周末等，根據登陸時間結合在線時長，反映學生的學習狀態。④教學視頻觀看次數與時長：教學視頻是在線教育的核心資源，是學生在線學習的必學內容。在學生認真學習的前提下，反芻比（單個視頻中，學生觀看時長與視頻時長的比）反映了學生基于學習視頻的行為。⑤師生有效交互次數：有效交互是指教師對學生有效的答疑解惑及指導，學生有效的提問及教師、學生的相應。師生有效交互反映師生之間教與學互動的狀態。⑥交互發帖數與回復數：發帖是在線學習中學生之間、師生之間進行學習互動的主要交互形式，通過發帖與回帖，可以對學習內容、學習問題進行討論與解決。發帖數和回帖數表現了MOOC學習的活躍度，是評價MOOC學習的一個重要指標。

測評分析。基于平臺數據的在線學習行為描述了學生的學習狀態，而通過測評分析，能夠真正的把握學生的學習效果，反饋學生學習效果。①學生階段測評統計分析：階段測評是學生學習過程中的階段性、過程性評價，反映學生每個學習單元/學習階段的知識水平，通過客觀測試，能夠較快的呈現學生知識掌握情況。②學生作業測評分析：主觀題目是對知識的綜合性考查，不僅考查知識點的識記、理解和應用等初級認知能力，更能通過綜合性的題目考查學生利用習得知識進行分析、評價和創造的高級認知能力。通過學生作業測評分析，能夠更準確的衡量學生的知識習得效果。

線上與線下教學。基于MOOC線上與線下相結合的教學模式中，線下教學能夠解決在線學習中無法解決的問題，主要包括線上教學指導和線下問題解決兩個內容。①線上教學指導：教師指導分為課程導學和個性化教學指導。課程導學是教師為學生提供的課程實施、知識教學方面的指導，是課程知識地圖的導航。個性化教學指導是教師根據學生表現提供的個性化學習建議。②線下問題解決：根據翻轉課堂設計，課堂教學過程主要是學生知識的內化過程，教師在課堂教學中通過問題解決引導學生進行知識體系構建。線下教學通過考察出勤、任務解決、實驗操作、核心能力、項目設計等方式計算線下課堂總評成績，對學生學習效果進行評價。

2.MOOC教學過程質量監控評價體系構建。根據MOOC教學過程質量監控評價體系的構建原則和構成要素，本文擬定了四個維度的評價指標項，分別是互動評價、在線學習行為、測評分析以及線上與線下教學。同時，基于評價的可操作性，本評價體系采用等級式評價，評價等級分“優、良、中、差”四個等級。MOOC教學過程質量監控評價要素數據，如視頻觀看時長、師生有效交互次數等來源廣泛、復雜，在應用要素數據需要教學質量評價之前，需要進行數據的篩選、統計、分析等優化過程。對于互動評價，其評價主體不同，在實施教學質量監控評價時，需要給予一定的評價指導。MOOC教學過程質量監控評價體系如表1所示。

四、結論

本文采取多元化評價方式，基于在線教育網絡課程的評價要素，結合基于學習行為數據的學習分析技術，從教學中的互動評價、測評分析、線上與線下教學以及在線學習行為等四個方面出發構建了一個MOOC教學過程質量監控評價體系。本評價體系兼顧了教學過程監控和教學效果的評價，能夠對實施MOOC教學評價提供一些指導與幫助。

參考文獻：

[1]劉路，劉志民，羅英姿.歐洲MOOC教育質量評價方法及啟示[J].開放教育研究，2015，（05）：57-65.

[2]李青，劉娜.MOOC質量保證體系研究[J].開放教育研究，2015，（05）：66-73.

[3]馮雪松，于青青，李曉明.在實踐中探索MOOC評價體系[J].中國大學教學，2015，（10）：72-81，85.

[4]鄭燕林，李盧一.超越大規模，追求大智慧：MOOC學習同伴評價的實施路徑選擇[J].電化教育研究，2015，（09）：42-8.

[5]劉玲.MOOC中同伴互評的功能與策略探究——以edX、Coursera平臺及北京大學的MOOC課程為例[J].工業和信息化教育，2014，（11）.

[6]孫力，鐘斯陶.MOOC評價系統中同伴互評概率模型研究[J].開放教育研究，2014，（05）：83-90.

[7]丁慧，王小剛.基于MOOC的混合教學模式中學習評價機制的研究[J].時代教育，2015，（09）.

[8]馬桂花.多元智能理論下大學英語慕課自主學習多維動態評價體系構建[J].湖北函授大學學報，2015，（08）.

[9]沈欣憶，李爽，丹尼爾·希基，李營.如何提升MOOCs的學生參與度與學習效果——來自BOOC的經驗[J].開放教育研究，2014，（03）：63-70.

[10]裴小琴，夏春明，杜龍兵.MOOC視角下混合式教學效果評價體系研究[J].未來與發展，2015，（11）：95-98.

[11]呂森林，邵銀娟，馮超，等.中國在線教育產業藍皮書（2014-2015版）[M].北京大學出版社，2015.

[12]何克抗.建構主義──革新傳統教學的理論基礎（上）[J].電化教育研究，1997，（03）：3-9.