中外MOOC評價指標對比研究

李偉長 李光敏 呂坤 張瀅琪 陳飛燕

湖北師范大學計算機與信息工程學院 湖北黃石 435002

1 研究背景

2008年，北美的一些公立和頂級大學開始試運營大規模在線開放課程（Massive Open Online Course，MOOC，也叫慕課）[1]，2012年，MOOC 作為一種新型的優質數字化在線課程資源，開始逐步傳入中國，它適應了信息網絡時代學習者學習需求多樣化、學習時間碎片化、學習媒體多元化的學習新變化[2]，通常由知名教師合作開發，按照碎片化的知識點，制作8 ～15 分鐘時長（每個知識點）的微型教學視頻，并以此作為主體教學內容，配套課后作業、在線測試、課外討論等功能模塊，通過在線學習平臺向全球學習者開放使用。

MOOC 在數量激增且廣泛應用于混合式教學和在線學習的同時，其自身存在的質量問題開始受到國內外研究者的關注。英聯邦學習共同體（Common Wealth of Learning）于2016年發布的《MOOC 質量保障與評估指南》提出：“MOOC 建設質量已經成為制約MOOC 發展的瓶頸，為了保持MOOC 的生命力，需要MOOC 建設者采用預設性評價、過程性評價和總結性評價分別對通識型MOOC、實踐型MOOC和學術型MOOC 進行分類質量評價。”2016年，北京師范大學智慧學習研究院對國內MOOC 平臺的1 388 門課程進行深度調研，發現我國MOOC 主要通過新建、改造和引進三種方式建設，其質量與學習者的理想差距甚遠。一是新建MOOC 存在使用對象不明確，課程內容機械照搬教材等問題；二是改造的MOOC 是在學校原有網絡課程素材和課堂教學監控視頻的基礎上經過二次開發制作而成的，存在資源陳舊，內容表現方式簡單、視頻質量不高等問題[3]；三是引進的國外MOOC 缺少翻譯或提供必要的學習支持服務，存在學習門檻。這些問題導致MOOC 學習者使用困難，出現了注冊率低、選課率低，棄學率高（兩低一高）的現象[4]。我國高校在教學實踐過程中發現，MOOC 質量定位不準確、內容不規范、服務不到位等問題嚴重影響到在線教學的質量。為了引導高校有序建設MOOC，確保MOOC等在線開放課程的建設質量，教育部早在2015年就發布了《教育部關于加強高等學校在線開放課程建設應用與管理的意見》（教高〔2015〕3 號），2022年又發布了《教育部等五部門關于加強普通高等學校在線開放課程教學管理的若干意見》（教高〔2022〕1 號），意見明確指出，要鼓勵高校間通過協同創新和集成創新的方式建設滿足不同教學需要、不同學習需求的在線開放課程或課程群，并制定在線開放課程教學管理辦法，規范課程選用、教學、評價、督導和學分認定等管理制度，通過使用評價等方式對在線開放課程的在線運行、實際應用、教學效果等進行跟蹤監測和綜合評價，加強對在線課程建設的監管。教育部從2019年開始組織國家精品在線開放課程持續開放服務和更新情況督導檢查工作，要求各學校做好課程認定，把好在線課程的入口關，鼓勵建立在線課程質量評價辦法，形成以評促建的質量保障機制。[5]MOOC 質量評價與質量監管已經成為各級教育管理部門和學校的一項常規性任務。

2 MOOC 評價標準體系簡介

本研究對象來源于5 個不同層面的MOOC 評價標準，分別是：武漢大學邱均平教授2015年發表的論文中所構建的“慕課質量評價指標體系”；復旦大學管理學院姚凱教授于《復旦教育論壇》發表的論文中的“MOOC 評價標準體系”；華中師范大學聶艷嬌2021年發表的論文中的“MOOC評價框架”；美國普渡大學5 位學者于2019年發表的論文中的“MOOC評價指標”；奧地利格拉茨大學3 位學者于2015年發表的論文中的“MOOC 評價網格”。國內外MOOC評價指標體系皆出自CCSSCI 以及SSCI層次的文獻中，本研究以這5 套評價體系為對象進行研究，具有較強的代表性（見表1）。

表1 MOOC評價指標體系表

2.1 邱均平“慕課質量評價指標體系”

邱均平教授以先進、獨立、全面，具有代表性、可操作性和可比性的原則為指導，在國內外慕課質量和在線教育質量評價指標相關研究的基礎上，征求慕課研究專家、慕課教學團隊、講師、助教和慕課學員的意見和建議，并根據慕課特點設計了“慕課質量評價指標體系”（見表2）。

表2 邱均平“慕課質量評價指標體系”[6]

2.2 姚凱“MOOC 評價標準體系”

姚凱教授以“MOOC 學院”社區論壇為數據源，使用文本挖掘技術對其進行處理和分析，獲取部分課程評價指標，同時結合已有課程評價標準，建立了課程內容、教學設計、界面設計、媒體技術、課程管理等5 個一類指標，以及課程說明、內容目標一致性等25 個二類指標的“MOOC 評價標準體系”，如表3所示。

表3 姚凱“MOOC 評價標準體系”[7]

2.3 聶艷嬌“MOOC 評價框架”

聶艷嬌綜合了文獻綜述的發現之后，提出了一個兩級MOOC 評估框架。第一級包括課程計劃、課程內容、教學過程和學習成果4 個主要標準。每個主要標準包括2 到3 個次要標準[8]。表4 展現了標準的結構及其描述。

表4 聶艷嬌“MOOC 評價框架”

2.4 普渡大學“MOOC評價指標”

普渡大學5 位學者對來自EDX，Coursera 或Udacity 教授STEM MOOC 的14 位教職員工進行了半結構化訪談。他們從現象學角度遵循定性方法分析訪談數據，以更多地了解教師在教授MOOC 方面的經驗及哪些信息是對他們有益的觀點。從MOOC教師的角度獲得了4 個維度的“MOOC評價指標”[9]。詳情見表5。

表5 普渡大學“MOOC評價指標”

2.5 格拉茨大學“MOOC 評價網格”

格拉茨大學的3 位學者研究了XMOOC 的基本要素。他們通過對來自多個MOOC 提供商的不同XMOOC 的積極觀察，確定XMOOC 基本教學要素的特征，并且將它們分為子類別并提出標準，以闡明XMOOC 中存在的主要類別。在這項研究中，他們使用不同類型的方法來揭示和評估結果。這些方法是：定性內容分析、個人觀察、文檔分析和專家意見分析。他們總結出了系統標準、交互標準和內容標準的3 個一級標準，以及3 個維度下有針對性的二級標準。詳情見表6。

表6 格拉茨大學“MOOC 評價網格”[10]

3 MOOC 評價標準對比分析

3.1 指標內容涵蓋程度比較分析

以上5 套評價體系內容有許多相似之處，同時也存在不同側重點。除了普渡大學MOOC評價指標，其他4 套評價體系都強調了課程內容、教學資源、教學媒體等因素；而普渡大學MOOC 評級指標來自對MOOC 教師的訪談，該指標和格拉茨大學MOOC 評價網絡更傾向于與學習者交互，獲得學習者的數據和及時的反饋。邱均平慕課質量評價指標體系與姚凱MOOC 評價標準體系關注了MOOC 的界面設計。

3.2 MOOC評價指標形成方法比較

關于評價指標形成的辦法，在文獻中有所提及的情況下進行比較。邱均平“慕課質量評價指標體系”通過整合MOOC 質量研究和國內在線教育課程評價指標的辦法而形成；姚凱“MOOC 評價標準體系”以“MOOC 學院”社區論壇為數據源，使用文本挖掘技術對其進行處理和分析，獲取部分課程評價指標，同時結合已有在線教育課程評價標準而形成；聶艷嬌“MOOC 評價框架”是整合有關慕課質量的相關研究而形成；普渡大學“MOOC評價指標”是對MOOC 教師進行訪談后，通過定性分析的方式而形成；而格拉茨大學“MOOC 評價網格”形成的辦法是定性內容分析、個人觀察、文檔分析和專家意見分析。

可以發現國外2 套MOOC 評價標準體系都采用了定性分析作為其中的步驟，而國內的3 套MOOC評價指標體系并沒有采用定性分析方法；另外，姚凱“MOOC 評價標準體系”采用了數據挖掘的方法來獲取學習者對MOOC 的關注點作為MOOC評價指標；而普渡大學的5 位學者則通過訪談MOOC 教師來獲取教師對MOOC 的關注點作為評價指標。

3.3 MOOC評價指標粒度分析

邱均平“慕課質量評價指標體系”結構為5 個一級指標、14 個二級指標；姚凱“MOOC 評價標準體系”為5 個一級指標、25 個二級指標；聶艷嬌“MOOC 評價框架”為4 個一級指標、9 個二級指標；普渡大學“MOOC評價指標”是4 個一級指標；格拉茨大學“MOOC 評價網格”則是3 個一級指標、22 個二級指標。可見姚凱“MOOC 評價標準體系”和格拉茨大學“MOOC 評價網格”在評價指標上更細化，說明這2 套MOOC 評價系統分析MOOC 教學環節更透徹。

4 中外MOOC 評價標準分析對比對我國創建MOOC評價指標體系的啟示

4.1 避免評價內容單一性，注重指標全面性

MOOC 評價內容可以反映出建設團隊對MOOC 課程建設的構思，同樣也能夠檢測出一個MOOC 課程是否符合優秀MOOC 課程的標準。所以，評判MOOC的標準體系是否全面，能否反映出MOOC 的本質特征，重點在于MOOC 評價內容的設計。評價內容體系不全面，評價的結論也會不正確。通過以上的比較分析，評價指標內容除應具備全面性外，還需要按照MOOC 的特點圍繞某個主題開展，不能過于分散。但中外5 個MOOC 評價體系綜合性很強，沒有以一門MOOC 課程的學科特點為主題。因此在構建MOOC評價指標體系時應根據MOOC 課程學科特點確立一個主題，并圍繞主題構建評價體系。

4.2 根據客觀實際，調整硬件評價指標與軟件評價指標的比例

由于各MOOC建設團隊的硬條件和軟條件不同，在建立MOOC評價指標體系時，應該從實際情況出發，根據一門MOOC 現有的軟硬件水平建立一個評價指標體系，并且評價指標體系要體現出軟硬件水平的比例的科學性。只有這樣，它才能發揮有效的評價作用，并在引領MOOC 課程發展到更高水平方面發揮作用。例如，MOOC 的硬件設施建設并不完善，如果評價指標體系以軟件標準為主要評價依據，那么這個體系就會顯得蒼白和薄弱，不僅起不到評價作用，而且也起不到指導作用。

4.3 綜合考量主客觀評價因素，科學平衡主客觀評價配比

主觀評價指標和客觀評價指標在MOOC評價指標體系中都非常重要。主觀評價指標反映了學習者在MOOC 課程中的個人學習體驗，但由于是個體差異造成的主觀因素，因此可能無法正確反映通過MOOC 課程所達到的客觀可信度。

客觀指標雖然能在一定程度上反映MOOC 的真實水平，但不能反映MOOC 課程學習者對MOOC 課程本身的滿意度。

另外，如果沒有學習者和MOOC 課程整體的評價，那是不正確的，二者能有效地顯示MOOC 課程體系的真實面貌。因此，評價指標體系的主觀評價和客觀評價必須是科學一致的。

5 結束語

各評價主體對于MOOC 內涵的理解程度有所不同、側重有所不同，導致了MOOC評價指標的差異性。具體表現在：與歐美2 套MOOC 評價標準體系比較，國內的3 套沒有采用定性方法來建立評估體系；國內MOOC評價指標體系較多強調教學設計評估，而歐美評價指標體系注重與學習者交互的評估。總而言之，5 套評價指標體系中有很多優點值得我們在設計國內MOOC 的評價指標體系前借鑒學習。綜上所述，建議根據MOOC 特點、MOOC 學科發展等客觀實際，量體裁衣，來建立MOOC評價指標。