基于“中國大學MOOC”平臺的MOOC質量評價研究

劉亞男 肖明 劉江榮 徐燁

摘要：為探索在線課程的合理評價方式，構建基于“中國大學MOOC”平臺的MOOC質量評價指標體系，包含用戶、課程、章節、考試、作業、討論區等6個一級指標，以及用戶人數、師資隊伍、課程時長等21個二級指標。使用層次分析法確定各指標權重，并選取該平臺上的《大學英語》《現代禮儀》等5門課程，對其課程質量進行評價分析。結果表明，這種評價體系能夠以平臺為基礎，合理地對MOOC質量進行綜合評價，評價結果對高質量MOOC建設具有一定借鑒作用。

關鍵詞：MOOC平臺;MOOC質量;層次分析法;評價指標體系

DOI：10.11907/rjd k.191412

中圖分類號：G434 文獻標識碼：A 文章編號：1672-7800（2019）012-0136-05

0引言

從2012年起，大規模在線開放課程（Massive Open On-line Courses，簡稱MOOC）作為一種新興教育模式，在國內外引起了廣泛關注。隨著國內MOOC的大規模建設發展，2013年也被國內學者稱為MOOC元年。從2013年起，國內各大在線教育平臺（如“中國大學M00c”“學堂在線”“華文MOOC”等）紛紛加入MOOC建設行列。2017年，教育部辦公廳下發了《教育部辦公廳關于開展2017年國家精品在線開放課程認定工作的通知》，首批認定了490門精品課程，這一舉措一定程度上進一步促進了國內MOOC事業的發展。當前，MOOC正在成為世界各國爭奪下一輪高等教育改革發展主導權、話語權的重要陣地。作為一種具有大規模、開放性、易獲得性等特性的新興教育模式，MOOC在促進教育公平、推動教育事業發展等方面都具有不可估量的作用。

1國內外研究現狀

“MOOC”一詞最早由加拿大學者Dave Cormier等于2008年提出，其基于在線學習特征，與“開放教育”和“電子學習”類似。考慮到MOOC與遠程教育和在線學習有較多相似之處，在調研國內外研究現狀時，本研究同時考慮了在線課程質量保證體系和MOOC質量評價現狀。關于在線課程質量評價，國內已經推出了一些較權威的評價標準，其中包括：國家精品課程評審指標，信息技術學習、教育和培訓在線課程國家標準。國外也有一些國家或組織制定的評價體系，如美國課程審查專業機構Quality Matters（QM）：QM Rubric第五版、英國開放與遠程教育學習質量委員會標準、歐洲開放教育質量標簽、德國MOOC設計質量保障標準。筆者通過分析近年來國內外學者針對MOOC評價的相關研究成果后發現，涉及課程評價指標體系層面的研究主要集中在以下兩個方面：

一是對研究現狀進行梳理，在此基礎上提出新的評價指標體系。Cathy Sandeents～分析MOOC演進過程，指出對MOOC課程進行有效評估才能更好地讓學生有所收獲;譚淇婧、譚明杰選取了歐洲開放教育質量標簽、德國質量保障標準和北大MOOC評價體系進行比較研究，提出了構建MOOC質量評價應注意的問題;李青、劉娜通過對國內外8個權威在線課程評價指標進行分析，從媒體技術、課程內容、課程管理3方面討論實際工作中可具體應用的質量措施，形成較為完整的質量保證體系;沈欣憶基于中國高等遠程教育實踐現狀，融合遠程教育各利益相關者的觀點，研究構建了高等遠程教育質量保證標準;馬瑞、吳曉璇等通過文獻分析和個案分析，構建了包括資源、課程團隊、學習用戶、環境4個一級維度的MOOC傳播效果評價指標體系;趙馨蕊、周雨青等以教學活動及其影響因素為基礎，采用層次分析法建構了大學物理MOOC的教學質量評價指標體系。以上研究大都是對現有一些評價標準進行梳理或對比分析，在此基礎上提出新的MOOC質量評價指標體系，但是并沒有針對課程進行驗證。

二是從應用層面對MOOC質量評價體系進行實證分析。Yousef從用戶界面、課程內容、社交工具、學習方法等對MOOC課程質量進行評價;邱均平從教學隊伍、教學內容、教學資源、教學效果和教學技術5個維度確立了MOOC質量評價體系，并使用模糊評價模型進行實證;李加軍等建立了包含教學評價、教學過程、導航設計、課程內容設計4個一級指標，16個二級指標的MOOC教學質量評價指標體系，并運用模糊綜合評價法對MOOC教學質量進行評價;VictorDyomin等從學習材料、學習過程、學習效果3個方面對MOOC課程進行評價和分析;劉娜提出了基于學習者視角的MOOC課程質量評價方法，包括課程介紹、學習內容、學習媒體、交流互動、學習評價5個方面，并隨機在不同平臺上選取兩門課程進行了評價。

結合MOOC質量評價的現有研究成果不難發現，現有研究大多集中在以學生、課程為主體，基于學習者或現代信息技術視角進行課程質量評價，而沒有結合課程平臺要素對MOOC課程質量的評價。但在MOOC實施過程中，學生作為MOOC課程的主體是需要考慮的要素之一，其它指標要素（如考試情況、討論區互動情況等）也可以在一定程度上反映課程質量。本文制定了一個包含21個二級指標的MOOC課程質量評價體系，采集用戶、課程、章節、考試、作業、討論區等相關數據，通過數據分析方式探索MOOC課程質量評價的合理方式，并選取“中國大學MOOC"平臺上的5門課程進行了實證研究。本研究為基于課程平臺的MOOC質量評價提供了一種新的解決方案。

2研究方法

“中國大學MOOC”是高等教育出版社聯手網易公司推出的一個大規模在線教育平臺。截至目前，該平臺擁有255所合作高校，上線課程超過千門，僅其中“經濟管理”類目下的“金融學”課程目前就有26門。面對如此大量的課程，如何選擇高質量的課程十分重要，本研究主要針對“中國大學MOOC”平臺上開設兩輪次以上的MOOC進行課程質量評價，主要采用以下3種研究方法：

（1）問卷調查法。選取具有MOOC建設經驗或者選修過MOOC課程的120人作為調查對象，通過對預先調查選擇的MOOC評價二級指標進行重要性評價;然后，根據該評價結果剔除無關指標;最后，得到完整的MOOC評價指標體系，其中包含6個一級指標和21個二級指標。

（2）層次分析法。選取具有MOOC建設經驗的10名專家，由他們分別對各級指標進行兩兩比較，構造判斷矩陣，并在Matlab軟件中通過編程確定各指標權重。

（3）實證分析法。為了驗證本文指標評價體系的科學性和可操作性，以“中國大學MOOC”平臺上的MOOC數據為基礎，選取《大學英語》《現代禮儀》等5門課程，利用如圖1所示的評價模型及方法對其進行實證研究。

3nooC質量評價體系構建

3.1MOOC質量評價指標體系建立

評價指標體系是對被評價對象全部或部分特征的真實反映，建立評價指標體系的前提是將抽象的研究對象，按照其本質屬性和特征某一方面的標識分解成為具有行為化、可操作化的結構。本研究主要實現基于“中國大學MOOC”平臺的MOOC質量評價，通過對該平臺數據的調研和分析，初步構建包括所有平臺信息的指標體系問卷，之后進行調查，共發放問卷120份，回收95份，其中有效問卷75份。被調研者主要來自高校、企業和政府機關，并且都是MOOC課程的建設者或者學員。通過此次問卷調查，邀請被調查者對各指標進行重要性評價，剔除掉無關指標，最終構建了一個包含用戶、課程、章節、考試、作業、討論區6個一級指標，以及包含用戶人數、師資隊伍、課程時長等21個二級指標的MOOC質量評價指標體系，如表1所示。

3.2基于層次分析法的指標體系權重確立

層次分析法是應用網絡系統理論和多目標綜合評價方法的一種層次權重決策分析方法。層次分析法本質上是一種決策方法。所謂決策，是指在面臨多種方案時需要依據一定標準選擇某一種方案，其特點是將復雜問題中的各種因素通過劃分為相互聯系的有序層次，使之條理化，而后利用數學方法計算反映每一層次元素相對重要性次序的權值，通過所有層次之間的總排序計算所有元素的相對權重并進行排序。

在確定各指標權重時，如果只是定性結果，則往往不太容易被他人接受。通過矩陣法，即不將所有因素放在一起比較，而是兩兩相互比較，對比時采用相對尺度以提高準確度。本文采用專家訪談法進行判斷矩陣構造，在受訪過程中，專家對各級指標進行兩兩對比，評估相對重要性程度，具體標度如表2所示。

此次專家訪談在2018年8月進行，共成功訪問10位MOOC方面的專家。此次受訪專家從事MOOC研究都在2年以上，專家背景可以滿足此次訪談需要。訪談具體步驟如下：①將提前打印好的MOOC課程評價指標發到專家手中，讓專家用幾分鐘的時間先瀏覽一遍清單內容;②以面對面采訪形式進行訪談，并做好記錄;③詢問專家對于評價指標的修改或補充建議，并做好記錄;④向專家介紹判斷矩陣具體標度的含義，并請專家就各級指標進行兩兩對比;⑤向專家索要名片，或記錄專家的電話、郵箱等聯系方式，以便日后進一步溝通交流。

本次專家訪談順利開展，最終得到了一級指標和各二級指標之間的判斷矩陣。

其中，一級指標兩兩對比的判斷矩陣如表3所示。

在Matlab軟件中通過編程計算出各層權重，并對其進行一致性檢驗，最終得到指標體系權重如表4所示。

4基于“中國大學MooC”平臺的5門課程評價實踐

本文選取“中國大學MOOC”平臺上的5門課程進行實證研究，這5門課程分別為《大學英語》、《現代禮儀》、《金融學》、《高等數學（微積分）》和《程序設計入門——C語言》。首先，結合上文構建的評價指標體系進行數據收集;然后，對數據進行定量和歸一化處理，并對各課程進行評價;最后，結合評價結果，從一級指標層面對這5門課程進行綜合評價。

4.15門課程原始數據

按照上文構建的MOOC質量指標體系，本文選取了5門課程用戶、課程、章節、考試、作業、討論區共6方面的數據。其中，A1表示用戶人數，B1表示師資隊伍，其余各二級指標也均用代碼表示，具體數據如表5和表6所示。

4.2課程原始數據歸一化處理

對原始數據進行預處理，首先需實現定性數據定量化。在所有數據中，只有師資力量這一指標的數據是定性的。具體處理方法概述如下：師資團隊凡是屬于雙一流大學的加3分;教師團隊中有教授的加3分，有副教授的加2分，有講師的加1分;最高得分為10分。對所有定量數據進行歸一化處理，采用式（1）所示的歸一化變換方法進行處理。

4.35門課程得分與排名

根據權重及處理好的指標數據，計算得出每門課程的各一級指標得分以及每門課程總得分。5門課程一級指標具體得分如表9所示。其中，《大學英語》這門課6個一級指標得分分別是0.805、0.355、0.523、0.261、0.337和0.255。

將各指標得分情況與其對應的權重進行相關計算后，即可得到各課程總得分情況，如表10所示。其中，《大學英語》綜合得分為0.421;《現代禮儀》綜合得分為0.409;《金融學》綜合得分為0.383，《高等數學（微積分）》綜合得分為0.300;《程序設計人門——C語言》綜合得分為0.464。從綜合得分可以看出，采用上文構建的指標體系進行評價后，5門課的課程質量排名從高到低依次是：《程序設計入門——C語言》、《大學英語》、《現代禮儀》、《金融學》和《高等數學（微積分）》。

由表10可以看出，在5門課程中得分較低的是《高等數學（微積分）》和《現代禮儀》，分析具體指標發現這兩門課程在一級指標“用戶”方面得分要比其它3門課程低，分別為0.086和0.138，而一級指標“用戶”方面得分最高的《大學英語》則為0.805分。這說明《大學英語》這門課選課人數較多，也反映出這門課的傳播范圍較廣、影響力較大。5門課程中綜合得分最高的是《程序設計人門——C語言》，為0.464分。綜合分析6個一級指標后發現，該課程在一級指標“試卷”方面的得分比其它課程更高，達到0.601分，說明《程序設計入門——C語言》這門課程參加考試的人數較多，其考試平均得分比其它課程也更高，說明學習者對這門課程的掌握程度比其它課程好，該課程取得了良好教學效果。

5結語

本文運用問卷調查法與層次分析法構建了MOOC課程質量評價指標體系，并結合“中國大學MOOC”平臺數據，對5門課程進行了評價。從評價結果看，《程序設計入門——c語言》課程各指標得分都較為優秀，但在用戶人數、章節設置方面還有待提高;《大學英語》課程在用戶人數、章節設置上表現較好，但在討論區模塊上尚有待提高，需要充分調動學員的學習積極性，并且在試卷題目的難易程度上也有待商榷，因試卷過難而導致學員成績普遍較低;《現代禮儀》課程的討論區最為活躍，作業布置也很合適，但在用戶人數以及章節設置方面還需繼續完善;《金融學》課程用戶人數很多，但其討論區不夠活躍，建議該課程團隊今后加強與學員互動，以提高其學習積極性;《高等數學（微積分）》課程擁有強大的教師團隊，課程內容較為充實，但其用戶人數較少，討論區也不活躍，建議該課程團隊今后加大課程宣傳力度，以便吸引更多學員選修該課程，提高該課程資源利用程度。