MOOC質量評價體系的構建探究

童小素　賈小軍

【摘要】

隨著信息技術的快速發展，MOOC已融入了新的網絡應用元素，原有網絡課程評價的部分標準已顯得陳舊，無法充分反映大數據時代MOOC的特點。雖然同內外已有不少學者從不同角度對此展開研究并提出了相應的評價體系，但國內目前還沒有形成比較權威且系統的MOOC質量評價體系。在借鑒已有網絡課程和網絡資源評價規范的基礎上，采用文獻調研法和專家訪談法，并以我同教育部教育信息化標準委員會制定的《網絡課程評價規范（CELTS-22）》為藍本，探索性地建立了包含3個一級指標（課程內容、教學設計、學習支持）和26個二級指標的MOOC質量評價指標體系，并利用層次分析法確立了指標的權重。同時，在國內三大MOOC平臺上各選取一門課程，利用評價體系進行了評價實踐。實踐表明其具有較強的可操作性，可以有效評判MOOC建設的優劣，在一定程度上豐富了MOOC質量評價的理論體系，對MOOC的規范建設和可持續發展提供了有益的指導。

【關鍵詞】MOOC；質量評價；評價體系；層次分析法

【中圖分類號】G40-058.1 【文獻標識碼】A 【文章編號】1009-458 x（2017）05-0063-09

近年來，大規模在線開放課程（MOOC）作為一種新興的教育模式受到廣泛的關注，國內外掀起了一陣MOOC建設的浪潮。2012年被《紐約時報》稱為“MOOC年”，而2013年是MOOC本土化的元年。截至2015年，在歐洲包括英國、德國、西班牙等31個國家在內的311所大學開設了MOOC（OpenEducation Europa，2015）；在中國，自2013年年初起，網易與高教社（中國大學MOOC）、清華大學（學堂在線）、北京大學（華文MOOC）和上海交通大學（好大學在線）等紛紛加入MOOC建設的行列。目前，MOOC學院收集了Coursera、edX、Udacity、中國大學MOOC、學堂在線等平臺共5，000多門中英文課程，中國大學MOOC和學堂在線平臺上各有上千門中文課程，涵蓋了各個學科。同時，隨著時間的推移課程數量還在不停增長，選課學習的人數也在不斷增長。然而，琳瑯滿目的MOOC，如何評估其好壞？如何使學習者輕松地獲取高質量的資源？如何規范MOOC的建設？這些問題促使MOOC質量的評價成為一項十分有實踐意義的研究。

一、研究現狀

在MOOC建設的浪潮中，高參與率與低結課率使得MOOC的教育質量及評價問題受到了國內外學者的關注，形成了一些從不同角度出發的評價體系，大致可以分為四類：MOOC平臺角度、MOOC傳播效果角度、MOOC實踐性的角度和將原有在線課程的評價規范遷移到MOOC領域的角度。

從MOOC平臺角度出發構建的評價體系，比較典型的研究成果有：①韓錫斌等（2014）基于Edu-tools編制的網絡教學平臺評價標準，將MOOC平臺和國內外典型網絡教學平臺進行對比分析，對Edu-tools評價體系的系統技術特征進行了補充調整和優化。②劉和海等（2016）以Edutools評價體系為基礎，通過MOOC平臺與傳統網絡教學平臺的對比優化評價指標，依據優化后的指標體系，全面調研了我國學堂在線等六大MOOC平臺，并進行了全面的對比分析，從宏觀、中觀、微觀三個層面提出了優化策略。從MOOC傳播效果角度出發的評價體系，比較典型的研究成果有：①馬瑞等（2015）通過文獻和個案分析確立指標模型，通過專家訪談構建了4個一級維度（資源、課程團隊、學習用戶、環境）、8個二級維度和32個指標項的MOOC傳播效果評價指標體系。②其他傳播學角度的MOOC研究，雖沒有形成完整的評價體系，但對MOOC傳播過程中的重要要素進行了討論分析。李昕桐（2014）依據擔任北大MOOC“民俗學”助教的經驗，提出了助教這個“中間人”在MOOC傳播中的重要性；張辰（2013）分析了SNS社交網絡對MOOC傳播的影響；Kop等（2011）通過分析學習者和教學者之間的學情數據，指出雙方的聯系在MOOC傳播中起到重要的作用。從MOOC實踐性的角度構建的評價體系，比較典型的研究成果有：①馮雪松等（2015）基于北京大學MOOC實踐，提出了一種面向課程改進的MOOC評價體系，分為量化因素（課程內容建設及課程實施）及定性描述（內容的組織、內容的呈現、講授方法及課程的執行與推廣）兩大部分。②Margaryan等（2015）對76門已經開放的MOOC采用Merrill的首要教學原理的指標分析其教學質量。從原有在線課程的評價規范遷移到MOOC領域的角度構建的評價體系，比較典型的研究成果有：①李青等（2015）通過對國內外八個權威在線課程評價指標的分析，歸納出一般在線課程的質量因子，并以美國《在線課程質量量規》（Quality Matters Rubric）為藍本構建MOOC質量模型。②西班牙學者費爾南德斯等人（Ferndndez，et al.，2015）對兩種在線學習質量評價方法ADECUR和UNE 66181：2012進行比較分析，建立了一套從四個維度（教學內容、教學法、可訪問性、虛擬學習環境）評價MOOC質量的評價體系。③德國亞深工業大學約瑟夫等（Yousef，et al，2014）對在線課程、遠程教育等與MOOC相關文獻進行分析后，構建了一套MOOC設計質量保障標準，包含教學和技術兩個維度75個評價指標項。④羅斯維爾等（Rosewell，et al，2014）從機構層面和課程層面兩個維度建立了適用于開放大學的MOOC質量評價標準，其核心內容源于在線學習和開放教育的質量評價基準E-xcellence。從以上分析可以看出，國內外已有不少學者對MOOC質量的評價展開研究并提出了相應的評價體系，但研究出發的角度和關注的重點不同，所形成的評價框架很不一致，目前國內還沒有形成比較權威且系統的MOOC質量評價體系。本文也是從將原有在線課程的評價規范遷移到MOOC領域的角度來構建評價體系。在借鑒已有網絡課程和網絡資源評價規范的基礎上，采用文獻調研法和專家訪談法，并以我國教育部教育信息化標準委員會制定的《網絡課程評價規范（CELTS-22）》為藍本，結合大數據時代MOOC學習的特點，構建一套面向MOOC質量評價的指標體系，以進一步推動優質MOOC的開發與運營。

二、MOOC的特征

MOOC是通過開放教育資源與學習服務而形成的一種新型教育模式，允許全球有學習需求的人通過互聯網學習，通過網絡實施教學全過程（McAuley，et al，2010）。MOOC不僅是教育技術的革新，更是一種全新的學習方式與教育模式，具有以下四方面的特征：

（一）規模大

MOOC規模大的特征主要體現在海量參與、海量交互和海量學習數據三個方面（王永固，等，2014）。海量參與主要體現在參與的人數眾多，參與的學習者層次差異大，有高中生、大學生，也有職員等，學習目的也各不相同。為應對海量學習者間的巨大差異性，建設MOOC必須提供詳細的課程說明與學習要求，列舉出課程學習過程中常見問題的解決辦法，使學習者能更好地參與其中；提供不同層次的學習補充材料和多種訪問路徑，以滿足不同認知偏好和學識水平的學習者。海量交互是指海量學習者和學習內容間的交互，還包括教師和學習者、學習者和學習者之間的交互。應對海量交互，建設MOOC時需要提供豐富的交互工具，提供充分的交互機會，從而引發學習者對學習內容的深入思考。海量參與和交互使得課程產生了海量的學習數據，這就要求MOOC平臺具有學習分析功能，去發現課程學習的特征和規律以及學習者潛在的問題，從而優化學習者的學習。

（二）開放性

MOOC的開放性是指面向全球的學習者免費開放，課程空間中的課程大綱、課程資料、視頻、測試題等無須付費即可訪問，學習者能夠無障礙地訪問課程資源，自由獲取信息和知識。應對開放性，MOOC開發時需要考慮各種媒體在各種設備上呈現的兼容性，考慮不同國籍學習者文化背景的差異性。

（三）MOOC學習的隨時隨地性

MOOC學習不受時間、空間等條件的限制，學習內容、學習方法以及學習計劃等由學習者自主決定，多以移動學習和碎片化學習為主。這一特點決定了MOOC開發必須考慮以小視頻（5～10分鐘）加小測驗等形式組織課程內容。

（四）MOOC學習的個性化

MOOC學習者學習的需求多種多樣，既有對學習活動的個性化需求，也有對各種學習主題的需求，還有對媒體呈現形式的需求等。這一特點決定了MOOC開發時，需要基于教育大數據的學習分析技術的應用，通過對學習者學習過程的追蹤記錄以及對數據記錄的分析，量化學習者的學習，從而定制出不同于他人的學習策略和學習方法，為學習者推送其感興趣的課程與內容，促使學習更加有效。學習內容應可根據學習者各種個性化、動態的學習需求進行知識結構的調整和內容的完善，實現內容的再生。

三、MOOC質量評價指標體系的構建

從本質上說，MOOC仍是一種網絡課程，鑒于網絡課程質量的相關研究已比較成熟，所以，現有的網絡課程和網絡資源的評價標準都可以作為MOOC評價的重要參考。本研究采用文獻調研法和專家訪談法構建MOOC質量的評價指標。我國教育部教育信息化技術標準委員會（2012）起草的《網絡課程評價規范（CELTS-22）》，是國內使用廣泛的E-learning內容設計開發參考依據和網絡課程質量模型。因此，本研究以此量規為藍本，結合MOOC的特征，對其加以適當增刪和補充優化來構造MOOC質量的評價體系。

（一）專家訪談方案設計

1.專家的選擇

專家的選擇是影響研究結果的關鍵因素之一。本研究主要根據專家的專業背景和當下所從事的研究領域是否為MOOC來選取，選取了浙江大學、杭州師范大學、華東師范大學等學校的11名專家。其中，5名專家為教育技術領域從事數字化學習資源研究和網絡課程開發的教授，其余6名專家為本項目開發組的成員。這11名專家當前的研究重心為MOOC，他們中有的人已經在中國大學MOOC平臺、智慧樹等平臺開設了課程，有的人正在參與，對MOOC的建設有較為全面、系統且獨到的見解。

2.設計第一輪問卷調查表

問卷的第一部分首先對制定指標體系的背景作簡要說明。第二部分是對MOOC質量評價指標咨詢表中各級維度、評價參照標準作詳細說明，給專家以明確的使用指導。專家可在表中自行添加、刪除或修改指標，并對確立的指標進行相對重要性排名。

3.設計第二輪問卷調查表

收回第一輪咨詢表，進行統計處理，并設計發放第二輪咨詢表。第二輪咨詢表主要涉及第一輪問卷中專家的修改意見匯總、每個指標的重要性排名均值和標準偏差，咨詢專家是否同意修改和確立本次指標的重要性排名。每一位專家參考第一輪的統計結果進行第二次評估，如不能達成一致，需要進行多次評估。咨詢幾輪后，專家意見逐漸趨于一致，經過統計歸一處理，最終確定MOOC質量的評價指標及其重要性排名。

（二）評價指標設計

CELTS-22評價規范從四個基本維度（“課程內容”“教學設計”“界面設計”“技術”）來評價網絡課程的質量，包括21條“必需”指標和15條“建議”指標。同時，筆者通過對在線課程、網絡課程、E-Learning課件、資源庫評價、移動學習App等方面的學術文獻和一些國外機構制定的《在線課程評價標準》[Ouafity On The Line（朱凌云，等，2002a）、E-Learning Certification Standards（朱凌云，等，2002b）、ASTD E-Learning課件認證標準（ASTD，2002）、GEM網絡教學資源評價標準（段崇江，等，2002）、ADL網絡教學的設計與評價指南（ADL，2001）、OpenECBCheck Quality Criteria-2012（EFQUEL，2012）、Certification System of e-Learning Quality in Taiwan-2013（eLQCC，2013）]進行詳細分析，發現在評價指標體系中一般都有反映課程內容的評價指標；課程/教學設計指標在評價指標體系中出現的頻率最高；資源的可用易用性指標以及在線支持與幫助指標在評價指標體系中出現的頻率也非常高。因此，筆者將MOOC質量評價分為“課程內容”、“教學設計”和“學習支持”三個維度。各維度下具體指標的構建，以CELTS-22評價指標為基礎，充分結合MOOC的特征，并通過專家的訪談（由于文章篇幅限制，訪談方案如前所述，訪談過程略），得到如表1所示的指標體系。

將CELTS-22網絡課程評價規范和表1對照來看，本文提出的MOOC質量評價指標與CELTS-22網絡課程評價規范之間的異同主要體現在以下幾個方面：

（1）在評價維度上，少了—個維度，將CELTS-22中的“界面設計”和“技術”統稱為“學習支持”。

（2）在“課程內容”維度上，將指標“內容分塊”和“內容編排”提煉成“結構合理性”；刪除了“內容鏈接”指標；新增了指標“資源粒度”（因MOOC學習的隨時隨地性）和“內容的再生性”（因MOOC學習的個性化）；強化了課程說明（因MOOC的大規模和自主性）。

（3）在“教學設計”維度上，刪除了“學習目標”和“目標層次”指標[因MOOC具備后現代課程的特征（王永固，等，2014），其學習目標具有不確定性和自我生成性]；將“學習者控制”指標移到“學習支持”維度下；刪除了“實例與演示”指標；新增了“文化”指標（因MOOC的開放性）；將“學習幫助”指標改為“在線輔導”（強調MOOC學習的網絡性）；強化了“內容的交互性”、“交流與協作”和“練習與反饋”指標（因MOOC學習的自主性、開放性，學伴交互協作、相互測評的重要性）。

（4）在“學習支持”維度下，將CELTS-22中“界面設計”維度下的9個指標提煉成3個指標（“界面可視性”“導航”“語義聚合”）。其中，“語義聚合”強化了“內容檢索”指標（因MOOC視頻資源的小粒度性，增加了學習者檢索資源的次數，通過語義將資源內聚，使小粒度的知識組成更加完整的知識單元，有助于學習者進行全面的知識建構）。CELTS-22中“技術”維度下的6個指標提煉成一個指標“兼容性”，“兼容性”指標代表在不同平臺安裝、卸載以及可靠運行等多個方面。同時，新增加了3個與當前大數據時代數據分析相關的評價指標，也是符合MOOC學習的大規模性和個性化特征的指標（“記錄追蹤”“學習分析”“個性化推送”），對在線學習過程中發生的各種數據進行分析，將分析結果反饋給教師可以幫助教師提高教學質量、教學水平和職業技能，反饋給學生可以幫助學生更好地開展自適應的學習，從而提高學習效果和提高課程通過率。為了提高MOOC的結課率，新增了“證書/學分”指標（因MOOC的開放性和大規模性）。

（三）指標權重的計算

權重是指指標體系中各指標在完成、實現整體目標中的貢獻程度。只有確定了各指標的權重之后，才能合理地進行分析和判定。確定權重的方法主要有專家意見平均法、秩和運算法、層次分析法、特爾斐法等。由于MOOC評價指標不是很直觀，不能用精確的數據來衡量，層次分析法是一種將定性方法和定量方法相結合的方法，為無法定量描述的復雜問題提供了解決方法，因此，MOOC評價指標的權重采用層次分析法來確定。

Yaahp（Yet Another AHP）是一個層次分析法軟件，以層次分析法為依據，具有構造層次模型、錄入判斷矩陣、計算權重和將計算結果導出等功能。利用Yaahp軟件計算MOOC評價指標體系各指標權重的過程如下：

1.建立層次結構模型

在Yaahp軟件中繪制如圖1所示層次結構模型。

2.構造兩兩比較判斷矩陣

（1）一級指標判斷矩陣的構造

根據專家對一級指標課程內容U1、教學設計U2、學習支持U3相對重要性排名的最終統計結果U2>Ul>U3，在Yaahp軟件工作區里單擊“判斷矩陣”標簽，判斷矩陣中輸入數據標度，軟件自動進行一致性檢測，提示“一致（0.0000）”，當一致性比例<0.10時，認為判斷矩陣通過一致性檢驗，如圖2所示。

（2）二級指標判斷矩陣的構造

1）課程內容U1

根據專家對課程內容U1維度下的二級指標相對重要性排名的最終統計結果，將數據標度輸入判斷矩陣中，數據標度的值如表2所示。Yaahp軟件自動進行一致性檢測，提示“一致（0.0316）”，判斷矩陣有效，一致性檢測通過。

2）教學設計U2

根據專家對教學設計U2維度下的二級指標相對重要性排名的最終統計結果，將數據標度輸入判斷矩陣中，數據標度的值如表3所示。Yaahp軟件自動進行一致性檢測，提示“一致（0.0222）”，判斷矩陣有效，一致性檢測通過。

3）學習支持U3

根據專家對學習支持U3維度下的二級指標相對重要性排名的最終統計結果，將數據標度輸入判斷矩陣中，數據標度的值如表4所示。Yaahp軟件自動進行一致性檢測，提示“一致（0.0259）”，判斷矩陣有效，一致性檢測通過。

3.計算權重

判斷矩陣創建完成后，在Yaahp軟件工作區里單擊“計算結果”標簽，得到所有指標的權重，單擊“顯示詳細數據”按鈕可以看到各級指標權重的明細。

圖3列出了一級指標的權重計算結果，從中可以看出，三個一級指標所占的權重分別是：課程內容U1的權重為0.3333，教學設計U2的權重為0.4167，學習支持U3的權重為0 2500，教學設計U2所占的權重比例最高。由于篇幅關系，二級指標權重計算在此省略。

4.MOOC質量評價指標體系的確立

將Yaahp軟件分析的權重結果整理到原有的無權重的評價體系表中，并把較低層次的指標權重乘以其上一級指標的權重，就可得到其在整個指標體系中的實際權重，通過處理得到的MOOC質量評價指標體系，如表5所示。

四、評價指標體系的應用

當前，國內比較受歡迎且用戶量較多的三大MOOC平臺是中國大學MOOC、學堂在線和好大學在線。因此，本研究從這三大MOOC平臺中各選一門課作為MOOC評價體系評價的對象，分別是學堂在線平臺上的清華大學鄧俊輝老師的“數據結構”、好大學在線平臺上的上海交通大學李康化老師的“唐詩宋詞人文解讀”和中國大學MOOC平臺上臺灣新竹清華大學楊佳嫻老師的“細讀張愛玲”，這三門課程都是MOOC學院平臺上推薦的好課。筆者邀請課題組的六名成員從使用者的角度對其實施評價。評價實施后回收評價數據，并計算六位評價者在各指標上的平均分，統計結果如表6所示。將每一個二級指標的平均分乘以各自的權重，得到一級維度的得分，將一級維度的得分乘以各自的權重求得課程的總分，其結果如表7所示。

表6顯示了三門課程在每個二級指標上所得的總分和平均分。這三門課程在資源粒度、資源擴展、內容再生性、媒體選用、動機與興趣、練習與反饋、記錄追蹤、學習分析、個性化推送指標上的平均分存在小于4的情況。其中，資源粒度指標“細讀張愛玲”課程得分只有2.67，原因是其他兩門課程資源的播放時長一般在10分鐘以內，而“細讀張愛玲”課程一般視頻時長都在20分鐘左右，資源粒度大，負荷高，不利于移動學習、碎片式學習的開展。資源擴展指標“唐詩宋詞人文解讀”課程得分最低，只有1分，其次是“數據結構”課程，得分為3.33，原因是“唐詩宋詞人文解讀”沒有提供與教材及課程內容相關、有學習價值的外部資源或鏈接，“數據結構”課程只提供了課程教材的信息以及課程講義的下載鏈接，而“細讀張愛玲”課程不僅給出了課程的教材信息，還給出了相關的參考文獻信息，實現了課程的拓展。內容再生性指標“數據結構”和“細讀張愛玲”這兩門課程得分都只有1.83，原因是這兩門課程都沒有專門的版塊允許用戶提交資源申請、提交資源以及對資源進行糾錯。這個指標“唐詩宋詞人文解讀”課程稍高些，其專門設有課程糾錯區，在視頻播放區右上角設有提問與糾錯，學習者如果發現內容有誤或播放有問題都可以實時報錯糾錯。媒體選用指標“細讀張愛玲”課程得分為2.5，原因是該課程通篇都是以教師講為主，偶爾輔以文本介紹，媒體形式單一。動機和興趣指標“細讀張愛玲”課程得分3.33，原因是“細讀張愛玲”課程沒有采取適當的措施去維持學習者學習課程的興趣，通篇只是介紹，其他兩門課程均采取了一些相應的措施，比如，視頻中嵌入小測試、課堂晉級、提供筆記功能等。練習與反饋指標“細讀張愛玲”課程得分最低，原因為其只提供了主觀題，題型單一，評價采用互評和白評形式。“唐詩宋詞人文解讀”課程提供了客觀題和主觀題兩種形式，客觀題系統自動反饋，主觀題采用互評形式。“數據結構”課程提供了客觀題和編程題，客觀題系統自動評分，編程作業則在http：∥dsa.cs.tsinghua.edu cn/oj/上自動評測，反饋非常及時。記錄追蹤、學習分析、個性化推送指標三門課程得分均低于4分，這三個指標之間為層遞的關系，只有記錄了更全面的學習信息（學習者生理信息、心理信息、學習行為信息等），才能進行更加精確的學習分析，量化學習者的學習，進而推送學習者感興趣的知識內容，學習資源的表征方式采用學習者喜歡和習慣的方式，從而實現學習者個性化、智能、定制和高效的學習。目前，三門課程只是記錄了學習者的學習時長、測試成績、在線交互情況、筆記等數據，記錄不全面，沒有將學生的生理和心理數據（詳細的在線日志、學習表情、操作習慣等）記錄下來。學習分析也只是做了簡單的統計，其中“數據結構”課程在課程進度版塊統計了學習者的學習進度和練習得分情況，“唐詩宋詞人文解讀”課程在統計版塊里顯示了學習者的每周學習時長、人均學習時長、練習得分和人均得分的對比圖，而“細讀張愛玲”課程則沒有專門的版塊統計分析學習者的學習情況。個性化推送指標三門課程都只是通過課程注冊時的郵箱定期推送一些與課程相關的通知（新內容上線通知、作業提交、考試、證書申請等），遠達不到根據學生的喜好、學習分析情況自動推送適合學習者的學習內容的要求。除上述9個二級指標外，其他各項評價指標的平均分都超過了4.00，表明三門課程建設得比較規范，可用易用性較好。

表7給出了三門課程一級維度的得分與總分。可以發現，“數據結構”和“唐詩宋詞人文解讀”總分較高，在85分以上，說明課程建設情況較好。三門課程在學習支持維度上得分均低于4分，說明在建設MOOC時要加強這方面的建設，尤其是在記錄追蹤、學習分析和個性化推送方面的學習支持，這也是大數據時代量化學習，實現個性化學習、自適應學習的必要支持，也是當前MOOC建設面臨的巨大挑戰。“細讀張愛玲”課程除了學習支持維度得分低外，教學設計維度得分也低于4分，說明其在課程內容呈現、學生學習興趣維持以及練習題提供的多層次性等方面要加強建設。

MOOC學院平臺上有一項學習者對課程評價的統計功能，從五個方面來評價課程的好壞（知識量、教師參與、趣味性、課程設計、難度）。網站上這三門課程學習者評價的統計結果（截至2016年11月）顯示“細讀張愛玲”總分為8.5分，“數據結構”和“唐詩宋詞人文解讀”分別為9.0分和8.9分。其中，在“課程設計”單項上“細讀張愛玲”得分為8.4分，“數據結構”和“唐詩宋詞人文解讀”分別為9_7分和9_2分。從這些數據可以看出MOOC學院平臺上的學習者評價統計結果與本研究中MOOC質量評價指標評價結果的一致性，可見MOOC質量評價指標體系的可操作性和有效性。

五、結論

通過查閱和分析大量國內外學術文獻和評價規范，并通過專家訪談，探索性地建立了包含3個一級指標、26個二級指標的MOOC質量評價指標體系，并利用層次分析法確定了各指標的權重（見表5）。依據生成的評價指標體系對國內三大MOOC平臺上的三門課程進行評價實踐，結果表明其具有較強的可操作性，可以有效評判MOOC建設的優劣。評價指標體系的評價實踐對于MOOC資源的建設與管理具有以下啟示：①資源建設要重視教學設計，尤其是資源的趣味性、交互性、教師的參與和反饋。②要加強學習支持方面的建設，尤其是記錄追蹤、學習分析和個性化推送等方面，真正實現以學習者為中心自定步調的個性化學習。

本研究的不足在于，評價指標體系的有效性檢驗只是運用評價指標體系對三門課程進行評價實踐，用評價結果與MOOC學院平臺上學習者對三門課程評價的統計數據的一致性來體現，未能根據評價指標體系編制評價量表對其信度和效度做進一步檢驗，評價體系還有待進一步細化和完善。因此，在今后的研究中，我們將進行較大規模的應用研究，將評價指標體系編制成李克特量表，運用到各大MOOC平臺的課程中，檢驗其信度和效度。同時，結合MOOC平臺上學習者的反饋和調查來進一步完善評價指標。