MOOC傳播效果評價指標體系構建研究*

馬 瑞 吳曉璇 孫倩君 廖可茵

（華南師范大學 教育信息技術學院，廣東廣州 510631）

MOOC傳播效果評價指標體系構建研究*

馬 瑞 吳曉璇 孫倩君 廖可茵

（華南師范大學 教育信息技術學院，廣東廣州 510631）

MOOC在2012年興起后迅速發展，目前在傳播和教學效果上遇到瓶頸，研究領域當中缺少涉及MOOC傳播維度的評價標準。因此，文章通過文獻分析和個案分析、建構模型指標、兩輪專家訪談和問卷分析、信度效度分析、指標項加權，最終構建出MOOC傳播效果評價指標體系（包括資源、課程團隊、學習用戶、環境4個一級維度、8個二級維度、32個指標項），為MOOC研究者的數據分析提供框架指導，評價傳播效果，促進MOOC的革新和發展，對MOOC教學團隊如何提升教學效果有一定的借鑒作用。

MOOC；傳播效果；評價指標體系

一 研究概述

2013年地平線報告中，MOOC被認為是未來1至5年對教育界影響巨大的教育技術。相比于傳統的網絡課程教學，MOOC的特點及優勢在于“開放”，資料可以通過學習者來進行自我重組。但是，MOOC在傳播和教學效果上遇到瓶頸，其如何走得更好更遠，如何更好地提高傳播效果，是一個亟待解決的問題[1]。本文界定的MOOC是通過互聯網支持大規模學習資源、大規模人群參與、有主講教師團隊負責的，具有開放性、自組織和社會性等特點的，授課視頻、即時練習、互動論壇活動和考試測驗等要素相互交織融合的教學過程[2]。研究著眼于構建一個科學完整的 MOOC傳播效果評價指標體系，總結其傳播特性，分析在傳播過程中存在的問題，為MOOC傳播提供一個框架，有助于研究者深刻理解并推廣運用于實踐當中。

二 MOOC傳播效果評價指標體系相關文獻分析

搜索國內外關于MOOC以及MOOC自身相關的評價指標體系文獻，可以看到大部分文獻都呈現MOOC對傳統教育的革新與挑戰。韓錫斌[3]指出，MOOC突破了傳統高等教育的模式，是在課程層面的嘗試與局部的探索，建議從整體上認識和把握在線教育的發展規律。Dalit、Sarah[4]提到，MOOC在傳統教育學習模式的沖擊下，教學者和學習者必須利用信息化技術構建自己的教學框架與學習網絡。

部分MOOC研究雖從傳播視角進行分析，但有傳播學理論支撐并且針對傳播過程中各個要素進行全面研究的文獻數量較少。鄭燕林、馬詩婧、劉爽[5]從SMCR模式下的信源、信息、通道、信宿這四大要素出發，并從主講教師、課程內容、技術、學習用戶幾個方面，對如何更好地建設MOOC提出了理論性的措施。周煜[6]從影視藝術語言的角度切入，并借助符號學與傳播技術理論，從MOOC的傳播語言屬性等出發，分析MOOC教學的特點。其他傳播學角度的MOOC研究則通常集中于 MOOC傳播過程中的某幾個要素:在傳者與受者方面，李昕桐[7]通過研究MOOC課程的制作和運行，提出助教在MOOC傳播中的重要性；Kop等[8]運用大量數據，通過MOOC中教學者與學習者的學習經驗指出雙方聯系的重要性。在傳播媒介方面，張辰[9]結合SNS社交網絡，分析SNS社交網絡對MOOC傳播的影響；De Waard I等[10]探討了MOOC傳播媒介的另一種可能性——MobiMOOC（MOOC在移動終端上的應用）。

從以上研究來看，國內外基于傳播視角的MOOC研究、對MOOC自身相關的評價指標體系研究以及與MOOC同類型開放資源評價體系相關研究等對本文有如下啟示:（1）對MOOC各傳播要素進行分析時，針對單一傳播要素的研究仍具有重要價值；（2）從傳播視角研究時要用相關的傳播學理論作支撐；（3）在理論的指導下要對傳播各要素進行全面系統分析；（4）評價指標體系構建需運用科學的測量方法；（5）建立評價指標體系指標時要系統詳盡。

同時也發現如下不足:（1）從MOOC傳播視角進行的相關研究很缺乏；（2）現有MOOC傳播視角的研究不夠深入，無法針對MOOC特點進行傳播效果研究；（3）對MOOC自身相關的評價體系研究暫時還沒發現，建立MOOC傳播效果評價指標體系具有一定的創新性。

三 研究方法及過程

本研究采用的研究方法及過程為:（1）文獻分析與個案分析。全面收集與本研究相關的文獻，包括MOOC的傳播領域研究、相關評價指標體系構建研究等中英文文獻，進行綜合分析。同時參考與MOOC同類型開放課程評價指標，進行同類指標項借鑒。再通過對MOOC三大學習平臺——Coursera、Udacitiy、edX上部分課程的學習和觀察，針對其特點為MOOC傳播效果評價指標項的初步構想提供了方向。（2）建構模型及指標。通過全面細致的文獻收集及綜合分析、同類指標項借鑒、個案分析等方法初步構建出MOOC傳播效果評價指標模型。（3）第一輪專家訪談及問卷分析，形成評價指標體系。針對初步構建的指標模型，設計了相關的問卷，對來自國內外的16位教育技術學科領域專家進行面對面訪談。通過第一輪專家意見的整理與問卷分析的結果，對模型的具體指標項進行初步調整和增刪，初步形成評價指標體系，下設4項一級指標、10項二級指標、50項三級指標。（4）第二輪專家訪談及問卷分析，修改評價指標體系。第二輪我們邀請國內外教育技術領域的18位專家對該指標體系進行論證?？偟膩碚f，此指標體系得到了專家們的肯定，同時他們也提出了寶貴的修改建議。此外，我們認真考慮專家意見之后，通過量化分析，刪除了18個不合適的指標，并對有關指標進行了修改。（5）信度效度分析。信度測量主要用于檢驗評價指標體系的可靠性，即測量數據的可靠程度。效度檢驗的目的是測量出指標體系能夠準確評測 MOOC傳播效果的程度。本研究通過對評價指標的信度效度分析（Cronbach’s alpha內部一致性信度系數法、內容效度分析、因子分析），驗證了指標項的有效性。（6）指標項加權。指標權重是一個表示該指標重要程度和作用大小的數字指標。本研究采用經驗加權的方法，對評價指標體系進行加權。通過向國內外18位專家學者發放“MOOC評價指標體系評價指標項權重意見征詢量表”，確定各項指標權重。（7）建立MOOC傳播效果評價指標體系。通過以上方法步驟，最終建立MOOC傳播效果評價指標體系，包括4項一級指標、8項二級指標和32項三級指標項。

四 研究結果

1 指標體系的模型及指標建構

構建出的MOOC傳播效果指標模型，包括內容、課程團隊、學習用戶、環境4個一級維度。每個一級維度下分2至3個二級維度，分別是“內容”維度下的“課程內容”、“服務內容”；“課程團隊”維度下的“教師教學能力”、“課程制作水平”；“學習用戶”維度下的“學習用戶的自主性”、“學習用戶的協作性”；“環境”維度下的“社會環境”、“教學環境”、“技術環境”。在每個二級維度下又細分為2至4項指標不等，共29項具體指標。

2 兩輪專家訪談及問卷分析的修訂

在第一輪的專家訪談及問卷分析中，我們對來自加拿大、日本、韓國等國，以及國內的北京大學、清華大學、北京師范大學、華東師范大學等校，對MOOC領域有所研究的16位專家教授進行訪談，整理專家意見，對指標項進行調整和刪改。4項一級指標較為全面地囊括了MOOC當前的傳播要素，但在表述上，一級指標“內容”調整為“資源”；一級指標“課程團隊”下增加“教學理念”，三級指標項由原來的6項增至15項，如增加了“體現教學的師生交互”、“體現知識共享”等；一級指標“資源”下的三級指標由原來的8項增至11項，如增加了“MOOC課程資源實現國內外相結合”、“MOOC課程資源內容形成規范化體系”等；一級指標“學習用戶”下的三級指標由原來的7項調整為12項，如增加了“視頻觀看率高”、“線上MOOC學習者能與教師實現知識共享”等；一級指標“環境”下的三級指標則由原來的8項增至12項。經過此輪的專家訪談，初步形成了一個具有4項一級指標、10項二級指標、50項三級指標的評價指標體系。第二輪專家訪談及問卷分析中，我們邀請來自加拿大、日本等國以及國內北京師范大學、華中師范大學、陜西師范大學等校的18位專家進行論證，發放“MOOC傳播效果評價指標體系各因素意見征詢調查問卷”，結合專家意見、量化分析，刪除了專家提出需要刪改的指標項和部分負荷值在某一項上較低或者不能歸類的指標項共18項，合并二級指標2項，余下的32個指標的探索性因子分析的KMO值分別提高到:資源評價維度0.667，課程團隊評價維度0.629，學習用戶評價維度0.722，環境評價維度為0.778，表明設計的指標體系具有良好的結構效度。

3 指標體系的信度分析

本節主要對MOOC傳播效果評價指標體系進行信度分析，以SPSS 17.0針對各個指標項進行正式的內部一致性檢驗（Cronbach’s alpha系數），獲知評價指標體系的信度即可靠性。

整體評價指標項的α系數為0.953，各一級指標的α系數分別為“資源”0.676、“課程團隊”0.857、“學習用戶”0.889、“環境”0.917，介于0.676到0.953之間。數據表明，MOOC傳播效果評價指標體系具有良好的信度。

4 指標體系的效度分析

編制指標項時以一定的維度結構為依據，由于總體系的題項數目較多，因此在因素分析時，按照四個一級維度分別進行固定數目的因素抽取；采用主成分分析萃取因素，最大正交旋轉進行因素旋轉。在參考了有關研究后，確定了項目和因素挑選的標準:如果因子負荷量小于 0.35或者項目負荷量在兩個以上因子上均大于0.30且非常接近就將其刪除。因素分析的結果表明，根據KMO值，Bartlett’s球形檢驗達到顯著水平，說明數據適合進行因素分析。根據上述原則，第一次因素分析后剔除了18道題；對剩下的32道題進行第二次因素分析，結果表明，KMO值分別提升為資源評價維度0.667，課程團隊評價維度0.629，學習用戶評價維度0.722，環境評價維度為0.778，具體結果見表2。

5 權重的計算

研究采用經驗加權方法，向國內外18位專家學者發放“MOOC評價指標體系指標項權重意見征詢量表”，以確定各指標項權重。各級指標權重的確定，根據計算權重公式:Wi=下面以一級指標“資源”的計算過程為例:

表2 MOOC課程各題項因子負荷表

同理，其余三個一級指標的權重值分別為0.26，0.24，0.24，四個權重總值等于1。根據以上數據分析，統計結果基本符合研究假設，確定了一級指標、二級指標以及三級指標的相應權重。

表3 MOOC傳播效果評價指標體系

6 指標體系的確立

根據統計結果，最終建立MOOC傳播效果評價指標體系，包括4個一級維度、8個二級維度下的32個指標項，并在相應的指標項附上權重值，如表3所示。

五 討論和結論

本文通過對MOOC傳播視角的文獻分析及同類型開放資源評價指標體系的分析比較，初步建構了MOOC傳播效果評價模型及指標。經過兩輪專家訪談及問卷分析、指標項的信度效度分析，對指標進行多次修改、調整和加權，最后得出針對MOOC傳播效果評價指標體系。經多方面驗證，該量表具有科學性和可靠性，適用于MOOC在線教學資源。

本體系從資源、課程團隊、學習用戶、環境四方面對MOOC進行全面評價，與現有的研究相比，更加注重MOOC的整體運作，突出MOOC的交互性特點，能為以后的MOOC相關研究提供一定的支撐。Hew、Cheung[11]認為在MOOC的教學過程中，學生的及時反饋、在線小組的活躍程度等是MOOC面臨的巨大挑戰；華東師范大學任友群教授認為反饋與互動的時效性是評價MOOC課程的重要方面，這幾項內容在我們評價體系的“學習用戶的協作性”、“教學環境”維度的具體指標項下有所體現；Alraimi等[12]提出MOOC的聲譽度和開放性對MOOC的傳播效果有著重要影響，這在本評價體系的“MOOC課程資源開發高?；蜓芯繖C構享譽度高”、“MOOC社區提供多種學習交流工具”、“體現知識共享”等指標項的設置中有所涉及。西北師范大學郭紹清教授強調“資源”是評價MOOC傳播效果的首要方面；河北大學王潤蘭教授認為“學習用戶”層面是評價MOOC傳播效果的重要依據，指標體系的整體設計體現了MOOC傳播效果的基本理念。

評價指標體系可以應用于現有的MOOC資源，也可以成為MOOC學習者的自我評價工具，對MOOC教學團隊如何提升課程的教學效果也有借鑒。首先，在資源方面，課程要注重激發和維持學習用戶的學習興趣，重視學習用戶的參與度和協作性，從而提高MOOC課程的完成度。其次，要注重MOOC課程的互動性，包括教師與學習用戶、學習用戶之間線上線下的交互。再次，要完善MOOC的反饋機制，對學習用戶的學習情況及時分析、評定、反饋，注重學習用戶的學習體驗。但是，由于MOOC擁有大量類型的學習資源，且不同國家、地區的MOOC學習平臺也存在各方面的差異，因此應用評價指標體系得出的結果只能作為參考依據，同時指標體系也需要結合實際應用繼續完善。

[1]Johnson L, Adams Becker S, Cummins M, et al.國際教育信息化2013地平線報告(高等教育版)[J].北京廣播電視大學學報,2013,(2):7-29.

[2]胡欽太,林曉凡.面向社會教育的MOOCs應用模式及優化設計研究[J].電化教育研究,2014,(11):30-36.

[3]韓錫斌,葛文雙,周潛,等.MOOC平臺與典型網絡教學平臺的比較研究[J].中國電化教育,2014,(1):61-68.

[4]Schrire S, Levy D. Troubleshooting MOOCs: The case of a massive open online course at a college of education[C]. World Conference on Educational Multimedia, Hypermedia and Telecommunications, 2012,(1):761-766.

[5]鄭燕林,馬詩婧,劉爽.SMCR模式視角下MOOC建設的路徑選擇[J].中國電化教育,2014,(10):7.

[6]周煜.論MOOC教學的語言特性與傳播歸屬[J].現代傳播:中國傳媒大學學報,2014,(7):134-137.

[7]李昕桐.MOOC“中間人”:從課堂到網絡[J].中國教育信息化:基礎教育,2014,(1):12-13

[8]Kop R, Fournier H, Mak J S F. A pedagogy of abundance or a pedagogy to support human beings? Participant support on massive open online courses[J]. The International Review of Research in Open and Distance Learning, 2011,(7):74-93.

[9]張辰.SNS社交網絡對MOOC的影響的研究[J].計算機光盤軟件與應用,2013,(19):265-265.

[10]De Waard I, Koutropoulos A, Keskin N, et al. Exploring the MOOC format as a pedagogical approach for mLearning[OL].〈http://mlearn.bnu.edu.cn/source/ten_outstanding_papers/Exploring%20the%20MOOC%20format%20 as%20a%20pedagogical%20approach%20for%20mLearning.pdf.〉

[11]Hew K F, Cheung W S. Students’ and instructors’ use of massive open online courses (MOOCs): Motivations and Challenges[J]. Educational Research Review, 2014.

[12]Alraimi K M, Zo H, Ciganek A P. Understanding the MOOCs continuance: The role of openness and reputation[J]. Computers & Education, 2015,80:28-38.

Construction of Evaluation Index System about the Communication Effect of MOOC

MA Rui WU Xiao-xuan SUN Qian-jun LIAO Ke-yin
(School of Educational Information Technology, South China Normal University, Guangzhou, Guangdong, China 510000)

MOOC has developed rapidly since 2012, but it is hitting a wall due to the lack of a corresponding evaluation criterion to promote communication and teaching effect. Therefore, through the analysis of literature and case study, model indicators, two rounds of experts interview and questionnaire, validity analysis, the index weighted, a complete evaluation index system in evaluating communication effect of MOOC including 4 first class indicators (Resources, Course team, Learners, Environment), 8 second class indicators and 32 third class indicators is constructed in this paper. The system can provide a framework for researchers to evaluate the communication effect of MOOC and accelerate the innovation and development of MOOC. Meanwhile, it also draw some inspiration and reference for the MOOC teaching team to promote the communication effect of their courses.

MOOC; communicate effect; evaluation index system

G40-057

A【論文編號】1009—8097（2015）06—0071—07【DOI】10.3969/j.issn.1009-8097.2015.06.011

編輯:小西

本文為廣東大學生科技創新重點培育項目“MOOCs的傳播模式和效果研究”（項目編號：14JXSA01）的研究成果。

馬瑞，在讀碩士，研究方向為教育電視，郵箱為robert9876@foxmail.com。

2015年3月31日