三大MOOC平臺Coursera、EdX和Udacity的可用性比較研究

張岳+李德高

摘 要：文章對三大MOOC平臺（Coursera、EdX和Udacity）進行網站可用性測試，從可靠性、可學習性和滿意度三個角度來研究比較三個網站的可用性，找出每個網站的可用性缺陷，最后給出了提高網站可用性的建議和方法。

關鍵詞： MOOC；可用性；可靠性；可學習性；滿意度

中圖分類號： G434 文獻標志碼：A 文章編號：1673-8454（2016）08-0001-04

一、研究背景

在當今的網絡時代，大規模在線開放課程（Massive Open Online Course簡稱MOOC）的普及使地域、年齡、語言、文化、種族、資本、收入等因素不再成為學習者接受課堂教學的障礙。作為一種新型技術，MOOC已經成為主要教學手段之一（郝丹，2013），受到了許多國家高等教育者的青睞（王文禮，2013；王穎等，2013）。

MOOC平臺的顯著特點之一是開放共享（陳肖庚，王頂明，2013）。具有較強可用性（usability）的MOOC平臺才具有較強的開放共享功能（M. Clarà， E. Barberà，2014）。可用性一詞源于上世紀80年代早期，指特定使用者在特定環境中完成特定任務時對所使用系統或產品的效能、效率與滿意度的評價（ISO，1998）。不同學者、組織從技術、用戶使用、用戶滿意度等方面對網站可用性雖然提出了不同的理解（雷銀枝，2011），而Nielsen（1994）提出的衡量網站可用性的五個方面得到普遍認可，它們是可學習性（用戶第一次進入網站時需要多長時間來完成任務）、使用效率（用戶熟悉這個網站后需要多長時間來完成任務）、可記憶性（用戶再次訪問網站時是否需要重新學習網站操作）、可靠性（用戶訪問網站過程中是否發生技術故障）和用戶滿意度（用戶是否喜歡或者愿意繼續訪問這個網站）。

10多年來，國內學者參考Nielsen（1994）調研結果，并主要采用訪談法（段江玲，王峰，2011）、問卷調查法（雷剛，2010；左伍衡等，2013）、啟發式評估（黨洪莉，陳玉順，2007；張敏，2007）、可用性測試（魏曉玲，2010；趙宇翔，2007）、日志分析法（趙程程等，2004；黃曉斌，邱明輝，2011）、專家調查法（張洪梅等，2009；賀桂和等2010）等，對網站可用性進行了大量研究，但人們對網站可用性的內涵還沒有形成一致認識。導致這種局面的原因很多，例如定性研究居多定量研究不足和評價指標過于多元化等（韓璽，2014）。但我們認為，還有一方面的原因是網站可用性的相對性。網站是一個復雜的工程，對于特定的學習者群體，不同MOOC平臺可能在可用性的不同方面存在差異。也就是說，對于不同的MOOC平臺，同一學習者群體完成不同任務操作的相對效率會有顯著性差異。為驗證這一假設，我們擬對世界上的三大MOOC平臺（Coursera、EdX和Udacity）進行一項實驗研究。

二、研究方法

被試是在浙江大學紫金港校區隨機招募的32名在校學生，其中男生16名、女生16名，學歷層次博士生2名，碩士生5名，本科生25名，平均年齡為22歲。

實驗在多媒體教室里進行，被試根據提示先后進入Coursera、EdX和Udacity三個MOOC平臺，并分別完成三個不同的任務：在網站上注冊一個帳號、查找并進入某一門課程介紹頁和打開第一個課程視頻。

我們用Camtasia Studio6.03記錄每位被試的操作過程，計算每位被試完成每一個任務所需要的時間。實驗結束后，被試填寫網站滿意度測試7-點量表（1表示非常滿意，7表示非常不滿意）。

三、結果分析

我們計算32個被試在不同網站完成不同任務操作的成功率、滿意度和所花費的時間，結果如表1所示。

1.可靠性分析

可靠性是指用戶在訪問網站過程中是否有錯誤發生。我們用任務完成成功率作為衡量網站可靠性的指標。Coursera、EdX和Udacity在三個任務上的平均成功率分別為93%、90%和83%，所有的值均高于可接受的最小閥值70%（K. Maxwell，2002），說明三個網站的可靠性都比較高。卡方檢驗表明，不同網站三個任務的平均成功率沒有顯著性差異，X2（2） = 0.594， p = 0.743，說明從可靠性角度來說，三個網站是沒有差別的。對不同網站不同任務的成功率進行獨立性檢驗表明，被試完成不同任務的成功率與網站無關，X2（4， 797） = 2.486， p = 0.647，Cramers ф=0.056，更印證了剛才卡方檢驗的結果。

2.可學習性分析

對于一個被試，如果他/她在任何網站完成任何任務不成功，那么相應數據將不參與運算。我們獲得20個被試的有效數據，并對他們在不同網站完成不同任務所花費時間進行3（網站：Coursera、EdX和Udacity）×3（任務：注冊、查詢搜索、視頻學習）二因素重復測量方差分析，結果表明，網站主效應顯著F（2， 38） = 4.275，p = 0.021，ηp2 = 0.184；任務主效應顯著F（2， 38） = 3.437，p = 0.042，ηp2 = 0.153；網站和任務交互作用顯著（如圖1所示），F （4，76）=29.197，p = 0.000，ηp2=0.606。

簡單效應分析表明，學生成功完成注冊任務所需要的時間，Coursera和EdX有顯著性差異，t（19） = -4.615，p = 0.000； EdX和Udacity有顯著性差異，t（19） =4.713，p = 0.000；Coursera和Udacity沒有顯著性差異，t（19） = -0.429，p = 0.672。也就是說，學生首次訪問Coursera和Udacity網站并完成注冊的時間要快于EdX，而他們兩者之間是沒有顯著差別的。周俊（2012）提到注冊信息應該最簡化和層次化，首次注冊時應該簡化用戶必須輸入的信息，保證用戶能夠注冊成功，然后再考慮分步驟實現其它信息的收集，把繁瑣的注冊環節分成多個部分完成，有利于分散用戶的抗拒情緒。觀察學生操作視頻，我們發現Coursera和Udacity的注冊功能有相似之處，兩者需要學生提交的表單數量都比較少，只有最簡單的用戶名、用戶郵箱、用戶密碼等4個選項，填寫表單需要耗費的時間都比較短。而EdX上需要提交的表單有9個選項，大量的輸入項增加用戶注冊時的難度，耗費更多的時間和精力，更嚴重的是增加了注冊的心理負擔，成功注冊的概率也隨之下降。

學生成功完成查詢搜索任務所需要的時間，Coursera和EdX沒有顯著性差異，t（19） = -0.258，p = 0.799；EdX和Udacity有顯著性差異，t（19） = -5.055，p = 0.000；Coursera和Udacity有顯著性差異，t（19） = -4.083，p = 0.001；也就是說，學生首次進入Coursera和EdX網站，查詢搜索一門課程所需要的時間比在Udacity上要快。觀察操作視頻，三個網站都提供了根據發布時間早晚、課程類別、課程語言、課程學校等縮小搜索范圍的途徑，區別在于Coursera和EdX的搜索框放在首頁最醒目的位置，而Udacity是將搜索框放在課程列表頁。還有學生在Udacity上查詢搜索課程時，遭遇找不到該課程和點擊搜索提交按鈕無響應等困難，最終不得不在課程列表里一頁一頁去瀏覽，如果能夠提供必要的幫助和提示，學生也不會因此而放棄。Cockrell和Jayne（2002）也持有類似的觀點，他們認為網站內搜索應該放在醒目的位置，并且盡可能的提供更多的途徑和幫助指導。

學生成功打開該課程第一個視頻所需要的時間，Coursera和EdX沒有顯著性差異，t（19） = 1.888，p = 0.074；EdX和Udacity有顯著性差異，t（19） = 7.795，p = 0.000；Coursera和Udacity有顯著性差異，t（19） = 8.799，p = 0.000。也就是說，學生在Udacity上打開一門課程開始學習的時間要快于Coursera和EdX。觀察操作視頻，我們發現雖然Coursera和EdX打開視頻的時間是沒有差異的，但原因卻是不同的；在Coursera點擊一門課程開始學習時，會彈出如何獲取課程認證證書的提示框，引導學生至繳費支付頁面。等學生明白課程學習是免費的時候，再次返回課程內容頁，已經耗費了大量的時間；而在EdX，學生耗費太多的時間用于熟悉課程界面，因為視頻鏈接不夠顯眼又缺少特殊標記。

3.用戶滿意度分析

同樣，對20個有效被試的滿意度分數進行3（網站：Coursera、EdX和Udacity）×3（任務：注冊、查詢搜索、視頻學習）二因素重復測量方差分析表明，網站主效應顯著F （2， 38）=11.614，p = 0.000，ηp2 = 0.379；任務主效應顯著F （2， 38）=7.723，p = 0.002，ηp2 = 0.289；網站和任務交互作用顯著（如圖2所示），F （4，76）=9.266，p = 0.000，ηp2 = 0.328。

簡單效應分析表明，學生對完成注冊任務的滿意度，Coursera和EdX有顯著性差異，t（19） = -7.443，p = 0.000；EdX和Udacity有顯著性差異，t（19） = 5.286，p = 0.000；Coursera和Udacity沒有顯著性差異，t（19） = -1.437，p = 0.167。就注冊功能來說，學生對Coursera和Udacity比較滿意，而對EDX比較不滿意。Donald（2005）提到，真正符合用戶需求的注冊界面應該與用戶的心理模型相匹配。注冊環節是對網站連續性操作的中斷，本來就是不友好的行為，因此更需要通過改善來提高用戶的滿意度。查看滿意度量表上的反饋意見，學生反饋Coursera和Udacity注冊過程簡單明了，而EdX存在需要填寫的選項過多，沒有及時提示輸入信息是否可用，缺少必要的提示和幫助等問題，需要進一步優化和改善。

學生對完成查詢搜索任務的滿意度，Coursera和EdX有顯著性差異，t（19） =-3.559，p = 0.002；EdX和Udacity沒有顯著性差異，t（19） = -0.129，p = 0.899；Coursera和Udacity沒有顯著性差異，t（19） = -2.819，p = 0.011。在查詢搜索方面，學生對Coursera的滿意度最高。盡管學生在Coursera和EdX上完成查詢搜索任務所需要的時間是相同的，但是學生對EdX頁面的不滿意度要高于Coursera。從滿意度問卷里我們找到了原因，學生抱怨EdX的操作不太符合自己習慣、缺少提示和幫助，以及內容排版比較雜亂。ExcimireyAmer（2013）的研究也表明影響用戶滿意度的主要因素依次是可用性、幫助提示以及內容質量。

學生對進入課程打開學習視頻的滿意度，Coursera和EdX沒有顯著性差異，t（19） = -0.471，p = 0.643；EdX和Udacity沒有顯著性差異，t（19） = 1.238，p = 0.231；Coursera和Udacity沒有顯著性差異，t（19） = 1.116，p = 0.278。從課程視頻學習這方面來看，三者的滿意度是沒有差別的。

四、結論

用戶喜歡能夠快速上手的網站，如果一個網站讓用戶感到疑惑或者強迫用戶長時間學習，這就意味著用戶將會放棄該網站而選擇其他同類網站（Nielsen，2007）。將網站可用性測試的方法用于MOOC平臺的研究，可以讓我們更好的了解學生，只有在了解學生的基礎上，才能知道學生喜歡什么樣的MOOC平臺，需要什么樣的課程。

我們用網站可用性測試的方法對Coursera、EdX和Udacity進行了分析，從可靠性、可學習性和滿意度三個角度來研究網站的可用性。比較三個網站三個任務三個角度的排名，我們得出結論：Coursera的可用性優于Udacity和EdX。當然，三個網站在可用性方面都存在需要改進的地方：Coursera在視頻學習頁面會彈出令人討厭的提示框，需要重新設計獲取課程認證證書的流程以及展現方式；EdX的注冊功能需要向Coursera和Udacity學習，通過最簡化和層次化來提高可用性。另外，EdX在頁面的設計、布局和幫助方面也需要加強和優化；Udacity最大的問題出在搜索功能上，搜索框不夠醒目，缺乏足夠的幫助。每個網站并不是一開始就是完美的，需要通過不斷的可用性測試來發現問題并解決問題，來提高網站的可用性，這是一個復雜的整體工程。

本次研究的創新之處是將數據分析的方法引入網站可用性的研究，彌補了網站可用性研究定性研究居多定量研究缺少的不足。當然本次研究也有缺陷之處，由于時間和條件的限制，本次實驗未能進行全面的可用性研究，缺少網站的效率和可記憶性方面的數據。

參考文獻：

[1]Cockrell Barbara，Jayne Elaine.How do I find an article？ Insights from a web usability study[J]. The Journal of Academic Librarianship，2002，（3）.

[2]Donald Norman .emotiomal design：Why We Love Everyday Things[M].Basic Books，2005.

[3]ExcimireyAmer Al-Manasra. Investigating the Impact of Website Quality on Consumers Satisfaction in Jordanian Telecommunication Sector[J] .Arab Economic and Business Journal，2013，（8）.

[4]ISO 9241-11：1998. Ergonomic requirements for office work with visual display terminals （VDTs） -- Part 11： Guidance on usability[S]. 1998.

[5]K.Maxwell.Applied Statistics for Software Managers[M].Prentice Hall ，2002.

[6]M.Clarà， E. Barberà.Three problems with the connectivist conception of learning[J]. Wiley Journal，2014，（3）.

[7]Nielsen Jakob. Usability Engineering[M] . Morgan Kaufmann Publishers，1994.

[8]Nielsen Jakob，Pernice，Kara. Eyetracking Web Usability[M] . Peason Education，2007.

[9]陳肖庚，王頂明. MOOC的發展歷程與主要特征分析[J]. 現代教育技術，2013，（11）.

[10]黨洪莉，陳玉順.可用性評價之啟發式評價法在圖書館網站設計中的應用[J].圖書館論壇，2007（4）：61-63.

[11]段江玲，王峰.房產網站搜索可用性研究——以搜房網為例[J].藝術與設計：理論版，2011（11）：110-112.

[12]韓璽.國內網站可用性評價研究現狀述評[J].圖書館學刊，2014，（1）.

[13]郝丹. 國內MOOC研究現狀的文獻分析[J]. 中國遠程教育，2013，（11）.

[14]賀桂和，譚春輝，鄧艷華.C2C 電子商務網站可用性評價指標體系設計研究[J].荊楚理工學院學報，2010（12）：60-64.

[15]黃曉斌，邱明輝.日志分析法在數字圖書館可用性評價中的應用[J].情報理論與實踐，2011（3）：62-65.

[16]雷剛.論可用性評估在高校圖書館網站建設中的應用——以太原科技大學圖書館為例[J].山西科技，2010（3）：118-120.

[17]雷銀枝. 政府網站可用性研究——以“首都之窗”門戶網站為例[J].情報理論與實踐，2011，（12）.

[18]王文禮. MOOC的發展及其對高等教育的影響[J]. 江蘇高教，2013，（2）.

[19]王穎，張金磊等. 大規模網絡開放課程（MOOC）典型項目特征分析及啟示[J]. 遠程教育雜志，2013，（4）.

[20]魏曉玲.電子商務網站可用性測試設計[J].電腦學習，2010（3）：159-160.

[21]張洪梅，吳帥，曲俊杰.電子商務網站可用性研究擴展式評述[J].全國商情：經濟理論研究，2009（12）：32-36.

[22]張敏.我國高校圖書館網站可用性及其評估方法[J].現代情報，2007（5）：130-132.

[23]趙程程等.網站可用性工程中的用戶數據收集和分析方法[J].電腦開發與應用，2004（4）：38-39.

[24]趙宇翔.公共圖書館網站信息構建可用性評價研究[J].現代圖書情報技術，2007（3）：60-64.

[25] 周俊.改善網站注冊界面的用戶體驗[J]. 韶關學院學報，2012，（6）.

[26]左伍衡，孫優萍，袁鶴.旅游電子商務網站可用性綜合評價研究[J].商場現代化，2007（24）：148.

（編輯：郭桂真）