基于德爾菲方法的在線開放課程質量評價系統研究與實現*

唐曉君 ，路 瑩 ，劉 娜，王海文，龔文心

（大連工業大學 信息科學與工程學院 ，遼寧 大連116034）

引言

2001年4月麻省理工學院啟動 OCW（Open Course Ware，開放課程計劃）項目，網絡開放課程的序幕由此拉開。隨后，耶魯、哈佛、劍橋等世界名校陸續加入，網絡公開課開始席卷全球，高等教育發生了翻天覆地的變化。開放課程提供了潛在的更為廣泛的學習機會，讓更多的人有機會接受高等教育。[1]

2011年，我國開始啟動精品視頻公開課的建設。兩年來共有186門課程向社會免費開放，截至 2012年，“愛課程”網、中國網絡電視臺、網易3個網站“中國大學視頻公開課”首頁面訪問數量達到62億次，課程總訪問量3569.32萬次。[2]2013年6月26日，繼中國大學視頻公開課陸續上線之后，首批120門中國大學資源共享課正式通過“愛課程”網向社會大眾免費開放。視頻公開課與資源共享課共同構成了我國的精品開放課程。[3]

在線開放課程如一股狂潮席卷全球，但是耗費了大量人力、物力、財力而建起來的這些開放課程是否能保證質量，能否達到預期的教育目的，發揮教育價值，這需要進行全面、綜合、客觀的評價。我國現有的精品開放課程質量評價指標主要關注教師的教，較少關注學生的學。而目前絕大部分研究也集中在對“自上而下”的國家評審指標體系的探討，缺少從課程學習者角度的“自下而上”的評價機制。

本文主要探討一種基于課程學習者的 “自下而上”的精品開放課程評價指標體系的構建方法，該方法通過德爾菲（Delphi）方法選取評價指標，確定各指標權重。[4]同時，為實現“自下而上”的開放課程質量評價，設計出能動態收集指標值的開放課程平臺，并按開放課程質量評價指標體系實時計算出各課程的評價得分，為課程學習者選擇課程提供一個客觀的依據，也為精品開放課程考評體系的完善做出貢獻。[5]

一、研究設計

在線開放課程“自下而上”評價指標體系的構建基于德爾菲（Delphi）方法，德爾菲法由美國蘭德公司于20世紀50年代提出，德爾菲方法又稱為專家法，其特點在于集中專家的知識和經驗，確定評價指標和各指標的權重，并在不斷的反饋和修改中得到比較滿意的結果。[6]德爾菲（Delphi）方法既可以用來識別出基于精品開放課程學習者的重要評價指標，同時也可以確定各指標在指標體系中所占的權重。采用該方法進行研究具有一定的優勢，首先，多名精品開放課程學習者對評價指標及權重的集體意見比少數學習者的個人意見更客觀。其次，所選開放課程學習者來自不同地域和不同階層，意見相對獨立，且不受時間和地理位置限制。[7]

1.專家的選取

考慮到本評價指標體系具有基于學習者的“自下而上”特點，選取30位在線開放課程學習者作為專家，其中包括來自于不同高校的20名開放課程學習者，以及來自不同城市的各種教育背景的10名開放課程學習者。通過電話與郵件的方式與每一位專家聯系，明確本次研究的內容與目的，征得專家本人同意，確保每位專家能自始至終參與本次研究。

2.識別在線開放課程質量評價指標

以調查征詢的形式要求選定的專家給出精品開放課程的重要質量評價指標，同時要為其提出的每一個指標給出一個簡短描述，論述其合理性。匯總整理專家意見，每完成一次提問和回答的過程稱為一輪。將上輪咨詢所得意見的一致程度和各位專家的不同觀點等信息，匿名反饋給每一位專家，再次征詢意見。如此反復，直到意見趨于一致，確定在線開放課程“自下而上”評價指標體系中的各項評價指標。[8]

3.識別在線開放課程質量評價指標權重

對各項指標權重的測定是本研究的關鍵環節。權重是根據不同指標的地位和作用賦予的不同數值，它反映了各個指標之間客觀存在的不平衡性，揭示了與其相應的因素在指標體系上的價值差異。[9]德爾菲（Delphi）方法確定指標權重步驟如下：

（1）將待定權重的指標和有關資料以及統一的確定權重的規則發給選定的各位專家，請他們獨立給出各指標的權重值。

（2）回收結果并計算各指標權重的概率分布。

（3）根據概率分布計算各指標權重的期望值、方差和標準差。

（4）將計算的結果及補充資料返還給各位專家，要求所有專家在新的基礎上重新確定權重值。

（5）重復第（2）步和第（4）步，直至各指標權重值與其均值的偏差不超過預先給定的標準為止，也就是各專家的意見基本趨于一致，以此時各指標權數的均值作為該指標的權重。[10]

二、主要研究結果

1.在線開放課程質量評價指標

首輪征詢，30位專家每人至少給出了9個認為從學習者角度對精品在線開放課程評價重要的指標，通過收集整理，合并同類項，將評價指標個數降到25個，形成新的征詢表格發給各位專家進入第二輪征詢。[11]專家意見在第二輪征詢中達到了高度一致，認為從學習者角度評價指標可以分為兩個方面，一方面是課程學習者的主觀評價，另一方面是在教與學過程中實時采集到的各種客觀信息。同時主觀評價又包括課程內容、課程使用、學習支持、學習活動、教師表達五個二級指標。客觀評價包括課程訪問量、課程登錄用戶數、課程留言和回復數、學習群組的會員數、課程點贊數五個二級指標，具體如表1所示。

表1 “自下而上”評價指標體系

表2 “課程使用”指標權重第一輪征詢結果

2.在線開放課程質量評價指標權重

將表1中待定權重的指標和相關規則通過郵件形式發給30位專家，各專家獨立給出每個指標的權數值，（以主觀評價中的二級指標“課程使用”為例）如表2所示。[12]對30位專家填寫的各種權重的相應概率平均，得出權重的概率分布（以主觀評價中的二級指標“課程使用”為例），如表3所示。

表3 “課程使用”指標權重第一輪概率分布

根據表3，計算出“課程使用”指標權重的期望值，算式如下所示：

方差是描述變量偏離期望值大小的指標，根據表3和權重期望值計算出“課程使用”指標方差，如下所示：

方差的平方根稱為標準差，“課程使用”指標的標準差計算如下：

為了評價結果更準確，可將權重在0.303左右重新設置，發給專家進行第二輪征詢，如表4所示。[13]對30位專家第二輪填寫的各種權重的相應概率進行平均，得出權重的概率分布（以“課程使用”評價指標為例），如表5所示。

根據表5，計算出“課程使用”指標權重第二輪期望值，如下所示：

根據表5和權重期望值計算出主觀評價指標第二輪方差，如下所示：

第二輪“課程使用”指標權重標準差，用如下公式計算：

表4 “課程使用”指標權重第二輪征詢結果

表5 “課程使用”指標權重第二輪概率分布

同理可以計算出其它指標的權重，計算出各因素權重之后，要按如下進行歸一化處理。[14]

式中ai為歸一化后的權重期望值，n為評價指標個數（一級指標中n=2，二級指標中n=5）。歸一化后計算出各指標的權重，最后形成“自下而上”的精品開放課程質量評價指標體系，如表6所示。[15]

表6 自下而上精品開放課程質量評價指標系統

三、在線開放課程質量評價平臺的實現

為實現開放課程質量評價，需設計出能動態收集指標值的在線開放課程平臺，并按開放課程質量評價指標體系實時計算出各課程的評價得分。[16]

課程平臺采用PHP+MySQL開發，功能如圖1所示。[17]

圖1 精品開放課程質量評價平臺結構圖

四、結束語

評價指標體系研究應該成為在線開放課程所關注的重點，在教學理論及信息技術不斷更新的情況下，對在線開放課程評價指標體系的內容也需要不斷優化，使該評價體系更加科學、完善和適用。[18]

參考文獻：

[1]Huijser,Henk and Bedford,Tas and Bull,David.Open Course Ware,global access and the right to education:real access or marketing ploy?[J].International Review of Research in Open and Distance Learning,2008(1):1-13.

[2]教育部.教育信息化工作進展情況[EB/OL].http://www.moe.gov.cn/publicfiles/business/htmlfiles/moe/s7204/201302/148023.html.

[3]白盈盈,楊現民.精品開放課程高校教學應用模式設計[J].現代教育技術,2014(5):46-47.

[4]岳麗娜,聶懷勇.精品資源共享課交互環境評價指標體系設計研究[J].上海教育評估研究,2014(3):13-14.

[5]化莉,金春霞.基于層次分析法的高校精品課程教學網站評價研究[J].產業與科技論壇,2011(15):142-143.

[6]Dalkey,N.and Helmer,O.An experimental application of the Delphi method to the use of experts[J].Management Science,1963,9(3):458-67.

[7]Pierre Hadaya,Luc Cassivi and Chahinaze Chalabi.IT project management resources and capabilities:a Delphi study[J].International Journal of Managing Projects in Business,2012,5(2):216-229.

[8]邵立周,白春杰.系統綜合評價指標體系構建方法研究[J].海軍工程大學學報,2008(3):48-52.

[9]孫傳遠,孫少華.專家視野中的開放課程質量評價指標體系——基于德爾菲法的調查分析[J].職教論壇,2014(9):40-45.

[10]Helen Sitlington,Alan Coetzer.Using the Delphi technique to support curriculum development[J].Education+Training,2015,57(3):306-321.

[11]Jennifer Banayan,Angela Blood,Yoon Soo Park.A modified Delphi method to create a scoring system for assessing team performance during maternal cardiopulmonary arrest[J].Hypertension in Pregnancy,2015(34):314-331.

[12]董艷,黃榮懷,李曉明,申瑞民.《網絡課程課件質量認證標準》的研制與修訂[J].電化教育研究,2003(6):65-70.

[13]魏志慧,陳麗,希建華.網絡課程教學交互質量評價指標體系的研究[J].開放教育研究,2004(6):34-39.

[14]戰銳,張學波.精品課程教學錄像質量評價指標體系研究[J].現代教育技術,2010(6):35-39.

[15]劉呈軍,卓春英.精品資源共享課評價之初探——以人文數學課程為例[J].河南農業,2014(14):8-9.

[16]蔡敏.網絡教學的交互性及其評價指標研究[J].電化教育研究,2007(11):40-44.

[17]Okoli C,Pawlowski,S.D.The Delphi method as a research tool:an example,design considerations and applications[J].Information&Management,2004,42(1):15-29.

[18]楊九民,郭曉梅,嚴莉.MOOC對我國高校精品開放課程建設的啟示[J].電化教育研究,2013(12):44-49.