混合式學習課程資源評價指標體系的構建*

韓曉玲 許娟

?

混合式學習課程資源評價指標體系的構建*

韓曉玲 許娟[通訊作者]

（山東師范大學 教育學部，山東濟南 250014）

文章首先通過梳理文獻，提煉相關的課程資源設計和評價的共同要素，結合專家咨詢，初步擬定了18個混合式學習課程資源評價指標；接著，文章通過因子分析法提煉出功能性、內容性、技術性、藝術性作為一級指標，應用層次分析法計算權重后，得到混合式學習課程資源評價指標體系。最后，文章應用肯德爾和諧系數，對該評價指標體系的描述和含義進行驗證后得出結論：該評價指標體系準確合理，能被用來評價混合式學習課程資源。

混合式學習；課程資源；評價指標；因子分析法；層次分析法

引言

美國新媒體聯盟發布的《地平線報告：2017高等教育版》指出：混合式學習設計依然是未來1~2年內影響高等教育變革的短期關鍵趨勢之一[1]。國內許多高校開始采用混合式學習的模式，促進大學生個性化學習，提升學生的自主學習能力和探究、創新能力。研究表明：當前對于混合式學習理論、模式和應用的研究成果比較多，而混合式教學/學習評價的研究主要集中在混合式教學/學習效果的評價方面[2][3]。李逢慶[4]等以評價標準差異化、主體多元化、方式多樣化、內容全面化、過程動態化為原則，構建了由“過程性評價和終結性評價”構成的混合式教學質量評價模型；唐文秀等[5]從參與度、交互性、適應性、滿意度和效果度等五個方面，構建了混合學習的五維評價模型。同時，評價研究的視角或從混合式教學的實施角度[6][7]、或從學生的滿意度角度展開[8][9][10]，表明混合式教學的實施效果受到學習動機、同伴交互、課程結構、教師反饋等因素[11]的影響，而學生的滿意度解釋了學習者參與學習活動的動機和結果[12]。

雖然當前混合式學習正如火如荼地開展，但在如何判斷混合式學習課程資源的優劣及其系統性建設方面，國內外研究卻缺乏明確的界定和清晰的標準。針對混合式學習建設一套完整、科學、客觀的課程資源評價指標體系，合理評價混合式學習課程資源的質量，成為當前迫切需要解決的問題。

一 研究綜述

1 混合式學習課程資源

課程資源亦稱教學資源，是課程設計、編制、實施和評價等整個課程發展過程中可資利用的一切人力、物力以及自然資源的總和[13]，是一切課程活動的前提。課程資源的分類方法有很多種，如吳剛平[14]根據課程資源的功能特點，將其分為素材性課程資源與條件性課程資源；邵華[15]認為在教學實踐過程中還產生一種課堂生成性資源，即教學活動中師生以及生生之間的互動所產生的學生的觀念、問題和困惑等。本研究主要針對混合式學習課程資源建設時的非人力資源來構建評價指標體系，根據混合式學習流程（課前、課中、課后），將其定義為：在混合式學習的過程中，所提供的所有可輔助學生學習過程的，促進學生有效思考并引發深度學習的線上、線下資源，主要包括自主學習任務單、課件、微視頻、案例集、試題庫、輔助性學習材料等。由于生成性資源的隨機性太強，因此在建構評價指標體系時未作考慮。

2 混合式學習課程資源的評價研究

本研究在梳理相關文獻時發現，目前尚沒有獨立的、比較系統的混合式學習課程資源評價成果，但是在混合式學習設計與實施方面的研究中，丁蕾[16]提到課程資源建設的豐富性對于混合式學習的效果非常重要；李寶[17]等認為“資源特征”——更新性、及時性、滿足個性化學習以及“資源呈現方式”是影響混合學習過程中學習者滿意度的重要因素。此外，此類研究中還包括了課程資源的“目標明確、有效支持、內容豐富、科學規范、結構合理、界面美觀”等，特別是在課程資源的功能支持、內容設計、技術性方面有著較高關注。

有關“線上”學習資源和網絡課程評價標準的研究也有啟示作用。如黃勇[18]認為設計擴展學習資源需參考“學習內容的符合度、資源內容的時效性、課件運行環境的關系”3項指標；王佑鎂[19]認為應該強調“網絡資源對教學和學習過程的支持”，提高資源建設的“標準化和結構性”，促進優質教育資源的共享；王寧等[20]指出網絡課程資源“內容明確”、“重點突出”以及“包含有擴大知識面的補充材料”（可以理解為“豐富性”和“擴展性”）對學習滿意度的影響顯著。可以看出，研究者就學習資源的“支持性、豐富性、規范性、科學性”等達成了一致意見。

在針對某一類課程資源評價指標的研究方面，目前主要集中在“微課”資源，如王嵐[21]等建立了6個一級指標，包括教學目標、教學內容、教學設計、教學效果、網絡評價、作品規范，體現了微課資源的目標性、內容性等；孫聘[22]構建了選題設計、內容選擇、活動設計、易于學習、使用高效等指標，體現了學生滿意度的需求。

借鑒已有的研究成果，本研究初步選定課程目標、有效支持、科學系統、準確豐富、編排合理、制作規范、界面美觀等內容，作為混合式學習課程資源的測評指標。

3 國內外相關資源評價標準分析

目前，在國外有影響的網絡教育方面的評價標準中，《在線學習的認證標準》從“可用性、技術性和教學性”對在線學習課程進行了評價；《在線學習質量》提出了體系結構、課程開發、教學/學習、課程結構、學生支持系統等7個測評系統；而在線課程評價量規系列標準分別從“內容性、支持性、設計性、豐富性、技術性”對在線課程的質量進行了考量。

我國對精品課程資源建設工作也相當重視，教育部教育信息化技術標準委員會通過跟蹤和引進國際相關標準，依據我國教育實際情況，形成了現代遠程教育技術標準體系。其中，《教育資源建設技術規范（CELTS-31）》中的通用標準主要考察資源的“科學性、教學性、技術性、規范性”；《網絡課程評價規范（CELTS-22）》定義了“課程內容、教學設計、界面設計、技術”四個基本維度，并以最小的重疊描述了網絡課程的質量特性；《精品資源共享建設工作實施辦法》則要求資源內容具有“可靠性、準確性、客觀性、教育性”的特點，實現網絡教育資源呈現的“科學性、教學性、技術性和規范性”。

綜觀目前國內外的課程資源評價標準，均強調課程須有清晰的教學目標、完整的知識體系和有效的作業、練習，即突出課程資源的豐富性和支持性。因此，本研究初步選定“支持性、科學性、豐富性、規范性”等內容，作為混合式學習課程資源測評指標的有效補充。

二 研究設計與實施

1 專家教師咨詢，建立初步評價指標

本研究進行了兩輪專家教師咨詢：第一輪為訪談，選擇在高校擔任一線教學工作的12位專家教師（包括清華大學2名、山東大學3名、山東師范大學5名、青島大學2名）為訪談對象，他們有開展混合式學習的豐富經驗，來自不同學科（如教育技術、生物、心理、美術、外語、物理等）。專家教師認為課程資源的內容設計應作為最先考慮要素，涉及課程內容的“科學性、豐富性、針對性和時效性”等；其次應目標明確、能有效支持教學；再次，在技術呈現上要符合“規范制作、媒體兼容、結構靈活”等要求。還有專家教師提出，在感官上要達到“整體美觀、搭配得當”，能夠增強學習者學習興趣。本研究充分分析了專家教師的訪談結果，最終采納專家教師提及的“目標明確、有效支持、科學準確、內容豐富、制作規范、結構靈活”等內容。

第二輪咨詢為問卷調查。本研究將初步整理所得的18個測試指標，利用網絡問卷發給12位專家教師。專家教師對這些測試指標的認可度達到94.91%。因此，初步選定的18個測試指標是合理的，能夠推進下一步研究。

2 混合式學習課程資源評價指標的確立

（1）信度和效度分析

本研究將初步確定的評價指標編制成問卷，收集數據驗證其信度和效度。由于測評屬于態度類評價，故本研究選用李克特四點式量表（非常重要、比較重要、一般重要、不太重要）計分法，調查對象為對混合式學習比較了解的教師、研究生和本科生。本研究共發放紙質問卷95份，回收95份，其中有效問卷95份，問卷回收率和有效率均為100%。

為判斷收集的統計數據是否適合選用因子分析法，本研究利用SPSS 20.0軟件對樣本數據進行KMO（Kaiser-Meyer-Olkin）和Bartlett檢驗，結果為：KMO值=0.740>0.6，Bartlett檢驗得出的相伴概率Sig=0.000，小于顯著水平0.001，適合進行因子分析。

在信度分析方面，本研究采用Cronbach’s α信度系數法。通常認為，Cronbach’s α≥0.7時為高信度。經檢驗得到Cronbach’sα=0.838>0.7，表明問卷具有高信度；進一步分析確定每個指標項是否都達到信度要求，“項總計統計量”數據結果顯示：各指標的“項已刪除的Cronbach’s α值”均小于0.838，說明各指標內部一致性信度良好。在效度分析方面，本研究是在分析相關文獻并提煉共同要素、由專家教師評測后擬定的，專家教師均執教過混合式學習課程，有豐富的混合式教學經驗，確保了課程資源評價指標具有良好的內容效度和結構效度。

（2）利用因子分析法提取一級指標

正式問卷施測選取的對象包括具有混合式教學經驗的專家教師、參與過混合式學習的本科生和研究生，盡量覆蓋不同層次的院校。發放網絡問卷302份，回收302份，去除無效問卷2份，有效率為99.3%。參與此次調查的教師有45人，研究生有95人，本科生有162人。

將問卷數據量化后，本研究利用SPSS 20.0得到因子分析結果KMO=0.922>0.7，說明各變量間信息的重疊程度較高，Bartlett檢驗得出的相伴概率Sig=0.000<0.001，表示各變量間具有很強的相關性，適合進行因子分析；采用主成分分析法抽取因子后，各變量的共同度、所有變量再生共同度都在50%以上，可以接受抽取的幾個公共因子對原變量的解釋程度；通過“累計方差貢獻率”（因子解釋原始變量值總變異數貢獻率），提取出的4個共同因子共解釋了原始變量之總變異的63.194%。整體而言，原始變量的信息遺失量相對不多，此次因子分析效果尚可。

通過具有Kaiser標準化的正交旋轉法進行因子旋轉后得到的因子負荷矩陣，能夠明確各變量的因子歸屬。表1顯示有4個公因子且所含題項數均大于3個，各因素的概括程度均在可接受范圍，每個變量僅在一個公共因子上具有較大載荷，說明每個變量只與一個公共因子關系緊密，能更好地解釋公共因子。

表1 旋轉成份矩陣

根據前期文獻研究、國內外標準分析以及專家訪談評測的結果，“目標性、支持性、有效性、激勵性、啟發性”綜合考察的是運用課程資源后能達到的教學效果和實現的教育功能，提煉其一級指標為“功能性”；“系統性、豐富性、科學性、針對性、時效性”考量的是課程資源內容本身服務于混合式學習應達到的要求，命名其一級指標為“內容性”；“技術準確、編排合理、結構靈活、制作規范”描述的是課程資源建設過程中應達到的技術要求，命名其一級指標為“技術性”；“媒體兼容、搭配得當、排版協調、整體美觀”旨在考察各類課程資源的藝術表現，以及在應用過程中為學習者帶來的感官體驗是否舒適，命名其一級指標為“藝術性”。

（3）利用層次分析法確定指標權重

本研究采用層次分析法（Anelgtic Hierarchy Process，AHP）確定該評價指標的權重，最終確定的混合式學習課程資源評價指標體系如表2所示。

（4）選擇混合式學習課程樣本

本研究選擇涉及不同學校和學科、評價較好、且選課人數在幾萬甚至幾十萬的混合式學習課程，以確保課程樣本的多樣性和代表性。具體選評課程包括“現代教育技術”①、“基因與生活”②、“20世紀西方音樂”③、“走進天文學”④以及“中國古代政治與文化”⑤。

表2 混合式學習課程資源評價指標體系

三 研究結論與討論

1 混合式學習課程資源評價指標的驗證

為了保證混合式學習課程資源評價指標體系的科學性和合理性，本研究運用肯德爾和諧系數法，來驗證各評價指標描述是否清晰、含義是否明確。

（1）選擇與培訓決策者

本研究選擇并培訓10名熟悉混合式學習的教師和高校學生作為決策者，使其明白混合式學習課程資源評價指標的含義；決策者完成網上瀏覽學習所選課程，并對課程資源進行1~5的排序。考慮到評價指標共有18項，要求決策者開展多輪學習和排序來保證結果的真實可靠。

（2）評價結果一致性檢驗

本研究將收集后的排序數據列表整理，利用肯德爾和諧系數（W）的計算公式進行分步驟計算，最終得到18個肯德爾和諧系數，如表3所示。

表3 各評價指標和諧系數結果統計表

本研究將表3中18個評價指標的肯德爾和諧系數值取平均值，得到所有指標的和諧系數平均值=0.807，看出各評價指標的和諧系數值在平均值上下浮動不大，說明決策者的評定結果具有高度一致性，由此可以得出結論：本研究構建的混合式學習課程資源評價指標體系描述清晰、含義明確、易于理解，具有科學性和合理性，可被用來評價混合式學習課程資源。

四 小結

混合式學習課程資源的評價對課程建設和學習效果有直接影響，然而目前相關評價指標的研究較為匱乏，且針對性不足。本研究構建的混合式學習課程資源評價體系從課程資源的功能性、內容性入手，意在凸顯有效支持學生的自主學習，從而達到深度學習的目標，同時考量了課程資源開發的技術性和藝術性要求。經過肯德爾和諧系數驗證，表明該評價指標體系描述清晰、含義明確，可以作為評價混合式學習課程資源的標準使用。

作為混合式學習課程資源評價方面的階段性成果，本研究構建的混合式學習課程資源評價體系仍然存在很大的完善空間，有待在今后的應用實踐中予以繼續修正和完善。

[1]Adams B S, Cummins M, et al. The NMC horizon report: 2017 higher education edition[R]. Austin, Texas: New Media Consortium, 2017:18.

[2]柯清超.混合學習的評價方法——以中小學教師教育技術能力培訓課程為例[J].中國電化教育,2008,(8):16-19.

[3]韓立華,常櫻,王玉梅.基于Blended Learning的課程設計、實施與評價研究[J].中國電化教育,2010,(6):17-21.

[4]李逢慶,韓曉玲.混合式教學質量評價體系的構建與實踐[J].中國電化教育,2017,(11):108-113.

[5]唐文秀,石晉陽,陳剛.混合學習五維評價模型的構建與應用——以“現代教育技術”公共課程為例[J].現代教育技術,2016,(8):89-95.

[6][11]Small F, Dowell D, Simmons P. Teacher communication preferred over peer interaction: Student satisfaction with different tools in a virtual learning environment[J]. Journal of International Education in Business, 2012,(2):114-128.

[7][16]丁蕾.基于“互聯網+”的中職物理混合式教學[J].中國電化教育,2016,(3):141-145.

[8][12]趙國棟,原帥.混合式學習的學生滿意度及影響因素研究——以北京大學教學網為例[J].中國遠程教育,2010,(6):32-38、79.

[9]Ali A, Ahmad I. Key factors for determining students’ satisfaction in distance learning courses: A study of Allama Iqbal Open University[J]. Contemporary Educational Technology, 2011,(2):118-134.

[10][17]李寶,張文蘭,張思琦,等.混合式學習中學習滿意度影響因素的模型研究[J].遠程教育雜志,2016,(1):69-75.

[13]徐繼存,段兆兵,陳瓊.論課程資源及其開發與利用[J].教育科學,2003,(2):1.

[14]吳剛平.課程資源的理論構想[J].教育研究,2001,(9):59-63、71.

[15]邵華.捕捉生成中的美麗——淺談課堂生成性資源開發[J].全球教育展望,2008,(3):94-96.

[18]黃勇.面向自主學習的網絡課件的教學設計[J].現代教育技術,2008,(10):80-84.

[19]王佑鎂.高校精品課程網絡資源教學有效性的缺失與對策[J].中國電化教育,2010,(8):80-84.

[20]王寧,琚向紅,葛正鵬.開放教育網絡課程學習滿意度影響因素[J].開放教育研究,2014,(6):116.

[21]王嵐,張一春.微課評價指標體系研究[J].教育現代化,2015,(5):85-88.

[22]孫聘.基于用戶體驗的微課評價指標體系設計[J].現代教育技術,2015,(3):63-68.

[23]金志農,李端妹,金瑩,等.地方科研機構績效考核指標及其權重計算——基于專家分析法和層次分析法的對比研究[J].科技管理研究,2009,(12):103-106.

[24]李逢慶.混合式教學的理論基礎與教學設計[J].現代教育技術,2016,(9):18-24.

① https://mooc1-1.chaoxing.com/course/96965994.html

②https://mooc1-2.chaoxing.com/course/90106178.html

③http://www.xuetangx.com/courses/course-v1:PekingX+04332960X+sp/about

④http://www.icourse163.org/course/NJU-1002245009

⑤http://open.163.com/special/cuvocw/gudaizhengzhiwenhua.html

Construction of Resources Evaluative Indicators System of Blended Learning Curriculum

HAN Xiao-ling XU Juan[Corresponding Author]

The common elements of the design and evaluation of curricular resources were firstly summarized through literature review, and 18 evaluative indicators of blended learning curricular resources were preliminarily proposed in combination with expert consultation,. Then, through factor analysis, four first-level indicators: functionality, content, technical nature, and artistry were extracted as the primary indictors. The weights of the primary and secondary indicators were calculated using the Analytic Hierarchy Process (AHP), and then the evaluative index system of the curricular resources for blend learning was constructed. Finally, the study employed Kendall's harmony coefficient to verify the description and meaning of the evaluative indicators and concluded that this evaluative index system was well-accepted, and can be applied to the evaluation of curricular resources for college’ blended learning.

blended learning; curricular resources; evaluative indicators; factoranalysis; AHP

G40-057

A

1009—8097（2018）12—0034—07

10.3969/j.issn.1009-8097.2018.12.005

基金項目：本文為全國教育科學規劃項目“計算機自適應測驗中認知風格對試題應答時間的影響機制”（項目編號：BBA170069）、山東師范大學2016年教改項目“混合式課程建設與實踐的評價指標體系研究”（項目編號：2016JG24）的階段性研究成果。

韓曉玲，副教授，研究方向為學習科學與資源設計，郵箱為hanxiaoling@sdnu.edu.cn。

2018年3月17日

編輯：小西