高校在線課程的多元評價體系建設研究

陳廣明， 姒依萍

（寧波職業(yè)技術學院， 浙江 寧波315800）

一、研究的背景

在線課程建設和傳統(tǒng)面授課程建設具有一定的共性，都需要體現(xiàn)課程的社會價值和教育價值。 評價體系建設要在總體考慮課程的價值與意義的基礎上，從多維角度考慮課程科學性和實用性，可以讓好課程得到推廣和發(fā)展。 在本課題研究的前期工作中，高職高專師資培訓基地的姒依萍老師對42 位教師、380 位同學展開調研， 通過數(shù)據(jù)整理分析得出了一份基于學生學習、教師教學、課程建設、課堂文化的多維度課程評價量表。該量表是本課題持續(xù)研究和發(fā)展的基礎。

天津市教育科學研究院的和學新在《課程評價若干理論問題探討》一文中認為，組織專門機構的有關專家和學者對課程的方案、目標、過程、結果等開展評價，或者是以學生學習結果為主的評價都過于片面，課程評價應該包括一切與課程發(fā)展有關的人員和對象。 美國著名教育評價家斯塔弗爾比姆提出了CIPP 模式。 建議從背景評價、輸入評價、過程評價、成果評價四個維度進行課程評價。 武漢大學的張家年、占南、李陽在《基于網(wǎng)絡計量學的網(wǎng)絡課程評價方法研究》 一文中，研究了課程評價的細節(jié)，并認為無論是那種課程評價模式，對具體的課程都具有不夠全面和科學的地方。 但是網(wǎng)絡計量學方法可以為網(wǎng)絡課程的評價提供較為理想的解決方案。 網(wǎng)絡計量法包括內容分析法、域名分析法、鏈接分析法、日志分析法，可以有效地對教學績效、學習績效進行量化和數(shù)字化的分析，把握課程建設的全過程。 寧波職業(yè)技術學院從2015 年開始啟動的有效課堂認證體系，至今已經(jīng)運行了5 年時間。 認證體系的評價標準內容分為四塊：課程設計占35 分、教學資源建設與應用占15 分、 課堂實施占70 分、課程評價占30 分，總分150 分。 其中，課程評價分為學生學期評教和督導評價。 該認證體系實施對課堂教學效果起到一定的促進作用，但是，評價方式過于單一。 筆者分析認為，該體系注重傳統(tǒng)課堂教學的評價，忽略了當前疫情之下快速發(fā)展的在線課堂的評價。本課題調研的課程中，76.6%的課程建有網(wǎng)絡在線課程，并且在線課程的學習已經(jīng)占據(jù)了該課程學習的部分分值比例。 從目前文獻資料分析，我們看到課程評價主要是針對傳統(tǒng)的線下教學模式，并且評價方式缺少信息化數(shù)據(jù)統(tǒng)計工具的應用，評價結果已不能真實反映事實。

二、研究方法與路徑

本課題研究的參考課程主要來自浙江省在線開放共享課程平臺、 寧波市慕課網(wǎng)的網(wǎng)絡課程，在現(xiàn)有研究成果的基礎上探索課程評價的路徑。 研究的課程為省級精品課程的通識教育課、學科基礎課、專業(yè)核心課，學科類型為十九大類里的教育與體育大類、財經(jīng)商貿大類、公共管理與服務大類、電子信息大類、旅游大類。 采用基于數(shù)據(jù)統(tǒng)計的歸納法、文獻分析法進行研究。 隨著社會的發(fā)展，現(xiàn)代教育已經(jīng)要求以學生全面發(fā)展為本，從知識目標、能力目標、素質目標三個維度衡量課程對學生成長的作用，因此，課程評價標準需要多元評價。基于學以致用，學有所用。課題研究以成果導向為基礎，結合前期研究的多元評價主體/客體建設評價體系。

對課程效果進行評價，評價的主體和客體包括在線課程的設計者，在線平臺的各項應用及功能；課程的使用者，主要指課程的教學者和學習者。 課堂管理包括教學方法教學手段等。 故在線課程評價路徑為“評價效果分析—主體/客體—課程評價標準”。 本課題研究的多元評價基于評價主體和客體對不同平臺功能、課程建設、教學方法、學習模式的學習效果評價。 探索學習者對知識、技能、素質、能力等培養(yǎng)方式的多樣化，同時探索在線學習平臺上的課程對于個體學習與團隊學習如何提高融合學習效果。

三、在線課程評價體系建設

（一）在線課程評價體系結構分析

前期對平臺課程評價研究中，多元評價體系是根據(jù)在線平臺與不同學科的課程而動態(tài)變動的。 課題采用成果導向分析，結合專家意見法，對評價和應用效果較好的36 門在線課程進行倒推和分解，根據(jù)分解的數(shù)據(jù)，歸納出在線課程的評價體系應該包含效果測評、評價主體/客體、課程建設完善程度三大模塊。 為了進一步深入探索影響在線課程評價體系三大模塊的構成，需要對每個模塊進行細分，探索影響其構成的因素。

1. 影響評價體系的課程建設因素分析

課程設計的完善程度是影響評價體系的關鍵模塊之一。 本課題的研究，在課程建設關鍵指標因素上以兩個前期研究為基礎，分別是葉鵬老師的寧波職業(yè)技術學院有效課堂評價指標和姒依萍老師的在線課程評價指標。

（1）有效課堂評價指標

本課題研究的第一階段是以寧波職業(yè)技術學院葉鵬老師團隊的有效課堂評價表為基礎。 有效課堂包含課程設計、課堂實施和教學資源建設及應用。 其中，課程設計指標中包含了課程設計的完整性和規(guī)范性，影響這一指標的內容主要包括課程內容完整、教育與社會價值、學習任務和考核方案等； 課堂實施的指標包含教學目標、教學方法及教學過程控制；教學資源建設指標主要指信息資源建設。

（2）在線課程教學效果評價指標

本課題研究的第二階段是基于姒依萍老師主持開發(fā)的高職院校網(wǎng)絡直播教學評價表。 對比線上與線下教學的課程，傳統(tǒng)授課方式的課程建設與在線課程建設在課程設計上具有較大的共性，但在實施過程中，因為學習主體/客體的差異，需要考慮在線課程平臺的功能與設計者技術支持。 教學設計除了課程內容，還需要考慮教學方法與學習支持的差異；在線課程對過程性學習的設計則還需要考慮到信息化的優(yōu)勢，設計適合學習客體互動與視頻學習等內容；對學習效果評價的設計主要包括在線考試、測試、作業(yè)、項目任務等考核指標。 高職院校網(wǎng)絡直播教學評價指標如表1 所示。

在線課程與傳統(tǒng)授課的課程在設計上有差別，本課題研究結合傳統(tǒng)授課方式有效課堂建設的要求和在線課程建設的信息化特性，對比并整理了對在線課程建設完善程度有影響的相關核心因素，內容如表2 所示。

表2 核心影響因素

考慮到研究局限性的實際情況、測量數(shù)據(jù)的時間長度， 課程建設影響因素沒有把就業(yè)情況、就業(yè)質量作為效果評價指標考慮。

2. 影響評價體系的主體/客體分析

隨著時代的進步， 課程評價呈現(xiàn)多元性，課程建設已經(jīng)不局限于主體評價，客體的評價也被頻繁采用。 所以，在線課程的評價體系關鍵因素包括主體和客體。

（1）評價體系的主體分析

與傳統(tǒng)授課評價主體相似， 可以是業(yè)界專家、同行學者、行業(yè)企業(yè)顧問，只是在線課程評價體系中多了智能化與信息化的應用。 在線課程體系建設的主體，可以是平臺基于大數(shù)據(jù)算法的人工智能評價。 平臺大數(shù)據(jù)算法主要包括內容分析法、鏈接分析法、日志分析法。 利用大數(shù)據(jù)算法對課程的教學績效和學習績效進行分析。 能夠從課程內容、教學設計、界面設計與技術支持四個維度對課程進行評價。 同時，結合平臺大數(shù)據(jù)算法和教學績效則可以對客體的學習內容、 學習設計、學習交互、學習支持四個維度進行課程評價。

（2）評價體系的客體分析

在線課程評價體系的客體，主要包括使用者和學習者。 使用者主要指的是課程的設計者，通常是擔任課程的教師。 從表1 的課程設計者影響因素看，在線課程平臺功能、技術支持與平臺數(shù)據(jù)分析，都會影響到在線課程的建設效果。 教師對自己建設的在線課程的自我評價，賦予一定的評價權重，可以提升多元評價的準確性。

學習者的評價主要包括主觀和客觀評價兩個方面。 學習者主觀評價是指在學習內容、學習支持、學習交互上的體驗會影響到學習效果。 學習者的客觀評價是指考核成果體現(xiàn)出來的在線課程建設效果。

3. 影響評價體系的效果測評分析

影響多元評價體系效果的評價從 “學測評”三個維度進行。 從成果導向的效果分析開始，探索評價的主體/客體和課程的設計對學習者產(chǎn)生的效果。 評價體系從短期和長期兩個角度來衡量在線課程建設的效果。 短期效果主要包括教學目標掌握程度（包括知識、技能與素質目標），考試成績，考證通過率等；長期效果主要包括專業(yè)對口的就業(yè)情況、薪資與晉升等效果評價指標。 本課題研究因為時間長度制約，評價指標以短期效果為主，以咨詢公司麥克思對畢業(yè)生跟蹤調研的就業(yè)數(shù)據(jù)為輔助，對在線課程的多元評價體系進行研究。

4. 確定在線課程體系評價指標

結合上述研究的內容，本課題歸納推導出在線課程多元評價體系應包含三大關鍵模塊。 即課程建設與應用情況評價、課程評價多元的主體與客體、教學效果分析三個模塊。 模塊具體細化的指標概括如表3 所示。

表3 評價體系模塊內容

（1）教學效果分析

調研數(shù)據(jù)統(tǒng)計結果根據(jù)密度確定權重。 教學目標實現(xiàn)情況是指知識目標、技能目標、素質目標實現(xiàn)情況；考證通過率指對應該課程的職業(yè)資格證書； 就業(yè)情況主要指就業(yè)對口率和就業(yè)質量。

（2）多元評價主體/客體

在線課程評價主體和客體主要包括基于平臺大數(shù)據(jù)算法的統(tǒng)計結果；專家、企業(yè)和同行的評價； 客體評價體現(xiàn)了學習和使用者的真實感受。

（3）課程建設評價

教學設計體現(xiàn)了在線課程建設與設計的核心內容，包括教學內容、學習過程管理、教學方法的應用；課程評價還包括客體對在線課程學習過程的應用情況與教學支持。

（二）在線課程評價體系建設

上文分析了在線課程評價的三個核心影響因素（教學效果、多元評價主體/客體、課程建設信息化設計）。 為了探索在線課程評價體系建設的核心影響因素相互之間的關系，本課題進一步對智慧職教、浙江省高等學校在線開放課程共享平臺、寧波市高校慕課聯(lián)盟三大平臺上的高分評價課程、省精品課程、國家精品在線課程進行了調查，包含財經(jīng)商貿大類、電子信息大類、公共管理與服務大類、教育與體育大類等4 個大類，共100門課程。 重點對平臺上課程的在線功能設計、教學設計、使用者體驗、學習效果測評等4 個核心評價要素的情況進行了調研統(tǒng)計。 整理結果如表4 所示。

表4 在線精品課程建設調查統(tǒng)計 單位：門

根據(jù)上述在線課程評價三個核心影響因素的分析、數(shù)據(jù)收集與整理，采用描述性統(tǒng)計分析、相關性分析、一元線性回顧分析法，探索構建在線課程評價體系模型。 從相關性分析中初步發(fā)現(xiàn)， 課程在線設計與主體/客體評價存在相關性，且符合回歸分析的Y=aX+b，常數(shù)截距不為0。 分析結果如表5 所示。

表5 評價要素相關性統(tǒng)計結果

從量化的數(shù)據(jù)統(tǒng)計中，我們看到在線課程設計數(shù)據(jù)化分析與教學效果的相關系數(shù)R=0.964，顯示課程設計的評價與客體使用者的評價有強相關性。組間統(tǒng)計數(shù)據(jù)P-Value=0.006＜0.01，在線課程設計P 值為0.018＜0.05，都顯示兩者關系密切，有顯著相關性。 從上述分析結果推導出多元評價體系模型，如圖1 所示。

圖1 多元評價體系模型

四、總結

評價過于單一的傳統(tǒng)課程評價體系，在信息化快速發(fā)展的當下已經(jīng)不適用。 本課題探索建設基于數(shù)據(jù)化評價的多元評價體系模型，并對在線課程建設和教學效果進行評價。 從本課題調研的數(shù)據(jù)統(tǒng)計分析看， 從成果導向預期的目標開始，課程評價可以從主體為專家學者、企業(yè)資深人士和在線課程建設的同行進行評價。 也可以從客體進行評價， 客體主要包括在線課程的建設使用者、課程的學習對象，結合平臺數(shù)據(jù)量化進行。 評價也可以根據(jù)課程目標而設計的各項量化指標，由在線平臺設計的后臺數(shù)據(jù)統(tǒng)計分析進行評價。在線課程的評價效果應與預期成果進行對比，根據(jù)對比反饋的差距來確定在線課程的建設效果。這里我們更偏向于效果對比分析后的反饋修正作用， 因為沒有哪一門課程建設是一勞永逸的。平臺的數(shù)據(jù)化評價能夠更及時地發(fā)現(xiàn)問題，并提出修正建議。 所以，多元評價體系應該是建立在對平臺數(shù)據(jù)統(tǒng)計分析的基礎上的、 多主體客體、動態(tài)化的多元評價方式。