職業院校防疫期間在線課程教學質量評價的成效、問題及建議

崔依冉 韓錫斌 周潛

[摘要]2020年初，受新冠肺炎疫情影響，職業院校春季學期全面轉向在線教學。文章對53所職業院校在線課程教學質量評價報告進行了文本分析，旨在呈現職業院校防疫期間在線課程教學質量評價的成效并揭示存在的問題，為后續信息化教學提供經驗和啟示。研究結果表明：大部分職業院校關注并實施了在線課程的教學質量評價，力圖通過多個角度、多種方式保障防疫期間在線教學的順利開展，但由于第一次面對如此大規模的在線教學，也存在評價意識相對薄弱、評價內容維度不全、評價主體對教師與學生重視不足、評價方式較為單一、評價結果的應用意識相對薄弱等問題。疫情之后，混合教學將成為新常態，對此，文章提出了今后職業院校開展混合課程教學質量評價的相關建議。

[關鍵詞]教學質量評價;在線課程;職業院校;教學效果;新冠肺炎疫情

[作者簡介]崔依冉（1994- ），女，山東濰坊人，清華大學教育研究院在讀博士;韓錫斌（1964- ），男，天津人，清華大學教育研究院副院長，副教授，博士生導師;周潛（1976- ），男，遼寧丹東人，清華大學教育研究院，高級工程師。（北京? 100084）

[基金項目]本文系國家社會科學基金“十三五”規劃2018年度國家一般課題“混合教學的理論體系建構及實證研究”的階段性研究成果。（課題編號：BCA180084，課題主持人：韓錫斌）

[中圖分類號]G712? ? [文獻標識碼]A? ? [文章編號]1004-3985（2021）02-0088-07

2020年初，受新冠肺炎疫情影響，教育部連發多條通知，要求各級各類學校以線上教學的方式實現“停課不停教、停課不停學”，在線教學在全國范圍內全面展開。面對教學方式如此大的轉變，如何確保在線課程教學質量成為所有學校共同面臨的課題，職業院校也不例外。本研究基于部分職業院校疫情防控期間開展在線課程教學質量評價的相關資料，試圖呈現職業院校疫情防控期間在線課程教學質量評價的成效，揭示存在的問題，為后續開展信息化教學提供經驗和啟示。

一、在線課程教學質量評價研究綜述

（一）疫情防控期間在線課程教學質量評價的相關研究

疫情防控期間關于在線教學的研究得到廣泛關注，但對于院校行動的調查研究多關注在線課程教學、院校組織管理、教師培訓等方面，在線課程教學質量評價的文獻整體數量較少，且相關研究主要集中在評價指標構建與教學質量保障策略等方面。例如，金根娣和蔡長春從教學資源、教學設計、教學活動、教學效果四個方面提出了包含18項觀測點的高職院校在線開放課程教學質量評價指標體系;田園從服務內容、用戶體驗、交互過程三個維度構建了在線教學資源平臺應用效果的評價指標，并對中國大學慕課、騰訊課堂等在線教學平臺進行了試用評價;牛東育和蔣曉玫構建了學校統籌與二級教學部門相結合的二級教學質量評價體系，形成了教學設計、教學、應用、學習與管理5個方面、10項測評點的線上教學質量評價指標。袁鐸、鄭輝贈和黃虹通過調研一所高校的平臺順暢度、教師在線教學熟悉度、師生在線教學認可度、學生在線教學參與度，從教學條件保障、教學組織管理、教學質量監控、教學質量評價四方面提出了在線教學質量保障策略。武艷和劉正濤基于高校管理的視角，提出了體現以學生學習為中心、促進教師發展、與教師績效掛鉤、鼓勵教學改革的混合教學質量評價機制。

綜合上述研究，疫情防控期間關于在線課程教學質量評價的研究類型以思辨型與問卷調研為主。雖然多數研究者針對院校在線課程評價存在的問題提出了相應的評價策略與指標建議，但這些問題多基于研究者自身的經驗性認知，對院校在線課程教學質量評價的狀況調研不足。本研究梳理了相關評價理論和方法，試圖構建職業院校在線課程教學質量評價的分析框架，采用文本分析方法系統呈現疫情防控期間案例院校評價的成效，揭示存在的問題。

（二）在線課程教學質量評價階段的相關理論及研究

羅恩·奧斯頓提出了評價方案的五要素模型，包括評價目的、評價反饋對象、評價方式、數據來源和評價結果。本研究將基于該模型提出分析框架，以檢驗案例院校評價方案的完整性。教育評價模式是兼具理論性與可操作性的行為范式，連接教育評價理論與實踐，一般包含對教學質量評價階段的劃分。雖然教育評價模型多樣，但遷移于在線教學環境的教育評價模式較少，且主要基于CIPP評價模式。李景奇、韓錫斌等學者將CIPP評價模式應用于網絡學習跟蹤與評價，將學生作為評價對象、教師與學生作為評價主體，詳細闡述了四個評價階段在網絡學習情境中的內涵：背景評價旨在了解學生的基本情況及其對課程的學習準備;投入評價旨在了解學生的整體學習條件及其學習計劃;過程評價關注網絡行為，旨在分析學生網絡學習行為、了解其學習參與狀況;結果評價旨在評價學生的網絡學習成果，具體包含學生測試成績、平時作業成績、活動成果等。張偉遠基于CIPP評價模式，融合網絡課程的系列過程，提出適用于網絡課程評價的PDPP評價模式，包含計劃評價（Planning Evaluation）、開發評價（Development Evaluation）、過程評價（Process Evaluation）和成效評價（Product Evaluation）四類評價階段26項具體評價指標，后經過實踐應用將其修訂為21項評價指標。該模式在計劃評價階段囊括在線課程開發前的市場分析、財務分析與可行性分析，從專業層面與經濟效益角度考量課程是否具有開設價值以及是否適用于在線教學;開發評價面向課程開發的各組成部分，關注課程藍圖、網絡平臺、課程界面、教學設計、學習資源、作業和考試、導學教師七個方面的組織建設;過程評價面向在線教學實施過程的各個階段，包含導學過程、學習支持、學習互動、作業評估、技術支持;成效評價是面向學生滿意度、教學成效、學習成效、其他成效以及課程可持續性（如良好的課程聲譽）的分析，以問卷、測試等定量方式為主，輔以學生的反饋和評論。上述兩種在線課程教學質量評價模式的主要差異在于過程評價之前的兩類評價階段：基于CIPP的網絡學習跟蹤與評價模式在背景評價與投入評價階段，主要關注學生的前期學習準備情況與學習條件，目的在于調整教學方案與學習方案;PDPP評價模式評價在計劃評價與開發評價階段，主要關注課程所具備的開發價值與組織建設情況。

上述評價模式所劃分的評價階段均體現出圍繞特定的學習目標組織適宜的學習內容、選用適宜的教學方法與網絡平臺、組織適宜的交互性學習活動，同時包含對學習效果的評價。在整合上述兩種在線課程教學質量評價模式的基礎上，本研究在分析院校具體評價指標時，將面向混合教學課程的教學設計（設計評價）、課程建設與平臺籌備（開發評價）、教學實施過程（過程評價）、教學效果（效果評價）四個階段展開分析。

二、研究問題與研究方法

（一）研究問題

本研究關注職業院校在線課程教學質量評價的規劃與實施情況，具體回答下述兩項研究問題：一是疫情防控期間職業院校如何開展在線課程教學質量評價;二是如何針對院校在線課程教學質量評價實施情況，改進在線課程教學質量評價。

（二）研究對象與數據收集方法

本研究采用的資料來自2020年2—3月疫情防控期間各職業院校公開發布的新聞報道、線上教學情況總結以及“職業教育領域在線教育應用專題研究”課題中部分院校主動提供的相關文件資料，共收集到53所院校涉及防疫期間在線課程教學質量評價的文件53份，其中高職院校44所、中職院校9所。院校的區域分布情況如表1所示。

（三）研究方法

本研究采用文本分析的方法，基于本文歸納的分析框架以及評價階段劃分，使用NVivo11質性分析軟件對院校文本進行選擇性編碼。文本分析方法是以文本資料為對象，通過分析與整合從而凝練出觀點的一種實證研究方法。本研究的文本分析主要分為兩個階段。階段一：依據羅恩·奧斯頓五要素評價模型分析53所院校疫情防控期間在線教學質量評價方案的完整性。結合院校報告的實際情況，將“評價反饋對象”與“評價結果”部分合并，用于探討“評價結果的處理方式”;將“數據來源”的內容并入“評價方式”部分，在呈現在線評價方式的同時體現數據來源。此外，考慮到院校間開展評價的關注點與實施評價的人員可能存在差異，增添“評價內容”與“評價主體”要素。綜上，本研究在評價方案模型的基礎上加以調整，形成適用于院校報告文本的分析框架，包含五個要素：評價目的、評價內容、評價主體、評價方式和評價結果。階段二：基于CIPP和PDPP評價模式，將評價劃分為四個階段，即“設計評價—開發評價—過程評價—效果評價”，分析院校在線課程教學質量評價具體指標的覆蓋面。收集的53所職業院校文本中，有2所高職院校提供了具體使用的在線課程評價指標，分別位于東北地區和華東地區。將這2所院校的評價指標與上述四個評價階段加以比對，旨在分析它們對于各評價階段的重視情況。

三、疫情防控期間職業院校在線課程教學質量評價調研結果

（一）53所院校疫情防控期間在線課程教學質量評價實施情況

1.關于評價目的調研結果。54.72%的職業院校并未報告開展在線教學質量評價的原因，僅24所職業院校報告了評價目的，其中8所職業院校開展在線教學質量評價旨在對當前在線教學情況進行診斷與監督，希望了解師生在線教學、管理、實施情況;16所職業院校關注到評價的調節與激勵功能，旨在通過評價結果及時發現問題并加以改進，從而提高在線教學質量。

2.關于評價內容的調研結果。院校報告的評價內容信息繁雜，但主要集中于對教學過程與教學效果兩方面的評價。前者主要關注師生教學行為、教學形式、教學活動、教學秩序、學生線上出勤、學生參與度等信息，聚焦于在線教與學的過程性組織與實施情況;后者多關注師生的在線教學/學習滿意度、認同度，以及學生對在線教學的參與度與測驗完成效果等信息，聚焦于在線教學的整體實施效果。僅少數院校開展了對教學準備與教學資源的評價，前者有3所，主要涉及對學生學情與教師教學準備情況的評價;后者有7所，關注教學資源的建設質量。此外，有1所院校在監測在線教與學的情況之外，考慮到防疫期間在線教學這一特殊時期，將線上教學意識形態也納入評價內容。

3.關于評價主體的調研結果。院校評價主體多元，28所院校的校級督導部門以學校教務處、教學質量控制中心為主，16所院校的二級學院質量督導與評估由二級學院教學負責人承擔。具體實施時，大部分院校設立院系兩級督導，對各教學單位線上授課課程實行全覆蓋監控，保障在線教學質量監管。14所院校將教師與學生群體納入評價主體，教師是在線教學的實施者，學生是在線教學的直接受眾，院校依據師生的評教反饋評判教師在線教學效果。

4.關于評價方式的調研結果。根據院校所報告的在線評價方式，多為“線上巡課、平臺數據、學校抽檢、師生問卷”四種方式的排列組合，結果如圖1所示。在報告了在線教學質量評價方式的41所院校中，有51.21%的院校采用了單一的評價方式，采用頻率由高至低分別為：教學主管或教學督導線上巡課，占19.51%;基于平臺數據的監督反饋，占14.63%;師生問卷調查，占14.63%;學校抽檢教學設計單或教學記錄，占2.44%。采用多種評價方式的院校中，最常用的方式為平臺數據與師生問卷相結合，占19.51%;其次為線上巡課與平臺數據相結合的評價方式，占9.76%。

5.關于評價結果處理方式的調研結果。評價結果的處理方面，僅有22所院校進行了相關報告，31所院校雖然開展了在線教學質量評價工作但并未對評價結果進行分析，說明疫情防控期間院校更加注重在線教學質量評價行為而忽略了對評價結果的報告與跟進。針對院校對評價結果的處理方式，有6所院校僅對評價結果進行客觀描述，未進一步闡述是否將結果進行報告反饋或將結果作為后續在線教學調整的依據;有16所院校采取日報（2所）、周報（3所）、月報（1所）或其他時間段定期報告（4所）等形式將評價結果提交教務部門，其中僅有6所院校報告了反饋評價結果后的進一步跟蹤處理行為，并將評價結果作為教學調整依據，進行在線教學質量跟進監督，以改進教學。

（二）兩所院校防疫期間在線課程教學質量評價階段賦值情況

兩所院校案例的評價指標及賦分情況如下頁表2、表3所示，在各個評價階段的分值分布情況如93頁圖2所示。結果表明，院校在實際開展在線教學質量評價時，基本遵循“課程設計—開發—應用—評價成效”的順序設定具體評價指標。兩所院校均對教學過程的評價予以高度重視，對此階段的賦分均達到50分，至少占據整個評價體系的一半分值，說明院校在實際開展在線課程教學質量評價時重點關注教學過程質量，包括教學活動、師生互動以及學生在校學習過程中的學業表現。其次關注開發階段，對應在線課程建設的質量評定。但是，院校對于教學結果的評價分值存在一定差異，該階段的分值在不同院校分別為21分和5分。院校在設計階段普遍賦予較低分值，主要評定對課程信息的呈現與教學日程安排，基本未涉及學習者特征、學習條件與學習準備情況的相關分析。

四、結果與討論

研究結果表明，大部分職業院校為保證在線教學的順利開展，都進行了在線教學質量評價活動，部分院校制定了面向教學、課程、平臺、教務管理等不同評價對象的質量評價方案，評價主體多元，評價方式多樣。有些院校還對評價結果進行了不同形式的反饋，多角度多方式保障在線教學的實施。然而，面對突發疫情，院校整體上處于被動應對的狀態，面向在線課程教學的評價體系尚不完善，缺乏系統全面的在線教學質量保障體系，具體表現在以下幾個方面：

1.“以評促教、以評促管”的評價意識相對薄弱。評價具備診斷、鑒定、監督、調節、激勵、導向等多項功能。通過評價對在線教學進行鑒定，判斷其是否符合職業院校在線教學的基本規范，診斷出哪些教育活動做得好、哪些地方存在問題，這只是發揮了評價最基礎的鑒定功能與診斷功能。根據當前院校報告中關于在線教學質量評價目的的描述，僅16所院校涉及“改進”目的，說明“以評促教”“以評促管”的意識在當前職業院校在線教學工作中相對薄弱，大部分院校仍停留在將評價結果作為課程選拔與質量鑒定依據的階段。

2.評價內容維度不全，各評價階段分值分配有待商榷。結合教學過程，評價內容可分為設計評價、開發評價、過程評價與成效評價四個部分，但疫情防控期間53所院校報告的文本說明在線教學質量評價內容多集中于教學過程評價與教學效果評價，較少關注對教學準備情況與教學資源的評價。通過對2所院校具體評價方案的分析，發現院校均高度關注教學過程的質量評價，對于其他三個階段的關注度存在一定差異，對各階段的評價分值分配有待商榷（如案例2中對于整體教學效果的分值僅占在線課程教學質量評價總分的5%），且對于前期課程教學設計的評價關注較少。教學設計作為整個教學過程系統的統籌規劃與設計，是聯系學習理論、教學理論與教學實踐的橋梁，因此，良好的教學設計可視為后續教學實施的重要基石。但結合兩階段的分析結果，院校整體存在對教學前期準備階段的評價重視不足的情況。

3.部分院校的評價主體未將教師與學生納入其中。依據調研院校的報告結果，防疫期間的在線教學質量評價多由學校、二級學院的教學督導作為評價主體，呈現出自上而下的在線教學質量保障體系。教師與學生是在線課程教學的直接參與者，但僅部分院校將他們納入評價主體，說明疫情防控期間院校對師生賦能不夠，缺乏自下而上的評價體系設計與規劃。

4.評價方式較為單一。依據調研院校的報告結果，疫情防控期間的在線教學質量評價方式為線上巡課、平臺數據、學校抽檢、師生問卷四種方式的排列組合，但其中半數院校僅將一種評價方式的結果作為評價在線教學質量的標準。

5.對評價結果的應用意識相對薄弱。根據當前調研情況，近六成院校關注到在線教學質量評價的內容與實施過程，但對于評價后的結果及相關處理未做說明;不足四成的院校提出會對評價結果進行定期反饋;僅不足兩成的院校報告了將評價結果進行反饋后的進一步跟蹤處理行為。

五、對策與建議

質量評價是職業教育教學不可或缺的要素之一，也是提升人才培養質量的重要保障措施。疫情過后，混合教學將成為新常態，構建混合課程教學質量評價體系是職業院校面臨的緊迫任務。基于上述防疫期間職業院校在線課程教學質量評價情況的調研，對今后院校開展混合課程教學質量評價提出以下建議：

1.院校層面加強系統設計，制訂具有操作性的在線課程教學評價方案。職業院校在研究制定具體的混合教學政策時，不僅要關注混合教學的實施方案，還要重視混合教學實施后的評價措施，結合現狀出臺具有可操作性的質量監管與評估文件。要統一部署混合教學質量評價主體、確定評價方式、厘清評價維度，方便二級學院與教務管理部門對應執行混合教學質量評價工作，及時監管與改進，保障混合教學質量。

2.堅持多元評價，注重過程評估，實現“以評促教、以評促管”。第一，評價目的方面，建議發揮評價的激勵導向功能。院校教學管理者與一線教師在分析評價結果、了解教學情況之后，能夠基于評價結果對不足的地方規劃改進路徑和措施，不斷參照評價體系，及時實現自我調節，實現高質量的混合教學，達到“以評促教”“以評促管”的目的。第二，評價內容方面，關注“設計—開發—過程—效果”的教學全過程評價。設計評價階段涉及對教學方案、教學設計單等教學準備情況的評價，是重要卻容易被忽視的部分;開發評價階段關注教師所選用的教學平臺對教學目標的支撐情況、教學平臺功能的技術性以及界面設計及教學資源的適用性;過程評價階段與效果評價階段除了監測混合教學狀況外，還可結合特殊時期對于線上教學意識形態的需求，豐富評價內容。第三，評價主體方面，建議院校采用多元評價主體。院校及二級學院督導合理分工、密切協作，從專家視角發現問題并提出優化建議。同時，要建立自上而下及自下而上的雙向評價機制，使教師與學生也有發聲渠道。多角度聆聽各方關于在線教與學情況的意見與建議，凝聚各方力量，賦權師生，協同保障混合教學質量。第四，評價方式方面，建議院校選用多種評價途徑相結合的方式。多種評價方式的有機組合，既關注由傳統線下教學質量評價方式遷移到線上而形成的教學督導專家抽檢教學設計方案、線上隨堂觀察、師生填寫在線問卷對教學效果與學習感知進行自評與互評等評價方式，又要關注信息化教學在平臺產生的大量過程性數據，在線多維度開展評價，多視角分析互相佐證，全方位保障混合教學質量。第五，評價結果的處理方式方面，建議院校加強對評價結果的系統性認知。混合教學質量評價不能僅停留在評價行為的發生狀態方面，還應考慮評價結果、向誰反饋、如何跟蹤等，將評價結果應用到在線課程教學改進與質量提升的迭代過程中，以達到以評促教、以評促管的目的。

信息時代職業教育的發展要求我們思考主動變革的路徑和方略，課程教學質量評價也要從被動評價在線教學開展情況全面轉向主動構建混合教學質量評價體系。面對常態化的混合教學，職業院校可吸取本研究所呈現的在線課程教學評價實施的經驗和教訓，促進混合教學評價質量提升，切實發揮評價對教育教學的“指揮棒”與“助推劑”的作用，持續提升人才培養質量。

[參考文獻]

[1]謝幼如，邱藝，黃瑜玲 等.疫情防空期間“停課不停學”在線教學方式的特征、問題與創新[J].電化教育研究，2020（3）：20-28.

[2]王敏，高國元，李鳳霞，等.疫情期間地方高校在線教學實踐的個案調查與分析[J].中國教育信息化，2020（15）：58-63.

[3]陳實，梁家偉，于勇，等.疫情時期在線教學平臺、工具及其應用實效研究[J].中國電化教育，2020（5）：44-52.

[4]王繼新，韋怡彤，宗敏.疫情下中小學教師在線教學現狀、問題與反思——基于湖北省“停課不停學”的調查與分析[J].中國電化教育，2020（5）：15-21.

[5]楊曉哲，張昱瑾.疫情防控下中小學教師在線教學與在線培訓分析[J].現代教育技術，2020（3）：5-11.

[6]金根娣，蔡長春.基于在線開放課程的高職教學評價體系的構建[J].揚州教育學院學報，2020（2）：66-69.

[7]田園.知識服務導向的在線教學效果評價研究[J].情報科學，2020（9）：129-136.

[8]牛東育，蔣曉玫.疫情防控期間高職院校線上教學質量評價體系研究[J].南方職業教育學刊，2020（3）：92-96.

[9]袁鐸，鄭輝贈，黃虹.疫情背景下地方高校在線教學質量保障探析——以省屬地方院校D校為例[J].嘉應學院學報，2020（4）：69-73.

[10]武艷，劉正濤.在線開放課程的混合式教學模式的評價機制研究[J].教育教學論壇，2020（23）：45-46.

[11]韓錫斌，楊娟，周潛.數字化學習環境的應用與評價[M].北京：中央廣播電視大學出版社，2015.

[12]蔡曉良，莊穆.國外教育評價模式演進及啟示[J].高教發展與評估，2013（2）：37-44+105-106.

[13]李景奇，韓錫斌，楊娟，等.基于CIPP模式的網絡學習跟蹤與評價系統設計[J].電化教育研究，2009（7）：53-57.

[14]張偉遠.PDPP網絡課程評價模式的建構及其應用案例[J].中國遠程教育，2009（11）：17-20+79.

[15]張偉遠.網絡教學發展模式的理論構建與應用[J].現代遠程教育研究，2013（1）：7-14+23.