基于大數據感知的課程教學質量評價研究

張陽 郭權

（大連東軟信息學院，遼寧大連 116023）

2020年10月，中共中央國務院發布《深化新時代教育評價改革總體方案》，要求高校充分利用信息技術，提高教育評價的科學性、專業性、客觀性。其中，針對一流課程建設質量的評價也應利用人工智能、大數據等現代信息技術，創新評價工具，探索評價方法，并完善評價結果運用，綜合發揮導向、鑒定、診斷、調控和改進作用。同時，疫情期間大規模在線教學過后，混合式教學中不同角色（教師、學生、教學管理者）對基于大數據的質量監測提出了更高的要求。教師端，要求質量監測平臺/系統及時、有效地反饋學生狀態信息，能夠掌握微觀操作層面每個學生學到多少，什么方法有效或無效，以促進精準改進教學，提升教學效果；學生端，要求得到個性化學習支持，獲得同輩相關數據分析及比較，隨時掌握自身的優勢或不足，以促進自主學習、積極學習和深層學習；管理端，要針對校/院/系/督導，及時提供師生橫向信息比較、質量相關趨勢分析，反饋個性化信息，以促進調配教學資源，改善教學關系，提高教學效率。

一、研究問題與假設

（一）研究問題

Benazir Quadir①Benazir Quadir,Nian-Shing Chen&Pedro Isaias(2020)Analyzing the educational goals,problems and techniques used in educational big data research f rom2010 to 2018,Interactive Learning Environments,DOI:10.1080/10494820.2020.1.7.12427等進行的教育大數據方面研究綜述表明，2010年到2018年的143項教育大數據研究中排在第一位的應用問題是忽視質量因素，占比41.2%。陳濤、鄧圓，②陳濤、鄧圓：《技術如何引領學習?——美國密涅瓦大學推行主動式學習策略及啟示》，《開放教育研究》2018年第8期，第53-62頁。陳池、王宇鵬等，③陳池、王宇鵬、李超、張勇、邢春曉：《面向在線教育領域的大數據研究及應用》，《計算機研究與發展》2014年第51卷，第67-74頁。劉寧、王琦等①劉寧、王琦、徐劉杰：《教育大數據促進精準教學與實踐研究——以“智慧學伴”為例》，《現代教育技術》2020第4期，第12-17頁。研究如何應用大數據技術促進學生自主學習以及面向學生和教師提供智慧化功能，促進個性化學習和教學改進。鐘秉林等②鐘秉林、王新鳳：《普及化階段我國高校教學質量評價范式的轉變》，《中國大學教學》2019年第9期，第80-85頁。研究普及化階段我國高校教學質量評價范式和信息技術賦能教學改革和評價方式轉變。毛剛等③毛剛、周躍良、何文濤：《教育大數據背景下教學評價理論發展的路向》，《電化教育研究》2020年第10期，第22-28頁。研究教學大數據評價理論發展的路向，從評價融于教學活動過程、數據整合教學評價系統和人機協同成就智慧評價三個維度闡述基于教育大數據的評價方法與原則。李逢慶、韓曉玲④李逢慶、韓曉玲：《混合式教學質量評價體系的構建與實踐》，《中國電化教育》2017年第11期，第108-113頁。在評價指標體系的理論基礎和評價原則確立的基礎上，結合混合式教學設計和實施的流程，構建了過程性和終結性結合的混合式教學質量評價體系。楊春霞、王宏濤等⑤楊春霞、王宏濤、黃穎為：《基于MOOC/SPOC的混合式教學的質量評價研究》，《教育現代化》2020年第41卷，第10-13頁。結合相關混合式教學影響因素的理論研究，給出了包含教學準備、教學實施和教學評價三部分的混合式教學的質量評價體系。葉宇平等⑥葉宇平、何笑：《智慧教育引領教學方式新變革》，《高教發展與評估》2020年第4期，第87-96頁。提出智慧教育背景下的學習環境更加智能化，可以感知環境變化、學習者的特征，記錄各項數據。在大數據分析基礎之上的教學評價體系將更加豐富和全面，注重評價的實時性、個性化和科學化。馬星等⑦馬星、王楠：《基于大數據的高校教學質量評價體系構建》，《清華大學教育研究》2018年第2期，第38-43頁。認為，大數據時代背景下高校要著力于實現數據收集常態化、數據應用多樣化和數據管理制度化,以科學有效地利用好大數據技術,構建基于大數據的高校教學質量評價體系。

以上研究涵蓋教育大數據應用與問題研究、基于大數據應用的教學評價理論研究和混合式教學質量評價體系研究，對于大數據背景下開展一流課程質量評價具有理論指導和實踐借鑒意義。然而，現行課程教學質量評價體系尚缺乏基于大數據感知的評價研究，未能建立起有效的、滿足教學新常態下不同角色新要求的課程教學質量評價方法，而以下三個關鍵問題是在線教學、混合式教學質量評價方法研究中尚亟待解決的。

1.評價結果的準確性問題：依托專家的定性評價較強，而基于教學大數據的定量評價較弱，專家評分的客觀性、調閱抽查材料的全面性存在不足，影響了評價結果的準確性。

2.數據感知的有效性問題：應用作業次數、測試成績、課上回答問題次數等傳統定量數據評價較強，而針對學習投入、學習效果、學習支持等評價較弱，多維度數據綜合，尤其是關聯學習效果、學生主動學習等數據的綜合分析不足，影響了定量評價的有效性。

3.反饋改進的及時性問題：課程教學結束后的總結性評價較強，而教學過程中的監控作用發揮較弱，評價與反饋都滯后，導致不能及時地將評價中發現的問題反饋給學生和教師，以支持教與學的精準改進、提升學習效果。

（二）研究假設

總假設：基于大數據感知的課程質量評價能夠解決評價結果的準確性、數據感知的有效性和反饋改進的及時性問題。假設1：定量與定性有機結合，能避免主要依靠定性評價帶來的評價結論主觀性和以點帶面的問題。假設2：合理設置感知點并準確感知，能有效掌握教與學數據，并明確微觀操作層面的具體問題。假設3：階段性實時感知并及時反饋教學狀態，能促進精準改進。

二、研究設計

（一）采用對照實驗法檢驗評價效果。ADDIE教學設計模型①李逢慶：《混合式教學的理論基礎與教學設計》，《現代教育技術》2016年第9期，第18-24頁。包括：Analysis（分析）、Design（設計）、Develop（開發）、Implement（實施）、Evaluate（評價）。本研究側重模型中的實施和評價兩個階段，聚焦課程實施和效果評價，②梁婷婷、張陽：《探索構建學生中心混合式課程質量體系》，《中國教育信息化》2020年第6期，第26-29頁。而非分析、設計和開發的課程建設質量評估。為了檢驗評價效果，對大連東軟信息學院23個專業的51門課程進行兩輪評價。第一輪為“專家主體評價”，簡稱“專家評”，第二輪為“基于大數據感知的評價”，簡稱“感知評”。

（二）使用數據平臺和評價系統。評價數據來源于校內外智慧教育平臺，包括課程資源系統、混合式學習系統、作業測試系統、質量監測系統等。質量評價通過學校“課程評估系統”完成。

三、研究過程及數據收集（以大連東軟信息學院為收集基礎）

（一）專家主體評價

1.評價標準

《課程教學實施效果評價標準》包括教學實施和效果評價兩個維度，涵蓋資源使用更新、課堂教學、跟蹤反饋、考核評價、教學效果和學生評價6個二級指標（如圖1）。

圖1 課程教學實施效果評價標準

2.評價對象

2019-2020-1學期實施且通過校級混合式課程建設質量驗收的51門課程。

3.評價程序

在課程組自評的基礎上，學校組織由教學相關職能部門、院系及校外專家組成的評審組，對參評課程的教學實施與效果進行評價。課程負責人提供課程教學實施的教學文檔、形成性和終結性考核存檔材料、課程自評報告及相關佐證材料。專家通過“課程評估系統”中教師提供的材料、網絡與信息中心提供的課堂教學實錄視頻、從數據平臺獲取的教學過程的資源使用與師生互動等統計分析數據，進行綜合評價。

4.等級評定

評價結果按照二級指標評價等級加權計算總分，二級指標評價等級分為A（1）/B（0.8）/C（0.6）/D（0.4）四檔，其中A檔表示完全符合；B檔表示符合度較高；C檔表示基本符合；D檔表示差距很大。最終評價結果分為優秀（100-90）、良好（90-80）、合格（80-70）、不合格（小于70）四檔。其中，凡出現二級指標任一項評價成績為D檔，則最終成績不能評定為優秀和良好（最高為合格）；其他情況按照二級指標加權總分與等級對應情況賦予最終成績。

（二）基于大數據感知的評價

1.科學量化評價指標

適合量化的指標。若專家評價本身依賴于信息化平臺提供的“教與學”數據支持，則該指標適合量化。如圖1中的“多數學生資源利用率高，使用效果好”，“多數學生積極參與課堂教學活動，師生互動效果好”；“教師能夠對學生線上、線下的課前、課中、課后學習任務完成情況和學生的問題給予及時、有效的評價反饋和精準支持，學生學習進步較明顯”；“學生學習效果符合課程目標，指標達成度高”等。

不適合量化的指標。若現階段基于感知的評價明顯不能替代或優于專家評價，則該指標不適合量化。如圖1中的“依據課程標準進行考核，命題和評閱質量高”，“成績評定規范、合理”等。

為確保評價結果可相互驗證，“感知評”所使用的評價標準與“專家評”所使用的標準保持一級、二級指標完全相同，包括內涵解讀和權重設置。將6個二級指標分解為13個三級指標，設定8個基于數據感知的定量評價指標P1-P8和5個依據專家評分的定性評價指標E1-E5（如表1）。

表1 課程教學實施效果評價指標量化

2.有效設置感知點

首先，根據有效教學設計與實施的“四要素”：目標、教法、學法、評價，①趙炬明：《聚焦設計：實踐與方法（上）——美國“以學生為中心”的本科教學改革研究之三》，《高等工程教育研究》2018年第2期，第30-44頁。對教學大數據進行貼標簽分類，將教學感知點分為5大類：即資源“有效”利用、任務完成“時效”、互動參與“程度”、教學反饋“效果”、學習目標“達成”。其次，以“充分發揮專家特長和大數據感知的融合優勢”為原則，結合學校實際，對應5大類別，設置可準確感知的12個教學感知點（如表2）。教學感知①-?涵蓋了教學全過程中對教師教和學生學的感知，并與有效教學四要素合理映射。

3.建立數據感知模型和映射模型

一是建立感知模型。根據表2中的算法獲得各感知點的感知數據。注重：①數據完整性。例如針對P1，采集多平臺數據，鼓勵混合式教學模式下有效利用外部優質資源。②增值評價。例如P5和P7，采集提升率數據。③學生體驗。例如P4和P8，挖掘學生體驗數據。④鼓勵評價創新。鼓勵課程以有效評價知識、能力、素質三維度預期學習效果達成情況為目標，創新考核方式、增加綜合性、開放性命題、優化評價量表等。對于預計將對本輪終結性考核結果造成較大影響的調整，可提出充分理由，并經審定委員會評議，確定對采集的課程平均分增加修正分值δ，確保不因試題增加挑戰度等改革導致的考試分數降低影響評價結果。

二是建立映射模型。按照區間評級規則將感知數據轉換為區間等級。首先選取合適的參考數據集。參考數據集可以是本校的全集數據，也可以是同類高校、同等專業的數據或211院校的常模數據等。參考集的選用可優先考慮多年相關數據穩定或變化趨勢合理的數據集。然后計算參考集中不同年份（一般連續3年、同期）的平均值與分布情況。最后用評價數據集比對參考數據集，建立感知數據映射模型。映射結果可選擇五分法{好、較好、合格、較差、差}，其對應值為{1、0.8、0.6、0.4、0.2}。

4.建立綜合評價模型

設專家定性評價指標為Expert-evaluationi（Ei），數據感知定量評價指標為Pedagogical-perceptioni（Pi），則第i門課對應的第j個專家指標用來表示，對應的影響系數、指標分值分別為；第i門課對應的第j個數據感知定量評價指標用來表示，對應的影響系數、指標權重和效果加權系數分別為第i門課的最終評價結果Finali（Fi）綜合計算如下：

式中：效果加權系數k取值為(0,1]，當k=1時表示不考慮效果加權。效果加權是將指標“2-2教學效果”的數值通過效果加權的方式影響其他與效果直接相關的指標最終得分，如P1資源使用、P2活動參與、P3有效反饋，即教學感知①-④等。

式中：影響系數μ取值為[0,1]，除了指標P6，其余指標的μ取值均為1（無影響）。的設置是考慮考核質量對教學效果的實際影響。根據專家對終結性考核命題、評閱、成績評定存在的問題分類{無、較小、較大、較嚴重、嚴重}，對應確定的值為{1.0、0.8、0.6、0.4、0.2}。

5.總結性評價和過程性評價

總結性評價：根據式一Fi可得到課程i的評價結果。

過程性評價：一是依據反饋及時性原則，設定監測點，比如課程總學時的1/3、1/2和2/3時間點，及時將評價結果反饋給當前的教、學、管理端。二是采用總結性評價方法，并根據情況將部分只在總結性評價中使用的指標對應的μ值設為0，如E1-E5，P6-P8，其他指標的μ值仍為1或實際數值。同時，過程性評價不僅要針對課程整體，還要針對學生個體，比對并呈現個體在相關指標上的優勢和薄弱之處，并將結果呈現給教師、學生和相關管理者，以支持過程中的及時、自主、精準改進。

6.迭代優化

以符合事實的客觀評價為目標，設計了包括感知、轉換、評價、分析、反饋、改進的優化6步并不斷迭代。若，ΔX=|評價結果-真實質量|，則，令ΔX→0。評價結果可通過多方相互印證。一是“專家評”，二是“感知評”，三是教師對評價結果的反饋。進行多樣本學習訓練及組織專家合議，如有必要則修改影響系數μ、指標分值w、效果加權系數k和相關算法等，直到Fi符合真實情況、教師充分認可。

四、研究結果

將“專家評”的結果和“感知評”的結果進行對比：

1.評價結果準確性。從指標量化看，量化指標從“專家評”10%，增加到“感知評”55%，部分專家主觀評價中的印象分被客觀合理的感知評價替代。從總分分布看，對應{優秀、良好、中等}的百分比值分布，“專家評”{13.7，74.5，11.8}，“感知評”{15.7，54.9，29.4}。表3中總分值和“2-2教學效果”指標的標準差比較顯示，“感知評”的結果等級分布更合理。綜合表3和表4數據進行原因分析，“感知評”中，指標1-1相關度最大且標準差相對大，而“專家評”中，指標1-3相關度最大但標準差相對小，說明專家在該項（過程及反饋）的打分過于集中且過大地影響了最終得分。從評價反饋看，教師對“感知評”的最終評價結果和改進意見普遍認可。

表3 兩種評價的標準差比較

表4 兩種評價的指標分項與總分的相關系數比較

2.數據感知有效性。一是感知更有效。表3感知模型顯示，針對有效教學要素設置感知指標P1-P8，并綜合分析評價學習投入、學習效果、學習支持等，使得數據更可靠。二是OBE導向評價。采用效果加權，平均效果加權系數0.8，使得評價結果更符合指標內涵要求，如“資源有效利用”“有效互動”等，使得模型和評價更可靠。三是改進更有效。針對指標得分情況，明確問題在哪里，差距有多少，并提供針對每個3級指標的教師維度改進建議（資源更新、教學教法、監控調整、有效反饋、命題質量、評閱評定、提升效果、提升學習體驗）和學生維度改進建議（資源利用、互動參與、學習狀態、學習效果、效果提升），使得教學改進更有效。

采用相對值比較而非使用絕對值的方法分析，表4中指標2-2列“感知評”較“專家評”的相關系數明顯增大，說明“感知評”更突出效果評價的重要性；計算列1-1和列2-2的相關系數，得出“感知評”雖然比“專家評”更相關，但相關度很低，還需進一步改進完善，以增強感知數據的有效性。

3.反饋改進及時性。課程過程性教學質量監測為教學過程中的及時、自主、精準的改進提供了支持。一方面，及時向學生、教師、管理者提供過程監測結果，例如在學期中不同時間節點，針對學生個體呈現指標得分變化數值及位置；針對教師呈現學生個體和班級整體數據；針對校—院—系呈現相應集合的整體數據和同層次比較數據。另一方面，根據表3數據轉化算法，不僅關注學生學習效果成績絕對值，而且關注學生預期學習效果達成度提升值，實時感知個體增量，切實發揮形成性考核評價的促進作用。

計算“過程指標”1（1-1、1-2、1-3求和）和“教學效果”指標2-2的協方差：“感知評”為：0.363744714，“專家評”為：-0.161476355。說明：“專家評”負相關，即過程和效果負相關，而“感知評”雖然正相關，但相關程度還有提升空間。

五、結論與啟示

本文結合大連東軟信息學院多年的信息化教學改革實踐探索，提出了基于大數據感知的課程教學質量評價方法，并通過效果分析，證明該方法可有效解決現行教學質量評價中存在的評價結果準確性、教學感知有效性和反饋改進及時性的共性問題。同時，基于教學感知的評價實現了高校教學質量評價的三個轉變：一是擴大了質量評價的范圍，從原先督導覆蓋課程的聽課評價，到現在覆蓋課堂教學全過程的評價，實現了部分到全部的轉變。二是增強了質量監控的自主性，從原來的教師、學生被聽課、被評價到主動自我監控，實現了被動到主動的轉變。三是學生、教師、管理者都能得到較好的支持，促進了混合式教學中學的改進、教的改進和學的改進。

對高校開展基于大數據的教學質量評價的啟示如下：

第一，基于可靠性原則建立評價模型?？煽啃园ǎ簶藴士煽?、數據可靠、模型可靠、評價可靠。①林夢泉、任超、陳燕：《破解教育評價難題探索“融合評價”新方法》，《學位與研究生教育》2019年第12期，第1-6頁?？茖W分析、合理設計評價模型，做到定性、定量評價相結合，專家評與數據評相結合，過程性和總結性評價相結合。要根據評價指標本身的特性和當前約束條件，充分發揮專家特長和數據感知的優勢。

第二，基于有效性原則探索大數據感知。有效性包括：設計有效、評價有效和改進有效。設計有效即根據有效教學要素設置感知點；評價有效即采用OBE導向的效果加權評價；改進有效即師生明確微觀操作層面的問題與差距的基礎上實施有效改進。真正觸動教、學兩端的是有效的數據及數據間關聯性的客觀呈現，能夠反映師生教與學的投入、教與學的互動、教與學的效果，而不能只是作業、測試成績、教學課件等教與學線下數據的簡單線上呈現。

第三，基于及時促進原則完善過程反饋改進。及時促進即及時將評價結果反饋給當前的教、學、管理端，以促進精準改進。當前采集的信息是在當前條件下對當前教、學、管理相關情況的即時反映。通過及時反饋，為學生提供機會去追蹤、反思、改進學習；為教師提供機會根據學生學習需求調整教學；為管理者提供機會促進個性化教學改進，從而及時縮小和各個角色預期目標的差距，而非只有延遲到下一輪教學再改，同時還要面臨授課對象變化帶來的針對性不強等問題。

第四，應用大數據技術迭代優化綜合評價。以符合事實的客觀評價為目標，迭代感知、轉換、評價、分析、反饋、改進，不斷優化。還應建立基于大數據信任的質量文化，通過宣講，促進廣大教師認同，通過鼓勵創新，增強教師改革動力，使其在自主改進基礎上積極參與大數據感知評價的探索。

今后將通過指標項相關性等評價效果分析和通過機器學習、神經網絡等算法優化指標權重、效果加權系數和等級區間范圍值等。同時繼續優化挖掘數據感知點，嘗試增加智能感知和改進學、改進教的智能助手，進一步提升教、學、管理效能，促進師生發展。