數據賦能課程結果性評價的應用研究

周建芳，周 振，張楚俊

（武漢體育學院 體育工程與信息技術學院，武漢 430079）

教育評價根據作用可以分為診斷性評價、過程性評價（形成性評價）和結果性評價（總結性評價）。其中診斷性評價是在教學計劃執行前進行的評價，是為了了解學生的學習情況，對學生學習過程中存在的問題進行診斷和評估。過程性評價是以改進教學為目的進行的教學評價。結果性評價是指在一個大的學習階段、一個學期或一門課結束后對學生學習效果進行的評價，是判斷學生達到教學目標的評價。

結果性評價作為檢驗教學成果最重要的教育評價方式，在我國沿用已久，起著選拔、甄別、鼓勵競爭的作用。例如，課程的期末考試、四六級考試、中考及高考等各種通過試卷進行的考試。但是，結果性考試執行頻率小（在整個教學過程中僅執行一次），最終表現為一個考試的分數，評價指標過于單一和片面，忽視了人的個性化發展，越來越無法適應新時代教育事業內涵化、現代化發展的要求。教育評價改革勢在必行。

2020 年10 月中共中央、國務院印發了指導教育評價改革的綱領性文件《深化新時代教育評價改革總體方案》，明確提出“堅持科學有效”的導向，將“改進結果評價，強化過程評價，探索增值評價，健全綜合評價”作為改革的重點。隨著信息技術在教育領域的深度應用，通過各種教學設備、教學平臺能夠采集到大量描述完整教學過程的教育大數據，這些數據為新時代教育評價改革提供了重要的技術支撐和實踐基礎。基于教育數據的教育評價得到了長足的發展。在很多學校現行的課程教育評價中，普遍采用形成性評價和結果性評價相結合的方式，更能夠體現評價的發展性和科學性。其中，結果性評價的代表——期末考試也由原來的線下紙質試卷考試遷移到教學平臺的信息化考試，從組卷到考試再到閱卷環節產生的大量考試數據，為改進結果性評價提供了新的思路和手段。

一 傳統的結果性評價存在的問題

（一）數據單一，難以真實客觀地對教學效果進行評價

傳統的課程結果性評價主要是采用期末考試的方式進行，期末考試分數作為評價學生學習效果的依據。但這個分數過于單一，難以真實客觀地評價學生的學習效果，同樣也不能根據班級學生的成績分布評價教師的教學效果。

（二）試卷的質量評價數據獲取和處理較為困難

由于期末考試是對整門課程的綜合性考察，而且必須在限定的時間內完成，試卷的科學性評價從以下幾個方面來評價。

覆蓋面：試卷中的試題是否覆蓋了教學大綱的要求，并突出重難點。

難度：試卷的難易程度要適中，整套試卷中不同難度題目的分布要適中。

區分度：試題對考試者的真實水平的區分度。區分度越大越好。

題量飽滿度：試卷中的題量是否飽滿，中等學生能否在限定的考試時間內完成答題。

在缺乏信息技術支持的前提下，試卷的質量取決于教師自身對教學大綱的理解、對學情的充分了解及對教學工作的責任心。

（三）學生無從反思

尤其是在高等學校，期末考試的完成意味著一門課程結課，期末試卷存檔保存。學生在期末只能拿到一個期末考試的成績，至于考試中自己哪些題（知識點）出錯無從得知，無法對自己在考試中檢驗出來的知識點短板進行反思和改進，而這一點對學生來說十分重要。

以上問題存在的根本原因是考試過程中數據的產生、收集、清理及處理缺乏信息化手段支持，人工處理繁瑣緩慢。在將信息技術與考試過程緊密結合的前提下，對產生的大量考試數據進行統計分析，以上問題可以得到全面解決，有效地改進結果性評價。

二 數據賦能結果性評價改進的實踐

以教育技術學專業21 級的操作系統原理課程在“學習通”平臺進行的期末考試為例，探討了數據賦能結果性評價改進的實踐路徑和改進效果。

（一）“學習通”考試過程各環節的功能及相關數據

自2020 年新冠病毒感染疫情“停課不停學”期間第一次采用“學習通”進行期末考試以來，一直沿用至今。“學習通”的考試功能也在持續改進，目前其考試功能及考試過程中搜集的數據如下。

題庫管理。支持智能導入、模板導入和手工輸入的方式建立題庫。題庫中的題目可以標注知識點、難度、課程目標等信息。這些信息十分重要，是考試前進行智能組卷的重要前提。題庫中的題不僅可供期末考試時組卷用，也可以供教學過程中平時的隨堂練習、課后作業用。高質量題庫的重要性不言而喻。

智能組卷。支持智能組卷和手工組卷。其中，智能組卷可以根據設定好的組卷策略，從指定題庫中生成指定數量的試卷。組卷策略可以設置根據章節、知識點、難度及課程目標進行隨機抽題。采用智能組卷方式組成的試卷質量與題庫的質量有關。比較推薦的組卷方法是先采用智能組卷生成若干套試卷，再選取一套試卷進行手工微調，形成期末考試試卷。組卷完成后，可以對試卷進行封存，避免試卷泄露。

發布考試。考前發布考試信息，為這場考試進行相關參數設置，包括基礎信息設置，如考試的開始時間，結束時間，考試時長，遲到多久不允許進入考試，允許提前多久交卷，考試結束是否自動收卷；防作弊設置，如題目亂序，選擇題選項亂序防止座位相鄰的同學抄襲；切屏設置，對于學生的每次切屏，設置切屏次數，切屏時長的閾值，超過閾值系統向監考老師發送通知；評分設置，多選題未選全是否給分；填空題的類型設置，如設置為主觀題，需要教師手工批閱，如設為客觀題，系統自動判分，判分時還可以設置是否區分大小寫。

監考。學生在指定教室、指定時間進入考試，監考系統根據考試信息允許學生進入考試，考試過程進行隨機抓拍，詳細記錄學生的答題記錄、切屏記錄，對于切屏次數、時長達到閾值的向監考老師發出預警信息，考試結束后進行強制收卷。其中，監考過程中生成的學生答題記錄十分重要，教師可以根據學生某道題的答題行為（答題時長、答題正確度、是否反復修改答案等）判斷學生對該題涉及知識點的掌握熟練情況，根據學生每道題的平均答題時間和試卷完成時間，判斷試卷的題量飽滿度。

閱卷。客觀題系統自動閱卷，主觀題由閱卷教師根據評分標準進行評分。試卷批閱完成系統生成學生的小題得分明細，教師根據班級在每個知識點上的得失分數分布情況進行教學反思，持續改進教學效果。

（二）考試數據處理

考試過程中產生的數據，有些是結構化數據，進行簡單的數據清洗后就可以用于統計和分析。例如，智能組卷的組卷策略（命題計劃表）、考試成績表（小題得分明細）。有些數據是非結構化的數據，例如學生的答題記錄，系統為每個學生產生一個答題記錄，記錄學生從進入考試到交卷的過程中的所有行為，包括答題、試卷瀏覽、切屏、隨機抓怕的照片和人臉驗證的情況。這些數據對于分析學生的考試行為和試卷的質量比較重要，需要將非結構化的數據進行解析，得到結構化的數據后再進行統計分析。

以教育技術學專業21 級的操作系統期末考試為例，主要考試數據如下。

題庫數據：操作系統作為教育技術學專業的軟件基礎課，是一門理論與實踐相結合的原理課，學生要掌握課程相關的概念、原理、算法，需要在基礎記憶、理解的基礎上強調知識的應用。在平時上課的隨堂練習、課后練習和期末考試都要用到題庫中的數據。目前該門課程的題庫數據見表1。

表1 題庫數據

試卷結構。采用智能組卷，從題庫中根據章節進行隨機抽題生成若干套試卷，選取其中一套試卷，根據考試時間和試卷題量、難度進行手工微調，得到的期末試卷構成見表2。

表2 試卷構成

答題記錄。答題記錄是系統記錄每一個考生從進入系統開始考試到學生主動交卷或系統自動收卷的時間內學生的全部考試行為，包括人臉驗證、答題、試卷瀏覽、抓怕和切屏等信息，以PDF 文件方式輸出。該信息為非結構化數據，計算機并不能直接統計分析，需要編寫代碼將PDF 文件讀取為文本、對文本進行解析、轉換為Excel 或存入數據庫成為便于計算機處理的結構化數據。而且在進行智能抽卷的過程中設置了“題目亂序”和“選項亂序”，從答題記錄解析出來的結構化答題記錄中不同學生試卷的相同題號對應的題目不一樣，相同題目的選項也不一樣，還需要將答題記錄和試卷數據、成績數據集成后將不同試卷中亂序的題目、分數對齊后再進行統計、分析、處理，得到的結果才真實有效。

經過處理轉換，31 名同學的考試答題明細文件中提取出答題記錄5 578 條，切屏記錄81 條，整卷瀏覽修改答案記錄271 條，交卷記錄29 條，強制收卷記錄2條，進入考試記錄31 條。

成績數據。完成試卷批閱后，系統會生成成績數據：每個學生的小題得分明細。根據小題得分明細可以算出試題的難度和區分度，試卷的平均難度和區分度。

（三）考試數據分析結果

通過對以上數據進行收集、清洗、集成后進行統計分析，得到如下結果。

1 試卷質量評價

1）覆蓋率：本試卷從題庫中總計574 道題中抽取35 道題，從組卷策略可以看出，出題范圍覆蓋教學大綱中全部章節，主要知識點覆蓋90%以上。分值分布與教學計劃中教學時間安排大致對應，突出重點和難點。

2）難度：難度系數代表了題目的難易程度。難度系數越大，題目越容易；難度系數越小，題目越難。閱卷后根據小題得分明細統計出不同難度的題目在試卷中的分布見表3。

表3 試卷中不同難度題目分布情況

從數據中可以看出，太難（0≤P＜0.3）和太容易（0.9≤P≤1）的題目占比較小，中等難度（0.3≤P＜0.9）占比較大，試題難度分布合理，難易程度適中。

3）區分度：一般認為區分度在0.4 以上具有很好的區分度，0.15～0.4 區分度較好，低于0.15 區分度不好。試卷中不同區分度的題目分布見表4。整個試卷具有較好的區分度。

表4 試卷中不同區分度試題分布情況

4）題量飽滿度。考試時間一般限定為一個固定的時間。組卷的時候要充分考慮題量和時間之間的匹配度，能夠讓大部分同學在限定的時間內完成試卷。根據學生的答題記錄，統計出學生在答題過程中的答題時間見表5。其中有2 名同學時間截止系統自動收卷（本實例中考試時間為90 min）。整個試卷的題量較為飽滿。

表5 學生答題時間分布

2 評價與反饋

結果性評價是檢驗教學效果的最重要的方式。考試數據中每個考生的小題得分明細可以甄別出每個學生對所學課程知識點掌握情況，也可以檢驗教師的教學效果。

1）教學效果評價。在考試試卷的科學性得到保證，學生的考試成績真實有效的前提下，教師的教學效果可以通過學生的成績分布（表6）進行評價。期末考試平均分為71 分，成績分布符合正態分布。

表6 學生成績分布

2）學生反思。試卷批閱完成后，系統生成的考生試卷電子檔可以發送給學生，學生通過查看試卷反思自己的不足之處。在傳統的紙質考試場景下，期末試卷需要存檔保存，只有對考試分數有疑義的情況下才可以通過辦理手續查閱自己的試卷。

3）教師持續改進。考試結束后，教師通過每一小題的難度統計，難度系數小于0.5 意味著有一半人出錯。教師通過查看這些題診斷出問題所在，在下一輪教學設計中針對存在的問題進行教學設計和教學方法上的調整，形成持續改進機制。在本次結果性評價數據中發現，難度系數小于0.5 的題目，都是需要學生基于知識掌握的基礎上，進行思辨、判斷、評價的題。而這正是布魯姆認知目標層次中的高階認知。對于根據算法進行計算的題目，學生的得分率較高，說明學生在知識的理解和應用層次掌握較好。在下一輪教學過程中，要適當增加一些分組討論環節，學生在討論過程中可以給出自己的判斷和評價，教師加以引導，提高學生的思辨能力。

三 結束語

基于學習通平臺的考試功能和考試系統生成的數據，對數據進行清洗、轉換、集成、統計及分析之后，與傳統的基于紙質試卷的考試對比，在以下方面可以得到改進。

豐富的考試數據。通過教學平臺進行的考試，從試題庫的建設與管理、組卷、考試、監考和批閱等各個環節都能采集到考試數據，為結果性評價的改進提供了數據支撐，評價結果更加真實客觀。

試卷的質量評價有數據依據。覆蓋率、難度、區分度、試卷題量飽滿度等指標的計算都有相應的數據支持，而且計算出來的指標可以用來綜合評價期末試卷的質量。與傳統的“命題（組）教師負責，教研室審核”相比較，得到的結果更加真實可信。

精準反饋、持續改進教與學。學生通過考試數據能夠了解自己本次考試主要是哪些知識點掌握不牢，及時進行反思和改進。教師通過試卷中普遍失分的知識點進行教學反思，回顧教學過程中該知識點講授過程中是否存在教學設計不夠科學，知識講授是否不夠透徹，在下一輪教學中進行改進。