基于多維評價模型的考試評價系統設計

萬丹 汪潔

摘要：文章基于高中學業水平考試的歷次考試數據，通過對各學科評價維度和指標相關數據的科學分析，構建了一個基于多維評價模型的考試評價系統，詳細闡述了系統的總體架構、各個模塊以及它們所具備的功能，并對系統未來的發展方向進行了展望。

關鍵詞：高中學業水平考試；考試評價系統；多維評價模型

中圖分類號：G434 文獻標識碼：A

文章編號：1009-3044（2024）10-0061-03

《深化新時代教育評價改革總體方案》明確指出，要堅持科學有效，改進結果評價，強化過程評價，探索增值評價，健全綜合評價，充分利用信息技術，提高教育評價的科學性、專業性、客觀性。因此，對考試進行科學全面的評價是非常重要的[1]。當前的考試評價系統主要從單一的成績難易度或成績分布等角度對考試進行評價，缺乏對考試的多維評價分析[2]。上海市教育考試院自2016年起開始進行對考試評價的分析研究，并不斷完善和優化考試評價方案?；诙嗄甑慕涷?，院方設計了基于多維評價模型的高學業水平考試評價系統，該系統包含以下4個維度的評價分析：1） 深入學科內在知識結構，根據命題開發維度進行評價分析；2） 對成績數據進行全面系統的評價分析；3） 結合試卷結構進行評價分析；4） 針對市、區、校、班、學生進行多層次的評價分析。通過考試評價系統對高中學業水平考試進行科學全面的評價，可以保證考試能夠更科學有效地評估教師和學生，并為提高教學質量、了解學生學習情況等提供科學的參考依據。

1 系統總體架構

為了準確評估各學校和學科的教學質量狀況，研究通過考試評價系統對歷年的考試數據進行綜合匯總、分析和監測。評價系統的設計以學科為基礎，利用上海市教育考試院對高中學業水平考試各學科所設定的評價維度和指標對應的相關數據進行科學分析，以評價個人、班級、學校、區域和全市的教學質量狀況[3]。考試評價系統的總體架構由4個層次組成，包括基礎設施層、數據資源層、應用支持層和門戶層。在這個架構下，系統遵循標準規范體系，并在信息安全體系的保護下實現協同運行，詳見圖1。

1） 基礎設施層主要建立評價系統的網絡環境和運行環境。通過服務管理系統、安全系統、網絡系統、存儲系統等硬件設備的支持，為評價系統提供安全保障、網絡聯通、服務運行和數據存儲等基礎設施支持。

2） 數據資源層負責采集和存儲本系統中的數據信息，如考生信息、教師信息、單位信息、試卷信息和成績數據等。數據按照統一的接口規范進行匯總，并進行數據清洗，然后按照存儲框架進行歸檔。最后，通過數據挖掘手段進行數據分析。

3） 應用支撐層提供一個開放的框架，具有良好的可擴展性，為應用系統提供數據交換功能。應用支撐層的設計和開發將遵循各類規范標準，以便在應用支撐層上快速、高效、穩定地構建系統。此外，應用支撐層還提供評價分析服務、學業報告發布服務以及豐富的圖表展示服務等，實施數據分析和數據挖掘的具體工作。

4） 系統門戶層主要提供統一的登錄入口、CA認證服務、用戶及權限管理、網站管理等功能。此外，門戶層還提供強交互的可視化評價結果、成績查詢和評價報告下載等功能，以便用戶能夠方便地訪問系統。

2 系統模塊及功能

考試評價系統由6個子系統組成，包括用戶權限管理子系統、數據歸檔管理子系統、評價分析子系統、數據發布子系統、日志管理子系統和數據查詢子系統[4]。這些子系統通過各自的功能和整體的協作，實現了評價分析系統中考試信息錄入、成績數據清洗與匯總、評價分析圖表生成、分析數據查詢和評價分析報告發布等完整的業務閉環。同時，系統還提供基于市、區、校、班級、學生等不同角色和權限的用戶管理和日志管理功能。所有子系統的數據表都集中在同一個數據庫中進行維護，各系統可以通過數據庫訪問進行數據交互。

2.1 用戶權限管理子系統

通過統一身份認證對接實現用戶的登錄和身份認證，為系統用戶提供統一認證和單點登錄的無縫訪問模式。系統支持通過文件導入、在線錄入和接口調用等方式同步考試數據、考生名單數據和成績數據，實現與現有平臺的對接。角色權限模塊支持對用戶角色配置管理、操作權限配置管理和功能菜單管理等。數據字典模塊包括對系統中各指標的配置和維護，例如能力目標管理、知識內容管理和題型管理等。在考慮到評價維度和評價標準的發展和改進的前提下，靈活的評價指標配置功能是應對標準和業務變化的前提。

2.2 數據歸檔管理子系統

該子系統以大數據為核心建設內容，實現了考試數據的統一存儲和管理。它建立了統一的數據采集標準和存儲模塊，并為評價分析和數據服務提供上行數據服務。這使得各平臺的數據可以按照統一的形式進行組織，不同來源的數據就可以融合互通。系統采用基于HTTPS的加密數據傳輸協議，確保系統的安全性和保密性。在密碼傳輸和數據傳輸過程中，增加了加密環節，保證數據無法被惡意侵入和破解。

2.3 評價分析子系統

評價分析子系統基于考試數據設計了豐富、詳細的統計報表。報表采用統計表和多種形式的統計圖表等直觀方式展現，幫助用戶對群體和個體的學科質量進行專項及歷史跟蹤，并提供參考數據以研究群體和個體的發展情況。主要功能包括成績數據挖掘和多維評價模型設計、個性化評價指標配置、評價分析算法構建等[5]。

2.4 數據發布子系統

數據發布子系統將評價分析子系統的分析模型數據通過豐富多樣的圖表展示形式發布，生成高質量的評價報告供外部查看。評價報告可以按市、區、校、班、學生形成多級報告，在符合用戶權限規則的前提下進行查看。報告內容包括高中學業水平考試各科目的參考統計、成績統計、成績段分布情況，以及知識內容和能力目標的得分率情況，并提供市或區的平均參考值。這些報告可供學科老師、學校和管理機構進行自我評價。此外，對于學生個體，還提供評價維度和指標上的分析總結報告，客觀地反映學科學業情況，幫助學生了解個人的優勢和不足，以便進行有針對性的學習和提高。

數據發布子系統具備圖形化的報表設計能力，并可以在PC、平板、手機、大屏等多種終端設備上自適應展示。系統支持多種圖表組件庫，包括柱形圖、折線圖、餅圖、面積圖、散點圖、氣泡圖、雷達圖、甘特圖、環形圖等。系統還支持決策報表設計功能，采用組件化操作理念，根據不同層級和角色的管理人員需求設計不同數據粒度的儀表盤展示，包括領導層面關心的宏觀數據和業務操作人員關心的關鍵指標和明細數據等。系統生成的各類評價報告具有較強的可讀性，圖表豐富，并且界面美觀。

2.5 日志管理子系統

日志管理子系統包括系統日志管理、用戶操作行為日志和發布系統用戶訪問統計。它可以查詢數據操作的日志軌跡，并通過日志軌跡進行數據監管，以滿足后期的追溯和審查需求。系統會生成系統日志來記錄數據獲取、產生和變化的過程，并長期保存。對于用戶在線操作的行為，也會進行詳細記錄，包括用戶、時間、操作行為和操作內容等信息。

2.6 數據查詢子系統

基于已發布的業務數據，該系統提供統一的數據查詢服務。它支持各級各類用戶（如主管部門、學校、教師、學生）進行評價報告單的查詢和打印等功能。同時，系統提供面向第三方應用的數據對接服務，并可以配置數據導出字段，支持多種數據格式的導出，如報名數據、成績數據和分析數據等。

3 多維評價模型

評價分析子系統利用大數據存儲與分析技術，建立起系統科學且高性能的評價分析體系。通過深入的數據挖掘和多角度多方面的數據分析，該系統能夠根據考試數據生成多維度的統計分析結果[6]。

3.1 基于知識內容和能力目標的評價分析

基于課程標準的教學目標，評價分析子系統以知識內容和能力目標為基礎進行評價分析。每個科目根據課程標準確定了2～5個知識內容或能力目標。

1） 以知識內容的不同知識點為線索，歸納出相應的考試題目。通過評價系統的數據統計分析，評價分析子系統能夠分析學生對知識內容各個知識點的掌握情況，同時對市、區、校、班級等不同層級的知識內容得分率進行總體分析和對比分析。

2） 以能力目標的不同能力組塊為線索，歸納出相應的試題。通過數據統計分析，評價分析子系統能夠評估學生在各個能力目標上的達成情況，同時對市、區、校、班級等不同層級的能力目標得分率進行總體分析和對比分析。

基于評價系統對知識內容和能力目標的分析，可以直觀地了解科目的知識內容和能力目標的達成情況。通過命題開發維度的評價結果，可以提供指導性建議，改進教學和評價各個知識內容和能力目標考察的平衡性和針對性。

3.2 總體考情評價分析

考情分析是對不同科目、不同區域和學校的考試成績進行全面的統計分析，能夠較好地反映各區域和學校的教學質量和學習水平情況。該分析可包括以下幾個方面：總體分析、區域成績對比分析、分數段統計、等級段統計、成績形態分布和科目均分排名等。主要指標包括考試人數、最高分、最低分、平均分、標準差、區分度、合格率、優秀率、各分數段人數及占比、各等級段人數及占比、眾數、中位數、超均率、峰度、偏度和四分位數等。

通過總體考情評價分析，可以準確了解各科目的教學情況和學生的掌握情況。這為各類教研活動提供了科學的依據，滿足了用戶在教學質量監控和教學研究等方面的需求，為改進教學、進一步提高教學質量提供了基礎。

3.3 基于試卷結構的評價分析

基于試卷結構的評價分析需要導入各科目試卷的每個小題的題型、分值、參考答案、主觀題或客觀題、能力目標、知識內容等數據。評價系統結合成績數據和試卷結構數據進行以下幾個方面的分析：

1） 小題分析：評價分析子系統對各個小題的得分率、滿分人數、滿分比例、失分人數、失分比例、難度和區分度指標進行分析和評價。

2） 題型分析：針對不同題型的覆蓋題量、覆蓋分數、得分率、滿分人數、滿分比例、失分人數、失分比例進行分析。

3） 全卷分析：評價分析子系統針對各科目的滿分、平均分、試題難度比例、信度、效度、區分度和區分度比例進行分析。

4） 卷面作答分析：評價分析子系統對每個選擇題不同答案的選擇人數及比例進行統計分析。

評價結果可以幫助教師調整教學方案和試題，幫助學生了解自己對知識的整體掌握情況，從而更好地進行教和學的活動。

3.4 多級評價分析

基于以上的評價分析內容，系統可提供面向市、區、校、班級的多級評價報告。報告內容包括各科目學業水平的參考統計、成績統計、成績分布情況統計、知識內容得分率統計和能力目標得分率統計等。同時，系統還提供了全市或各區的平均參考值，供學科老師、學校和區教育局進行自我評價。

此外，針對學生個體，系統提供了評價維度和指標的分析總結報告，客觀地反映學科學業情況，幫助學生了解個人的優勢和不足，以便進行有針對性的學習和提高。

4 總結與展望

考試評價系統基于四層架構和六個子系統的設計，實現了對考試數據的信息化統計分析。通過采集、存儲和關聯分析考試數據，該系統發掘和利用了數據資源的潛在價值，并為主管部門、學校、教師和學生提供了多級考試評價分析報告。系統基于多維評價模型，主要對考試、考生和教育教學三個方面進行評價。豐富的分析模型、評價指標和可視化呈現使考試評價系統更加全面、科學和客觀，為其廣泛應用奠定了堅實基礎。

基于系統的數據模型和可擴展特性，可以在后續的系統迭代或與其他系統的接口中不斷豐富新的算法模型、數據標準和評價分析方法。同時，要繼續探索和實踐以“四個評價”、服務“五類主體”為基礎的工作。在考試評價系統的基礎上，建立起“評價—反饋—改進”的良性循環機制，及時準確地向各類主體反饋評價結果，并幫助他們正確理解和使用評價結果。要以持續改進為核心，通過評價結果的反饋促進考試質量的提升，促進考生個性化發展，促進教育教學的精確改進，最終實現立德樹人的根本任務，培養德智體美勞全面發展的社會主義建設者和接班人[7]。

參考文獻：

[1] 關丹丹.深化教育考試評價改革推進中國式考試現代化[J].中國考試，2023（1）：15-20.

[2] 羅文，易子欽.基于經典測量理論的考試評價研究與信息系統構建[J].信息與電腦（理論版），2018（13）：82-83.

[3] 張琳，吳軍.數據庫原理及應用課程考核評價方式探討[J].電腦知識與技術，2022，18（13）：141-143.

[4] 王瀟磊.高職院校教務管理系統的設計[J].電腦迷，2017（9）：49-50.

[5] 陳小姣，曾彩霞.無紙化考試系統質量評價體系的構建與應用[J].湖南郵電職業技術學院學報，2022，21（3）：103-105，116.

[6] 魏勍颋，鄒宏，左有遊.基于HMM模型的網絡課程學習過程多維評價研究[J].軟件導刊，2020，19（5）：247-251.

[7] 鄭新俊，田國良，黃飛虎.基于Data Fabric的多模數據管理方法[J].華東師范大學學報（自然科學版），2023（5）：164-181.

【通聯編輯：張薇】