省級考試機構專業化建設的思考

張 娟 趙州魁 吳 茳 王 同

一、研究背景及目的

2020 年10 月，中共中央、國務院印發了《深化新時代教育評價改革總體方案》[1]，這是指導深化新時代教育評價改革的綱領性文件。當前，各地各部門正在深入調查研究、完善職責清單、推進任務落實。作為專業的教育招生考試機構，如何進一步挖掘分析、整合賦能可信高效的考試招生數據，助推各地教育評價改革，是新時代國家賦予省級考試機構的重要職責，也是由經驗管理型機構向專業服務型機構轉型發展的必然選擇和重大機遇。

課題組在對全國教育考試機構及天津本市區/校進行調查研究的基礎上，梳理總結全國省級考試招生機構在考試招生數據分析評價方面的經驗做法，對標新時代教育評價改革要求，結合調研收集到的區域教育行政部門、中學校長、中學教師、教研人員、有關專家的需求和意見，以促進教學持續改進和學生全面發展為目標，總結梳理教育評價發展存在的問題，提出未來的探索方案和發展路徑，以期進一步優化區域教育教學評價體系，促進學生全面發展，助力教師專業成長，服務學校教學改進和區域教育決策。

二、全國省級教育考試機構教育教學評價現狀調研

為學習先進評價經驗，拓展教育教學評價思路，本研究基于不同維度設計了《關于使用考試招生數據開展評價工作情況》的調查問卷，面向全國省級教育考試機構（以下稱省級考試機構）開展了以問卷調查為主、以文獻調查和電話訪談方式為輔的全國省級考試機構教育教學評價工作調研。

（一）評價工作開展概況

1．開展省份

此次調研對象為除港澳臺外的31 家省級考試機構。除3 家省級考試機構未取得聯系外，共有28家作答問卷，作答率90.3%。經過梳理，如圖1 所示，目前共有16 家（51.61%）省級考試機構已經開展教育教學評價工作，4 家（12.9%）省級考試機構計劃開展，其余8家（25.81%）省級考試機構暫未開展。

圖1 評價工作開展情況

2．組織形式

已開展教育教學評價工作的16 家省級考試機構中，3家省級考試機構將評價工作作為業務處室的一個工作環節分散在相關部門，如中招辦、中考處、命題辦等。其余13 家教育教學評價工作主要與科研（雜志）、信息科技或命題工作相結合，組成專門業務處室開展評價業務（圖2）。

圖2 評價工作開展部門

3．思路和領域

權威、詳實的考試招生數據，始終是省級考試機構開展評價工作的最大優勢。在評價工作開展思路方面，16 家省級考試機構均利用本單位考試招生數據資源優勢，開展數據統計分析服務。通過圖3 可以看出，在開展數據統計分析服務時，各省級考試機構評價業務主要集中在高考評價、中考評價、高中學業評價、試卷評析等方面。

圖3 基于數據資源優勢的評價業務開展情況

值得關注的是，浙江省考試院已使用體質健康數據并形成報告；河北省考試院已開發了考試過程評價分析系統并投入使用。安徽省招考院利用本單位平臺優勢，參與了安徽省省級教育評估和監測項目，重點開展了高中教學質量監測項目的命題和數據統計分析報告撰寫工作。北京考試院、天津招考院和河北省考試院利用單位平臺優勢，自主研發并開展了教育評估和監測項目：北京考試院使用高考、中考、學業水平考試全樣本數據，分析命題質量、教學質量和學業水平[2]；天津招考院利用平臺優勢開展了初中生入學水平基線測試項目和普通中小學辦學質量綠色評價項目；河北省考試院自主研發了河北省教育評價項目，并正在進行小范圍實驗。

如圖4 所示，在評價業務開展領域方面，16 家省級考試機構中有15 家評價主要涉及基礎教育，湖北省考試院的教育教學評價工作涉及高等教育，浙江省考試院的評價領域同時涉及基礎教育和高等教育。

圖4 評價工作涉及領域

4．評價工作數據使用和服務對象

如圖5 所示，在利用數據資源優勢開展數據統計分析服務方面，有15 家省級考試機構使用了考試成績和體質健康數據，10 家使用了報名數據，另有6家使用了錄取數據。此外，天津招考院和河北省考試院自主研發并開展教育評估與監測項目時，使用了“區域或學校考試數據”。

圖5 評價業務數據使用情況

如表1 所示，從服務對象和目的統計，省級考試機構的教育教學評價工作可以分為：服務于教育行政部門以供決策；服務于招考、教研機構以供區域教情和學情分析；服務于學校以供教學質量分析；同時也會對內服務于本單位命題部門，提供命題質量分析。

表1 評價工作服務對象

3．“四個評價”開展情況

《深化新時代教育評價改革總體方案》提出，評價要堅持科學有效，改進結果評價，強化過程評價，探索增值評價，健全綜合評價，充分利用信息技術，提高教育評價的科學性、專業性、客觀性[1]。如圖6所示，開展教育教學評價工作的16 家省級考試機構中，有14 家已開展結果評價，3 家開始探索增值評價，3家探索過程評價，2家探索綜合評價。

圖6 “四個評價”開展情況

（二）評價工作開展的支撐條件和制約因素

1．支撐條件

在分析評價工作開展的支撐條件時，通過圖7可以看出，所有省級考試機構均將“數據信度效度高”作為開展評價工作的支撐條件。另外，有5 家將“評價團隊成熟”“評價項目成熟”和“評價信息系統已完善”、各有1 家將“合作良好的第三方機構”“教育評價結果認可度高”作為開展評價工作的支撐條件。江蘇省考試院[3]選擇“其他”選項，將“建立了健全的評價體制機制”作為支撐條件。

依據問卷作答情況將所有選項按重要性程度排序分析時，“數據信度效度高”“合作良好的第三方機構”“其他（建立了健全的評價體制機制）”重要性程度最高（圖7）。

圖7 教育教學評價工作開展的支撐條件

2．制約因素

在調查了解各省級考試機構評價業務開展的制約因素時，通過圖8 可以看出，11 家選擇“單位專業評價人員短缺”，10 家選擇“本地教育教學評價意識不強”，8 家選擇“本地評價教師團隊難搭建”，4 家選擇“評價項目推進工作易受政策影響”。

依據問卷作答情況將所有選項按重要性程度排序分析時，“單位專業評價人員短缺”、“本地教育教學評價意識不強”、“評價項目推進工作易受政策影響”重要性程度排位最高（圖8）。

圖8 教育教學評價工作開展的制約因素

（三）專業化招考機構建設的思路與行動

省級考試機構作為教育評價改革的重要參與者，既要積極貫徹落實新時代教育評價改革方案，也應借勢深入探索考試機構從經驗管理型機構向專業服務型機構轉型的路徑。

1．擬探索的教育教學評價項目和期待

通過調研分析，從圖9 可以看出，“十四五”期間擬探索的教育教學評價項目中，各省級考試機構均提出，要以《深化新時代教育評價改革總體方案》為依據，將過程評價、增值評價和深度挖掘考試數據信息、充分利用數據探索學生知識掌握水平和學習能力作為突破口。

圖9 教育教學評價擬探索項目

分析對教育教學評價工作發展的期待時，從圖10可以看出，在現有教育教學評價業務發展條件下，各省級考試機構均希望有更科學的教育教學評價和數據分析方法來優化和發展現有的評價項目，從真正意義上改進結果評價；也期待教育教學評價工作能獲得更多重視，以促進評價工作的長期有序發展；同時也建議，積極加強省際評價業務交流，聯合探索研究基于考試招生數據資源的考試評價機制，為教育教學評價工作的高質量發展奠定基礎。

圖10 對教育教學評價發展的期待

2．專業化轉型的思路

教育教學評價是省級考試機構推進專業化轉型的重要內容之一，在分析各省級考試機構教育教學評價專業化轉型思路時，從圖11可以看出，為實現專業化轉型與發展，各省級考試機構重點將構建專業化評價隊伍、豐富考試數據分析方法，以及加強考試評價的信息化建設、加大與專業團隊合作、加強單位科研投入、提升自身專業水平作為支撐和發力點。

圖11 各單位評價工作專業化建設思路

三、區域教育教學評價發展存在的問題分析

通過調研分析天津招考院[4]及全國其他省級考試機構的評價業務開展情況和發展現狀，對標新時代教育教學評價工作的新要求，總結梳理出省級考試機構開展教育教學評價工作中存在的主要問題。

（一）教育考試招生數據挖掘不充分

省級考試機構是負責全省（直轄市、自治區）教育考試招生工作的專業機構，其核心業務為命制考試試題、組織實施考試、管理監督招生錄取以及全流程數據的采集、校驗、審核、使用和存儲，并結合招考業務和數據資源開展教育教學評價工作。

各省級考試機構在命題、報名、體檢、組考、評卷錄取過程中，有海量的數據積累，且大規模、專業化的組織使得各環節數據都具有信/效度好、權威性高的優勢。但在目前的教育教學評價工作中，大部分省級考試機構仍以使用直接可獲取的成績數據為主，對于命題試卷結構信息數據、考試報名數據、體檢數據、錄取數據的使用并不充分[5]。拓展數據使用維度是推進教育教學評價工作的基礎，因此，在教育教學評價業務發展中，不應囿于使用考試數據的評價，應充分考慮并使用多維度的權威招考數據，如圖12所示，綜合命題數據、報名數據、體檢數據、錄取數據，全方位分析某地區、某學校或某位學生的發展現狀和成長路徑，挖掘數據使用和教育教學評價深度，真正喚醒沉睡的數據，充分發揮數據優勢和平臺優勢，讓數盡其用。

圖12 挖掘數據內涵

（二）教育教學評價方法創新不足

統計學一般分為描述性統計和推斷性統計兩種。教育教學評價數據主要使用描述統計分析方法，以均值、方差、標準差、得分率、難度系數、離散系數、百分數等數值表述及表格圖、柱狀圖、條形圖、箱型圖、雷達圖等圖表描述為主。考試數據的描述統計不僅可以直觀地描述題目的得分情況、題目難度、考生分布及學生學習情況，而且便于教育行政部門、教研機構及教師學生的理解，這在一定程度上促進了教育評價理念的普及。隨著當前已有的教育評價方法逐漸成熟固化，教育評價工作者應積極創新教育評價方法，借助經驗優勢和統計分析理念，拓寬教育教學評價思路。從現有工作實際出發，較為現實的路徑有：創新使用基本評價指標，如運用比例值、差值或臨界值，將以描述統計為主的教育教學評價做深做細；構建推斷統計分析方法，深度應用統計分析工具并結合教育發展實際，融合應用于教育教學評價工作中；結合大數據時代發展特點，充分使用數據挖掘和機器學習方法，探索符合時代發展的教育評價工具。

另外，在增值評價方面，目前已有3 家省級考試機構開展增值評價的探索。現有增值評價理論研究和應用模型眾多，隨著研究的深入和實踐的推進，增值評價方法將會越來越科學、適切[6]。因此，在增值評價方法較為成熟的項目，應積極探索使用更科學適用的增值評價模型。有意向開展增值評價研究與實踐的區域，可以嘗試使用適合當地教育特點的增值評價方法[6-7]。

（三）教育教學評價維度有待拓展

通過調研分析可以看出，多數省級考試機構現有的教育教學評價業務仍以學業評價為主，即主要關注通過考試數據獲取的學生學習水平、教師教學能力和學校教育質量等情況。學業評價具備客觀公平性，但在一定程度上呈現“唯結果”“唯分數”的弊端，這也是新時代教育評價改革亟待解決的重點問題。因此，省級考試機構在未來評價項目研發中，應積極拓展教育教學評價維度。如優化評價維度時，設計非學業維度并將其納入評價指標體系。非學業維度的測評對象不應局限于學生方面，還應包括教師、校長、家長等相關群體，更多地采集分析學校所屬區域、學校硬件軟件、班級情況及學生家庭情況等多維度信息。

在評價領域方面，通過深入調研了解，多數省級考試機構在開展的評價業務中，主要涉及基礎教育，對高等教育、職業教育、幼兒教育等領域涉及較少。同時，在基礎教育評價領域中，主要以初中、高中兩個教育階段為主，對小學教育的評價較少。因此，開展多領域的教育教學評價，也是未來教育教學評價發展的現實路徑之一。

（四）基層教育教學評價意識薄弱

通過調研分析發現，基層教育教學評價意識薄弱是制約省級考試機構教育教學評價業務發展的主要原因之一。教育教學評價業務服務于行政決策部門、教研部門和教學部門，其最主要的功能是改進教學。但在實際教育教學中，長期以來形成的“以結果論英雄”“唯分數”的痼疾并未徹底改變，多數學校仍以提高學生學習成績、提升學校升學率、擴大學校知名度和影響力為目標，以考試來抓薄弱知識點、測驗判別掌握度的“考試教育”為主，這在一定程度上制約了科學的、先進的教育教學評價理念的形成。此外，評價離不開專業分析，教育教學評價主要以教育測量理論和教育統計學為理論依據，具備客觀評價教育質量的特點，但是其涉及的理論知識和統計思路在理解上有一定難度，如什么是經典測量理論，什么是項目反應理論，什么是信度、效度、區分度，什么是等值，為何做等值，等等。對教育教學評價學理基礎和模型方法的了解，需要一定知識儲備。但在實際教育教學中，多數教師專注于自身學科，將更多的時間精力投入到學科教學和課業日常管理中，學習評價理論知識的時間偏少、動力不足，這也是制約教育教學評價意識提升的另一主要原因。

（五）教育教學評價項目較為單一

隨著各方面對教育教學評價工作重視程度的提升，以《深化新時代教育評價改革總體方案》中“四個評價”為主的教育教學評價項目將逐步深化開展。但從調研中可以看出，除少數省級考試機構開始探索增值評價、過程評價和綜合評價的項目外，多數仍以結果評價為主。在新時代教育評價改革的指引下，教育領域專家學者正在逐步開展理論探究與方法探索同步進行的教育教學評價探索，著力引入創新型教育教學評價工具，更好落實“四個評價”目標要求，開發或優化教育教學評價項目，更加全面、科學地指導教育和教學。尤其重點以落實“四個評價”為抓手，以一線教師教學需求為導向，著力開展增值評價方法適應性研究、過程評價的著力點驗證以及綜合性評價的評價維度拓展，以期更加科學地開展教育教學評價，更加完整、準確、全面地貫徹落實好黨的教育方針。

（六）教育教學評價機制不健全

健全的機制是工作開展的基石。通過調研發現，多數省級考試機構的教育教學評價機制不健全。專業評價人才短缺、本地教育評價教師團隊難以搭建，是制約教育教學評價工作開展的“老大難”問題；各地區和各學校教育教學評價多以地方教育財政購買服務的方式開展，地方財政的寬裕程度是影響教育評價工作順利開展的重要因素；隨著評價意識的不斷提升和評價項目的逐漸普及，為使成熟的評價項目快速適用于有同類需求的區域或學校，研發搭建安全高效的評價信息系統，也是教育教學評價工作廣泛深入開展需要重點解決的問題。《深化新時代教育評價改革總體方案》提出“構建政府、學校、社會等多元參與的評價體系，建立健全教育督導部門統一負責的教育評估監測機制，發揮專業機構和社會組織作用”[1]，區域教育行政部門和學校與第三方教育評價機構開展合作，可以大力推進評價專業化發展，保障教育教學評價工作效果。但目前能夠穩定合作、適配度較高的第三方機構較少，教育教學評價專業化發展緩慢。綜上，健全以專業人才隊伍建設、財政政策支持、高效信息系統搭建和第三方合作模式構建為主要內容的教育教學評價機制，是省級考試機構評價專業化轉型與發展亟需解決的重要課題。

四、新時代區域教育教學評價發展路徑探索

（一）深挖招考各環節數據新價值

從學術定義上說，教育教學評價是對評價對象進行全過程、全方位的信息采集，而后經過科學分析產生的價值判斷。因此，教育教學評價是一個過程，一方面要盡可能搜集全部信息，另一方面要對全部信息進行分析后作出科學的價值判斷。省級考試機構在推進教育教學評價工作過程中，要始終堅持全面育人理念，盡可能搜集并深入挖掘使用考試招生各環節數據，著力推進評價的綜合性、有效性。省級考試機構應明晰并發揮自身數據優勢，建立數據標準，充分整合、關聯現有數據資源，形成數據倉庫，在保證數據安全使用的前提下最大程度挖掘考生信息、學業信息、教學信息的新價值[8-9]。如使用考試報名數據，對各區、各校學生的報考基本情況進行整理分析，對比往年報名數據以了解區域、學校考生基本變化情況，對比區域間、學校間變化以了解學生流動情況，為后續管理和精準服務做好更為充分的準備；利用考試數據、志愿數據、錄取數據分析各區域教學情況和志愿偏好、專業偏好，試點開展高中學生興趣特長量表測試，分析異常數據，深入了解深層次原因，基于實際案例建立志愿填報分析及預警模型，為學生科學合理規劃生涯、選課走班、填報志愿提供更為精準的服務指導；分析學生體測數據和體質健康監測數據，分區域、分性別、分城鄉數據化了解學生營養狀況、身體發育、視力、血壓、心率等情況，為區域學生身體健康發展提供更為精確的服務反饋；綜合使用考試命題知識點細目表，優化考試成績數據報告，整合報名數據、考試數據、錄取數據建立分析模型，分析學生個性化成長路徑，為學生全面多元成長提供更為科學的參考。

（二）探索教育教學評價新方法

學界認為，教育教學評價從20 世紀初至今，經歷了從第一代到第四代的發展，從分數定位、目標中心、為了改進到為了發展，教育教學評價理念持續更新、模型不斷優化。省級考試機構在開展教育教學評價工作中，也應不斷更新理念、優化模型，積極探索教育教學評價的新方法，更好滿足新時代教育評價工作的新要求。可通過以下路徑實現：

1. 文獻中探索。論文文獻是先進理念和技術方法呈現的主陣地，教育教學評價人員應經常性閱讀相關科研文獻和研究雜志期刊，吸收新知識新理念，嘗試新方法并付諸實踐。

2. 實踐中嘗試。在設計優化現有評價項目時，不僅要堅持測量的科學性，也要堅持目標導向、問題導向、需求導向，綜合吸收實踐調研中的教師需求和教學需求，加強評價方法的可理解性和參考性，不斷在小范圍嘗試更新現有評價方法。

3. 同行中學習。在學習借鑒各省級考試機構的教育教學評價方法、加強省際業務交流的同時，擴大學習范圍，學習同行教育教學評價項目和方法[10-11]。如教育部基礎教育質量監測項目、上海教研初中生綠色指標綜合評價項目、黑龍江教育發展評估院增值評價項目、蘇州市義務教育學業質量監測項目、石家莊市教育科學研究所義務教育階段教育質量監測項目、重慶考試院教育質量監測信息技術等。

4. 新技術接軌。充分利用大數據、區塊鏈、云計算等新的信息技術，推進教育教學評價的科學性、有效性和便捷性。如優化回歸建模方法，建立成績數據分析模型；使用關聯規則方法，建立學業壓力預警模型；使用分類建模方法，建立高中生學業預警模型等。

（三）拓展教育教學評價新維度

從系統論的觀點看，教育教學評價實質上是通過對評價對象各個部分、不同維度的考量分析，從總體上作出綜合價值判斷的過程。因此，教育教學評價應順應新時代新發展，不斷拓展新維度，這也是省級考試機構專業化轉型和發展的必然選擇。例如，天津市招考院目前開展的普通中小學辦學質量綠色評價項目，基于政策要求和區域需求，已進行了多對象多維度的探索與實踐。同時，立足未來發展，還需在幾個方面進一步拓展教育教學的新維度：

1. 優化問卷測量內容。現有問卷已包含德育、智育、美育、體育、勞動教育等維度的測量，深入分析評價時，可以看出調查的內容主要以想法、意識為主，具體到該不該做、能不能做、會不會做、具體如何做、如何做好等操作步驟時，卻無法有效測量。因此，在優化問卷時，應優化提問方法和提問角度，盡可能了解學生立體的五育觀念。

2. 探索指標的量化性。在評價報告呈現時，多以雷達圖或分維度分析方法呈現報告結果，需進一步設計權重賦值或因子降維等方法，將各維度測量結果整合建立綜合指標，將分維度結果量化，實現測量指標的橫縱向可比。

3. 探索非紙筆測量評價。除使用問卷來測量非智育問題外，可研發信息系統，建立評卷式評價模式，如體育動作、勞動步驟、繪畫作品的評卷打分評價，探索非紙筆測量新模式。

4. 拓展評價領域。依據《深化新時代教育評價改革總體方案》要求，適時拓展評價領域，積極參與職業教育評價、高等教育評價等。

（四）普及教育教學評價新理念

教育教學評價具有導向、鑒定、診斷、改進等功能，但這些功能能否得到充分有效實現，很大程度上取決于基層一線校長、教師對評價理念的理解和對評價方法的掌握。省級考試機構在推進優化評價項目的同時，應進一步普及教育教學評價最新理念，講授有效的評價方法，暢通評價路徑，提升評價效果。一是積極傳播理念和方法。在深入調查研究、了解教育教學需求的基礎上，充分利用現有評價項目結果反饋等時機，以通俗易懂的語言，適時適度開展評價理念、方法培訓，做好對評價指標和數據的解釋，逐步讓一線校長、教師認識到評價有用、可用、能用。二是借助平臺加大宣傳。省級考試機構可借助官網官微平臺，以及報紙、雜志版面，建立“教育評價與測量”板塊，加大評價測量知識、統計分析方法的傳播力度，做好評價理念和評價知識的普及。

（五）優化開展教育教學評價新項目

為貫徹落實好新時代教育評價改革，進一步滿足區域教育教學評價需求，省級考試機構應以政策要求為導向、以區域需求為依托，優化開展增值評價、過程評價、綜合評價等新項目。優化開展增值評價方面，除用簡單減法模型外，可以嘗試使用分位數回歸模型、學生成長百分位模型等，既要科學驗證增值模型的適配度、合理性，也要增強評價方法的可解釋性。優化開展過程評價方面，應以學習先進評價方法為主，如河北省考試院等單位已建成投入使用過程評價分析系統，努力實現過程評價的新突破。優化開展綜合評價方面，應深入學習并貫徹落實黨的教育方針和系列文件，以政策為依據，構建科學評價指標體系，探索使用科學的綜合評價方法。

（六）健全教育教學評價新機制

堅持問題導向，逐步破除機制障礙，探索建立相對穩定的評價項目從開發到實施的運轉機制，積極發揮導向、鑒定、診斷和改進作用，著力為政府決策、區域教研、學校教學和學生學習提供高質量服務，應是專業化轉型中的省級考試機構“十四五”期間著力解決好的重大課題。針對專業教育評價團隊難以搭建的問題，以本地教育資源為依托，強化與各區教育行政部門、教研部門和優秀一線教師合作，建立“評價+科研+課題”的長期合作模式，推動評價項目開展的同時，也助力教師團隊專業成長和評價知識的普及；發揮本地高校資源優勢，加強與高校教育學院、心理學院、數學統計學院、計算機學院等部門合作，為相關專業學生搭建實習平臺，助推評價項目更高質量開展；同時，加大相關專業人才的招聘或調入力度，充實專職的評價專業力量，為評價業務可持續發展奠定專業的人力資源基礎。

同時，省級考試機構要加強統籌協調，積極主動溝通，逐步建立健全政府主導、區校合作、專家支撐、學業與非學業評價相結合的教育教學評價服務體系，以科學評價和優質服務形成較為穩定的長期合作模式，以解決財政支撐不穩定的問題。

在教育教學評價信息化建設方面，省級考試機構應堅持需求導向、量力而為，推進信息技術與評價業務深度融合，著力打造信息技術多維支持體系，以云網融合、智能便捷、綠色低碳、安全可控為目標，完善考試招生數據中心建設，統一數據標準，實現數據跨業務、跨層級互聯互通，打造適應各類教育教學評價開展的綜合管理服務平臺，豐富服務接口和方式，提高評價服務能力，構建如圖13 所示的穩健的教育教學評價機制。

圖13 教育教學評價機制優化路徑