能力精準測評何以可為？

摘要：精準把握能力現狀是高質高效進行能力培養和發展的前提，隨著測評理念的悄然變化和信息技術的不斷發展，精準測評逐漸成為教育測量與評價領域的重要發展趨勢。尤其在教師能力測評領域，迫切需要探索出一條精準測評的可行路徑，以破解傳統測評中的數據淺表化、內容粗放化等現實問題。為此，文章首先構建了包含測評目標確立、測評模型構建、測評數據分析和測評結果應用四個階段的研訓者數據領導力精準測評實施框架，并在中小學教師研訓者數據領導力的大規模測評實踐中驗證了該框架的可行性和有效性。然后，文章通過綜合運用經典測驗理論和認知診斷理論，從整體把握和個體分析兩個層面對研訓者數據領導力的能力水平與知識狀態進行評估診斷，并設計了個性化診斷報告，成功實現了兼具群體共性與個體特性的精準診斷和個性反饋。文章通過研究，旨在為能力精準測評提供理論指導和可行路徑，進而推動能力培養走向精準化、個性化。

關鍵詞：精準測評；認知診斷評估；研訓者；數據領導力

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2024）08—0112—11 【DOI】10.3969/j.issn.1009-8097.2024.08.012

引言

2020年，中共中央、國務院印發的《深化新時代教育評價改革總體方案》明確提出“完善評價結果運用，綜合發揮導向、鑒定、診斷、調控和改進作用”[1]，將教育評價的診斷與反饋功能擺在了重要位置，從政策層面進一步推動評價向個性化、精細化方向發展。可以說，不論是學生評價還是教師評價，現在都迫切需要借助科學規范的教育測量理論和方法，探尋兼具宏觀能力水平評估和微觀內部心理加工過程診斷的能力測評實現路徑[2]。尤其在教師能力測評領域，數據淺表化、內容粗放化等問題依然存在[3]，傳統測評方式通常只能報告教師在能力測驗或評價量表中的總分（或總體能力值），無法獲得關于能力優勢與不足的具體診斷信息，這使評價對教師專業發展的指導功能非常有限。

新一代測量理論的發展為教師能力精準測評的實現帶來了新的契機。認知診斷理論作為新一代測量理論的核心代表，能夠支持測評由籠統的測驗分數評判轉向精準的個性化診斷，有效揭示被試的認知結構和認知水平[4]，為進一步的改進與發展提供豐富、精準且有效的信息。基于此，本研究將認知診斷理論引入教師能力測評領域，構建了能力精準測評的系統實施框架。此外，數據領導力是數字時代的新型領導能力，研訓者作為教師的教師，其數據領導力水平關乎數據驅動教育教學改進和教師專業發展的成效，但目前尚未有針對這一能力的精準測評實踐研究。本研究將所構建的精準測評實施框架應用于研訓者數據領導力測評實踐中，旨在從實證視角驗證該框架在教師專業發展領域的有效性和可行性，為能力精準測評提供理論指導和可行路徑，同時也有助于充分揭示我國研訓者數據領導力的發展現狀、特征與問題。

一 理論基礎

1 精準測評

精準測評是技術賦能下的一種測評新形態[5]，與傳統測評相比，強調測評的診斷與反饋功能，要更為直觀、精確地反映被試能力的優勢與不足，進而支持能力的針對性提高和發展。在教師專業發展領域，精準測評是指對教師教學的全過程進行數據采集與分析，依據教學目標明確教師教學工作中存在的問題，制定個性化的教學改進策略[6]。從現有研究與實踐來看，精準測評的實現一方面依賴于找到科學合理的能力測評手段，構建全面細致的測評理論模型，為后續診斷評估提供充分、精細的數據支持；另一方面也依賴于現代測量理論的發展，實現面向被試認知結構和認知過程的測量與評估。

2 認知診斷理論

認知診斷理論是結合認知心理學和現代測量學，以實現兼顧個體宏觀能力水平和微觀內部心理加工過程的評估目的，屬于認知水平的研究范式。不同于傳統測驗理論以測驗分數結果或被試的能力估計分數為關注焦點，基于認知診斷理論開展評估可以得到被試在各個測試知識點上的具體掌握情況，獲取被試的內部認知結構、知識狀態、認知加工過程等診斷信息，是傳統測驗理論的“升級換代”。

3 認知診斷評估

認知診斷評估（Cognitive Diagnosis Assessment，CDA）又稱認知診斷，是對被試認知結構和認知過程的診斷性評估[7]。認知診斷評估以認知診斷理論為理論基礎，以“把握狀況、診斷差異、分析原因、促進發展”為應用目的，可以反映測驗分數背后隱藏的被試內在認知結構和認知過程，有助于分析被試問題解決或任務完成與否的具體原因，揭示被試在多維、細粒度的認知屬性掌握方面的個體差異。同時，還可以根據認知模型中知識鏈間的關系進行學習軌跡分析，幫助被試找到更適合的學習路徑。憑借精準的評估性能，認知診斷已逐漸成為教育測量學、心理學、自適應評估等領域的研究熱點。

二 研訓者數據領導力精準測評實施框架構建

研訓者的數據領導力是指研訓者在數據情境中引導和影響教師使用數據賦能決策，以實現數據驅動教育教學改進和教師專業發展目標的能力。對研訓者數據領導力的精準測評是引領研訓者發展數據領導力的必要手段，對推進我國教育數字化轉型進程具有重要意義。為探尋能力精準測評的實現路徑，本研究以研訓者數據領導力為切入點，參考楊柳等[8]構建教育精準測評實施框架的關鍵環節，采用“結構驅動”（Construct-driven）的設計思想，設計了研訓者數據領導力精準測評實施框架，包含測評目標確立、測評模型構建、測評數據分析和測評結果應用四個部分。其中，“結構驅動”主要體現在以測評理論模型為指導，進行測評工具開發和測評數據分析、診斷與反饋工作。本研究通過項目設計控制測驗所表征的理論變量，一方面可以保證測評工具的科學性和有效性，另一方面可以支持對被試能力的精準評估與診斷。

1 測評目標確立

精準測評以支持能力改進與專業發展為目的，通過科學精準地定位優勢與不足，引導個體有目的地在實踐中加以改進，從而不斷提升其知識與能力水平。具體到研訓者數據領導力的測評，本研究確定了如下兩點測評目標，以指導后續測評實施：①以評促用，通過測評鼓勵研訓者將有關數據驅動決策的知識與技能應用于指導教師的過程中，同時促進教師基于數據改進教學實踐，繼而形成學校乃至區域的數據使用文化；②以評促改，依據測評結果精準識別研訓者在數據領導力方面存在的問題或劣勢，支持研訓者在實踐中進行針對性改進。

2 測評實施框架構建

測評實施框架不僅要充分揭示研究對象的要素構成及其內在關系，還應為科學評價與診斷提供有效信息。為此，本研究從測評框架和表現期望矩陣兩方面出發，構建研訓者數據領導力的測評實施框架。測評框架是對所考察內容要素進行的體系化整理[9]，在研訓者數據領導力測評中，測評實施框架就是對數據領導力及其考察要素進行清晰梳理，并對每個要素做出符合測評語境的內涵和外延界定。結合前期研究成果，本研究從能力、知識、情境三個維度構建了研訓者數據領導力測評實施框架的基本結構（如圖1所示），以支持在真實情境下有效測評研訓者的數據領導力水平。

測評實施框架為研訓者數據領導力的測評指明了方向，但尚不能回答“具備數據領導力的研訓者有哪些外在表現”這一關鍵問題。要指導后續測驗項目的設計，仍需進一步明確和厘清研訓者數據領導力的不同表現特征。PISA2015協作問題解決能力測評、澳大利亞國家科學素養測評等[10][11]項目的成功實施經驗表明，通過構建交叉矩陣來提取所測能力或素養的表現期望是一種行之有效的方式。研訓者數據領導力的表現水平是研訓者在能力維度和知識維度上的綜合表現，即研訓者在真實情境中有效運用知識和能力解決實際問題的程度。因此，本研究從具備數據領導力的研訓者有哪些外在表現入手，深入剖析測評需要考察的要素，構建了知識-能力交叉矩陣，即表現期望矩陣，矩陣中的每個要點或要點組合都對應研訓者在真實情境中運用數據領導力解決實際問題的具體表現。表現期望矩陣的提出，既能在一個或多個復雜情境中以“整合”的方式評估研訓者的數據領導力水平，也能為后續測評結果的分析揭示更多信息。

3 測評數據分析

數據分析是基于測驗結構和數據特征對原始數據進行加工與提煉，將測評數據轉化為有效信息的重要途徑。隨著測評技術的不斷發展，綜合運用經典測驗理論和認知診斷理論，可以支持從整體把握和個體分析兩個層面對被試的能力水平與知識狀態進行全面評估診斷。具體到研訓者數據領導力測評，經典測驗理論可以支持對研訓者數據領導力的整體能力水平分析和能力差異檢驗，認知診斷理論可以支持對研訓者個體或群體的知識狀態和學習軌跡分析。綜合兩者，有助于建立一個兼具研訓者知識與能力數據、共性與個性特征的多元信息庫。

4 測評結果應用

被試在傳統測驗中往往只能得到一個測驗總分或能力值，無法獲得關于知識與能力掌握情況的精確診斷信息，因而削弱了評價的反饋和指導功能。為推動測評結果的后續應用，有必要依據數據分析結果生成面向個體的個性化診斷報告，幫助被試客觀認識自身的優勢與不足，明確下一步發展目標。在進行研訓者數據領導力的個性化診斷報告設計時，本研究從能力和知識兩大維度梳理測評結果，并基于數據發現和認知邏輯為研訓者提供適切的學習路徑建議。

三 研究設計

1 被試選取

為檢驗研訓者數據領導力測評實施框架的可行性和有效性，本研究分別選取了兩批研訓者進行預測試和正式測試：預測試階段，依托“國培計劃（2022）”示范項目——信息技術與教師培訓融合研修班，面向50位中小學教師研訓者進行小范圍試測，共回收有效問卷43份，有效回收率為86.0%。正式施測階段，本研究采用方便抽樣的方法，通過湖南省和吉林省的教師發展機構、師資培訓中心等部門，面向中小學教師研訓者發放數據領導力水平測試的網絡問卷，共回收有效問卷391份，有效回收率為94.9%。有效被調查者的基本信息如表1所示。

2 調查工具

本研究的調查工具為自編的“研訓者數據領導力水平測試試卷”，由基本信息和情境判斷測驗兩部分構成。其中，基本信息部分包含6個題項，涉及研訓者的性別、年齡、學歷、職稱、工作年限、工作類別等人口學信息；情境判斷測驗部分以本研究事先建立的測評模型和測量模式為指導依據，遵循“情境事件收集、編寫與評價-反應選項收集、編寫與評價-指導語及計分鍵確定-試測-正式施測”的開發過程，經過多輪專家評估和嚴格的信效度檢驗，共得到22道測驗題目。情境判斷測驗的區分度為0.39，難度系數為0.37，信度系數為0.591。在情境判斷測驗中，研訓者數據領導力測評實施框架中的每個能力指標和知識成分都得到了測量，且每個知識成分（認知診斷中的認知屬性）都至少包含4道題目需要測量，這為提供可靠的認知診斷結果奠定了工具基礎。

3 分析思路與方法

基于研訓者數據領導力測評實施框架，本研究確定了從能力維度和知識維度兩方面對測評數據進行系統分析的思路，如圖2所示。其中，能力維度是依據經典測驗理論分析研訓者數據領導力的整體能力水平，并對比分析研訓者在不同性別、年齡、學歷、職稱、工作年限、工作類別等方面的數據領導力水平差異；知識維度是運用認知診斷理論對研訓者數據領導力的知識狀態進行分析，不僅關注群體和個體層面的屬性掌握模式，還關注不同研訓者的學習軌跡分析。描述性統計和差異性檢驗采用SPSS 23.0進行，認知診斷分析采用Python 3.9通過自編程序實現。在認知診斷模型的選擇方面，考慮到DINA（Deterministic Inputs， Noisy “And” gate model）模型在眾多認知診斷模型中具有診斷準確度高、可解釋性強、數學定義簡潔明確等優勢[12]，因此本研究使用該模型進行認知診斷評估。

四 結果與討論

1 整體能力水平分析

（1）描述性統計

本研究依據情境判斷測驗的計分鍵（答對記1分，答錯記0分）對測評數據進行處理，所有題項得分之和為研訓者數據領導力總體水平的測量指標（最高為22分），數據領導力各維度得分依據各維度下測量題項的總分除以題項數得出（最高為1分）。情境判斷測驗得分越高，代表研訓者數據領導力的水平越高。統計得出，研訓者數據領導力的平均得分為8.14分，標準差為3.34，說明研訓者數據領導力的整體水平處于中等偏下水平，亟待提升數據領導力。進一步對子能力進行分析發現，研訓者在數據文化建設方面表現最好（M=0.39；SD=0.23），其次是數據探究指導（M=0.38；SD=0.17），數據使用規劃維度得分最低（M=0.33；SD=0.26）。

（2）差異性分析

本研究對相關數據進行了差異性檢驗，其中性別采用獨立樣本T檢驗，年齡、學歷、職稱、工作年限和工作類別采用單因素ANOVA方差分析，并進一步進行多重比較，具體結果如下：①不同學歷的研訓者數據領導力水平存在顯著差異（p=0.001＜0.05），具有碩士學歷的研訓者的數據領導力水平最高（M=10.2；SD=3.72）。需要說明的是，由于具有專科學歷和博士學歷的研訓者樣本人數較少，在此不做分析。②不同性別、年齡、職稱、工作年限、工作類別的研訓者數據領導力水平均不存在顯著差異（p＞0.05）。

2 基于DINA模型的認知診斷

（1）診斷結果的有效性驗證

本研究首先對預測試數據進行了分析和有效性驗證。在認知診斷評估中，掌握模式歸入率可以在一定程度上反映診斷的可靠程度。一般認為，如果有90%以上的被試被成功歸為理想掌握模式，則認知診斷是有效的[13]。預測試數據分析結果顯示，43名研訓者全部被歸入理想掌握模式矩陣中，掌握模式歸入率為100%。此外，在項目結項時獲評為“優秀學員”的13名研訓者中，有10名研訓者（占比超過75%）的認知診斷結果顯示其掌握了5種及以上的認知屬性，說明本研究的認知診斷結果能夠較好地預測研訓者的工作績效。模型的診斷參數可以在一定程度上反映認知診斷的可靠程度，DINA模型有兩個診斷參數，分別是失誤參數（Sj）和猜測參數（gj）。認知診斷結果顯示，大部分項目的失誤參數和猜測參數在0.4以下，存在少部分參數偏高的情況，但整體可接受[14]。

對于正式施測回收的數據，其有效性驗證同樣從掌握模式歸入率和項目診斷參數兩方面展開。在掌握模式歸入率方面，391名研訓者的屬性掌握模式均落入理想掌握模式矩陣中，掌握模式歸入率達到100%，說明本研究在較高的效度水平上測量了預設的7個認知屬性。診斷參數分析結果顯示，除個別項目的失誤參數和猜測參數略高于0.4外，絕大部分項目的失誤參數和猜測參數處于可接受范圍，說明本研究的認知診斷結果是有效的。

（2）群體的屬性掌握模式分析

正式施測的認知診斷結果顯示，研訓者的屬性掌握模式可以歸為19類，占比較多的掌握模式（累計占比67.26%）如表2所示。

本研究進一步對研訓者在各項認知屬性的平均掌握情況進行分析，結果如表3所示。可以看出，研訓者對7種認知屬性的掌握比例范圍為7.93%～66.75%。掌握比例較高的有數據知識、指導知識和教學知識，分別為66.75%、52.43%和49.62%；各自有接近30%的研訓者掌握了三種復合性知識，即數據驅動的教學知識、教學指導知識和數據驅動的指導知識；而綜合性知識成分，即數據驅動的教學指導知識掌握比例最低，僅有7.93%。

（3）個體的屬性掌握模式分析

認知診斷評估不僅可以實現對被試群體的診斷，還能夠精準分析被試在個體層面的屬性掌握情況。本研究從全體被試中隨機抽取出一名研訓者（編號003），其認知診斷結果顯示：項目反應模式為1101101110101101101101（“1”表示答對了該題項，“0”表示未答對該題項），屬性掌握模式為1111110。可以看出，該名研訓者在數據知識、教學知識、指導知識、數據驅動的教學知識、數據驅動的指導知識和教學指導知識方面的掌握情況較好，掌握欠佳的屬性為數據驅動的教學指導知識。

（4）不同研訓者的學習軌跡分析

根據研訓者的屬性掌握模式，可以進一步推測其學習軌跡。所謂學習軌跡，是指知識狀態的分層結構，它以偏序關系表征知識狀態之間的關系，是一個嚴格遵循學習者認知規律的學習路線圖[15]。從低端到頂端的學習軌跡代表不同的能力水平，顯示了學習者從低水平到高水平的能力發展軌跡和方向，能夠有效支持培訓學習的計劃與安排。本研究通過對不同知識狀態的聚類分析來繪制學習軌跡，圖3呈現了本研究中研訓者數據領導力的學習軌跡分析結果。其中，虛線加粗路徑是主要學習軌跡，它包含了每個級別中擁有知識狀態的參與者的最大百分比[16]。這也意味著，大多數研訓者獲得屬性的順序為A2→A3→A6→A1→A5→A4→A7，即研訓者最先掌握的三個屬性依次是數據知識、指導知識、數據驅動的指導知識；而后是教學知識、教學指導知識、數據驅動的教學知識；最后是數據驅動的教學指導知識。在學習軌跡分析的基礎上，處于某一知識狀態的研訓者就可以根據主要學習軌跡明確自己下一步的目標掌握模式，如歸屬于“0110000”屬性掌握模式的研訓者，其目標掌握模式為0110010。

本研究進一步分析工作類別中樣本占比較高的研訓者類別，即培訓、教研和中小學教學（兼職培訓）的學習軌跡，結果如圖4所示。可見，學習軌跡不僅與研訓者的認知順序直接相關，還受到日常工作的影響。例如，對中小學教學（兼職培訓）的研訓者來說，教學知識在其學習軌跡上處于更靠前的位置；對全職培訓者來說，教學知識的位次在數據驅動的指導知識之后，突出了培訓指導的重要性。針對不同工作類別的研訓者，可據此提供適切的學習路徑建議。

3 個性化診斷報告的設計

依據測評數據分析結果，本研究進一步探討了個性化診斷報告的設計。本研究開發的個性化診斷報告內容包括研訓者編號、工作類別、測驗總分、錯誤題項、各維度平均得分、屬性掌握情況（包括該名研訓者的屬性掌握模式、掌握較好的屬性和掌握欠佳的屬性）、目標屬性掌握模式和待發展能力的建議。以編號為003的研訓者為例，本研究設計了如圖5所示的研訓者數據領導力個性化診斷報告。其中，目標屬性掌握模式是根據不同研訓者的學習軌跡分析結果，按照研訓者的工作類別和屬性掌握模式為研訓者推薦的下一步發展目標；待發展的能力是根據研訓者在各維度的平均得分識別出其能力薄弱項，并進一步依據研訓者作答錯誤的題項，對標測量結構表和研訓者數據領導力的表現期望矩陣，將錯誤題項的主要考察點細化為研訓者下一階段的發展重點。如此，通過個性化診斷報告的設計，就完成了對研訓者數據領導力的綜合評價與有效反饋，能夠為相關專業學習與發展提供針對性指導。

五 結語

本研究以精準性為測評導向，以研訓者數據領導力測評實踐為例，探尋宏觀能力測評與微觀能力測評的融合之道。通過創新性地引入認知診斷技術，一方面彌補了傳統測評只能服務于選拔和甄別目的的弊端，強化了測評的診斷與反饋功能，有助于推動能力測評從模糊籠統的狀態轉向更為清晰精確的狀態；另一方面，豐富了認知診斷技術在教師專業發展領域的應用研究，為研訓者和教師能力的精準測評提供了新的思路與實踐參考。

但同時，本研究在認知診斷評估方面也存在一些局限，如所選擇的DINA模型是將被試簡單地分為掌握和未掌握兩類，無法報告被試掌握項目所考察的部分屬性的情況；受技術條件的限制，本研究并未進行基于不同認知診斷模型的診斷結果比較，也未能探索認知診斷評估的多級評分模式，這些都可能會影響診斷結果的準確度。關于未來可深入研究的方向，首先可以編制更多的測驗題目以形成測試題庫，并開發相應的認知診斷測評系統，從而實現自動化診斷與反饋，為大規模測評和持續跟蹤測評提供平臺支持與技術服務；其次，可以基于研訓者數據領導力測評實施框架，設計每個知識成分下更為細粒度的知識點和知識依賴關系，以不斷提高測評的精準性；最后，對于個性化診斷性報告的形式，后續研究還有待進一步完善，如結合專家經驗，對被試未掌握的屬性給出更深入、詳細的補救措施或建議。

參考文獻

[1]新華社.中共中央 國務院印發《深化新時代教育評價改革總體方案》[OL].lt;http：//www.gov.cn/zhengce/2020-10/13/content_5551032.htmgt;

[2][8]楊柳，郭玉峰，劉其右，等.“雙減”視域下的教育精準測評：邏輯、框架與應用[J].中國考試，2022，（11）：67-76.

[3]魏非，章玉霞，李樹培，等.微認證賦能師范生教師職業能力精準測評研究[J].中國電化教育，2021，（12）：79-86.

[4]Shute V J， Zapata-Rivera D. Educational assessment using intelligent systems[J]. ETS Research Report Series， 2008，（2）：1-15.

[5]任友群，馮仰存，徐峰.我國教育信息化推進精準扶貧的行動方向與邏輯[J].現代遠程教育研究，2017，（4）：11-19、49.

[6]單俊豪，閆寒冰.學生數據賦能教師精準測評：問題、突破與發展路向[J].現代教育技術，2023，（5）：50-58.

[7]Yang X， Embretson S E. Cognitive diagnostic assessment for education[M]. Cambridge： Cambridge University Press， 2007：119-145.

[9]王曉誠.PISA數字化閱讀素養測評及其啟示[J].外國中小學教育，2018，（5）：1-8.

[10]王蕾.學生發展核心素養的考試和評價——以PISA2015創新考查領域“協作問題解決”為例[J].全球教育展望，2016，（8）：24-30.

[11]NAP. Science literacy 2018 public report[R]. Sydney： Australian Curriculum Assessment and Reporting Authority， 2018：22.

[12]De La Torre J， Douglas J A. Higher-order latent trait models for cognitive diagnosis[J]. Psychometrika， 2004，（3）：333-353.

[13]朱玉玲.基于認知診斷的高考生能力掌握模式診斷研究[D].杭州：杭州師范大學，2012：57.

[14]楊宇杰.基于DINA模型的中學生物學認知診斷研究[D].上海：華東師范大學，2015：45.

[15]Duschl R， Maeng S， Sezen A. Learning progressions and teaching sequences： A review and analysis[J]. Studies in Science Education， 2011，（2）：123-182.

[16]Wu X， Wu R， Chang H H， et al. International comparative study on PISA mathematics achievement test based on cognitive diagnostic models[J]. Frontiers in Psychology， 2020，11：2230-2230.

How Can Precise Assessment of Abilities be Done？

——Taking Trainee Data Leadership Assessment Practice as An Example

Abstract： Accurately grasping the current situation of abilities is the prerequisite of high-quality and efficient ability cultivation and development. With the quiet changing of assessment concepts and the continuous development of information technology， precise assessment has gradually become an important development trend in the field of educational measurement and evaluation. Especially in the field of teacher ability assessment， it is urgent to explore a feasible path of precise assessment， in order to solve the realistic problems of shallow data and extensive content in traditional assessment. Therefore， an implementation framework for precise assessment of abilities that included four stages of establishment of assessment objectives， construction of assessment models， analysis of assessment data， and application of assessment results. The feasibility and effectiveness of this framework were verified in large-scale assessment practice of data leadership for primary and secondary school teacher trainees. Then， through the comprehensive application of classical test theory and cognitive diagnosis theory， the ability level and knowledge state of data leadership for teacher trainees were evaluated and diagnosed from both the overall and individual levels， and a personalized diagnosis report was designed， which successfully achieved precise diagnosis and personalized feedback that combined group commonality and individual characteristics. Through research， this paper aimed to provide theoretical guidance and feasible path for the accurate assessment of ability， and then promoted the cultivation of ability to be accurate and personalized.

Keywords： precise assessment; cognitive diagnostic assessment; teacher trainees; data leadership