教師數據驅動決策能力評價的國際研究述評：框架、工具與實施建議*

楊淑婷 魏 非

教師數據驅動決策能力評價的國際研究述評：框架、工具與實施建議*

楊淑婷1魏 非2[通訊作者]

（1．華東師范大學 教育信息技術學系，上海 200063；2．華東師范大學 開放教育學院，上海 200062）

教師數據驅動決策能力是實現教育數字化轉型的重要支撐，但由于其具有情境性、實踐性、多元性等特點，評價成為了教師專業發展實踐面對的一大挑戰。為借鑒國際上相關的成熟經驗和優質成果，文章采用文獻分析法，對國際上教師數據驅動決策能力的評價實踐研究進行總結和梳理，提煉出三種評價框架設計思路和五種評價實施工具。之后，文章從評價框架、評價工具、評價實施方案、評價實施路徑四個維度為開展教師數據驅動決策能力評價提出建議，以期為我國開展教師數據驅動決策能力的培養工作提供借鑒。

數據驅動決策能力；數據素養；評價；設計框架；工具開發

引言

在全球教育數字化轉型進程中，教師數據素養的培養是不可或缺的重要內容[1]，對教育教學從基于經驗的范式轉向基于數據的范式具有重要價值。數據驅動決策能力是教師數據素養的核心構成要素，這可從多個國家的教師數據素養評價實踐中窺得端倪，如荷蘭教育部將教師數據驅動決策能力作為評價教師數據素養的主要內容[2]、澳大利亞將職前教師的數據驅動教學決策能力作為職前教師績效考核的核心知識和技能之一[3]。

教師數據驅動決策能力指教師系統地收集、處理和分析多種來源數據，并以此為證據干預學習過程、優化學生學習成效的綜合能力，也被稱為教師數據使用能力[4]、基于數據的教學決策能力[5]、數據啟發的教學決策能力等[6]。上述概念雖然表述不完全一致，但都聚焦于教學場景，體現了教師在真實教學情境中依據并利用數據開展分析與改進教學的綜合素質。

近幾年，新興技術的發展使教學與學習過程數據的記錄、收集、存儲愈發便捷，數據儼然成為教育教學的核心資產。《教育部基礎教育司2022年工作要點》提出要大力實施基礎教育數字化戰略行動[7]，開啟了中小學教師數據驅動決策能力發展的序章。然而，相較于國外的探索，國內教師數據驅動決策能力的研究剛剛起步，且較多關注內涵與結構、發展策略等議題，尚未將評價設計和實施作為專門的議題進行深入探討。同時，由于數據驅動決策能力具有情境性、實踐性、過程性等特點，開展真實、客觀、便捷的評價成為教師專業發展實踐面對的一大挑戰。在此背景下，本研究系統分析國際中小學教師數據驅動決策能力的評價實踐研究，為開展適用于我國國情的教師數據驅動決策能力評價提供建議，以期提升我國教師的數據驅動決策能力。

一 研究過程與方法

為借鑒國外的經驗和成果，本研究對發表于Web of Science核心數據庫中的文獻進行精確檢索，檢索主題詞包含與教師數據驅動決策相關的關鍵詞（如“Data Based Decision Making”“Data Driven Decision Making”“Teacher Data Use”“Data Inspired Teaching Decision”等），以及與評價相關的關鍵詞（如“Assessment”“Evaluation”等），文獻發表日期截至2021年12月，共得到252篇文獻。剔除重復性文獻后，為進一步篩選出符合研究主題的文獻，本研究還設定了文獻納入標準：①研究主題為教師數據驅動決策能力評價；②研究對象為中小學教師。根據文章標題和摘要，本研究初步篩選出符合納入標準的文獻13篇，隨后瀏覽全文，排除不符合標準的文獻11篇，再通過滾雪球法，最終得到6個實踐案例，主要來自美國（=4）和荷蘭（=2）。

本研究采用文獻分析法，對實踐案例進行了深入、細致的分析，重點關注教師數據驅動決策能力的評價框架、評價工具和評價實施，以探究國際案例的設計與實施思路。

二 教師數據驅動決策能力評價框架設計

深入分析相關文獻和案例，可以發現：當前教師數據驅動決策能力評價框架的設計主要有基于決策能力構成要素（=1）、基于決策過程（=4）、整合決策影響因素的綜合設計（=1）三種思路。其中，有一個案例綜合采用了教師數據驅動決策模型和基于數據的決策模型兩個框架。

1 基于教師數據驅動決策能力構成要素的框架設計思路

從教師數據驅動決策能力的構成要素開展評價，側重于關注能力形成的內在機制，挖掘導致能力差異和變化的根本原因。為更好地理解教師使用數據開展決策的過程，Dunn等[8]提出了由知識、關注度、效能構成的三元變化模型（Triadic Change Model，TCM），并指出這三個要素相互關聯、相互影響。其中，知識反映教師在分析、解釋數據以及將數據應用于教學決策兩個方面的知識掌握程度；關注度表現為教師對數據驅動決策的態度和滿意度；效能則指教師對自身成功實施數據驅動決策的信念。

2 基于教師數據驅動決策過程的框架設計思路

從教師使用數據做出決策的一般過程出發細化決策步驟，進而明確教師應具備的特定技能和外在行為表現，是目前教師數據驅動決策能力評價框架設計的常見方式。由Light等[9]提出，Mandinach等[10]改進的數據驅動決策模型（Data Driven Decision Model，DDDM）是較早有關教師數據驅動決策能力的模型，其概念框架如圖1所示。該模型將應用數據支持教學的過程分為數據層、信息層和知識層，并結合場所、工具和三個層級之間的相互關系，將教師數據驅動決策能力劃分為收集數據、組織數據、分析數據、總結數據、整合數據、定義優先級六個能力維度，教師基于過程做出決策，實施決策并檢驗影響，再將結果反饋至各維度，通過迭代完善決策。

圖1 DDDM模型的概念框架[11]

Means等[12]將教師使用數據做出決策的過程劃分為五個具體步驟：數據定位、數據理解、數據解釋、數據使用和問題提出，并結合具體情境將能力進一步細化，形成教師數據使用能力框架，如表1所示，以此作為教師數據驅動決策能力評價的依據。

表1 教師數據使用能力框架[13]

除關注教師個人，還有研究者關注教師團隊的數據驅動決策過程。例如，Schildkamp等[14]提出教師數據團隊進行教學干預時采用的基于數據的決策模型（Data Based Decision Making，DBDM），將教師數據驅動決策過程進一步細化成八個步驟，即問題定義、形成假設或問題、數據收集、數據質量核查、數據分析、解釋總結、采取改進措施、評估；Keuning等[15]將初等教育階段教師團隊基于數據的決策過程分為四個核心步驟，即評估和分析學生成績、為每個學生和班級整體制定學習和表現目標、確定實現目標需要的教學策略、執行教學策略。此外，McDowall等[16]依據教師數據素養模型（Data Literacy For Teachers，DLFT）中教師數據使用的五個基本過程評估職前教師數據驅動決策能力，即識別問題并提出問題、使用數據、將數據轉化為信息、將信息轉化為決策、評估結果。

3 整合教師數據驅動決策影響因素的綜合設計思路

基于影響能力變化的因素預測或判斷教師數據驅動決策能力的發展或變化情況，能從多方位、多角度反映教師數據驅動決策能力，為評價提供了更加全面的視角。Reeves等[17]提出可以通過整合教師的數據使用情況和影響因素，來調查教師數據驅動決策能力。這里的影響因素包含三個方面：①教師教育，指教師為使用數據所做的準備和培訓，包括職前階段學習的相關課程、在職階段參與的相關活動等；②組織因素，指與教師數據使用相關的學校領導力，如管理層使用數據的優先級、是否為教師使用數據提供時間和機會等；③教師特征，指教師的信念和焦慮，具體包括教師對評估的信念、教師數據驅動決策自我效能和教師數據驅動決策焦慮。

評價框架是評價設計的基礎和核心。根據對相關文獻和案例的分析可知，基于能力的構成要素構建評價框架傾向于關注能力形成的必備條件，基于過程構建評價框架傾向于關注能力表現的具體行為指標，整合影響因素開展綜合設計則是將外界環境納入考量——這三種框架設計思路從數據驅動決策能力理應涵蓋的全部內容進行邏輯推演，由此形成較為清晰的“評價對象”畫像，進而明確回答“測評什么”的問題，同時形成可操作性的指標，成為了評價工具與評價實施路徑開發的依據。

三 教師數據驅動決策能力的評價工具

綜合當前的相關研究和實踐可以發現，在教師數據驅動決策能力評價中較為常見的工具有基于自我評估的問卷調查（=2）、知識測試（=2）、半結構化訪談（=1）、課堂觀察（=1）和微認證（=1）。其中，有一個案例同時采用了基于自我評估的問卷調查和知識測試兩種工具。

1 基于自我評估的問卷調查

問卷調查是目前教師數據驅動決策能力評價使用十分廣泛的方式，研究者多借助在線問卷平臺或電子郵件發放問卷。

Dunn等[18]基于三元變化模型（Triadic Change Model，TCM）評價教師數據驅動決策能力，開發了數據驅動決策關注度問卷（Stages of Concern Questionnaire，SoCQ）和數據驅動決策效能問卷（the DDDM Efficacy Survey，3D-ME）。以SoCQ為例，其側重于反映教師在數據驅動決策過程中產生的一系列感覺、感知、專注、想法、考慮、動機、滿意度和挫敗感。SoCQ將教師對數據驅動決策能力的關注分為不關注、自我關注、任務關注、影響關注四個關注點，以及不關注、信息關注、個人關注、管理關注、后果關注、協作關注、再聚焦關注七個關注階段，用于評估教師對自身數據驅動決策能力、教學決策任務和決策能力帶來的影響三個方面的關注度。

Reeves等[19]基于教師數據使用情況和影響因素，編制了一套在線問卷。此問卷主要由四個子問卷組成，采用李克特量表計分。其中，教師數據使用實踐子問卷涉及教師在學習者與學習、教學內容、教學實踐和職業責任方面使用數據的具體行為表現；教師學習機制子問卷針對教師教育因素，包含兩個題項，分別關注教師在職前階段和在職階段參與數據使用相關課程和活動的數量；領導力子問卷關注學校的組織因素對教師數據使用的影響；教師信念與焦慮子問卷面向教師特征因素，使用評估的概念量表（Conceptions of Assessment—III Abridged Scale，COA-III）、數據驅動的決策效能和焦慮量表（Data-Driven Decision-Making Efficacy and Anxiety Inventory，3D-MEA），分別調查教師對評估的信念、教師數據驅動決策的自我效能與焦慮。

2 知識測試

知識測試主要考察教師對教育數據驅動決策相關知識的認識、理解、掌握和應用程度，為增強教師數據驅動決策能力評價結果的科學性和可靠性，實踐中大多與其他工具結合使用。

Kippers等[20]采用包含知識測試、會議評估、日志評估、個人訪談的混合研究方法，分析教師數據驅動決策能力的發展程度。其中，知識測試部分主要借助Ebbeler等[21]開發的知識測試工具，以紙質形式對教師進行前后測，衡量教師在參與項目前后的能力變化。該工具基于DDDM模型和DBDM模型，從教師基于數據驅動決策的八個步驟出發，編制了12道開放性試題，教師需在30分鐘內完成測試。隨后，研究者綜合其他三類評估數據，分析教師數據驅動決策能力。

Dunn等[22]在對教師基于數據的決策知識進行測試時，主要評估教師解釋和評價數據的能力、運用數據進行教學決策的能力。具體實施時，該知識測試題主要以問卷的形式通過電子郵箱發放給參與過數據驅動決策培訓的教師。

3 半結構化訪談

半結構化訪談是指基于訪談提綱客觀記錄教師的數據分析與決策過程，并將之作為事實證據的評價方式。當前在數據驅動決策能力評價中使用較多的是情境訪談法，即將教師置于真實情境或擬真情境中，與教師進行對話交流，了解教師的思考與決策過程。

Means等[23]在美國教育部項目中根據教師數據使用能力框架，通過頭腦風暴開發了由七種模擬情境構成的訪談工具，每個情境都關聯多個針對特定概念或技能的問題，并有明確的判分標準。以其中一種模擬情境為例制作的情境訪談記錄表，如表2所示。Means研究團隊使用該工具在2007～2008學年測評了美國30所中小學的教師數據驅動決策能力，雖然此項研究已經過去十余年，但仍被視為教師數據驅動決策能力評價實施的經典案例。

表2 情境訪談記錄表示例[24]

具體實施時，每次訪談約為45分鐘：前15分鐘由兩位研究員與教師進行開放式訪談，了解教師使用數據時的感受；后30分鐘教師依據情境訪談記錄表進行回答。教師可以借助紙、筆、計算器等工具回答情境訪談記錄表的問題，所有的訪談過程都被錄音和轉錄，以便編碼和評分。

4 課堂觀察

課堂觀察通常基于明確的研究目的，借助感官和預先制定的工具或技術手段系統地收集課堂教學情境中的資料，并將整理、分析、研究后的結果運用于教學評價和教學診斷中。

為了評價培訓實施前后小學教師數據驅動決策相關技能的變化，Van等[25]采用學與教的國際比較分析工具（International Comparative Analysis of Learning and Teaching，ICALT）對教師在課堂實錄中的教學行為進行編碼評分。ICALT工具包含基本教學技能量表、明確和啟動教學量表、學習策略量表和基于數據的決策量表，均為四級李克特量表。其中，基于數據的決策量表依據Keuning等[26]提出的初等教育階段教師基于數據的決策過程的四個核心步驟設置了五個題項，分別是：教師在課程開始時闡明教學目標、教師在課程結束時評估目標是否已經實現、教師根據學生之間的差異調整教學、教師對表現欠佳的學生進行額外指導、教師根據學生之間的差異調整課堂作業。該研究共錄制了34名教師的課堂視頻，并由四名研究人員對視頻進行編碼評估。

5 微認證

微認證是國際上通用的一種職業能力認證方式，其在教育領域主要依據教育教學的實踐成果對教師具體、明確的“微能力”進行認證，體現了基于證據、面向能力的關鍵特征。

除了美國非營利組織數字承諾（Digital Promise），由美國多個州的校長協會合作創建的教育領袖網絡（Ed Leaders Network，ELN）也采用微認證方式進行教師數據驅動決策能力的評估。以“實施數據驅動的決策”微認證項目為例，該項目涵蓋教師實施數據驅動決策時應具備的技能、實施工具、實施方案和文化環境四個方面。成果證據由概述題、操作題、應用與反思三部分構成，分別考察教師在真實教學實踐情境中的數據獲取和管理能力、操作和分析解釋能力、應用與反思能力。其中，概述題、應用與反思以書面形式提交，操作題以電子文件夾形式提交。教師完成課程學習并提交成果證據，通過專家審核后即可獲得相應的數字徽章。

多種評價工具的出現和應用，在一定程度上反映了教師數據驅動決策能力評估需求的多樣性和挑戰性，同時也為研究者選擇、組合、創造新的評價工具和實施方案奠定了基礎。

四 教師數據驅動決策能力評價的實施建議

借鑒國際經驗和成果，是快速啟動我國教師數據驅動決策能力培養研究和實踐的重要策略。然而，我國教師隊伍規模龐大、學校信息化環境類型多樣、教師信息技術應用能力起點不均，這就要求在開展我國教師數據驅動決策能力評價與培養實踐時，需基于我國教師數據驅動決策能力的現狀構建評價體系，結合評價實施環境和專業支持隊伍的情況靈活選擇、調整、組合、創新評價工具與實施方案。根據前文的研究，結合我國的國情，本研究從評價框架、評價工具、評價實施方案、評價實施路徑四個維度為我國教師數據驅動決策能力評價的實施提出建議。

1 過程為綱：構建過程導向的教師數據驅動決策能力評價框架

從前文分析可知，已有的教師數據驅動決策能力評價框架設計主要有三種思路，但鑒于我國教師數據素養培養剛剛起步，本研究建議應構建過程導向的教師數據驅動決策能力評價框架。作為教學決策能力在教育現代化背景下延伸出的子能力，教師數據驅動決策能力具有產生于教學實踐、貫穿于教學全過程的特點。因此，如果要提升教師應用數據改進和優化教學實踐的素養，以過程為導向的評價應當是契合教師實踐邏輯和需求的方式，即從教師教學過程分解可能會使用的數據情境，基于數據進行解釋、分析并做出決策，同時對每一個環節中使用數據做出決策的目標、內容、方法、手段進行深入挖掘與剖析，如此形成的評價框架與其細化出的評價指標本身就具備教學實踐指導的價值。此外，將教師的知識、關注度、效能等影響因素納入評價范疇，能夠進一步延展評價指標的實踐啟發價值。

2 情境構建：開發基于典型教學實踐情境的評價工具

情境是知識轉化為能力的重要載體，通過將教師置于真實或擬真的教育場景中更容易還原教師的思考與決策過程，進而全面、客觀地展現教師的認知、行為和能力，同時情境通過鏈接實踐也將賦予教師更多的學習空間。測評情境需基于真實教育活動的典型事件或過程進行創設、凝練。從情境表現形式來看，可根據開發條件靈活選擇文本、視頻以及虛擬現實等方式。文本情境主要通過文字表述實踐活動現場和事件；視頻情境可以采用真實活動現場錄像或典型場景表演方式為教師帶來真實感和現場感，再現教育現場的復雜關系；游戲情境依托角色扮演程序豐富主體的參與和交互，可呈現更多維、關聯的實踐空間；虛擬現實、人工智能等技術賦能的情境則能增強評價的交互性、沉浸性和多元性，并為虛實融合提供更多可能。此外，情境的內容創設也可以考慮不同的學科、教學環境、課型等多方面元素，增強情境的多樣性和全面性。

3 工具整合：設計適用于大規模實施的精準化評價方案

規模大、差異明顯是我國教師群體的特點，也是開展教師能力評價需要破解的實踐難題。已有的評價工具形式各異且各具優勢，面對數據驅動決策能力的多層次、綜合性要求，單獨應用某一種工具往往無法實現全面、有效的評價，因此需要整合多種評價工具。在設計實施方案時，可以采用問卷法評價關注度和效能，采用知識測試評價決策知識。如果依循基于過程的教師數據驅動決策能力評價框架，可以采用半結構化訪談法和課堂觀察法評估教師的問題提出、數據理解、數據解釋能力；也可以采用微認證評估教師的數據收集和數據分析能力。綜合采用多種評價工具，并依托人工智能技術支持的網絡平臺，既可提高測評的執行性和反饋效率，也能較大程度地減少對專家的依賴，實現規模化和精準化的評價目標；如果整合一定的學習分析模型和畫像技術，還能提升測評活動本身的實踐指導價值。

4 環境賦能：發展教師數據驅動決策能力評價的實施路徑

有效的評價環境不僅需要平臺、工具、專家等物化條件，還需要政策、機制、管理等非物化資源。推動教師數據驅動決策能力評價工作的落地和效能發揮，可以從政策引領、團隊建設、技術賦能、文化構建等層面進行考慮：①要為教師數據驅動決策能力的發展提供政策引領，如在現有的教師信息技術應用能力標準中體現相關要求，或在教師專業發展項目中增加數據驅動決策學習內容。②培養一支數據驅動決策能力發展的專業指導團隊，為各地開展培訓與實踐提供及時反饋和專業支持。③運用大數據技術、虛擬現實技術、可穿戴設備等構建支持數據伴隨性采集與評價的技術環境，為常態化、過程性、無接觸式評價實施機制提供基礎條件。④要構建數據驅動決策文化，尤其是在學校層面要引導和強調基于數據的問題分析、教學決策和家校溝通；有條件的學校可以建設一支數據驅動研究團隊，以引領和帶動學校的整體研究與發展。

五 結語

教師數據驅動決策能力的培養，需要合理、科學的評價作支撐。為借鑒國際上相關的成熟經驗和優質成果，本研究采用文獻分析法，圍繞評價框架和評價工具系統分析相關文獻和案例，在此基礎上結合我國教師能力發展現狀提出教師數據驅動決策能力評價實施的相關建議。眾所周知，當前我國正啟動教育數字化轉型戰略行動，對教師的教育教學工作提出了更加個性、優質、精準的期望，數據素養發展成為未來教師專業發展的重要內容。面對數據驅動決策能力提升的急迫任務，未來除了繼續深化內涵結構、發展策略、評價體系等研究，還需從能力標準、培養模式、制度機制等方面完善培養環境，進而服務于我國高質量教師隊伍建設。

[1]European Commission. Digital education action plan (2021-2027)[R]. Brussels: European Union, 2020:6-9.

[2][22]Kippers W B, Poortman C L, Schildkamp K, et al. Data literacy: What do educators learn and struggle with during a data use intervention?[J]. Studies in Educational Evaluation, 2018:21-31.

[3][16]Mcdowall A, Mills C, Cawte K, et al. Data use as the heart of data literacy: An exploration of pre-service teachers’ data literacy practices in a teaching performance assessment[J]. Asia-Pacific Journal of Teacher Education, 2020,(5):487-502.

[4][12][13]Means B, Chen E, Debarger A, et al. Teachers’ ability to use data to inform instruction: Challenges and supports office of planning[R]. Washington, D.C: U.S. Department of Education, Office of Planning, Evaluation and Policy Development,2011:5-8.

[5][14]Schildkamp K, Lai M K , Earl L. Data-based decision making in education: Challenges and opportunities[M]. Heidelberg: Springer, 2013:9、55-59.

[6]管玨琪,孫一冰,祝智庭.智慧教室環境下數據啟發的教學決策研究[J].中國電化教育,2019,(2):22-28、42.

[7]教育部.關于印發《教育部基礎教育司2022年工作要點》的通知[OL].

[8][18][20]Dunn K E, Airola D T, Garrison M. Concerns, knowledge, and efficacy: An application of the teacher change model to data driven decision-making professional development[J]. Creative Education, 2013,(10):673-682.

[9]Light D, Wexler D H, Heinze J. Keeping teachers in the center: a framework for data-driven decision-making[A]. Waynesville:Proceedings of SITE 2005[C].Phoenix, AZ, USA: Association for the Advancement of Computing in Education,2005:128-133.

[10][11]Mandinach E B. A perfect time for data use: Using data-driven decision making to inform practice[J]. Educational Psychologist, 2012,(2):71-85.

[15][26]Keuning T, Geel M V, Visscher A, et al. The transformation of schools’ social networks during a data-based decision making reform[J]. Teachers College Record, 2016,(9):1-33

[17][19]Reeves T D, Summers K H, Grove E, et al. Examining the landscape of teacher learning for data use: The case of Illinois[J]. Cogent Education, 2016,(1):1211476.

[21]Ebbeler J, Poortman C L, Schildkamp K, et al. The effects of a data use intervention on educators’ satisfaction and data literacy[J]. Educational Assessment Evaluation & Accountability, 2017, 29:83-105.

[23][24]Means B, Padilla C, Debarger A, et al. Implementing Data-Informed decision making in schools: Teacher access, supports and use[R].Washington D.C.: US Department of Education, 2009:61-86.

[25]Van der Scheer E A, Glas C A W, Visscher A J. Changes in teachers’ instructional skills during an intensive data-based decision making intervention[J]. Teaching And Teacher Education, 2017:171-182.

An International Research Review of Teachers’ Data-driven Decision-making Ability Assessment: Constructs, Tools and Implementation Suggestions

YANG Shu-ting1WEI Fei2[Corresponding Author]

Teachers’ data-driven decision-making ability is an important support for realizing the digital transformation of education. Sinceteachers’ data-driven decision-making ability is featured with situational, practical, and diverse performance, its assessment has become a major challenge for teachers’ professional development practice. In order to learn the relevant mature experience and high-quality achievements in the world, this paper used the literature analysis method to summarize and sort out the assessment practice research of teachers’ data-driven decision-making ability in the world, and further extracted three kinds of assessment framework design ideas and five kinds of assessment implementation tools. In addition, the suggestions for teachers’ data-driven decision-making ability assessment were proposed from four dimensions of assessment framework, assessment tool, assessment implementation plan, and assessment implementation path, expecting to provide a reference for developing the training work of teachers’ data-driven decision-making ability in China.

data-driven decision-making ability; digital literacy; assessment; design framework; tool development

G40-057

A

1009—8097（2022）08—0067—08

10.3969/j.issn.1009-8097.2022.08.008

本文為2018年度國家社會科學基金重大項目“信息化促進新時代基礎教育公平的研究”（項目編號：18ZDA335）的階段性研究成果。

楊淑婷，在讀碩士，研究方向為教育信息化、教師能力發展，郵箱為51204108031@stu.ecnu.edu.cn。

2022年3月19日

編輯：小時