高校教師數據素養的表現性評價

單俊豪?張剛要

摘 要：教育大數據時代，高校教師數據素養已經成為高等教育教學質量發展的核心要素。現有教師數據素養的評價體系多聚焦知識性和總結性的測評形式，并未有效關注教師基于真實教學情境的數據素養評價。本研究選取表現性評價的理論范式，構建高校教師數據素養評價體系。首先，本研究基于對已有文獻的梳理，提出了高校教師數據素養的理論模型；其次，提出了表現性評價三要素：評價目標、表現性任務和評價規則的設計原則與設計方法；最后，為了更深入地將高校教師數據素養表現性評價體系融入高校教師日常教學工作中，本研究提出了評價弱干擾、評價提升性和評價伴隨性三個應用原則。

關鍵詞：教師數據素養；表現性評價；理論模型；大數據時代；教師評價

中圖分類號：G4 文獻標志碼：A 文章編號：2096-0069（2023）01-0033-06

收稿日期：2022-03-15

基金項目：江蘇省教育科學“十四五”規劃2021年度青年重點課題“中職教師信息技術應用能力的精準測評與提升微策略研究”（C-b/2021/03/26）；南京郵電大學2021年教學改革研究項目“互聯網+”時代面向高校青年教師數據素養的表現性評價體系構建與應用研究（JG01721JX68）

作者簡介：單俊豪（1993— ），男，遼寧沈陽人，博士，講師，研究方向為教師專業發展；張剛要（1978— ），男，江蘇徐州人，博士，教授、碩士生導師，研究方向為教育技術基本理論。

一、問題的提出

數據驅動教師教學是高校精準教學的前提，也是提升高校教學質量的重要舉措。高校教師具備良好的數據素養是有效支持精準教學的前提，對高校教師數據素養的有效評價既準確刻畫了高校教師能力現狀，又為高校教師能力提升提供了準確的證據支持。綜觀國內外研究，教師數據素養測評已經進入實踐階段，不同組織和研究者采用自評問卷、支持測試和情境訪談法來測評教師數據素養[1]。然而在測評深度和有效性層面，鮮有研究關注高校教師數據素養的表現性評價，即關注教師在真實教學情境中，基于真實的學生數據所做出的教學決策與相關教學干預表現情況的評價。教師表現性評價是提升教師專業技能的重要評價標準，其聚焦教師真實的情境，抓取能夠有效表征教師專業能力的教學表現，提升評價的情境性和代表性 [2-3]。本研究以高校教師數據素養測評為研究內容，整合表現性評價理論范式，構建高校教師數據素養表現性評價理論體系。

二、教師數據素養解讀

教師數據素養作為教育大數據時代教師專業能力的重要組成部分，受到了國內外各界學者和研究機構的重視。不同學者和研究機構從不同的視角解讀了教師數據素養的內涵，并對其能力維度進行解構與闡釋。

學術論文研究層面：學者艾倫.B.曼蒂納契（Ellen B.Mandinach）指出，教師的數據素養能力包含對數據的識別、收集、組織、分析、總結和歸類[4]。其在2013年的文章中將教師數據素養的能力維度進一步劃分為做出假設、提出問題、解釋數據、教學決策、計劃、實施和調整教學行動的能力[5]。李青等人[6]梳理了國際上11篇關于教師數據素養核心要素的文章，并通過邏輯梳理得出四個數據素養的一級指標：數據意識、數據技能、教學應用、意識道德。

組織機構研究層面：美國教育數據研究機構“數據質量運動”指出，教師數據素養包含十個方面的能力：從可利用的資源中收集相關數據、組合和分析不同數據、指導并使用考試數據外的其他數據、使用不同類型的數據、參與循環式探究、利用數據為不同學生群體制定教學指導計劃、使用學生個體數據的能力、幫助學生了解數據、運用數據與不同利益相關者溝通及認識并學會運用當前適用的、與實踐相關的數據[7]。華東師范大學開放教育學院團隊從學習成績分析、學習成果分析、學習行為分析及數據可視化的工具與策略四個維度開展教師數據素養的培訓工作，提升教師對數據的利用和教學決策能力[8]。

通過以上綜述不難發現，雖然不同學者和研究團體對教師數據素養的能力界定略有不同，但其內涵本質并未改變。本研究參考國內學者李青等人[9]關于教師數據素養的定義，認為高校教師數據素養是指教師利用數據解決實際教學問題過程中各個環節的能力總和。具體包括數據獲取與處理能力、數據評價與探究能力以及數據驅動教學決策能力三個子維度。其中，在數據驅動教學決策這一能力維度上，本研究認為高校教師應有效利用數據驅動教學決策，并促進數據驅動的敏捷教學改進。理論模型解讀詳見表1。

三、高校教師數據素養表現性評價的模型建構

（一）何謂教師表現性評價

教師評價指對教師專業能力的測量與評判。傳統教師評價的價值取向關注“定論式”評價，這種評價取向關注對教師能力現狀的判斷，缺少對教師專業能力提升的有效觀照。同時，傳統教師評價體系僅僅關注一些事務性和主觀性的數據指標，缺乏對教師真實教學表現的關注，無法有效聚焦并解決教師專業能力的痛點。

教師表現性評價為評價教師在真實教學過程中的教學能力提供了專業的標準化支持[10]。教師表現性評價旨在評價教師在真實教學情境中的教學表現，基于多元化教學過程數據對教師專業能力進行系統化評價，來考察教師是否為教育領域的專業實踐做好準備。教師表現性評價與傳統評價相比，其內涵有三個層面的體現：一是評價過程聚焦教師真實環境中的教學表現，關注真實問題情境中的教師教學能力的多元展現；二是強調教師表現數據伴隨性采集與分析，關注教師教學過程的常態化數據采集與評價；三是聚焦專業能力提升，在分析評價數據的同時挖掘評價對教師專業發展的價值潛能[11]。

（二）教師表現性評價基本要素

無論是傳統教師評價還是教師表現性評價，都應在體系設計前思考三個問題：“為什么評價”“評價什么”“怎么評價”。其中，“為什么評價”指評價的目標是什么，在本研究的情境中，評價目標指的是高校教師數據素養；“評價什么”是指哪些教師表現性數據可以被拿來測評，為了在真實教學情境中獲取教師的表現性數據，應設計的表現性任務，允許教師在任務中展現出相應數據；“怎么評價”是指通過何種指標和量規來評價高校教師數據素養。在表現性評價中，評價量規的規范化設計能夠帶給表現性評價體系更為梯度化和精準化的評價反饋信息。綜上，本研究結合周文葉提出的表現性評價基本要素[12]，將高校教師數據素養表現性評價體系的基本要素定義為：評價目標、表現性任務和評價規則。

（三）高校教師數據素養表現性評價理論體系的構建過程

表現性評價體系的開發要從理論體系構建和體系應用兩個環節思考。本研究從表現性評價三要素出發，分別從評價目標、表現性任務和評價規則三個方面構建高校教師數據素養表現性評價理論體系。在構建理論體系過程中，重點關注各要素的設計和開發流程與步驟，以此滿足表現性評價的相關內涵要求。

1.評價目標設計

評價目標指期待被評價者通過學習與實踐所獲得的預期表現成果。理查德·J.斯蒂金斯（Richard J.Stiggins）[13]指出，評價者對評價目標的清晰理解，關乎評價體系的全面性、合理性與系統性。評價目標的分類主要包括橫向拓展和縱向分級兩種方式。其中橫向拓展指的是將評價目標按照一定的維度分解成若干獨立、沒有內涵重疊、可測量的子目標；而縱向分級方式指的是將每一個子目標劃分為若干個獨立、可測量的等級標準。周文葉[3]指出，評價目標設定需要基于能力標準對目標進行逐級細化，從而實現評價目標設定的精準性和可測量性。本研究在數據素養評價目標制定方面，選擇評價目標的橫向分類方式，以本文高校教師數據素養能力維度與內涵為基礎，確定評價目標的三個一級維度分別是：數據獲取與處理能力、數據評價與探究能力及數據驅動教學決策能力和八個二級維度。評價目標的設計與確定是后續表現性任務開發和評價規則開發的準則，也是引領高校教師數據素養評價的基礎性內容。隨著智能技術的不斷發展，教師數據素養的內涵與能力維度也將進一步提升，評價目標也處于不斷的更新迭代過程中。

2.表現性任務設計

表現性任務指為了檢驗學習者在特定評價目標上的達成情況而精心設計的作業[14]。在本研究情境中，面向高校教師數據素養的表現性任務指能夠讓高校教師有效表征出相應評價目標的情境性教學任務。美國斯坦福大學評估、學習和公平中心指出，表現性任務：首先應該包括重點突出的任務提示，要求被評價者提供相關證明材料來表征自己的學習成果；其次應設計清晰的任務提示和可測評的標準。本研究基于所提出的高校教師數據素養理論模型，遵循基于真實教學情境、評價目標對標表現性任務及表現性任務可測評三個原則，以挖掘高校教師真實問題情境中面向數據素養的教學表現為目標，提出高校教師數據素養表現性任務，如表2所示（見下頁）。本研究面向三個一級能力維度設計了三個表現性任務，任務形式包括微視頻、分析報告和計劃調整方案三種。所有表現性任務均基于教師真實課堂教學，在真實教學情境中，面向真實學生數據提交任務。

3.評價規則設計

評價規則是由評價者設計和開發的描述性評分方案[15]。從本質上看，評價規則是一種評分工具，清晰準確的評價規則能夠準確衡量被評價者在不同能力維度上的表現程度，同時也能夠明確被評價者距離更高級別能力表現的差距。一份優秀的評價量規能夠將教師專業能力劃分為不同的等級，且每個等級與下一個等級之間都會有明確的能力差異，通過高區分度、強顆粒度的評價規則，為教師某些專業能力的發展提供非常明確、聚焦的方向。

評價量規在形式上是一個二維表，主要由四個部分構成：表現維度、表現等級、描述符和表現樣例[16]。菲利普·道森（Phillip Dawson）[17]指出，量規設計應該有明確的評價標準、等級分類情況和等級定義。評價量規的開發有兩種范式，分別是自下而上和自上而下。本研究采用自上而下的范式，基于提出的高校教師數據素養理論框架，結合高校教師教學特征，指定符合實際情況的評價規則，具體分為四個步驟：明確評價目標概念框架，確定表現維度和表現等級，針對具體表現性任務撰寫等級描述，使用評價規則并修訂量規表述。本研究基于以上的評價量規開發步驟來開發高校教師數據素養的評價量規。其中，表現維度包括高校教師數據素養的八個二級維度；表現等級分為四級，分別是優秀、良好、一般和有待改進。本研究以二級能力點“數據分析與問題發現”為例，描述本研究評價量規的示范樣例，見表3。

四、推進高校教師表現性評價的原則探析

構建高校教師數據素養表現性評價體系是實現其數據素養提升的基礎性工作。如何將評價體系應用到高校教師日常教研、教學工作中是更值得思考的問題。筆者認為，高校教師數據素養表現性評價體系的推進工作要注意三項原則：一是評價弱干擾原則，即表現性評價嵌入到教師日常教學工作中，不給教師帶來過多的教學負擔；二是評價提升性原則，核心內涵在于評價結果并非判斷教師數據素養的高低，而是發現其素養薄弱項，從而精準施策；三是評價伴隨性原則，強調在教學過程中，常態化、跟蹤性地為教師提供評價反饋與能力提升支持。

評價弱干擾原則。表現性評價的本質是通過評價手段為教師能力提升帶來針對性、客觀性的幫助。為了讓表現性評價不給高校教師帶來過多負擔，本研究認為應遵循聚焦情境、智能數據采集及精準施策三種策略。（1）聚焦情境：選取教自己所教授的一門課程，以這門課程為情境，設計相關表現性評價任務。如高等數學類課程可以聚焦學生日常課后作業和考試成績分析情境，設計相關問題，考察教師分析學生平時作業完成情況和期末考試成績的能力情況，以及針對分析結果做出的教學決策準確性與可行性情況。（2）智能數據采集：在表現性任務中，可使用多種技術工具進行教師行為表現的記錄，也可以通過游戲化測試、智能測評系統等方式開展常態化、智能化數據采集與分析。（3）精準施策：由于評價規則的分級性和高區分度，可以明確教師在不同數據素養能力維度上的表現等級，從而準確定位教師距離下一表現等級有多遠，針對差距，進行精準的資源推送，從而提升教師能力提升效率，降低時間成本。

評價提升性原則。大數據時代，教育評價已經向評價第四范式轉化，即數據密集型評價范式。在評價第四范式視角下，教育評價的價值取向轉變為發展性和問題導向的評價[18]。這種發展性和問題導向的評價理念強調聚焦教師專業能力發展過程中存在的諸多問題，以問題解決為出發點，針對性、精準化地發展教師專業能力。表現性任務的情境和針對性及評價規則的高區分度，使得面向高校教師數據素養的評價結果更加精準，更加趨向于真實的教師能力現狀。因此，在高校教師數據素養表現性評價體系應用中，評價者應始終關注對評價結果的有效利用，秉持“評價即發展”的原則，充分利用表現性評價體系對于教師個體的發展性作用，充分利用表現性任務和評價規則，發現和定位高校教師數據素養的問題與癥結，從而“對癥下藥”，以資源精準適配、教研組精準教研、集中培訓等方式查缺補漏，實現數據素養的精準提升。

評價伴隨性原則：教師的數據素養是處于不斷發展的過程中，不能通過一次測驗或一次考核就對教師的能力進行蓋棺定論。充分挖掘教師在不同問題情境中同一能力點的表現情況，能夠更為準確、系統地掌握教師數據素養的表現，從而對能力點薄弱項的判斷更加精確。同時，評價的發展性原則也使得評價并不能僅流于傳統的總結性評價形式，而應該關注高校教師數據素養的常態化測評，并從測評中持續發現教師在不同情境中的問題。因此，在評價體系應用過程中應遵循伴隨性評價的原則，即在教師的日常教學中，教學數據分析與數據素養評價協同共生，在教師開展數據分析的過程中，能夠通過智能系統賦能、專家引領、同伴協作等方式開展數據素養的伴隨性評價，從常態化評價中挖掘可以進行能力提升的微能力點，以微能力點作為出發點開展后續的教師培訓工作，從而使得教師評價與教師培訓無縫對接。

五、結語

大數據時代，對于海量學生數據的分析與精準決策已經成為高校教師的專業能力之一，也是衡量高校教師能否勝任高校教學工作的創新要素。高校教師數據素養發展是保證與提升高校教學質量的關鍵。表現性評價以關注教師真實教學情境、注重能夠有效表征教師專業能力的表現性證據為特色，已成為高校教師數據素養測評的新型范式。大數據時代，教師專業能力的內涵在不斷豐富，教師專業能力的邊界也在不斷拓展。表現性評價有望為教師專業能力評價帶來更為精準、全面的反饋體驗，為教師專業能力提升帶來更為深入和準確的證據支持。人工智能技術的敏捷賦能也使得高校教師專業能力的表現性評價體系能夠進一步滿足常態化的精準測評要求，實現對教師專業能力的共時分析、精準診斷與分析、敏捷決策等目標。

[1]李艷，劉淑君.國外教師數據素養測評研究及啟示[J].開放教育研究，2020，26（1）：37-49.

[2]周文葉，宋詞.教師表現性評價：為使教學成為真正的專業——訪美國斯坦福大學琳達.達林.哈蒙德教授[J].全球教育展望，2018，47（12）：3-13.

[3]周文葉.中小學表現性評價的理論與技術[M].上海：華東師范大學出版社，2014.

[4]MANDINACH E B.Data use：what we know about school-level use[R].Rockville：special education data accountability center retreat，2009：23.

[5]MANDINACH E B，GUMMER E S.A systemic view of implementingdata literacy in educator preparation[J].Educational researcher，2013，42（1）：30-37.

[6]李青，趙歡歡.教師數據素養評價指標體系研究[J].電化教育研究，2018，39（10）：104-110.

[7] Data quality campaign.Teacher data literacy：Its about Time[EB/OL].（2016-01-26）[2022-07-10].https：//dataqualitycampaign.org /resource /teacher-data-literacy-time /.

[8]華東師范大學開放教育學院.一鍵提升你的數據素養[EB/OL].（2021-10-03）[2022-09-04].http：//www.sole.ecnu.edu.cn/mh/news/info/2273.html？typeid=987.

[9]李青，任一姝.教師數據素養能力模型及發展策略研究[J].開放教育研究，2016，22（6）：65-73.

[10]WILSON S，WINEBURG S.Wrinkles in time and place：Using perfor-mance assessments to understand the knowledge of history teachers[J].American educational research journal，1993，30（4）：729-769.

[11]單俊豪.整合學生視角的STEM教師教學勝任力表現性評價研究[D].上海：華東師范大學，2021：54-56.

[12]周文葉.學生表現性評價研究[D].上海：華東師范大學，2009：118-121.

[13]斯蒂金斯.促進學生學習的學生參與式課堂評價（第四版）[M].國家基礎教育課程“促進教師發展與學生成長的評價項目組”，譯.北京：中國輕工業出版社，2005：158-160.

[14]陳瑞生.表現性評價的任務開發：特征、原則與步驟[J].教育測量與評價，2010（4）：4-7.

[15]MERTLER C A.Designing scoring rubrics for your classroom[J].Pracical assessment research and education，2001，7（25）：1-22.

[16]唐玉霞，馬蘭.教學評估量規的編制及應用[J].遠程教育雜志，2011，29（6）：88-93.

[17]Phillip DAWSON.Assessment rubrics：Towards clearer and more replicable design，research and practice[J].Assessment & assessment in higher education，2017，42（3）：347-360.

[18]朱成晨，閆廣芬.現代化與專業化：大數據時代教育評價的新技術推進邏輯[J].清華大學教育研究，2018，39（5）：75-80.

（責任編輯 李強 孫志莉）

Performance Assessment of College Teachers Data Literacy

—Theoretical Models and Application Strategies

Shan Junhao， Zhang Gangyao

（College of Education Science and Technology，Nanjing University of Posts and Telecommunications，Nanjing，

Jiangsu，China 210023）

Abstract： In the era of education big data， the data literacy of college teachers has become the core element in improving the teaching quality of higher education.Existing assessment systems of teacher data literacy mostly focus on knowledge and summative assessment forms，but do not effectively pay attention to the assessment of teacher data literacy based on real teaching situations.This study selected the theoretical paradigm of performance assessment and introduced it into the construction of the data literacy assessment system for college teachers.Firstly， based on the review of existing literature，this study proposed a theoretical model of college teachers data literacy. At the same time，three elements of performance assessment were put forward：the design principles and methods of assessment objectives，performance tasks and assessment rules;Finally，in order to further integrate the performance assessment system of college teachers data literacy into the daily teaching work of college teachers，this study proposed three application principles：“Assessment weak interference，assessment promotion and assessment concomitance”.

Key words： Teachers data literacy;Performance assessment;Theoretical model;Big data era;Teacher assessment