英語閱讀能力診斷性成績報告對比研究

摘? 要：本研究選取Score Report Plus、DiagnOsis和UDig三份國內外具有代表性的英語閱讀能力診斷性成績報告，使用質性研究方法開展對比研究。首先，運用促學性反饋理論將三份成績報告內容進行對比;接著，采用深度訪談方法從語言學習者角度調查大學生對三份報告的理解和使用。研究結果表明：1. UDig報告信息最為全面，內容涵蓋促學性反饋理論的多個層面。2. 在理解性和使用性方面，受試對三份成績報告由高至低排序為UDig、DiagnOsis和Score Report Plus。通過對比分析和實證調查，研究總結出有效診斷性成績報告的特征，以期為我國的診斷性成績報告設計和應用提供借鑒，從而提高學生的學習效率。

關鍵詞：診斷性成績報告;促學性反饋理論;學習者視角

Abstract： In this study， Score Report Plus， Diagnosis， and UDig three representative diagnostic reports on English reading ability at home and abroad were used， and a qualitative research method was used to conduct a comparative study. First of all， the content of the three score reports is compared using the academic feedback theory; then， the in-depth interview method is used to investigate the understanding and use of the three reports from the perspective of language learners. The results of the research show that： 1. The UDig report is the most comprehensive， covering multiple levels of academic feedback theory.2. In terms of comprehension and usability， the subjects ranked the three score reports from high to low as UDig， Diagnosis and Score Report Plus. Through comparative analysis and empirical investigation， the study summarizes the characteristics of effective diagnostic performance reports， with a view to providing reference for the design and application of diagnostic performance reports in China， thereby improving students' learning efficiency.

Keywords： diagnostic score report; academic feedback theory; students' perspectives

一、概述

成績報告是連接測試和使用者的重要一環，它蘊含著測驗結果的意義和解釋，直接影響著教育決策部門、學校、教師和學生對分數及其背后信息的使用。《大學英語教學指南》（2017）指出，“英語測試應發揮測試對教學的正面導向作用，使之更好地為教學提供診斷和反饋信息，促進大學生英語能力的全面提高”。作為評價工作的重要環節，分數報告對實現教學診斷、建立反饋機制、促進學業質量提升具有積極效用。

受傳統的語言測試方法影響，我國的語言測試實踐大多采用能力水平的研究范式，從宏觀上給學生一個整體評估，在成績報告上體現為總分或能力值。近年來，隨著認知心理學開始滲透到心理測量領域，認知診斷測試逐步發展起來。認知診斷測試著重考查學生認知結構的個體差異，屬于認知水平的研究范式。在認知診斷測試理論指導下的成績報告擺脫了單一總分的限制，可以根據學生的實際水平，展示區分學習者語言能力的關鍵參數，從而發現學習者在語言學習上的優勢與不足，為語言學習提供指導[2]。在英語學習中，閱讀是語言輸入的最主要環節，是提高英語語言能力的重要手段，因此，認知診斷測試在外語閱讀方面得到了廣泛應用。在診斷性成績報告研究與實踐中，也以英語閱讀報告數量最多、成熟度最高。

本研究選取國內外具有代表性的三份英語閱讀能力診斷性成績報告，首先運用促學性反饋理論[1]將三份成績報告的內容進行對比;接著，使用深度訪談等質性研究方法，從語言學習者角度調查大學生對三份成績報告的理解和使用。通過對比分析和實證調查，研究總結出有效的診斷性成績報告特征，以期為我國的診斷性成績報告設計和應用提供借鑒，從而促進課堂教學效果、提高學生的學習效率。

二、研究背景

（一）成績報告研究

成績報告，又稱成績反饋，是指在測試完成之后，學習者或其他相關人員得到的關于測試結果的通知[1]。報告內容既可以包括受試的知識結構信息，也可以包含認知策略、個人信念等其他維度。國內外成績報告研究涉及宏觀和微觀兩個層面。宏觀研究將成績報告融入反饋研究范疇，微觀層面則聚焦成績報告的內容與形式、開發與效驗[3-4]。其中，Hattie & Timperley[1]基于500多項實證研究結果，以效應量為主要指標考察成績報告對學生學習的影響，并提出有效成績反饋的理論框架——促學性反饋理論[1]，在反饋研究領域獲得了廣泛探討。

促學性反饋理論涵蓋反饋目標、反饋對象、反饋內容和反饋層面四個方面。其中，反饋目標是成績反饋的出發點。一般而言，任何成績反饋都是以縮小當前的知識狀態、能力表現與學習目標之間的差距為目標的。反饋對象包括學生和教師兩類。反饋內容包括依據目標的反饋（Feed Up）、學習現狀反饋（Feed Back）和未來學習建議（Feed Forward）三部分內容，分別回答“學習者將要去哪里”、“學習現狀如何”以及“下一步怎么辦”等問題。三部分內容之間相互聯系、相互作用，形成一個有機整體，并在四個層面上發揮作用，分別為：任務層面（Task Level）、過程層面（Process Level）、自我調適層面（Self-regulation Level）和自我認知層面（Self Level）。任務層面反饋通常包含任務完成質量方面的信息。過程層面反饋關注學生完成任務的過程、策略和方法。自我調適層面反饋注重學生在學習過程中的自我調整和自我反思。自我認知層面的反饋一般使用“優秀”、“良好”等評價性語言概括學生的任務表現，而不對任務完成情況進行具體描述。Hattie & Timperly認為，相較于其他三個層面而言，自我認知層面的反饋效果最低[1]。

（二）診斷性成績報告研究

一般而言，認知診斷測試實施的步驟包括七個方面，分別為明確測量目標，確定認知屬性，建立Q矩陣，使用數學模型、分析認知結構，評估診斷模型，反饋診斷信息，以及開展補救性教學[2]。其中，反饋診斷信息是連接測試與教學的“橋梁”，是診斷性教學的前提與保障。成績報告是反饋診斷信息的主要方式，也是認知診斷測試研究的重要方面。

當前診斷性成績報告研究呈現三個特點：1. 測試研究為主、反饋研究為輔。盡管認知診斷測試的理論價值與實踐意義已漸為國內外學者所認同[5]，但基于診斷測試的成績報告研究尚處于起步階段，相關研究十分匱乏。2. 理論研究居多、實證研究較少。已有研究大多從理論層面探究診斷性成績報告的概念、設計原則與方法，較少運用實證研究方法，從使用者角度考察診斷性成績報告的效用。3. 國外研究較多、國內研究較少。國外研究人員和相關機構逐步開發出多種具有診斷性質的成績反饋方式，具有代表性的有Score Report Plus和DiagnOsis。前者由美國大學理事會研發，用于匯報考生參加的高考預考（PSAT）的成績;后者為Jang[6]經過系列研究得出，并發表于語言測試著名期刊Language Testing。相對于國外研究，國內相關研究很不系統。值得一提的是，外語教學與研究出版社對診斷測試與診斷性成績報告進行了一項重要探索。研發團隊開發出UDig大學生英語能力成長診學系統，一方面分技能測試學生的英語語言能力，另一方面配套群體（班級）和個體（學習者）診斷性成績報告，反饋診斷結果。

基于當前研究現狀，本研究選取Score Report Plus、DiagnOsis和UDig三份具有代表性的成績報告為研究對象，開展閱讀能力診斷性成績報告對比研究。研究問題包括：

1. Score Report Plus、DoagnOsis和UDig三份閱讀能力診斷性成績報告有何相同點與不同之處？

2. 語言學習者如何理解和使用三份閱讀能力診斷性成績報告？

三、研究方法

（一）研究設計

本研究采用質性研究中的比較研究與案例分析方法，分兩階段完成。在第一階段，研究基于促學性反饋理論[1]，對比分析Score Report Plus、DiagnOsis以及UDig

三份閱讀能力診斷性成績報告的特點與異同。第二階段為案例研究階段，通過半結構化訪談深入調查語言學習者對三份成績報告的觀點與態度。

（二）參與對象

第一階段的參與者為研究人員、1名碩士研究生和1名本科學生。他們的主要任務為確定促學性反饋理論的操作框架，并根據該框架對比分析三份成績報告。第二階段的受試為7名來自國內某211高校的本科學生。他們均自愿參與研究，并填寫背景信息調查表。

（三）數據收集與分析

在研究第一階段，三位參與者獨立閱讀三份閱讀能力診斷性成績報告，并根據工作框架將三份成績報告的內容進行對比;接著，參與者就對比結果進行交流與討論，形成最后的討論結果。在第二階段，研究人員征得參與對象的同意，在參與對象所選地點進行了訪談。訪談完成之后，所有語音訪談資料均轉寫成文字稿，并使用winMAX pro軟件對訪談數據進行關鍵詞標注，從而提煉出具有共性的主題。

四、結果與討論

（一）研究問題一

基于促學性反饋理論的對比分析結果顯示，UDig閱讀能力診斷性成績報告提供的信息最為全面，內容涵蓋8個方面。Score Report Plus成績報告次之，報告了7個方面的信息。而DiagnOsis成績報告信息量最少，僅涉及5個方面的內容（請見表1）。

就反饋目標而言，UDig成績報告在起始位置進行標注，即“可根據這份成績報告了解您目前的閱讀能力級別、閱讀微技能待提高項、重點關注方面等，以便制定下一步的學習目標”。Score Report Plus報告在其封面頁，通過文字表述，詳細交代了PSAT考試和成績報告的目的，即幫助學生提高技能，為高考做準備。而DiagnsOsis成績報告則沒有反饋目標方面的描述。

根據反饋對象的差異，UDig將成績報告分為個人版和教師版。個人版的反饋對象為考生個體，教師版的反饋對象為班級英語教師。Score Report Plus成績報告的反饋對象以學生為主。雖然該報告沒有專門設立教師版本，但是，報告指出，成績報告可以同時供教師、學校以及其他教育相關部門使用。而DiagnOsis成績報告的反饋對象僅為學習者個人，報告中沒有提及教師或其他成績報告的使用人員。

在反饋內容方面，首先，三份成績報告均包含依據目標的反饋信息，但表現方式不盡相同。UDig通過目標能力級別要求、班級百分比排名等多種方式，展現考生對于學習目標的完成程度。Score Report Plus和DiagnOsis報告中反映目標完成度方面的信息較少。前者匯報了測試的總分、分項分，而后者則報告了總分和高、中、低三類難度題目上考生的完成程度。其次，三份成績報告均對學習現狀做出細顆粒度的描述，內容涉及任務和過程兩個層面。UDig個人版成績報告通過文字與圖表相結合的方式，展現考生答題過程方面的優勢與劣勢，包括閱讀微技能掌握情況等。但是，該報告對于任務層面的反饋不夠充分，僅列出一道典型題目。Score Report Plus報告在過程層面上以條形圖的方式展現考生對于閱讀微技能的掌握情況;在任務層面上設立試題回顧部分，列出每一道題目的正確答案和試題難易度信息。DiagnOsis報告在學習現狀反饋方面的設計與Score Report Plus報告類似，以表格形式對考生的任務表現進行回顧，并運用條形圖展現考生的微技能表現。特別是，該成績報告對于每項微技能的具體含義和達標要求進行了詳細闡述，方便考生開展補救性學習。但是，三份成績報告均沒有出現自我調適和自我認知層面的反饋信息。最后，在三份成績報告中，UDig和Score Report Plus向考生提供了未來學習建議，以幫助考生制定下一步學習計劃為主要目標。但是，DiagnOsis并沒有學習建議方面的內容，不利于教師、家長和其他相關人員對考生的學習提供幫助和指導。

（二）研究問題二

研究對訪談數據進行關鍵詞標注和整理，提煉出理解和使用兩項主題，前者是受試對三份成績報告的理解情況，后者為受試對三份成績報告的有用性反饋。

1. 可理解性

在可理解性方面，7位受試中，5位表示UDig成績報告可理解程度最高。該報告內容充實具體、語言表達明確、圖表展現清晰、色彩搭配科學、整體布局合理，為成績報告的理解性和易讀性提供了充分保障。相對于文字描述而言，受試對圖表的理解程度更佳。例如，有學生表示 “可以理解文字內容，知道閱讀微技能等描述的含義，但是主要還是看圖表，文字描述只是掃了一眼”（S2）。對于文字描述，部分受試表示只關注總結性描述，忽略了細節內容。

2位受試認為DiagnOsis報告語言精練、表述清晰、內容簡潔、篇幅較短，理解性最佳。例如，S1表示“DiagnOsis比較清晰，而且第二頁關于具體技能的描述十分詳細，有助于理解每道題背后考察的微技能是什么”。但是，相對于其他兩份報告使用彩色排版，DiagnOsis報告為黑白顯示。因此受到部分學生的質疑，認為該報告“排版設計不夠吸引人”（S7）。

受試普遍認為Score Report Plus成績報告的可理解性最差，主要原因包括內容龐雜、排版混亂、語言表述復雜等。例如，S3表示“這份報告頁面設計不夠簡潔，有大段的官方介紹的，對于急于了解自己成績的學生比較不友好”。

值得注意的是，部分受試將成績報告的語言和篇幅納入可理解性的影響因素。例如，S3將UDig成績報告可理解性較高的原因歸結于其使用的語言，即漢語，而其他兩份成績報告均為英語表述。S4則以成績報告的篇幅為主要指標，依據長度對報告的可理解性進行排序。

2. 有用性

在可接受度和有用性方面，UDig成績報告最佳，其次為DiagnOsis，最后是Score Report Plus成績報告。具體而言，UDig成績報告可接受度和有用性最高的項目為閱讀微技能、文本體裁和話題等過程層面的反饋信息，以及未來學習建議部分。受試認為“新手可以利用微技能部分的反饋快速提高閱讀能力;老手可以通過體裁、話題表現選擇閱讀材料、培養閱讀興趣、打好閱讀基礎”（S6）。對于學習建議部分，受試表示“各部分內容都還是非常有用的，特別是診斷和建議部分，有利于學生根據建議調整學習計劃和內容”（S4）。

DiagnOsis成績報告可接受度和有用性最高的部分為試題回顧，原因是“該成績報告對每道題答題情況給出了比較詳細并且嚴謹的信息”（S6）。此外，也有部分受試表示，DiagnOsis報告中的閱讀微技能闡釋具有一定的促學作用。

Score Report Plus成績報告各項目可接受度和有用性排名從高至低分別為百分比排名、分數區間、試題回顧和微技能表現。受試的表述如下：“這份報告最有用的就是考生分數在所有考生中的位置，有利于我們了解自己英語閱讀能力處在哪個水平”（S3）;“報告提供分數所處區間范圍非常有用。然后它有對各項表現和能力掌握進行了具體分析，優點是更加直觀地了解了長短處，有利于對癥下藥，針對較弱的部分加強訓練”（S4）。

綜上所述，受試認為UDig成績報告中過程性層面的反饋信息內容充實、表達清晰、效果最好，而DiagnOsis和Score Report Plus成績報告在任務型層面的反饋更為具體有效。綜合對比分析和學生訪談結果，可以總結出有效的診斷性成績報告特征，包括：

（1）目標明確：要求在成績報告的開頭對成績反饋的目標有一個大致說明，方便學生和家長閱讀。

（2）對象具體：針對不同的反饋對象，提供不同版本的成績報告，一方面以不同的形式匯報考試成績，另一方面針對對象差異，提供不同的建議。

（3）內容全面：反饋內容應包括依據標準的反饋、學習現狀反饋和未來學習建議三個方面，對考生能力和表現做出全面反饋。

（4）層次豐富：成績報告應涉及任務和過程層面的反饋，可以分別通過試題回顧和考生在不同微技能、文本體裁和話題上的掌握程度進行反饋。此外，也可在測試中增加自評等項目，并將自評結果展現于成績報告中，實現自我調控層面的反饋。

（5）語言精練：文字描述清晰簡潔，避免使用復雜的語言。

（6）結構清晰：成績報告應結構清楚、排版清晰，建議使用圖表方式展現過程層面反饋等關鍵信息。

五、結束語

本研究選取Score Report Plus、DiagnOsis和UDig三份具有代表性的閱讀能力診斷性成績報告，使用質性研究方法開展對比研究。研究發現：1. UDig閱讀能力診斷性成績報告提供的信息最為全面，內容涵蓋促學性反饋理論中的反饋目標、反饋對象、反饋內容等多個方面，并通過任務和過程兩個層面發揮作用。但是，相對于其他兩份報告，UDig報告對于任務層面的反饋不夠充分。2. 在理解性和使用性方面，受試對三份成績報告由高至低排序為UDig、DiagnOsis和Score Report Plus。大部分受試可以準確理解UDig報告信息，并基于診斷信息進行補救性學習。Score Report Plus報告因其內容龐雜、排版混亂等問題，可理解程度最低，促學作用不強。通過對比分析和實證調查，研究總結出有效診斷性成績報告特征，以期為我國的診斷性成績報告設計和應用提供借鑒，從而促進課堂教學效果、提高學生的學習效率。

參考文獻：

[1]Hattie， J.， & Timperley， H. The power of feedback[J]. Review of Educational Research， 2007，77（01）：81-112.

[2]范婷婷，曾用強.認知診斷測試及其在閱讀理解能力上的應用述評[J].中國外語，2016（02）：82-89.

[3]劉輝.促進學習的評價：從報告分數到建立反饋機制[J].當代教育科學，2016（04）：29-32.

[4]Vezzu， M.， Van Winkle， W.， & Zapata-Rivera， D. Designing and evaluating an interactive score report for students[R]. Research Memorandum， ETS RM-12-01，2012.

[5]范婷婷，曾用強.基于中國英語能力等級量表的閱讀能力診斷模型研究[J].中國外語，2019（03）：21-31.

[6]Jang， E. E. Cognitive diagnostic assessment of L2 reading comprehension ability： Validity arguments for Fusion Model application to LanguEdge assessment[J]. Language Testing， 2009，26（01）：31-73.