基于場景的評估在PISA閱讀測評中的應用及啟示

白花麗

(濱州學院 人文學院，山東濱州 256600)

由于閱讀文本不斷發展變化、學生的閱讀量和閱讀范圍不斷擴大，學生閱讀素養測評成為不斷更新且具有挑戰性的研究課題，一些國際組織和學者紛紛將其作為專門的研究內容。已有研究較多反映了傳統閱讀評估中存在的問題，如多數已發布的標準化閱讀測試主要由孤立的段落及關于這些段落的獨立問題組成〔1〕；多數傳統測試依賴限定的題目測量特定的技能，且在標準化考試中最廣泛的閱讀目的仍是盡可能多地正確回答問題〔2〕；傳統的閱讀測評缺少跨文本的集成性閱讀任務〔3〕,等等。當前，如何在開放性的情境中進行學業測評成為新的研究熱點。相關研究認為，學生的真實學業成就不僅包括習得知識和概念，更應該包括運用知識或概念解決復雜現實問題的能力〔4〕，基于問題的任務更能激發學生興趣〔5〕，要關注學生在復雜的、開放性的問題情境中的綜合表現，強調學生在應用知識的過程中形成靈活、有效的問題解決能力〔6〕。本研究將簡要介紹基于場景評估(scenario-based assessment， SBA)的閱讀測評發展情況，并以PISA2018閱讀素養測評為例，討論SBA閱讀測評的價值和意義，總結其對我國閱讀素養測評改革的啟示。

一、基于場景評估的閱讀測評發展概況

場景源自日常生活，很容易被識別和理解，在場景中設置問題有助于保證問題空間的完整性，有助于進行多維度、多層次的思考。早在1967年，美國蘭德公司(RAND Corporation)的Kahn等就提出基于場景的分析、設計和評估方法〔7〕。基于場景的評估被認為是一種有效的評估方法，可將現實世界中的場景作為結構化分析感興趣的現象背后的因果關系的基礎〔8〕，并用于設計復雜信息系統和技術〔9〕。閱讀是一項有目的的活動，涉及整合和理解多種文本，評估信息來源的相關性，使用相關背景知識形成連貫的心理模型，以及在數字環境中完成閱讀等。為能夠應用基于場景的評估擴大閱讀范圍，2014年美國全球評估中心首席測試學家Sabatini等提出一種基于場景評估的閱讀測評方法〔10〕，這一方法將學生的背景知識、心理模型的形成和數字素養技能定為關鍵研究目標。該研究發現，在21世紀的學習環境中，學生必須在數字環境中應對提取意義的復雜性，建立心理模型會變得更加復雜，心理模型的建立需要學生將其背景知識與文本相結合，在閱讀評估中需要為學生提供與文本主題相關的背景知識，這有助于幫助學生形成基于背景知識的推論，并將他們閱讀的內容整合到現有的心理模型中。這一測評方法結合了新的閱讀素養理論和認知科學理論，并拓寬了閱讀理解的范圍。

基于場景的評估雖然不能賦予應試者自由選擇自己的閱讀目的和與這些目的相關的文本的權利，但這種評估可以為應試者提供一些用于回答或解決問題的文本來源和路徑供他們選擇，從而幫助他們基于背景知識開展推論，整合閱讀內容。相關研究表明，基于場景評估的閱讀測評可以測量復雜的閱讀過程，如在數字環境中整合評估多個來源的文本的能力〔11〕；還有助于對學生閱讀進行來源評估、視角獲取和背景知識測評〔12〕；提供中學生能力水平的有效閱讀指標〔13〕。PISA2012、2015分別在問題解決評估和合作問題解決評估中使用了基于場景的評估方法。PISA2018將SBA應用于閱讀素養評估中，用場景提供閱讀的廣泛背景或目的范圍〔14〕。通過分析PISA閱讀素養評估，可實例化地理解SBA閱讀測評的特征。

二、PISA2018閱讀素養測評中的場景設計和測評實施

PISA將閱讀素養定義為“為達到個人目標、增長知識和發展個人潛能及參與社會活動而對文本的理解、使用、評價、反思和參與能力”〔15〕。這種界定將閱讀素養視為一種生活方式，閱讀不僅能增長知識，也有助于實現個人目標、發展個人潛能，并參與到豐富的社會活動中，其中的社會活動包括從個人到公共、從學校到工作等多種場景。PISA2018充分考慮場景的重要意義，將場景與之前評估中的情境和任務相對應。本研究在分析PISA2018場景設計和測評實施的基礎上，結合SBA分析PISA閱讀測試在閱讀場景、任務、情境等方面的變化趨勢。

(一)圍繞場景建立多種信息來源集合

2018年以前，PISA閱讀素養測評使用傳統的、獨立的閱讀篇目，如PISA2009閱讀樣題中，《刷牙》摘自一本雜志，《手機安全性》摘自網站并以表格形式呈現了手機安全性的相關信息〔16〕。2018年，PISA閱讀素養測評沒有使用獨立的閱讀篇目，而是根據場景選擇不同的文章組成閱讀單元，這是傳統的以閱讀單元為組織的測評方法的自然擴展。PISA2018閱讀素養測評框架圍繞不同的場景建立了多種信息來源集合，包括文學作品、教科書、電子郵件、博客、網站、政策文件、歷史檔案等(見表1)〔17〕。學生使用從這些來源中選擇的內容，圍繞閱讀目標搜索信息、評估來源、進行理解或跨文本整合。盡管該測評框架不能讓學生自主選擇閱讀目的或搜集信息，但也為學生提供了一些自由選擇的文本來源和路徑，以實現大規模評估約束下以閱讀目的為驅動的有一定自主性的閱讀。

由表1可知，PISA2018閱讀測評方案比之前多了場景的構建，向學生展示了現實問題和需要解決的問題，涉及基本的和更高層次的閱讀和推理技能的使用。基于場景的評估比傳統的單元式評估能更真實地模擬學生與材料之間的互動和使用方式。且以PISA2018閱讀測評題目《拉帕努伊島》和《牛奶》〔18〕為例分析閱讀場景。

《拉帕努伊島》構建場景為：

想象本地1家圖書館將在下周舉辦講座，由附近大學的一位教授主講， 她會談及自己在智利以西3200多公里、位于太平洋的拉帕努伊島上的實地考察經歷。你們的歷史班將參加這個講座。老師要求大家先調查一下拉帕努伊島的歷史，以便在參加講座前對此有些認識。

《牛奶》構建場景為：

想象安娜、克里斯多福和山姆3名學生正在美國的一家咖啡店內，他們看到店主在櫥窗中放置的一個告示，上面寫著：4月5日之后本店將不再供應牛奶，改為供應大豆制成的牛奶替代品。這3名學生很想知道咖啡店為什么要停止供應牛奶，于是安娜開始用智能手機上網搜索“牛奶”二字。他們看到第1項結果并討論起來。

創設閱讀場景后：《拉帕努伊島》又為學生提供多個來源的信息，其中包括1位教授的博客文章、1篇《崩潰》的書評、1份記者報道，然后要求學生回答7個問題；《牛奶》要求學生閱讀3個來源的信息并回答7個問題，其中信息包括1篇安娜用手機搜索到的國際乳制品產業協會發表的關于牛奶營養的文章，1篇克里斯多福用手機搜索并用短信轉發的《向牛奶說“不”》的文章，3位學生關于是否要喝牛奶的對話。學生要回答的問題有選擇題、問答題等不同題型，涉及字面理解、深層理解、反思內容和形式、覺察并處理沖突、跨多個來源集成信息并生成推論等不同的認知過程。

(二)運用場景展現更真實的情境

情境一詞主要用于定義讀者與文本互動的上下文和用途，也指作者撰寫文本的意圖。PISA測評框架以歐洲委員會制定的歐洲語言共同參考框架(CEFR)為基礎進行改編，最終將情境分為個人的、公共的、職業的、教育的4種〔19〕。自2000開始，情境一直是PISA閱讀測評題目的重要維度，PISA2000、2009和2015按情境分類的閱讀任務分布比率見表2〔20〕。

表1 PISA2018閱讀題目的場景及信息來源分析

表2 PISA2000、2009、2015閱讀題目情境類型分布比率 (單位：%)

由表2可知，4種情境在測試題目中并非平均分配，由于考慮到學生缺少相應的職業知識等，PISA2000、2009和2015都對職業情景的重視程度較低。2018年，PISA閱讀測評不再以情境作為組織文本的維度，而以場景為維度組織文本，實現多種情境的整合。情境側重區分讀者閱讀文本的用途，在閱讀實踐中文本可以根據不同情況劃分為不同的情境類型，如一段文字既可以使人愉悅(個人的)也可以對人進行指導(教育的)，既可以提供專業建議(職業的)也可以是一般信息(公共的)。場景則注重區別閱讀時的廣泛背景或目的范圍，如回答一些較大的綜合性問題或根據一組教科書編寫建議進行判斷等。這種以場景組織文本的方式更符合閱讀的實際情況，向學生展示了現實問題和需要解決的問題，比傳統的情境式評估更能真實地模擬學生與材料之間的互動和使用方式。基于場景的評估可以在各種情況下對文本進行整合，有助于最大程度地提高PISA閱讀素養測試中文本內容的多樣性。

(三)運用場景測評基本的和更高層次的閱讀能力

考慮到數字閱讀中閱讀目的的多樣性和文本范圍的廣泛性，PISA2018閱讀測評更加重視對多文本環境下的閱讀認知過程的測評，涉及基本的和更高層次的閱讀和推理技能的使用。閱讀測評題目涉及多種任務，PISA2018閱讀素養測評任務更為多樣和復雜。在PISA2018閱讀素養評估中，每個場景都由一個或多個任務組成。每個場景包含多個任務，每個任務具體評估某一項認知過程；因此可將這些任務視為單獨的評估題目。圖1為PISA2018閱讀素養測評中按目標流程和文本來源進行劃分的任務分布情況〔21〕與PISA2015任務分布〔22〕情況的對比分析。

圖1 PISA2015和2018閱讀素養測評的任務分配對比圖

PISA2018基于場景的閱讀測評向學生展示了現實情景和需要解決的問題，比傳統評估能更真實地模擬學生閱讀材料時的情形，其任務范圍隨著場景設置的多樣化從傳統的定位信息、生成推論等活動擴展到更為復雜的多個文本的搜尋與選擇、證實和處理沖突等任務。以《拉帕努伊島》閱讀題目為例，其測評涉及單文本和多文本的不同層次、不同難度級別的認知過程。對PISA2018測評試題《拉帕努伊島》的題目類型等內容進行整理的題目信息如表3〔23〕。

表3 《拉帕努伊島》題目分析

由表3可知，學生首先遇到一個初始任務，該任務中學生只需根據搜索結果找到特定的文檔；在第2項任務中，學生需要回答文本中明確說明的某個信息；在第3項任務中，學生需要確定不同作品中作者的觀點是否相同,等等。由此，復雜的以場景為維度的測評被分成一組有序的任務，不同場景中的任務可以按照從簡單到困難的順序排列以測評學生不同層級的閱讀能力。

三、SBA閱讀測評的優勢與難點

(一)SBA閱讀測評的優勢

首先，SBA閱讀測評可以衡量現代學生需要具備的復雜的綜合性閱讀能力。常用的學生教學評估(student evaluations of teaching， SET)可以進行不同課程和不同教師之間的對比，但其存在局限性。因為作為標準所需的抽象性使它在改善教學設計和改善學生的學習體驗方面表現相對較差〔24〕。閱讀是一種有目的的行為，發生在特定的情境下。在傳統的閱讀評估中，學生在每個段落中回答一組零散的題目，然后繼續進行下一個無關的段落，學生在回答后面段落中的問題時會忘記前面閱讀的內容。相比之下，在SBA閱讀測評中，學生面對的不是零散或組件式的試題，而是需要在場景中完成搜集信息或使用文本解決問題等任務，這符合21世紀學生運用閱讀能力協調完成各種任務的需求；同時，SBA閱讀測評為測試者設定的總體目標及一系列實現該目標的步驟，可以增強測試者對任務的參與度，從而可以更準確地評估他們的閱讀能力〔25〕。

其次，SBA閱讀測評適應數字化閱讀測評需求。數字化閱讀不僅要求能夠識別文字、理解段落篇章，而且需要了解信息空間的特點、明確閱讀目的、分清主題類別、設置搜尋關鍵詞、有效篩選過濾信息等。SBA閱讀測評為學生設置場景及任務、提供與主題相關的閱讀文本，致力于在數字環境中測試學生閱讀單個或多個來源的文本并完成瀏覽和定位、搜索和選擇相關文本、反思內容和形式、證實和處理沖突等任務的能力。SBA閱讀測評充分關注到數字化閱讀素養的測評需求，在測評中涉及資料來源評估、分類和評價等不同的任務，以衡量學生如何整合和評估多種文本的能力。

再次，SBA閱讀測評可以幫助師生進行自我評價。學生需要利用活動來學習，學生的自我評價在評價學習活動中起著至關重要的作用，評估方法應放在學生參與學習活動的具體情況下。有研究認為評估應揭示學生是如何學習的——他們如何解釋和理解主題，絆腳石在哪里，他們不理解材料時做什么，他們如何應對不同的教學實踐〔26〕。有效的學習活動應該幫助學生了解如何將概念和技能結合起來，解決他們在所選領域可能面臨的問題。SBA閱讀測評可以幫助教師和學生理解學習背景，理解如何設計和重新設計活動。這種評估方式被運用于閱讀評估中能更好地將一般的閱讀測評與實際閱讀活動聯系起來。它一方面有助于教師了解學習活動的演變或進行重新設計，另一方面能幫助學生了解并改善其學習效果。

(二)SBA閱讀測評的難點

SBA閱讀測評雖然符合時代發展的要求，但是在實施中也遇到了一些難題。第一，SBA用來衡量現代學生所要具備的復雜的綜合性閱讀能力，雖然有研究表明該方法對初中和高中學生都是可行的〔27〕，但在當前教育狀況存在地域差異的情況下，如何結合學情設定場景類型和任務難度等問題需要進一步思考。第二，SBA閱讀測評更適合在計算機化測評中進行，在當前計算機化測評未得到廣泛推廣使用的背景下，如何在紙筆測評中有效開展，這一問題也值得思考。紙筆測評在衡量學生整合和理解多種文本、評估信息來源的相關性等能力方面受到一定限制，但可以從試題設置到評分等多方面開展基于場景評估的測評改革。例如，在題干的設置上立足生活中的實際問題創設場景；在試題的形式上注意封閉性試題與開放性試題的合理安排；在試題問題的排列上由簡單到復雜，從信息檢索、字面理解逐漸過渡到深層理解、反思與評價等能力的考核；在試題的答案設置和評分原則上，鼓勵學生根據設置的場景、閱讀材料分析思考得出答案等。相信在不斷的探索中將會積累更多豐富的經驗。

四、啟示

為落實《中共中央國務院關于深化教育教學改革全面提高義務教育質量的意見》，教育部于2019年印發《關于加強初中學業水平考試命題工作的意見》，緊扣初中學業水平考試命題這一關鍵環節做出一系列直指教育評價的制度突破，引導教師積極探索基于情境、問題導向、深度思維、高度參與的教育教學模式，提出考試命題要增強情境創設的真實性、典型性和適切性〔28〕。教育改革背景下的閱讀測評是對學生適應未來生活及終身學習能力的評價，基于場景的試題設計則更有助于實現這一測評目標。SBA閱讀測評啟發我們要基于真實的問題情境進行測評，具體可以從以下3個方面嘗試閱讀測評設計：

首先，圍繞場景建立多種來源文本的集合，重視對多文本環境下閱讀認知過程的測評。圍繞場景可以選擇電子郵件、論壇、書籍、報紙等不同來源的文本組成閱讀測試單元，突破以單一來源文本為主要文本類型的局限，以測評學生在閱讀任務指引下的搜集和選擇相關信息、判斷文本質量和信度、反思文本內容和形式等方面的能力。

其次，以場景為維度組織文本，實現閱讀測評中不同情境的整合。運用場景向學生展示現實情境和需要解決的問題，整合個人的、教育的、職業的或社會的多種情境，再以場景為維度將閱讀測評的題目設置為一組有序的任務，這樣既有助于提升閱讀測試反應現實閱讀需求的能力，又可以促進學生有意識地使用任務導向的閱讀策略去完成閱讀測評。

再次，細化閱讀認知難度層級，測評學生的深層閱讀能力和思維過程。PISA2018 測評細化了閱讀策略的層級，注重對文本信息的整體理解、評價與反思、任務管理策略等高階閱讀認知策略測評，借鑒其評測方法，有助于將閱讀認知過程的評測范圍從傳統的信息定位、整合與理解等擴展到更為復雜的交互性文本的深層理解等。