語言測試的新標桿

王聰穎

摘 要：Bachman L.F.和Palmer A.S.都是響譽世界的當代應用語言學專家和語言測試專家，二人在語言學領域成績斐然。《語言測評實踐——現實世界中的測試開發與使用論證》是二人合作的又一全新力作，是語言測試領域最新、最前沿成果之一。在該書中，作者提出測試使用論證（AUA）這一新概念，并以此為框架，對語言測試開發進行論證，并制定了世界中語言測試開發的流程與規范，這對于指導語言測試開發具有重要意義，同時也將對語言測試領域產生深遠的影響。

關鍵詞：語言測試；測試使用論證；述評

中圖分類號：H0 文獻標識碼：A 文章編號：1673-2596（2017）08-0093-03

一、內容概要

《語言測評實踐：現實世界中的測試開發與使用論證》這本書是2016年暑期我參加外語教學與研究出版社（以下簡稱“外研社”）舉辦的“外語教學中的測試與評估”研修班上獲得的。拿到這本書之后，我感覺如獲至寶。這本書是外研社推出的“全國高等學校外語教師叢書”系列叢書之一。本書的作者Lyle Bachman和Adrian Palmer都是蜚聲中外的應用語言學專家，他們的測評思想獨到、影響深遠。本書也是繼1990年出版的《語言測試要略》、1996年出版的《語言測試實踐》等書之后，Bachman本人在語言測試領域的又一力作，將對語言測試領域產生深遠影響。

本書大體分為四個部分：第一部分是簡介，這部分獨立成章，主要介紹本書的目的、撰寫源由及語言測試的意義等。第二部分包括第二章至第五章。這部分重點闡釋語言測試開發與使用的理論基礎。第二章討論了語言測試開發和使用過程中的一些重要概念和議題，如語言測試（language assessment）的本質等。本章還提出了本書的核心概念——測試使用論證（Assessment Use Argument），AUA框架的內容貫穿語言測試理論架構建構及實際開發運用整個過程，這是重中之重。第三部分是測試使用及論證，包括第六章到第十二章，這部分內容涉及語言測試開發和使用的總體規劃、初步設計、構建測試AUA框架、測試結果預期及評價反饋、語言測試產品使用及影響。第四部分從第十三章到二十一章，介紹如何在現實世界中進行實際開發和使用測試產品，包括對現實世界的資源分析評估、設計方案的撰寫、測試任務的編制、考生作答記錄、測試藍圖的撰寫、測試指令的撰寫、試測及改進、測試開發及實施資源的調度等方面。

二、語言測試和語言能力

什么是“語言測試”？任何術語的使用都要有特定的背景和條件，語言測試也不例外。關于“語言測試”這個概念，作者采用了“language assessment”，因為在作者看來，沒有必要過分糾纏于“assessment”、“measurement”、“test”等概念的差別，它們本質上意義都是相同的，都有“收集信息并做出判斷”之意。如果一定要區分的話，作者認為，“評價（evaluation）”是“測試（assessment）的一種使用方式”，因為“評價”是基于信息做出有價值的判斷和決定，并且收集信息、做出決定（decisions）是語言測試的主要目的。

語言測試是一種測量，那么，語言測試測量的是什么[1]？什么是語言能力？在本書中，作者進一步說明，語言能力（language ability）是語言使用者創造和解釋語篇的能力。語言能力包括語言知識（language knowledge）和策略能力（strategic competence）兩部分。語言知識是在位于語言使用者記憶中的用以表達或理解話語的信息域，由語言組構知識（organizational knowledge，由語法知識和語篇知識所構成）和語用知識（pragmatic knowledge，由功能知識和社會知識）構成。策略能力是指在語言使用和其他認知活動中能夠起到管理功能的高度有序的元認知策略，包括目標設定（goal setting）、評價（appraising）與計劃（planning）能力。語言使用體現了使用者的語言能力。語言使用（language use）指個體對話語意義的表達與理解，或某一特定的情境中一人或多人之間對于意義的動態協商。當互動中涉及兩個或更多的人，這種互動被稱作“往復性（reciprocal）語言使用”，而只涉及一個語言使用者的情景被稱作“非往復性（non-reciprocal）語言使用”。互動性是語言使用的本質。按照互動中是否涉及語言使用任務也可以將互動的類型分為兩種：語言使用者特質之間的互動稱為內在互動（internally interactive）、使用者特質與語言使用任務（情境）特征之間的互動視為外在互動（externally interactive）。在語言使用者特質中，除語言能力特質外，還包括個人特質（personal attributes）、話題知識（topical knowledge）、情感圖式（affective schemata，如對某些特定話題的看法等）以及認知策略（cognitive strategies，即語言運用過程中執行元認知策略時所使用的具體策略）。

語言使用離不開特定的場景，這就涉及到使用域的概念。目標語言使用域（target language use domain）是指除測試任務本身之外的需要被測者完成語言使用任務的特定的情景。語言使用也離不開具體的語言使用任務，本書中的語言使用任務（language use task）是指在特定的情境中個人為實現特定目標而使用語言完成的具體活動（activity）。與此對應的目標語言使用任務（target language use task）是指在特定的情景中，個人為實現特定目標使用語言完成的活動。測試是通過考生完成語言測試任務的具體表現來推測考生完成目標語言使用域任務的表現，近而對其語言能力做出解釋。目標語言使用域的任務不同，語言使用者的表現可能會有所差異，因為任務的具體特征會對語言使用者的表現會帶來影響。所以，我們要考慮目標語言使用域的范圍，以目標語言使用域的任務為參照設計和改進測試任務。另外，在本書中，描述語言特征的框架與Bachman在1990年提出的“任務特征框架”（task characteristics）基本相同，包括“情境特征”、“任務說明特征”、“任務輸入特征”、“任務期望作答反映特征”、“任務輸入與期望作答反映之間的關系”五大方面及各自的具體要素構成。

三、語言測試的AUA框架

人們都希望測試的結果能給相關的利害者（測試的開發者、使用者、決策者以及個人、團體組織等潛在的利害人）帶來積極的影響。但是，如何證明這一點呢？也就是怎樣證明語言測試的科學性、合理性和可靠性？這需要對其進行“論證”（justify），為此，作者提出了測試使用論證（Assessment Use Argument，以下簡稱“AUA”）。

語言測試的AUA框架是測試理論的架構，是語言測試的理論基礎，能夠有效地指導實際測試開發及使用。AUA有兩大用途：第一，指導測試開發，例如做出改進已有的某個測試的決定；第二，指導測試使用，例如，做出錄取錄用的決定、做出某個學習課程的分層決定等。教學與測試是相生相伴的，語言教學與學習中的測試決策（decisions）可以是形成性的，也可以是總結性的。測試的一個主要目的是收集信息并用于決策，那么這些決策一定對測試的“利益攸關者（stake holders）”帶來影響。我們希望所做出的決定對于教學和學習帶來“有益影響”（beneficial consequences）。那么，我們怎樣能夠評價測試開發的題目是科學、有效的，并且能夠帶來積極正面的影響呢？這就需要對AUA框架進行論證。測試論證（Assessment Justification）是闡述AUA構架并且收集證據證明其架構的過程。這里，作者以哲學家Stephen Toulmin（1958，2003）的推理模型為理論依據：一個論證（argument）是由事實（data）推導結論（主張，即claim）的過程；一個主張（claim）包括一個有明確主體（entity）的命題，并且規定了主體的一個或多個屬性。理由是用來推導出主張的命題，因此，推導過程應以理由（warrants）作為支撐。理由自身也要有相關證據（backing）加以證明。推理的可靠性取決于證據的可靠性和反駁（rebuttal，指理由不成立情況下的聲明）是否成立。AUA體系中，主張（claim）是有關測試“結果”的各類聲明（statements），由測試結果（outcome）（如影響intended consequences，決策decisions，解釋interpretation與測試記錄assessment records）以及描述這些結果質量的“屬性quality”（如公平性fairness）所組成。AUA中的理由指針對主張質量屬性延伸出的更為詳實的聲明，反駁指否定主張的聲明。根據作者的觀點，我們在設計開發語言測試的過程中，要采用自上而下的方式，測試結果的“影響”決定我們所做的“決策”，“決策”與做出的測試“解釋”有關，“解釋”直接取決于“測試記錄”，而“測試記錄”直接與被測試者的測試表現相關，這樣，“影響”、“決策”、“解釋”、“測試記錄”、“考生作答表現”之間開成了一個環環相扣、層層推理的過程。每一次推理都需要論證，下一推理過程的“主張”成為上一推理過程的“事實”，由此開成一個“事實-主張”的推理機制。AUA框架將測試論證引入測試開發和使用過程的各個環節，使得整個過程更加科學、規范、嚴謹，測試產品也更有說服力和可信度。

在書中，作者用了大量的篇幅來介紹如何在理論上構建AUA測試框架。圍繞語言測試的預期影響，作者指出，應主要考慮的問題有兩方面：第一，測試和決策應帶來哪些“有益”：（beneficial）的影響；第二，明確相關利害關系人。支撐影響主張的理由有兩類：一類涉及測試使用所產生的影響；一類涉及決策制定所產生的影響。在構建與“決策”有關的主張時，應闡明下三個問題：（1）決策的具體內容；（2）相關的利害關系人；（3）決策者。支撐測試影響的“理由“需要考慮以下三方面：（1）決策的制定要與當前的教育體系、社會價值觀和相關的法律法規相一致（values sensitivity）；（2）要充分認識和評估錯誤的積極影響和消極影響的嚴重性（seriousness）；（3）分數的劃定要確保公平性（equitability）。另外，作者同樣花費了很長的篇幅探討了語言能力“解釋”的問題。關于“解釋”主張的理由涉及五方面：第一類與語言測試的參照體系（理論支撐）有關，搞清楚構念的定義，對于測試的解釋有意義（meaningfulness）；第二類與考生的作答條件有關，也就是對于語言能力的解釋要做到公平、公正、沒有偏頗（impartiality）；第三類與語言測試的任務類型有關，即測試任務是有代表性和概括性的（generalizability）；第四類指語言測試的決策和解釋之間的相關性（relevance）；第五類指語言能力的解釋的充分性（sufficiency）。對于與“測試記錄”有關的主張、理由的構建方法，主要需要關注的問題是測試記錄的一致性（consistency），理由的闡釋涉及考試實施、評分、培訓等環節。

四、總結

這本書是語言測試領域最新、最前沿的成果之一，十分難得。相較以往的闡釋，本書中即有理論支撐，又系統地介紹了如何具體操作，對于指導測試開發意義重大。文章概念清晰，論證嚴謹，舉例豐富，是語言測試學習者和研究者的營養大餐。作者獨辟蹊徑，提出了一個非常重要的概念——測試使用論證（AUA框架），從一個全新的角度解釋語言測試，進一步發展深化了語言測試的理論，將語言測試的研究推向一個新的高度。隨后，作者以AUA框架為綱領，從語言測試的理論建構到實際操作再到最后總結反饋，逐步展開，娓娓道來，的確使讀者深受啟發。貫穿語言測試整個過程的AUA框架，同時服務于測試開發與使用，高屋建翎地概覽了語言測試的全貌，對于學習者從全局上把握語言測試具有重要意義。另外，本書提出了一些新的語言測試相關的“術語”，例如，針對語言能力的“解釋”的“標準”或“原則”，作者提出了“意義性（meaningfulness）”、“無偏性（impartiality）”、“概括性（generalizability）”、“關聯性（relevance）”、“充分性（sufficiency）”，這與過去很長時間以來，測試學界流行的“信度”、“效度”、“真實性”、“交互性（interactiveness）”[2]這些術語不同，是Bachman基于AUA框架對于語言測試的新解釋，也是對測試理論的推進和發展。

參考文獻：

〔1〕李筱菊.語言測試科學與藝術[M].長沙：湖南教育出版社，2001.

〔2〕Bachman， L. F.2008.Fundamental Considerations in Language Testing.Shanghai： Shanghai Foreign Language Education Press.

（責任編輯 王文江）