大學(xué)英語成就測驗(yàn)中思辨能力評(píng)估的效度
——以山東某高校英語專業(yè)二年級(jí)精讀課程期末測試為例

楊 亮

(東南大學(xué)外國語學(xué)院，江蘇 南京 211100)

一、引言

思辨能力是語言學(xué)習(xí)能力中的重要部分，也是衡量學(xué)生綜合素質(zhì)水平的重要指標(biāo)。外語成就測驗(yàn)的目的是評(píng)估學(xué)生對(duì)于目的知識(shí)與技能的掌握程度，發(fā)現(xiàn)存在的問題，并為下一步的學(xué)習(xí)與教學(xué)提供針對(duì)性的反饋。

當(dāng)前，思辨能力的培養(yǎng)愈發(fā)受到關(guān)注。在教育改革的背景下，精讀課程在培養(yǎng)學(xué)生的思辨能力方面承擔(dān)著重要作用。因此，作為精讀課程的成就測驗(yàn)，精讀課程期末測試除了應(yīng)考查學(xué)生的基本語言能力，還應(yīng)考查學(xué)生的思辨能力。

為了解一項(xiàng)測試在檢測某能力或技能方面的表現(xiàn)如何，應(yīng)對(duì)其構(gòu)念效度進(jìn)行研究。但目前，國內(nèi)有關(guān)大學(xué)英語閱讀成就測驗(yàn)的實(shí)證研究并不多，探究思辨能力評(píng)估效度的更是寥寥無幾。本研究以2020年6月山東某高校英語專業(yè)二年級(jí)精讀課程期末測試為例，采用Bachman和Palmer的測試使用論證框架(AUA)作為效度驗(yàn)證的理論依據(jù)，并以訪談法收集定性數(shù)據(jù)，借此探究大學(xué)英語精讀課程成就測驗(yàn)中思辨能力的評(píng)估效度，并期望給測試開發(fā)及后續(xù)教學(xué)帶來一定啟發(fā)。

二、理論框架

(一)語言能力與構(gòu)念

在語言測試中，“構(gòu)念”指語言測試所要衡量的潛在特征或能力。傳統(tǒng)觀念認(rèn)為，英語語言測試的構(gòu)念僅包含語言能力，其重點(diǎn)在于正確使用詞匯和語法。然而，這種對(duì)語言測試構(gòu)念的界定忽視了交際的重要作用。隨著語言測試實(shí)踐的不斷發(fā)展，語言能力的概念得到了進(jìn)一步的闡述，語言測試中的構(gòu)念也經(jīng)歷了從基本的語言技能到認(rèn)知能力的發(fā)展階段。

本研究所關(guān)注的測試是一門語言技能課程的成就測驗(yàn)，因而測試的構(gòu)念應(yīng)包括語言能力。既然該課程的培養(yǎng)目標(biāo)中包含思辨能力，這種技能也應(yīng)該在測試中有所體現(xiàn)。孫有中指出，以往的語言能力模型局限于人際交往的基本語言技能，對(duì)學(xué)術(shù)語境中語言和思辨能力的關(guān)系不夠重視，因而提出了新的模型。與先前的語言能力模型相比較，孫有中的模型更加強(qiáng)調(diào)思辨性技能，并且他本人也倡導(dǎo)以批判性思維為中心的語言教學(xué)法。此外，有中的模型是針對(duì)大學(xué)生的語言能力所構(gòu)建的，而非一般意義上的語言能力。因此，這一模型更加適合本研究的數(shù)據(jù)收集和分析。此外，文秋芳等在回顧了批判性思維的相關(guān)模型后，提出了一個(gè)評(píng)估中國大學(xué)生思辨性技能的概念框架。基于兩位中國學(xué)者的模型，針對(duì)英語專業(yè)二年級(jí)精讀課程期末測試中的思辨能力評(píng)估效度檢測，文章認(rèn)為思辨性語言能力包括兩個(gè)組成部分，一是基本人際交流能力(包括語法能力、語篇能力、社會(huì)語言能力)，二是認(rèn)知語言能力(包括分析、推理、評(píng)估的思辨性技能和跨文化能力)。該模型為后續(xù)的訪談與分析提供了指導(dǎo)。

(二)測試使用論證框架

測試“效度”的概念與其驗(yàn)證方法歷經(jīng)了幾個(gè)發(fā)展階段。2010年，基于前人的觀點(diǎn)，Bachman和Palmer提出了測試使用論證框架(AUA)，為測試開發(fā)提供了一個(gè)新視角和可操作的理論模型。根據(jù)AUA框架，測試由五個(gè)部分組成:效果、決策、解釋、測評(píng)記錄和測評(píng)表現(xiàn)。每個(gè)部分都有主張、理據(jù)和反駁，其中理據(jù)是指對(duì)于一個(gè)特定的測試，詳細(xì)說明一項(xiàng)主張的一個(gè)或多個(gè)品質(zhì)的明確陳述。

例如，為了證實(shí)一個(gè)評(píng)估結(jié)果的有效性，必須從以下幾個(gè)方面提供證據(jù)支持:1.評(píng)估中某項(xiàng)構(gòu)念的定義是基于一門課程、教學(xué)大綱、需求分析或一項(xiàng)當(dāng)前研究和理論的參考框架，并將該構(gòu)念與其他相關(guān)的構(gòu)念明確區(qū)分開來。2.評(píng)估中的任務(wù)應(yīng)該清楚說明在何種條件下觀察受試的表現(xiàn)，以此來對(duì)打算評(píng)估的構(gòu)念做出推斷。3.評(píng)估的管理程序允許受試能夠在被評(píng)估能力方面達(dá)到最高水平。4.生成測評(píng)記錄的程序集中于打算評(píng)估的構(gòu)念。5.評(píng)估使用的任務(wù)對(duì)構(gòu)念體現(xiàn)的能力做出一定要求。6.測評(píng)記錄可以解釋為被測能力的指標(biāo)。

AUA框架是一種較為新型的測試驗(yàn)證法，涵蓋了傳統(tǒng)意義上信度和效度的概念，也為測試開發(fā)、評(píng)估和解釋提供了一個(gè)完整詳細(xì)的模型。文章擬采用AUA框架探究一項(xiàng)成就測驗(yàn)中思辨能力評(píng)估的效度。在解釋的主張的理據(jù)中，與之對(duì)應(yīng)的構(gòu)念即為思辨能力，測評(píng)記錄為該測試的成績。

三、研究問題與設(shè)計(jì)

(一)研究問題

本研究旨在探討山東某高校英語專業(yè)二年級(jí)精讀課程期末測試中思辨能力的評(píng)估效度。研究問題為:在該測試中，思辨能力是否得到了有效的評(píng)估?為了更好地回答這一問題，文章以AUA框架中，“解釋的意義”主張下的理據(jù)為指導(dǎo)，延伸出六個(gè)子問題:1.測試中思辨能力的定義是否基于當(dāng)前的理論和模型?2.測試項(xiàng)目是否明確規(guī)定了任務(wù)的特點(diǎn)，以便引出和觀察考生的思辨能力表現(xiàn)?3.測試的條件是否允許考生在思辨能力方面發(fā)揮出了自己的最高水平?4.測試的評(píng)分過程是否集中于思辨能力相關(guān)的表現(xiàn)?5.測試中的任務(wù)是否包含思辨能力的運(yùn)用?6.測試成績是否能視為考生思辨能力的指標(biāo)?

(二)研究設(shè)計(jì)與方法

文章主要采用定性分析法來支持或否決以上的理據(jù)。數(shù)據(jù)來源于對(duì)考生和教師的訪談，并采取文本分析來分析數(shù)據(jù)，使用NVivo11對(duì)數(shù)據(jù)進(jìn)行分段和編碼。

依據(jù)考試結(jié)果，抽取了2個(gè)低水平(低于65分)、2個(gè)中水平(65～85分)和2個(gè)高水平(高于85分)的考生參與訪談。對(duì)于考生的訪談問題是基于AUA理據(jù)所設(shè)計(jì)的，涉及他們對(duì)于思辨能力的理解、他們認(rèn)為測試應(yīng)如何設(shè)計(jì)來評(píng)估思辨能力、教師是如何介紹本測試的、在每個(gè)測試項(xiàng)目中評(píng)估了哪些能力或技能、這次測試對(duì)他們的影響、測試與課堂學(xué)習(xí)的關(guān)系以及他們認(rèn)為如何改進(jìn)這次測試。另外，選取了兩名教師參與此次訪談，他們均參與了本學(xué)期精讀課程的教學(xué)以及期末測試的開發(fā)與評(píng)分。訪談問題涉及本課程的教學(xué)目標(biāo)和教學(xué)方法、課程期末測試中需要考核的知識(shí)和技能、試卷是否明確說明了如何完成任務(wù)、教師如何向?qū)W生介紹考試的、測試的設(shè)計(jì)思路、測試設(shè)計(jì)和評(píng)分時(shí)對(duì)于思辨能力的考慮、考生成績與課堂表現(xiàn)的一致性、測試與課堂教學(xué)的關(guān)系以及如何改進(jìn)測試。

四、結(jié)果與討論

(一)問題1:測試中思辨能力的定義是否基于當(dāng)前的理論和模型?

在訪談中，教師A給出了相對(duì)應(yīng)的回答。她說:“在課堂上，我會(huì)向?qū)W生介紹一些思辨能力相關(guān)的理論框架，然后運(yùn)用這些理論框架來分析文本。例如，在教授議論文的閱讀時(shí)，我會(huì)提到Paul和Elder的三維框架，它涉及思維要素、智力標(biāo)準(zhǔn)和智力美德。我會(huì)尤其強(qiáng)調(diào)思維的要素，然后與文本聯(lián)系起來，試著讓他們理解我們是如何分析文本中這些要素的。”她的回答顯示，精讀課堂中的思辨活動(dòng)，尤其是文本分析中涉及的思辨活動(dòng)，是基于Paul和Elder的理論模型。另外，她本人也參與了該測試的開發(fā)。因此有理由認(rèn)為思辨能力的定義也適用于該課程的期末測試，因?yàn)閷W(xué)生在課堂上習(xí)得與使用的思辨能力是可以轉(zhuǎn)移的。基于這一證據(jù)，可以證明測試對(duì)于思辨能力的定義是基于當(dāng)前的理論模型的。

(二)問題2:測試項(xiàng)目是否明確規(guī)定了任務(wù)的特點(diǎn)，以便引出和觀察考生的思辨能力表現(xiàn)?

在對(duì)考生的采訪中，問題涉及他們是否清楚測試項(xiàng)目要求他們做什么來完成任務(wù)。可以認(rèn)為，如果學(xué)生清楚完成任務(wù)需要做什么，他們就能理解任務(wù)的特點(diǎn)，以便采取相應(yīng)的能力和技能來完成任務(wù)。由于思辨能力是學(xué)生用來完成任務(wù)的能力和技能的一部分，所以這個(gè)問題的答案可以作為問題2的依據(jù)。

在回答這個(gè)問題時(shí)，被采訪的學(xué)生給出了不同程度上的肯定回答。學(xué)生3說教師在考試前已經(jīng)給他們講過了任務(wù)的類型，這極大地幫助了她對(duì)于如何完成任務(wù)的理解。學(xué)生6認(rèn)為每個(gè)任務(wù)都很清晰，因?yàn)樵诿總€(gè)任務(wù)前都有詳細(xì)的指令。訪談表明，測試項(xiàng)目的清晰度是良好的，這體現(xiàn)在任務(wù)前存在詳細(xì)的指令。另外，教師在考前對(duì)于測試的介紹也具有重要作用。

(三)問題3:測試的條件是否允許考生在思辨能力這方面發(fā)揮出了自己的最高水平?

針對(duì)此問題，學(xué)生6明確提出自己的時(shí)間不夠用，不能完成所有的題目，尤其是寫作任務(wù)。她說:“首先，我需要用到思辨能力去思考；其次，我要在短時(shí)間內(nèi)運(yùn)用語言組織能力迅速寫好一篇文章。當(dāng)時(shí)在考試的時(shí)候，我只有二三十分鐘的時(shí)間來寫一篇較長的文章。”這表明，由于時(shí)間的限制，學(xué)生6使用組織語言的能力遠(yuǎn)超了思辨能力，導(dǎo)致她的思辨能力無法發(fā)揮出最高水平。在談到這次測試給她帶來的影響時(shí)，她也指出了時(shí)間的不足會(huì)限制思辨能力的發(fā)揮。“我不否認(rèn)這次考試在一定程度上提高了自己的思辨能力。但由于題量大、時(shí)間緊，所以測試前和測試時(shí)我都有很大的壓力。”在談到測試的負(fù)面影響時(shí)，她認(rèn)為時(shí)間不夠、測試項(xiàng)目太多給她帶來了很大的壓力，在這樣的壓力下，她是很難達(dá)到自己思辨能力的最高水平的。當(dāng)談到如何改進(jìn)測試這一話題時(shí)，學(xué)生1也提到了時(shí)間上的不足。“我在寫作文時(shí)，由于時(shí)間太短，所以只能保證不出現(xiàn)語法錯(cuò)誤，不能保證句子的邏輯和文采。”在學(xué)生1看來，時(shí)間的不足可能會(huì)影響她對(duì)問題的理解，她的語言輸出也會(huì)趨于簡單。

來自教師的觀點(diǎn)也說明了類似的結(jié)果。當(dāng)提及學(xué)生在考試中思辨能力的表現(xiàn)與課堂表現(xiàn)的一致性時(shí)，教師B更加直接地指出了時(shí)間不足對(duì)學(xué)生思辨能力表現(xiàn)的影響:“我認(rèn)為這個(gè)測試很難反映他們的思辨水平。因?yàn)闀r(shí)間緊、題量大，所以他們沒有更多的時(shí)間去思考。特別是在寫作部分，成績普遍不夠理想。”

因此，這表明了該測試條件限制了學(xué)生思辨能力的發(fā)揮。

(四)問題4:測試的評(píng)分過程是否集中于思辨能力相關(guān)的表現(xiàn)?

針對(duì)問題4，兩位教師均持否定態(tài)度，但觀點(diǎn)略有不同。

教師A認(rèn)為評(píng)分過程未聚焦思辨能力是因?yàn)槿蝿?wù)類型不同。在一些任務(wù)中，思辨能力是可以區(qū)分的。例如，寫作的評(píng)分依據(jù)主要為語言和內(nèi)容，而內(nèi)容考查學(xué)生思辨能力，如邏輯是否清晰、例子是否恰當(dāng)、解釋是否充分。而另一些任務(wù)中的思辨技能是隱性的。例如，任務(wù)3為翻譯，原句中暗含因果關(guān)系。有些學(xué)生的譯句中并未顯現(xiàn)這一點(diǎn)，則間接說明了他們思辨能力的不足。因此，她認(rèn)為不同的任務(wù)對(duì)能力或技能的側(cè)重點(diǎn)不同，考試的打分過程無法聚焦學(xué)生的思辨能力。

教師B認(rèn)為思辨能力無法從測試中分離開來單獨(dú)評(píng)分。“我們依然使用傳統(tǒng)的方式進(jìn)行評(píng)分。如果單獨(dú)地對(duì)于思辨能力評(píng)分，那就太機(jī)械了。思辨能力本就應(yīng)該是發(fā)散的……”另外，他還強(qiáng)調(diào)了思辨能力在測試構(gòu)念中的整合。

因此，可以得出測試評(píng)分并不集中關(guān)注思辨能力的結(jié)論。

(五)問題5:測試中的任務(wù)是否包含思辨能力的運(yùn)用?

通過整理6位考生的訪談，可以總結(jié)出他們認(rèn)為的測試每一部分所對(duì)應(yīng)的技能考查，如下表所示。

表1 本測試題型安排及技能考查

根據(jù)文秋芳等的思辨模型，分析、推理、評(píng)估屬于思辨的認(rèn)知技能，解釋屬于分析的子技能，邏輯也是思辨能力的體現(xiàn)。因此，教師列出了考生眼中測試各部分所考察的能力與技能，其中屬于思辨能力的部分用黑體加粗。分析可知，文本理解、閱讀理解和寫作涉及思辨能力最多。經(jīng)計(jì)算后，思辨能力約占全部考查技能的41%。對(duì)于思辨能力各子技能而言，占比為分析>推理>評(píng)估。因此，來自學(xué)生的觀點(diǎn)證實(shí)，測試的任務(wù)考察了思辨能力的運(yùn)用。

(六)問題6:測試成績是否能視為考生思辨能力的指標(biāo)?

在對(duì)教師的訪談中涉及了這次考試所反映的學(xué)生的思辨能力與他們印象中學(xué)生的思辨能力的一致性。對(duì)此，兩位教師給出了不同的答案。教師A認(rèn)為，兩者之間存在一致性。平時(shí)參與思辨活動(dòng)較為活躍的學(xué)生，在這次考試中得到而定分?jǐn)?shù)也會(huì)越高。但另一方面，她也認(rèn)為本次測試不能完全反映他們的思辨水平。因?yàn)轭}量較大，所以學(xué)生沒有足夠的時(shí)間去思考，他們思辨能力的發(fā)揮也因此受到了限制。教師B認(rèn)為極少數(shù)學(xué)生具有批判性思維，大多數(shù)學(xué)生非常被動(dòng)，在課堂討論中難以得出深刻的東西。有些同學(xué)會(huì)努力準(zhǔn)備考試，但課堂中的思辨性活動(dòng)參與度不高。所以，很難說測試的結(jié)果是學(xué)生思辨能力的反映。

根據(jù)兩位教師的觀點(diǎn)，考試成績不能視為學(xué)生思辨能力的指標(biāo)。

五、結(jié)語

分析表明，思辨能力在該精讀課程的期末測試中得到了評(píng)估，并且該測試在評(píng)估思辨能力部分這一方面具有一定有效性。經(jīng)過分析，該測試對(duì)于思辨能力的定義基于現(xiàn)有的思辨能力的理論模型；測試明確了各任務(wù)的特點(diǎn)，以便引出和觀察考生的思辨能力表現(xiàn)；測試的任務(wù)中包含思辨能力的運(yùn)用。但測試的條件限制了考生發(fā)揮出思辨能力的最高水平，包括測試時(shí)間長、題量大。測試的評(píng)分過程并不集中聚焦思辨能力的運(yùn)用，也無法完全視為考生思辨能力的指標(biāo)。

根據(jù)研究結(jié)果，也可以得出一些對(duì)于精讀課程教學(xué)與測試的啟示和建議。首先，應(yīng)該減少測試中項(xiàng)目的數(shù)量，這對(duì)他們更好發(fā)揮思辨能力、減輕測試前中期的焦慮水平都是有益的；其次，思辨能力的評(píng)估需要得到更好的重視，因?yàn)槠湓谠u(píng)估中所占比例處于中下水平。這也為后續(xù)精讀課程期末測試的設(shè)計(jì)提供了參考。