基于Bachman的測(cè)試使用論證理論的外語(yǔ)寫作能力研究

孫琪，張威

（東北大學(xué)，遼寧沈陽(yáng) 110819）

Lyle Bachman教授是語(yǔ)言測(cè)試方面的專家，他的測(cè)試使用論證理論（Assessment-use-argument）為外語(yǔ)測(cè)試提供了指導(dǎo)，具有里程碑式的意義。外語(yǔ)教師在設(shè)計(jì)外語(yǔ)測(cè)試時(shí)，應(yīng)該具備一定的測(cè)試素養(yǎng)（test literacy）。AUA理論可以用來(lái)指導(dǎo)外語(yǔ)教學(xué)測(cè)試，為受試者的外語(yǔ)水平提供更加科學(xué)的評(píng)估。該研究設(shè)計(jì)選取在通過(guò)大學(xué)英語(yǔ)四級(jí)后進(jìn)行學(xué)術(shù)英語(yǔ)寫作訓(xùn)練的大學(xué)二年級(jí)學(xué)生作為研究對(duì)象，通過(guò)將學(xué)期初和學(xué)期末的寫作測(cè)試中的構(gòu)念對(duì)比，發(fā)現(xiàn)了學(xué)術(shù)英語(yǔ)寫作過(guò)程（procedure）對(duì)英語(yǔ)寫作能力的提高。

1 研究背景

學(xué)術(shù)英語(yǔ)是大學(xué)英語(yǔ)教學(xué)轉(zhuǎn)型的重要內(nèi)容之一，其目的在于培養(yǎng)學(xué)生的學(xué)術(shù)素養(yǎng)，提高學(xué)術(shù)論文的寫作水平。學(xué)術(shù)英語(yǔ)教學(xué)包括幾個(gè)模塊，其中包括學(xué)術(shù)寫作的過(guò)程、學(xué)術(shù)閱讀技巧、聽(tīng)講座的能力，做筆記（Note-taking）的技巧等內(nèi)容。其中涉及聽(tīng)說(shuō)讀寫譯的相關(guān)能力，以及由通用英語(yǔ)向?qū)W術(shù)英語(yǔ)過(guò)渡的認(rèn)知和比較 （孫琪，2017）。這樣一個(gè)龐雜的系統(tǒng)的核心是什么？是學(xué)術(shù)英語(yǔ)寫作。教學(xué)的大部分的內(nèi)容圍繞著學(xué)術(shù)英語(yǔ)寫作的過(guò)程而進(jìn)行。另外，學(xué)術(shù)英語(yǔ)寫作和雅思寫作從內(nèi)容和形式上極為相似。其中的圖表寫作和雅思寫作的Task1完全一致。學(xué)術(shù)英語(yǔ)寫作的過(guò)程包括對(duì)題目進(jìn)行分析、找出關(guān)鍵詞、閱讀相關(guān)的文獻(xiàn)、主旨閱讀、做閱讀筆記、組織觀點(diǎn)、列提綱、起草論點(diǎn)論據(jù)、修改內(nèi)容等步驟。其中還夾雜著使用正確的時(shí)態(tài)、典型表達(dá)、從句等語(yǔ)法內(nèi)容。該研究是基于在學(xué)術(shù)英語(yǔ)教學(xué)的過(guò)程中進(jìn)行的一項(xiàng)歷時(shí)研究。歷時(shí)研究是語(yǔ)言研究中常用的一種研究方法。

2 理論依據(jù)

Bachman&Palmer于2010年提出測(cè)試使用論證（AUA）的理論框架。此理論是Bachman吸收Messicak等人的“效驗(yàn)即舉證”的思想，并擴(kuò)展Kane等人基于論證的效驗(yàn)方法，提出了適用于行為測(cè)評(píng)及其他測(cè)試或測(cè)量的“基于論證的效度構(gòu)建框架”這一框架把測(cè)評(píng)行為和基于測(cè)評(píng)結(jié)果做出的決策聯(lián)系在一起，形成一個(gè)AUA框架鏈（徐啟龍，2012）。測(cè)試效度論證包括如何運(yùn)用質(zhì)化和量化的各種方法，運(yùn)用恰當(dāng)、有效的測(cè)試工具對(duì)受試的語(yǔ)言能力進(jìn)行測(cè)量，并能對(duì)測(cè)試表現(xiàn)做出合理的解釋和使用，即效驗(yàn)理論。效度論證主要包括六大要素:主張(claim)：對(duì)受試能力的解釋;依據(jù)(data):受試在測(cè)評(píng)過(guò)程中的行為及測(cè)評(píng)過(guò)程的特征;理?yè)?jù)(warrant):陳述基于數(shù)據(jù)的觀點(diǎn)的合理性;支撐依據(jù)(backing):用來(lái)支撐根據(jù)的理論或現(xiàn)有的證據(jù)；反駁(rebuttal):與預(yù)期結(jié)論相反的解釋;反駁依據(jù)(rebuttals):用于反證的證據(jù)。

在《語(yǔ)言測(cè)評(píng)實(shí)踐：現(xiàn)實(shí)世界中的測(cè)試開(kāi)發(fā)與使用論證》一書中提到，測(cè)試的主要目的是收集信息用于決策，這些決策一定對(duì)測(cè)試?yán)尕P(guān)者帶來(lái)影響。衡量一項(xiàng)測(cè)試的使用是否達(dá)到了預(yù)期目的，無(wú)非就是衡量測(cè)試使用者所做的決策能否為相關(guān)人員帶來(lái)“有益影響”這些決策依照什么得出？要依照對(duì)考生語(yǔ)言能力的“解讀”，這些解讀要參照測(cè)試記錄，二測(cè)試記錄由考生的完成的語(yǔ)言測(cè)試任務(wù)的作答表現(xiàn)得出，因此，形成了一個(gè)完整的鏈條。這就是AUA理論的雛形（韓寶成、羅凱洲，2015）。這五個(gè)環(huán)節(jié)之間的關(guān)系是逐層推理、緊密聯(lián)系的，每一層都需要經(jīng)過(guò)“主張-證據(jù)”論證，上一輪推理過(guò)程的“主張”經(jīng)過(guò)理?yè)?jù)與反駁的驗(yàn)證即成為下一輪推理的“證據(jù)”，其中測(cè)試表現(xiàn)本身不需要論證，只是為測(cè)試論證過(guò)程提供證據(jù)(戴瑜、李廉，2018）。

辜向東（2008）用圖表解釋了測(cè)試使用論證和測(cè)試效度論證之間的關(guān)系。測(cè)試的設(shè)計(jì)與開(kāi)發(fā)要建立在受試的能力之上，這種主張要有一定的理?yè)?jù)，測(cè)試的結(jié)果是對(duì)考生能力的解釋，這種解釋也要有意義性、關(guān)聯(lián)性、充分性、無(wú)偏性、概括性，然后測(cè)試能夠推廣到目標(biāo)語(yǔ)言使用域（TLU）。

3 研究設(shè)計(jì)

該研究在設(shè)計(jì)時(shí)，以Bachman使用論證理論為設(shè)計(jì)依據(jù)，考慮到理論指導(dǎo)實(shí)踐的原則，指出了AUA理論的六要素在該文中的應(yīng)用。該部分由研究問(wèn)題、受試、研究材料的收集以及研究步驟幾部分組成。

3.1 研究問(wèn)題

（1）學(xué)術(shù)英語(yǔ)寫作過(guò)程中的要素是否在此次考試中得以考查？我們對(duì)學(xué)生的學(xué)術(shù)英語(yǔ)寫作能力的推斷是什么？

（2）受試對(duì)測(cè)評(píng)任務(wù)反應(yīng)的交互性如何？測(cè)評(píng)任務(wù)在多大程度上涉及了擬測(cè)能力？

（3）測(cè)試結(jié)果的概化域是什么？測(cè)試能夠推廣到目標(biāo)語(yǔ)言使用域？

（4）受試者在接受測(cè)評(píng)任務(wù)時(shí)的反應(yīng)是否是真實(shí)的？與接受現(xiàn)實(shí)世界任務(wù)是的反應(yīng)是否是一致的？

3.2 受試

東北大學(xué)學(xué)術(shù)英語(yǔ)一授課對(duì)象來(lái)自不同專業(yè)四個(gè)班級(jí)的175名大學(xué)二年級(jí)本科生，在此之前他們都通過(guò)了大學(xué)英語(yǔ)四級(jí)測(cè)試，且分?jǐn)?shù)都在425～560分之間。根據(jù)前測(cè)的成績(jī)分別將一高一低的組合組成了實(shí)驗(yàn)班和對(duì)照班，使實(shí)驗(yàn)對(duì)象處于同一水平，同時(shí)，由于基于寫作平臺(tái)iwrite 2.0進(jìn)行了水平前測(cè)，因此測(cè)試的結(jié)果比較可信（主張）。

3.3 研究材料的收集

通過(guò)收集學(xué)期初的基于iwrite平臺(tái)中的寫作語(yǔ)料對(duì)比期末考試系統(tǒng)中學(xué)生寫作的語(yǔ)料，并對(duì)比主要客觀因素的差異包括：平均分、錯(cuò)誤類型統(tǒng)計(jì)（主謂一致錯(cuò)誤，拼寫錯(cuò)誤，搭配錯(cuò)誤，語(yǔ)用錯(cuò)誤）、客觀特征統(tǒng)計(jì):（型符（token）、字符(type)、詞群(family)，TTR(Type Token Ratio)，LTTR(Local Type Token Ratio)，Lemma(詞型還原)作為衡量學(xué)生寫作水平的要素。平臺(tái)自動(dòng)標(biāo)記錯(cuò)誤數(shù)量，并得出所占百分比。主謂一致錯(cuò)誤是指，主語(yǔ)的單復(fù)數(shù)搭配動(dòng)詞原型第三人稱單復(fù)數(shù)的錯(cuò)誤，例如And the lowest percentage are between 18 and 25 at about 16%。主語(yǔ)單詞應(yīng)該搭配系動(dòng)詞的單數(shù)形式is。搭配（collocation）是學(xué)術(shù)英語(yǔ)教學(xué)中的語(yǔ)法重點(diǎn)，學(xué)術(shù)寫作中的搭配包括動(dòng)詞副詞的搭配和形容詞名詞的搭配。如圖表作文中用于描述圖形變化的短語(yǔ)：rise sharply，steady rise，drop slightly，slow decrease etc.語(yǔ)用錯(cuò)誤包括連詞缺失、慣用語(yǔ)錯(cuò)誤等。客觀特征統(tǒng)計(jì)中Lemma指英文單詞的權(quán)威、詞典及引用形式。如went的詞元是go.這一統(tǒng)計(jì)量，常用于語(yǔ)料庫(kù)研究中的頻率統(tǒng)計(jì)；TTR:類符/形符比，它是衡量文本中詞匯密度的常用方法；LTTR:Local TTR，本地化的類符/形符比（依據(jù)）。

3.4 研究步驟

步驟一：筆者布置兩篇作文，一篇為圖表作文，題目是British People Giving Money to Charity by Age Range for the Years 1990 and 2010。另外一篇是Describe the Process of Writing Academic Essay.這兩篇作文一篇在學(xué)期初完成，一篇在學(xué)期中完成。作為前測(cè)研究，分析學(xué)生在寫作方面的水平，是歷時(shí)研究的起點(diǎn)。筆者選取外研社的iwrite2.0寫作平臺(tái)進(jìn)行寫作測(cè)試，讓四個(gè)班分別通過(guò)兩種方式進(jìn)行，其中的實(shí)驗(yàn)班要求使用學(xué)術(shù)英語(yǔ)的寫作步驟進(jìn)行，而對(duì)照班的學(xué)生則不提出任何具體的要求。觀測(cè)學(xué)生寫作水平的差異（理?yè)?jù)）。

步驟二：通過(guò)一個(gè)學(xué)期的學(xué)術(shù)英語(yǔ)水平訓(xùn)練，讓學(xué)生在期末考試中再完成一篇作文，以觀測(cè)學(xué)生的期末寫作成績(jī)的變化。通過(guò)比較研究和歷時(shí)研究追蹤學(xué)生的英語(yǔ)寫作水平的變化。

4 研究結(jié)果

兩次作文通過(guò)iwrite寫作平臺(tái)得到的實(shí)驗(yàn)班和對(duì)照班的平均成績(jī)都為10.5分 （滿分15分）。因此將錯(cuò)誤統(tǒng)計(jì)中的拼寫錯(cuò)誤和標(biāo)點(diǎn)錯(cuò)誤作為主要統(tǒng)計(jì)量，拼寫錯(cuò)誤和標(biāo)點(diǎn)錯(cuò)誤占比越高說(shuō)明犯得低級(jí)錯(cuò)誤越多，則表明寫作水平較差。研究結(jié)果表明實(shí)驗(yàn)一班的拼寫錯(cuò)誤和標(biāo)點(diǎn)錯(cuò)誤占比72%，實(shí)驗(yàn)二班82%，對(duì)照班則為70%和71%。因此，通過(guò)寫作指導(dǎo)并不能拉開(kāi)學(xué)生之間的分?jǐn)?shù)差距（反駁）。

期末測(cè)試的寫作是基于學(xué)術(shù)英語(yǔ)一題庫(kù)中出現(xiàn)的一系列寫作題目展開(kāi)的，其中的題目圍繞著科學(xué)、教育、社科、生活等熱點(diǎn)話題如government overspending of space exploration;addiction to online shopping。但是出現(xiàn)差異的原因是什么還有待于進(jìn)一步探索。例如，筆者在課堂教學(xué)中發(fā)現(xiàn)對(duì)照班的課堂氛圍并不是很活躍，相反實(shí)驗(yàn)班有較好的課堂氣氛和學(xué)習(xí)熱情（反駁的理由）。因此，下一步的研究應(yīng)該包括學(xué)習(xí)熱情或?qū)W習(xí)氣氛對(duì)英語(yǔ)成績(jī)的影響。測(cè)試過(guò)程中的交互性較好，通過(guò)對(duì)寫作文本的觀察，所有的受試均能較好地完成任務(wù)，測(cè)試內(nèi)容與教學(xué)實(shí)際高度趨同，因此并在很大程度上測(cè)試了擬測(cè)能力。

根據(jù)學(xué)生的期末成績(jī)分?jǐn)?shù)統(tǒng)計(jì)表明學(xué)生經(jīng)過(guò)一個(gè)學(xué)期的學(xué)術(shù)英語(yǔ)訓(xùn)練，成績(jī)都有所提高，但是提高的幅度稍有差異，對(duì)照班成績(jī)明顯高于實(shí)驗(yàn)班，證明學(xué)術(shù)英語(yǔ)的各個(gè)學(xué)習(xí)環(huán)節(jié)能夠有效地提高學(xué)生的寫作水平。測(cè)試內(nèi)容與測(cè)試構(gòu)念高度相關(guān)，測(cè)試的內(nèi)容和形式不偏袒任何考生，每個(gè)考生的機(jī)會(huì)均等。測(cè)試反應(yīng)的交互性良好，所有考生都完成了測(cè)試，考試平臺(tái)的反饋真實(shí)。測(cè)評(píng)反映和現(xiàn)實(shí)世界任務(wù)中的反應(yīng)一致，測(cè)試有可能推廣到目標(biāo)語(yǔ)言使用域。