CET—4作文評(píng)閱中的信度探析

劉婷婷

摘要信度在大學(xué)英語(yǔ)四級(jí)考試的作文評(píng)分中非常重要，指出了目前存在的缺陷，并提出提高其信度的對(duì)策——教師與計(jì)算機(jī)結(jié)合閱卷的可行性，對(duì)其他全國(guó)統(tǒng)一的英語(yǔ)作文考試評(píng)分有一定的參考價(jià)值。

關(guān)鍵詞大學(xué)英語(yǔ)四級(jí)考試信度問(wèn)題與對(duì)策

中圖分類號(hào)：H315 文獻(xiàn)標(biāo)識(shí)碼：A

大學(xué)英語(yǔ)寫作極其重要。董亞芬（2003）認(rèn)為“我國(guó)的英語(yǔ)教學(xué)應(yīng)始終以讀寫為本”。在聽(tīng)、說(shuō)、讀、寫、譯五項(xiàng)技能中，寫是比較難的，但它最能使學(xué)生有成就感，也是激發(fā)學(xué)生非智力因素的最好方法之一。①但目前對(duì)于作文評(píng)閱信度的研究深度和廣度都不夠，打開(kāi)學(xué)術(shù)期刊網(wǎng)站，相關(guān)研究屈指可數(shù)。在介紹相關(guān)概念后，指出了目前存在的缺陷，并提出提高其信度的對(duì)策——教師與計(jì)算機(jī)結(jié)合閱卷的可行性，對(duì)其他全國(guó)統(tǒng)一的英語(yǔ)作文考試評(píng)分有一定的參考價(jià)值。

1信度的概念及大學(xué)英語(yǔ)四級(jí)作文評(píng)閱要求

1.1相關(guān)概念

信度，指的是測(cè)試結(jié)果是否穩(wěn)定可靠。也就是說(shuō)，測(cè)試的成績(jī)是不是反映了受試者的實(shí)際語(yǔ)言水平。例如，如果同一套測(cè)試在對(duì)同一測(cè)試對(duì)象（即受試者本身沒(méi)有變化）進(jìn)行的數(shù)次測(cè)試中，受試者的分?jǐn)?shù)忽高忽低的話，則說(shuō)明該測(cè)試缺乏信度。②大學(xué)英語(yǔ)四級(jí)考試作文題型主要是測(cè)試學(xué)生的綜合語(yǔ)言運(yùn)用能力，作為一種主觀題型，閱卷教師的操作流程直接關(guān)系到寫作考試的信度。

1.2大學(xué)英語(yǔ)四級(jí)考試大綱作文部分的評(píng)分要求和閱卷流程

目前大學(xué)英語(yǔ)四級(jí)考試的作文按檔次計(jì)分，作文部分的總分大概為105分，把105分按語(yǔ)言的能力，篇章結(jié)構(gòu)以及綜合水平劃分為5個(gè)檔次。譬如最高分的那檔就要求語(yǔ)言幾乎沒(méi)有錯(cuò)誤，篇章組織好，作文條理清晰等。這個(gè)評(píng)分標(biāo)準(zhǔn)基本保證了大學(xué)英語(yǔ)四級(jí)作文評(píng)閱的信度，但還是有一定的缺陷。從閱卷流程來(lái)看，首先教育部在全國(guó)主要高校選拔認(rèn)真負(fù)責(zé)的大學(xué)英語(yǔ)教師參加閱卷，然后進(jìn)行相關(guān)培訓(xùn)。閱卷是按小組劃分的。過(guò)去集中在上海外國(guó)語(yǔ)大學(xué)或上海交通大學(xué)閱卷。現(xiàn)在把閱卷權(quán)限放到了各個(gè)省的省會(huì)城市主要重點(diǎn)大學(xué)進(jìn)行。總體流程比較規(guī)范，但由于時(shí)間緊迫，任務(wù)大，差錯(cuò)難免。

2大學(xué)英語(yǔ)四級(jí)作文評(píng)閱中信度的問(wèn)題

（1）閱卷高強(qiáng)度的工作負(fù)荷減少了閱卷的信度。盡管存在統(tǒng)一的評(píng)分標(biāo)準(zhǔn)，目前網(wǎng)絡(luò)閱卷便利快捷，但由于教師人數(shù)有限，很多大學(xué)英語(yǔ)四級(jí)作文的閱卷時(shí)間少于1分鐘，加上有少數(shù)教師責(zé)任心缺乏，使其信度大大打了折扣。

（2）教師的教學(xué)理念存在偏差，作文評(píng)閱模式存在諸多缺陷。③

（3）有些閱卷教師閱卷帶有強(qiáng)烈的個(gè)人主觀色彩，或過(guò)多的拘泥于語(yǔ)法和評(píng)寫等語(yǔ)言錯(cuò)誤而忽視總體內(nèi)容，可謂是只見(jiàn)樹(shù)木不見(jiàn)森林，抓住局部忽視主體。

3人工與智能機(jī)器結(jié)合閱卷的可行性

要提高大學(xué)英語(yǔ)四級(jí)的作文評(píng)閱的信度，我們可以采納國(guó)外同行的經(jīng)驗(yàn)，將人工與智能機(jī)器結(jié)合閱卷結(jié)合起來(lái)。近年來(lái)，國(guó)外考試研發(fā)機(jī)構(gòu)均將傳統(tǒng)由人工進(jìn)行的作文評(píng)閱環(huán)節(jié)納入計(jì)算機(jī)評(píng)卷系統(tǒng)。2007年，美國(guó)麥克勞-希爾加州考試中心研發(fā)的WritingRoadmapTM2.0在線英語(yǔ)教學(xué)軟件進(jìn)入中國(guó)，該系統(tǒng)不但可以為學(xué)生在線提交的作文作出及時(shí)評(píng)分、生成分析報(bào)道，也可以為教師全面了解學(xué)生的寫作情況提供多維分析報(bào)告。此外，“托福、GMAT這類全球性、大規(guī)模的國(guó)際性英語(yǔ)考試也已開(kāi)始廣泛應(yīng)用機(jī)器自動(dòng)化作文評(píng)閱系統(tǒng)”。④計(jì)算機(jī)評(píng)分系統(tǒng)雖然省事，但也存在不少弊端，它只能對(duì)學(xué)生的語(yǔ)言水平作出評(píng)定，而始終無(wú)法對(duì)作文的風(fēng)格，內(nèi)容等進(jìn)行公平的打分。基于此，特推薦一種人工與智能機(jī)器結(jié)合閱卷方式，來(lái)提高大學(xué)英語(yǔ)四級(jí)的作文評(píng)閱的信度。

第一步為機(jī)器閱卷，給出考生的語(yǔ)言分，該項(xiàng)占大約百分之五十的比例。第二步，教師按照大學(xué)英語(yǔ)四級(jí)的作文評(píng)閱的評(píng)分要求按檔打分，重點(diǎn)看寫作內(nèi)容和篇章布局及修辭等。第三步為不同閱卷小組對(duì)在線交換評(píng)閱作文，有爭(zhēng)議的考生作文在線由閱卷組長(zhǎng)定奪。以2011年6月的全國(guó)大學(xué)四級(jí)作文話題onlineshopping為例，首先電腦對(duì)學(xué)生的語(yǔ)法，拼寫和字?jǐn)?shù)給出一個(gè)基本分，再有教師按評(píng)分要求分檔次記分，最后閱卷組復(fù)核。有時(shí)要掌握靈活性，如對(duì)語(yǔ)言功底好的考生可以總體加7分，當(dāng)年一位考生的結(jié)尾這樣寫“Theforemostistoenforceestablishsomerelevantlawsandregulations，withstrongsupervisionoversomeshoppingwebsitesbeingreinforcedaswell.Then，theconsumersalsoshouldbeequippedwithmorealertincaseofbeingtrapd…”。由于其表達(dá)很地道，最后小組決定多加7分。

總體說(shuō)來(lái)，教師與計(jì)算機(jī)結(jié)合閱卷有切實(shí)可行性，節(jié)省了時(shí)間和物力，最大限度地保證了大學(xué)英語(yǔ)四級(jí)考試的作文部分評(píng)分的信度，對(duì)其他全國(guó)統(tǒng)一的英語(yǔ)作文考試評(píng)分有一定的參考價(jià)值。

注釋

①吳斐.大學(xué)英語(yǔ)四級(jí)作文評(píng)閱的信度問(wèn)題與對(duì)策[J].科教文匯，2009（11）.

②丁往道.英語(yǔ)寫作手冊(cè)[M].外語(yǔ)教學(xué)與研究出版社，1994.

③Gray.Hill 托福考試一本通[M].世界圖書出版社，2007.

④Jacob，G.M.，Bal，l.J.AnInvestigationoftheStructureofGroupActivitiesinEFTCourseBook[J].EFLJournal，1996（50）：99-107.