在線英語(yǔ)寫作測(cè)評(píng)系統(tǒng)iWrite 2.0應(yīng)用個(gè)案評(píng)估

李丹云

摘 要 基于英語(yǔ)語(yǔ)言測(cè)試?yán)碚?，試圖分析和評(píng)估國(guó)內(nèi)某著名在線英語(yǔ)寫作測(cè)評(píng)系統(tǒng)iWrite 2.0在某高校新生入學(xué)英語(yǔ)摸底水平考試中所表現(xiàn)的優(yōu)勢(shì)及不足。設(shè)計(jì)啟用一份半封閉調(diào)查問卷，用以收集測(cè)試使用者的反饋信息，進(jìn)行測(cè)試有用性分析。

關(guān)鍵詞 iWrite 2.0；在線英語(yǔ)寫作測(cè)評(píng)系統(tǒng)；大學(xué)英語(yǔ)；無(wú)紙化在線考試

中圖分類號(hào)：H319 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1671-489X（2018）23-0026-03

Abstract This article aims to evaluate the iWrite2.0 Online English Writing Assessment System in a case study. It addresses the advan-tages and disadvantages from six aspects based on language test theories. By utilizing a semi-open questionnaire， the study collects the feedback from test users and conducts a usefulness analysis.

Key words iWrite2.0； online English writing assessment system； college English； paperless online examination

1 前言

測(cè)試在中國(guó)教育體制中扮演著舉足輕重的角色，在英語(yǔ)作為外語(yǔ)（EFL）的中國(guó)，英語(yǔ)測(cè)試的重要性尤其突出。語(yǔ)言測(cè)試學(xué)者Bachman和Palmer指出，考試評(píng)估中有六大要素能有助實(shí)現(xiàn)測(cè)試效果最佳化，即測(cè)試效度、信度、真實(shí)性、互通性、影響和實(shí)用性[1]。本文試圖依據(jù)這六大要素，評(píng)估在線英語(yǔ)寫作測(cè)評(píng)系統(tǒng)iWrite 2.0在某高校新生入學(xué)英語(yǔ)摸底水平考試中所表現(xiàn)的優(yōu)勢(shì)及不足。

2 測(cè)試目的及任務(wù)

該測(cè)試作為海南某醫(yī)學(xué)院校2017級(jí)大一新生入學(xué)摸底測(cè)試，于新生入學(xué)后的第二個(gè)周末進(jìn)行。在該校目前的課程計(jì)劃中，大學(xué)英語(yǔ)是26個(gè)醫(yī)學(xué)門類專業(yè)學(xué)生大一和大二階段的必修課程。由于醫(yī)學(xué)學(xué)科體系龐大且極具專業(yè)性，學(xué)生層次差異較大，英語(yǔ)差異化分級(jí)教學(xué)需求明顯。因此，對(duì)入學(xué)新生進(jìn)行英語(yǔ)水平摸底考試，對(duì)于后續(xù)兩年的英語(yǔ)分級(jí)教學(xué)意義重大，對(duì)于部分學(xué)生來(lái)說(shuō)屬于高風(fēng)險(xiǎn)考試（high-

stakes test）。此次寫作任務(wù)為在規(guī)定的時(shí)間內(nèi)（30分鐘）完成80個(gè)單詞左右反饋性寫作，測(cè)試學(xué)生就某一話題進(jìn)行比較或?qū)Ρ鹊膶懽骷寄?，滿分20分。原題如下：

Directions： Please write a short composition of at least 80 words on one of the topics below.

1）Compare your high school life and college life.

2）Compare your experiences before and after giving up a bad habit.

3）Contrast an active student with a passive student.

4）Two views of your parents： before and after you left them for college.

5）Two ways of losing weight： one healthy， the other dangerous.

3 分析和評(píng)估

測(cè)試效度（Test Validity） 測(cè)試效度指的是基于考試分?jǐn)?shù)所做出的解讀的意義性和恰當(dāng)性[1]。它是一個(gè)動(dòng)態(tài)過程，在該過程中能基于測(cè)試參加者的分?jǐn)?shù)不斷獲得證據(jù)來(lái)分析和評(píng)估被測(cè)者的能力，測(cè)試開發(fā)者能根據(jù)測(cè)試任務(wù)的特點(diǎn)來(lái)決定測(cè)試任務(wù)和目標(biāo)測(cè)試者真實(shí)語(yǔ)境任務(wù)的相關(guān)性。此外，一個(gè)有效的測(cè)試能使得測(cè)試設(shè)計(jì)者解讀出測(cè)試任務(wù)多大程度上能調(diào)動(dòng)被測(cè)者的語(yǔ)言能力。目前，大部分寫作測(cè)試仍然采取整體打分（holistic scoring）和單項(xiàng)打分（analytical scoring）結(jié)合的方式。單項(xiàng)通?；谡Z(yǔ)言、內(nèi)容、篇章結(jié)構(gòu)和技術(shù)規(guī)范這四項(xiàng)指標(biāo)進(jìn)行評(píng)分。如批改網(wǎng)（https：//www.pigai.org/）的寫作系統(tǒng)默認(rèn)設(shè)置就是如此，該在線寫作系統(tǒng)由整體評(píng)分和四個(gè)單項(xiàng)分根據(jù)不同權(quán)重構(gòu)成[2]。

首先，本文基于目的性原則，以臨床醫(yī)學(xué)專業(yè)（醫(yī)學(xué)院校的主導(dǎo)專業(yè)）首批被試者234人為對(duì)象，抽樣10位學(xué)生的作文，對(duì)寫作分?jǐn)?shù)相近的學(xué)生分成五組進(jìn)行初步比較，結(jié)果發(fā)現(xiàn)其試卷總分差距最大者竟然有42分；其次，將寫作最高分作文與試卷總分最高者的作文進(jìn)行對(duì)比；最后基于寫作得分均為12分（及格分）的兩份樣文進(jìn)行對(duì)比分析。顯而易見，能從多次對(duì)比分析中發(fā)現(xiàn)語(yǔ)言點(diǎn)、內(nèi)容相關(guān)度以及篇章結(jié)構(gòu)方面的巨大差異。

隨后對(duì)全部考生（234人）的試卷總分和各單項(xiàng)分之間（聽力理解、閱讀理解、詞匯和結(jié)構(gòu)、寫作）以及各單項(xiàng)分之間進(jìn)行Pearson相關(guān)系數(shù)分析。Pearson相關(guān)系數(shù)可以用來(lái)反饋兩個(gè)變量之間的關(guān)聯(lián)程度，以r值體現(xiàn)，介于-1和1之間，r值的絕對(duì)值越大，說(shuō)明二者越相關(guān)。統(tǒng)計(jì)結(jié)果發(fā)現(xiàn)，寫作任務(wù)與總分之間相關(guān)性較差（r=0.393，n=234，p=.000），而聽力、閱讀和詞匯結(jié)構(gòu)與總分的相關(guān)性較好（r=0.832，r=0.861，r=0.838，respectively），具體如表1所示。

測(cè)試信度（Test Reliability） Bachman & Palmer認(rèn)為有四大變量能導(dǎo)致信度的不確定性，即被試者、評(píng)分、試題以及測(cè)試具體執(zhí)行[1]，因此又依次稱之為學(xué)生信度、測(cè)試者信度、測(cè)試執(zhí)行信度和測(cè)試信度。

1）學(xué)生信度（Student Reliability）。學(xué)生信度是指因?qū)W生突發(fā)疾病、勞累、焦慮或者其他與學(xué)生本人有關(guān)的因素而導(dǎo)致的非正常發(fā)揮。此次入學(xué)摸底考試是大一新生入校后的第一次全校性的大規(guī)模集體考試，且時(shí)間安排在入學(xué)后的第二個(gè)周末，學(xué)生剛剛結(jié)束高強(qiáng)度的軍訓(xùn)，有理由相信學(xué)生的身體素質(zhì)并非處于最佳狀態(tài)；另一方面，他們得知此次考試有可能關(guān)系后續(xù)的英語(yǔ)分級(jí)，可能產(chǎn)生不同程度的焦慮。因此，鑒于身體素質(zhì)、心理焦慮和準(zhǔn)備時(shí)間不足、電腦操作技能缺乏訓(xùn)練等多重因素，學(xué)生信度一定程度上受損。

2）測(cè)試者信度（Test User Reliability）。Brown和Abeywickrama將測(cè)試者信度分為兩類：測(cè)試使用者本人內(nèi)部信度（Intra-rater Reliability）和不同測(cè)試使用者之間的信度（也稱組間信度，Inter-rater Reliability）[3]。電腦在線協(xié)作考試系統(tǒng)能夠達(dá)到很高的內(nèi)部信度，因?yàn)闄C(jī)器本身不會(huì)感到身體疲倦，可以快速高效工作。更重要的是，評(píng)分過程中不會(huì)出現(xiàn)前后評(píng)分標(biāo)準(zhǔn)浮動(dòng)等主觀因素而影響結(jié)果，這是教師人為評(píng)卷無(wú)法企及的優(yōu)勢(shì)。

另一方面需要重視人機(jī)間評(píng)閱的信度分析，雖然過程棘手，但是意義重大。鑒于操作實(shí)踐技巧和背后依托的評(píng)分標(biāo)準(zhǔn)復(fù)雜，尤其是該系統(tǒng)還處于嘗試階段，作為測(cè)試使用者不能忽視技術(shù)可能帶來(lái)的隱患。初步整體評(píng)估發(fā)現(xiàn)，系統(tǒng)對(duì)于大部分學(xué)生的作文自動(dòng)給出的反饋都是較為粗略且語(yǔ)言結(jié)構(gòu)極其相似的評(píng)價(jià)意見，對(duì)于非常明顯的語(yǔ)言錯(cuò)誤并未識(shí)別，更無(wú)從談及提出具體糾正建議。所謂權(quán)重和評(píng)分準(zhǔn)則，都是機(jī)器基于人為設(shè)置的計(jì)算模型進(jìn)行分析得出的結(jié)果，需要測(cè)試開發(fā)平臺(tái)技術(shù)人員對(duì)測(cè)試使用者進(jìn)行專業(yè)、科學(xué)的培訓(xùn)，才能發(fā)揮該系統(tǒng)的最大效用。

3）測(cè)試執(zhí)行信度（Test Administration Reliability）。

根據(jù)教師反饋，此次測(cè)試在所有參與教師的大力合作下有序進(jìn)行。實(shí)驗(yàn)室的所有電腦均經(jīng)過升級(jí)檢測(cè)，狀態(tài)良好；學(xué)生和教師均提前進(jìn)行了不同程度的電腦操作培訓(xùn)，相關(guān)考試信息也提前通知到位，據(jù)此可以判斷測(cè)試執(zhí)行信度較高。

4）測(cè)試信度（Test Reliability）。iWrite系統(tǒng)是一個(gè)基于互聯(lián)網(wǎng)的在線寫作評(píng)判平臺(tái)，由外語(yǔ)教學(xué)與研究出版社聯(lián)合北京外國(guó)語(yǔ)大學(xué)中國(guó)外語(yǔ)與教育研究中心梁茂成教授及其研究團(tuán)隊(duì)于2015年研發(fā)設(shè)計(jì)而成，具有語(yǔ)料庫(kù)、二語(yǔ)寫作、機(jī)器學(xué)習(xí)以及自然語(yǔ)言處理等語(yǔ)言學(xué)術(shù)研究支撐[4]。據(jù)稱該計(jì)算模型是由人工評(píng)閱后的作文語(yǔ)料庫(kù)建構(gòu)的，比如谷歌詞簇統(tǒng)計(jì)語(yǔ)料庫(kù)（Google Ngram）、英國(guó)國(guó)家語(yǔ)料庫(kù)（BNC），以及國(guó)內(nèi)的大學(xué)英語(yǔ)四六級(jí)考試和英語(yǔ)專業(yè)八級(jí)考試語(yǔ)料庫(kù)等。但是官方數(shù)據(jù)和此次測(cè)試的真實(shí)效果之間的差異仍需要更多的個(gè)案分析來(lái)進(jìn)一步研究和證實(shí)。

真實(shí)性（Authenticity） Brown和Abeywickrama在探討寫作測(cè)試題型時(shí)，提出四種常見寫作任務(wù)：比較與對(duì)比型、提出問題—解決問題型、支持與反對(duì)意見型、因果關(guān)系型[3]。此次寫作任務(wù)是從iWrite 2.0題庫(kù)中挑選出來(lái)，符合第一類比較與對(duì)比題型，滿足題型真實(shí)性要求。另外，話題選擇也與學(xué)生真實(shí)經(jīng)歷、世界知識(shí)緊密相關(guān)，有助于學(xué)生在測(cè)試環(huán)境之外獲得素材，一定程度上提高了測(cè)試的真實(shí)性。

然而，不足之處在于此次寫作任務(wù)也有可能對(duì)學(xué)生的閱讀理解能力提出了挑戰(zhàn)。一個(gè)列舉五個(gè)話題的清單，對(duì)于在考場(chǎng)壓力下，30分鐘內(nèi)完成一個(gè)段落寫作，這就需要學(xué)生快速閱讀理解、判斷篩選、做出決策、完成語(yǔ)言寫作等一系列反應(yīng)，才能高效完成寫作任務(wù)，這考驗(yàn)的不僅僅是英語(yǔ)寫作能力，也涉及選擇策略、時(shí)間分配等認(rèn)知策略問題，超出了寫作測(cè)試的范圍。鑒于此，可以判斷測(cè)試結(jié)果不一定能完全真實(shí)地反映學(xué)生的實(shí)際寫作水平，因而測(cè)試真實(shí)性有所受損。

互通性（Interactiveness） 正如Bachman & Palmer書中所言，測(cè)試互通性的核心在于目的語(yǔ)中五個(gè)要素的參與程度，即測(cè)試開發(fā)者需要考慮該測(cè)試多大程度上調(diào)動(dòng)了被試者的語(yǔ)言知識(shí)、元認(rèn)知策略、話題知識(shí)、個(gè)人特點(diǎn)和情感機(jī)制，以達(dá)到測(cè)試目的。其中，比較微妙的方面是情感機(jī)制問題[1]。部分測(cè)試使用者認(rèn)為，有些話題或許會(huì)給學(xué)生帶來(lái)強(qiáng)烈的情感反應(yīng)甚至不適，如戒掉某種壞習(xí)慣，描述一個(gè)被動(dòng)的學(xué)生，減肥經(jīng)歷，等等。大家普遍認(rèn)同這些話題情感上并非愉悅。綜上所述，該寫作任務(wù)的題型設(shè)置整體互動(dòng)性較好，但是在話題選擇上可以更加細(xì)致和人性化，最大限度上幫助學(xué)生發(fā)揮真實(shí)寫作能力。

影響（Impact）

1）測(cè)試對(duì)學(xué)生的影響。測(cè)試具有一定目的性，且測(cè)試結(jié)果不論在個(gè)人層面還是學(xué)校層面，都會(huì)產(chǎn)生一定的影響。Bachman & Palmer認(rèn)為測(cè)試對(duì)被試者都會(huì)產(chǎn)生一定的積極反撥作用[1]。學(xué)生利用電腦在線進(jìn)行測(cè)試，雖然與他們以往的傳統(tǒng)紙質(zhì)筆試體驗(yàn)有很大不同，帶來(lái)一定的不便，但這些經(jīng)歷也提高了他們的電腦操作技能，提高了他們對(duì)于在線網(wǎng)絡(luò)學(xué)習(xí)和考試的意識(shí)。據(jù)教師反饋，他們很高興看到學(xué)生對(duì)無(wú)紙化在線考試的極大熱情和積極主動(dòng)性，并沒有他們之前所預(yù)測(cè)的反感和敵視情緒出現(xiàn)，這也是此次考試帶來(lái)的喜人信號(hào)。

在技術(shù)發(fā)展日新月異的時(shí)代，“computer literacy”“media literacy”應(yīng)該是新世紀(jì)各階段學(xué)生應(yīng)具備的基本素質(zhì)，只有具備了電腦、網(wǎng)絡(luò)以及新媒體意識(shí)和基本操作技能，才能夠不被冠以新世紀(jì)“文盲”的稱號(hào)。

2）對(duì)教師的影響。對(duì)測(cè)試使用者的最大影響在于教師極大地改變了對(duì)在線寫作系統(tǒng)的認(rèn)知和操作。iWrite 2.0系統(tǒng)是2018年新開發(fā)的在線平臺(tái)，資源豐富多樣，可供教師組合利用，以前繁重復(fù)雜的找題、組合排版、校對(duì)、定稿過程幾乎不存在了，教師似乎得到了解放，出題似乎只在鼠標(biāo)“點(diǎn)擊”之間。

本文并不否認(rèn)在線寫作系統(tǒng)所具有的優(yōu)勢(shì)，也承認(rèn)其快捷、方便、高效，但是必須肯定一個(gè)前提，即技術(shù)應(yīng)該掌握在有能力且合適的人手里，這樣才能最大限度地發(fā)揮出技術(shù)的優(yōu)勢(shì)。因此，對(duì)教師進(jìn)行足夠且高質(zhì)量的業(yè)務(wù)培訓(xùn)是必不可少的。需要重點(diǎn)強(qiáng)調(diào)的是，應(yīng)該更多涉及針對(duì)測(cè)試任務(wù)、測(cè)試目的要素之間的邏輯關(guān)系和匹配程度的專門培訓(xùn)，讓教師明白無(wú)誤地理解如何有效匹配考試目的和測(cè)試題目。這種軟技能培訓(xùn)比平臺(tái)操作“硬技能”更重要，也更迫切。

3）對(duì)學(xué)校的影響。從整個(gè)學(xué)校層面來(lái)說(shuō)，舉行如此大規(guī)模的全校性摸底考試，既有好處，也有不利之處。常言道：“欲速則不達(dá)?！痹诘谝淮问褂脽o(wú)紙化在線考試系統(tǒng)的大前提下，因?yàn)闀r(shí)間、技術(shù)、認(rèn)識(shí)等局限，很多教師也對(duì)在如此倉(cāng)促的時(shí)間內(nèi)對(duì)全校大一新生統(tǒng)一進(jìn)行摸底測(cè)試的必要性持保留意見。

實(shí)用性（Practicality） 測(cè)試實(shí)用性是指制定考試標(biāo)準(zhǔn)、實(shí)施測(cè)試和考試評(píng)分所需要的資源總量，通常包括一些具體行政事務(wù)。iWrite 2.0系統(tǒng)是一個(gè)為英語(yǔ)教學(xué)服務(wù)的商用英語(yǔ)測(cè)試平臺(tái)，由學(xué)校購(gòu)買并安裝至各實(shí)驗(yàn)室電腦系統(tǒng)。整體而言，該平臺(tái)用戶友好，操作簡(jiǎn)單，環(huán)境友好，實(shí)用高效。但若要對(duì)1743名大一新生同時(shí)進(jìn)行測(cè)試，顯然也是不現(xiàn)實(shí)的。因此，被試者分成八個(gè)不同批次，在四個(gè)半天的周末輪流進(jìn)行摸底測(cè)試，外語(yǔ)部全體工作人員（45人左右）都參加了監(jiān)考。由此可見，該測(cè)試還是耗費(fèi)了相當(dāng)多的人力資源，還包括前期的教師培訓(xùn)等工作。

4 結(jié)語(yǔ)

總體而言，iWrite 2.0在線寫作測(cè)評(píng)系統(tǒng)在此次入學(xué)摸底測(cè)試中發(fā)揮了很大的積極作用，其優(yōu)勢(shì)在于較強(qiáng)的機(jī)器評(píng)閱內(nèi)部信度，互通性較好，較為簡(jiǎn)便的實(shí)操性，對(duì)學(xué)生和教師都帶來(lái)一定的積極反撥作用。然而，由于測(cè)試效度、試題信度以及真實(shí)性的局限性，該系統(tǒng)還有改進(jìn)的空間，尤其在人機(jī)組間信度分析、來(lái)自學(xué)生的真實(shí)反饋，以及被試者對(duì)寫作系統(tǒng)給出的評(píng)價(jià)意見吸收成效的跟蹤調(diào)查研究，都有望成為接下來(lái)的研究課題。

參開文獻(xiàn)

[1]Bachman L F， Palmer A S. Language testing in prac-tice： Designing and developing useful language tests[M].Oxford， UK： Cambridge University Press，1996.

[2]Bai L， Hu G. In the face of fallible AWE feedback： How do students respond？[J].Educational Psychology，2017，37（1）：67-81.

[3]Brown H D， Abeywickrama P. Language Assessment： Principles and Classroom Practices[M].2nd ed. White Plains， NY： Pearson Education，2010.

[4]李艷玲，田夏春.iWrite 2.0在線英語(yǔ)作文評(píng)分信度研究[J].現(xiàn)代教育技術(shù)，2018（2）：75-80.