大規(guī)模外語測試中寫作任務(wù)時限設(shè)定研究*

詹先君

一、研究的緣起

時限因素是外語測試的重要條件之一。〔1〕本研究探討的主要問題是在大規(guī)模外語測試中是否有必要在有限的考試時間內(nèi)再對寫作任務(wù)進行時限設(shè)定。

目前，國內(nèi)外大規(guī)模的外語測試時限條件的總體可以分為兩類：限時寫作（見表1）和非限時寫作，而限時寫作中的時間長度設(shè)置又各不相同。在國內(nèi)的大規(guī)模外語測試中，非限時寫作比限時寫作更普遍，如大學英語四、六級考試，專業(yè)英語四、八級級考試，對寫作測試任務(wù)都有明確的時間限制；而研究生入學英語考試、專業(yè)技術(shù)英語考試、高考英語等則沒有對寫作任務(wù)進行單獨的時間限制。從國際上來看，對外語寫作測試進行時限設(shè)定的情形更普遍一些，如托福、雅思、GMAT、GRE、托業(yè)等著名國際性英語測試，都對不同的寫作任務(wù)規(guī)定了不同的時間，被稱為美國高考的SAT考試中的寫作任務(wù)也有時間限制。限時寫作測試任務(wù)在時長設(shè)定上也不盡相同，從8分鐘到45分鐘不等（見表1）。以表1中的14個寫作任務(wù)時間長度為變量進行描述性統(tǒng)計，可以發(fā)現(xiàn)（見表2），各個寫作任務(wù)時限的平均數(shù)為27分鐘，標準差為10.4，最低時限為8分鐘，最高時限為45分鐘，兩極差為27。由此可見，統(tǒng)計范圍內(nèi)的寫作測試任務(wù)時間設(shè)定差異偏大。不少研究者對外語寫作測試時限差異問題加以關(guān)注，并進行了不同角度的研究。

二、相關(guān)研究回望

既有的外語寫作測試時限研究，主要從三個方面進行：非大規(guī)模外語測試中不同時限、大規(guī)模高利害外語測試中的不同時限以及日常外語教學中的限時和非限時條件對寫作的影響。

在非大規(guī)模外語測試中不同時長對外語寫作影響的研究方面，Biola認為比較長的時限 “似乎能夠讓學生提供更好地展示其寫作水平”。〔2〕Younkin發(fā)現(xiàn)時間長度因素對本族語學生和非本族語學生的寫作影響不一致，對非本族語學生的影響不顯著。〔3〕Livingstone也認為時間因素對外語寫作沒有顯著性的影響。〔4〕

表1 部分大規(guī)模外語測試的寫作任務(wù)時限設(shè)定

表2 部分大規(guī)模外語測試的寫作任務(wù)時限描述性統(tǒng)計

在大規(guī)模高利害外語測試中的不同時長對寫作影響的研究方面，Crone等對參加SAT II閱讀寫作的7100名初中和高中學生在15分鐘和30分鐘條件下寫作結(jié)果的研究發(fā)現(xiàn)，較長時間條件下可以使學生獲得更好的測試成績〔5〕；Hale比較了在30分鐘和45分鐘條件下820名學生的兩個不同TWE寫作任務(wù)成績差異，發(fā)現(xiàn)雖然比較長的時間條件有利于產(chǎn)生更好的寫作成績，但兩種時限條件下的寫作差異不具有統(tǒng)計學上的顯著性〔6〕；Powers和 Fowles研究了304名研究生在40分鐘和60分鐘條件下的寫作測試成績，結(jié)果發(fā)現(xiàn)兩種寫作時限對寫作測試沒有影響〔7〕。

在日常外語教學中的限時和非限時條件對寫作影響的研究方面，Caudery、Ellis和 Yuan、Knoch 和Elder等都進行實證性的探索，結(jié)論基本一致，即認為限時寫作和非限時寫作之間的差異不大。〔8〕〔9〕〔10〕

在國內(nèi)，僅有少數(shù)人對外語測試中寫作任務(wù)的設(shè)定問題，如陳慧媛和吳旭東 （1998）、邵繼榮（2003）、吳紅云（2006）、王宗迎/何廣鏗（2008）等人，研究結(jié)果與國外大體一致，即大都認為不同的時限對寫作結(jié)果的影響比較小。〔11〕〔12〕〔13〕〔14〕

通過以上梳理可以看出，國內(nèi)外對外語寫作測試任務(wù)時限的研究，主要是比較不同時長（例如30分鐘和50分鐘的寫作）對寫作行為的影響。研究結(jié)論雖然不盡一致，但大多數(shù)研究結(jié)果傾向于認為不同的時限對于寫作不存在顯著影響。因此，本研究傾向于采信不同時限對外語測試的影響不顯著這一結(jié)論，不對這一問題進行繼續(xù)探索。考慮到既往的研究只是針對不同時限對外語測試中的寫作行為的影響，對大規(guī)模外語測試中時限設(shè)定條件下和非時限設(shè)定條件下寫作任務(wù)完成情況的差異研究還比較鮮見。本研究擬對這一問題進行實證性的探索。

三、實驗設(shè)計

（一）研究的問題

研究的主要問題有：（1）大規(guī)模外語測試中的限時寫作和非限時寫作在成績上能否產(chǎn)生顯著性差異？（2）限時寫作和非限時寫作能否在語篇特征產(chǎn)生顯著性差異？

（二）場景設(shè)計及樣本抽取

大規(guī)模外語測試往往具有參加人數(shù)多、覆蓋地區(qū)廣、與考生的切身利益密切相關(guān)等主要特征。為了使實驗場景具有大規(guī)模外語測試特征，筆者利用所在高校的期終大學英語課程考試作為大規(guī)模語言測試場景，因為期終大學英語考試雖然只涉及本校學生，但具有參加人數(shù)多、與考生的評先評優(yōu)等利益相關(guān)的特征，所以能把它大致附比為大規(guī)模外語測試場景。

本研究樣本抽取方法如下：在2010-2011學年度上學期大學一年級期末大學英語課程考試中，在一個考場（包括2個教學班76人）中要求考生對期末試卷中的寫作任務(wù)限時完成，并把該考場的考生作為實驗組，其它考場的學生按照傳統(tǒng)的方法進行考試，即對寫作任務(wù)不限時，作為控制組。考試結(jié)束后，考慮到語篇分析的工作量較大，根據(jù)客觀題成績接近或相等的原則，分別在實驗組和控制組中抽取了30名學生的試卷進行比較分析。之所以依據(jù)客觀題的成績進行抽樣，是因為學界一般認為客觀題成績與寫作能力具有相當大的相關(guān)性，客觀題成績接近的學生，其寫作能力也應(yīng)該相對比較接近。樣本抽取的結(jié)果如下（表3）：實驗組和控制組分別為30人，實驗組男女生分別為16人和14人，控制組男女生分別為12和18人，兩組的客觀題平均分分別為42.25和42.23人，標準差分別為3.7，從集中量數(shù)和離散量數(shù)來看，兩組考生在客觀題成績上十分接近。

表3 樣本客觀題成績描述性統(tǒng)計

（三）研究工具

研究的工具有大學英語期末試卷，用來測試大規(guī)模外語測試中的限時寫作和非限時寫作；評分標準、評分量表、評分記錄表，用來對寫作測試進行評分；調(diào)查問卷，用來收集考生對大規(guī)模外語測試中寫作任務(wù)時限設(shè)定問題的看法；SPSS統(tǒng)計軟件，用來對收集到的各種數(shù)據(jù)進行定量分析。

（四）研究方法和過程

本研究采用盲試法，即在樣本不知道真實的實驗?zāi)康牡那闆r下進行實驗。這樣避免樣本針對試驗?zāi)康牟扇》烙呗裕箤嶒灳哂姓鎸嵭浴嶒灢襟E如下：

（1）試題設(shè)計：實驗組和控制組的大學英語課程期末考試題目內(nèi)容完全都相同，測試的構(gòu)成部分為聽力、閱讀理解、完型填空、選詞填空、翻譯、寫作，只是在實驗組試卷中寫作部分的指導(dǎo)語要求考生在30分鐘內(nèi)完成寫作，并要求把作文寫在專備答題紙上，30分鐘結(jié)束收取試卷，并且為了便于限時，寫作任務(wù)的安排順序有所不同，實驗組的寫作任務(wù)安排在聽力之后進行，便于在規(guī)定的寫作時間內(nèi)取寫作答題紙，控制組的寫作則象往常一樣安排在最后。寫作部分的總分為10分。實驗組和控制組的寫作任務(wù)改編自1992年的大學英語四級試題的寫作部分：

Directions:For this part you are allowed 30 minutes to write a composition in no less than 120 words on the topic:Is Failure a Bad Thing?Your composition should be based on the following outline(give in Chinese)（答題要求：請就Is Failure a Bad Thing?這個題目，在30分鐘內(nèi)寫出一篇120詞左右的短文，短文應(yīng)該包括下列要點。）

1.失敗是常有的事?

2.人們對失敗有各種不同的態(tài)度。

3.我對失敗的態(tài)度。

Remember to write your composition on writing sheet,which will be collected immediately after the 30-minute writing time is over.（注意：把作文寫在答題紙上，30分鐘寫作時間結(jié)束，必須交卷。）

為了弄清考生是否能夠讀懂指導(dǎo)語，我們用相同的指導(dǎo)語但是不同的寫作話題設(shè)計了另外一個寫作任務(wù)，請部分實驗組學生來進行理解。結(jié)果，他們都能夠準確無誤地理解出指導(dǎo)語的意思。

（2）實施測試：在大學英語課程期末考試進行之前，跟實驗組的監(jiān)考老師進行了溝通和說明，請求他們在聽力考試結(jié)束之后立即指令考生完成限時寫作，并在30分鐘結(jié)束后立刻收回寫作答題紙。

（3）進行評分和語篇分析：根據(jù)客觀題的成績分別抽出實驗組和控制組的30份試卷后，我們請兩位有經(jīng)驗的教師進行對實驗組和控制組的寫作進行評分。采用整體評分法，每份試卷都由兩位教師背靠背評分，最終分數(shù)為兩位教師評分的平均數(shù)。另外請兩位語言學專業(yè)的資深教師對樣本作文進行語篇分析，語篇分析也是由兩位教師背靠背完成，然后對照兩位教師分析的結(jié)果，在有分歧的地方由兩位教師協(xié)商解決。語篇分析主要采用下列客觀性的指標（表4）：寫作的總詞數(shù)（代表流利度）；錯誤數(shù)與T-unit之比、正確T-unit的百分比（代表準確度）；從句與T-unit之比、平均詞長（代表復(fù)雜度）。語言的流利度(fluency)、復(fù)雜度(complexity)和準確度(accuracy)被廣泛地應(yīng)用到口語和寫作任務(wù)的測量中，能夠比較客觀地反映口語和寫作水準。〔15〕

表4 語篇分析指標

（4）問卷調(diào)查：考試結(jié)束之后，對控制組和實驗組的考生展開問卷調(diào)查。主要問題是寫作時間是否充足、是否有足夠時間來修改作文、作文時限是否有必要等。

（5）統(tǒng)計分析：把評分數(shù)據(jù)、語篇分析數(shù)據(jù)、問卷調(diào)查數(shù)據(jù)輸入Spss軟件，進行描述性統(tǒng)計、獨立樣本T檢驗，借此觀察和分析時限設(shè)定對外語寫作的影響。

四、結(jié)果和討論

（一）限時寫作和非限時寫作的成績差異

兩位教師對樣本作文評分結(jié)果的Person相關(guān)系數(shù)為0.663,P值為0.00,呈顯著相關(guān)，說明評分的一致性信度較高。因此，兩位教師的評分結(jié)果可以采用。通過對實驗組和控制組考生的寫作成績進行獨立樣本檢驗，我們可以發(fā)現(xiàn)，兩組考生的寫作成績基本上無差異。

表5顯示，試驗組和控制組考生的寫作平均分分別為7.5和7.7，非常接近，標準差分別為0.8和1.0，也比較接近。獨立樣本T檢驗結(jié)果（表6）也顯示，顯著性概率為P=0.341,大于0.05的顯著性水平，均值差異也只有-0.2。由此可以推斷，兩組的寫作成績差異顯著性不具有統(tǒng)計學上的意義。這與前述的Caudery,Hale、Livingstone、Powers 和 Fowles、陳慧媛和吳旭東、邵繼榮、吳紅云、王宗迎、何廣鏗、Knoch和Elder等人的研究結(jié)果基本接近。

Skehan指出，學習者在完成任務(wù)的過程中，時間限制和壓力會帶來交際的壓力，從而影響任務(wù)的完成。〔16〕而實驗的結(jié)果與Skehan的觀點相左，這應(yīng)該由兩方面的原因引起：其一是控制組的不限時是相對的，其實質(zhì)仍然是限時寫作，因為在測試狀態(tài)下，考生必須考慮到各個題目時間的合理分配和安排問題，在實驗組和控制組中可能都有寫作時限壓力，會對寫作質(zhì)量產(chǎn)生同樣的影響。其二是評分有誤，評分是采取主觀性的人工評分，可能評分者不能覺察到控制組和實驗組作文中的細微差別。基于這樣的推測，為了驗證評分的準確性和更深入地了解實驗組和控制組的寫作差異，我們在下面又借助語篇分析方法對兩組學生的作文進行了分析。

（二）限時寫作和非限時寫作的語篇特征差異

語篇分析指標的平均數(shù)如表5，實驗組和控制組的流利度指標詞數(shù)平均值分別為128.55和133.25，控制組作文詞數(shù)平均值高于實驗組，這說明實驗組和控制組在流利度方面還是有所差別，控制組的作文長度略高于實驗組。在代表準確度和復(fù)雜度指數(shù)的錯誤數(shù)/T-unit、無錯誤T-unit比例、從句/T-unit、平均詞長等指標的平均數(shù)上，試驗組和控制組都有所差別，在錯誤數(shù)/T-unit和從句/T-unit平均數(shù)指標上，控制組高于實驗組，在無錯誤T-unit比例和平均詞長這兩項指標上，實驗組反而還高于控制組，這說明，實驗組和控制組在作文正確度、復(fù)雜度方面，各有優(yōu)劣，并不存在壓倒性的差異。為了驗證差異的顯著性，我們有對兩組數(shù)據(jù)進行了T檢驗，通過獨立樣本T檢驗（如表6），觀察各指標的P值，發(fā)現(xiàn)實驗組和控制組在語篇分析的大部分指標上的差異不具有顯著性，只有在詞數(shù)這個指標上，兩組差異呈顯著性，其雙尾檢驗的顯著性概率P值為0.015，低于0.05的顯著性概率，說明這兩組在作文的長度上差異明顯。

上述分析可以得出結(jié)論：限時和非限時寫作在語篇分析框架內(nèi)的大部分指標上雖然有差異，但是差異不大。為什么控制組的學生在能夠自由調(diào)節(jié)寫作時間的情況下不能寫出比試驗組更好的作文呢？這或許如Kroll(1990)和Caudery(1990)指出的那樣，學生對寫作的技能掌握得不夠，不知道如何利用多余的時間來計劃寫作，改善這種狀況的途徑是加強對學生寫作訓練。很顯然，目前高校都把大學英語課程作為公共課程，課時緊縮，教師教學任務(wù)繁重，很少有對學生進行寫作限時和非限時訓練的。

上述寫作成績分析也顯示實驗組和控制組的作文分數(shù)沒有顯著性差異，分數(shù)分析結(jié)果和語篇分析結(jié)果一致，相互印證，說明評分客觀準確。兩方面的分析結(jié)果也更能說明此次實驗中的限時寫作與非限時寫作的差別不大。

在大規(guī)模語言測試中對寫作任務(wù)進行時限設(shè)定雖然在客觀上沒有差異，但是在主觀上，也就是對受試者的心理，是否會產(chǎn)生影響呢？下面的問卷調(diào)查可以回答這個問題。

表5 試驗組和控制組作文描述性統(tǒng)計

表6 實驗組和控制組作文指標獨立樣本T檢驗

五、結(jié)論和建議

通過上述統(tǒng)計分析，可以對研究的問題作出如下回答：（1）大規(guī)模外語測試中的限時對寫作成績雖然能產(chǎn)生影響，但是影響不大，難以達到顯著性水平。（2）限時不會對考生作文的主要語篇特征產(chǎn)生顯著影響。實驗組和控制組寫作的語篇特征只有在詞數(shù)方面存在顯著差別，在其它指標上并無顯著差異。

結(jié)合上述研究結(jié)論，建議在大規(guī)模外語測試中取消對寫作任務(wù)的時限設(shè)定。因為非限時外語作文更接近現(xiàn)實生活對寫作的要求〔17〕，符合交際語言測試真實性原則。語言測試的真實性就是試題設(shè)置的情景要符合真實的生活情景〔18〕。在實際生活中，應(yīng)當說限時寫作和非限時寫作的情況都有存在，寫作時間的長短是作者根據(jù)自實際情況來調(diào)節(jié)的。在大規(guī)模外語測試中，取消寫作任務(wù)的時限設(shè)定，考生可以根據(jù)自己的寫作水平、其它試題完成的進度來自主調(diào)節(jié)寫作時間，這個調(diào)節(jié)過程就與實際外語寫作情景非常類似。

盡管本研究盡量注意了研究過程的科學性，注意多種研究方法相結(jié)合，但還是有一些不足之處：如樣本量過小，代表性不是很強；把大學英語課程期終考試附比為大規(guī)模的外語測試情景是否適當也值得商榷；還有寫作試題設(shè)計的難易度、寫作的類型對測試的結(jié)論是否有影響也需要進一步探索等。

〔1〕〔18〕Bachman F.Palmer AS.Language testing in practice〔M〕.Oxford:Oxford University Press,1996.

〔2〕Biola,H.R.Time limits and topic assignment for essay tests〔J〕.Research in the Teaching of English,1982.16:97–98.

〔3〕Younkin,W.F.Speededness as a source of test bias for non-native English speakers on the college level academic skillstest〔J〕.Dissertation AbstractsInternational,1986.47:40-72.

〔4〕Livingstone,S.A.,The Effects of Time Limits on the Quality of Student-Written Essays〔R〕.Paper presented at the American Educational Research Association conference,1987.

〔5〕Crone,C.Wright,D.Baron,P.Performance of Examinees for Whom English is their Second Language on the Spring 1992 SAT II: Writing Test.Educational Testing Service〔R〕.Unpublished manuscript,1993.

〔6〕Hale,G.Effects of Amount of Time Alloacted on the Test of Written English〔R〕.Research report no.92-27.Educational Testing Service,Princeton,NJ,1992.

〔7〕Powers,D.E.,&Fowles,M.E.,Effects of applying different time limits to a proposed GRE writing test〔J〕.Journal of Educational Measurement,1996.33(4): 433–452.

〔8〕Caudery,T.The validity of timed essay tests in the assessment of writing skills〔J〕.ELT Journal,1990.44:122–131.

〔9〕Ellis,R.&Yuan,F.The effects of planning on fluency,complexity and accuracy in second language narrative writing〔J〕. Studies in Second Language Acquisition 2004.26(1):59～84.

〔10〕Knoch, U Elder, C.Validity and fairness implications of varying time conditions on a diagnostic test of academic English writing proficiency〔J〕.System,2010.38:63–74.

〔11〕陳慧嬡，吳旭東.任務(wù)難度與任務(wù)條件對EFL寫作的影響〔J〕.現(xiàn)代外語，1998(2):27～39.

〔12〕邵繼榮.任務(wù)類型和任務(wù)條件對EFL寫作的影響〔J〕.國外外語教學，2003(2):28～34.

〔13〕〔17〕吳紅云. 時間限制對EFL作文成績的影響〔J〕.外語教學與研究2006.38(1).

〔14〕王宗迎,何廣鏗.時間限制和任務(wù)類型對EFL寫作的影響〔J〕.中小學外語教學：中學版.2008(11):6～11.

〔15〕Ellis,R.&Yuan,F.The effects of planning on fluency,complexity and accuracy in second language narrative writing〔J〕. Studies in Second Language Acquisition,2004.26(1):59～84.

〔16〕Skehan, P. A Cognitive Approach to Language Learning〔M〕.Oxford:Oxford University Press,1998.