大學英語寫作的評分標準維度研究*
——基于Writingroadmap和批改網的評分對比

左映娟馮 蕾,2

（1.北京交通大學 語言與傳播學院，北京 100044；2.北京外國語大學 中國外語教育研究中心，北京 100089）

大學英語寫作的評分標準維度研究*
——基于Writingroadmap和批改網的評分對比

左映娟1馮 蕾1,2

（1.北京交通大學 語言與傳播學院，北京 100044；2.北京外國語大學 中國外語教育研究中心，北京 100089）

分項式評分標準對英語寫作教學的正面作用及缺陷均受到了研究者的關注，而在診斷性評估中使用何種評分維度也一直是困擾學界的主要問題。文章基于兩個診斷性寫作測試網站對大學生寫作能力的評分，分析了27名實驗組學生和90名對照組學生使用不同分項式評分標準之后的成績。通過數據采集和分析，并借助寫作教學、寫作測試的理論，文章發現：分項式評分標準適合大學英語寫作教學的診斷性評估，但是評分標準的呈現方式以及成績的呈現方式都影響寫作能力的提高；同時，分項式評分標準對學習者寫作能力不同方面的影響受寫作教學時間長短的影響。

大學英語寫作；分項式評分；評分標準維度

引言

評分標準的維度設定以及呈現方式是診斷性寫作測試研究的關鍵問題，原因有三:一是教師會依據評分標準對學生的作文水平做出評價；二是在診斷性寫作測試中，學習者會經常參照評分標準調整自己的寫作方式，以獲得較高水平的作文；三是在課堂教學中，教師會依據評分標準為學生講解寫作中應注意的問題。

隨著診斷性寫作測試在教學中的使用，診斷性寫作測試評分標準維度已經引起了研究者的關注。但在目前的教學實踐中，教師大多仍然采用整體式評分標準或者簡單的分項式評分標準來指導學生的寫作、評價學生的寫作水平。開發何種維度的分項式評分標準以適應目前大學英語診斷性寫作測試，是寫作測試界及教學界亟需解決的問題。

本研究建立在目前有關診斷性寫作測試評分標準研究的基礎上，以某校大學一年級新生為研究對象，探究適合大學英語診斷性寫作測試的分項式評分標準維度，以推動大學英語寫作教學的發展，并探求診斷性寫作測試評分標準維度設定的原則。

一 文獻綜述

隨著整體評分法反映出的問題凸顯，分項式評分法逐漸引起了英語寫作教師和研究人員的關注。研究文獻顯示，對分項式評分標準的研究主要集中在三個方面:一是其有用性研究，二是對它的質疑，三是對評分標準維度的探討。

研究顯示，在診斷性寫作測試中，分項式評分標準有助于學生提高寫作能力。Knoch[1]從理論的角度分析了分項式評分標準在診斷性寫作測試中使用的可行性，并通過對評分者的訪談發現，如果分項標準準確、詳細并經過實驗驗證，可以使評分員更好地區別寫作能力的不同方面。Knoch[2]還在學術英語寫作測試中進行了整體評分標準和分項式評分標準的對比研究，結果也證明分項式評分標準更有優勢。李清華等[3]通過實證研究，分析了分項式評分標準在我國大學英語專業四級寫作評分中的使用，認為其“能夠為寫作教學提供詳盡的反饋信息，更全面地反映受試者的寫作能力”。李清華[4]還對比了大學英語專業四級寫作評分中整體式評分標準和分項式評分標準的質量，指出分項式評分標準在評分員評分的一致性、穩定性、公平性及區分能力等方面優于整體式評分標準。在將分項式評分標準的問題應用于我國大學英語寫作教學的研究中，馮蕾等[5]的實證研究顯示，在診斷式寫作測試中采用分項式和整體式混合的評分方法，可以有效幫助學習者了解寫作的要求，并能通過不斷練習掌握寫作的技巧、提高寫作的能力。

與此同時，對分項式評分的質疑仍然存在，一些研究者認為分項式評分標準不能公正地評判寫作樣本。如 Hill等[6]的研究發現，分項式評分標準的各個維度可能會互相干擾，教師對各個維度的重視程度也會有差別。羅娟[7]對比了整體評分和分項式評分標準在寫作測試評分中的作用，發現整體評分法比分項式評分法效率更高。Weigle[8]認為分項式評分的缺點在于，習慣使用整體法的評分員在使用分項式評分時仍然會調整各個分項得分，以迎合最后的整體評分。

分項式評分標準的另一個研究問題是使用何種評分維度，這是此研究領域中存在的主要困惑。目前較為著名的分項式評分標準包括:Jacobs等[9]提出的評分量表，包含5個維度；孫海洋等[10]通過實證研究提出，分項式評分標準中的維度應該包含語言、內容和思想。將這些評分標準的維度應用于診斷性寫作測試的研究中時，Knoch[2]在學術英語寫作測試的實證研究中使用了8個維度的分項式評分標準，包括準確性、流暢性、復雜性、規范性、讀者和作者的交互性、內容、連貫性和統一性。

上述研究成果為我國大學英語診斷性寫作測試中評分標準的研究提供了借鑒，但目前對診斷性寫作測試中使用何種評分維度尚未形成定論，對不同分項式評分標準的對比研究也不多。本研究試圖在這方面做一次嘗試。

二 研究問題及研究設計

1 研究問題

本研究的主要內容是通過實證研究，探討某校大學一年級學生英語診斷性寫作測試的評分標準維度，為此設計了下面三個問題:

（1）診斷性寫作測試的分項式評分標準是否會對學生的寫作水平產生影響？

（2）診斷性寫作測試的不同評分標準維度對學生產生的影響主要體現在什么方面？

（3）什么樣的診斷性測試的評分標準維度對大學生的英語寫作水平更有幫助？

2 研究對象

本研究以非英語專業的136名大學本科一年級學生為研究對象，他們被分成實驗組和對照組兩個組，分別使用不同的寫作教學輔助網絡平臺，以完成寫作教學的診斷性測試。其中，實驗組包括1個教學班，共34人，使用Writingroadmap；對照組包括2個教學班，共102人，使用批改網。根據最終收集的有效樣本，實驗組有27人，對照組有90人。在一個學期的實驗周期中，兩組的學生在同一位老師的指導下學習英語綜合課程，教學內容相同；教師對兩組學生的寫作指導也基本相同，即結合教學單元中的閱讀文章講授寫作；寫作練習方式也基本相同，即先在網絡平臺上布置寫作任務，待學生完成、評分系統打分后，教師挑選其中的兩篇文章(一篇是優秀作文的代表，另一篇是有明顯缺點的習作)在課堂上講評。所不同的是講評時側重的評分標準有所不同——實驗班根據Writingroadmap的評分標準，而對照班根據批改網的評分標準。

3 研究工具及其特點

本研究使用的工具是Writingroadmap和批改網這兩個寫作教學網絡平臺，它們的共同點是都將整體評分和分項式評分相結合，不同之處體現在其分項的維度、反饋的方式和分值的設定三個方面。

Writingroadmap從篇章結構（Organization）、思想內容（Development）、句子結構（Sentence Structure）、詞匯語法（Word Choice / Grammar Usage）和寫作規范（Mechanics）五個維度評分，每個維度滿分均為6分；此外還就整體水平進行總體評分，滿分也是6分。這五個維度和總體評分分別打分，其分值并不是各分項按一定比例的合成。學生提交作文、得到系統打分后，可以得到各個維度的評分，并即刻得到網絡系統基于語料庫的寫作指導。該指導會描述學生習作在每個維度的具體表現及其和標準之間的差距。

批改網的整體評分分值為100分，在整體評分的同時，還會將詞匯、句子、篇章結構和內容相關度列入評分范圍，但這幾個維度不出現具體分數，而是以滾動條的形式顯示各項實現的程度。除了分數的反饋，批改網還提供“句酷提示”、“體檢報告”和“按句點評”，前兩者是詞匯、段落、句子、從句和詞性等各方面的統計，而“按句點評”會具體提示學生習作中出現的各種語法錯誤、拼寫錯誤、用詞不當、標點符號錯誤、中式英語等。

從兩個網絡平臺的評分維度和反饋方式可以看出，Writingroadmap的評價標準注重語言和內容的全面評價，而批改網對語言評價關注得更多。

4 實驗過程

當實驗開始時，兩組學生都參加了本研究的前測。前測要求學生在 40分鐘的時間內，以“Purpose of Education（教育的目的）”為題，完成一篇150字的短文寫作。題目中給了一句引言“The primary purpose of education is not to teach you to earn your bread, but to make every mouthful sweeter.（教育的首要目的不是教你怎樣掙來面包，而是教你每一口都吃得香甜）”作為引導，使學生對這個題目的范圍有明確的理解，寫作的方向相對統一。同時，考場受到嚴格控制，保證學生都是在限定的時間內獨立完成寫作任務。

之后，兩組學生分別在兩個網站完成3篇英文習作，且實驗組和對照組的題目相同:第一篇題為Health or Wealth（健康或財富），同樣用一句引言引導:“So many people spend their health gaining wealth, and then have to spend their wealth to regain their health.（許多人為獲得財富而犧牲健康，卻不得不為重獲健康而花費錢財）”；第二篇題為Let the Classics be Classics（讓經典永為經典），題目后給了中英文說明:“Some people hold the view that the classics are classics because they have stood the test of time. Therefore, they are to be treasured by people of all generations, ours being no exception. Others believe that the classics represent the wisdom of the past. As we are advancing towards the future, it is our responsibility to venture into the unknown and generate new understanding of man and nature. What is your view on this issue? （有些人認為經典作品之所以經典，是因為他們經受住了時間的考驗。因此，每一代人都應該將他們視為珍寶，我們這代人當然也不例外。也有些人認為經典著作代表著過去的智慧。我們正大步邁向未來，我們的責任是探索未知的世界、發掘對人與自然的新認識。對此，你有何看法？）”第三篇題為Film-goers and TV Watchers（電影觀眾和電視觀眾），這是一篇圖表作文，學生根據統計圖描述看電影和看電視的人數變化情況，并分析這一現象。實驗結束前，兩組學生參加了本研究的后測，后測的要求和方式與前測相同。題目為 What does Education Mean（教育的意義何在）？同樣用一句引言“Education does not mean teaching people to know what they do not know; it means teaching them to behave as they do not behave.（教育的意義不在于教給人們他們不知道的東西，而是教給他們原本不會的行為方式）”作為引導。

三 研究結果

1 成績總體對比

在此次診斷性寫作測試實驗中，兩組學生使用了不同的寫作測試軟件。對比實驗組和對照組前測和后測的成績（如表1所示），可以發現實驗組的同學在實驗結束后，成績沒有顯著提高（0.327〉0.05,說明兩次考試之間的成績沒有顯著差異）；而對照組學生的成績有了顯著提高（0.000〈0.05,兩次考試之間有了顯著差異）。這個結果說明，經過一個學期的練習，使用批改網的對照組學生，獲得網絡平臺的幫助較為明顯，寫作水平的提高幅度較大；而實驗組學生獲得Writingroadmap網絡平臺的幫助不明顯，進步幅度也不大。

表1 實驗組和對照組前測后測對比

2 實驗組成績不同維度的變化

實驗組的學生所使用的網站給出了學生作文每一個維度的得分，來對比學生實驗前和試驗后的作文水平，如表2所示。

表2 實驗組不同維度的前后成績變化

上述結果顯示，學生在五個維度上均未表現出太大的差異:篇章組織前后對比的p=0.615〉0.05，論點發展前后對比的p=0.129〉0.05，句子結構前后對比的p=0.510〉0.050，詞語語法前后對比的p=0.396〉0.05，篇章連貫前后對比的p=0.474〉0.05。這些對比數據說明，盡管學生在這五個方面的前后成績沒有顯著差異，但是學生在不同方面的發展不一致:詞語語法方面的進步最大，之后分別是篇章連貫、論點發展、句子結構和篇章組織。

3 對照組成績不同維度的變化

對照組的學生經過五次作文練習，對所得的五次診斷性測試的成績進行對比后發現:除第一次作文和第二次作文對比的 p=0.273〉0.05，說明這兩次作文沒有顯著差異之外，其余次數對比的p=0.000〈0.05，說明各次作文均呈現了顯著差異，如表3所示。這些對比的數據顯示，對照組學生的作文成績發生了明顯的變化。

表3 對照組成績變化對比

四 結果分析和啟示

1 結果分析

研究數據顯示，實驗組和對照組的學生在一個學期之后呈現了不同的變化:實驗組在整體寫作成績上并未有太大的變化，但是對照組學生在五次測試中的成績出現了顯著差異。結合對學生的訪談和觀察，本研究認為出現這種情況，可能受以下幾個因素的影響:

（1）受試人群。寫作中欠缺思想內容不外乎兩個原因，一是作者本身思想不縝密，邏輯性差；二是囿于表達能力，詞匯句式貧乏，無法表達出豐富的思想內容和很強的邏輯性。該實驗的對象是大學生，他們對周圍的事物已形成自己特有的觀點和價值評判，也已具有比較固定的思維方式。第一種情況在短期內很難改變，更無法通過幾次寫作練習就能扭轉過來；而對第二種情況，語言仍然是影響學生英語寫作水平的決定因素，也是他們亟待提高的方面，但實驗過程中對思想內容的評價轉移了他們對語言的注意力，使他們在語言的提高方面沒有付出更多的努力。對于語言有一定功底的人群（如英語專業的學生）或英語為母語、但認知思維能力尚不成熟的兒童來說，思想內容的評價對寫作能力的提高可能有更大的促進作用。

（2）反饋的方式。Writingroadmap提供了評價量表，對每個維度都有詳細的描述，但對存在的問題沒有定位，學生得到反饋后只有一個籠統的認識，無法進行針對性的修改；而批改網的“按句點評”更為具體，句式、用詞上的優缺點一目了然，有利于學生進行針對性的修改。

（3）實驗對象的級別設定。對照班使用的是“大學英語四、六級寫作打分公式”，其評價標準按照非英語專業的大學本科生設定，與實驗對象對評分標準的認識習慣相似。而Writingroadmap將實驗對象設定為 8級，缺乏足夠的依據。數據表明，實驗班的學生在前測和后測中Below Basic的比例分別是100%和93%，說明8級對這些學生來說偏高，即使付出一定的努力也無法達到要求。

（4）分值設定。批改網滿分為100分，分數跨度較大，因而即使文章質量的差別很小也可以反映出來；而Writingroadmap實行6分制，分數跨度小，分數區分度不大，同一個分數的作文可能在質量上會有所差別，只是分數的設定影響了區分度的表現。

（5）實驗時間。寫作的提高是一個漫長的過程，這次試驗進行了一個學期（16個教學周），研究對象完成了5個寫作任務，從周期和練習的頻率上來說都存在不足。盡管詞匯、語法和句式等語言方面有可能在短期內會有一定的提高，但思維方式、邏輯性等卻不容易改變，尤其是對于思想和思維方式已相對成熟的大學生來說更是如此。

（6）樣本數量。這次試驗為了控制學生所得到的指導一致，特選取了同一個老師的三個班，但實驗組和對照組的人數懸殊，特別是實驗組的樣本偏少，代表性就差了一些，可能無法充分反映評價標準的公正性。

2 研究啟示

在本次試驗中，本研究采用兩種診斷性寫作測試評分維度，研究過程和結果給分項式評分在寫作教學中的使用提供了以下啟發:

（1）在評價非英語專業大學本科生的英語寫作時，要仔細甄別作文的弱點是由語言造成的，還是由思維造成的。如果是語言表達能力不足，應著重對語言的評價，以此引導學生重視語言基本功；隨著表達能力的提高，學生在作文中所表現出來的篇章布局和邏輯性也會相應地提高。如果是思維方式缺乏條理，則要重點評價思想內容和連貫性，以此促進學生在文章條理性和邏輯性方面的提高。

（2）對學生習作的反饋應點面結合，既要有每個維度整體的描述，也應指出具體問題，使學生不但知道自己的弱點，還知道應如何去改正。

（3）評價標準要適應學生的實際水平，標準過高學生努力之后也達不到，就會挫傷學習的積極性；而如果標準很容易就達到，學生同樣會失去前進的動力。正如Knoch[1]所言，在診斷性測試中，分項式評分標準設計應考慮的內容之一，就是水平級別的設定須符合標準使用的環境。本研究認為，一個好的評分體系最好有配套的分級測試。而本次實驗的結果，向研究者展現了如何制定動態的診斷性寫作測試評分標準。

（4）分值的設定要有足夠的區分度。寫作能力往往需要通過日積月累才能獲得點滴進步，只有區分度高的分值才能體現這種微小的進步，而過于籠統的分數很難體現學生的小幅進步。

五 結語

本研究中，實驗組和對照組的成績變化給大學英語診斷性寫作測試評分維度的開發提供了參考。首先，在診斷性寫作測試中，不同評分維度的設定會對學習者產生一定的影響。其次，基于評分維度的打分方式和評語的呈現方式也會對學習者產生一定的影響。由于研究時間短，一些評分維度的作用并未表現出來，這是本研究的一個局限。但本研究可以作為后續研究的一個方向，推動我國大學英語診斷性寫作測試中評分維度研究的進一步深入。

[1]Knoch U. Diagnostic writing assessment: The development and validation of a rating scale[D]. Auckland: The University of Auckland, 2007:2.

[2]Knoch U. The assessment of academic style in EAP writing: The case of the rating scale[J]. Melbourne Papers in Language Testing, 2008,(1):34-67.

[3]李清華,孔文.TEM-4寫作新分項式評分標準的多層面Rash模型分析[J].外語電化教學,2010,(1):19-25.

[4]李清華.TEM-4寫作分項式評分標準與整體式評分標準對比研究[J].外語測試與教學,2013,(3):12-20.

[5]馮蕾,高淑芬.評分方法在大學英語寫作形成性評估中效應實證研究——整體評分與混合評分方法對比分析[J].北京交通大學學報(社會科學版),2012,(3):126-131.

[6]Hill K, Storch N. Analytic rating scales: How diagnostic are they?[J]. Melbourne Papers in Language Testing, 1994,(1):50-65.

[7]羅娟.作文整體評分與分項評分方法的比較研究[D].長沙:湖南大學,2007:55.

[8]Weigle S C. Assessing writing [M]. Cambridge: Cambridge University Press, 2002:120.

[9]Jacobs H L, Zinkgraf S A, Wormuth D R, et al. Testing ESL composition: A practical approach[M]. Rowley, MA: Newbury House, 1981:91.

[10]孫海洋,韓寶成.英語寫作分項評分和整體評分比較研究[J].解放軍外國語學院學報,2013,(6):48-54.

A Study on Dimensions of Analytic Rating Scales in College English Writing——Based on a Comparative Study of Writingroadmap and Pigai

ZUO Ying-juan1FENG Lei1,2
(1. School of Languages and Cummunication, Beijing Jiaotong University, Beijing, China 100044; 2. National Research Center for Foreign Language Education, Beijing Foreign Studies University, Beijing, China 100089)

The positive washback of analytic rating scales for writing assessment is testified, but dimensions which should be contained in analytic rating scales are discussed a lot and this is still an unsolved problem. Based on two diagnostic writing assessment websites, this study analyzes experimental group’s (27 students) and control group’s (90 students) scores of their writing assessment. The results show that analytic rating scales are suitable for college English diagnostic writing assessment; the presentation styles of the writing scales and the scores could give effect on students’writing ability improvement; the period of instruction also influences students’ improvement in their writing ability.

college English writing; analytic rating; dimensions of rating scales

G40-057

A【論文編號】1009—8097（2015）08—0060—07【DOI】10.3969/j.issn.1009-8097.2015.08.009

編輯:小米

本文受中央高校基本科研業務費專項資金“基于模糊語言學的大學英語教學與測試研究”（項目編號：2014JBM140）資助。

左映娟，講師，碩士，研究方向為英語教學及翻譯，郵箱為yjzuo@bjtu.edu.cn。

2015年1月19日