寫作自動評估系統對中國大學生英語寫作水平影響的歷時研究

王淑雯

(西南石油大學 外國語學院，四川成都 610500)

寫作自動評估系統對中國大學生英語寫作水平影響的歷時研究

王淑雯

(西南石油大學 外國語學院，四川成都 610500)

很多研究表明寫作自動評估系統對英語寫作水平有積極影響，但缺少探討這種影響是否具有持續性的歷時研究。本研究采用定量研究的方法，使用寫作自動評估系統“Writing Roadmap”為寫作工具，通過前測、中測、后測和延測，歷時考察該工具對非英語專業大學生英語寫作水平的積極影響是否具有持續性。研究發現：實驗班的語言形式和寫作質量增幅均顯著高于對照班，寫作質量在延測中具有持續優勢；實驗班在語篇結構方面的增幅高于對照班，但無統計意義上的差異；兩個班的寫作水平在后測和延測的增幅都趨緩。研究表明，該系統對實驗班英語寫作水平的提高具有持續性影響。這一研究發現為寫作自動評估系統與大學英語寫作教學進一步融合提供了依據。

寫作自動評估系統；英語寫作水平；語言形式；語篇結構；寫作質量

1.0 引言

近年來，就英語寫作教學的諸多研究發現，寫作并不是一個個孤立分離的任務，而是一系列循環而又相互嵌入的復雜認知過程(Flower & Hayes,1981)，也是“寫作—反思—修改—再寫作—再反思—再修改……”的循環過程，且“過程的好壞決定結果的好壞”(Martinez & Martinez,1991:73)。寫作自動評估系統因其能為使用者提供即時反饋以及反復修改的循環寫作機會，并監控評估寫作過程，而在國內外教學中逐漸受到重視。

2.0 國內外寫作自動評價系統研究現狀

20世紀60年代，寫作自動評價系統在美國問世，并迅速被應用于英語寫作教學。近年來，隨著計算機網絡技術的發展以及人工智能技術突飛猛進，該系統不斷得以研發和完善。目前比較成熟且被廣泛運用于教育領域的寫作自動評價系統，如MY Access！、Project Essay Grade、Intelligent Essay Assessor、Electronic Essay Rater和Writing Roadmap等，不僅能為學習者的寫作提供個性化、實時性的形成性評價、診斷性評價以及終結性評價，而且能就語言形式、語篇結構和寫作質量等方面提供多維度的反饋評價。

國外相關研究表明，寫作自動評估系統對學生寫作質量產生了積極影響，尤其是就語言形式層面提供的即時有效、準確的反饋有助于減少機械錯誤，提高學生的寫作水平(Rich et al.,2008；Shermis et al.,2004;Hoon,2006)。Milton (2006)的研究還發現，寫作自動評估系統能提高寫作學習者的學習自主性。Scharber et al.(2008)的研究發現，相較于高年級學生，寫作自動評估系統更能有效提高低年級學生的寫作水平。Schroeder et al.(2008)的調查顯示大多數使用者對寫作自動評估系統持積極態度。White et al.(2010)對西弗吉尼亞州中小學的調查表明，使用Writing Roadmap的學生寫作成績高于沒有使用該系統的學生。這些研究主要以英語為母語的中小學學生為研究對象，采用定量研究的方法，關注系統對寫作結果的影響，且大多由系統開發商資助完成，研究結論的客觀性大打折扣，而且對系統在課堂教學應用方面的研究較少。除部分研究外(如Shermis et al.,2004;Rich et al.,2008)，其余研究在設計上或缺少隨機抽樣，或缺少實驗前成績，或缺少對照組等，其可信性受到質疑(唐錦蘭、吳一安，2011)。值得注意的是，目前國外對于自動評估系統在教學中的應用研究更加趨于理性，如Wilson (2014)的實證研究指出，雖然寫作自動評價系統在寫作教學中發揮了重要作用，但仍存在缺陷，如反饋較單一，尤其是欠缺寫作策略和任務聚焦等方面的反饋；Reilly (2014)表達了對利用系統進行作弊的擔憂。

國內對寫作自動評價系統的研究起步較晚，但這兩年發展迅速。目前的研究主要分為三類。一是綜述類：如陳瀟瀟、葛詩利(2008)和葛詩利、陳瀟瀟(2009)分析了國外主流寫作自動評分系統所采用的技術及對國內開發此類系統的啟示；梁茂成、文秋芳(2007)依據語言測試領域的作文評分要素, 從技術層面對國外具有代表性的三種作文自動評分系統進行評介和比較；唐錦蘭、吳一安(2011)綜合分析了國內外使用寫作自動評價系統的相關研究成果；王勃然等(2015)回顧了50年來國內外寫作自動評價領域的主要成果，并展望了未來發展態勢。二是調查類：如魯艷輝等(2010)發現智能化在線評閱系統能促進學生改變寫作策略；周穎(2011)調查了學生使用WRM寫作自動評價系統進行英語寫作過程中遇到的困難，進而提出相應的對策；王淑雯(2011)和馬衛華、 甄強 (2016)的調查都顯示絕大多數學生對寫作自動評估系統持積極肯定態度；唐錦蘭、吳一安(2012)的調查發現，融入自動評價系統的英語寫作實驗教學使得教師的教學理念、行為、角色均發生了變化；張荔、盛越(2015)使用個案分析法，采用CET4作文樣卷驗證了人/機(句酷批改網)評閱一致性和相關性較高；但何旭良(2013)指出國內開發的句酷系統的評價信度低于教師評判的信度。第三類是實證研究：如蔣學清等(2011)采用定量研究和定性研究相結合的方法，指出寫作自動評價系統WRM在發展大學生英語寫作能力方面發揮積極的作用；唐錦蘭(2014)提出了基于自動評價系統的自主寫作、多維反饋以及修改于一體的系統的先導模式，并多視角驗證了其效度；胡學文(2015)通過數據分析發現，在自動評閱環境中，學生自我修改的次數與作文成績的提高不存在相關關系；楊曉瓊，戴運財(2015)建構了基于句酷批改網的自主寫作教學模式，指出該模式有助于提高學生的自我效能感，降低寫作焦慮感；周麗(2015)從生產單位、句式類型、從句和短語等四個角度分析了句酷網對學生句法能力的效用。綜上，目前有關寫作自動評價系統的研究對象范圍較廣，包括教師、中小學生、大學(非)英語專業學生。前期研究多表明寫作自動評估系統有助于提高學生的英語寫作質量，研究設計的共同特點是：a)對寫作質量的最終考察多來自系統，沒有考察人工閱卷環境下學生寫作水平的變化；b)缺少歷時研究；c)沒有繼續跟蹤學生在停止使用系統后，英語寫作水平的變化，缺少持久性檢測，研究結果的有效價值可能受到質疑。

基于此，本研究以我國某大學非英語專業的100名大一新生為研究對象，分為實驗班和對照班，歷時三個學期，通過前測、中測、后測和半年后人工評閱的延測等4次測試，歷時考察寫作自動評估系統Writing Roadmap(簡稱為WRM)對實驗班英語寫作水平的影響。寫作水平主要從語言形式、語篇結構和寫作質量三個方面來衡量。具體研究問題是：

(1)學生的語言形式是否發生了顯著變化？變化趨勢如何？

(2)學生的語篇結構是否發生了顯著變化？變化趨勢如何？

(3)學生的寫作質量是否發生了顯著變化？變化趨勢如何？變化是否具有持續性？

3.0 研究方法

3.1 寫作自動評價工具

本研究采用由美國麥克勞—希爾教育測評中心(McGraw-Hill)研發的WRM 為寫作工具。該系統提供一個復合分和六個分項分，分值都是0-5分。其中，寫作質量由復合分(Holistic)決定。Chandler (2000) 也用復合分驗證整體寫作質量。我們將分項成績分為兩類，一類是語言形式，包括詞匯(Word choice)、句法(Fluency)和規范(Conventions)；另一類是語篇結構，包括內容(Ideas and contents)、結構(Organization)和語體(Voice)。WRM 還就作文整體情況和六個分項維度提供批語反饋(Narrative feedback)。設置寫作輔助工具供學生寫作時隨時使用。不限制修改次數，學生可以反復“提交—獲得反饋—修改”，直到滿意為止。

3.2 研究對象

研究對象是我國一所綜合性大學非英語專業的100名大一新生，來自同一個專業的兩個自然班，其中，實驗班50人，對照班50人，由同一教師任教，使用同樣的英語教材——讀寫綜合教材，教學任務一致，寫作任務和寫作次數相同。實驗班在第一、二學期使用WRM，第三學期采用紙質寫作和傳統教師批改方式，對照班一直采用紙質寫作和傳統教師批改方式，即采用大學英語四級測試中的寫作評分法，從內容和語言兩個方面對作文進行綜合評判，只提供復合分，不提供分項分。

3.3 實驗過程

實驗歷時三個學期，每學期各16周。其中，WRM實驗為前兩個學期。前測安排在正式上課之前，中測在第一學期期末，后測在第二學期期末，延測在教學實驗結束的第三學期期末。實驗開始前，兩個班都接受了WRM的使用訓練。前測、中測和后測時，100名學生同時用WRM完成同題作文，限時30分鐘，不少于120詞，在寫作過程中，我們禁閉了WRM的寫作輔助工具。由于成績要納入該學期的平時成績，所有學生都參加了3次測試并能認真對待。延測采用第三學期期末考試中的寫作成績(定義為寫作質量，原始的滿分15分折合為滿分5分)，采用大學英語四級寫作閱卷標準，密封閱卷，由兩位經常參加大學英語四級閱卷并多次被評為優秀的教師統一評閱，若在同一分數檔，取平均分；若跳檔，由兩位老師協調確定分數。采用期末考試寫作成績作為延測是基于以下原因：學生會認真對待期末測試；英語寫作，尤其是大學英語四六級測試仍以人工批閱為主，且只提供復合分，我們要觀察實驗班在停止使用WRM進行寫作訓練后，他們的寫作質量在人工閱卷環境下會發生什么變化。

3.4 數據收集和分析

本研究的數據來自兩個方面。第一，從WRM 提取的前測、中測和后測的復合分和分項分。第二，人工評閱的延測成績，僅有復合分。我們采用SPSS19.0對數據進行獨立樣本t檢驗和重復度量方差分析，回答受試成績均值的變化程度及其趨勢。

4.0 結果與分析

研究結果從三個方面匯報分析：語言形式、語篇結構和寫作質量。

4.1 語言形式變化

如上文所述，本研究中所涉及的語言形式主要從WRM 設置的詞匯、句法和規范三個維度衡量。其中，詞匯維度主要衡量詞匯豐富性、多樣性和傳遞信息的準確性；句法維度評價句子結構的完整度、句子的流暢度和句式多樣性；規范維度就拼寫、標點和語法及詞匯深度進行評價。

對照班和實驗班在這三個維度的前測、中測和后測均值如表1所示。

表1 對照班和實驗班語言形式獨立樣本t檢驗

注*：Sig. 小于 .05較顯著(下同)

表1顯示，對照班語言形式的前測均值都略高于實驗班，但沒有顯著性差異(分別是p=0.826, p=0.629和p=0.802)，前測均值在三次測試中都是最低的，經過兩個學期的系統學習后，兩個班在三個維度的中測和后測均值都有所提高，后測均值最高。在詞匯和規范維度，實驗班的中測和后測均顯著高于對照班(詞匯p=0.049<0.05和p=0.015<0.05；規范p=0.013<0.05和p=0.022<0.05)，在句法維度，實驗班的中測和后測也均高于對照班，但沒有顯著性差異(p=0.289>0.05和p=0.133>0.05)。整體而言，兩個班的語言形式均值都表現出后測>中測>前測的特征，這表明兩個班的語言形式成績均發生了變化，即呈上升趨勢。

這種變化是否具有顯著性需要進一步進行多重比較，結果如表2所示。

表2 對照班和實驗班語言形式均值多重比較統計表

注：1=前測，2=中測，3=后測(下同)

表2顯示，實驗班在三個維度的均值增幅都高于對照班。其中，詞匯維度，實驗班前測-中測，中測-后測和前測-后測的比較結果均有顯著差異(分別是p=0.002<0.05, p=0.000<0.05和p=0.034<0.05)，而對照班的前測-中測和前測-后測比較結果有顯著差異(分別是p=0.037<0.05和p=0.000<0.05)，中測-后測結果不具有統計意義上的差異(p=0.159>0.05)。在句法和規范維度，兩個班的前測-中測和前測-后測比較結果有顯著性差異，中測-后測比較結果都沒有顯著性差異(p=0.176>0.05 和p=0.367>0.05)。

數據顯示，兩個班學生在語言形式的三個維度上的均值都表現出在第一學期(中測)增幅較大，第二學期(后測)增幅減緩的整體變化趨勢。實驗班的增幅較大。變化趨勢見圖1、圖2和圖3。

圖1 詞匯成績變化趨勢

圖2 句法成績變化趨勢

圖3 規范成績變化趨勢

以上數據表明，傳統寫作評閱方法和WRM均對學生寫作中的語言形式產生了積極影響，實驗班學生的提高幅度明顯大于對照班。研究者認為導致這一變化趨勢的原因有：a) 如果學生有大量用英語寫作的機會，他們的語法錯誤有逐漸減少的可能性(Raimes，2002)。b)WRM是比較新穎的寫作工具，實驗班初次接觸，寫作積極性較高，但這種熱情在實驗后期下降(這反映在學生修改作文的次數減少)，學生心理素質不穩定，中測-后測成績在句法和規范維度沒有顯著性差異。c)詳細的錯誤反饋有助于減少錯誤量(Fathman & Whalley，1990；Kepner，1991)，提高語言的準確性(Chandler, 2000)。WRM既是評價工具也是學習工具，該系統的寫作界面設置了四種語言形式方面的編輯功能選項：Hint(寫作提示)、Tutor (能即時指出學生的單詞拼寫錯誤、詞匯錯誤和語法錯誤)、Thesaurus(近義詞提示)和Tree(指出學生的句法結構錯誤，并提供修改建議)，學生在寫作過程中可以隨時獲得語言錯誤提示、診斷提示和修改建議。而傳統教師評閱通常只就文章的整體印象給一個總體分數，很少面面俱到地指出學生作文的所有語言形式錯誤，較少提出糾正建議，更不會提供更豐富的詞匯供學生選擇。d) 糾錯的積極效果并不是來自于糾錯本身，而是源自于學生的即時性(Truscott, 2004) 。相對于教師評閱反饋的滯后性，WRM提供了即時反饋信息。e)WRM不限制修改次數，每次更正錯誤后再次提交，學生都能得到新的反饋，驗證修改成果。在“寫作—修改—再寫作—再修改”的循環寫作過程中，獲得更多的語言輸出機會和交互活動，既體驗成功，又發現自我的不足，激發主觀能動性，最終完成語言知識的主動建構。而對照班在糾錯后很少得到進一步的反饋，其寫作表現為線性終結過程。f) Schmidt ( 1990) 的注意假說 ( Noticing Hypothesis) 指出，有效加工處理信息的必要條件是對輸入(input)的注意，注意是吸收(intake)內化的前提。WR提供的高頻率錯誤反饋能引導學生有意識地去關注自己的錯誤，進行認知和加工。久而久之，學生逐漸將正確的語言形式存儲于長期記憶中，內化為內在知識，從而提高了語言的準確率。而對照班學生在寫作中出現的錯誤并未得到標注，缺少信息輸入，更談不上有意注意。

4.2 語篇結構變化

本研究中所探討的語篇結構主要從WRM 提供的內容、結構和語體三個維度加以衡量。其中，內容維度衡量文章的主題是否突出，展開句與主題之間是否有相關性；結構維度就主題思想及其展開方式和展開順序以及銜接連貫性進行評價；語體維度主要評價學生能否根據寫作主題、寫作目的和閱讀對象選擇適當的體裁。

對照班和實驗班在上述三個維度的前測、中測和后測均值如表3所示。

表3 對照班和實驗班語篇結構均值統計表

表3顯示，對照班在三個維度的前測成績均值略高于實驗班，但沒有顯著性差異(分別是p=0.800>0.05, p=0.381>0.05和p=0.897>0.05)；在三次測試中，兩個班的前測均值都是最低的，中測和后測均值都有所提高，后測均值最高。實驗班在三個維度的中測均值雖都高于對照班，但沒有統計意義上的差異。在后測中，實驗班在內容和語體兩個維度的均值沒有顯著高于對照班，結構維度均值則低于對照班，但沒有顯著差異。整體而言，兩個班的語篇結構均值都具有后測>中測>前測的特征，這表明語篇結構成績在測試中發生了變化，均呈上升趨勢。

進一步進行多重比較顯示上述變化是否具有顯著性，詳見表4。

表4 對照班和實驗班語篇結構均值多重比較結果

表4顯示，在內容維度，實驗班中測和后測均值的增加幅度都高于對照班。前測-中測、前測-后測和中測-后測比較結果顯示，兩個班的內容維度均值都有顯著提高。在結構維度，實驗班的前測-中測和前測-后測的均值增加值高于對照班，但中測-后測增加值小于對照班(分別增加了0.014和0.072)；另外，兩個班的前測-中測和前測-后測比較結果均有顯著性差異，成績顯著提高，但中測-后測都沒有顯著性改善(對照班p=0.072>0.05，實驗班p=0.886>0.05)；相比而言，對照班的后測增幅稍大于實驗班。在規范維度，實驗班在前測-中測、前測-后測的均值增幅高于對照班，但中測-后測的增加值小于對照班(分別增加了0.108和0.088)；此外，兩個班都在前測-中測和前測-后測比較結果有顯著性差異，而中測-后測比較結果都沒有顯著差異(對照班p=0.321>0.05，實驗班p=0.298>0.05)。

數據顯示，兩個班在語篇結構的三個維度上的均值都表現出在中測增幅較大，后測增幅減緩的整體變化趨勢。不過，對照班在結構和語體兩個維度的后測均值提升略高于實驗班。變化趨勢見圖4、圖5和圖6。

圖4 內容成績變化趨勢

圖5 結構成績變化趨勢

圖6 語體成績變化趨勢

以上數據表明，傳統寫作評閱方法和WRM都對學生寫作中的語篇結構產生了積極影響，其中實驗班在三個維度的中測均值提高幅度高于對照班，但后測卻趨緩，甚至在結構和語體維度略低于對照班。研究者認為導致這一變化趨勢的原因有：a) 經過兩個學期的學習，語篇結構成績有自然提高的過程。b)經過第一學期16周較大強度的語言輸入，實驗班和對照班學生原有的語言認知積累得到激發，中測均值增加最大，但在第二學期，學生的寫作認知提高速度減緩，進而導致后測均值增加趨緩。c)傳統英語作文評閱方法重視對語法錯誤的修改，忽略對結構和語體方面的指導，學生寫作時也較少關注語篇內容。WRM采用的分項評分能引導學生關注內容、結構和語體的重要性，但評語比較寬泛籠統，多為機械性批語，缺少修改建議，學生雖然能認識到語篇結構在寫作中的重要性，卻無所適從，無法完成認知建構。d) WRM提供的語料庫反饋信息顯示，實驗班針對語篇結構的修改頻次遠低于語言形式的修改次數，這與Attali(2004)、Chen & Cheng (2008)和Warschauer & Grimes (2008)的調查結果一致。e)思維模式很難在短時間內發生轉變，兩個班學生仍然用漢語思維模式進行英語寫作。首先，學生雖能控制寫作主題，但展開句與主題之間的相關性相對較弱，語篇展開的邏輯性較弱。其次，傳統教師評閱基本沒有給出針對語體的評語，WRM 就語體方面的反饋信息非常模糊寬泛且基本上千篇一律。因此，學生的語體意識相對淡薄，兩個班都表現出“讀者負責型”的寫作特征。第三，由于不了解英漢語篇在銜接手段方面的差異，少量學生在寫作之初缺少結構意識，后來為了備考大學英語四級，背誦了“模板”作文，在作文中開始大量使用過渡詞，結構維度的均值都有所提升，但這種生搬硬套的過渡詞過于單一，沒有兼顧另外幾種銜接手段，如替代、省略、指示、詞匯銜接等。因此，兩個班在結構維度的后測均值是三個維度中最低的。f) 缺少語篇知識的可理解性信息輸入。二語寫作教學中，教師多將注意力集中在寫作的表層特征，如語法和寫作技術規范，較少關注篇章布局、遣詞造句的技能、修辭手段的運用 (Applebee,1981;Hedgcock & Lefkowitz,1992;Hyland,2000;Kepner,1991;Vann, et al.,1984；蔡基剛，2002) 。Long(1996)提出的交互假設(Interaction Hypothesis)認為交互包括得到可理解的輸入、提供對二語形式的反饋和創造調整后輸出的機會。系統提供的語篇結構反饋雖能彌補教學信息輸入的不足，引起學生的有意注意，但缺少有意義的反饋，學生的修改略顯盲目，效果也不理想。

由此可見，寫作自動評價系統尚無法解決的弊端——不能識別、評價寫作在語篇、語境、文化、修辭等方面的高階特征，應由教師反饋和寫作教學予以彌補。

4.3 寫作質量變化

寫作質量由復合分數決定。WRM 給予的復合分并不是各個單項分累加后的平均分，而是基于上述六個維度的綜合評定。對照班和實驗班寫作質量的前測、中測、后測和延測均值情況如表5所示。

表5 對照班和實驗班復合分數均值統計表

表5顯示，對照班的復合分前測均值略高于實驗班，但沒有統計意義上的差異(p=0.797>0.05)；前測均值在四次測試中都是最低的。經過三個學期的系統學習后，兩個班的中測、后測和延測均值都有所提高，延測均值最高。實驗班的中測和后測均值都顯著高于對照班(p=0.031<0.05和p=0.033<0.05)，延測均值則未顯著高于對照班(p=0.358>0.05)。整體而言，兩個班的復合分均值都具有延測>后測>中測>前測的特征，這表明兩個班的寫作質量均發生了變化，呈上升趨勢。同時也表明，在停止使用WRM后，實驗班寫作質量的提高仍具有持續性。

實驗班和對照班寫作質量的變化是否具有顯著性需要進一步進行多重比較，結果見表6。

表6 對照班和實驗班復合分數多重比較結果

注：4=延測

表6顯示，兩個班除后測-延測均值提高都沒有統計意義上的差異 (對照班p=0.346>0.05，實驗班p=0.817>0.05)外，前測-中測、前測-后測、前測-延測、中測-后測、中測-延測的均值都有顯著提高。實驗班在前測-中測、前測-后測和中測-后測的均值增幅都高于對照班，但后測-延測均值增幅低于對照班。另外，兩個班都表現出中測和后測增幅較大，延測增幅減緩的整體變化趨勢，見圖7。

圖7 寫作質量變化趨勢

以上數據表明，傳統寫作評閱方法和WRM都對學生寫作中的寫作質量產生了積極影響，而且WRM對實驗班寫作質量的提高具有持續性。導致這一變化趨勢的原因有：a) 持久的英語學習能自然提高寫作質量。b)寫作質量達到一定程度后，其后續提高過程會遇到瓶頸因而逐漸減緩。c) 當二語習得者的作文得到整體反饋和分項反饋時，他們能在修改中表現出語篇內容和語言形式兩個方面的共同進步(Ashwell,2000;Fathman & Whalley,1990;Ferris, 1997)，實驗班的復合分均值增幅高于對照班這一結果印證了分項評分和整體評分相結合的方法更能有效提高寫作質量。d)實驗班并沒有建構完整而穩定的寫作知識體系，導致延測均值沒有顯著高于對照班，且后期寫作質量的提高幅度略低于對照班。需要指出的是，寫作質量由語言形式和語篇結構綜合考量，任何一個維度的分項分數都有可能影響到最后的復合分(寫作質量)。實驗班寫作質量具體在哪個維度的變化導致其延測成績增幅減緩，仍需進一步探究。

綜上所述，寫作自動評估系統對于中國大學生英語寫作水平具有積極影響，尤其能顯著提高語言形式和寫作質量。即使停止使用后，在人工閱卷環境下，實驗班學生寫作質量的提升仍表現有持續性，但在語篇結構層面的提高不明顯。

5.0 結論

評價最重要的目的不是證明而是為了改善(Stufflebeam,2003:34)。寫作自動評價系統運用于寫作教學中，能夠改變學習者的語言學習體驗，增加可理解性知識的輸入，提供高頻率、反復的寫作反饋，并創造調整后輸出的機會，從而提高學生的寫作水平。從語言形式看，實驗班學生在詞匯、句法和規范等三個維度的增幅顯著高于對照班，而且能將正確的語言形式存儲于長期記憶中。從語篇結構看，實驗班在結構和語體維度的后測成績增幅低于對照班。這暴露了寫作自動評價系統的缺陷——不能從高階層面給予有效反饋，也驗證了該系統只能是其他形式反饋的補充而不能是其替代品(Ware & Warschauer,2006)，如何將自動寫作評價系統提供的語言層面的反饋與教師的語篇反饋相結合，建立多元化的人際交互反饋機制，還需要進一步探究。從寫作質量看，實驗班的增幅顯著高于對照班，但這種優勢并沒有持續到延測，說明學生并沒有建構完整而穩定的寫作知識體系，所以在教學中如何突破寫作瓶頸也是未來值得探究的問題。

本研究為探討如何將現代信息技術與大學英語教學進行整合，使之成為教學的一個有機組成部分，提供新思路。不過，本研究尚存在一些局限性，如樣本數量較少，因此，研究結果的普遍有效性有待后續研究的進一步論證。

[1] Applebee, A. N.WritingintheSecondarySchool(NCTEResearchReport.No. 21)[R]. Urbana: National Council of Teachers of English, 1981.

[2] Ashwell, T. Patterns of teacher response to student writing in a multiple-draft composition classroom: Is content feedback followed by form feedback the best method?[J].JournalofSecondLanguageWriting, 2000,9:227-257.

[3] Attali, Y. Exploring the feedback and revision features of criterion[R]. Paper presented at the Annual meeting of the National Council on Measurement in education. San Diego, CA. April, 2004.

[4] Chandler, J. The efficacy of error correction for improvement in the accuracy of L2 student writing[R]. Paper presented at the AAAL Conference, Vancouver, 2000.

[5] Chen, E. & E. Cheng. Beyond the design of automated writing evaluation: Pedagogical practices and perceived learning effectiveness in EFL writing class[J].LanguageLearningandTechnology, 2008,12:94-112.

[6] Fathman, A. K., & E. Whalley. Teacher response to student writing: Focus on form versus content[A]. In B. Kroll (eds.).SecondLanguageWriting:ResearchInsightsfortheClassroom[C]. Cambridge: Cambridge University Press, 1990.178-190.

[7] Ferris, D. R. The influence of teacher commentary on student revision[J].TESOLQuarterly, 1997,31:315-339.

[8] Flower, L. & J. R. Hayes. A cognitive process theory of writing[J].CollegeCompositionandCommunication, 1981,32:365-387.

[9] Hedgcock, J. & N. Lefkowitz. Collaborative oral/aural revision in foreign language writing instruction[J].JournalofSecondLanguageWriting, 1992,1:255-276.

[10] Hoon, T. Online automated essay assessment: Potentials for writing development[OL]. 2006. http://ausweb.scu.edu.au/aw06/papers/refereed/tan3/paper.html [2014-12-27].

[11] Hyland, F. ESL writers and feedback: Giving more autonomy to students [J].LanguageTeachingResearch, 2000,4:33-54.

[12] Kepner, C. G. An experiment in the relationship of types of written feedback to the development of second-language writing skills[J].TheModernLanguageJournal, 1991,75:305-313.

[13] Long, M. The role of the linguistic environment in second language acquisition[A]. In W. Ritchie & T. Bhatia (eds.).HandbookofSecondLanguageAcquisition[C]. New York: Academic Press, 1996.413-468.

[14] Martinez, N. & J. Martinez.BasicCollegeWriting[M]. Prentice Hall, 1991.

[15] Milton, J. Resource-rich Web-based feedback: Helping learners become independent writers[A]. In K. Hyland & F. Hyland (eds.).Feedbackinsecondlanguagewriting:Contextandissues[C]. New York: Cambridge University Press, 2006.123-139.

[16] Raimes, A. Responding to students’ written errors: Looking at causes[A].Paperpresentedatthe22ndAnnualTESOLConvention, Chicago, 2002.

[17] Reilly, E. D., R. E. Stafford, K. M. Williams & S. B. Corliss. Evaluating the validity and applicability of automated essay scoring in two massive open online courses[J].InternationalReviewofResearchinOpenandDistanceLearning, 2014,11(5):83-98.

[18] Rich, C., H. Harrington, J. Kim & B. West. Automated essay scoring in state formative and summative writing assessment[R]. Paper presented at the Annual Meeting of the American Educational Research Association. New York, March 2008.

[19] Scharber, C., S. Dexter & E. Riedel. Students’ experiences with an automated essay scorer [OL]. 2008. http://escholarship.bc.edu/cgi/viewcontent.cgi? article= 1116&content= jtla [2011-12-27]

[20] Schmidt, R. The role of consciousness in second language learning[J].AppliedLinguistics, 1990,11:129-158.

[21] Schroeder, J., B. Grohe, & R. Pogue. The impact of criterion writing evaluation technology on criminal justice student writing skills[J].JournalofCriminalJusticeEducation, 2008,19(8):432-445.

[22] Shermis, M., J. Burstein & L. Bliss. The impact of automated essay scoring on highstakes writing assessments[R]. Paper presented at the Annual Meeting of the National Council on Measurement in Education. San Diego, April 2004.

[23] Stufflebeam, D. L. The CIPP model for evaluation[A]. In D.L. Stufflebeam & T. Kellaghan (eds.).TheInternationalHandbookofEducationalEvaluation[C], Boston: Kluwer Academic Publishers, 2003.31-62.

[24] Truscott, J. Evidence and conjecture on the effects of correction: A response to Chandler[J].JournalofSecondLanguageWriting, 2004,13(4):337-343.

[25] Vann, R. J., D. E. Meyer & F.O. Lorenz. Error gravity: A study of faculty opinion of ESL errors[J].TESOLQuarterly, 1984,18:427-440.

[26] Ware, P.D. & M. Warschauer. Electronic feedback and second language writing[A]. In K. Hyland & F. Hyland (eds.).FeedbackinSecondLanguageWriting:ContextsandIssues[C]. Cambridge: Cambridge University Press, 2006.

[27] Warschauer, M. & D. Grimes. Automated writing assessment in the classroom[J].Pedagogies:anInternationalJournal, 2008,3:22-36.

[28] White, L., N. Hixson, J. D Brot & J. Perdue. Impact of Writing Roadmap on WESTEST 2 online writing assessment scores [OL]. 2010. http://wvde.state.wv.us/oaa/pdf/research. [2011-12-27].

[29] Wilson, J. Does automated feedback improve writing quality?[J].LearningDisabilities:AContemporaryJournal, 2014,12(1):93-118.

[30] 蔡基剛. 大學英語四、六級寫作要求和評分標準對中國學生寫作的影響[J]. 解放軍外國語學院學報，2002,(5):49-53.

[31] 陳瀟瀟，葛詩利. 自動作文評分研究綜述[J]. 解放軍外國語學院學報，2008,(5):79-83.

[32] 葛詩利，陳瀟瀟. 大學英語作文自動評分研究中的問題及對策[J]. 山東外語教學，2009,(3):21-26.

[33] 何旭良. 句酷批改網英語作文評分的信度和效度研究[J]. 現代教育技術，2013,(5):64-67.

[34] 胡學文. 在線作文自我修改對大學生英語寫作結果的影響[J]. 外語電化教學，2015,(163):45-49.

[35] 蔣學清，蔡靜，唐錦蘭. 探究自動作文評分系統對大學生英語寫作能力發展的影響[J]. 山東外語教學，2011,(6):36-43.

[36] 梁茂成，文秋芳. 國外作文自動評分系統評述及啟示[J]. 外語電化教學，2007，(5)：18-24.

[37] 魯艷輝，譚福民，彭舜. 智能寫作評分系統在大學英語寫作中的實證研究[J]. 現代教育技術，2010,(6)：56-58.

[38] 馬衛華, 甄強. 大學生對在線英語寫作自動批改系統的評價——以句酷批改網為例[J]. 山東廣播電視大學學報，2016,(1):31-33.

[39] 唐錦蘭. 探究寫作自動評價系統在英語教學中的應用模式[J]. 外語教學理論與實踐，2014,(1)：49-57.

[40] 唐錦蘭，吳一安. 在線英語寫作自動評價系統應用研究述評[J]. 外語教學與研究，2011,(2):273-282.

[41] 唐錦蘭，吳一安. 寫作自動評價系統在大學英語教學中的應用研究[J]. 外語與外語教學，2012,(4):53-59.

[42] 王勃然, 金檀, 趙雯. 自動寫作評價研究與實踐五十年——從單一、合作到交互[J]. 外語研究，2015,(5),50-56.

[43] 王淑雯. 如何利用Writing Roadmap進行在線英語寫作反饋[J]. 現代教育技術，2011，(3)：76-81.

[44] 楊曉瓊，戴運財. 基于批改網的大學英語自主寫作教學模式實踐研究[J]. 外語電化教學，2015,(2)：17-23.

[45] 張荔，盛越. 自動作文評閱系統反饋效果個案研究[J]. 外語電化教學，2015,(3)：38-44.

[46] 周麗. 英語在線寫作平臺對大學生寫作句法能力的影響[J]. 外語電化教學，2015,(5)：26-29.

[47] 周穎. 在線形成性評價工具在英語寫作中的應用——困難及對策探究[J]. 現代教育技術，2011，(9)：88-93.

A Longitudinal Study on the Impacts of an Automated Writing Assessment System on the English Writing Proficiency of Chinese College EFL Learners

WANG Shu-wen

(School of Foreign Languages, Southwest Petroleum University, Chengdu 610500, China)

While many research results have proved that the automated writing assessment system has positive impacts on the improvement of writing quality, few researches examined the endurance of such effects in a longitudinal way. In this research, a longitudinal study was carried out to examine the effect of “Writing Roadmap” — an automated writing assessment system, on the English writing proficiency of non-English major freshmen. Pre-, mid-, post- and extended-tests were conducted to examine the enduring effect of Writing Roadmap on their English writing proficiency. The results indicate that more improvements in language form and writing quality were observed in the experimental group than that of the control one, and such an improvement in the writing quality was endured in the extended-test. Besides, non-significant improvements were found in textual structure in the experimental group. What’s more, there was little progress in post-test and extended test in both groups. So it is concluded that “Writing Roadmap” has showed enduring positive impact on the writing proficiency of the experimental group. It is expected that the findings of the study will provide references for the further integration of automated writing assessment system with writing teaching in the EFL classroom.

automated writing assessment system; English writing proficiency; language form; textual structure; writing quality

10.16482/j.sdwy37-1026.2017-02-007

2016-11-14

本文為四川省科技廳軟科學項目“基于語料庫的中外石油天然氣類英語學術語篇的言據性研究”(項目編號：2015ZR0156)和西南石油大學教學課題“對比語言學視域下的研究生英語翻譯教學研究與實踐”(項目編號：2016JXYJ-38)的部分成果。

王淑雯(1970-)，女，漢族，安徽省固鎮人，教授。研究方向：語言學及應用語言學。

H319

A

1002-2643(2017)02-0051-11