在線寫作自動評改系統在大學英語寫作教學中的應用研究

[摘要]作文批改與反饋是英語寫作教學的一個重要環節，對提高學生的英語寫作能力有著不可低估的作用。將在線寫作自動評改系統與課堂教學整合是英語寫作教學改革的重要途徑。本研究以句酷批改網為例，以學生的作文樣本為研究語料，以問卷調查和訪談等為研究手段，著重探析了在線寫作自動評改系統的有效性，并提出應增強在線自動評改系統的智能性及構建多元寫作反饋機制。

[關鍵詞]在線寫作自動評改系統：英語寫作教學；反饋

[中圖分類號]G40-057 [文獻標識碼]A [論文編號]1009-8097（2012）10-0067-05

一、引言

作文批改與反饋（feedback）是英語寫作教學的一個重要環節，其目的是向寫作者提供修改作文的信息，使其明白自己作文的“組織邏輯性不強”，或“內容發展不夠”，或“用詞和時態等錯誤”。這些信息有的是針對學習者作文表層錯誤的糾錯性反饋（corrective feedback）；有的是面向作文語篇層面（如內容和組織結構）的反饋；評語和評分也是信息反饋的重要方面。有研究表明，學生依據反饋信息對作文進行修改，是第二寫作過程，對提高學生的語言能力有著極重要的作用例。

傳統反饋多以紙質形式呈現，很多教師由于教學任務繁重，對學生的作文批改常常流于形式，給學生的反饋非常有限；大部分學生無法從教師提供的反饋中看到自己作文中實際存在的問題，更遑論進行第二寫作過程。

隨著現代教育技術的發展，人們對利用網絡平臺提升學生的寫作興趣、寫作方法以及寫作應用能力等進行了有益的教學實驗和探索。例如，郭曉英研究了博客環境下寫作能力的培養模式，而張文霞等、楊永林介紹了清華大學外語系研發的“易得”寫作軟件的理論背景、技術探索和系統設計過程。但對利用在線寫作評改系統加強英語作文反饋的研究還不多見。

二、在線寫作自動評改系統的技術特點及其應用

1.技術特點

所謂自動寫作評改系統（Automated Essay Scoring，AES），就是利用計算機技術對作文進行評估與評分。該方向的研究至今已歷時近四十年，在此過程中，采用了統計、自然語言處理及人工智能等方面的最新成果，并于1999年進入實際應用階段。自動作文評改系統的研究與應用在國內外已成為計算機輔助外語寫作教學的熱點。

國外研發成功并投入使用的自動評改系統有十余種，其中最具代表性的是EG（Project Essay Grade）、IEA（IntelligentEssay Assessor）和E-rater。它們各具特色，PEG重語言形式，IEA重作文內容，E-rater則既重形式又重內容，但這些自動評改系統多應用于以英語為母語的寫作評估與反饋中，對中國學生的英文寫作適用性不太強。

目前在國內多所高校推廣使用的句酷批改網（http：//www.pigai.org，以下簡稱批改網）是一種網上智能批改系統，以SAAS（軟件即服務）的方式為教師和英語學習者提供英語作文的在線自動批改服務，旨在為學生提供一個寫作環境，給出實時評分與診斷性反饋，激發學生積極修改作文，不斷提高寫作能力；同時還能減輕教師的作文批改工作量，并幫助教師更加直觀地了解學生的英文寫作水平。

句酷批改網具有以下特點：

（1）使用便捷

教師登錄批改網，布置作文，寫明要求，系統生成作文號；學生獲得作文號后，在學生帳戶頁面搜索作文號，找到教師布置的作文題目進行寫作并提交；

（2）反饋及時

系統對學生作文進行分析，自動識別詞匯、搭配、語法等常見錯誤，實時給出修改建議和分數。

（3）按句點評

系統除了指出作文每一句中存在的拼寫、語法、詞匯、搭配錯誤外，還分析錯誤類型，為學生用戶提供特定知識點的擴展訓練、搭配推薦、參考例句等，為學生提供全面的寫作指導，幫助學生自主學習。

（4）抄襲檢測

句酷批改網在學生提交作文后，以句子為單位，查驗該作文是否與本班其他同學作文有內容重復、與本校學生作文是否有重復、與語料庫是否有重復、與互聯網網頁內容是否有重復，并提供重復度指標供教師參考。

（5）進度報告

進步報告記錄了一個學校、一個班級或某個具體學生寫作能力的成長過程。該報告有利于學校和老師掌握學校、班級學生總體薄弱點和個體薄弱點，了解各知識點掌握程度的變化趨勢，為學校和教師進行英語教學的安排提供數據支持。

2.在英語寫作教學中的應用

自2011年下半年以來，批改網在我校英語教學中得到推廣使用。在使用過程中，教師和學生發現，批改網確實具有上述優點，但也發現了一些問題（如批改網評分與教師評分很多時候不一致）。因此，有必要對以批改網代表的在線寫作自動評價系統做一番研究，分析其在英文寫作教學中的適切性與局限性，以便使教師和學生更科學合理地使用該工具。

三、在線寫作自動評改系統的有效性研究

1.研究問題

本研究旨在探討以批改網為代表的在線寫作自動評改系統對提高學生英語寫作能力的有效性。鑒于此，具體研究問題為：（1）大學一年級學生英文寫作中主要存在什么問題？（2）作為一種在線自動評改系統，批改網能否幫助學生提高英語寫作水平？在哪一方面對學生幫助最大？（3）人工批改與在線工具批改具有什么明顯差異？（4）批改網在作文評改與反饋方面還存在哪些局限性？如何改進？

2.研究對象

為了客觀、準確地反映實際情況，本研究在抽取研究對象時，考慮了專業特點、學生的寫作能力、在線寫作經歷等因素，選取了英語專業本科一年級兩個自然班（27人+28人）以及非英語專業本科一年級3個自然班（33人+35人+38人），共161人。這些學生都必須每周在線提交一篇作文，并由批改網提供反饋意見與評分。

3.研究工具

針對研究問題，本研究采用了作文樣本分析、問卷調查、訪談等研究工具。

（1）作文樣本（writing samples）。對每個自然班采用隨機抽樣的方式選取作文各5篇，總共25篇，由批改網與任課教師分別批改，對比分析兩者在批改形式、批改側重點、批改結果、評語、分數等幾個方面的異同點。

（2）問卷調查（questionnaire）。學生在進行了為期10周的批改網寫作訓練后做了該項問卷調查。該問卷共有30題，主要涵蓋4個方面的內容：①對英文寫作目的、英文寫作中包含的重要因素以及自己英文寫作水平的總體認知；②對自己作文中的錯誤如何糾正的看法；③使用批改網的具體情況；④對批改網的評價以及使用批改網后的效果。

（3）訪談（interview）。本研究還分別對教師和學生進行了半結構訪談（semi-structured interview），更深入地了解教師和學生對批改網的評價以及在使用過程中出現的問題。接受訪談的教師為4位任課教師：學生為每個班的批改網系統中記載的成績好、中、差各2名學生，共10名學生。

4.研究結果

（1）問卷調查的結果。

1）學生對自己英語寫作水平的認知。在152份有效問卷中，大多數學生認為自己的英語寫作水平一般或較差；在被問及到作文中的主要問題時，學生的回答較為多樣：42.7%的學生認為是思想表達不清，37.5%的學生認為是前后不連貫，整體性差；63.2%的學生認為是用詞不當或詞匯單調；67.1%的學生認為是語法錯誤多，56.6%的學生認為是句型單一（見表1）。多數學生認為自己在詞匯、語法、句型方面有待提高。

2）對自己作文中的錯誤如何糾正的看法。

在回答喜歡老師面批還是書面批改時，152份有效問卷中，絕大多數學生喜歡教師個別式面批；而在教師書面批改中，59.9%的學生喜歡教師詳細評點語法及用詞上的錯誤，喜歡教師“標出錯處、留待學生改正”的只占21.1%；只有少數學生喜歡教師“簡單談談大體印象”這種方式或“只寫出分數或等級”（見表2）。

3）學生使用批改網的情況。

大多數學生（86.8%）很希望并很有信心（78.3%）能通過使用批改網提高自己的英語寫作水平，對此有很大的期待；但很多學生（65.1%）只是在老師要求時才使用批改網寫作文；一些學生（47.4%）會根據批改網提供的點評重新修改自己的作文直至得到滿意的分數。

4）學生對批改網的評價及使用的效果。

從表3可以看出，被試學生認為，批改網最大的優勢是批改及時，其次是能很快獲知自己作文的分數。“按句點評”也被很多學生認為是批改網較大的優勢，但對“提供同義詞、擴大了詞匯量”和“提供評語，能了解作文的每一項情況”，不贊同的學生數明顯上升。

被試學生認為，批改網最大的問題是提供的詞匯和語法方面的反饋較多，但關于作文的思想內容、邏輯性和連貫性以及篇章結構方面提供的反饋較少。

從表4可以看出，近一半左右（48%）的學生對使用批改網持非常喜歡和比較喜歡的態度；一些學生（36.2%）會根據批改網提供的點評意見反復修改自己的作文，直至滿意的分數；批改網對學生作文中的詞匯和語法幫助最大。

（2）作文樣本分析結果。

為了更深入地了解批改網的優點與不足，我們對人工批改與網絡批改進行了定量和定性分析。

首先，我們按錯誤類型對25份作文樣本進行了統計，具體包括以下幾個參數：1）思想內容（主題是否明確、有新意；文章是否跑題）；2）篇章結構（內容是否分引言、正文和結尾，是否分段論述，是否有中心思想句和主題句）；3）連貫性（段落是否銜接良好）；4）語法（主謂一致、名詞單復數、動詞時態、冠詞等）；5）句型（句子的結構是否正確）；6）詞法（用詞是否正確、貼切，搭配是否合理）；7）寫作常規（大小寫、標點符號、拼寫等）。根據的錯誤性質不同，這些參數予以不同的加權，有的1個錯是1個百分點：1=1%，有的是3個錯算1個百分點：3=1%。統計結果見表5。

其次，我們還對作文樣本做了詳細的定性分析，其結果發現：1）批改網給出的反饋信息多為提示性的，內容比較寬泛，不夠具體；而教師給出的反饋信息則比較直觀明了。大多教師不僅劃出作文中的錯誤，還給出了修改建議，或直接修改錯誤點；2）批改網提供大量近義詞辨析，而教師評改則較少提供類似信息；3）批改網大多不改變學生作文中的原有句型，而教師評改則更加靈活。

例如，針對學生作文中的錯誤句“In China，English is took to be a foreigh language which many student choosed to learn”，兩者的反饋信息各有側重（見表6）

5.分析與討論

從上述研究結果可以看出，絕大多數學生喜歡教師個別式面批，或詳細評點語法及用詞上的錯誤，但一般情況下，由于教師教學工作量大，難以滿足每個學生的這一需求。批改網能充分滿足學生個性化評改和反饋的需求，并在詞匯、語法層面給予學生比較充分的評改與反饋，因此，大多數學生喜歡使用批改網，并會根據批改網的點評意見反復修改自己的作文，直至得到滿意的分數。這對提高學生的寫作能力起到了積極的作用，因為過程寫作理論認為，寫作過程是非直線性的。一篇結構完整、表達清楚、讀者易懂的作品最終得以完成，需要經過反復思考，反復修改。

然而，目前自動寫作評改系統對學生作文的評價主要集中在詞匯層面和部分較為成熟的語法分析。由此，自動寫作評改系統的評分只是對作文中語言使用的一個大概的評估，無法準確地評估作文的內在質量，如寫作的流暢性、句子結構的復雜度、文章的措辭、內部的邏輯性與關聯性等，因而也就無法全面評估學生的英文寫作水平。

針對這一問題，可采取以下兩種方法彌補其不足。

第一，信息技術人員與應用語言學家共同努力，提升在線自動評改系統的信度。充分利用人工智能技術，尤其是自然語言處理及智能語言輔導技術，構建新的寫作自動評改系統模型（見圖4），使之不僅能提供每篇作文的總分，還能提供寫作內容、篇章結構、語體、詞匯、語法及格式規范的各單項分及個性化反饋，更多關注對文章思想內容的評估。

第二，在大學英語寫作教學中構建多元反饋機制。建立一種融教師反饋、自動評改工具反饋及利用網絡平臺的同伴反饋（peerfeedback，即同學間互相評改作文）的多元反饋機制，以彌補單一反饋模式的不足。有研究表明，同伴反饋能（1）增強學生的讀者意識；（2）提高學生學習和掌握英語寫作技巧的積極性；（3）提高學生的文章質量意識：（4）明顯提高學生作文內容和語言質量；（5）幫助學生形成英語學習社群。利用網絡平臺進行同伴反饋是較好的彌補手段。

四、結語

在線寫作自動評改系統的實時反饋有效激發了學生的寫作興趣，增加了作文的修改頻次，達到了以評促學的目的，凸現了過程寫作學習法的重要性。由于系統自身的技術特點，在詞匯和語法層面給予學生的幫助較大，但在篇章結構、內容邏輯性和連貫性層面的優勢并不明顯。因此，既要增強評改系統的智能性；也要補充其他反饋手段，以彌補其不足。

本研究時間短，調查范圍也有限，因此具有一定的局限性。后續研究將擴大研究范圍，更深入地探討在線自動評改系統在寫作教學中的應用效果及對學生寫作能力的影響。

基金項目：本文為江蘇省教育廳2012年度高校哲學社會科學研究基金項目‘‘基于網絡平臺的人際互動與話語結構研究”（編號2012SJB740024）、江蘇省現代教育技術研究2012年度重點課題"Blackboard網絡課程管理系統支持下的整合型外語教學研究”（編號2012-R-21572）、南通大學2011年度教學研究課題“基于Blackboard網絡平臺的《綜合英語》立體式教學的行動研究”（編號2011826）的階段性研究成果。

作者簡介：石曉玲，南通大學外國語學院副教授、碩士生導師。研究方向：語言與文化，應用語言學，計算機輔助外語教學。

收稿日期：2012年5月21日

編輯：李婷