作文自動評價系統在大學英語寫作教學中的實證研究

李霞+鐘蘭鳳

[摘要]作文批改與反饋是英語寫作教學的重要一環對提升學生的大學英語寫作水平的作用不可低估，以教育部高等學校大學外語教學指導委員會《大學英語教學指南》（征求意見稿）中有關教學模式改革的相關精神為指導，以基于語料庫和云計算的句酷批改網為例，通過實證研究探討自動評價系統在大學英語寫作教學中的有效性。研究發現。批改網反饋及時能提高寫作反饋成效，減輕教師作文評閱壓力，激發學生自主寫作熱情，提升其寫作水平，這是改進現有英語寫作教學模式的有效手段。但研究也顯示該系統存在一些不足，還需要不斷更新與完善，在此基礎上為作文自動評價系統的改善提出了一些建議。

[關鍵詞] 自動評價系統；大學英語寫作；批改網；反饋；語料庫

[中圖分類號]G642.4[文獻標識碼]A[文章編號]10054634（2017）01005705

0引言

近年來我國高校不斷擴招，學生人數眾多，師資緊張，作為基礎課的大學英語普遍采用大班化教學模式，根據國家教育指導委員會2008年的調查，常規本科生與教師的比例為148∶1[1]。大學英語教師面對龐大學生群體，對學生作文評閱存在任務重、效率低、反饋不及時、主觀性強等諸多問題。張雪梅認為由于反饋質量及針對性不強等問題，我國二語寫作普遍存在著費時、低效的現象[2]。

教育部高等學校大學外語教學指導委員會在《大學英語教學指南》（征求意見稿）（以下簡稱《指南》）為大學英語寫作教學模式改革指明了方向。《指南》[3]指出“大學英語應大力推進最新信息技術與課程教學的融合，繼續發揮現代教育技術，特別是信息技術在外語教學中的重要作用。大學英語教師要與時俱進……在具體的課堂教學設計與實施過程中，融入并合理使用信息技術元素”。作文自動批改系統（automated essay scoring，AES）通過人工智能、網絡技術及語料庫技術對作文進行自動評價，其發展為基于計算機和網絡技術的教學模式改革提供了新的視角。在國外，這種系統已在托福、GMAT、TWE等重大考試的寫作評估中廣泛使用。國內學者也陸續重視此系統的研究，并自主研發出了一些寫作智能反饋平臺。如句酷批改網、冰果英語智能作文評閱系統等。

由于計算機自動評價系統在我國投入使用的時間不長，對這些平臺的使用效果，國內目前還缺乏系統性研究。本研究擬嘗試在《指南》指導下，利用計算機和網絡技術，以筆者執教的學生為實驗對象，對作文自動批改系統在大學英語寫作教學模式改革中的效果及影響進行深入探析。

1文獻綜述

1.1國外自動評價系統

所謂作文自動評價系統（AES），就是利用計算機和網絡技術對作文進行評估與評價。國外的作文自動評價系統比國內起步早。美國杜克大學于1966年開發出第一套作文自動評價系統PEG（project essay grader）。此后，人們采用統計、自然語言處理及人工智能等方面的最新成果，使該項技術得到了長足發展。目前在國外投入使用且比較成熟穩定的自動評價系統除PEG外，還有IEA （intelligent essay assessor）、 Erater（electronic essay rater）、 IntelliMetricTM、Holt Online Essay Scoring等。PEG比較注重語言形式，IEA則注重作文內容，而Erater既重形式又重內容[4]。IntelliMetricTM、Holt Online Essay Scoring更為先進，能從寫作的各個角度，如遣詞造句、內容體裁、語體語法、組織結構以及寫作格式等分析學生的錯誤。然而以上評價系統均為英語為母語的學生而設計，對于我國二語習得者，國外現有的研究成果不一定適用，因此將開發符合中國國情的作文自動批改系統提上日程。

1.2國內自動評價系統

國內關于計算機自動評價系統的研究起步較晚，但也取得了一定的成績。如梁茂成教授團隊研發的“大規模考試英語作文自動評價系統”于2005年申請了國家專利，得到了許多知名學者的肯定。有些企業也開發了此類軟件，如句酷批改網及冰果英語智能作文評閱系統。冰果側重作文整體評價，不指出文章的細節錯誤，只給出最后得分和評語。目前，國內多所高校正推廣使用基于語料庫和云計算的句酷批改網（the pigai system），它是一種以SAAS（軟件即服務）的方式為教師和英語學習者提供英語作文網上智能批改的系統，具有反饋及時、按句點評、抄襲檢測、提供進度報告等優點。

1.3反饋理論

Ur[5]認為反饋在教學環境里通常指為了改進、提高學生的學習效果而對其某一學習任務完成情況發回的信息。在寫作領域，反饋是讀者向作者提供修改作文的信息。有效的寫作反饋能幫助學生發現自己寫作中的盲點及不足，促使其對作品進行反省和改進，最終提高寫作水平。

國內外學者從不同角度對反饋進行了大量調查研究。根據反饋的來源，反饋可分為教師反饋、同伴反饋以及計算機反饋。有些學者對教師反饋進行了深入探索，相關研究發現教師反饋對學生英語寫作水平的提高起著重要的促進作用[67]。同伴反饋與英語寫作有著正相關的關系，能夠校正學生寫作動機，培養批判性思維及分析技能，轉變寫作態度，提高讀者意識，形成學習社群[89]。然而，也有研究者對同伴反饋提出了質疑，認為由于自身水平的限制，學生對作文表層語法等方面的修改較多，而對深層篇章結構等方面關注較少，因而很少能提供高質量的反饋[10]。

隨著科學技術的發展及計算機的普及，教育技術迅猛發展，計算機在語言教學中的作用日益增大。研究者順應此趨勢，提出了網絡反饋方法。從網絡資源利用、網絡背景下的師生互動和寫作軟件開發應用等方面探討了網絡反饋對寫作能力培養的重要作用[1113]。然而，目前國內對作文自動評價系統在大學英語寫作教學中的實證研究還不多，且缺乏系統性。

2研究設計

2.1研究問題

本研究關注以句酷批改網（以下簡稱批改網）為代表的作文自動評價系統對提高大學生英語寫作水平的有效性。具體探討以下問題。

1） 與傳統教師人工反饋模式相比，批改網提供的反饋是否能更有效地促進學生英語寫作能力的提高？

2） 批改網是否能更好地培養學生寫作興趣和自主寫作意識？

3） 學生對批改網應用于大學英語寫作教學的態度和評價如何？

2.2研究對象

參與本次實證研究的對象是江蘇省某重點院校非英語專業大一學生，共計118人，由兩個不同的平行班組成。隨機抽取一個班為實驗班（60人），教師通過批改網來輔助寫作教學；另外一個為對照班（58人），教師使用傳統書面反饋模式指導學生英語寫作。本研究對這兩個班進行持續兩學期的比較性研究。為避免影響實驗的效度，學生并不知曉其正在參加教學方法實驗。

2.3研究方法及工具

本研究采用定量與定性研究相結合的方法。定量研究包括采用SPSS22.0對兩個班學生實驗前后英語寫作成績以及問卷調查的封閉式問題進行統計，使用獨立樣本t檢驗分析檢測兩班是否存在顯著性差異。利用Wordsmith6.0軟件統計實驗班與對照班后測作文語料；定性研究主要以教師平日觀察記錄以及問卷調查中開放式問題回答分析展開，以便進一步檢驗實驗結果。本研究所應用的在線寫作批改平臺為比較成熟穩定的句酷批改網，其評價與人工評價基本一致率達到91.55%[14]。批改網使用流程見圖1。

2.4研究過程

本研究分為以下3個階段。

1） 實驗前。選取筆者所帶的兩個班作為實驗班和對照班。在開學初對實驗班學生進行了批改網使用培訓，以避免學生因不會使用該系統而影響其寫作質量。

2） 實驗中。本實驗為期2個學期，共30周。實驗班和對照班由同一教師任課，課程設置、使用教材及教學進度一致。每完成一個課程單元則布置一篇與課文主題相關的作文。實驗班學生利用批改網寫作，根據系統反饋自行修改作文，修改次數不受限制。對照班則采取傳統的人工評閱方式進行批改，教師鼓勵學生根據反饋進行自我修改。

3） 實驗后。收集并對比實驗班和對照班的寫作后測成績，并將其與前測成績進行對比分析，統計實驗班與對照班后測作文語料信息，同時對學生進行問卷調查。

3結果與討論

通過兩學期的教學實驗，筆者利用SPSS22. 0對實驗班與對照班的前測和后測寫作成績開展獨立樣本t檢驗，使用Wordsmith6.0軟件統計實驗班與對照班后測作文語料信息，結合問卷調查結果進行分析討論。

3.1實驗前作文成績分析

實驗前，本研究對兩班作文成績進行了獨立樣本t檢驗，結果如表1所示。

3.2實驗后作文成績分析

實驗后，本研究對兩班作文后測成績進行了獨立樣本t檢驗，結果如表2所示。

3.3實驗后作文語料分析

作文質量不能僅考察寫作成績，還應從諸如作文字數、詞匯豐富度、句子長度等方面進行綜合考察。表3是利用Wordsmith6.0軟件得出的實驗班與對照班后測作文語料統計信息。

從表3可以看出，實驗班作文語料的庫容量、形符、類符、標準化類符形符比、平均詞長、平均句長等指標均比對照班作文語料大。實驗班的庫容量為13 654，而對照班為10 845，王初明等[15]認為作文的長度可以作為寫作質量的一個指標。全國大學英語四六級考試作文在字數上的不同要求也反映了作文長度是評價寫作能力的標準之一。標準化類符形符比可以用來反映詞匯的豐富程度，比值越大，用詞變化量越大。實驗班的標準化類符形符比（35.17）大于對照班的數值（33.54），因此，實驗班的學生用詞變化更大。平均詞長和平均句長能部分反映詞匯及句子的復雜度。從表3的數據來看，對照班學生所寫作文單詞和句子較實驗班來說都相對簡單。

綜上可見，實驗班通過使用批改網，其在作文分數、作文長度、詞匯使用、句子長度等方面均比對照班占優勢。

3.4學生調查問卷及結果分析

為進一步檢驗實驗數據結果，了解學生對自動批改系統的態度和看法，筆者在實驗結束后對實驗組的60名學生進行了問卷調查。60份回收問卷全部有效。問卷主要圍繞以下兩點展開：（1）實驗班學生使用批改網后，學生的寫作能力、寫作興趣及自主寫作意識是否有變化？（2）實驗班學生對批改網的評價如何？

第一，多數學生對于使用批改網進行在線寫作持積極肯定態度，認為自動批改調動了他們的自主學習積極性，激發了寫作信心和興趣。僅有5%左右的學生反對使用該系統。83.3%的學生寫作愿望加強。70%的學生認為在批改網的幫助下語言錯誤數量減少。75%的學生認為作文內容及詞匯比以前更豐富。81.7%的學生認為總體寫作水平有了一定提高，這一點與本研究的實驗結果一致。

第二，大部分被試學生認為批改網有如下優點。（1）評閱迅速及時，給出客觀翔實的評價報告，比教師批閱效率高。在線提交作文之后，系統會立即作出評價，給出分數，自動識別諸如拼寫、詞匯、搭配、語法等常見錯誤，給出修改建議并提供相關擴展訓練、搭配推薦、參考例句等，學生能隨時根據評價對作文進行多次修改，提高分數；（2）提供大量詳實可靠的寫作語料，幫助學生提高自主學習能力。60%的學生會利用批改網中的語料庫檢索功能進行例句、語塊、搭配、語段、知識點、同題材作文等檢索。學生在真實的語言使用實例中自我發現、自我思考、探索語言規律，在語料驅動的學習模式（datadriven learning）下，提高自主學習能力；（3）檔案系統高效方便。批改網為學生提供個人學習檔案及學習日志，其提交的作文成績軌跡及評價報告均保留在電子檔案里。這對學生了解自身學習過程，掌握學習情況，進行反思非常有幫助；（4）師生交流更順暢。教師可在“我的網站”上傳各種寫作資料供學生學習。學生也可將自己遇到的問題發到批改網上的BBS交流平臺，與教師或其他學生一起探討。62%的學生喜歡這種師生、生生間的交流。

第三，學生也指出了批改網在實際使用中存在的一些問題。（1）評語過于機械化且不夠具體。這個結果和一些研究者的發現一致[1617]。句酷網注重對學生作文的拼寫、詞匯及句法等方面的評價，對于寫作的篇章結構、思想內容、邏輯、銜接與連貫性、批評性思維能力等方面反饋的意見較少，這也反映出計算機評價的一大缺陷，即在技術層面上沒能像人一樣去“欣賞”一篇文章[18]；（2）批改網能指出一些語法結構錯誤以及學生常犯的“中式英語”，但未給出確切修改意見，學生有時無法自己更正，需要教師給出具體反饋；（3）準確性有待提高。有些學生認為批改網不能準確評價作文的體裁，如學生將作文體裁寫錯，但仍可能得到較高分數。有些按句點評并未讀完整個句子，武斷地評價句子錯誤。因此對于批改網給出的作文分數不可盲目推崇，需客觀看待。

4結束語

作文自動評價系統是信息時代下英語教學與計算機技術相結合的產物。它的興起極大地提高了作文批改效率，減輕了教師工作量，為學生提供了豐富的學習資源培養其自主學習能力，符合以學生為中心的教學理念。同時它可收集大量教學數據，詳細記錄學生個人學習檔案，為英語教學、管理與研究提供了充足的資源。作為一種新型的在線英語作文評閱系統，批改網有利于促進外語教學朝著信息化、個性化和自主化方向發展，為大學英語寫作教學改革提供了一個全新的視角，一定程度上代表了英語教學未來多模態的發展趨勢，有著廣闊的發展前景。但系統本身也存在一定的缺陷，如評語過于泛化、不能從批叛性思維等深層角度培養學生的寫作能力等。“把教育技術引入傳統課堂并不是一個簡單的工具運用問題，而是牽扯到教與學方方面面的系統性變革[16]”。因此，在大學英語寫作教學中應構建多元反饋機制，將自動評價反饋與教師反饋、同伴反饋相結合，以彌補單一反饋模式的不足。同時，批改網應大量搜集廣大師生使用者的反饋意見，及時更新語料庫，并與語言學家、教育學家共同協作，充分利用人工智能技術，進一步提高批改網的信度、效度、智能性和可操作性，使其在大學英語寫作教學中發揮更長遠的功效。

本文以批改網為例，探討了作文自動批改系統在大學英語寫作教學中的應用及效果，由于條件的限制，本研究尚存在一些局限性。第一，實驗工具只選用了目前被一些高校廣泛使用的句酷批改網，得出的結論并不一定適用于其他作文自動評價系統；第二，調查的范圍較小。筆者只選取自己所帶的兩個班級來進行實驗，學生樣本數量小且研究周期比較短。因此實驗結果的普遍性有待進一步做大規模的實證性研究。

英語寫作是促進學生英語綜合應用能力發展的有效途徑，有利于培養學習者創新和批判性思維、跨文化交流等素養，充分體現了英語的工具性及人文性，是大學英語教學的重難點。筆者希望相關研究能成為打破英語寫作教學瓶頸的一個新的突破口，更好地推動我國大學英語教學改革。

參考文獻

[1] 王海嘯.大學英語教師與教學情況調查分析[J].外語界，2009（4）：613.

[2]張雪梅.大學英語寫作教學現狀之調查[J].外語界，2006（5）：2832.

[3]中華人民共和國教育部高等學校大學英語外語教學指導委員會.大學英語教學指南（征求意見稿）[EB/OL].（20150506）[20160522].http：//wyx.zzia.edu.cn/s/11/t/333/c7/c3/info51139.htm.

[4]梁茂成，文秋芳.國外作文自動評分系統評述及啟示[J].外語電化教學，2007（5）：1824.

[5]Ur P A. Course in language teaching practice and theory [M].Cambridge：Cambridge University Press，1996：242294.

[6]Chandler J. The efficacy of various kinds of error feedback for improvement in the accuracy and fluency of L2 student writing[J].Journal of Second Language Writing，2003，12 （3）：267296.

[7]劉浩.交互性英語課堂教師反饋研究——以“個性化英語學習”課程為個案[D].天津：南開大學，2015.

[8]Paulus T. The effect of peer and teacher feedback on student writing[J].Journal of Second Language Writing，1999，8（3）：265289.

[9]蔡基剛.中國大學生英語寫作在線同伴反饋和教師反饋對比研究[J].外語界，2011（2）：6572.

[10]Leki I. Coaching from the margins：issues in written response// Kroll B. Second language writing： research insights for the classroom[C].Cambridge：Cambridge University Press，1990：5768.

[11]Warschauer M. Networking into academic discourse [J].Journal of English for Academic Purposes， 2002（1）：4558.

[12]蔣學清，蔡靜，唐錦蘭.探析自動作文評價系統對大學生英語寫作能力發展的影響[J].山東外語教學，2011 （6）：3643.

[13]王穎，李振陽.國外二語寫作中電子反饋模式的研究評述[J].外語電化教學，2012 （146）：1116.

[14]張躍.設計產品一定要遵循兩個“凡是”[EB/OL].（20110731）[20160522].http：//www.csdn.net/article/20110731/302431.html.

[15]王初明，牛瑞英，鄭小湘.以寫促學——項英語寫作教學改革的試驗[J].外語教學與研究，2000 （3）：207212.

[16]唐錦蘭，吳一安.在線英語寫作自動評價系統應用研究述評[J].外語教學與研究，2011（2）：273282.

[17]石曉玲.在線寫作自動評估系統在大學英語寫作教學中的應用研究[J].現代教育技術，2012（10）：6771.

[18]Page E B. Project essay grade：PEG//Shermis M D， Burstein J C.Automated essay scoring：a cross-disciplinary perspective[C]. Mahwah.NJ：Lawrence Erhaum Associates，2003：4354.

AbstractFeedback plays a crucial role in English writing teaching. Its importance to help improve students′ writing skills cannot be underestimated. This study， with the guidance of College English Teaching guide （draft version） formulated by ELT Advisory Board under the Ministry Education， attempts to take pigai System as an example to explore effectiveness of applying AES to EFL writing teaching. The result indicates that AES not only helps to relieve the heavy burden of college English teachers， but also has a positive effect on enhancing students′ writing competence and stimulates students′ autonomous writing enthusiasm. It is an effective method for improving the teaching mode of English writing.Some deficiencies of such AES system， however， are also revealed in the study and thus some suggestions were put forward.

KeywordsAES；EFL writing；the pigai system；feedback；corpus