作文自動評價系統在高水平學生英語寫作學習中的應用

楊玲

[摘要]該研究對作文自動評價系統在高水平學生英語寫作學習中的作用進行了實驗和調查。結果顯示，該系統有助于學生發現作文表層問題，但在評分和評語反饋方面存在固有的缺陷，對寫作內容的提高幫助較少，導致學生對系統的認可度總體不高。因此，現代信息教學技術的推廣應充分考慮到信息技術的優勢和缺陷，以及學習者的水平、學習目的等各種因素。

[關鍵詞]作文自動評價系統；寫作教學；高水平英語學習者；反饋

[中圖分類號]G420 [文獻標識碼]A [論文編號]1009-8097（2013）05-0073-05 [DOI]10.3969/j.issn.1009-8097.2013.05.015

一、引言

寫作能力是英語語言能力的重要組成部分，也是評價學習最有用的工具之一。但是傳統的英語寫作教學，無論是專業還是非專業，普遍存在著這些問題：一方面，教師疲于批改作文，一般只能對學生作文進行一次性最終評價；另一方面，由于學生不能得到及時有效的反饋，導致學生在寫作訓練方面的不足，挫傷他們的寫作學習積極性。隨著現代科技的發展，將以計算機和互聯網為代表的現代信息技術與寫作教學進行有機整合，已經成為語言教學現代化的標志和趨勢，符合國家中長期教育改革和發展規劃綱要（2010-2020）的要求。除了在教學實踐中運用在線討論，博客、電子郵箱等方式外，使用作文自動評價系統進行輔助評分和教學也越來越受到國內外寫作教師和寫作研究者的重視。

已有的作文自動評價（Automated Writing Evaluation，AWE）系統一般具備兩種功能：自動作文評估和寫作教輔，具有代表性的國外評價系統包括Criterion，MY Access！和Writing Roadmap（WRM）等。這些軟件除了能對作文進行自動評分外，還能從寫作內容、組織、選詞、語體、語法以及寫作格式規范方面對作文進行分析，提供多維度的反饋，可用于形成性和終結性評價。由于此類工具是以反饋、調控以及改進寫作為目的，具有改善教學活動、監控寫作過程的功能，因此對于輔助英語寫作教學、解決寫作教學耗時低效等問題具有更直接的意義。

針對寫作自動評價系統在課堂教學中的應用及其對學生寫作水平的影響，國外大部分研究對象是英語為母語的美國中小學生。如White et al發現，使用Writing Roadmap2.0（WRM）的學生在州統考中的成績顯著好于沒有使用該系統的學生。對該系統應用于國內英語寫作教學的實證研究目前大多以大學一、二年級學生（包括英語專業和非英語專業）為研究對象，如周穎和蔣學清等的研究發現，這種具有自動反饋功能的在線寫作工具在促進大學低年級英語學習者的寫作能力方面可以發揮積極的作用。本研究則是以國內英語專業大三學生為研究對象，探究寫作自動評價系統WritingRoadmap 2.0（WRM）在高水平學生英語寫作能力訓練中的應用。具體研究問題包括：（1）與自我反思、同伴互評、教師評閱等過程寫作教學手段相比，高水平學生對自動作文評價系統的接受程度如何？（2）學生認為自動作文評價系統有什么優點和缺陷？

二、研究設計

1.調查對象

調查對象為安徽一所“211工程”大學英語專業三年級的兩個自然班學生，共41名，其中男生6人，女生35人。至調查時為止，所有學生均已系統學習英語寫作一年半時間。寫作自動評價系統被作為教學輔助工具運用在英語寫作課中。所有學生參與了調查，但由于人數較少，因此這只是一項探索性研究。

2.工具

本研究使用的寫作自動評價系統Writing Roadmap2.0（WRM）由美國知名專業教育測評機構麥格勞一希爾教育測評中心（CTB/McGraw-Hill）研發。系統使用以英語為母語的學生作文語料庫為基本標準，能夠對作文從思想內容、組織架構、文體、選詞與句式、語法、寫作格式規范這六個維度分別進行評分，并給出評語。此外，系統提供同義詞詞典、語法拼寫檢查等工具，具有輔助寫作、即時評分、及時反饋等功能，有助于學生不斷地、有針對性地對自己的作文進行反復修改。WRM已在美國部分州的中小學寫作教學中使用。2007年被引進國內后，該系統也在一些國內中小學和大學低年級課堂中有一定程度的應用。

3.數據收集

由于大三學生每個人都擁有電腦，且上網非常方便，因此所有的寫作任務均為課后在線完成。為了避免過于依賴系統可能給教學帶來的負面影響，本研究中，WRM系統主要在學生寫初稿時使用。教學過程一般遵循這樣的順序：教師進行寫作理論教學并分析范文一布置寫作任務一學生使用WRM在線完成寫作任務并根據及時反饋進行修改一學生將修改后的打印稿帶到課堂，就教師提供的修改框架進行自我反思一同伴互評一教師評改一重寫。經過一個學期（18周）的使用后，研究者就學生對該系統的評價進行調查。本實驗歷時一個學期，時間為大三第二學期，研究數據來自三個方面：

（1）學生在WRM系統上提交的作文及其評分與反饋；

（2）兩位教師對部分學生作文的評分。研究者對本學期的所有作文進行人工評閱后，從五次寫作訓練中隨意選擇三次，并從每次訓練的作文中抽取上、中、下三個等級的作文各兩篇，共18篇，由兩位富有經驗的寫作教師對這18篇作文進行獨立評分，所得的平均分為教師評分；

（3）試驗后的學生調查。通過紙介問卷的方式，當堂填寫、當堂收回。共發放41份問卷，收回41份，其中有效問卷為39份；問卷調查的目的主要是了解學生在使用WRM一學期后，對該系統以及其他教學手段在寫作學習中的作用進行比較，并指出系統的優點和缺陷。問卷設置了三個問題：

多項選擇題：經過這一學期的寫作學習，你認為對自己作文提高幫助最大的教學手段是什么？請從調查表提供的五個選項中選擇一個或多個；

評分題：請對各個教學手段的有用程度在1～10分的范圍內打分，1分最低，10分最高；

開放式問答題：你認為寫作在線評估軟件WRM有什么優點和缺陷？

三、結果與分析

1.對各種教學手段的評價

問卷調查第一個問題是讓學生指出這四種教學手段中對自己幫助最大的一個或多個教學手段。調查結果如表l。由表l可以看出，學生認為四種教學手段中最有用的是教師評閱，而使用WRM則被認為是對學生幫助最小的教學手段。

，

第二個問題是讓學生對各種教學手段的有用程度進度進行打分。結果如表2。

由上表可以看出，學生認為教師評閱、自我反思最有用，其次為同伴互評，而WRM的有用程度最低，方差分析（ANOVA）檢驗兩兩比較結果顯示，前三種教學手段之間沒有顯著差異，但學生對WRM的評分顯著低于其他教學手段（p<0.01）。比較表1和表2可以看出，這兩者之間對各個教學手段的評價呈現出高度的一致性：受到評價最高的是教師評閱，其次是自我反思、同伴互評，最后是WRM。在表1中認為WRM對寫作學習最有用的3名學生在評分環節也給予該系統8-10的高分。

2.WRM的優點和缺陷

調查問卷的第三個問題要求學生指出使用WRM過程中發現的優點和缺陷。對學生評論的歸納見表3。

（1）WRM系統的優點

首先，學生認為WRM的最大優點是可以發現很多小錯誤，比如拼寫、語法和寫作規范等方面的錯誤，促進作文的修改。WRM系統中將英語作文規范，包括語法、單詞拼寫、大小寫和標點的正確運用等，作為單獨的一項進行評分。本研究中學生的這一評價具有一定的普遍性，蔣學清等的研究也發現，該系統對學生在語法、拼寫和標點等方面的準確性能夠提供比教師更為強大的支持，這是因為，在這些方面，系統的準確性高于人工評判。

其次，學生認為，該系統具有完善的體系，所提供的評分與評語具有一定參考價值。WRM系統能夠從思想內容、組織架構等六個維度對作文分別進行評分，并在對上述六個方面綜合考量的基礎上給出總分，這種分項評分的方法可以幫助學生了解自己的強弱項，意識到自己在哪些方面需要改進。而由于時間關系或學生人數過多，教師對作文的評分一般只給出總分，也沒有針對各項的評語，顯然，在這一點上系統優于教師。

最后，學生認為該系統具有快速評分、自主修改的優點。這正是在線形成性評價工具的一個顯著優勢：無論學生如何反復修改，都能夠給予即時的反饋，激勵學生再次修改，從而形成練習、修改、提高的良性循環，更有效地達到“以評促學”的目的。修改是過程法寫作教學的關鍵環節，研究表明，作文修改次數和反饋的即時性對寫作成績有積極的影響。而教師由于受時間和精力的限制，在反饋次數和時效性方面都無法與系統相提并論。但是值得注意的是，在本研究中只有5%的學生提出系統的這個優點，這可能是系統本身具有的一些缺陷影響了這一功能的充分發揮。

（2）WRM系統的缺陷

學生認為WRM系統最大的問題是對作文的評價過于死板，缺乏靈活性。對學生評論進行總結后發現，這一問題主要表現在以下方面：首先，系統對錯誤的識別與判斷比較機械，比如：系統能夠指出基本詞句的錯誤，但對復雜句子的判斷不夠準確：一些被教師認為可以接受的詞語搭配有時被系統判定為不正確；中式人名、特有名詞等也會被軟件判定為錯誤；寫作格式設置過于刻板等。其次，系統所提供的評語比較程式化。學生指出，對不同題目、不同作者、不同體裁的作文，系統每次給出的評論都相差無幾，如：結構不太清晰，需要使用一些高級詞匯等，但無法給出具體有效的評論或修改意見。

不可否認，機械性是所有自動評分和評價系統的固有缺陷。畢竟，計算機只是編程讓它做什么，它就做什么，而并不能像人一樣去“欣賞”一篇文章。造成錯誤識別方面的機械性主要有兩個原因。首先，已有研究表明，目前自然語言處理中，像遠距離搭配、搭配的恰當性和語法準確性方面等比詞頻統計稍高一些的要求，目前尚沒有達到實用的程度，對于正常的自然語言句法和搭配處理準確率還比較低，因此嚴重影響評價系統判斷的準確性。另一方面，包括WRM在內的主要作文自動評價系統都是以英語為母語的寫作者的作文分析為基礎，但在語言層面，中國大學生英語作文在句法和搭配方面的言語失誤種類和數量較多，在表達的地道性上遠不如以英語為母語的寫作者。系統對這種中介語作文的自動處理自然更加困難。

在評語反饋方面，與自動評分系統相比，自動評價系統雖然能夠提供比較個性化的反饋，但這種個性化也是相對而言，不可能做到像教師那樣能夠根據題目、題材、內容給出相應的評價和意見。但是另一方面，如果不是以教師的標準來苛求機器的話，系統給出的一些評價，例如：“You response in the introductory paragraph section of your essay is strong”，“Organization：your response could still be clearer and more logical“等等，還是具有一定參考價值。

其次，學生認為WRM系統不能夠給作文作出準確的評分，這在很大程度上影響了學生對該系統的信任度。經過對系統評分和教師評分進行分析比較后發現，評分問題主要表現在兩個方面。首先，系統評分普遍偏高。以第一次寫作訓練為例，系統給78%的作文評為滿分5分，平均分達到4.5分。使用自動作文評價系統的目的是通過及時反饋幫助學生修改，增加修改次數，提高學生自主寫作的能力，但是過高的分數，甚至滿分，影響學生對作文的正確評價和進一步修改。其次，系統評分的準確度不夠高。為了了解該系統應用于高水平學生寫作學習中時在多大程度上能夠合理評分，我們將兩位教師的評分與WRM評分做一比較。需要指出的是，本研究所采用的樣本比較小，只有18份作文，統計分析結果僅作為參考。相關性檢驗結果顯示，兩位教師的評分相關系數為0.732（p<0.01），說明兩位教師打分顯著相關，而系統與教師評分的相關系數為-0.277，也就是說，對教師打分高的作文，軟件可能打分偏低，但是這種負相關并不顯著（p=0.266>0.05）。統計結果基本與直觀感覺相符，這18份作文中，系統給50%的作文評滿分，而在這9份滿分作文中，被教師評為高分的只有2份。顯然，這種直觀的反差容易導致學生對系統評分的不信任。

應當說，評分效度是所有作文自動評分和評價系統共同具有的問題。就WRM來說，這一問題主要有兩方面的原因。首先，雖然有研究結果表明，多種國外自動作文評分研究取得了較好的評分效果，與兩位教師之間的評分相關度相似，但這些系統研究主要是面向英語母語寫作者。英語作為母語的作文評分與英語作為外語的作文評分，存在著較大的差異。對外語寫作者，即便是較高水平的外語寫作者，自動作文評分與人工評分也會出現統計上的顯著性差異。這使得針對英語母語寫作設計的自動作文評分系統難以直接應用于英語作為外語寫作的自動評分。其次，從目前的研究來看，WRM在美國國內主要運用于中小學生的作文輔助教學，使用者可以根據學生的年級選擇相應的評分標準，雖然在本研究中，教師將系統調到最高的11-12級（相當于美國高三學生水平），但國內英語專業大三學生的作文在句式和內容的復雜性上可能高于美國高三學生，因此導致系統評分過高，不能起到幫助學生修改提高的作用，影響了使用效果。

最后，學生認為該系統對寫作內容和組織沒有提高。這也是使用系統進行寫作輔助教學常見問題之一。一些使用自動評價系統進行教學對比實驗的研究常常發現，使用系統的實驗組在作文結構、語法、單詞拼寫和標點運用方面的分數顯著高于不使用軟件的對照組，但在思想內容方面的提高有時并不顯著。這一方面是由于系統只能提供概括的評價，無法針對內容給出具體的修改建議，另一方面也是因為，與語法等語言表層結構相比，思想內容的提高需要花費的時間更長，也更困難。在英語母語，或者高水平的英語外語寫作中，內容是衡量作文質量最重要的方面。對已有一年半寫作學習經歷的英語專業大三學生來說，相對于語言方面，他們所需要的更多的是內容和思想方面的指導。

四、討論

自動評價系統具有輔助寫作、反饋及時等優點，隨著計算機的普及和網絡教學的推廣，寫作自動評價系統的應用在一定程度上能夠減輕教師評閱負擔，提高學生寫作訓練量，順應了《大學英語課程教學》中提出的“以現代信息技術，特別是網絡技術為支撐，使英語教學不受時間和地點的限制，朝著個性化學習、自主式學習方向發展”的潮流。但本研究結果顯示，高水平學生在寫作學習中對這一系統的接受度不高，在有用程度上顯著低于教師評價、自我反思和同伴互評。從本研究和其它相關研究來看，由于自動評價系統在錯誤識別、評分效度、評語有效性等方面的內在缺陷，使其在國內的大范圍使用尚存在一定限制。

首先，該系統可能對低年級學生的寫作訓練更有幫助，但對高水平學生作用不夠顯著?，F有研究均發現，系統能夠幫助學生發現和修改單詞拼寫、寫作規范等表層語言問題，但高水平寫作學習者需要學習的是如何將自己的觀點和思想有效地傳達給讀者，以及如何提高自己作文的創新性，在這兩方面系統難以給出有針對性的修改意見。在本調查中有學生直接指出，該系統比較適合大一、大二學生，可以為高級作文作基礎。Chen&Cheng調查My Access！在臺灣大三英語專業學生寫作教學中的應用后也得出同樣的結論。過于依賴系統甚至會給高水平學生的寫作能力發展帶來一定的負作用。由于一些自動評價系統對“好作文”的標準過于形式化，不恰當地使用自動評價系統可能會鼓勵學生過度注意作文的表層特征而忽視對內容的挖掘。

其次，目前我們使用的主要自動評價系統，如Criterion，My Access！和Writing Roadmap（WRM）等，都是以英語為母語的寫作者作文特點為基礎的。中國英語學習者在篇章和語言上有自己的特點，這些國外系統在何種程度上能夠應用在中國英語寫作中還需要做進一步研究。因此，我們一方面需要進一步了解中國學生的英語作文特點和評分要素，另一方面，要加大力度，研發出適合評價中國學生英語作文的系統軟件來。

此外，在如何充分發揮這一工具在輔助教學方面的作用還需要大量的教學實驗研究。自動作文評價系統被引入到寫作教學中，不僅僅是技術層面的問題，還意味著一場牽扯到使用者理念、認識、方法和行為等方面的系統變革。教師的寫作教學理念、對教育信息技術的認知程度、期待值和態度都影響著自動評價系統在教學中的使用方式和使用效果。Chen&Cheng通過調查三位教師使用My Access！的方法和教學效果后發現，如果一味依賴系統，沒有讀者（包括教師和同伴）的反饋，會導致學生產生不安情緒，影響寫作能力的發展。因此，關于信息技術如何使用才能達到最佳效果必須進行大量的教學實驗和研究，加強針對性，避免盲目引進導致的資源浪費。

五、總結

寫作是一種社會交際行為，涉及作者和讀者之間在意義上的協商，因此在學生寫作學習過程中來自教師和同伴的反饋至關重要。相比之下，自動評價系統雖然在一定程度上能夠有效地幫助學生發現語法和寫作規范等方面的問題，但也存在一些固有的缺陷。作為教師和教學研究者，我們應該在了解該系統的基礎上，在教學設計中注意揚長避短，在應用研究的過程中注意考察其優點和缺陷、語言學習者的特點和學習目標等因素，充分發揮系統在教學中的作用，避免其帶來的負面效果。