智能寫作評分系統在大學英語寫作中的實證研究

【摘要】研究使用調查和定量研究方法對智能寫作評分系統在大學英語寫作教學中的運用進行反思性分析。結果表明，學習者對該新的寫作教學方法有較好的期待。利用智能評分系統寫作進行訓練，對于改變學習者寫作策略有一定的促進作用。其中，男性學習者在訓練后寫作策略的轉變顯著性大于女性學習者。低分組的參與者在經過系統寫作訓練后，寫作過程中的策略使用和水平有顯著性的提高。

【關鍵詞】智能寫作評分;大學英語寫作;評價;實證研究

【中圖分類號】G420 【文獻標識碼】B 【論文編號】1009—8097(2010)06—0056—03

一 研究背景

大學英語寫作是衡量學生英語綜合水平和應用能力的一個重要指標。有效的寫作指導包括對學生作文進行反饋[1]。而我們現行的大學英語教學狀況是教師教學任務較重，大部分基礎英語教學階段都進行大班教學，因而，教師詳細批閱存在一定難度，對于學生作文的有效反饋上存在很多不足，如:作文批改隨意性大;在修改的過程中，沒有重點地挑出問題;很少對學生進行鼓勵性的正面評論，而是單純挑出學生的不足之處;很少對學生作文做出總體評價，而是只給出一個分數或等級，缺少持續性評價。且學生因英語水平參差不齊，而存在拼寫錯誤、句法錯誤等問題，當學生不能及時地得到教師的反饋信息時，其寫作興趣就會受到影響，最終導致失去興趣，阻礙英語寫作能力的發展[2]。

計算機和互聯網的發展對英語教學產生了巨大的影響。作為一種教學手段，計算機和網絡輔助教學已經顯示出其獨特優勢。運用計算機、網絡輔助寫作教學是對傳統寫作教學的補充和完善。2005年美國麥克勞-希爾加州考試中心研發了Writing Roadmap TM 2.0在線形成性寫作評價工具。2008年底，該英語教學軟件進入中國，該系統不但可以為學生在線提交的作文做出及時評分、生成分析報道，也可以為教師全面了解學生的寫作情況提供多維分析報告[3]。目前由浙江大學開發的英語智能作文評閱系統，也在國內多所大學投入使用。

網絡在教學中有相對于傳統教學模式具有巨大的優勢，教育者通常希望新的技術能為教育改革帶來創新性結果。然而，Warschauer(1996)的研究[4]也表明，新技術的采用如果僅僅從給予教學指令的方法上出發的話，其取得的教學結果并無顯著性的差異。因此，教育者應通過評估使用網絡新技術后的教學效果來幫助和促進教學規劃。

二 研究設計

利用浙江大學開發的英語智能作文評閱系統[5]，我們進行了小規模實證研究性工作，研究通過問卷調查、實踐操作過程，了解學生學習情況及該評分系統對學生寫作的積極推動作用，開展新的教學理念下的基于網絡的大學英語寫作教學模式。

1 研究問題

研究旨在了解智能寫作評分系統在寫作教學中的應用效果對于不同類型學生(學習策略存在一定差異的學生)是否存在顯著性差異。教師依據調查研究結果，實施教學指導，充分挖掘學生學習潛力，努力提高其英語寫作興趣，從而提高英語寫作技能。具體研究問題如下:

1)智能評分系統的使用對學生者寫作過程中的學習策略的轉變是否有一定的影響?

2)智能評分系統的使用對學習者寫作結果(主要從篇章結構、語言表達、句法等方面分析)的影響?

2 研究對象

隨機挑選在讀二年級學生80名(其中男23名、女57名)，進行新模式下的寫作訓練。針對研究問題開展相關調查。

3 教學過程

教學過程中，教師指導學生使用在線寫作評價系統，開展寫作練習訓練。教學實施階段為每周一次的集中網上寫作交流活動，教學時間為10周。教學分兩個階段進行。首先，由教師在線發布寫作要求，指導學生進入寫作系統，通過網上遞交作文。然后，教師根據評估系統所提供的數據反饋寫作情況，對學生寫作的反饋信息，從語篇結構、詞匯量的大小、語法結構、句型使用情況進行講評。

4 數據的收集

教學前，我們針對學生的寫作策略進行大體了解。就學習者寫作策略設計問卷調查(表略)，開展調查。網上寫作訓練后，進行第二次學習策略調查。調查主要從兩個層次展開:一是，將受試學生按性別分類、或按高考成績分類的高分組和低分組，分別就他們不同時期的寫作策略對比分析;二是從受試者的寫作內容，其中主要包括對寫作內容中的語篇結構、語言表達中的詞匯選擇、詞匯量的大小、語法結構、句型使用情況進行一些觀察性對比說明。

三 結果與討論

采用外語教學研究中常用的五級尺度法[6](1=不適合我;2=很少適合于我;3=有時適合于我;4=多數情況適合于我;5=總適合于我)，就寫作策略等相關問題(附1)進行調查。

調查回收問卷73份(男生20，女生53)，然后，主要從以下幾方面進行SPSS統計分析。

1 男生和女生寫作經過智能評分系統模式訓練后寫作策略上的對比情況(附2:表1、表2)。

結果表明，男生在訓練前的寫作策略總分為61.0500，而女生為68.0566;經過一段時間的訓練后男生的寫作策略總分為64.4500，女生68.8302。男、女生寫作策略均有所改變。表2 中，Levine 齊性方差檢驗表明兩個變量顯著性概率(Sig)分別為0.330 和0.792，都大于0.05，兩變量的方差相等。男生組和女生組的方差齊性Sig(2-tailed)雙尾t-檢驗的顯著性概率分別為0.021(p<0.05) 和0.136(p>0.05)。表明，男生組在經新模式訓練后，寫作策略有顯著性差異，而女生組無顯著性差異。

2 高分組和低分組，經過智能評分系統模式訓練后寫作策略上的對比情況。

鑒于受試對象中高考地區生源不同，受試對象分別來自于天津、湖南、吉林、四川、陜西、河北、廣東海南八個省市。各省區高考英語難易度并不一直。我們只將參加同一入學測試的受試者(63人)按高分組合和低分組進行再比較，結果(附表略)發現，高分組在訓練前的寫作策略總分為66.9722，而低分組為61.2593;經過一段時間的訓練后高分組的寫作策略總分為64.8056，低分組為65.8148。高分組、低分組寫作策略均有一定改變。Levine齊性方差檢驗表明兩個變量顯著性概率(Sig)分別為0.692和0.734，都大于0.05，兩變量的方差相等。高分組和低分組的方差齊性Sig. (2-tailed)雙尾t 檢驗的顯著性概率分別為0.030(p<0.05)和0.731 (p>0.05)。表明，高分組、低分組教學訓練前寫作策略有顯著性差異，但在經新模式訓練后，寫作策略無顯著性差異。由此，說明，利用智能評分系統寫作進行訓練，對于改變學習者寫作策略有一定的促進作用。

3 受試對象寫作內容的對比分析:

寫作內容的對比研究從兩個方面進行分析。一是寫作系統給出的評分;二是，根據學習者寫作內容進行的人工語言分析。根據大學英語四級考試作文要求，利用智能寫作評分系統進行每周一次的寫作訓練，持續時間共10周。分別提取第1次、第5次和第10次的作文進行比對分析。將受試學者三次作文成績(15分制計算)進行對比結果(附表3)。

三次寫作平均成績分別為9.8219、10.2740、12.3014。由此可見，使用智能評分寫作系統進行訓練后，學生的寫作分數隨著該項訓練時間的延長，卷面成績有明顯提高。訓練前后的成績存在顯著性差異。對不同性別的學生，經一段時間的智能評分寫作系統訓練后的成績(采用第10次成績)是否存在顯著性差異進行分析，經SPSS統計數據處理，采用Mann-Whitney檢驗，顯著性結果分別為0.219和1.000，結果(附表4)表明經過一段時間的寫作訓練后，男生與女生組對比、高分組與低分組在寫作方面成績并無顯著性差異。低分組的參與者在經過系統寫作訓練后寫作水平有顯著性的提高。

語言分析主要針對受試者作文相關語言點，進行語言使用觀察分析。研究主要從文章的篇幅、篇章結構、及語言形式等方面分析。結果如下:

分析學生使用智能評分寫作系統進行訓練的三個不同時期的寫作內容，結果表明，學生在寫作篇幅上一次一次大有提高;文中的拼寫錯誤也有所減少，但其仍是寫作中的一大問題;語言表達方面有所提高，但詞匯使用方面仍有待提高。通過反復的提醒、訓練，學生基本能在文中正確使用過渡詞，保持句子與句子，段落與段落間的銜接及邏輯性。大部分同學能有意識地在文中使用多種多樣的句型，句法錯誤也相對減少。

經過一段時間的學習訓練，大部分學習者表示，寫作過程中他們基本能按常規理性化寫作過程(plan-draft-review- revise)進行寫作，且92%的受試者表示，智能評分系統中，整體性評論語言中激勵性的評語，刺激他們的寫作興趣，看到自己的進步，83%的人認為，通過使用評分系統進行寫作訓練，他們能增強自信，并能力求篇篇作業有亮點。

四 結論

智能評分系統運用于寫作教學中有助于培養學習者良好的寫作習慣。智能寫作評分系統增加了學生寫作訓練的機會，使他們能通過更多的訓練從一定程度上提高寫作的效果。從寫作的內容(product)來看，從詞匯的選擇使用、詞匯量情況、句法句型結構的使用情況來看，經過一段時間的訓練和寫作反饋，學習者能有意識地訓練自己這方面的技能，并且能逐步取得進步。然而，寫作過程是個復雜的、系統的工程。影響寫作效果的因素也是多種多樣的，如設備軟件的操作使用、教師監控、及參與者寫作策略的使用及系統本身的局限性，如評語的泛化性特征，導致因為不能詳細地指出作文中出現的具體問題;該系統不能從深層寫作和批評性思維能力方面指導參與學習者發展寫作能力等。

智能寫作評分系統本身并不能保證提高寫作能力，必須要有學生的自覺主動、認真參與，積極對待每一次操練機會。教師的有效指導是保證最終教學效果的重要因素。教學過程中，指導學生使用在線寫作評價系統開展寫作訓練時，教師首先可以在線發布寫作要求，指導學生進入寫作系統，通過網上遞交作文。且在學生進行在線寫作訓練和遞交作文時，可以要求學生在規定的時間內在作文本上完成寫作，課后按word 文檔格式輸入電腦，文檔經過電腦中所設置的英文自動修改設置修正后再復制到作文遞交設置頁。通過這一過程的操作，學生的英語表達中的語言表達錯誤會大大減少，且通過自動修改過程，對于一些不易拼寫的單詞，學生也有個鞏固過程。詞匯的選擇是寫作過程中重要的部分。使用豐富的、多樣的詞匯及句法表達，是好的寫作的重要因素。因此，教師可根據評估系統所提供的數據，反饋寫作情況，對學生寫作內容，從語篇結構、詞匯量的大小、語法結構、句型使用情況進行講評。

將在線形成性評價工具用于寫作教學是一種基于網絡新技術的新教學模式，其教學效果還有待進一步的論證。為進一步研究證明該在線形成性評價工具對學生寫作的積極推動作用，同時也更好地推廣這一評價性工具，讓更多的教師和學生受益，教師應不斷學習新理念，加強新技術的學習和培訓，教學單位也應從軟硬件方面的支持以確保教學工作的順利開展。同時加強學生利用智能寫作評分系統寫作的教學監控。注重發展學生個性化學習策略，尊重個體差異，因材施教，確實提高學習者寫作能力。

參考文獻

[1] Mark Warschauer，Paige Ware. Automated writing evaluation: defining the classroom research agenda. Language Teaching Research， 2006，(10，) 21–24.

[2] 秦朝霞. 國內大學英語寫作研究現狀及發展趨勢分析[J] . 現代外語，2009，(2) : 195-205.

[3] Writing Roadmap2.0 [DB/OL].< http://www.mcgraw-hill.com.>

[4] Warschauer， M.Motivational aspects of using computers for writing and communication. In Warschauer， M.， editor， Telecollaboration in foreign language learning: proceedings of the Hawaii’s symposium .University of Hawaii’s，Second Language Teaching and Curriculum Center， 1996: 29–46.

[5] 智能在線評分系統[[DB/OL]

< http://www.bingoenglish.com/ncewriting/index.html>

[6] 秦曉晴.外語教學研究中的定量數據分析[M].華中科技大學出版社，2003.