基于寫作自動評閱系統的大學生英語寫作能力反饋效果研究*

郭楚生，楊 柳

(湖南理工學院 外語學院，湖南 岳陽 414006)

1 引言

反饋是英語教學環節的重要組成，也是國內各高校二語寫作課題研究的關鍵。傳統的英語寫作課題教學中，由于人工評閱的速度較慢，往往不能及時反饋結果，學生信息接收較為滯后[1]。而相對于人工評閱而言，寫作自動評閱系統(AuTomaTic WriTing EvaluaTion，以下簡稱“AWE”)有利于指導學生作文寫作，并及時予學生得分評價，減輕了教師的工作負擔[2]。基于AWE系統的反饋方法可以在英文寫作教學中能夠得到更加廣泛的運用。20世紀90年代以來，國外關于高校自動評閱系統的研究已想當成熟[3]。盡管相對于國外而言，國內起步較遲，但仍有不少研究者重點關注寫作自動評閱系統反饋在二語作文教學過程中的實際應用，主要研究重點在以下幾方面：一是寫作自動評閱系統反饋與人工評分之間的基本一致性，從而可以驗證其是否能夠充分地運用為一種有效測試手段[4]。二是高校高度重視寫作自動評閱系統關于反饋對于內容修改的直接影響[5]。三是寫作自動評閱系統反饋對學生寫作能力的影響，大量研究結果證明，寫作自動評閱系統可以有效幫助學生提高其英語寫作水平[6]。本文主要通過問卷調查統計問卷與模擬實驗，探究了基于自動化的評閱測試體系的方式，反映其對高校學生英語書面閱讀寫作技巧能力培養的重要意義。

2 研究背景

2.1 句法復雜度

句法復雜度單從字面意思來看，指的是句子語法的復雜程度，其次指語言在生產的過程中所呈現的復雜程度[7]。其主要表現在句法結構的多元性。句法復雜度能夠較為直觀地反映出學習者的實際學習效果[8]。句法復雜程度表現在兩方面，一方面是以T 單位形式為代表的較為表層的指標，一方面是T 單位形式為代表的較為深層的指標。句法的復雜度可以人工方式批閱或IT手段進行標注，但兩者相比較而言，人工批閱耗時較長且出錯率頻[9]。句法復雜度標注軟件的進一步開發，使得越來越多自動批注網站的識別精準度也不斷提升。從當前我國自動評閱系統使用人數來看，使用較廣的主要有Coh-Metrix、D-level 和 DL2SCA。而其中，L2SCA 的識別準確率最高，達到83%以上[10]。本課題研究通過L2SCA 系統對學生作文句法結構進行分析，見表1。

表1 句子復雜度測量指標

2.2 寫作自動評閱系統

自動作文審查評分系統是基于互聯網和計算機技術建立的一種自動評分系統，用來對自己的作文進行批注和評分[6]。20世紀中期，Ellis Page團隊開發出第一款評閱系統，即Project Essay Grade(PEG)。該系統的開發設計旨在降低教師的批閱負擔。隨著信息技術的的不斷發展，AWE系統也進一步得到優化和改善。發展至今，除了PEG之外，國外運用得比較廣泛且具有代表性的是AWE系統，該系統主要是先通過運用自然語言處理器等技術手段，準確地分析文章的數據測量和特征得分值，而后再通過運用多元回歸的計算方式方法來計算文章的測量得分。不同的教學系統在實際應用中所采取的技術特點和設計指標方式可能會略微不同，但主要都指的是系統包括常用單詞、句子、篇章及常識錯誤等幾種應用類型。有些不僅能夠直接評價學生作文的綜合分數，甚至可以向學生反饋并幫助其糾正意見。然而，這些寫作體系大多數都是專門針對二語學習的體系寫作，較少有的是專門針對第三語的體系寫作[11]。

所以，這些學習系統不一定適用于EFL的學習者。而國內普遍用到的AWE 系統主要有“i-write”系統和“句酷批改網”。其中，句酷批改網是通過云計算算力支撐和海量數據庫的一款批改系統，采用了通過語料庫自動建模的操作方式，將海量樣品英語作文和通過語料庫功能進行自動建模的英語作文進行數據對比，并經由數據映射后進行轉化而成為大學生英語作文測試分數和作文評價。批改點評網站針對學生所提交的作文，除了及時地對其給出較整體的教學反饋之外，還從句子拼讀、詞匯、語法等多個維度方面針對寫作內容進行點評，并及時給出具體的修改點評意見。

3 研究設計

3.1 研究問題

第一，寫作自動評閱系統的反饋結果是否會對學生在英語寫作中的句型和詞匯復雜程度產生影響？

第二，不同水平的學生對于句法和指標的認識是否存在顯著性的差異？若有，這些差別主要表現在什么樣的指標維度上？

3.2研究對象

本課題研究主要是針對湖南市某高校不同年級、水平的64名非英語專業的大一、大二新生，由同一位教師所講授的2個平行課堂中153名學生挑選而成。研究人員使用學生分級考核成績與作文成績相比的標準來評價其英語書寫能力。分級評估考核主要包括了聽力、字符、語法及閱讀四項內容，用于評估除了寫作成績以外的其他各個方面的英語能力。以評分較高的前32名學生劃分入高水平組，后32名學生劃入中等水平小組，而后對兩組收拾組所預估的分值及實際評分分別進行獨立樣本T 檢驗，結果表明，前者表現為T =-6.683，p<0.05，后者表現為T =-12.67，p<0.05，兩者均存在顯著性。

3.3 研究過程

本研究項目作者所參與研究的語料分別是64名學生的英語作文。在這個課題正式實施的前兩周，學生們每周都會接受關于句酷批改網如何使用的培訓。學生們在完成寫作后將作文提交至官網，然后根據本次批改的反饋信息進行編輯修改，并在修改完成后再次提交，整個修改過程可以反復進行直到學生對分數滿意。在課題即將結束的時候，研究者預留了一周的時間隨機訪談20名學生，全程采用保密的形式。

3.4 數據分析

本課題研究主要從句法復雜度與表現形式多樣兩方面進行，主要對大二學生作文提交初稿與終稿在的句法應用特征。首先，通過L2SCA 算出句法復雜度；其次，利用 SPSS20.0軟件，對兩組受試者寫作的句法復雜度進行比較；再次，針對受訪者的訪談結果進行文字轉化整理，確定內容分析類別及主題；最后，在前三步的基礎上，展開了定量與定性的分析和討論。

4 研究結果與討論

4.1 句法描述性統計

如表2所示，在對句法復雜度的描述分析中可發現，將64名中第一名受訪者所提交的作文初稿與終稿進行比對，其結果是表2中所列的14項指標的句法復雜度對比中初稿明顯低于終稿。這從側面反映出，寫作自動評閱系統對非英語專業學生的英語寫作水平具有一定促進作用。與初稿相比，終稿句子結構較為復雜，且運用的句式較為復雜、短語數量也相對較多。為進一步驗證這些差異之間是否存在顯著性，研究者將所收集到的數據進行分類整理后進行了綜合檢驗，見表3。

表2 句法復雜度描述統計結果

表3 句法復雜度配對樣本t檢驗結果

根據表3，可發現，終稿結果相對與初稿而言，其句子結構復雜度和用于從屬名詞結構的句子數量都與之類似，但語言產出的單位名字長度較短，名詞的復合并列短語名詞數量更多。

4.2 不同的英語層次學生寫作文句型的復雜程度有所差異

為能夠更加深入驗證不同英語學習水平學生在英語寫作中句子復雜度間的差異，本研究將對提交至系統的初稿進行樣本T 檢驗。

通過表4發現，不同專業英語不同層次的學生用于寫英語作文時的初稿句法T單位數量與作文子句中從段到節中的數量之間往往存在著顯著的差異(T=-2.469，df=32，p<0.05；T=-2.498，df=32，p<0.05)；較低水平學生用于寫英語作文初稿句法的結構復雜程度指標明顯低于較高專業水平的英語學生(MD=-0.117；MD=-0.122)。較低水平的學生在學習句法類型綜合運用復雜程度、語言句法產出結構單元、句子句法綜合運用復雜程度、并列結構單元個數以及語言短語句法綜合運用復雜程度等各個方面都幾乎未能達到明顯的差異。

表4 不同英語水平作文初稿的句法復雜度樣本t檢驗結果

通過表5進行分析，結果表明，不同英語水平的學生所提交的作文終稿呈現顯著差異，在寫作自動評閱系統反饋意見后，學生針對意見內容進行修改后，將高水平組與低水平組對句法結構復雜度修改情況進行比對，高水平組修改質量明顯高于中等水平組。為此，本課題研究認為，句酷批改網的投入使用，能夠對英語學習能力較強的學生產生影響較大，而對于英語能力偏低的學生影響不大。

表5 不同英語水平作文終稿的句法復雜度樣本t檢驗結果

4.3 對句酷批改網的反饋

本次實驗的最后一周，研究者通過引導學生半開放式的網絡訪問，針對學生批改網絡所反映的實際使用深有體會。研究中還特別發現，整體情況來看，大多數學生都很滿意于批改網的使用。90%的同學都表示自動作文反饋可以最大限度地來激勵自己有效地從作文單詞、語法、句型等各個不同維度切入去修改自己的作文，從而提高自身的作文效能感。根據這次專題訪談的調查結果，筆者將廣大學生對批改網的綜合評估結果歸結到了以下三個主要層次：

第一，減少學生寫作的低效能。批改網的及時反饋在一定程度上扮演者教學直到的角色，能夠幫助學生發現在寫作中存在的不足，大大減少了學生對于英語寫作的焦慮。

第二，批改網根據寫作情況進行點評，學生可以隨時進行多次修改，并能通過網絡及時反饋的在句子結構等問題的篩選，學生能夠得到有效性的提高。

第三，批改網尚需進行優化和升級。批改網雖在詞匯、句法等方面對寫作文本提出了具體建議，但在文章內容、結構等方面的反饋還較為模糊，有待進一步完善。

5 結語

英語課程一直以來是高等教育的重要組成，隨著經濟全球化的深入，各高校也越來越重視英語教學，寫作一直是英語課程中教與學的重難點，是對于英語基礎知識的總結和綜合運用。對于提升大學生的英語書面寫作質量的評估標準就顯得非常重要，反饋也是提升大學生的英語書面寫作素養的重要手段。作為信息化的產物，寫作自動評閱系統的應用和發展極大地提升了人工評閱手段對于英語寫作反饋的效率，這不僅給大學生們提供了豐富的知識學習資源，也在某種程度上減輕了教師的教學壓力。自動評閱體驗系統對于英語寫作教學和反饋工作等方面的應用具有很大的前景，且能夠進一步推動我國高校英語教學走向信息化、個人化和自主式的發展。