國內作文自動評價系統應用研究綜述

王建

【摘要】本文回顧了國內作文自動評價系統的應用研究成果，指出了該領域存在的不足及未來的研究方向。

【關鍵詞】作文自動評分系統 寫作水平 認知研究 自動反饋

國外自動寫作評價系統（Automated Writing Evaluation）如Criterion不僅提供及時評分，還從內容、組織結構、詞匯及語法方面提供詳細的反饋與指導（Dikli，2006），因而被不斷應用到課堂寫作教學中。國內AWE的應用相對較晚，近年國內有也少數的AWE系統如句酷批改網等被開發出來輔助高校英語教師寫作教學。本文對國內AWE研究進行梳理、評述，并指出該領域未來的研究方向。

作者將關鍵詞“在線評估”、“自動作文評價系統”、“寫作教學”及“應用研究”輸入“中國期刊網”，結合手工檢索篩選出的外語類中文類核心期刊論文主要涉及三個研究方向：1）AWE的使用與學生寫作水平的關系；2）使用者如何利用AWE及其認知與態度；3）自動反饋（Automated Feedback）研究。

一、AWE的使用與寫作水平的關系

此類研究將受試分成實驗組與對照組，并利用前測后測來解釋這一關系。周穎（2011）以43名英語專業二年級學生為受試，利用WRM 2.0進行了為期一學年的實驗教學。前測顯示實驗組與對照組在總分與各維度（內容、結構等）的成績無顯著差異，后測實驗組在各緯度的分數顯著高于對照組，得出結論AWE融入寫作教學能提高學生的寫作水平。此外該研究還指出物理環境（網速慢等）、學術環境（課程繁忙等）和管理環境（缺乏網絡教育理念等）三方面的因素可能會影響在線寫作水平的發揮。蔣學清等（2011）指出實驗組與對照組前測無顯著差異，經過一學年的學習，兩組受試英語寫作水平均有顯著提高，后測顯示實驗組受試在結構、語法、規范及總分維度上顯著高于對照組，這說明AWE的融入對提高學生寫作能力可以發揮積極的作用。但該研究同時發現WRM 2.0對作文的思想內容、語體、選詞和句式變化方面的指導遠遠不足。唐錦蘭、吳一安（2012）將460名受試分為5個實驗組和5個對照組，結果顯示實驗組在各維度的分數顯著高于對照組。于莉等（2012）以大一非英語專業學生為受試，采用干預式教學方法，即每次在線寫作任務完成后教師就詳解系統提供的反饋；前后測使用同一個寫作任務。研究表明受試在結構、流暢度、語體和規范方面有較大提高，但在詞匯、思想內容方面提高不多。

顧成華、王麗（2012）利用句酷批改網，以114名非英語專業學生為研究對象進行歷時一學期的研究。后測顯示實驗組成績顯著高于對照組，批改網的使用有助于提高學生寫作水平。

魯艷輝等（2010）對80名大二學生進行了為期10周的研究，以冰果自動評分系統為工具。受試被分為男、女生組及高、低分組。研究者從10次寫作文任務中抽取第1.5.10次作文進行對比分析，發現所有受試整體成績有所提高，該系統對于改變學習者的寫作策略有一定的促進作用。經過訓練，男女生組寫作成績無顯著差異，低分組寫作水平顯著提高。受試在寫作篇幅、錯誤、語言表達、句法、邏輯銜接等方面均有所提高。不足的是該研究沒有設置對照組，這就很難說明成績的提高與AWE的輔助有關。

上述研究結果均較為積極，即AWE的融入有利于提高學生的寫作成績。但該類研究在設計上還存在以下不足。第一，前后測的實施方式有待商榷。若實驗組和對照組前后測任務均為在線寫作，與寫作構念（writing construct）不相關的因素就有可能影響寫作成績，特別是后測的成績。實驗組因受長期訓練必定能克服此類障礙，而對照組利用電腦寫作次數少，因此在完成與實驗組相同的寫作任務時會處于不利因素，成績可能會較實驗組低。第二，研究設計中控制變量的闡述不詳，如兩組受試是否接受同樣的教師課堂講解，寫作任務訓練的次數是否相等都不得而知。

二、師生對AWE的認知研究

學生對AWE與寫作水平關系的認知。多數受試認為AWE提供及時的反饋、增加修改次數、增長作文的篇幅，有助于英語寫作水平的提高。同時認為AWE的反饋與教師反饋相結合更有助于寫作水平的提高。現階段的在線寫作評價系統允許教師增加反饋并對系統的反饋錯誤進行糾正，任課教師若能增加適當的反饋，就能提高反饋的效度，對學生作文提供更準確的指導。

學生對評價系統優缺點的認知。問卷和訪談結果顯示AWE在文章結構、詞匯以及規范方面提供有效指導，評語具有一定參考價值，具有自主性、診斷性、快捷性等特點。學生普遍接受AWE融入英語課堂教學。

同時也指出了AWE的許多缺點。第一，在思想內容、邏輯連貫、文章結構以及遣詞造句等方面AWE無法提供有效反饋。需要教師進行在線寫作指導，增加遣詞造句、思想內容等反饋彌補系統反饋的不足。第二，系統提供的評語流于形式，反饋多為提示性，不夠具體，且不能進行個性化反饋，教師應為學生清楚解讀在線評價系統的評分標準。第三，AWE沒能提供相應的參考范文。在傳統寫作教學中，教師往往會提供優秀范文供學生欣賞、模仿，讓學生發現自己作文不足之處。第四，AWE無法準確評分。

教師對評價系統的認知。教師們普遍贊賞AWE反饋的及時性并能促進學生對作文的不斷修改，但同時指出AWE在內容、語體及謀篇布局上的反饋過泛。他們認為在結合AWE的寫作過程中，教學應盡量彌補其缺陷，利用AWE進行針對性教學活動。其次，應為學生清晰解讀寫作標準滿足學生的要求。此外，寫作教學融入AWE應使評價主體朝著“系統評估+教師評估+同伴評估”三位一體方向發展。AWE的融入應使教師的角色更加多元化，從唯一的講解者和評價者轉為學生的引導者和支持者、教學過程的組織者和協調者等等。這表明AWE的融入使教師對寫作教學的觀念發生了根本的變化，對寫作教學有了新的認識。

以上研究主要采用問卷調查和訪談的形式，涉及師生對AWE及其使用的認知、情感與態度。不足之處在于問卷的設計是否科學、是否具有較高信度，目前這方面缺少一個標準的量表測驗師生對AWE的認知態度。

三、自動反饋研究

近年來少數學者開始關注自動反饋（Automated Feedback），對比教師反饋、自動反饋與同儕反饋對學生寫作水平的影響，學生對三類反饋的認知態度，學生如何使用自動反饋，自動反饋的類型、精確度等。值得一提的是Bai&Hu（2016）的研究。該研究不僅統計了句酷批改網系統反饋的類型、精確度、學生對反饋的認知，還關注受試如何領會（take up）系統反饋修改作文。但該領域還缺乏歷時的個案研究，學生利用自動反饋時的認知過程及心理狀態也尚處空白，需要研究者的關注。

四、結語及未來研究方向

本文對AWE國內應用研究進行了綜述，指出了研究中存在的不足。未來研究可從以下幾方面入手。

第一，研究不同寫作能力的學生利用在線評價系統的過程，揭示其使用AWE存在的差異。第二，教師是否充分地挖掘和利用AWE功用，是否存在個體差異等。第三，面對學生質疑機器打分的不可靠性，未來研究應對AWE的評分效度進行全面報道，高效度是AWE融入課堂教學的基礎。目前國外有認可度高的效度論證框架（Elliot & Williamson，2013），但尚未受到國內研究者足夠的重視。

參考文獻：

[1]Bai L.F.& Hu G.W.（2016）：In the face of fallible AWE feedback：how do students respond？，Educational Psychology，DOI： 10.1080/01443410.2016.1223275.

[2]Dikli，S.Automated Essay Scoring[J].Online Submission， 2006，（1）：49-62.

[3]Elliot，N.，D.M.Williamson.Assessing writing special issue： Assessing writing with automated essay scoringt[J].Assessing Writing，2013（18）：1-6.

[4]顧成華，王麗.基于句酷批改網的大學英語寫作教學實證研究[J].揚州大學學報（高教研究版），2012，（4）：92-96.

[5]蔣學清，蔡靜，唐錦蘭.探析自動作文評分系統對大學生英語寫作能力發展的影響[J].山東外語教學，201l，（6）：36-43.

[6]魯艷輝，譚福民，彭舜.現代教育技術智能寫作評分系統在大學英語寫作中的實證研究[J].現代教育技術，2010，（6）：56-58.

[7]唐錦蘭，吳一安.寫作自動評價系統在大學英語教學中的應用研究[J].外語與外語教學，2012，（4）：53-58.

[8]于莉，齊品，郭平建.應用數字化寫作平臺干預大學英語寫作教學的研究[J].外語電化教學，2012，（146）：17-21.

[9]周穎.在線形成性評價工具在英語寫作中的應用—困難及對策探究[J].現代教育技術，2011，（9）：88-93.