作文自動評分系統的反饋對高職學生英語寫作修改的影響

鐘 歆(揚州市職業大學 外國語學院，江蘇 揚州 225000)

?

作文自動評分系統的反饋對高職學生英語寫作修改的影響

鐘 歆
(揚州市職業大學 外國語學院，江蘇 揚州 225000)

本研究對作文自動評分系統的反饋對高職英語學生英語寫作修改的影響進行了實驗和調查，結果發現：作文自動評分系統的反饋可以一定程度上促使高職學生的英語寫作修改的發生，進而提高寫作成績，但寫作修改的能力依然偏低，不能進行有效修改；作文自動評分系統中反饋類型和方式的不同會影響高職學生英語寫作修改的不同；學生寫作修改的次數與寫作成績之間存在一定的相關性。

自動評分系統； 反饋； 英文寫作修改

寫作是運用語言文字符號反映客觀事物、表達思想感情、傳遞知識信息的創造性腦力勞動過程。從認知過程的角度看，寫作包括計劃、轉換和修改這三方面內容，因此修改是寫作的重要組成部分。而修改的過程則又分為發現、診斷和改正文章問題這三部分。在寫作教學中，學習者進行第一寫作過程，即自己完成初稿寫作；進行自我修改之后，對作文進行的第二寫作過程，即學生根據反饋信息進行寫作修改的過程；第三寫作過程主要依賴于教師和同伴的反饋，即教師評改和同伴互評。但是，隨著互聯網技術、語料庫技術和自然語言處理技術的發展，作文自動評分系統(Automated Essay Scoring，簡稱AES)應運而生，它能夠對學習者在線提交的作文進行及時評分并做診斷性反饋。近年來，國外學者在作文自動評分系統的方面已做了些研究，Scharber等學者認為學生能積極地使用作文自動評分系統修改作文，其使用頻率與寫作成績的提高成正比。但也有學者如Grimes對作文自動評分系統的信度提出質疑，對如何將其引入傳統寫作教學存在爭議。國內對作文自動評分系統的研究主要有：國內外作文自動評分系統的研究綜述，作文自動評分系統的信度和效度研究，作文自動評分系統下的寫作模式和寫作策略研究，在大學英語教學中的應用研究，作文自動評分系統與其他不同反饋方式的對比研究。但是，就作文自動評分系統的反饋對高職學生的寫作修改的影響研究尚未見報道。因此，筆者在前人研究基礎上，以高職英語專業一年級學生為調查對象，采用問卷調查、訪談、測試卷等工具，定量和定性相結合的研究方法，試圖探究作文自動評分系統的反饋對學生寫作修改影響的總體情況，比較作文自動評分系統不同反饋類型對學生寫作修改影響的差異，分析學生寫作修改與寫作成績之間的相關性。

1 研究方法

1.1 問題設置

本研究擬回答三個問題：(1)作文自動評分系統的反饋對高職學生英語寫作修改的總體影響如何？(2)作文自動評分系統中不同反饋類型對學生寫作修改的影響差異如何？寫作修改的效果和深度如何？(3)學生寫作修改與學生寫作成績的相關性如何？

1.2 調查對象

調查對象為揚州市職業大學商務英語專業一年級的兩個自然班學生，共58名，其中男生11人，女生47人。兩個班學生均由筆者一人授課。

1.3 調查工具

本研究使用的作文自動評分系統是“句酷批改網”，該系統基于語料庫和云計算技術提供英語作文自動在線批改服務。通過計算學生作文和標準語料庫之間的距離，對學生提交的作文進行及時評分，并給出評語，同時系統提供拼寫錯誤、語法錯誤、搭配錯誤等反饋信息，學生可以根據反饋對作文進行修改，并多次提交，有助于學生及時、反復、有針對性地對自己的作文進行修改。本研究的基本數據來自批改網。

1.4 數據收集

本研究歷時一個學期，研究數據來自三個方面：第一，調查問卷和訪談；第二，學生在批改網的作文數據；第三，實驗前后學生的寫作測試成績。

1.4.1 調查問卷和訪談 調查問卷題目的來源有三個：一是作文自動評分系統以及寫作修改相關的文獻；二是試驗性實驗中與個別學生的訪談；三是筆者的寫作教學經驗。調查問卷由20個封閉性問題和3個開放性問題組成。封閉性問題均為單選題，包括四個方面內容：學生對作文自動評分系統反饋的認同度；對作文自動評分系統寫作修改的態度；利用作文自動評分系統進行寫作修改的頻次利用作文自動評分系統對寫作內容修改的動機。問卷的選項編寫依照李克特量表進行設計，五個選項分別為完全同意、同意、不確定、不同意、完全不同意，每個選項對應相應分值(完全同意=5，同意=4，不確定=3，不同意=2，完全不同意=1)，根據學生所選選項的分值計算問卷個體得分。發放問卷58 份，回收58份，合格率為100%。

本研究對學生進行了半結構訪談，受訪學生為6人，目的在于進一步了解作文自動評分系統對學生寫作修改影響的具體情況。接受訪談的學生為批改網系統中記載的成績好(80～90)、中(70～80)、差(60～70)各2名學生，其中男女生各1名。筆者對訪談內容進行錄音，然后進行文字整理。

1.4.2 批改網保存的數據 本研究中，學生先后需要自主完成筆者在批改網上布置的6個寫作話題，涉及學習、環保、生活、娛樂等方面。在任務布置后，學生可以在每個話題布置后的3周時間內隨時隨地登陸批改網進行寫作和修改。批改網會保存每個學生每次寫作任務的各種數據，如作文成績、修改記錄、錯誤分析等，并對整體情況給出診斷。筆者將所有數據導出進行分析。

1.4.3 實驗前后的測試卷 如前所述，本研究的一個重要目標是探討作文自動評分系統的反饋對高職學生英語寫作修改的影響，而寫作修改的目的是為了提高寫作成績，為此，受試學生在實驗前后各參加了一次標準化寫作水平測試。因為受試學生為商務英語專業一年級學生，即將參加大學英語四級考試，所以，受試的作文題分別是2014年6月和12月的大學英語四級作文題，時限是30分鐘，在批改網上在線獨立完成，不根據反饋進行修改。測試結果見表1和表2。

表1和表2的結果可見：實驗前后，無論是作文成績，還是作文字數，受試學生的Sig值均為小于0.005，存在顯著性差異，說明實驗前后學生的作文成績有一定提高，作文字數也有所增加。單詞數是構成句子的基本元素，是衡量學生句法能力的重要指標之一。從表2可見，實驗前后學生的單詞數有所增加，體現出學生句法能力有一定提升。

表1 受試學生實驗前后的作文成績

表2 受試學生實驗前后的作文字數

1.5 數據分析

將采集的數據運用SPSS16.0軟件進行統計分析。分析分三步進行：第一，用描述性統計得出學生6次寫作修改基本情況的平均數、標準差和頻數；第二，用描述性統計分析，以探討受試學生面對不同反饋類型上的修改差異，分析的焦點為寫作修改的深度(語言形式、語言內容和語篇結構)；第三，計算寫作修改和成績之間的相關系數。

2 結果與討論

2.1 作文自動評分系統的反饋對高職學生寫作修改的影響

表3是學生寫作修改情況的統計結果，反映了高職英語專業學生使用作文自動評分系統進行寫作修改影響的總體傾向(見表3和表4)。

表3 六次作文寫作修改的參數

表4 寫作修改次數的頻率和百分比

從表3數據可見，高職學生在六次寫作練習中每次使用批改網進行寫作修改的頻次高于傳統過程寫作法的三稿要求，這一結果與鐘彩順的研究結果相類似。然而，經統計，在所有上傳的作文中，每篇均有15～17人沒有進行修改，占總受試學生數的25.9%左右。雖然受試學生總體修改平均頻次居高，但是仍有四分之一左右的學生基本不修改，主要可能是個別學生修改次數超高。他們把修改作文當作游戲，不斷修改作文刷高分作文，每完成一個修改點就進行提交，六次作文中，修改頻次最高達到35，可見大部分高職學生自主修改頻次并不高，而且從第一次作文到最后一次作文，寫作修改的頻次也有所降低，究其原因可能是學生從第一次使用批改網發現可以進行修改的新鮮感逐漸降低。同時，從訪談中得知，學生不斷修改作文的主要原因是為了提高寫作成績。但是，從表4的數據可見，學生修改的頻次不一樣，6篇作文58個學生修改388次，平均每人修改5.25篇。但是總體修改的趨勢是一次不改的所占比例最高。結合問卷調查的結果，可以發現高職學生對于寫作修改的意愿不高，動機不強，對于愿意進行寫作修改的原因在于“想看到自己分數的提高”，作文完成后只要批改網給出的成績是自己能接受的，便不愿再次修改。

2.2 作文自動評分系統不同反饋類型對學生寫作修改的影響的差異

作文自動評分系統的反饋類型分為正面反饋(如學習提示、拓展辨析、閃光短語、精彩句型、亮點詞匯等)和負面反饋(如標點警示、句子錯誤、詞語錯誤、形容詞錯誤、動詞錯誤、名詞錯誤、搭配錯誤等)。或者可分為宏觀反饋，即整體評價和微觀反饋，即逐句提示。無論是正面反饋和負面反饋，還是宏觀反饋和微觀反饋，反饋的焦點都是從語言形式、語言內容和語篇結構這三方面出發。

筆者對受試學生就批改網不同反饋的類型進行寫作修改的調查問卷進行描述性統計分析，以探討受試學生面對不同反饋類型的修改差異其結果見表5。

表5 不同反饋類型的平均數和標準差(學生數=58)

表5數據顯示，這五種反饋類型中標點和詞匯的錯誤反饋平均數均高于3，說明學生會根據閱讀反饋對作文進行修改。但是對語法、句型和篇章的錯誤反饋卻不一定進行修改。這表明，學生比較重視語言表層的現象，然而，語篇結構卻修改較少，這可能與國內重語法、輕運用，重形式、輕功能的傳統教學方法有關。對于句型和語法錯誤的反饋，學生修改的意愿就小很多，究其原因可能是批改網的句法反饋只是標明了錯誤的位置，但是問題的性質卻沒有標明，由于高職學生英語基礎薄弱，很難辨明錯誤的實質，從而進行恰當的修改。在訪談中，一位學生如是說：“批改網有時只是劃出問題句子，但是具體哪里有問題，怎么改卻沒有。”另一個學生的回答更具有代表性：“批改網對于句子的批改有時會出問題，甚至錯改。我把書上原文中的一句話寫入作文，批改網竟然反饋該句有語法問題。”

由于作文自動評分系統反饋的局限性，學生進行的修改也大多停留在詞匯、語法等語言形式這類表層錯誤，并未對內容結構這類深層錯誤進行思考和修改。但即使如此，根據調查問卷，72.4%的學生對于寫作修改的效果比較滿意，因為學生只是關注分數，所以學生根據批改網的標點、詞語等的反饋，對作文進行修改后，成績有明顯的提高，這與Fathman&Whalley的研究結果相似，他認為“接受語言形式反饋的學生在語言質量上有顯著提高”。其原因是高職學生自身英語語言知識匱乏，修改能力有限，但作文自動評分系統能及時給出字詞句等表層錯誤的反饋，這對于他們寫作能力的提高有很大幫助。

2.3 學生寫作修改與作文成績之間的相關性

因為學生對作文進行修改的主要原因是為了成績的提高，那么學生寫作修改的次數與寫作成績之間的又有怎樣的相關性呢？筆者根據作文自動評分系統的反饋做出修改后得出的成績作為自變量，學生英語寫作修改的次數作為因變量，采用Pearson相關系數來計算學生寫作修改次數與寫作修改后成績之間的關系，見表6。

從表6的結果可以看出學生的寫作修改成績和修改次數之間有顯著性差異，呈現正相關的關系，就是說兩者之間會相互影響。但是，從批改網給出的數據可見，每次作文任務中最高分并不是修改次數最多的學生，這與學生的寫作能力有很大關系，隨著修改次數的增加，作文已經達到學生寫作水平的高值，再修改對成績提高的效應越來越小，但是即使如此，修改次數最多的學生的成績在所有學生中仍然排前五名。結合問卷調查的統計結果，可以看出學生通過修改對于作文自動評分系統的反饋的接納程度，但不能證明其學習效果。但學生根據反饋進行寫作修改的這一認知過程對學習無疑是必要且有益的。

表6 分數和修改次數的相關性

**. Correlation is significant at the 0.01 level (2-tailed).

3 結語

通過本次調查，可以得出以下結論：一是作文自動評分系統的反饋可以一定程度上促使高職學生英語寫作修改的發生，修改頻次比傳統英語寫作修改頻次高，進而提高學生的寫作成績，但寫作修改的能力依然偏低，不能進行有效修改。二是作文自動評分系統中反饋類型和方式的不同會影響高職學生英語寫作修改的不同，對于字詞的拼寫錯誤，搭配錯誤等表層知識的反饋更易使學生進行寫作修改，而且效果顯著。但是諸如學習提示、拓展辨析、閃光短語、精彩句型等正面反饋易被學生忽視，而作文內容結構這類深層錯誤問題往往由于作文自動評分系統無法進行反饋，學生水平有限等原因被忽視，從而無法對作文進行深層次寫作修改。三是學生的寫作修改和分數的增加之間存在一定的相關性。

以上研究對高職英語寫作的教與學具有一定的指導意義。一是教師應在高職英語寫作教學中增加寫作修改策略的訓練，這樣，在作文自動評分系統反饋的基礎上，學生將事半功倍地完成英語寫作修改，提高英語寫作能力。二是由于作文自動評分系統的反饋因反饋類型和方式不一樣對高職英語寫作修改的影響存在差異，因此，在英語寫作教學中，教師應在作文自動評分系統反饋基礎上增加內容和語篇結構的反饋，同時選出較好和較差作文分別進行評價，對文中出現的問題、句式、詞匯等進行總結講解，將作文自動評分系統與教師評價相結合，更有針對性地引導學生對作文進行二次構思，提高他們的寫作水平。三是作文自動評分系統的反饋與英語寫作修改之間具有較強的相關性，在寫作教學中，學生應當端正寫作修改的態度，認真閱讀揣摩自動評分系統提供的反饋，特別是正面反饋。

[1] Scharber C S.Dexter. Riedel E. Students’ experiences with an automated essay scorer[J].The Journal of Technology, Learning and Assessment,2008，7(1):1-45.

[2] Flower L,Hayes J R, Carey L et al. Detection, diagenosis and the strategies of revision[J].Coll Comp Commun,1986(37):16-55.

[3] Grimes D. Assessing automated assessment: Essay evaluation software in the classroom[EB/OL].ftp://ftp.tes.uei.edu/pub/grimed/Auto Assessment.2008.pdf.accessed 06/20/2010.

[4] Fathman, A.K.& E.Whalley. Teacher response to student writing: Focus on form versus content[C]//B. Kroll. Second Language Writing: Research Insights for the Classroom. Cambridge: Cambridge University Press, 1990:178-190.

[5] 鐘彩順.基于在線自動反饋的自主寫作修改研究[J].解放軍外國語學院學報，2015(7)：81-87.

[6] 盧鹿. 基于自動評價系統的第二寫作過程研究[J].外語界，2016(2)：88-96.

[7] 胡學文.在線作文自我修改對大學生英語寫作結果的影響[J].外語電化教學，2015(5)：45-49.

[8] 吳煒.教師反饋焦點與反饋策略對英語寫作修改效果的交互影響[J].解放軍外國語學院學報,2015(3)：85-93.

[9] 楊玲.作文自動評價系統在高水平學生英語寫作學習中的應用[J].現代教育技術,2013(5):73-77.

[10] 石曉玲.在線寫作自動評改系統在大學英語寫作教學中的應用研究：以句酷批改網為例[J].現代教育技術，2012(10)：67-71.

[11] 張荔，盛越.自動作文評閱系統反饋效果個案研究[J].外語電化教學，2015(5)：38-44.

[12] 蔣艷，馬武林.中國英語寫作教學智能導師系統成就與挑戰：以句酷批改網為例[J].電化教育研究，2013(7)：76-81.

[13] 黃潔華，莫雷.寫作修改的認知過程研究新進展[J]. 心理學動態,2001(2)：124-128.

責任編輯 俞 林

The Influence of Automated Essay Scoring of English Writing on Higher Vocational Students

ZHONGXin
(School of Foreign Languages, Yangzhou Polytechnic College, Yangzhou 225000, China)

This study attempts to find the influences of English writing correction on vocational college students exerted by the feedback of automated essay scoring. It is found that the feedback of automated essay scoring can make the correction happen and help students improve their performances, but the correction ability is still not improved; different types of feedback given by automated essay scoring can exert different influences of students’ corrections; there is a certain correlation between students’ frequency of correction and their performances.

automated essay scoring; feedback; English writing correction

2016-12-29

教育部職業教育外語教指委重點課題“基于大數據的高職英語寫作教學評價有效性探究”(GZGZ5414-16)；江蘇省社科應用研究精品工程外語類課題“大數據時代背景下大學英語寫作教學有效性探究”(15jsyw-35)

鐘歆(1983— )，女，江蘇揚州人，講師，研究方向：英語教育。

10.13750/j.cnki.issn.1671-7880.2017.02.005

H 319.3

A

1671-7880(2017)02-0018-04