基于自動評價系統的英語寫作多元反饋模式的研究

盛桂蘭

(四川傳媒學院 外國語部,四川 成都 611745)

寫作作為一種書面的語言輸出形式,有利于提高語言表達的準確性[1]。寫作中的反饋是指讀者向寫作者提供的輸入,可以是評論、提出的疑問或建議,其目的是向作者提供用于修改的信息[2]。及時有效、高質量的反饋有助于提高學生的寫作水平。但是目前大學英語寫作教學面臨的現狀是教師面對龐大的學生群體,批改作業負擔重,很難保證每個學生都能得到教師及時有效的反饋[3]。這種困境在民辦院校更為突出。民辦院校的學生英語基礎相對薄弱,寫作質量普遍不高,對教師反饋在時間和精力上就形成了更大的挑戰;加之學生缺乏寫作信心,學習主動性不高,更多關注評閱分數,極少關注評閱內容,因此重復錯誤率高,寫作質量難以提高。

《大學英語教學指南(2020版)》指出:“大學英語應大力推進最新信息技術與課程教學的融合,繼續發揮現代教育技術,特別是信息技術在外語教學中的重要作用。”[4]因此探索將自動評價系統(Automated Essay Scoring)引入寫作評價過程,對豐富寫作的反饋方式、提高學生寫作水平具有一定的現實意義。當然,雖然自動反饋能迅速、及時地給出反饋,在一定程度上減輕教師的負擔,但是在內容和結構的批改上卻不盡如人意。鑒于此,有必要探索將自動反饋和人工反饋相結合構建多元反饋模式,改進民辦院校大學英語反饋模式,優化反饋效果,促進寫作水平提高。

1 文獻綜述

作文自動評價系統源于美國,起步早,發展迅速,開發的評價系統多樣。國外常用的自動評價系統有:My Access!、Criterion和Writing Roadmap。這些評價系統除了提供總分外,還提供單項分值及反饋。國內學者也研發了在線寫作智能反饋平臺:批改網、冰果英語、iwrite、WeWrite等,其中批改網的研究和應用最為廣泛[5]。研究發現自動評價系統有助于激發學生寫作熱情,促進修改以及提高成績[6-7]。但是,隨著研究的不斷深入,研究者也發現了自動評價系統的局限性:評價語言機械,不能從思想內容、邏輯性、語篇結構、批判性思維等方面為學習者提供更多的反饋[8]。因此,在采用自動評價系統進行反饋的同時,也需要綜合考慮其他反饋方式。同伴反饋有利于踐行學生中心理念,促進合作式學習[9]。但是同伴互評受個體語言能力的影響,存在重語言、輕內容和結構的問題,很難提供高質量的反饋[10],評價的深度、可信度和準確度受到質疑。多人同伴互評可以診斷出更多問題,提高學生的讀者意識,因此學生從多人同伴互評中受益頗多[11]。傳統的教師反饋是一種單向反饋,缺少學生的參與,效果不佳受到質疑[12]。

綜上可以看出,單一的反饋方式各有優劣。如何充分發揮各種反饋方式的優勢,構建自動評價系統、同伴互評、教師反饋相融合的多元反饋模式,是國內研究的熱點。唐錦蘭[13]發現多元反饋模式能促進高中生寫作能力的發展,但對其他研究對象的適用性和效果有待進一步檢驗。黃靜、張文霞[14]聚焦多元反饋對大學生英語作文修改的影響,發現多元反饋能更好地實現以評促學;李廣鳳[15]證實多元反饋對學生作文修改有積極作用,但是兩項研究沒有設置控制組,很難判斷使用多元反饋方式與不使用多元反饋方式之間的寫作水平是否有顯著性差異。田麗麗、周羽[16]的實驗結果顯示學生對多元反饋中的三種反饋方式吸收率有差異,教師反饋可以彌補自動反饋和同伴反饋的不足。

盡管多元反饋的優點在研究中得以證實,但是各種反饋方式融合的長期效果有待進一步觀察[17],亟需更廣泛的實驗研究,采用新的研究方法論證其效果。首先在研究對象上,已有的研究對象主要為高中生、英語專業學生和部分重點院校的非英語專業本科生,鮮少涉及民辦院校的學生;多元反饋模式是否能促進民辦院校非英語專業學生的英語寫作質量提高?其次,研究方法方面,已有研究對比了多元反饋和網絡自動反饋對寫作質量的影響[18],教師反饋在二語寫作教學中仍然非常重要[19],多元反饋和教師反饋對寫作質量的影響是否有差異?鑒于此,本研究將基于自動評價系統“句酷批改網”構建多元反饋模式,設置實驗組和控制組,對比多元反饋和教師反饋對寫作質量的影響,旨在構建多元反饋模式,促進民辦院校學生英語寫作水平的提高。

2 研究設計

2.1 研究問題

本研究基于“批改網”構建英語寫作多元反饋方式,探討其對學生寫作質量的影響,主要回答以下問題:自動評價系統反饋、同伴反饋和教師反饋構成的多元反饋方式是否能有效地促進民辦院校學生英語寫作能力的提高?學生對反饋方式的態度和評價如何?

2.2 研究對象

參與本次研究的實驗對象為民辦院校四川傳媒學院非英語專業大二學生,共85人,其中男生13人(占15%),女生72人(占85%),平均年齡20歲,來自兩個不同的自然班。隨機抽取一個班為實驗班(45人),另外一個班為控制班(40人)。兩個班由同一名教師教學,教學目標、教學進度、教學內容、教學課時都保持一致,實驗班采用多元反饋方式輔助寫作,控制班采用傳統的教師反饋方式指導寫作。

2.3 研究工具

研究工具包括實驗前后寫作測試、半結構化訪談、問卷調查等。寫作測試包括實驗班和控制班的前測和后測,寫作題目來自大學英語四級真題,滿分100分,測試時間為30分鐘。前后測作文均由2名有評閱四六級作文經驗的教師進行批改,取2人評分的平均值存檔。

半結構化訪談主要圍繞實驗班和控制班對各班寫作反饋方式的態度、建議和期望等方面展開。每位訪談對象訪談時間20—25分鐘,用手機錄音,再轉化為文字稿。

問卷調查表改編自李亦華[20]設計的問卷,包含兩個部分:第一部分為量表題,采用李克特五級量表形式(選項1—5分別表示“完全不符合”到“完全符合”),共18題,主要涉及反饋方式的接受程度、緩解寫作焦慮、提高寫作興趣、提高寫作水平,其中約五分之一的題項設置成反向問題。問卷Cronbach’s α 系數為0.857,KMO 測度為0.707,Bartlett’s 球形檢驗顯著(p<0.001),信度和效度滿足分析需求。第二部分是單選題,共4題,涉及對反饋方式的選擇和預期。

2.4 研究過程與數據分析

本研究主要分為以下3個階段:

實驗前:首先對兩個班進行寫作前測。獨立樣本t檢驗結果顯示,實驗班(45人)和控制班(40人)的學生作文成績無顯著差異(t=0.385,df=78.48,p=0.702>0.05),表明兩個班作文水平大體相當,適合作為實驗研究對象。其次在實驗班組建互評小組。由于民辦院校學生英語基礎參差不齊,所以實驗班在同伴互評時是以互評小組為基本形式展開,小組互評可以讓不同英語水平成員通過相互協作、共享知識和經驗,完成作文互評。按照“組間同質,組內異質”原則,根據學生在大一下學期期末的英語成績、學習能力和語言技能組建9個互評小組,每組優等生1名,中等生3名,后進生1名。優等生任小組長,主要負責組織、協調工作,確保互評活動能順利進行;中等生負責批閱工作;后進生負責記錄修改意見。最后,對實驗班學生進行培訓,包括如何使用批改網和小組互評流程培訓。提供小組互評標準及評價細則,包括4個方面:文章內容、篇章結構、語言表達、語法拼寫和標點,各占25分。內容方面包括是否緊扣主題,中心是否突出,各段是否有主題句,事實、數據、細節等是否完整。結構方面包括邏輯思維是否連貫,是否使用恰當的過渡詞和過渡句。語言表達方面包括名詞、形容詞、動詞等詞性使用是否正確,用詞面是否廣泛,詞組搭配是否合理。語法拼寫和標點方面包括單詞拼寫是否正確,主謂是否一致,時態語態是否正確,逗號使用是否正確,是否出現連動,句式結構是否多樣化,是否使用中式英語等。實驗前用最具代表性的3篇作文帶領學生分別從篇章結構、語言表達等方面進行試評,指導各小組學生模擬互評,讓學生熟悉互評流程以及協商如何給出修改意見。

實驗中:本實驗持續一學年,兩個班學生分別完成4篇兩種不同反饋方式的作文。由同一名教師執教實驗班和控制班,在接受相同的寫作任務后,對實驗班學生的作文采用多元反饋方式,控制班學生則采用傳統的教師批閱方式進行批改。兩個班的反饋流程如下:

實驗班:發布寫作任務→學生在批改網完成初稿→批改網自動評價→互評小組內互評→學生完成第二稿→教師反饋→學生定稿。控制班:發布寫作任務→學生線下完成初稿→教師反饋→學生完成第二稿→教師反饋→學生定稿。

實驗后:對實驗班和控制班進行寫作后測。待后測結束后,發放問卷調查表,共發放85分問卷,收回有效問卷85份。抽取學生進行半結構化訪談,了解學生對反饋方式的態度和期望。前后測成績和問卷調查數據使用SPSS27.0進行分析,前后測成績主要用于分析不同反饋方式下實驗前后寫作水平是否有差異。問卷調查單選題部分主要用于了解學生對反饋方式的態度、期望。

3 結果與討論

3.1 實驗后作文成績分析

實驗后,研究者對兩個班后測作文分項得分、總分成績進行了獨立樣本t檢驗,結果見表1。結果顯示,實驗班和控制班的后測作文成績有顯著差異(t=2.114,df=83,p=0.038<0.05)。

表1 實驗班與控制班后測作文分項、總分均值獨立樣本t檢驗(百分制)

表1顯示,實行多元反饋方式的實驗班總體平均成績比控制班高出3.64分,呈顯著性差異(p=0.038<0.05)。作文分項特征方面,多元反饋在結構(p=0.272>0.05)和內容(p=0.325>0.05)與教師反饋不存在顯著性差異,這說明教師反饋對厘清文章結構、豐富思想內容、規范行文方面發揮了重要作用;而詞匯(p=0.031<0.05)和語法(p=0.003<0.05)方面,多元反饋與教師反饋存在顯著性差異。多元反饋中的網絡反饋環節能自動識別拼寫錯誤、詞組搭配不當、常見語法錯誤、標點符號使用不規范等錯誤類型,給出相關修改建議;學生還可以檢索詞塊、搭配、例句等,并不斷優化表達形式,激發寫作興趣。小組互評環節中,學生會對詞匯和語法進行深入討論,并能在互評過程中反思自己常犯的語法和詞匯錯誤。已有研究表明,同伴互評的修改意見中,對語法和詞匯的修改意見遠遠多于內容和結構方面的意見。

3.2 控制班前測、后測作文成績分析

實驗后對控制班前、后測作文的總分、分項得分進行配對樣本t檢驗。

表2顯示,控制班在接受一學年的系統的教師反饋后,學生的總體成績有顯著提高(p=0.027<0.5)。在作文分項得分方面,篇章結構(p=0.018<0.05)和思想內容(p<0.001)兩方面表現突出,有顯著性提高;而詞匯(p=0.307>0.05)和語法(p=0.872>0.05)兩個方面提高不明顯。進一步證實了教師反饋有利于幫助學生提高全文謀篇布局意識,明晰文章結構以及提升表達的連貫性。

表2 控制班前、后測作文分項、總分均值配對樣本t檢驗(n=40)

3.3 實驗班前測、后測作文成績分析

實驗后對實驗班的前、后測作文的總分、分項得分進行配對樣本t檢驗。

表3顯示,通過一學年的系統寫作學習,接受多元反饋的學生作文整體成績有所提高,達到了顯著性水平(p<0.001)。在作文分項方面,學生在篇章結構(p<0.001)、文章內容(p<0.001)、詞匯(p<0.001)和語法(p=0.018<0.05)四個方面都有顯著提高。多元反饋有效融合了不同反饋方式的優勢,彌補了教師反饋的不足,極大優化了反饋效果。

表3 實驗班前、后測作文分項、總分均值配對樣本t檢驗(n=45)

3.4 問卷調查和訪談結果討論

實驗后對兩個班的學生進行了問卷調查,通過平均值、標準偏差分析學生對反饋方式的態度。問卷數據的統計結果見表4。

從表4可以看出,兩個班的學生對兩種反饋方式接受程度較高。實驗班的多元反饋方式(4.34)接受程度高于教師反饋(4.05),說明學生對除了教師反饋外的反饋方式認可度較高。另外,從兩個班的高接受度也可以看出學生對教師評價信任度高,反映了英語寫作教學中教師反饋方式的不可或缺性。緩解寫作焦慮方面,教師反饋(3.65)弱于多元反饋(4.05),說明由于民辦院校的學生英語水平不高,過分倚重教師在專業方面的權威,害怕在接受教師的反饋時暴露自己寫作方面的不足;有學生在訪談過程中提到教師的勾畫、評語讓學生對自我的寫作能力產生更多的懷疑,信心不足。而多元反饋中的網絡反饋和同伴反饋提供了平等交流的平臺,學生更愿意放下心理負擔去表達自己的意見,思考給出的修改建議。訪談學生提到“同伴互評可以從同學的思維去評價,更符合當下的寫作水平”。提高寫作興趣方面,多元反饋(3.98)高于教師反饋(3.45)。網絡反饋的及時性可以激勵學生不斷修改語言層面的一些錯誤,積累可替換的詞匯,辨析同義詞。小組同伴互評中,學生從被評價身份轉化為評價主體,以相互學習和協商的態度與小組成員交流,有利于激發寫作興趣,增強寫作信心。這與已有的研究結果一致。雖然同伴反饋總量少于批改網反饋和教師反饋,且成功修改率低,但其在多元反饋機制中的促學作用不容忽視。訪談過程中,有學生說到“小組同伴反饋更能直接地進行交流討論,發表自己的觀點,并進行擇優選擇,有對比性,更具有思辨性”“相互評閱可以互相指出改進的地方,有利于激發寫作熱情”。在提高寫作水平方面,多元反饋(3.74)和教師反饋(3.71)差異不大,被訪談學生都肯定了教師反饋的專業性,批改后再次修改的作文有明顯提升。小組同伴互評的訪談學生提到“在幫助別人的同時,自己的英語作文水平也得到一定程度的提高”“可以吸取別人作文中的精華,互評討論過程中能獲得不一樣的思考方向”。

3.5 學生對反饋方式的選擇

問卷調查最后一題涉及學生未來對反饋方式的選擇和預期,結果見表5。

從表5可以看出,兩個班學生認為教師反饋和多元反饋方式都能提高寫作水平。學生更看重教師反饋的專業性和準確性,對教師提出的問題印象更加深刻,更愿意接受教師的修改意見。多元反饋中的教師反饋是在網絡反饋和小組同伴反饋后進行的。網絡反饋和小組同伴反饋解決了表層的語言問題,如時態、拼寫、語態等,教師反饋則將更多精力放在更復雜的語言問題和語義問題,更加注重語句之間的銜接、連貫,細節的支撐和文章的謀篇布局。從后面三問的數據對比來看,控制班的學生既畏懼和擔心教師的評閱,又信任和依賴教師的反饋;因此既希望繼續使用教師反饋方式又希望能嘗試別的反饋方式。而已經接受過多元反饋方式的學生絕大部分持肯定態度,希望改進后繼續靈活地使用多元反饋。在訪談中學生提到了需要改進的原因,首先是認為網絡反饋指出的錯誤籠統、寬泛,對給出的修改建議存疑。其次小組同伴互評中,學生認為受制于自身語言水平,不太確定指出的錯誤是否恰當;還認為同伴給出的修改建議不夠具體或者不認同對方給出的修改意見。綜上可以看出,多元反饋在教師的指導下可以讓每一種反饋方式的優勢得以發揮,相互補充。

4 結語

本文通過實驗、問卷調查和訪談對比分析了單一教師反饋和多元反饋對民辦院校非英語專業大學生寫作的影響,旨在探討如何在民辦院校構建有效英語寫作多元反饋模式。研究表明,多元反饋對英語寫作的助學、促學、導學、促教作用在民辦院校也能得到很好地發揮。先自動反饋,再小組同伴反饋,最后教師反饋的多元反饋模式的有機融合可以有效地提高學生的寫作水平。除了提高寫作水平外,多元反饋方式還能有效緩解學生寫作焦慮,提升寫作興趣,受到更多學生青睞。因此把教師反饋與網絡反饋、小組同伴反饋相結合構建多元反饋,可以彌補民辦院校傳統教師反饋的不足。但需要注意兩點:一是小組同伴互評比兩人同伴互評更適合民辦院校學生整體英語水平不高的特點。因為在小組互評中,學生可以通過多重同伴互評收到不同角度的反饋,便于學生多方位審視自己的學習;針對同一個問題,經過多人討論后得出的一致結論更具有說服力,比單人評論信度和效度更高,更容易被采納,為此需要加強對小組同伴互評的培訓。二是教師的作用不能忽視。在自動反饋和小組同伴互評環節都離不開教師的督促、管理、組織、協調和引導。因此多元反饋不是幾種反饋方式的疊加,而是把幾種反饋方式有機融合,需要教師當好組織者、管理者,才能確保各反饋環節的高效實施。

本研究還存留了以有下待研究的問題:多元反饋環境下學生對寫作反饋的投入程度如何?學生的反饋投入對二語寫作水平的影響又如何?這些問題將在以后的研究中進一步探討。