摘 要:在信息技術與教學深度融合的時代背景下,線上評價成為大勢所趨。翻譯類課程實踐性強,形成性評價有助于教師有效監控學生的翻譯能力發展情況,實現以評促學。文章基于“筆譯理論與實踐”課,依托翻譯教學平臺構建線上形成性評價模式:評價構念先行,評價證據收集數字化,基于有效解讀的證據使用重點關注,包括平臺即時反饋、學生互評與自評、教師個性化標注、批量反饋等,文字、分數、視頻等反饋信息云端存儲。通過問卷、訪談、反思日志的方式收集數據,檢驗評價效果。實踐證明,該模式具有促學成效,平臺極大地提升了師生的教、學體驗;同時該模式也面臨挑戰,文章提出了改進建議。研究結果對開展線上翻譯形成性評價具有一定的啟示意義。
關鍵詞:線上評價;翻譯課程;翻譯教學平臺;形成性評價
The Construction of an Online Formative Assessment Model for E-learning Translation Courses: Benefits and Challenges
ZHENG Meiling
Beijing Information Science and Technology University
Abstract: The deep integration of IT and teaching makes online translation assessment inevitable. Formative assessment helps teachers monitor the development of students’ translation competence, thus promoting learning. Against this background, this study explores how to construct a valid online formative assessment model for the Translation Theory and Practice course. The model has the following features: It begins with defining the construct of assessment, followed by the collection of evidence via a translation e-learning platform, with a focus on the formative use of evidence. Specifically, feedbacks from a platform application, peers, and the instructor are provided via the platform in the form of comments, scores, and videos. Results from a questionnaire, an interview, and reflective journals show that the model is well received among students as the model gives full play to the role of IT in collecting evidence and providing feedbacks to promote students’ learning. Despite the advantages, it has limitations, and solutions for overcoming these limitations are proposed. The findings have implications for carrying out online translation formative assessment.
Keywords: online assessment; translation course; translation teaching platform; formative assessment
1 引言
新冠疫情的持續性催生出“線上+線下”常態化的教學模式(Su,2020)。以云平臺、大數據為代表的信息技術的廣泛應用深刻影響著翻譯教學理念和方法,也給教師帶來前所未有的挑戰(欒海燕、苗菊,2016;吳青,2021)。線上環境下,評價更關鍵。然而,當前“過程性評估和基于過程性評估的教學質量監測環境建設”等關鍵教育領域教學數據的信息化程度不高(孔蕾、秦洪武,2021)。隨著教學評價逐步向“數字化”形成性評價轉型,如何“監督學情”是線上教學的突出問題(覃軍、向云,2020)。評價問題將是遠程翻譯教學研究需要縱深探索的領域。
解決這一問題,翻譯教學平臺的建設是關鍵,教師必須擁抱技術,合理選擇平臺,關注師生互動性強、點評功能強大、教學管理數據收集方便等功能(王洪林,2018;吳耀武,2020)。信息技術支持下的形成性評價存在諸多優勢,探索信息技術與翻譯課形成性評價的融合路徑將助力教師在線上教學環境下有效監控學生的翻譯知識、翻譯技能掌握情況以及思辨能力的發展動態,實現以評促學。然而,國內翻譯類課程線上形成性評價研究鳳毛麟角。故筆者以“筆譯理論與實踐”課為例,依托智能翻譯教學平臺,進行形成性評價改革,檢驗學生的接受情況,分析存在的問題并給出建議,積極應對挑戰,響應“現代信息技術賦能文科教育”這一新文科建設的重要要求(孔蕾、秦洪武,2021)。
2 文獻回顧
《高等學校英語專業本科教學質量國家標準》(簡稱《國標》)明確指出英語專業的教學評價“應注重形成性評價與終結性評價相結合”,將形成性評價放在重要位置。近年來,形成性評價成為國內外研究熱點。國外研究多集中在豐富形成性評價的理論內涵和操作框架,如信效度研究;融合信息技術的形成性評價研究也得到學者們的廣泛關注(Rovai,2000;Benson,2003;Crisp amp; Ward,2008;Spector et al.,2016;McLaughlin amp; Yan,2017;Hewson amp; Charlton,2019;Lyu,2019;Topping,2021)。國內相關研究特點鮮明,本體研究數量最多(袁樹厚、束定芳,2017),外語類課程的形成性評價研究成果豐富,如聽說(Wang,2017;王慧文、劉芹,2018)、閱讀(文秋芳,2011)、寫作(曹榮平等,2004)、翻譯(李平,2012;李小撒、柯平,2021;陳卉,2017;林薇、莊逸抒,2017;韓淑芹,2020;范敏,2020)等。但是,信息技術在課程形成性評價中的應用研究寥寥無幾(劉敏、吳始年,2020)。為數不多的筆譯課形成性評價研究缺少信息化特色,線上評價模式構建有待探索。隨著混合式教學的轉向,翻譯教學平臺相繼被研發出來(朱純深、慕媛媛,2013;吳青,2021;李曉倩,2021)。然而,有的未投入教學使用,其有效性不得而知;而已投入使用的平臺,對其有效性的討論大都不覆蓋教學全過程,較少涉及線上評價與反饋功能。
隨著信息技術日漸成熟,建立在大數據基礎上的智能化形成性評價成為研究熱點(張忠華等,2020),信息技術融入形成性評價成為必然,如何充分挖掘信息技術在評價各個環節的應用,高效助力形成性評價和反饋非常值得探究(潘鳴威、馮光武,2015;Spector et al.,2016;劉敏、吳始年,2020)。因此,筆者基于翻譯教學平臺開展形成性評價實踐,聚焦如何構建有效的線上形成性評價模式,了解學生的使用感受,利用信息技術助力評價對翻譯教學的積極反撥作用,回應時代變革要求。
線上形成性評價的評價原則不會因為環境的改變而改變(Benson,2003),其終極目標應該是能夠有效促進教師的教學,推動個性化學習(Su,2020),實現以評促學(Black amp; Wiliam,1998,2009)。因此,線上形成性評價也是計劃性的過程、推斷的過程,應該能夠為教師的課程管理和學生的有效學習提供有價值、有針對性的反饋,幫助教師及時調整教學策略,促進學習(Black amp; Wiliam,1998,2009;Nichols et al.,2009)。評估環境、評估任務、參加者和評估過程都會影響其效度(李清華、孔文,2015)。Nichols等人(2009)提出基于證據的形成性評價實施及效度框架,包括構念的理論化定義、學生的學習表現、教師的教學呈現,覆蓋評估、教學、總結三大階段。李清華、孔文(2015)基于教育測量和語言測試理論,構建外語形成性評估效度驗證框架,包括教學和評估兩個階段,涉及教學目標、評估構念、評估任務、評估過程、評估結果、反饋和后果等方面。二者都強調評價目標與教學目標一致,都包含證據、解讀和使用這三個重要的評價維度(McNamara,2001)。不過,“使用”比“解釋”更重要,反饋是評估結果的使用,在促學評價中占據中心位置(Black amp; Wiliam,1998;Nichols et al.,2009)。文秋芳(2011)基于文獻閱讀課,提出“目標驅動、過程導向、師生共同參與”的形成性評價理念,目標一致且可拆解、證據鏈全過程覆蓋、師生共同參與反饋,該理念是對如何在課程教學中有效落實促學評價的有益探究。不難看出,上述中外學者的理論框架和操作理念為我們有效開展線上形成性評價提供了理論依據和實現路徑。我們將據此構建翻譯課線上形成性評價模式。
3 研究設計
3.1 研究問題
筆者將以“筆譯理論與實踐”課為例,嘗試回答如下研究問題:(1)如何依托網絡教學平臺構建有效的線上形成性評價模式?(2)線上翻譯形成性評價的評價效果如何?(3)如何應對線上翻譯評價面臨的困難與挑戰?
3.2 研究對象
本研究的參與者是北京某市屬大學英語專業大三學生(共77人),他們在2020—2021學年春季學期修讀“筆譯理論與實踐”課程。筆者在為期16周的漢英筆譯教學中實施基于智能翻譯教學平臺的形成性評價改革。
3.3 網絡平臺
我院積極致力于校企合作,引進某智能翻譯教學平臺,企業全程提供技術支持,助力翻譯“教”“學”與“評”。目前該平臺已經在國內眾多院校中使用。該平臺包括管理員界面、教師界面、學生界面,具體模塊功能如圖1右側所示,師生可以通過電腦、平板電腦和智能手機訪問。
3.4 評價方案
筆者主講的“筆譯理論與實踐”課是我校面向英語專業大三學生的專業核心課,一個學期共計32學時(2學分)。課程評價方案包括出勤10%、線上評價任務30%、單元測驗10%、期末考試50%。線上評價成績在平時成績中占比較大,旨在調動學生的積極性,提高參與度。
3.5 數據收集與分析
本研究采用問卷、訪談和反思日志三種研究工具進行三角驗證,使用量化研究與質性研究兩種研究方法分析數據,盡可能較全面地了解學生對線上評價的看法,調查評價模式對學生翻譯學習產生的影響。
“翻譯課線上形成性評價問卷”的第一部分為學生的基本信息。第二部分為封閉性問題,主要采用單選題、多選題、李克特五級量表來了解學生對評價目標和評價標準的掌握情況,評價任務難度、題量和題型偏好,以及評價反饋的有用性。第三部分是開放問題,了解學生對平臺的使用感受。調查問卷使用問卷星進行設計、課堂發布與回收。筆者在課堂上向三個班級共77名學生發放問卷,回收76份,問卷回收率為98.7%。問卷調查數據通過SPSS進行統計分析,由于研究樣本量較小,SPSS主要對問卷數據進行描述性統計分析。
為了詳細了解學生對使用翻譯平臺進行評價的態度、認識和建議,便于對問卷中反映的教學情況作進一步的探究,筆者還邀請班上6名學生圍繞以下問題進行訪談:能否談談你對形成性評價的整體感受?你對翻譯教學平臺的整體評價?你認為使用平臺進行評價有哪些優勢?你認為使用平臺評價存在哪些問題?有哪些建議?研究者首先將訪談內容轉錄成文字,然后對所獲文本內容進行主題分析,通過編碼、歸類與概括,提煉主題。筆者對數據進行初步分析后,將相關因素概括為評價目標、評價工具、評價標準、自評、互評、教師反饋、機器反饋等,并在進一步歸納整理后,確定為評價模式、平臺功能、反饋體驗三大主題。
為了進一步了解評價模式對學生學習效果的影響,筆者要求學生在完成平臺翻譯及互評任務后撰寫反思日志,通過研讀學生的反思日志,進行文本分析、分類與概括。
4 智能翻譯教學平臺在形成性評價中的應用——以“筆譯理論與實踐”課為例
4.1 基于平臺的線上形成性評價模式設計
基于學者們提出的形成性評價實施及效度理論框架(Nichols et al.,2009;李清華、孔文,2015;文秋芳,2011),筆者設計翻譯課線上形成性評價模式(見圖1):理念是構念先行、證據收集過程化、師生共同解讀、反饋重點關注,評價信息的使用助力師生的教與學。從評價目標、評價工具、評價證據、評價反饋等維度入手,首先解讀教學大綱并依據大綱確立評價構念,大目標拆解為可理解、可操作、可考核的小目標,師生對目標的理解形成共識;依據評價目標,選擇評價工具,制定評價標準,保證任務的代表性和評價標準的可理解性,依托翻譯教學平臺收集并存儲評價證據,證據鏈覆蓋課前、課中、課后,體現學習全過程;師生依據評價量表共同解讀評價證據,找出學習現狀與目標差距的具體、準確的信息,采用平臺進行即時反饋、學生互評、教師反饋、教師對學生反饋的反饋、學生自評等,反饋及時,覆蓋優缺點,具備賞識性、挑戰性。
4.1.1 依據教學大綱,明確評價目標
評價目標是形成性評價的出發點,課程標準和語言能力的理論構念則是評價的起點(李加義、顧永琦,2021)。教學需要融合語言學習、知識學習,以能力培養為導向,重視對語言運用、思辨、跨文化和自主學習等能力的培養。筆者研讀課程教學大綱及課程目標,確定教學目標,據此設定評價目標。開課初,通過教學平臺“課程管理”中的“課程內容”版塊(見圖2)向學生公布教學目標和評價目標。
評價目標包含知識、能力和素養三大維度,共同反映學生的翻譯水平。根據評價目標,筆者設計翻譯基礎理論知識和知識的應用兩大評價單元,分別對應知識和能力維度,素養評價貫穿其中。第一,知識評價單元分別聚焦翻譯知識、翻譯與語言、翻譯與文化,翻譯知識進一步細分為翻譯的標準、策略、方法、譯者素養等小目標,翻譯與語言細分為英漢兩種語言的詞匯、語法、語篇等。筆者主要通過翻譯辨析、翻譯賞析等任務考查學生對各個評價目標的掌握情況。第二,知識應用單元,即能力維度,是評價重點,包括知識掌握情況、翻譯轉換這一核心能力的發展情況,以及對翻譯能力的自我監控、自我評估等自主學習能力的養成等。該單元分為詞匯、句法、篇章三個部分。詞匯單元細分為詞類轉換、省譯、增譯等翻譯技巧,詞義搭配,成語、四字格、新詞、縮略詞等中國特色詞匯的翻譯等小目標;句法單元分為主語、謂語的選擇、語序的調整、漢語特色句式的翻譯等小目標;篇章主要考察銜接與連貫。主要通過翻譯題、辨析題、改錯題、反思日志等任務考察目標達成情況。素養維度包含政治意識、行業規范、職業操守、職業自豪感等。這些在翻譯任務說明、評價素材的選擇及評分標準的制定上都有體現。單一評價任務聚焦學生在相關目標上的達成情況,并劃定在某一特定領域的知識、能力、素養的最低線。
4.1.2 選擇評價工具,收集評價證據
第一,評價工具的選擇:(1)任務的選擇與設計。“題庫市場”提供專八翻譯、CATTI、文學、政治、經濟、科技、商務等各類素材。教師從評價目標出發,可以選擇翻譯題、辨析題、改錯題、反思日志和譯后編輯等題型設計表現性評價任務,實現所測即所學。(2)自建試題的設計與保存。自主設計評價任務,實現思政元素進評價。外語專業,尤其是翻譯專業的畢業生,處于發出中國聲音的“一線”。《普通高等學校本科外國語言文學類專業教學指南》提到,翻譯本科人才建設必須將思政元素融入其中,意識形態建設也是一項重要任務。因此,筆者選擇《習近平談治國理政》、《人類減貧的中國實踐》,“學習強國”中的“頭條英文播報” “每日一詞” “每日中華文化專詞雙譯”等黨政文獻,新聞熱點或經典文化讀物等作為翻譯素材,考查學生領悟、翻譯中國特色詞匯的能力,幫助學生了解國家政策、方針,培養翻譯服務于國家、服務于社會的意識。在“教學素材”版塊的“題庫管理”界面,教師可以自建題庫,翻譯材料由易到難編號后保存在題庫中,一次出題反復使用,隨時調用發布。
第二,評價任務的發布:任務發布簡單快捷,利用平臺提供的模板出題,根據向導發布試題,設定起止時間,選擇是否匿名互評、提供機器評分(需附參考譯文)、使用機譯檢測。任務可以覆蓋課前、課中、課后各個教學環節,體現學習的全過程。課前評價任務檢查學生的預習情況;課中環節,學生提交任務后,教師組織學生查看同伴譯文,開展課堂討論、口頭匯報,提供即時反饋;課后任務查缺補漏,鞏固所學,夯實翻譯能力。教師還可以在譯后編輯實踐平臺發布翻譯項目,學生組建翻譯團隊,扮演項目經理、初譯、審校等角色,撰寫翻譯項目報告進行實戰演練。還可以開展校企合作,依托平臺開展真實的中國文化外譯項目,并設計課程加分項,鼓勵學生發揮外語語言優勢,用外語講好中國故事。學生能夠獲得寶貴的職場體驗,對成為合格的文化傳播者的使命感、成就感、緊迫感也會有更加深刻的認識。總之,信息技術助力形成性評價,基于平臺的翻譯測試和翻譯項目有利于形成性評價證據鏈的跟蹤與收集。
第三,評價證據的收集:(1)機譯檢測。學生提交譯文后,系統自動對譯文進行機譯檢測,提供百度、搜狗、谷歌等機器翻譯的匹配率,若顯示“100%百度”,則說明學生譯文與百度翻譯結果完全一致,若平臺打分為“100分”,表明學生譯文與教師提供的參考譯文雷同。一般情況下,如果機譯匹配90%以上,教師可以有一定的把握判定學生存在抄襲行為。(2)平臺提供“譯文評測工具”,輸入兩份譯文,一鍵計算評測指標得分,適用于MTPE教學、譯文評測等場景下,計算機器譯文/學生譯文與參考譯文的相似差異程度。
學生提交作業后,教師按機翻匹配率降序或升序排列譯文,可以快速了解學生對機器翻譯的依賴情況,還可以按照提交時間升降序、點評數量升降序排列等方式查閱學生作答,監控學生的學習進度和表現。
4.1.3 解讀評價表現,實現多元反饋
基于有效解讀的評價信息的使用是保證形成性評價效度的重中之重(Nichols et al.,2009),反饋就是評估結果的使用(李清華、孔文,2015)。布萊克和威廉(Black amp; William,1998)在綜述前人研究基礎上發現,有充分證據表明,判斷學生表現的優勢與不足,并指明如何改進,提供具體、充分的反饋,是最有效的反饋形式,可以極大地提高學習效果。評價者在具體語境中參照學習目標,解讀評價證據,衡量學生翻譯表現和評價目標之間的距離,反饋內容及時、充分,有賞識,有糾錯,有理有據,反饋如何彌補差距,達成促學目的。信息技術助力評價者參與、共享翻譯作答表現的解讀與反饋,平臺可以實現機器、教師、學生等評價主體提供反饋,自評、互評、師生合作評價取長補短,分數、文字、視頻等形式優勢互補。
(1)即時反饋(見圖3)。根據原文提供多份參考譯文,預測學生表現,確定評分點,設置加分項、減分項及譯文解析,然后發布任務。學生登錄平臺查看任務,提交譯文后即可得到機器評分、得分點或丟分項的提醒及鼓勵等文字反饋,還可以導出參考譯文。(2)學生反饋。學生互評前,師生共同完成評價,為學生搭建腳手架(孫曙光,2017):筆者根據評價目標研制評價量表,在發布任務前向學生公布評價標準和預期目標,學生提交譯文并查看即時反饋,教師在平臺收藏分享典型譯文作為評價樣本,指導學生如何依據評價標準、評價維度和描述語解讀同伴譯文的優缺點及原因。然后,學生對平臺隨機分配的譯文或自由選擇評價對象開展匿名互評(Zhan,2020)。平臺實時公布互評次數排名,重點關注互評反饋內容是否涵蓋優缺點,有理有據。此外,布置反思日志,要求學生自評翻譯表現,識別翻譯問題,歸納技巧,闡釋策略,分析收獲與不足。(3)教師反饋。教師可以提供分數、文字、視頻等反饋。除了在發布任務前設置即時反饋信息,教師也在任務發布后評閱譯文,系統將自動生成教師和機器評分的總分。在“標注管理”界面,筆者分析譯文的優缺點,總結翻譯技巧,分析翻譯錯誤完成個性化標注。在“批改作業”界面(見圖4),可以對譯文進行分句批改、全文批改,可以批量點評存在典型或共性問題的譯文(見圖5),啟發學生思考,選中相關句段即可顯示同類優點或錯誤在所有提交譯文中的比例。比如,在譯文評閱的譯文區域,使用鼠標劃詞選擇想要點評的語段“full support to”,劃詞選詞完畢鼠標左鍵彈起后,鼠標附近會出現批量點評按鈕,點擊批量點評按鈕,出現彈窗,顯示所有包含此內容的學生答案,通過復選框選擇需要發送評論的學生,輸入點評內容后點擊發送即可。最后對所有譯文進行批量反饋,總結翻譯規律(見圖6)。批量反饋是平臺優勢之一,將教師從繁瑣的重復批閱工作中解脫出來,大大提高了工作效率,這是傳統紙筆評價無法比擬的。總之,快速有效的提供反饋是線上形成性評價“至關重要”的環節(McLaughlin amp; Yan,2017)。
4.2 結果與討論
4.2.1 翻譯課線上形成性評價效果
評價效果主要從兩個維度判斷(李清華、孔文,2015):(1)是否促進教師改進教學?(2)在多大程度上真正促進了學生學習的進步?文章從教師和學生兩個角度分析線上評價模式的適用性,分別從教學效果和學習收獲兩維度分析技術賦能翻譯形成性評價的廣度、深度。
從教學組織成效來看,筆者基于平臺開展翻譯課形成性評價改革,同年該課程參與校級教學效果評價,評價結果為優秀。自動評分、自動解析,相同信息的檢索、抓取和批量點評推送等功能將教師從以往的重復性譯文評閱工作中解脫出來,教師可以有更多的精力投入到對共性和典型翻譯問題的挖掘、解讀與反饋中,使學生受益。此外,平臺可以標注錯誤類型,輸出錯誤類型統計圖,快速給出翻譯成績分析報告,教師可以下載學生作答表現及反饋信息,不斷收集數據,建立多元、立體、智慧的云端“翻譯學習者語料庫”或“學生翻譯檔案”等,方便反饋信息的存儲與調用,實現評價記錄后臺跟蹤,這些數據對教師診斷學習問題,調整教學方案都大有裨益。
從學生對評價模式的反饋來看,問卷結果顯示,92.1%的學生表示了解評價目標,89.5%的學生了解評價標準。47.4%的學生認為任務難度適中,42.1% 的學生認為任務難度尚可,有一定挑戰。81.5%的學生認為任務量適中。句子翻譯最受歡迎,其次是段落翻譯;具體任務類型按照學生偏好從高到低排列依次為辨析、翻譯、譯后編輯、改錯。分別有92.1%和86.8%的學生認為自評和互評有助于提高翻譯能力,有一半以上的學生認可即時反饋,但更多的學生認為教師反饋對翻譯能力的提升最有幫助。平臺滿意度方面,絕大多數學生持肯定態度,認為界面友好、操作便捷、反饋多元的教學測平臺,有助于翻譯能力的提升。比如:“平臺整體很好,很人性化,還能看到互評和老師評價,很真實全面地反映問題,我們也能及時互相學習,希望以后能繼續使用”。同時,也有學生提到不足,如缺少作業截止的提醒功能,認為排行榜的客觀性以及手機版的操作體驗感有待進一步提高。
訪談結果顯示,學生對平臺支持下的翻譯評價的態度整體是積極的。首先,學生認可教學評價環節的設計。評價目標與教學目標一致,實現學有所評;與時俱進的翻譯材料和多樣化的評價任務激發學生的參與熱情;依據評價標準對典型譯文的共同解讀為學生互評搭建腳手架。其次,平臺實用易用,系統流暢:“平臺自動評分功能” 幫助學生“直觀”呈現前后兩次翻譯的優缺點,試譯后根據得分情況修正譯文再提交;“譯文導出功能”則能夠“直觀”地對比學生譯文和參考譯文,幫助學生總結優勢,反思差距。再次,平臺反饋多元、交互性強,提供了良好的學習和交流環境:通過平臺,“能進行自評、互評,可以參考老師和同學給自己的建議,還能看到所有同學的做題情況以及同學之間的互評和教師的評價”。學生通過查看所有作答和反饋,進行自我診斷和自主學習,以評促學,從而建立學生與學生、學生與教師間的翻譯學習共同體。正如學生在訪談中強調:“這個平臺最大的優勢就是提供反饋,不僅提供參考譯文,還有同伴反饋、教師反饋。我認為使學習取得進步最好的方式就是反饋,并且是及時的反饋。”這也為威廉與布萊克(Wiliam amp; Black,1996)提出的及時反饋是促學的最佳方式這一觀點提供了實證支持。
同時,訪談也發現,在各類反饋中,學生往往對教師反饋最有信心,而對即時反饋和同伴反饋的信任感則受到多種因素的影響。在即時反饋方面,第一,學生認為翻譯題的機器打分有時不夠權威,比如,依照評價標準判斷學生譯文可接受,但如果在選詞或句式結構上與譯文存在一定偏差時,得分可能會低于預期,平臺打分僅供參考。第二,評分點與學生作答完全一致時,學生才能收到即時文字反饋,而譯文呈現出多樣性,評分點往往難以窮盡列舉,就會導致某些學生收不到反饋,因而影響受益面。教師可以適當增加解析內容,補充即時反饋信息。第三,個別學生在學期初沒有關注平臺操作說明,提交譯文后沒有及時導出參考譯文,另有學生將參考譯文歸為教師反饋,這也有一定影響。在互評方面,受訪者認為互評信心、態度、能力和方法存在改進空間,互評信心和態度尤為突出,有的學生可能礙于面子或者態度敷衍,或者對自己的能力缺乏自信,互評評語寬泛簡單,希望平臺能夠對此予以警告,也希望教師進一步加強互評策略的指導,增強學習獲得感。
通過研讀學生的學習日志筆者發現,該模式在一定程度上提高了學習效果,對學生自主學習、思辨和翻譯能力的提升都有幫助。第一,平臺任務能夠提高學生的自主學習能力,使學生獲得成就感。學生在日志中寫道:“遇到一句很長的話,又有好多動詞,同時考慮到之前學過的連動句、流水句,這些動詞是并列還是有主次之分,都讓我更加猶豫。通過平臺翻譯練習、分析參考譯文和老師的反饋,還有學習同學們譯文中的亮點,我有非常多的收獲。” “從反饋中,我學習到了政府工作報告常用術語的專業表達和這類文本的翻譯技巧,非常有助于我們以后三級筆譯的備考。”第二,自我評估可以對比反思,了解差距,自主歸納、解釋翻譯技巧,構建翻譯轉換策略這一核心能力,也有助于認知能力的提高。學生在日志里提到:“有一句話動作非常多,我感覺自己在翻譯這類句子的時候思維受限制,順序和主次把握不好,提交后我看了同學們的譯文,有的同學巧妙地處理了這幾個動詞的先后順序,如用before后跟動名詞,也有同學在最后加了holding it,譯文簡練、生動,又貼合原文,主次區分得當。參考譯文幫助我了解到自己的優勢和不足。”第三,互評鼓勵學生積極參與評價,一改以往學生被動接受評價的局面,可以有效監控學習成效,適時幫助學生調整學習策略,提高學生的學習興趣,高質量糾正性反饋使被評價者受益,也有助于強化評價者對翻譯策略的認識。比如,“在做互評的時候,看到有很多同學用主動語態來處理原文。其實我認為,這里用物作主語的話,銜接性更好。”第四,平臺促進生生互動:“在本周的翻譯習題中,我也遇到了很多不知如何選擇翻譯的情況,但在和同伴的交流中,都一一得到解決。瀏覽同伴譯文的時候我也發現一些好詞并積累下來,還有同伴的翻譯方法。”翻譯學習共同體對線上學習來說尤為重要,在一定程度上消除了學生在線學習產生的孤獨感,營造了互相激勵、取長補短的互動氛
圍,進而促進了學習(McLaughlin amp; Yan,2017)。整體來看,平臺的應用極大地提升了師生的教與學體驗。
4.2.2 翻譯課線上形成性評價面臨的挑戰及建議
4.2.2.1 學業誠信
形成性評價雖不屬于高利害考試,但學業誠信至關重要,這是教師開展線上評價時需要關注的首要問題(Lyu,2019;Rovai,2000)。筆譯基礎課旨在夯實學生的翻譯基本功,因此多數翻譯任務要求學生獨立完成翻譯實踐,適當增加MTPE訓練,學生不能依賴機器翻譯。目前,平臺“機譯檢測”功能可以在一定程度上幫助教師應對這一問題。一般來說,如果機譯匹配90%以上,教師可以有一定的把握判定學生存在抄襲行為,但機譯匹配率、參考譯文抄襲容忍閾值的劃定不是一件易事,需要教師綜合考慮翻譯文本的長度、難度、學生水平等因素。教師可以在發布任務前向學生公布機譯檢測方案,強調違反學業誠信將嚴重影響考試成績,對剽竊零容忍,這都會起到一定的預警作用。另外,囿于平臺技術限制,教師開展線上評價時無法核實學習者身份(Benson,2003)。教師可以要求學生在提交譯文后撰寫反思日志,開展課堂跟蹤評價,特別關注那些敷衍了事、反思不深刻,或者作答表現前后不一致的學生。教師還可以根據文本難度、題材等有針對性地設計評價任務,比如,將難度較大的文本處理為辨析題,將難度中等、題材新穎的處理為翻譯題,以提高學生參與度。
4.2.2.2 學生反饋素養
學生反饋素養的提升是線上評價需要解決的突出問題。盡管師生合作評價可以為學生互評搭建腳手架,但依然存在少數寬泛、片面,甚至是有誤的同伴反饋信息,因此需要優化合作評價的設計。學生反饋素養(Sutton,2012)的提升除了考慮語言、翻譯、元認知等認知能力的儲備外,還需要考慮社會–情感因素。教師要幫助學生樹立信心和對同伴的信任,鼓勵同伴間提供批判性的反饋,不能礙于面子給出與實際表現不符的評價。教師需要結合學生翻譯水平、學習動機等情況開展對同伴反饋的反饋(Han amp; Xu,2020),在網絡平臺虛擬社區建立師生、生生之間的可持續對話,加強對學生反饋的跟蹤反饋與糾正。目前教師尚無法通過平臺實現對學生反饋的反饋,因此需要探索跟蹤反饋的其他實現方式。
4.2.2.3 教師線上評價素養
教師評價素養的提升是線上評價的核心問題,但常常被忽略(Spector et al.,2016)。線上評價的真實性不及線下評價,有效反饋的缺失會使學生產生無助感,因此對教師提出更高的要求(Sensenbaugh,1995,轉引自Rovai,2000)。教師不僅要能夠根據評價目標開展高質量的評價任務,還要充分挖掘平臺功能,及時給與高質量反饋。平臺打分的準確性有賴于教師提供多篇優質參考譯文;即時點評也需要教師善于預測學生表現,盡可能全面預判得分點和失分點,提供能夠啟發學生思考的解析,提前設置好點評內容,實現即時解讀;此外,教師還要善于調動學生參與反饋,培養學生的反饋素養。這些都離不開教師測評知識的儲備,尤其是教師反饋素養的提升。
5 結語
智能翻譯教學平臺將“譯文點評”與“機器打分”功能相結合,填補翻譯教學平臺市場的空白,助力翻譯的教學評價。本文依托智能翻譯教學平臺,從評價目標、評價證據、評價反饋入手,構建翻譯線上形成性評價模式,促學效果明顯。該模式強調證據的有效解讀和多元反饋,教師充分利用機器反饋、批量反饋、個性化標注等平臺優勢,綜合使用師評、自評、互評、合作評價等手段為生生、師生互動打造虛擬翻譯學習共同體,有利于形成性評價證據鏈的跟蹤與收集。該模式也存在改進空間,需要師生共同努力,也需要平臺的不斷優化。此外,本研究是對翻譯課程線上形成性評價的探索和嘗試,但由于研究設計、研究樣本等因素,有關評價模式有效性的結論可能存在不夠客觀之處,因此需要堅持開放、循證、優化的原則,適時調整思路,不斷接近預期的評價目標,指導后續的教學決策,為同類課程的評價實踐提供借鑒。在后疫情時代,信息技術越來越深度地融入到教育教學中,新形勢將督促翻譯教師在線上教學中發現一片新天地(吳耀武,2020)。未來的翻譯評價領域,人工智能與形成性評價將深度融合,教師大有可為。
參考文獻
BENSON A, 2003. Assessing participant learning in online environments [J]. New directions for adult and continuing education, 100: 69-78.
BLACK P, WILIAM D, 1998. Assessment and classroom learning [J]. Assessment in education: principles, policy amp; practice, 5(1): 7-74.
BLACK P, WILIAM D, 2009. Developing the theory of formative assessment [J]. Educational assessment, evaluation and accountability, 21(1): 5-31.
CRISP V, WARD C, 2008. The development of a formative scenario-based computer assisted assessment tool in psychology for teachers: the PePCAA project [J]. Computers and education, 50(4): 1509-1526.
HAN Y, XU Y, 2020. The development of student feedback literacy: the influences of teacher feedback on peer feedback [J]. Assessment and evaluation in higher education, 45(5): 680-696.
HEWSON C, CHARLTON J, 2019. An investigation of the validity of course-based online assessment methods: the role of computer-related attitudes and assessment mode preferences [J]. Journal of computer assisted learning, 35: 51-60.
LYU X, 2019. The application of the anti-cheating measures in the online examination system [J]. Technology wind, 36(12): 65.
MCLAUGHLIN T, YAN Z, 2017. Diverse delivery methods and strong psychological benefits: a review of online formative assessment [J]. Journal of computer assisted learning, 33(6): 562-574.
MCNAMARA T, 2001. Language assessment as social practice: challenges for research [J]. Language testing, 18 (4): 333-349.
NICHOLS P, MEYERS J, BURLING K, 2009. A framework for evaluating and planning assessments intended to improve student achievement [J]. Educational measurement: issues and practice, 28(3): 14-23.
ROVAI A, 2000. Online and traditional assessments: What is the difference?[J]. Internet and higher education, 3(3): 141-151.
SU H, 2020. Educational assessment of the post-pandemic age: Chinese experiences and trends based on large-scale online learning [J]. Educational measurement: issues and practice, 39(3): 37-40.
SUTTON P, 2012. Conceptualizing feedback literacy: knowing, being, and acting [J]. Innovations in education and teaching international, 49(1): 31-40.
SPECTOR J, IFENTHALER D, SAMPSON D, 2016. Technology enhanced formative assessment for 21st century learning [J]. Educational technology and society, 19(3): 58-71.
TOPPING K, 2021. Digital peer assessment in school teacher education and development: a systematic review [J]. Research papers in education, 4: 1-27.
WANG X A, 2017." Chinese EFL teacher’s classroom assessment practices [J]. Language assessment quarterly, 14(4): 312-327.
WILIAM D, BLACK P, 1996. Meaning and consequences: a basis for distinguishing formative and summative functions of assessment?[J]. British educational research journal, 22(5): 537-548.
ZHAN Y, 2020. What matters in design? Cultivating undergraduates’ critical thinking through online peer assessment in a Confucian heritage context [J]. Assessment amp; evaluation in higher education, 46(4): 1-16.
曹榮平,張文霞,周燕,2004. 形成性評估在中國大學非英語專業英語寫作教學中的運用[J]. 外語教學,(5):82-87.
陳卉,2017. 英語專業翻譯課程形成性評價體系改革研究[J]. 外國語文,(4):133-136.
范敏,2020. 商務英語專業本科翻譯教學形成性評價研究[J]. 外語與翻譯,(2):64-69.
韓淑芹,2020. MTI翻譯能力培養的“教學評”一體化體系——基于PACTE模型的探討[J]. 上海翻譯,(2):51-56.
孔蕾,秦洪武,2021. 新文科背景下外語教學過程性數據數字化建設:設計與實踐[J]. 外語電化教學,(2):57-64.
李加義,顧永琦,2021. 英語形成性評估的目標和標準[J]. 外語與翻譯,(1):54-58.
李平,2012. 英語專業翻譯教學中的形成性評價探究[J]. 教育與教學研究,(12):99-101.
李清華,孔文,2015. 外語形成性評估的效度驗證框架[J]. 外語教學理論與實踐,(1):24-31.
李曉倩,2021. 智能化語言教學與科研平臺的研制及其在翻譯教學中的應用[J]. 中國外語,(3):106-111.
李小撒,柯平,2021. 同伴互評在翻譯教學中的實證研究:有效性、學生認識和認知特征[J]. 外語測試與教學,(4):22-32.
林薇,莊逸抒,2017. 同伴反饋在同傳教學中對學生動機內化的作用[J]. 翻譯界,(1):47-60+154.
劉敏,吳始年,2020. 英語教學形成性評價云端測評模式構建[J]. 外語教學,(5):71-75.
欒海燕,苗菊,2016. 關于加拿大翻譯教育發展若干特征的思考[J].翻譯界,(2):92-103.
潘鳴威,馮光武,2015. 質量是核心,評價是關鍵——論《高等學校英語專業本科教學質量國家標準》中的評價要求[J]. 中國外語,(5):11-16.
孫曙光,2017.《師生合作評價》課堂反思性實踐研究[J]. 現代外語,(3):397-406.
覃軍,向云,2020. 我國翻譯在線開放課程現狀及對策研究——基于新冠肺炎疫情期間在線教學的反思[J]. 中國翻譯,(4):67-75.
王洪林,2018. 基于O2O的口譯深度翻轉學習行動研究[J].翻譯界,(2):96-111.
王慧文,劉芹,2018. 理工科大學生學術英語聽說課程電子檔案袋評價模式探索[J]. 外語測試與教學,(1):1-11.
文秋芳,2011.《文獻閱讀與評價》課程的形成性評估:理論與實踐[J]. 外語測試與教學,(3):39-49.
吳耀武,2020. 疫情背景下的翻譯教學改革與學科創新發展[J]. 中國翻譯,(6):61-65.
吳青,2021. 互聯網時代的筆譯教學:現狀、理念與展望[J]. 中國翻譯,(1):75-80.
袁樹厚,束定芳,2017. 我國外語教學中的形成性評價研究:回顧與思考(2002—2016)[J]. 外語教學理論與實踐,(4):51-56.
張忠華,高曉東,王冀魯,等,2020. 外語在線教學智能化過程性評價實踐研究[J]. 中國教育信息化,(23):23-27+33.
朱純深,慕媛媛,2013. 以文本解釋力為導向的語料庫翻譯教學——香港城大翻譯與雙語寫作在線教學/自學平臺的設計與試用分析[J]. 中國翻譯,(2):56-62.
(責任編輯 孫三軍)
作者簡介:鄭美玲,博士,北京信息科技大學外國語學院教師,研究方向為翻譯測試。
作者電子郵箱:joannazg@163.com
本文系北京信息科技大學2021年度教學改革立項資助項目“翻譯類課程形成性評價新體系構建研究”(2021JGYB35)的研究成果。