多模態(tài)口譯教學(xué)中的口述影像:研究現(xiàn)狀與前景展望

詹成 張晗

(中山大學(xué) 外國(guó)語(yǔ)學(xué)院,廣東 廣州 510275)

0 引言

口述影像,或稱“視障口述影像服務(wù)”,是將影像信息轉(zhuǎn)換成敘事言語(yǔ),使視障人士能夠感知比較完整的畫(huà)面內(nèi)容。 口述影像涉及視覺(jué)符號(hào)和言語(yǔ)符號(hào)之間的轉(zhuǎn)換,因而傳統(tǒng)上被看作是視聽(tīng)翻譯的一種形式,納入翻譯研究領(lǐng)域。 薩賓·布勞恩(Sabine Braun)認(rèn)為現(xiàn)場(chǎng)開(kāi)展的口述影像是一種區(qū)別于視聽(tīng)翻譯的“視聽(tīng)口譯”(Braun, 2008:14-30)。 露易絲·弗賴爾(Louise Fryer)也指出,現(xiàn)場(chǎng)口述影像活動(dòng)和口譯由一套共同的交際要素制約(Fryer, 2016)。 現(xiàn)場(chǎng)口述影像活動(dòng)更接近于口譯,涉及的不是兩種不同語(yǔ)言,而是以視覺(jué)符號(hào)為“源語(yǔ)”,譯入視障人士所使用的“目標(biāo)語(yǔ)”。 口述影像的源語(yǔ)為多模態(tài)立體語(yǔ)篇,其意義由發(fā)言人的語(yǔ)言信息和非語(yǔ)言信息復(fù)合而成(蔣莉華 等,2020);而口譯活動(dòng)中言語(yǔ)、副言語(yǔ)和體態(tài)語(yǔ)被視為功能上相互關(guān)聯(lián)的結(jié)構(gòu)整體,三者在不同的交際場(chǎng)合中或同時(shí)發(fā)生,或輪流運(yùn)作,或相互替代,共同產(chǎn)生和傳遞意義(Poyatos, 1987: 240-242)。

弗朗茲·波契哈克(Franz P?chhacker)指出,模態(tài)構(gòu)成了口譯研究的新一輪轉(zhuǎn)向(P? 吸氣,2022)。 在口譯教學(xué)中,模態(tài)一詞被用于描述不同形式的符號(hào)資源,如書(shū)面文本、語(yǔ)言文本、圖像、聲音等來(lái)建構(gòu)意義和表征意義的過(guò)程(康志峰 等,2023)。 現(xiàn)有研究多考察如何使用多模態(tài)學(xué)習(xí)資源和學(xué)習(xí)環(huán)境等豐富口譯課堂活動(dòng)和學(xué)生自主練習(xí)(陳衛(wèi)紅,2014;劉劍,2017;黃立鶴 等,2021),而針對(duì)多模態(tài)口譯技能訓(xùn)練的探討尚不多見(jiàn)。 以技能為主線的口譯訓(xùn)練應(yīng)是口譯教學(xué)把握的重點(diǎn)(詹成,2022a),因此需充分開(kāi)發(fā)和利用口譯訓(xùn)練維度的多模態(tài)資源,使其與口譯能力培養(yǎng)形成有機(jī)結(jié)合。 由于口述影像對(duì)多模態(tài)信息的辨別、理解、加工、輸出等能力均有一定要求,已經(jīng)在外語(yǔ)教學(xué)和翻譯訓(xùn)練中得到應(yīng)用,成為一種技能強(qiáng)化的多模態(tài)訓(xùn)練手段。 本文基于對(duì)口述影像與口譯多模態(tài)信息處理機(jī)制的探討,考察評(píng)述對(duì)口述影像訓(xùn)練用于口譯教學(xué)的相關(guān)研究,并在分析研究現(xiàn)狀的基礎(chǔ)上,對(duì)口述影像在多模態(tài)口譯教學(xué)中的研究前景提出展望。

1 多模態(tài)口譯教學(xué)中的口述影像方法理?yè)?jù)

口譯實(shí)踐的核心在于調(diào)動(dòng)雙語(yǔ)認(rèn)知處理、信息加工和人際協(xié)調(diào),這種行為需發(fā)揮譯員的專業(yè)技能。 在《中國(guó)翻譯能力等級(jí)測(cè)評(píng)標(biāo)準(zhǔn)》(2022:3)中,口譯能力被界定為“語(yǔ)言學(xué)習(xí)者和實(shí)踐者以口語(yǔ)或手語(yǔ)形式,運(yùn)用掌握的語(yǔ)言能力和翻譯技巧,準(zhǔn)確傳達(dá)源語(yǔ)言中以文本、口語(yǔ)、中國(guó)手語(yǔ)表達(dá)的內(nèi)容所包含的信息的能力”。 多模態(tài)口譯教學(xué)的重點(diǎn)在于技能訓(xùn)練。 口述影像涉及不同模態(tài)之間的信息加工與轉(zhuǎn)換。 口譯能力與口述影像能力相關(guān)聯(lián),形成了口述影像應(yīng)用于多模態(tài)口譯教學(xué)活動(dòng)的方法理?yè)?jù)。

在語(yǔ)言習(xí)得維度上,口述員需熟練掌握母語(yǔ),靈活地遣詞造句,精練表達(dá),以及對(duì)語(yǔ)域和風(fēng)格等做出正確決策,這些都與口譯員需具備的語(yǔ)言能力高度相似(Fryer, 2019:155-178),因此有研究探討了口述影像訓(xùn)練對(duì)口譯子能力如口語(yǔ)水平(Moreno et al., 2015)、詞匯準(zhǔn)確度和句法應(yīng)用能力(Calduch et al., 2017)及語(yǔ)法能力(Schaeffer-Lacroix, 2020)等的積極效應(yīng),主要關(guān)注口譯中的語(yǔ)言(外語(yǔ))能力。 值得一提的是,已有研究論證,經(jīng)過(guò)外語(yǔ)口述影像的訓(xùn)練,學(xué)生的翻譯能力得到顯著提升(Talaván et al., 2022)。

除語(yǔ)言技能和翻譯能力外,對(duì)于口譯更為關(guān)鍵的認(rèn)知能力方面,口述影像與口譯亦有共通之處。 在信息處理維度上,口述影像的多模態(tài)源文本主要包含視覺(jué)和聽(tīng)覺(jué)信息,聽(tīng)覺(jué)信息多呈顯性,視覺(jué)信息則多呈隱性。 對(duì)多模態(tài)源語(yǔ)的理解要整體考慮所有模態(tài)傳遞的信息,確定隱性視覺(jué)信息在視聽(tīng)文本整體意義中的作用,并挑選出需要描述的視覺(jué)內(nèi)容進(jìn)行傳達(dá)(蔣莉華 等,2020)。 口譯是多模態(tài)互動(dòng)的意義生成過(guò)程,譯員亦需理解整合各種模態(tài)的信息。 如在交替?zhèn)髯g中,譯員對(duì)非語(yǔ)言信息的捕捉對(duì)于意義傳遞具有積極作用,尤其是在信息輸入階段,若與講者有頻繁的眼神交流,其譯語(yǔ)的準(zhǔn)確性與一致性更高(Ouyang et al.,2020);而在同聲傳譯中,譯員可見(jiàn)講者姿勢(shì),會(huì)增強(qiáng)譯員在場(chǎng)感與信息明確性,對(duì)同聲傳譯質(zhì)量產(chǎn)生積極效應(yīng)(詹成 等,2021)。 可見(jiàn),多模態(tài)信息是口譯與口述影像意義傳達(dá)不可或缺的資源,并動(dòng)態(tài)存在于各個(gè)認(rèn)知環(huán)節(jié),如表1 所示。

表1 口述影像與口譯的多模態(tài)認(rèn)知過(guò)程

首先,在信息輸入環(huán)節(jié),口述員選擇、提取視覺(jué)、言語(yǔ)和聲音信息,通過(guò)已備知識(shí)和語(yǔ)境做出判斷,并且隨著新信息輸入不斷轉(zhuǎn)碼。 對(duì)于口譯員來(lái)說(shuō), 源語(yǔ)信息同樣以多信道形式進(jìn)入譯員的心理加工系統(tǒng)。 譯員通過(guò)語(yǔ)音知覺(jué)、視覺(jué)識(shí)別等認(rèn)知過(guò)程,將外部輸入的信息與大腦中的已備知識(shí)存儲(chǔ)接通,進(jìn)行聯(lián)系、比照、分析等操作, 對(duì)這些輸入的符號(hào)資源進(jìn)行遞增解碼。 其次,在信息加工環(huán)節(jié),口述影像涉及的視覺(jué)信息處理是評(píng)估、選擇和決策的過(guò)程。 口述員需區(qū)分如聲音、音樂(lè)和對(duì)話等可通過(guò)聽(tīng)覺(jué)傳遞的信息,以及無(wú)法被視障人士所感知、只能通過(guò)視覺(jué)表達(dá)的信息,衡量多模態(tài)信息的搭配,即描述什么、何時(shí)描述以及如何描述,結(jié)合既有知識(shí)、專業(yè)、經(jīng)驗(yàn)做出選擇,激活心理表征;口譯認(rèn)知加工過(guò)程中,工作記憶與長(zhǎng)時(shí)記憶相互作用,存儲(chǔ)、提取應(yīng)用信息,并在兩種語(yǔ)言的競(jìng)爭(zhēng)中維持語(yǔ)碼轉(zhuǎn)換,建構(gòu)命題意義。 最后,信息輸出時(shí),口述員通常以與視聽(tīng)文本言語(yǔ)模態(tài)相同的語(yǔ)言符號(hào)編碼,并在合適的聲音間隙進(jìn)行表述,保障視障聽(tīng)眾模態(tài)信息接受與理解的連貫性(Holsanova,2022:59-61);而在口譯產(chǎn)出過(guò)程中,譯員須在有限的時(shí)間內(nèi)以目標(biāo)語(yǔ)語(yǔ)言表達(dá)形式外化的語(yǔ)音信號(hào)為主,同時(shí)結(jié)合發(fā)言人傳遞的副語(yǔ)言信息(如語(yǔ)速、音量、重音、語(yǔ)調(diào))和非語(yǔ)言信息(如面部表情、手勢(shì)、幻燈片),為受眾構(gòu)建完整的信息來(lái)源。

多模態(tài)信源的認(rèn)知加工直接影響口述影像與口譯交際的質(zhì)量。 口述員與口譯員作為多模態(tài)信息的接受者和發(fā)送者,須時(shí)刻考量多模態(tài)信息交互的作用,具備理解、分析不同模態(tài)及其意義生成的多維識(shí)讀能力。

2 多模態(tài)口譯教學(xué)中的口述影像研究現(xiàn)狀

有少數(shù)研究者關(guān)注到口述影像與口譯在多模態(tài)認(rèn)知處理方面的共性,圍繞口譯能力的不同維度,開(kāi)展了一定的理論探討與實(shí)證研究,總結(jié)出口述影像作為多模態(tài)口譯教學(xué)新方法的積極成效。研究者均認(rèn)為,在口譯教學(xué)中運(yùn)用口述影像訓(xùn)練,能夠?qū)W(xué)生的注意力分配、信息記憶與整合、目標(biāo)語(yǔ)表達(dá)等方面的能力產(chǎn)生作用。

2.1 注意力分配能力

口譯活動(dòng),尤其是帶稿同傳,以及隨著數(shù)字技術(shù)發(fā)展興起的新型口譯形式“交同傳(consecsimul)”(Orlando, 2014),由于多感官輸入和視覺(jué)干擾,對(duì)認(rèn)知處理有更高的要求。 譯員需注意聽(tīng)覺(jué)頻道的講者源語(yǔ)和視覺(jué)頻道的源語(yǔ)文本信息,促發(fā)認(rèn)知資源的協(xié)調(diào)和分配。 當(dāng)視聽(tīng)信息不一致時(shí),譯員要付出更大的認(rèn)知努力;信息一致時(shí),能靈活識(shí)別有助于聽(tīng)覺(jué)加工的視覺(jué)信息(蘇雯超 等,2021)。 觀察能力是口述影像員必備的能力之一(Snyder, 2005),口述影像的認(rèn)知加工過(guò)程涉及因源語(yǔ)篇接收所觸發(fā)的視覺(jué)信息抓取行為。 通過(guò)訓(xùn)練對(duì)視覺(jué)信息的觀察與分析,并與聽(tīng)覺(jué)信息相互配合,可幫助譯員適應(yīng)多渠道信源的注意力分配。

香港城市大學(xué)的鄢秀(Jackie Xiu Yan)和羅康特(Kangte Luo)嘗試將口述影像訓(xùn)練植入口譯專業(yè)研究生課程中,開(kāi)展了系列研究(Yan et al., 2022)。 在為期兩周的母語(yǔ)口述影像訓(xùn)練中,設(shè)計(jì)課堂活動(dòng),有意識(shí)地凸顯視覺(jué)信息的豐富性和重要性,引導(dǎo)學(xué)生抓取和分析多模態(tài)語(yǔ)篇中的視覺(jué)資源。 課后調(diào)查顯示口述影像訓(xùn)練對(duì)于學(xué)生的口譯能力有積極效應(yīng),學(xué)生高度認(rèn)可。 口述影像訓(xùn)練顯著地提高了學(xué)生的觀察能力, 使他們更加注意講者的情感和語(yǔ)氣,對(duì)于情境中的元素更為敏感(Yan et al., 2022:431)。 另一研究發(fā)現(xiàn)了學(xué)生在接受口述影像訓(xùn)練后,在視覺(jué)與聽(tīng)覺(jué)信息并行的情況下,能夠更好地平衡不同模態(tài)之間的注意力分配,在有限認(rèn)知資源的競(jìng)爭(zhēng)中保持對(duì)于其他模態(tài)信息的敏感度。 因此,口述影像訓(xùn)練可強(qiáng)化口譯學(xué)習(xí)者多任務(wù)的注意資源分配能力。

2.2 信息記憶與整合能力

口譯任務(wù)所需的源語(yǔ)語(yǔ)言信息和其他感知信息匯聚在工作記憶系統(tǒng)中,在中央執(zhí)行系統(tǒng)的協(xié)調(diào)控制下,主要由工作記憶系統(tǒng)的語(yǔ)音回路負(fù)責(zé)集中處理,隨后進(jìn)入語(yǔ)言轉(zhuǎn)換系統(tǒng)(張威,2012)。在口譯訓(xùn)練中,當(dāng)講者的語(yǔ)言信息形成圖像,注意力便從具體的語(yǔ)言符號(hào)轉(zhuǎn)到講話人的“意義”上來(lái),協(xié)調(diào)視覺(jué)空間模板和語(yǔ)音回路的配合,持續(xù)的視覺(jué)化訓(xùn)練可提升譯入語(yǔ)信息產(chǎn)出的質(zhì)量(詹成等,2014)。 口述影像的認(rèn)知加工過(guò)程必然涉及視覺(jué)信息存儲(chǔ)、闡釋與重新概念化的視覺(jué)化加工過(guò)程。 因此,可利用口述影像視覺(jué)化信息處理機(jī)制提升口譯工作記憶效率和整合信息的水平。

丁欣如(2022)以行動(dòng)研究法為主,準(zhǔn)實(shí)驗(yàn)研究法為輔,探討了外語(yǔ)口述影像練習(xí)在本科口譯教育中的作用。 在為期一學(xué)期的實(shí)驗(yàn)中,針對(duì)本科翻譯專業(yè)三年級(jí)的《交替?zhèn)髯g》課程開(kāi)展三輪行動(dòng)。通過(guò)各輪結(jié)束時(shí)的問(wèn)卷與學(xué)習(xí)者反思日志、訪談、漢英交替?zhèn)髯g前后測(cè)試成績(jī)等數(shù)據(jù)分析,發(fā)現(xiàn)口述影像訓(xùn)練對(duì)于口譯學(xué)習(xí)者的信息處理能力,尤其是提取、篩選和歸納重要信息方面有顯著作用。首先,口述影像練習(xí)的多模態(tài)輸入,有助于學(xué)習(xí)者改善思維方式,使其“信息記憶開(kāi)始視覺(jué)化”。 學(xué)生在記憶信息的過(guò)程中,腦海里有意識(shí)地生成了相應(yīng)畫(huà)面,這對(duì)口譯記憶起到了輔助作用(丁欣如,2022:73)。 其次,口述影像的練習(xí)提升了學(xué)生的信息辨析整合能力,交替?zhèn)髯g時(shí)提取關(guān)鍵信息的能力(同上:72),從而提高了信息的儲(chǔ)存和轉(zhuǎn)化效率。 同樣,在鄢秀和羅康特的研究中,受試學(xué)生的總結(jié)能力得到了提升(Yan et al., 2022)。 因此,圖像和語(yǔ)言信息、視覺(jué)和聽(tīng)覺(jué)信息的“視覺(jué)化”加工使口述影像訓(xùn)練在培養(yǎng)口譯學(xué)生的信息存儲(chǔ)與加工效率方面具有較大潛力。

2.3 目標(biāo)語(yǔ)表達(dá)能力

多模態(tài)媒介在提高譯員概念認(rèn)知準(zhǔn)確性和概念關(guān)系認(rèn)知全面性方面具有優(yōu)勢(shì)。 口譯過(guò)程可視為一個(gè)譯員在“思維世界、現(xiàn)實(shí)世界和符號(hào)世界之間進(jìn)行循環(huán)復(fù)試認(rèn)知處理的過(guò)程”(寧海霖,2021)。 口述影像中的圖像可集中凸顯概念的多維度特質(zhì),也可以顯示專業(yè)領(lǐng)域中概念間的各種關(guān)系。 相比通過(guò)語(yǔ)言文字進(jìn)行知識(shí)內(nèi)化,以多模態(tài)資源為媒介的認(rèn)知過(guò)程中,譯員能夠直接接觸承載語(yǔ)義的客體,擺脫他者認(rèn)知濾鏡與語(yǔ)言濾鏡,減少認(rèn)知的干擾和損耗,提高語(yǔ)言習(xí)得的準(zhǔn)確性和全面性。

弗賴爾(Fryer, 2019)認(rèn)為,在目標(biāo)語(yǔ)表達(dá)環(huán)節(jié),口述影像和口譯由一套共同的交際要素制約,兩者在可理解性、表達(dá)、語(yǔ)言、語(yǔ)法、忠實(shí)度、連貫度及可信度、同步性等方面,有諸多共同點(diǎn)。 香港浸會(huì)大學(xué)的楊慧儀(Jessica Yeung)為口譯專業(yè)的學(xué)生設(shè)計(jì)了 30 小時(shí)的口述影像教學(xué)課程(Yeung,2007: 234-235)。 在熟悉口述影像的基本知識(shí)后,學(xué)生為不同的藝術(shù)形式做口述影像的練習(xí),內(nèi)容包括戲曲、舞蹈、電影、繪畫(huà)、博物館游覽,以及公共事件等真實(shí)的多模態(tài)情境。 考慮到香港地區(qū)的雙語(yǔ)特點(diǎn)和口譯專業(yè)的雙語(yǔ)訓(xùn)練性質(zhì),每種藝術(shù)形式的口述訓(xùn)練均以粵語(yǔ)和英語(yǔ)進(jìn)行。 在課程結(jié)束后的焦點(diǎn)小組討論中,學(xué)生普遍反饋良好,享受訓(xùn)練過(guò)程,表示在口述影像學(xué)習(xí)中提升了口譯技能,特別是語(yǔ)言應(yīng)用能力,包括對(duì)概念的準(zhǔn)確認(rèn)知與詞匯的準(zhǔn)確應(yīng)用。

現(xiàn)有研究的結(jié)論較為一致,均顯示口述影像訓(xùn)練有益于口譯學(xué)生的目標(biāo)語(yǔ)習(xí)得和應(yīng)用,促進(jìn)了語(yǔ)義和概念的內(nèi)化。 在外語(yǔ)口述影像訓(xùn)練后,有學(xué)生認(rèn)為個(gè)人“最大的提升在于詞匯的積累”,或“會(huì)用更地道的語(yǔ)言來(lái)表達(dá)”,“對(duì)于一些動(dòng)作和情景的表達(dá),用詞更加靈活”,“會(huì)主動(dòng)使用口述影像中的詞匯”等(丁欣如,2022:76),提升了B 語(yǔ)言的使用意識(shí)和能力;母語(yǔ)口述影像訓(xùn)練同樣提升了語(yǔ)言技巧和交際能力,包括詞匯知識(shí)、描述技能等(Yan et al., 2022)。

3 多模態(tài)口譯教學(xué)中的口述影像研究不足

將口述影像作為口譯訓(xùn)練手段應(yīng)用于多模態(tài)口譯教學(xué)的相關(guān)實(shí)踐尚處于起步階段,無(wú)論是在促進(jìn)以語(yǔ)言技能為主的口譯子能力方面,還是在提升更為核心的認(rèn)知加工能力方面,現(xiàn)有研究均顯示出口述影像訓(xùn)練對(duì)多模態(tài)口譯訓(xùn)練具備一定的應(yīng)用價(jià)值。 但相關(guān)研究從數(shù)量上看仍不具規(guī)模,在研究的深度上也存在以下不足。

(1)相關(guān)理?yè)?jù)有待厘清。 口述影像與口譯能力的重合僅僅是可開(kāi)展相關(guān)研究的初步依據(jù)。 口譯研究蓬勃發(fā)展的幾十年里,有大量實(shí)證研究探討提升口譯能力的有效途徑,如工作記憶訓(xùn)練(劉玉花 等,2021)、干擾抑制訓(xùn)練(Dong et al., 2020)等。 相比之下,若僅憑口述影像與口譯二者在語(yǔ)法規(guī)范、語(yǔ)義連貫、表達(dá)流暢、符際轉(zhuǎn)換等方面的相似要求作為依據(jù),雖得出積極結(jié)論,其說(shuō)服力易遭到質(zhì)疑。 對(duì)于口譯這樣一項(xiàng)復(fù)雜的技能組合而言,欲闡明雙語(yǔ)轉(zhuǎn)換與模態(tài)轉(zhuǎn)換的可比性和內(nèi)在關(guān)系、多模態(tài)資源減少認(rèn)知負(fù)荷或加工時(shí)延的原理等問(wèn)題,需依靠更為深入、細(xì)致乃至跨學(xué)科的分析。 要體現(xiàn)口述影像作為訓(xùn)練手段的科學(xué)性、適切性和獨(dú)特性,需建構(gòu)更為嚴(yán)謹(jǐn)?shù)睦碚摶A(chǔ)。

(2)研究問(wèn)題不夠細(xì)化。 現(xiàn)有研究將口述影像作為一種訓(xùn)練方法作用于口譯教學(xué),盡管得出積極結(jié)論,仍更多地停留在其可接受性和應(yīng)用潛力上,并未深入地針對(duì)某一項(xiàng)口譯能力進(jìn)行聚焦式探討,或重點(diǎn)利用其語(yǔ)料和信息處理的多模態(tài)特性,研究口述影像起效的具體機(jī)制。 口譯教學(xué)的內(nèi)容涉及理解語(yǔ)言與信息、記憶語(yǔ)言與信息、多任務(wù)協(xié)調(diào)與處理、口譯筆記與解讀、口譯知識(shí)與技巧、肢體表現(xiàn)與技能、語(yǔ)言與信息表達(dá)(仲偉合 等,2012:169),上述方面均可成為口述影像發(fā)揮訓(xùn)練效用的研究主題。 僅將口述影像整體作為一個(gè)新型課堂活動(dòng),運(yùn)用在口譯教學(xué)中,在缺乏明確研究問(wèn)題的情況下,欲達(dá)到最大程度的等效,或?qū)е驴谑鲇跋衲芰σ浦驳娇谧g能力的操作距離過(guò)遠(yuǎn),影響了研究結(jié)果的精確性,且難以獲得新的發(fā)現(xiàn)。

(3)論證方法比較薄弱。 多模態(tài)翻譯教學(xué)研究多停留在討論活動(dòng)本身的多模態(tài)特征及開(kāi)展多模態(tài)教學(xué)的意義與方法,相關(guān)實(shí)證研究、對(duì)比研究較少,也鮮有從學(xué)習(xí)者群體了解多模態(tài)翻譯與教學(xué)的接受情況(李小華 等,2021)。 多模態(tài)口譯教學(xué)中的口述影像研究結(jié)論多依賴受試反饋,部分研究采用訪談、焦點(diǎn)小組、調(diào)查問(wèn)卷等研究工具,僅有個(gè)別研究設(shè)置了實(shí)驗(yàn)組和對(duì)照組,通過(guò)前后測(cè)收集量化數(shù)據(jù)(丁欣如,2022)。 對(duì)于口述影像起效機(jī)制的描述和成因分析亦以主觀解釋和經(jīng)驗(yàn)判斷為主。 因此,現(xiàn)有的外部數(shù)據(jù)難以科學(xué)地說(shuō)明口述影像作為多模態(tài)跨符際翻譯行為如何影響甚至改變受訓(xùn)者信息接收、分解、存儲(chǔ)、加工、輸出的過(guò)程,對(duì)于口述影像訓(xùn)練在口譯能力提升中的效應(yīng)解釋力顯然比較薄弱,且出現(xiàn)了一定程度的重復(fù)性。

4 多模態(tài)口譯教學(xué)中的口述影像研究前景

通過(guò)對(duì)相關(guān)文獻(xiàn)的梳理分析,可見(jiàn)口述影像應(yīng)用于多模態(tài)口譯教學(xué),對(duì)于提升學(xué)生口譯能力,豐富口譯訓(xùn)練手段具有積極效應(yīng)。 未來(lái)口譯教學(xué)將可能更多地轉(zhuǎn)向多模態(tài)手段,應(yīng)充分研究口述影像在口譯訓(xùn)練方面的價(jià)值。 針對(duì)相關(guān)研究的現(xiàn)狀及不足,建議未來(lái)可從如下方面推進(jìn):

(1)拓展研究維度,深化機(jī)制探索。 口述影像與口譯是口述員/譯員在社會(huì)情境中的多模態(tài)親歷過(guò)程,對(duì)包含語(yǔ)言、副語(yǔ)言及非言語(yǔ)行為等在內(nèi)的各種符號(hào)資源進(jìn)行整體性分析才能對(duì)多模態(tài)翻譯行為進(jìn)行完整的、動(dòng)態(tài)的解讀。 口譯作為綜合性極強(qiáng)的復(fù)雜技能,涉及信息理解—記憶—轉(zhuǎn)換—表達(dá)—互動(dòng)的階段(吳文梅,2023),因此二者的融合性研究可在更多環(huán)節(jié)和層面上開(kāi)展。 口述影像活動(dòng)涉及知識(shí)內(nèi)容的理解、加工、遷移和接受,以及信息解讀和重構(gòu)過(guò)程中的制約與調(diào)控動(dòng)能(詹成,2022b),如何描述和解釋這種制控能力對(duì)于口譯能力的提升機(jī)制是研究需解決的核心問(wèn)題。

(2)創(chuàng)新研究方法,借鑒已有范式。 口譯研究與口述影像研究在認(rèn)知加工方面均有較成熟的范式。 目前口譯的認(rèn)知路徑研究參照了認(rèn)知語(yǔ)言學(xué)、認(rèn)知心理學(xué)、心理語(yǔ)言學(xué)和神經(jīng)語(yǔ)言學(xué)等學(xué)科的范式,使用如多模態(tài)語(yǔ)料庫(kù)、心理計(jì)量、眼動(dòng)、腦電波、神經(jīng)成像等先進(jìn)的研究工具。 現(xiàn)有口述影像研究也利用了上述工具探索視障人士的感官接受和記憶機(jī)制,但較少提及口述員作為信息接受和發(fā)送者的多模態(tài)認(rèn)知過(guò)程。 在多模態(tài)教學(xué)領(lǐng)域也有待探索將心理實(shí)驗(yàn)法、腦神經(jīng)實(shí)驗(yàn)法等量化分析方法應(yīng)用于多模態(tài)教學(xué)實(shí)驗(yàn)(劉玉梅 等,2021)。 注重描寫(xiě)工具的科學(xué)性,可更加精確地測(cè)量多信道符號(hào)從接收到產(chǎn)出的過(guò)程,加深對(duì)于多模態(tài)信息認(rèn)知處理的理解,為口述影像訓(xùn)練提升口譯能力的原理提供堅(jiān)實(shí)依據(jù)。

(3)豐富研究設(shè)計(jì),提高交互質(zhì)量。 未來(lái)研究可涉獵更多的解釋變量,探討如口述語(yǔ)言、文本類型、口譯方向、口譯模式等更多影響因素的相關(guān)性,使研究結(jié)果更具可信度。 口譯能力的具體習(xí)得過(guò)程和能力發(fā)展曲線尚待探索(李希希,2021),發(fā)掘口述影像作用于不同口譯能力和不同能力發(fā)展階段中的機(jī)制可更充分地釋放其作為多模態(tài)口譯教學(xué)手段的潛力。 同時(shí),在訓(xùn)練內(nèi)容設(shè)計(jì)方面也應(yīng)向口譯實(shí)踐傾斜。 現(xiàn)有研究口述影像練習(xí)的選材多為電影片段,與口譯場(chǎng)景的主題與情境知識(shí)存在一定差距。 可優(yōu)先選擇與口譯實(shí)踐的主題知識(shí)和情境圖示相近的多模態(tài)語(yǔ)篇,如外交、法律、醫(yī)療等場(chǎng)景的影像,加速多模態(tài)知識(shí)的理解與遷移,提升情境口譯水平。 此外,還可與社會(huì)層面的口述影像實(shí)踐進(jìn)行聯(lián)動(dòng),優(yōu)化學(xué)習(xí)過(guò)程,提升研究效果。

5 結(jié)語(yǔ)

口述影像作為多模態(tài)意義建構(gòu)的復(fù)雜翻譯過(guò)程,在信息輸入、信息加工和信息輸出環(huán)節(jié)與口譯有相似之處。 針對(duì)在多模態(tài)口譯教學(xué)中的口述影像應(yīng)用的研究表明,口述影像訓(xùn)練可提高如注意資源分配能力、信息記憶與整合能力、目標(biāo)語(yǔ)表達(dá)能力在內(nèi)的口譯能力。 當(dāng)下,新技術(shù)推動(dòng)著口譯職業(yè)化飛速發(fā)展,遠(yuǎn)程口譯、人工智能、語(yǔ)音識(shí)別等新技術(shù)深刻影響著口譯實(shí)踐,多模態(tài)信息的在場(chǎng)與缺失增加了交際行為的復(fù)雜性和風(fēng)險(xiǎn),對(duì)譯員的認(rèn)知資源整合和調(diào)控能力提出了更高的要求。口述影像既是認(rèn)知操作和話語(yǔ)產(chǎn)出過(guò)程,又是跨文化交際協(xié)調(diào)行為,更是一種社會(huì)文化活動(dòng),作為一種多模態(tài)翻譯實(shí)踐嵌入口譯訓(xùn)練,在應(yīng)用維度和研究?jī)r(jià)值上前景廣闊,能夠拓展和豐富口譯研究的領(lǐng)域。 同時(shí),由于我國(guó)的口述影像研究整體上仍處于起步階段,充分發(fā)揮其與口譯融合的可能性和有效性,并對(duì)其進(jìn)行科學(xué)的研究和驗(yàn)證,也能更好地指導(dǎo)我國(guó)口述影像活動(dòng)發(fā)展,提升口述影像的社會(huì)意義。