翻譯研究的多模態轉向:現狀與展望?

陳曦 潘韓婷 潘莉

（澳門科技大學，澳門999078；中山大學，廣州510275；廣東外語外貿大學，廣州510420）

提 要：近年來，多模態翻譯在國際學界發展迅猛，但國內學界至今仍無該領域較全面的引介和評述。 鑒于此，本文追溯多模態概念在翻譯研究中的介入與發展，梳理多模態翻譯的國內外研究現狀，并在此基礎上指出，目前國內多模態翻譯研究存在總量少、范圍局限、視角單一、概念濫用等不足，提出多模態翻譯研究需加強理論構建、拓寬實證領域、推進相應語料庫建設等方面的建議，以期為今后多模態翻譯跨學科研究的進一步發展提供借鑒。

1 引言

多模態“在其最基本的意義上，是在特定文本中多個符號模態的共存”（Gibbons 2012:8）。多模態可以指在一個交流成品或交流活動中不同符號模態的混合體（Van Leeuwen 2005:281），也可以指調動不同的符號資源， 在一個特定的文本中共同構建意義的各種方式（Baldry， Thibault 2006:21）。 不論是口語還是書面語，語言的使用總是不可避免地由多種交際模式構成，因此從某種意義上說，所有的話語都是多模態話語（Kress，Van Leeuwen 1998:186）。

科技的飛速發展使計算機和多媒體技術得到廣泛運用，文字、圖像、聲音等多模態同時出現的話語形態更加普遍，多模態研究也隨之蓬勃發展。 目前，多模態研究主要有3 種途徑:社會符號學途徑（Kress 2009；Kress， Van Leeuwen 1996，2006； Van Leeuwen 2005），系統功能語言學途徑（O'Toole 1994；O'Halloran 2004，2005；Jones，Ventola 2008）和會話分析途徑（Goodwin 1981，2000）。 在此基礎上，還有地理符號學（Scollon，Scollon 2003）、多模態交互分析（Norris 2004）、多模態民族志（Flewitt 2011）、多模態語料庫分析（Baldry，Thibault 2006；Bateman 2008，2014）等新途徑相繼產生。 科技發展也同樣為翻譯研究帶來革新，語音翻譯、云翻譯等新形式的出現為從多模態角度探索翻譯研究提供可能。 Snell-Hornby 提到“圖像轉向”已經到來（Snell-Hornby 2010:368） ；Munday 指出，“翻譯研究的興趣已經拓展到諸多的符際翻譯形式”（Munday 2010:422）。 隨著人們對翻譯認知的不斷拓寬和深化，翻譯研究已從過去單模態為主的研究開始更多地轉向多模態的翻譯研究。 在互聯網交際的大環境下，多模態翻譯研究將是未來翻譯研究的一個新熱點。 筆者在文獻搜集的過程中發現，國內對多模態翻譯存在著認識不清、研究不足等問題。 因此，本文對多模態理論在翻譯研究中的應用與發展進行系統的梳理分析。 首先追溯多模態概念在翻譯研究中的介入與發展，然后通過文獻法梳理多模態翻譯的國內外研究現狀，探討國內多模態翻譯研究目前存在的問題，并指出未來多模態翻譯跨學科研究的發展方向。

2 多模態在翻譯研究中的介入與發展

2.1 跨文化多模態交際概念

Kress 和Van Leeuwen（2001）提出多模態交際的概念，這為多模態概念在翻譯研究中的介入做鋪墊。 盡管在該研究中作者沒有直接指向翻譯研究，但其為研究不同模態（mode）的功能及模態和媒介（medium/media）間的關聯性提供參考，也為翻譯研究者帶來啟發。 Kress 和Van Leeuwen 將模態定義為允許同時實現話語和多種互動的符號資源（Kress ，Van Leeuwen 2001:21）。 模態不再只是產品，而是顯示話語性并具有文本構成功能的文化過程。 從這一角度看，多模態研究如何使用多個符號模態來設計一件符號產品或活動，以及這些模態相結合的特定方式（同上:20）。 Kress 和Van Leeuwen 將多模態看作文本設計的一種原則，單一模態不僅有特定功能，而且有協同作用，模態在文本中具有哪些功能，設計文本時要用到哪些模態，這些取決于語用因素和特定的文化因素。

多模態交際將多模態的概念引入到與交際和文化相關的翻譯理論中。 其中與Kress 和Van Leeuwen 的理論聯系最緊密的是Holz-M?ntt?ri（1984）的翻譯行為理論。 與Kress 和Van Leeuwen相似的是，Holz-M?ntt?ri 強調翻譯的設計特點，翻譯不僅是語言的傳遞，更是突破文化障礙的文本設計。 譯者通常專注于文本中的文字轉換，但由于文本的多模態設計，他們也需要和攝影師、圖畫設計師等其他專業人士合作，從而產生出滿足譯文接受者交際功能的譯文。 例如，在翻譯科技手冊時，視覺模態和語言模態都起到解釋操作步驟的作用，而文本的交際作用到底是由圖像還是語言實現則由特定文化因素和產品的語境來決定。

2.2 涉及多模態的翻譯分類

將多模態概念引入翻譯分類可以追溯到Jakobson （1959:127）的翻譯3 分法:（1）語內翻譯（intralingual translation），或重述（rewording）:用同種語言內的其他符號來解釋語言符號；（2）語際翻譯（interlingual translation），或真正的翻譯（translation proper）:用其他某種語言來解釋語言符號；（3）符際翻譯（intersemiotic translation），或跨類翻譯（transmutation）:用非語言系統的符號來解釋語言符號。

在Jakobson 的翻譯分類中出現符際翻譯的概念，將非語言系統的其他符號也納入到翻譯的范疇中，這種針對語言和非語言信息進行綜合處理的翻譯手段，在文化傳播和交際層面上更加適合如今種類繁多的非語言交流和傳播活動。 然而，在實際翻譯中，語內、語際和符際翻譯往往不是獨立分開的，而是在很多情況下交叉共存。 例如，電影字幕翻譯就涉及語際和符際翻譯兩種類型，而改編常常很難在語內或語際翻譯之間定義。 圍繞符際翻譯，一系列新的翻譯概念也隨之提出，使Jakobson 的翻譯分類得到拓寬和延伸。 例如，Toury 將翻譯的定義拓展為“一個符號實體被轉換替代為屬于另一個符號系統的符號實體”（Toury 1986:1128）。 他認為，符際翻譯是“兩個不同符號系統間不同符號編碼的轉換，其中一個符號編碼可以是語言符號，也可以不是”（同上:1129）。 Gorlée 認為，多模態概念需要納入翻譯分類的考量，因為在Jakobson 的3 分法中，對非語言符號向語言符號的轉化缺乏更詳細的進一步討論（Gorlée 2010:58）。

針對包含多模態文本的翻譯，Kaindl（2013:261 -262）基于模態、媒介和文化提出一個更為細化的翻譯分類（見表1）。 Kaindl 根據模態的不同將翻譯分為模態內翻譯（intramodal）和模態間翻譯（intermodal）。 模態內翻譯指只涉及同一種模態的翻譯，例如從語言模態到語言模態，從圖像模態到圖像模態；模態間翻譯則包含不同種模態間的轉化過程（同上）。 在這兩種翻譯中，又有文化內（intracultural）和文化間（transcultural）兩種情況。 文化內翻譯的交際行為是在同一文化的不同目標群體中實現，而跨文化翻譯則是打破文化障礙的交際行為（同上:262）。 例如，將迪士尼漫畫翻譯成日本漫畫就是不同文化間同一模態內的翻譯，而將一本配圖操作手冊翻譯成純文字文本則屬于同一文化內不同模態間的翻譯。

表1 基于模態、媒介和文化的翻譯分類

同時，依據媒介的不同，翻譯又可以分為媒介內翻譯（intramedia）和媒介間翻譯（intermedia）。媒介內翻譯只涉及同一種媒介，而媒介間翻譯則包含至少兩種媒介的轉化。 例如，美國一些流行歌手的音樂作品同時面向美國的英語和西班牙語觀眾，那么他們的音樂錄影帶的英語和西班牙語版本其實是同一文化同一媒介內的轉化，但卻涉及到不同模態間的翻譯。 因為考慮到市場需要，在面對美國本土觀眾和歐洲觀眾時，往往會拍攝出不同版本的音樂錄影帶來迎合歐洲觀眾的觀影習慣，如剪輯、圖像的出場次序等就會有所不同，這也形成不同的模態（同上）。

Kaindl 翻譯分類中的“模態”和“媒介”是有重疊的兩個概念。 文本模態通常通過媒介語境實現，因此二者總聯系在一起。 模態也可以通過不同媒介實現，例如語言能通過書寫媒介成為文字，而通過講話媒介成為聲音。 在翻譯中，模態和媒介都有必要列入考慮（同上:261）。 為避免這兩個概念的混淆，我們可以參考Lee 對二者的區分，模態指文本表現中不同的符號形式，例如，語言的、視覺的、聽覺的、觸覺的等符號形式；而媒介則是與這些符號形式對應的表現形式（如歌劇、戲劇、漫畫等），以及它們的物質溝通渠道（如廣播、電視、電子媒體等）（Lee 2012:11）。 在Kaindl 的翻譯分類中，模態內翻譯、模態間翻譯、媒介內翻譯和媒介間翻譯的概念緊密相連，互相影響。 這一翻譯分類將模態的概念引入到翻譯研究中，使Jakobson 的翻譯3 分法得到拓展，也有助于為一些之前較難定義的翻譯現象找到更為細化的定位。 翻譯不再僅僅是一個文本行為，而成為一種涉及模態、媒介和文化的交際行為。 然而，Kaindl 的翻譯分類也存在一些問題，例如其中對模態和媒介的區分在實際分析中常易混淆，同時，由于其分類過細，也易于在具體應用中顯得既過于復雜又不夠實用。

3 國外多模態翻譯研究現狀

通過文獻法，我們首先將國外多模態和翻譯相結合的跨學科研究進行文獻梳理。 目前，國外多模態翻譯研究相關領域主要包括視聽翻譯、廣告翻譯、口譯、游戲翻譯、網站翻譯、兒童圖畫書翻譯、漫畫翻譯等，主要側重于從不同研究視角探討如何處理翻譯和跨文化交際中涉及的多模態因素，以及多種模態在翻譯中如何互相轉換、作用等問題。

多模態與翻譯結合最早、研究最廣的領域是視聽翻譯，它研究多模態和多媒體文本中的語言或文化轉換（González 2009:13）。 目前，視聽翻譯的研究領域已經拓展到“對用任一媒體（或格式）來制作的節目（或后期制作）進行的所有翻譯形式（或多符號轉換）”（Orero 2004:vii-viii），包括電影字幕翻譯、配音、口譯、畫外音、同聲傳譯，以及新聞播報的現時字幕和歌劇唱詞字幕等的翻譯。 同時，一些有關媒體接觸的新研究領域也被涵蓋其中，例如，為失聰和有聽力障礙的人進行的字幕翻譯，以及為失明和有視力障礙的人進行的音頻描述（同上）。

由于視聽文本的產生和意義闡釋依賴于各種符號資源或模態的配置，視聽文本具備多模態屬性，其意義建構的模態主要包括語言、圖像、聲音、音樂、色彩等。 Zabalbeascoa 認為，視聽文本經由聽覺、視覺這兩種符號與語言、非語言這兩個交際通道相互交叉，產生“聽覺—語言”“聽覺—非語言”“視覺—語言”“視覺—非語言”4 種不同的符號類型（Zabalbeascoa 2008:24）。 因此，對視聽翻譯的研究須要考慮多個傳播通道的相互作用。 在視聽翻譯研究中，常利用多模態轉錄（Baldry， Thibault 2006）作為系統化多媒體文本分析的有力工具，來分析視頻、電影、網站、電腦游戲等多媒體文本。 同時，也可將多模態轉錄與電影字幕翻譯相結合，通過詳細準確的電影文本描述，使字幕翻譯人員能夠把譯文選擇建立在視覺、音樂、色彩等其他符號形式提供的意義之上，以選擇合適的翻譯策略（Taylor 2003，2016）。 此外，借助多模態語料庫進行視聽翻譯研究也成為近年來的趨勢。 多模態語料庫指“經過標注的不同交際渠道（包括話語、目光、手勢、身勢語等） 同步內容的集合” （Foster，Oberlander 2007:307 -308），“包含經過轉寫、處理與標注的語言文本及與文本緊密關聯的音視頻數據庫”（Heiss，Soffritti 2008），語料庫途徑的多模態研究可拓寬視聽翻譯的研究視角。 例如，可利用多模態注釋軟件和多模態語料庫檢索軟件進行電影音頻描述的分析（Hurtado，Gallego 2013），或基于多模態語料庫對美劇配音中幽默語篇進行研究（Balirano 2013）等。

除視聽翻譯外，廣告翻譯也和多模態研究聯系緊密。 廣告文本，包括印刷廣告和多媒體廣告，都涉及到不止一種模態參與意義建構，這一多模態屬性在翻譯過程中起著重要的作用。 例如，視覺語法就可以作為分析電視廣告的有力工具（Millán-Varela 2004），在廣告設計中，文化、意識形態、話語特征、視覺因素和符號功能都需考慮在內。 同時，視覺模態在印刷廣告和其他印刷文本翻譯中的作用也不容小覷（Torresi 2008）。 廣告和品牌形象的符際翻譯是一個包括市場分析、品牌定位等諸多因素的長期決策過程，“不僅是某一特定產品的圖像，而且品牌的整體形象及其所代表的價值，都需要根據不同的目標文化進行改編”（同上:68）。 此外，圖像對廣告信息傳輸的影響，將符際翻譯從語言符號到非語言符號的轉換，擴展到非語言符號系統之間的轉換（Smith 2008）。 在廣告設計中，圖像的排版、方向性、主題的選擇等都涉及一系列的視覺修辭選擇，譯者須要提高視覺配置能力，解碼廣告信息，使其更好地被目標文化所接受。

在口譯過程中也涉及到大量非語言因素，從語調、語速到注視、手勢、視線活動、面部表情等都影響著信息的傳遞和理解。 近年來，一些學者也開始在口譯和口譯培訓相關研究中引入多模態視角。例如，在同聲傳譯過程中，視覺非語言溝通對信息理解的重要性已經得到關注（Rennert 2008）。 此外，多模態口譯語料庫也是一個值得關注的多模態研究新領域。 例如，利用帶有手勢注釋的多媒體口譯語料庫來輔助口譯培訓，將有助于減少實習譯員和專業譯員在處理手勢等非語言信息時的差異（Zagar Galv?o，Galhano Rodrigues 2010）。

同時，特殊文本的多模態翻譯研究也開始吸引學界的關注，其中包括一些隨著多模態發展產生的新文本模式，如游戲翻譯、網站翻譯、實驗文學翻譯等。 電子游戲多模態翻譯（O'Hagan 2007）就是隨著互聯網和游戲產業發展而新興的研究領域。 現代電子游戲構建出一個科技化的多模態空間，在游戲本地化過程中，譯者需采用各種超越文本的調整手段，創造特定游戲在特定目標市場的游玩樂趣。除電子游戲，桌上游戲翻譯（Evans 2013）中同樣須要考量多模態因素，對應不同的目標市場，游戲規則說明、游戲卡片等中的文字和圖像都要做出相應的調整，從而全方位提高玩家的游戲體驗。 而在網站翻譯中（Tercedor Sánchez 2010， Rike 2013），通過不同的信息渠道和符號，互聯網多模態使新的翻譯方式和翻譯任務成為可能。 與傳統的文學形式不同，融合文字、科技、表演等多種模態的實驗文學（Lee 2013）把翻譯視為一種“跨文化語際—符際翻譯”（Wang 2009）。 在如今的溝通中，感官知覺在話語實踐中的比重越來越大，這種跨語言也跨媒介的翻譯角度使不同方式的意義溝通成為可能。 此外，博物館展覽中視覺因素對文本翻譯的制約和影響也值得關注（Neather 2008）。 在博物館，語言的、視覺的、空間的等不同的意義系統互相作用，這些互動包括跨符號層面的（如不同的語言和視覺因素間的）以及符號內部層面的（如物體間的、物體和照片間的、文本間的）。 博物館中的語際翻譯需要綜合考慮這些多角度的互動，才能產生有效的目標文本。

對于圖文并茂的兒童繪本來說，圖像和文字間的關系一直是學界的關注點。 Pereira（2008）將插畫書中的圖片看做是對文本的符際翻譯，認為語際翻譯中使用的翻譯策略和方法也同樣適用于對繪本中符際翻譯的分析。 他還根據實例分析，總結出3 種圖片翻譯文字的方法:在圖片中重現文本中的信息、在圖片中強調特定的敘事元素和針對特定的意識形態和藝術潮流對圖片進行改編，這為從符際翻譯角度解讀圖文關系提供很好的借鑒。 Chen（2018）結合多模態語篇分析理論提出繪本圖像的多模態分析框架，將系統的圖像分析與文本分析相結合，從語際翻譯、語內翻譯和符際翻譯的角度解讀繪本翻譯。 此外，圖像、聲音和文字在繪本中的相互作用（Oittinen 2008）也是如今兒童繪本翻譯中的熱點。 文字和圖像是符號化的，相呼應的，也是有歸化和異化途徑的，插畫作者可以利用歸化策略，在圖片中添加一些特定的事物，從而使圖片敘事更能被目標語讀者所接收。 同時，譯者的視覺認知能力和媒介素養對多模態翻譯也有重要影響，專業的譯者需要有顏色、圖形、聲音效果、視聽隱喻、視覺文化差異等方面的廣博知識，才能勝任兒童繪本翻譯的工作。

作為同樣圖文并重的體裁，漫畫中的敘事方式和圖文關系卻與繪本大不相同，也呈現出不一樣的多模態互動。 比較有代表性的是對漫畫中多模態幽默及其對應翻譯策略的研究（Kaindl 2004）。 漫畫中創造幽默效果的語言和非語言符號間的關系可分為語言層面的文字游戲、多模態符號游戲、非語言符號游戲等，為實現全面的幽默效果，除選擇合適的翻譯策略外，還可采用特定的視覺漫畫技巧，如文化特定視覺因素的使用、圖像互文性和圖像暗示等，以突出漫畫圖像的幽默。 此外，漫畫中的語言和視覺模態在翻譯過程中的符際關系也值得關注（Borodo 2015）。 漫畫中的人物不僅通過對話框互動和溝通，而且通過手勢、體態、目光注視或面部表情等進行互動，這些視覺模態和語言模態對意義構建的作用同樣重要。 因此，在漫畫翻譯過程中，譯者須要采用多種策略以兼顧到語言和視覺兩種模態間的關系，如壓縮或增加原文，刪除兩模態間不一致的例子，重新解釋對話框中的特定內容，甚至重繪部分人物或章節，刪除一些視覺符號或用其他符號代替它們。 而這些語言或視覺方面的轉換，也會反過來影響圖文關系和譯文中兩種模態間的互動。

除上述多模態翻譯研究相關領域外，將認知研究和多模態翻譯相結合（Ketola 2016）的嘗試也值得肯定。 多模態翻譯屬跨學科研究，引入新學科的交叉視角，將為多模態翻譯研究注入更多新鮮血液。 例如，在包含文字信息和視覺信息的配圖科技文本的翻譯中，借助多媒體學習認知理論和文本與圖像理解的綜合理論，譯者可以更好地理解文字和圖像兩種模態提供的信息，從而選擇更為合適的翻譯策略（同上）。

4 國內多模態翻譯研究的不足與展望

相對于國外翻譯學界在多模態應用領域的積極嘗試，國內翻譯學界才剛剛起步。 目前，國內僅有1 篇對中國多模態翻譯研究的述評（許勉君2017），且僅限于對國內多模態翻譯研究現狀的梳理、分析，對多模態概念如何介入翻譯研究并逐漸發展，以及國外多模態翻譯研究現狀等，都沒有進行系統性的回顧和討論。 通過文獻梳理我們發現，目前國內多模態翻譯文獻的現狀是總量少、范圍局限、研究視角單一、缺乏深度和廣度等特征。 此外，國內多模態翻譯研究主要局限在影視翻譯和多模態教學兩大領域。 影視翻譯研究多以字幕翻譯為主，重復研究多，觀點大同小異。 而且，對“多模態”概念有濫用趨勢，有些文章在題目中出現“多模態”，而文內并不真正涉及多模態核心概念或多模態分析。 在多模態教學領域，口譯教學研究值得肯定，多模態口譯語料庫（劉劍胡開寶2015，劉劍2017）和多模態口譯焦慮（康志峰2012）的相關研究為口譯教學與研究提供借鑒和參考。 目前，多模態口譯語料庫仍處于起步階段，但將來“必將成為口譯教學的輔助工具”，并會“沿著網絡化、交互性、開放性、商業化的方向迅速發展”（劉劍2017:14）。然而，除口譯教學外的其他多模態翻譯教學研究大都不盡如人意。 很多文章將多媒體技術的運用簡單地理解為多模態教學，這是對“多模態”認識不清、概念混淆的表現。 此外，也有研究從多模態翻譯的符際特征角度審視政治文本（陳風華董成見2017）及文化繪本（王悅晨2018）的翻譯。 在目前“一帶一路”國家戰略的大背景下，多模態與外宣翻譯、文化形象構建的結合也是值得嘗試的研究領域。

基于對國內外多模態翻譯研究的梳理，筆者認為未來國內的多模態翻譯研究應聚焦于以下3 個方面:

（1） 加強多模態翻譯研究的理論構建。 多模態理論的介入和發展拓寬翻譯的研究范疇，將更多的非語言因素納入對翻譯研究的考量中。 在如今的多媒體時代，從多模態視角審視翻譯研究顯得尤為重要。 目前，多模態和翻譯相結合的跨學科研究還是一個有待進一步探索和發展的新領域，尤其在國內翻譯研究領域，相關研究還處于起步階段，未有多模態翻譯理論的研究專著和理論綜述性文獻問世，對多模態翻譯的相關理論、研究方法、研究框架認識不足，這也是導致目前國內多模態翻譯研究較為單一的主要原因之一。 國內多模態翻譯研究面臨的一大挑戰是如何找到合適的多模態理論和研究框架來研究不同翻譯文本中的非語言模態。

（2）拓寬多模態翻譯研究的實證研究領域。通過對比國內外多模態翻譯研究的應用與發展我們發現，多模態翻譯研究應用前景廣大，并不局限于影視翻譯和翻譯教學，在一些實用性較強的領域，如手語翻譯、醫療翻譯、網站翻譯、博物館翻譯等也大有用武之地。 此外，如漫畫翻譯、兒童繪本翻譯等領域在國外已經有成熟的多模態翻譯研究，但在國內并沒有受到足夠的關注。 結合多模態理論來研究中國連環畫翻譯、中國原創繪本外譯等也是值得嘗試的多模態翻譯研究領域。

（3）推進多模態翻譯語料庫的建設。 目前國外已有多個多模態語料庫，有綜合性多模態語料庫，也有專門用途多模態語料庫，應用在心理學、犯罪學、計算機語言學、人機互動、醫學診斷與康復等多個跨學科領域。 國內多模態語料庫建設則滯后不少，現階段僅有顧曰國教授（2006，2013）建成的“SCCSD”多模態語料庫作為主要代表。 在多模態翻譯語料庫方面，國外已建成數個多模態口譯語料庫，例如“CIAIR 同傳語料庫”（Tohyama，Matsubara 2007）、“歐洲議會口譯語料庫” （Russo 2012）、“ComInDat”社區口譯語料庫（Angermeyer et al.2012）等。 近年來，國內也逐漸建立起幾個多模態口譯語料庫，如“漢英會議口譯語料庫”（CECIC）（胡開寶陶慶2010）和“中國大學生英漢漢英口筆譯語料庫”（PACCEL）中的口譯子語料庫（文秋芳王金銓2008），但數量仍然不足，且在處理多模態語料方面尚存缺陷。 期待未來的國內多模態翻譯研究者能與軟件工程、計算機等領域的學者展開積極的跨專業合作，以進一步探討多模態語料的切分與標注等問題，并建立更多更好的多模態翻譯語料庫，推動多模態翻譯研究的發展。

5 結束語

多模態話語分析和翻譯研究這兩個新領域均在應對全球化跨文化交際中扮演重要角色，而數字時代的到來為這兩個學科的發展提供更廣闊的平臺。 將多模態理論運用到翻譯研究中，可打破翻譯的文本局限。 不同模態間的轉換本身就是一種翻譯過程，而翻譯過程所涉及的復雜因素（例如，文本—譯者大腦構式—文本）也意味著翻譯本身的多模態性質。 因此，多模態理論在翻譯研究中的應用可以幫助我們探索更多、更復雜的翻譯活動，并開拓新的研究領域。