多模態語用互動的翻譯意義構建

馮建明

(廣東醫科大學 外國語學院,廣東 廣州 523000)

0 引言

以互聯網為主導的現代技術革命和交際方式的改變給文本形態與內部結構帶來了深刻變化,文本要素及其表意手段正日益呈現多模態趨勢。人們常常運用多種符號資源完成意義的建構(Kress et al.,2001),語言與其他模態的結合已經成為一種常態(Jewitt,2009)。自《圖像的修辭》(Barthes,1977)尤其是《閱讀圖像:視覺設計的語法》(Kress et al.,1996/2006)出版以來,學界對多模態研究的理論基礎、分析路徑、框架建構以及應用實踐等進行了多方面探討,取得了豐碩成果,然而,或許出于“語言符號中心主義”的慣有思維以及多數研究者的語言學背景等原因,多模態翻譯研究卻相對滯后。盡管許多研究者已經意識到各符號間的關系,但他們的研究視角仍然集中于語言層面(Gambier,2009:7),主要關注的依然是文字意義的轉換。除了影視翻譯和漫畫翻譯等眾多同質性個案研究之外,用于構建文本意義的其他符號資源的語(符)際轉換以及多模態語義表征如何在目的語文本中原貌映現等問題在翻譯研究中尚未引起足夠重視。

作為一種漸趨盛行的敘事模式,多模態文本是一種多元且復雜的符號系統,影響意義構建的因素很多。譯者不僅要考慮諸如語法結構、遣詞造句、篇章連貫等語言層面的特征與規范,還要關注其他非語言符號模態對文本意義生成所起的作用;不僅要翻譯單個模態符號的意義,同時更要把握各模態之間的邏輯互動對翻譯帶來的影響。文本形態的變化給翻譯研究與實踐提出了新的挑戰,作為一種關涉多種符號模態的翻譯類型,多模態翻譯顯然更具復雜性。這就要求譯者首先對多模態進行正確解讀,尤其要弄清楚不同模態符號之間存在怎樣的邏輯互動關系以及在形式上缺乏統一“語法”的多模態文本中隱含著怎樣的認知機制統轄不同的表意資源。限于篇幅和論述重點,本文擬從狹義多模態的視角分析在由語言和圖像兩種異質元素組成的敘事空間中兩者的關系、互動、功能及其內在機制,并以此為基礎,著重探討圖像模態創造性的文化調適以及多模態語義表征尤其是模態互動關系在文本間的完整映射,旨在構建多模態語用互動模式下的翻譯意義。

1 多模態語用關聯互動解讀

馬丁(Martin,2010)提出了翻譯認知理論的一種觀點,即我們翻譯的并非文本,而是譯者對文本的個人闡釋。這意味著任何文本的翻譯首先都是基于對原文的正確理解,多模態自然也不例外。就文本結構而言,多模態的表意手段比較豐富,文本之間的關系也更加復雜多樣(侯建波,2016:176)。盡管不同模態并無嚴格的組合規則,但其中顯然隱含著某種聯系,彼此之間互相作用共同建構文本整體意義,而譯者的首要任務就是探尋模態之間的各種關系、互動及其功能。

1.1 模態間性:關系、互動與功能

多模態之間除了簡單的毗鄰或共現關系,通常還表現為并列、從屬、互補、矛盾和獨立等關系圖譜。“并列”指兩種模態具有同等地位,語義等價,都是指向同一個事物,如圖像顯示某一建筑,語言則說明它的名稱。“從屬”指一種模態依附于另一種模態以增添附加信息,如一幅山水畫下方的作者簽名,它對于理解繪畫信息本身并非必須的。“互補”指一種模態符號不能充分表達其意義,或者無法表達其全部意義,需要借助另一種來補充(張德祿,2009:26)。二者互相依存,離開彼此可能就會失去意義,如語言文字寫著“開會請往這邊走”,圖像則顯示所指方向和位置,反之亦然。此即所謂“文不足以圖補之,圖不盡而文說之”(周蕪,1985:1)。“矛盾”指兩個模態所攜帶的信息明顯不相關甚至互相排斥,語義上彼此抵觸或沖突,導致文本表面看起來不太順暢。這種情形通常用于幽默或諷刺之目的,如一張顯示聯合國大廈的圖片旁邊寫著“美國國會”。“獨立”指的是每個模態可以獨立存在,表面看來似無聯系,但各自表達的信息均與文本主題相關,它們的組合并未造成信息冗余,而是可以創建更豐富的多模態意義或更宏大的文本主題,如語言文字描述水資源浪費現象,旁邊附有一張非洲黑人小孩嘴唇干裂的圖片。

多模態文本中,不同符號資源如何協同運作產生整體意義,這是文本解讀的關鍵。斯迪克(St?ckl,2004:10)指出,我們似乎比較多地了解單個符號模態及其功能,但對于它們在文本中如何互動、如何組織起來卻知之甚少。在多模態整體框架下,每個模態所提供的信息往往只是局部甚至不相關的,但其存在都有可能會影響其他模態的意義。如果不分析多模態互動就試圖把握文本整體意義甚至僅是語言部分的意義,都是不太可能的。如在一整頁的文字說明上面劃了個“X”或蓋了一個“作廢”二字的印章,意義就完全發生了變化。盡管從模態提供的信息量來看,“X”或印章要比文字少得多,但它卻是起著主導作用的重要模態——然而如果沒有文字部分,這個“X”或“作廢”印章則失去了存在的意義。文字以及文字表面所附加的符號傳遞著不同的意義,對多模態整體做出各自不同的語義貢獻。二者彼此結合,互相作用,產生了全新的文本意義。多模態文本中的不同符號模態可比作時鐘上的齒輪。盡管每一個齒輪都在不停地轉動,但并不能就此確定時鐘正在正常工作,顯示準確的時間。每一個齒輪只有按照某種規則互相嚙合起來進行有效運轉,才能發揮時鐘的作用。因此,就其整體功能而言,齒輪之間的互動與單個齒輪的存在一樣同等重要。從這個意義上講,多模態是不同符號模態在“資源整合”原則下互相作用而產生的新的意義統一體。鮑德里等(Baldry et al.,2005:21)甚至認為“多模態文本意義是各模態意義之乘法而非加法”,強調這一文本結構的意義增值性和乘法效應。在某種程度上,每個模態的意義并不是自給自足的,而是由其他模態或者文本整體賦予的。

不同符號模態以各種邏輯關系組合在一起,通常發揮著意義補充、降熵或強化等作用,在信息傳遞效率方面要優于純語言文本。人類交際過程中,信息傳播具有多種表現形式,同一信息可以從不同的模態符號中獲取。因此,當文本中某一符號模態的概念或意義不清晰、不完整時,可以借助其他模態提供的信息加以確定,或進一步豐富其意義。比如在描寫一個實物的外形時,語言描述可能顯得啰唆冗贅且效果不佳,如果附上事物的圖像,讀者則可一目了然。圖像充當文本交際最直接的參照語境,對文字內容進行補充說明,模態之間互文照應,顯然這是一種非常有效的語用策略。有時候,圖像符號所具有的多元性決定了畫面本身可以存在多種解讀方式,即具有多重表意的潛在可能性(劉佳,2013:80),這種情況下圖像意義可能需要借助語言文字的闡釋方可確定,即語言可以幫助消解圖像的多義性。文本整體借助模態之間的相互作用賦予那些指代模糊的模態符號以明確的所指,消除對方的不確定性,降低其熵值,從而實現“降熵”或“消歧”的目的。此外,不同模態符號還可相互強化,如某一廣告文本中語言模態在推銷“耐克”運動鞋,旁邊附有一幅喬丹的照片。顯然這是在文字推介的同時利用公眾熟知的籃球明星去進一步刺激受眾的視覺器官,進行雙重編碼從而有意地去強化和凸顯前者。

譯者通過分析多模態關系、互動及功能等模態間性建立和完善文本的語義表征,并在語境知識和百科知識的幫助下解讀其隱含意圖。但僅僅做到這些還不夠,他還必須弄清楚,是什么“吸引力”將這些不同的符號模態緊密粘連在一起的。

1.2 多模態關聯黏合劑

多模態文本資源的異質性使它不太可能像語言文本那樣具有統一的語法規則和嚴密的組織結構。不同模態之間的邏輯互動關系或多模態語義表征,顯然不能用“語法”來描述。然而,倘若沒有某種機制將分屬不同模態的內容聯結起來,譯(讀)者為什么會將不同符號成分看作是文本整體的一部分呢?換言之,是什么紐帶將這些不同的模態符號“捆綁”在一起以便進行同質處理的?它們之間究竟暗藏著怎樣的連接方式?顯然,多模態文本中存在某種隱性的內聯機制,正是它將不同模態聯系起來,統轄和協調所有的符號模式。這一“粘合劑”——即統一的多模態準則,其實就是人類交際中的一個基本原則:認知關聯。

自動關聯性認知是人類天生固有的一種心智能力,在與自然界、人類社會和心理世界互動的過程中,人腦總是很自然地將各種事物和現象聯系起來進行解讀。話語交際亦是如此。對于信息接受方而言,說話人每個明示的交際行為都會本能地被認為具有最佳關聯(陳新仁,2011:90),語言交際其實就是圍繞交際意圖而展開的一系列的明示—推理過程,從話語的明示義中識別出隱含義。關聯是交際中最基本的一條原則,這不是因為說話人必須遵守這條準則,而是因為關聯是認知的基礎(何自然,1995:23)。關聯性推理解讀不僅存在于話語交際中,而且還廣泛存在于語言之外其他不同形式的交際過程中。盡管格特(Gutt,2000:25)的“關聯翻譯論”沒有太多關注多模態文本,但也提到了非語言交際。在他看來,語言和非語言交際的區別不在于是否存在推理,而僅在于刺激所提供的明示程度。福塞維爾(Forceville et al.,2014)也曾提出將關聯理論拓展到明示交際中圖像層面的可能性。事實上,語言以外的任何其他符號資源也都隱含著自身的最佳關聯,通過推理的方式參與交際。當不同模態符號出現在同一文本中時,大腦總是會自動地將這些模態所攜帶的信息進行“連接”。關聯無處不在,難怪斯珀伯等(Sperber et al.,1995)強調,關聯性是人類認知活動中統攬一切的具有普遍意義的“綱”。

因此,在多模態翻譯的前期文本解讀中,譯者應該意識到,多模態是文本作者在特定語境下利用各種異質文本資源傳遞特定消息、實現某種交際意圖的最佳組織形式。盡管不同模態似乎在傳遞單獨的信息,但它們之間肯定存在著某種能夠識辨的聯系,而且作者也一定會有意識地使這些信息與接受者產生最佳關聯。鑒于文本形態的多樣性,多模態并不像語言文本那樣有一套語法規則為各個要素建立互動規則,將不同模態聯系在一起的“交際黏合劑”(communicational glue)乃是最佳關聯假設,這是多模態文本中的普遍原則。譯者應基于這一假設,根據文本語境、社會文化語境以及百科知識對多模態關系和文本整體性進行認知推理和解讀,積極尋找不同模態之間各種隱含的邏輯互動關系,以確定文本語義表征,推導出潛在意圖。

與語言文本一樣,多模態文本也是具有一定組織結構和邏輯關系的系統。不同模態之間、諸模態與文本主旨之間都隱含著某種聯系,尋找關聯是理解多模態文本的前提。譯者只有依據關聯原則才能真正揭示不同模態資源如何互動共建文本整體意義。事實上,這只“看不見的手”不僅是理解多模態文本的“鑰匙”,同時也是指導多模態翻譯的重要原則。

2 多模態翻譯意義構建

多模態語用關聯互動解讀是多模態翻譯的準備階段,解讀的結果充分揭示了不同模態符號之間互相影響、互相制約、彼此關聯、相伴而生的文本復雜性。譯者接下來需要認真考慮的是如何將這種邏輯互動關系原樣轉移至目的語文本以構建多模態翻譯意義。

2.1 圖像模態的文化調適

正如解讀多模態整體意義之前需要單獨分析不同符號意義單元那樣,在多模態翻譯過程中,譯者首先必須“拆解”文本,將不同符號資源“分離”出來逐一進行翻譯。由于語言符號的翻譯已有海量研究,在此無須贅述,而是主要探討圖像符號的翻譯。

人類有“先圖后文”的閱讀習慣,加之現代技術推動下的“視覺文化”盛行,使得圖像在信息傳遞與處理方面越發占據著重要地位。通常情況下,圖像能夠直接作用于人的感官,具有表意迅速、直接逼真的視覺優越性(劉劍,2014:10),能透過視覺而直訴人的心靈(梁實秋,2007:159),給人們提供的內心感受和形象比語言給人們提供的要豐富得多(吳艾玲,2008:89),因此圖像往往具有直觀性、形象性、通識性、易解碼性和無障礙性等諸多特征和表意優勢,不同性別年齡、社會階層、教育程度甚至不同語言文化區域的受眾一般都能根據直覺和常識獲得相似的感性認識,從而譯者似乎產生一個誤區:圖像無須翻譯,可以直接復制。但事實并非如此。對譯者而言,圖像翻譯至少有兩點值得注意。首先,圖像意義解讀的不確定性。在由符號所觸發的意義闡釋穩定性方面,語言文字的理解通常相對具體而明確,而圖像則有可能會導致比較寬泛的潛在解釋(Hagan,2007:52)。這是因為圖像缺乏如語言那樣的語法規定性,其解讀通常具有多元性,因而給譯(讀)者留下較大的闡釋空間,在一定程度上有可能造成表意的不確定性。其次,是圖像運用有時也會受到文化制約。由于文化差異的存在,翻譯過程中某些具有特殊文化內涵的圖像在進入另外一種社會文化中時可能無法傳遞相同意義,或者不能被他者文化完全接受,因而無法在目標文本中直接復制。這就需要譯者對圖像符號進行跨文化轉換和形態再加工。例如某一多模態文本中圖像顯示的是一個人掌心向內,食指和中指呈V型朝向另外一個人,這在英國文化中是一種粗鄙侮辱的手勢,但在漢語文化中卻無此意。譯者需要在理解圖像內涵以及源語文本整體的基礎上,在譯入語文化語境下做出適當的改變或調整,以免弱化或遮蔽原文圖像意指的冒犯性內涵,影響目的語讀者在關聯原則指導下準確識讀該圖像與其他模態符號之間的邏輯語義關系,從而無法正確解讀語境含義和交際意圖。譯者在此可以采取兩種變通解決方案。鑒于圖像意義無法跨越文化邊界,目標文本中可以插入一個內含侮辱性語言的文字框,補充說明圖像意義;或者對圖像進行輕微修改,將其改為僅“舉起中指”這一在譯入語文化中被視為是“侮辱性手勢”的圖像,為譯文讀者提供文化內涵比較接近的圖樣,而無須增加額外的語言內容。這種處理方式可以較好地將目的語受眾可能不太熟悉的文化意象進行轉換,以便再現原文的交際意圖(莫愛屏等,2014:112)。圖像符號攜帶的文化信息越豐富,翻譯難度就越大。譯者必須諳熟兩種文化,借助現代技術,對圖像模態進行“本地化”調適,使目的語讀者獲得與源語讀者相似的圖解和文化感受。圖像的這種“變形”是順應譯入語文化而使文本整體獲得意義的方式之一,譯者必須充分意識到多模態文本中單個符號資源的轉換對翻譯意義建構的介入作用。

模態本身會產生意義,而模態之間的相互作用也會產生意義(Kress et al.,2001:14)。在結合了語言和圖像的多模態文本中,理想的翻譯不僅反映了對單個模態的感知,還有對二者之間互動的感知,即圖像和文字結合時做了什么(O’Sullivan,2006:113)。因此,多模態翻譯不僅關涉單個模態的意義傳遞,更要考慮不同模態之間的邏輯關系及其互動給翻譯帶來的影響。

2.2 模態互動的文本映射

威爾遜(Wilson et al.,1988:138)認為,單語環境中兩個話語在特定語境下經過解釋后是相似的,它們共享分析含義和語境含義。格特(Gutt,2000)基于斯珀伯等的解釋相似性概念,指出翻譯也是一種“語言解釋性運用”,準確地說是“語際解釋性運用”。從關聯理論的角度看,譯文實際上就是文本闡釋的具體表現(莫愛屏,2010:159)。這意味著為了與原文本具有解釋相似性,目標文本應與之共享相似的分析結構(即語義表征),才有可能產生相似的語境效果(即明示義和隱含義)。翻譯多模態時,鑒于文本的語境含義是建立在它的語義表征之上的,這就要求目標文本在其自身文化語境下盡可能準確再現源語文本的語義表征尤其是模態間的邏輯互動關系,使譯文讀者能夠進行與原文讀者相似的關聯解讀,產生相似的語境效果,從而獲取相同的交際意圖。那么,多模態目標文本如何才能實現與源語文本相似的語義表征,譯者如何將模態之間的關系、互動、功能等一并復制到目標文本中呢?

譯者如果認為只要將不同模態逐一進行翻譯便算大功告成就大謬不然了,因為這種觀點顯然沒有考慮到多模態翻譯最本質也是最困難的環節:模態關系的文本映射。正如多模態意義并不等于各模態意義的簡單總和,多模態翻譯也絕非僅是各個模態翻譯的直接堆積,譯者還必須考慮如何譯出模態之間的“互動關系”。多模態翻譯過程中,由于兩種語言不同的編碼系統以及目的語讀者可能缺乏文本理解所需的社會文化語境或相關百科知識,模態的直接翻譯有時可能無法指引目標文本讀者對多模態的語義表征進行預期解讀。為此,譯者需要在順應對方文化的基礎上對目標文本的顯性內容、隱性內容或組織結構等文本資源或語境參數進行選擇、修改或重置,進行“二度編碼”,以彌補文化缺省而造成的信息闕失、不對等或者解讀偏誤,努力引導目標文本讀者關注文本元素之間、語境參數之間以及文本與語境之間的潛在關系。譯者采取何種策略重組和構建多模態目標文本,取決于這些策略和方法是否有助于實現多模態邏輯互動關系的語際映射和文本間的最佳解釋相似性。例如,在一個關于醫院就診場景的多模態文本中,顫顫巍巍的老者手中拿著檢查單,上面寫著“孤獨癥”,而醫生將一張寫有“處方箋、當歸、每周二次”的處方單遞給老者身旁面帶羞赧狀的兒子。基于文本關聯解讀,譯者可以發現圖像和文字兩種符號模態之間為互補關系,其意義不確定性(年輕人羞赧狀的原因以及漢語文化中“當歸”的雙關語義)正是依賴對方的存在才得以消歧和化解。二者互相作用,彼此降熵,在認知關聯粘連下進行功能性結合,構建多模態意義,傳遞文本潛在意圖,即建議老者的兒子應當“常回家看看”,多點時間陪陪老人。譯者如何翻譯圖像和文字兩種符號模態之間的這一“互補”關系至關重要,因為它關涉到譯文讀者通過模態間的互動進行正確的關聯解讀和邏輯推理,從而領會文本的真正意圖。鑒于圖像在中西方文化中認知理解上的相近性,人物圖像可以采取零翻譯的方法直接復制到目標文本中,但較難處理的是文字當中“當歸”這一雙關語(“藥材”義與“應當歸家”義)的文化理解與正確處理。考慮到文本語境以及文化與語言的雙重差異,此處“當歸”可譯為“LOVAGE”(一種多年生傘形科歐當歸屬的植物,其葉可作藥草),以貼合醫院就診這一基本場景。與此同時,譯者可將該詞人為拆分成兩個部分“LOV”和“AGE”,并把它們設置成不同的顏色,使同一單詞在視覺感觀上形成兩種不同的視覺組合和表達效果,讓目的語讀者產生兩種不同的意義解讀(“藥草”義與“關愛老者”義)。這樣在目標文本中就有了與原文本類似的兩種意義不確定性(年輕人羞赧狀的原因以及“LOVAGE”的雙重含義)。譯文讀者同樣基于關聯原則,根據文本語境以及自身文化背景進行與原文讀者相同或近似的推理解讀,探明圖像與文字之間的“互補降熵”關系,進行意義消歧,從而實現模態互動的文本映射。譯者對“LOVAGE”一詞進行靈活處理,就是想在文字與圖像之間預設和搭建關聯,等待讀者在其自身社會文化語境下去挖掘、識別它們。譯者若無此積極策略,讀者是很難發現模態間關聯互動關系的。從這個意義上講,譯文的成功與否,并不在于譯者是否遵循了某種翻譯原則或理論,而是取決于是否遵循認知關聯原則(Gutt,2000:199),翻譯本質上就是一個明示—推理的交際過程(Sperber et al.,1995)。

譯者處理不同符號資源及其互動關系的最終目標就是為了實現語(符)際解釋相似性。通常來說,不同模態符號之間的邏輯互動越復雜微妙,譯者處理起來就越困難;模態互動的文本映射性越充分,其解釋相似性就越強,翻譯意義實現的可能性就越大。

2.3 多模態翻譯意義構建

多模態文本的翻譯行為顯然已經超出了傳統意義上的翻譯概念和內涵(謝天振,2015:14),傳統線性的、文字的文本概念不能對所有的多符號文本現象做出解釋(Gambier,2006:3)。基于上述多模態解讀與翻譯分析,我們嘗試建立多模態翻譯的一般框架(如圖1)。

模態的界定此處暫不探討。通常情況下,文本中只要出現兩種及以上不同的符號形態,甚至是同一符號內部呈現某種變化用以傳遞特定含義時,即可視為多模態。如圖所示,該框架的左邊為多模態的解讀部分。譯者在確定多模態符號構成的基礎上,根據關聯原則著重分析并確認各個模態之間的邏輯互動關系是屬于并列、從屬、互補、矛盾或獨立等關系圖譜當中的哪一種類型,發揮著意義補充、消歧、降熵或進一步強化等功能,旨在充分理解多模態信息的生成過程。基于文本解構,譯者從左至右開始進行多模態意義的文本重構,具體表現為原文本中不同的模態(模態a、模態b、模態c)及其互動關系(互動1、互動2、互動3)皆以虛線箭頭的方式對應地投射到右邊的目標文本中,且其中各模態仍以關聯為主線粘連在一起。理想狀態下,右邊部分的各模態及其相互關系應是左邊部分的鏡像映射,以實現文本的語際解釋相似性,但在實際翻譯過程中,要實現這一點卻非易事。鑒于語言文化差異,多模態之間的語用互動關系并不會隨著單個模態的翻譯而自動同步移植。這就需要譯者充分發揮主觀能動性,在順應目的語文化語境的前提下,通過創造性的文字改寫或圖像變形等策略與技巧(如“模態a”變為“模態a′”“模態b”變為“模態b′”“模態c”變為“模態c′”),創建模態間的認知關聯和互動關系,使目的語讀者在譯者所營造和仿制的文本語境中可以身臨其境地體驗與原文讀者等同或近似的認知過程和解讀結果。可以說,多模態翻譯過程中,變化的是模態符號,不變的是模態間的語用互動關系,前者服務于后者。譯者必須從靜態的源語文本中發現這些動態的關系,再將這些關系投射到目的語文本中。

圖1 多模態翻譯一般框架

多模態翻譯通過文本重構來實現意義再生,而模態以及模態間互動關系的完整映射則是翻譯意義產生的根本保證。意義建構是文本所有元素合力作用的產物,同時也是譯者個體在順應多模態特征和雙語文化基礎上認知和創新的結果。

3 結語

特定歷史階段的主流翻譯對象是形成該歷史階段主流譯學觀念的重要制約因素(謝天振,2009:viii)。長期以來,圍繞宗教典籍、文學名著和社會科學經典的翻譯實踐及其理論研究導致翻譯被視作是“將文字和意義從一種語言轉換到另外一種語言”(Taylor,2013:99)。現代技術進步與交際方式的改變在帶來文本形態變化的同時,也催生了新的翻譯對象和譯學思考。形式上異質的多模態文本通過認知關聯粘連起來,協同構建內容同質的文本結構。譯者的主要任務就是尋找關聯,識別模態之間的各種邏輯互動關系,建立和完善語義表征,推斷出文本交際意圖。多模態互動建構了文本意義,而多模態翻譯就是解構和還原這些關系。為此目的,譯者應借助各種手段和方法,努力創設各種關聯,幫助目的語讀者識別模態間的互動關系,使其通過相似的認知推理獲得相同的明示義和隱含義,實現翻譯意義的成功構建。多模態翻譯拓展了多模態和翻譯兩個不同領域的研究范疇,同時也給譯者提出了更高的要求。語際翻譯開始向符際翻譯真正轉變的時代已經來臨。