多模態隱喻意義理解的制約因素研究

朱菊芹

(四川外國語大學 國際關系學院，重慶 400031)

0 引言

在20世紀，隱喻研究經歷了兩次歷史性的轉變。第一次轉變是20世紀80年代美國語言學家Lakoff和Johnson發起的。他們于1980年出版的具有劃時代意義的《我們賴以生存的隱喻》實現了從傳統的隱喻理論研究向當代隱喻理論研究的轉變。語言學界通過30多年的理論和實證研究，就隱喻的概念性、思維性和體驗性本質達成了一致意見。其后，不少語言學家開始探索隱喻與思維的關系問題(Gibbs,2008;Lakoff et al.,1989；Turner,1987)，但也有學者指出假如隱喻是一種思維和行為方式，語言只是概念隱喻的外在表現形式(Lakoff et al.,1980)，那么僅依據語言符號所構建的概念隱喻理論必然是片面的，仍有待進一步充實完善(Forceville，1996,2008)，因為在人類眾多交際符號中，語言只是其中一種，其他如線條、顏色、聲音、空間布置等交際媒介和非語言資源也可用來表達和構建概念。與此同時，信息技術的迅猛發展、交際手段的多模態化，激發了研究者對多模態化話語的興趣。1996年Forceville出版的博士論文《圖片隱喻》開辟了隱喻研究的新視角，推動了隱喻研究的第二次歷史轉變，將從語言資源的概念隱喻研究推向語言資源和非語言資源共同作用的多模態隱喻研究。

2009年，Foraceville等出版了論文集 《多模態隱喻》，收錄了多模態隱喻研究的最新成果，標志著多模態隱喻理論的正式形成。從研究視角和學術成果來看，國外學者的研究主要集中于多模態的語類特征、模態之間的互動關系、多模態隱喻的語言化過程、多模態隱喻和轉喻的互動整合等方面。隨后，該論文集的相關研究在國內引發了新一輪的隱喻研究熱潮。近十多年來，國內多模態隱喻的研究主要集中在兩個方面。一是對Foraceville等多模態隱喻理論的評介、隱喻和轉喻關系等方面的研究，如趙秀鳳(2011)和謝競賢(2011)對國外多模態隱喻的研究進行了綜述和介紹；馮德正(2011)從系統功能視角闡釋了圖像隱喻與多模態隱喻的構建過程，指出圖像也具有概念意義、人際意義和語篇意義，具有隱喻潛力。趙秀鳳、蘇會艷(2010)認為，多模態隱喻性語篇意義是在轉喻和隱喻互動基礎上進行的概念合成。二是對多模態隱喻在不同語類中的應用及分析。語類涉及廣告(張輝 等，2011；陳敏 等 2018；黃潔 等，2019)、漫畫(潘艷艷，2010；俞燕明，2013；藍純 等，2016；趙秀鳳 等，2017；馬廷輝 等,2020)、電影 (謝靜，2017)及海報(王天翼 等，2015；楊友文，2015)、會話分析(李曉婷,2014,Li et al.,2019;劉玉梅 等,2020)等。目前國內多模態隱喻研究已取得了不少成果，但仍然存在以下幾個方面的局限。首先，國外研究內容相對豐富、研究領域相對寬廣，國內對多模態隱喻的研究還處在起步階段，涉及內容和研究面窄。其次，研究語類多集中在廣告和漫畫，研究語料有限，缺乏系統的研究，研究結果還不具有概括性。再者，對構建多模態隱喻的認知或心理動因、多種模態的協同作用、制約多模態隱喻意義理解的因素等方面的研究還相對薄弱。最后，已有研究或多或少忽視了對讀者的文化背景和個體因素對多模態隱喻解讀的影響研究。因此，本文將借鑒國內外學者的研究成果，嘗試從認知語言學視角探索制約多模態隱喻意義理解的語境、讀者主觀性、語類和文化規約等因素，以消除理解的歧義性、隨意性和主觀性。

1 多模態隱喻

隱喻的實質是借助一個概念域去理解另一個不同的概念域(Lakoff et al.,1980:5)。以“ARGUMENT IS WAR”為例。人們是通過源域“WAR”的結構系統來認知和概念化目標域“ARGUMENT”。Panther(2006:162)認為，隱喻是基于始源域和目標域意義之間的相似性關系而建立的。以上研究更多觀照的是語言層面的隱喻現象。而多模態隱喻是指用兩種或兩種以上模態來體現源域和目標域映射的隱喻現象(Forceville,2009:4)。人類通過五種感知渠道獲得視覺、聽覺、觸覺、嗅覺和味覺五種交際模態，而多模態隱喻的實現主要是借助聽覺模態和視覺模態來實現的。在多模態語篇中，兩域之間的相似性或是客觀存在的，或是通過設計者故意違背常規主觀地創造出來的。人類對具體事物和現象的理解和體驗來自我們身體的感知。Forceville (2009:31) 認為，感知上的相似性突出體現在聲音和視覺上的相似關系。兩個實體如果在形狀、大小、顏色、質地、位置等方面相似或相近通常會被感知為相似。同樣，實體表層相同的呈現方式也會被感知為相似。例如，“美國新聞是恐怖小說” 隱喻的構建是因為新聞報紙和恐怖小說在漫畫中被并置于書架上。隱喻設計者故意違背常規通過“置換”(replacement) 把B放到本該屬于A的圖式空位，通過情景創造出相似性。再比如，在一幅關于人口不均衡之憂的漫畫中，用山置換70億人口，構建“山是70億人口”的隱喻。地球通過擬人化處理來突出龐大厚重的山壓在地球頭上，地球呈現出一副痛苦不堪的樣子。這個多模態隱喻表達了過剩人口給地球帶來的巨大壓力，表現了漫畫家對人口發展不均衡現象的關注和焦慮之情，起到了呼吁、召喚和認同的功能。即是說，用兩種不同模態呈現的兩個事物，通過同時凸顯源域與目標域也可誘發兩者間的相似性。比如，視覺上的恩愛夫妻同時伴隨著聽覺上的孩子的哭啼聲、碗盤的破碎聲和離去的摔門聲，分別暗示婚后的煩瑣家務、矛盾爭吵和家庭的破裂。

可見，多模態隱喻是由兩種以上模態共同參與構建的，各種模態的物理特征豐富了多模態隱喻語篇的交際功能，具有包含行為事件鏈、時空順序的動態性和敘事性特征。“心有多大舞臺就有多大”是中央電視臺播放的一則公益廣告，通過敘事性的畫面和變化的音樂展示了一位熱愛舞蹈的鄉村姑娘從鄉間農田舞向國際化大舞臺的旅程，通過多模態隱喻表達了心懷夢想的中國從農業國家發展為世界強國的征程。對物體和空間維度的直觀感知讓讀者對隱喻概念一目了然，并能激發其情感反應，多模態隱喻的直觀性還能傳達語言隱喻無法表述的視角和情感。

2 多模態隱喻意義理解的制約性因素

由于多模態隱喻的復雜性，其理解必須滿足三個條件。首先，給定它們出現的語境，因為這兩個現象屬于不同的范疇；其次，目標域和始源域能夠被分別辨認出來，并誘使讀者從始源域到目標域映現一個或更多的特征；最后，這兩個現象在兩個以上的符號系統和感知模態中得到一定的提示(Forceville，2008:469)。在很多情況下多模態意義的建構不是約定俗成的，而是與現時的語境和人的百科知識密切相關的(Fauconnier，2002)。

2.1 語境因素

Evans (2006,2009)提出了詞匯概念和認知模態理論(Theory of Lexical Concepts and Cognitive Models)，認為一個詞語對應一個詞匯概念，由詞匯概念提供通達認知模式的一個或多個通達點(access sites)。也就是說，詞匯一般是去語境化(decontextualization)、圖式化(schematization)的規約語言單位(劉玉梅 等,2010)。在無語境的情況下，一個詞語的基本意義、次要意義是依次被激活的。首先通達的是基本認知模式，那么激活的是基本意義。當出現與次要意義相關的探測詞后，注意力被引向次要認知模式，通達的是詞語的次要意義或隱喻意義。在有語境的情況下，語境引導讀者直接通達合適的次要認知模式，從而激活次要意義。隱喻意義的產生是因為讀者無法在基本認知模式中建立始源域和目標域之間的對應關系，這使得我們在次要認知模式中尋找兩者之間的對應關系以解決這一意義沖突(張輝 等，2011:17)。這一關系的建立是由語境決定的，即在始源域的次要認知模式中根據語境提示搜尋與目標域相匹配的概念系統，建構一個有序的連貫的心理表征，完成語言的理解。同樣，語境對隱喻意義的作用和闡釋也適用于多模態隱喻研究領域。

在多模態文本中，語境可以由語言、符號、媒介和模態共同構成。語言和圖片相互補充、相互強化、相互牽制。圖像、聲音等將抽象的內容具體化、形式化，語言則指稱事物及其事物之間的關系，從而吸引解讀者通達到兩域的共同認知框架內的概念系統。語言還可以消除非語言文本中的歧義和多義性問題，確定隱喻內涵,幫助完成概念隱喻和豐富情感的傳達。例如，廣告一般采用圖像代表始源域，文字指向目標域的映射模式。在 “誠邀廣告合作商”的圖片廣告中，位于凸顯位置的棋子轉喻源域“中國象棋”，右上方文字“誠邀全國廣告合作商”指向目標域“商業”。有關中國象棋的基本認知模式與商業沒有直接聯系，好像與整個廣告語境相沖突。但受關聯原則的影響，在語境的提示下，讀者在中國象棋的次要認知模式中尋找與目標域之間的對應關系，隨即在中國象棋的取勝策略和商業中的營銷策略之間建立了相似性，完成了兩域關系的建立、意義表征、跨域映射，從而建構了隱喻意義。

圖1 誠邀廣告合作商廣告

一幅政治漫畫將南非的犀牛、中國的大熊貓和中東的鴿子被從左到右并列擺放，上方文字語境“ENDANGERED SPECIES”將三個事物聯系起來，鴿子并非瀕臨動物也非中東特有，而口銜橄欖枝的鴿子通常被隱喻為“和平”，激活了目標域“中東和平”，從而指向了兩域之間的共同點(或關系)──中東和平像南非的犀牛和中國的大熊貓一樣受到巨大的存在威脅，直觀、清晰的圖像和文字共同作用，構成概念隱喻“中東和平是瀕臨動物”(PEACE IN THE MIDDLE EAST IS AN ENDANGERED SPECIES)。

2.2 主觀性因素

前文指出，隱喻是基于相似性基礎上的跨域映射。這種相似性不僅指預先客觀存在的事物或情景內部的結構特征，還更多地指事物或情景之間及外部的鄰近關系，以及文化規約所賦予事物或情景的態度、情感、愿望等(Forceville,2009:29)。這種相似性可以是客觀的相似，也可能是主觀創造出來的，即主觀的相似。相似性與身體體驗、世界知識和文化信仰有關(K?vecses,2005)。因此，不同的人可能發現相同事物之間存在不同的相似性。多模態隱喻一般都是新奇隱喻，兩域之間的相似性多源于設計者獨特的想法和感知視角。而對于解讀者而言，是在設計者將這兩個截然不同的事物并置后，受關聯原則的影響而想象出來的。Forceville對來自40個不同文化背景的人進行了調查，發現他們對三則IBM廣告的解讀有明顯差異。實證研究表明，文化因素和主觀因素對廣告的理解有著很大的影響。解讀者在識讀多模態隱喻具體實例時，能否全面把握設計者的文化背景、設計意圖及個性特征等是正確解構和闡釋隱喻的關鍵(趙秀鳳，2011:8)。在下面的政治漫畫中，左側是一個裝滿各種垃圾的垃圾桶，周圍零散著空罐頭盒和一些廢物，整個圖像比較模糊，右側的圖像和左側基本相同，只是以更加清晰的畫面呈現。左右圖像下分別標有文字“Television” “High-Definition Television”，圖像和文字共同作用分別指向源域“垃圾”和目標域“電視節目”。從表面上看，兩者并無相似和牽連，是設計者的奇思異想。隱喻解讀者按照關聯原則進行推理，結合語境和創造目的挖掘兩域之間的相似性，對設計者的交際意圖做出合理判斷，從而理解和通達“TELEVISION PROGRAMS ARE GARBAGE(電視節目是垃圾)”的概念結構。

圖2 高清電視，克雷.班尼特漫畫《基督教科學箴言報》

由于多重模態的共同參與，多模態隱喻意義的理解有著極大的歧義性和主觀性。Forceville(2009:30)明確指出，解讀者面對一個非語言或多模態隱喻時，必須使用適當的語言描寫其內涵的概念結構，而這個語言化過程必然帶有解讀者自己的主觀性，勢必不是中性的。多模態隱喻是設計者基于自己的身體體驗和認知世界構建的，而解讀者可能因為缺乏這些體驗和認知以及由這些認知形成的概念信息，從而產生理解的隨意性和主觀性。例如，動畫片《獅子王》講的是一個叫辛巴的小獅子在困難中進行歷練，最終成為叢林之王的故事。源域“動物世界”的認知圖式、概念系統、系列命題和認知模式通過影像、聲音、音樂等多種模態映射到目標域“人類世界”。對于主要觀眾群體兒童來說，辛巴的成長、友情、愛情、責任在自己的認知世界里映射到人類的現實生活，實現理解上的對應，即在人的成長過程中會遇到各種各樣的困難、挫折、選擇和考驗，只有通過努力才能克服困難獲得成功，才能擔負得起家庭的、社會的、民族的責任。而對于成人來說，辛巴的故事在其認知世界里可能激活的是與陰謀、陷阱、弒君、篡位、復仇、決斗、和平相關的認知模式，也可能是有關生命輪回、智慧傳遞的認知模式(戴理敏 等，2013：35)。因此，多模態隱喻的理解與解讀者的個人體驗、世界知識和經驗密切相關，不同的解讀者對同一命題或概念的認知模式也有可能存在著差異。

2.3 語類因素

語類是一個通過語域來實現的有步驟的、有一定目標的社會過程(Martin,1992:505)。每個語篇都要在某種語境中實現一種特定的交際目的，而交際目的又決定了語類的存在。但由于文化差異的原因，不同的目的可以由不同的語類來實現，從而形成了不同的語類類型，如廣告、漫畫、音樂、電影、口語等。也就是說，交際目的圈定了語類類型的選擇，而某一語類因其特定的表現形式決定了模態和修辭手法的選擇。因此，語類形成了隱喻并主導了隱喻理解的過程，解讀多模態隱喻需要首先辨別語類(Urios-Aparisi,2009:112)。

政治漫畫是將現實生活中的社會、文化和政治生活以一種幽默、醒目的方式表現出來，漫畫家用圖像和文字符號創造出一個想象的世界(imaginary world or make-believe world)(Refaie,2009)。從交際目的看，政治漫畫是對丑惡的社會和政治現象進行針對性地和鮮明地揭露、批判和評論，其目標域常為與政治相關的主體。從形式上看，多采用以圖像、文字相結合的多模態方式，圖像是一個符號，文字賦予其象征意義和價值。從修辭手法上看，幽默、諷刺或夸張的藝術手法通常被用來表達意義和傳遞情感，主要表現為隱喻、對偶、夸張等。不過，隱喻是政治漫畫中最主要的表現手法之一(俞燕明，2013:1)。例如，一幅漫畫是兩個實體骰子和無記名投票箱的疊加，利用政治漫畫的語類特征和百科知識對其進行解碼：骰子是源域，轉喻為“用骰子賭博”，無記名投票箱是目標域，轉喻為“政治選舉”。兩域之間的相似性，即不可預測性隱喻性地映射到目標域政治選舉，再結合政治漫畫批評，揭露丑惡的社會和政治現象的交際目的，解讀者便不難隱喻性地解讀此漫畫為“政治選舉像賭博一樣是不可預測的”。

公益廣告是指不以營利為目的而為社會公眾切身利益和社會風尚服務的廣告。其交際目的是向社會公眾傳播對其有益的社會觀念，以促使其態度和行為上的改變，它具有社會的效益性、主題的現實性和表現的號召性三大特點。商業廣告語篇的目的是說服讀者購買產品，因此廣告設計者會使用各種途徑來凸顯產品的特點和優越性，因此目標域通常為產品本身。從形式上看，多采用圖片、視頻、聲音、色彩等模態，一般采用文字映射、圖像支持目標域的模式(馮德正,2011:29)。多模態隱喻是廣告語篇的普遍特征，現代廣告語篇不但訴諸多模態，而且訴諸新奇隱喻，以美妙、新穎打造感官和概念沖擊力，更有效地達到廣告目的，巧妙地實現產品或服務的正面勸說和訴求(趙秀鳳 等,2010:18)。一則禁煙公益廣告中，兩位吸煙者站在一個大坑里抬頭仰望，身穿長袍表情嚴肅的教父正在為他們禱告，而其他人站在四周低頭觀望，繼續的吸煙行為會讓他們陷入深淵乃至失去生命。公益廣告的交際目的和有關吸煙的圖式知識讓解讀者很快通達“吸煙是自掘墳墓”的概念隱喻。

從語類特點看，電影通過聲音、畫面、音樂、影像、手勢等多種模態的協同作用，以獨特的視角，模擬、提煉、重構和演繹現實的社會生活、精神情感和心理活動，以故事中主要人物的世界展現現實的、活生生的人的世界，使人們可以在一個異常的、具體的多模態語境中直接感知和理解熟悉抽象的人類社會的復雜結構及其本質(戴理敏，2013:34)。在音樂中，歌詞是表征事物和關系的符號系統，帶領聽者通達指稱對象的認知模式。音樂為我們提供聲音模擬的動態過程，包括通過空間的運動(如:音高低)、身體手勢(如：敲打)和情感狀態(如：困惑或親密)(王鳳，2013:15)。文字和音樂是兩個獨立且互相聯系的輸入空間，歌詞通過比喻、反語、舉例等修辭手法來交流主題，音樂通過音域的高低、節奏的快慢、旋律的變化傳遞了歌詞語言部分未能表達的細節和情緒。一幅畫的信息勝過一篇幾千言的文稿，可謂一圖勝千言，一段音樂充分表達了“不可說的可說性”(Wittgenstein,2001)。知曉各類語類特點、交際目的和規約對多模態隱喻的正確理解起著不可估量的積極作用。

2.4 文化因素

概念隱喻理論認為隱喻是基于身體體驗的一種日常思維方式，但這并不是說大多數的隱喻都可以以相似的方式被理解。多模態隱喻研究彰顯了隱喻的動態構建本質(趙秀鳳，2011:8;Pérez-Hernández,2019)。多模態隱喻研究重視隱喻的即時解讀，強調讀者的認知經驗及百科知識、語類圖式、社團共享的文化規約在多模態的協同作用下被激活，隱喻含義才能被解讀出來。事實越來越清楚地表明，隱喻的構建和理解在很大程度上取決于設計者和解讀者的社會和文化背景，以及隱喻所出現的特定環境。

喻體的選擇可以是跨文化的，這體現了人類共有的認知框架和世界知識結構。然而，更普遍的情況是喻體的選擇以社團文化規約為理據，受特定文化語境下理想認知模型的制約(K?vecses,2005;趙秀鳳，2011)。以西班牙Osborn酒廣告為例，以近鏡頭角度拍攝的牛角轉喻“牛”，激活了該文化中“牛”的象征意義，建立了西班牙以及關于酒產地西班牙民族特征的相關聯想(Caballero,2009:89)。而對西班牙文化不熟悉的人來說很難通達到這樣的聯想。再如，根據文化規約，公益廣告“心有多大舞臺就有多大”中，民歌“蘭花花”轉喻“中國”，女孩穿的“中式小棉襖”轉喻“中國傳統農業文化”，男士穿的“燕尾服”轉喻“西方現代文明”。不了解中國民族文化或民族音樂的聽眾很難在兩者之間建立起這樣的轉喻連接關系(Yu,2009:136)。

一個文化的基本價值，與該文化的最基本概念隱喻結構應當是連貫的、一致的。認知語言學認為，概念隱喻是身體體驗和文化背景融合交織的結果，產生于身體體驗，卻受著文化規約的影響。因此，不同文化中，有的概念隱喻是等值的，具有普遍性，而有的概念隱喻是不等值的，具有文化特殊性。廣告“優品嘉人優酪乳”的圖像和文字激活了“女人” “蝴蝶” “產品”三個認知域，是該多模態隱喻的認知基礎。概念隱喻“女人是蝴蝶”和中國傳統文化密切相關，具有文化特殊性。蝴蝶在中國古典文學中具有象征意義，蝴蝶本身的生物屬性、自然風物，文化社團的審美心態和社會觀念等形成了豐富的蝴蝶意象。蝴蝶斑斕的色彩、輕靈的身軀和柔美的舞姿惹人喜愛，加上它無憂無慮、自由自在、自得其樂地飛舞，常給人以豐富的遐想，被人們賦予美好的象征意義。莊周夢蝶、梁祝化蝶、花蝶之戀等經典蝴蝶意象承載了人們對美麗、自由、愛情等的美好向往與追求。“女人” “蝴蝶” “產品”三個認知域之間的一系列的隱喻映射，正是基于中國傳統文化中“蝴蝶”這一特定的文化認知模式，從而達到了產品正面勸說和訴求的目的。

圖3 優品嘉人優酪乳廣告

3 結語

多模態隱喻是在多種模態的協同作用下，通過概念映射等來實現兩域關系的建立、意義的表征、跨域的映射和隱喻意義的構建。這一立體的、復雜的、動態的認知過程使其意義體現也更加多元化。解讀多模態隱喻意義應考慮其構建過程中的實時語境、設計主體、語類特點和文化規約等因素的影響。實時語境在始源域與目標域的概念系統中建構了一個有序的連貫的心理表征。對設計者身體體驗和認知世界的了解，可以消除理解的歧義性和隨意性。交際目的決定了語類的存在，語類形成并引導隱喻的理解。喻體和概念隱喻都具有文化規約性，讀者的認知經驗、百科知識、社團共享的文化規約在多模態的協同作用下被激活，隱喻含義才能被解讀出來。