言與非言的多模態隱喻研究

王 鳳

(黑龍江大學，哈爾濱150080)

1 引言

信息時代的到來推動了視覺文化發展，豐富的感知信息不斷刺激人們的認知過程，話語研究進入多模態話語分析階段。多模態話語分析的意義在于可以將語言和其他相關的意義資源整合起來，不僅可以看到語言系統在意義交換過程中發揮的作用，而且可以看到諸如圖像、音樂、顏色等其他符號系統在這個過程中產生的效果，從而使話語意義的解讀更加全面、準確，進而發現人類是如何綜合使用多模態達到社會交際的目的(朱永生2007)。這一趨勢推動了隱喻研究的發展進程。荷蘭學者C.Forceville從視覺層面研究隱喻，開啟了多模態隱喻的先河。國內學者相繼展開多模態隱喻研究:詳細闡述多模態隱喻的界定、起源及研究焦點(趙秀鳳2011);探索在超語言環境中，多模態視角下隱喻意義的構建與理解(謝競賢2011);剖析系統功能理論框架下，圖像隱喻和多模態隱喻的構建和分類(馮德正2011)等。此外，一些學者以廣告(張輝 展偉偉2011)、漫畫(潘艷艷2011)為語料，討論多模態隱喻的圖文關系。在國外，V.Koller著重分析公司品牌的多模態隱喻，從公司話語肯定品牌特性。N.Yu以中央電視臺的一則公益性廣告為分析對象，論述隱喻和轉喻的非言語多模態表征。E.Urios-Aparisi詳細闡釋了在電視商業廣告中多模態轉喻與隱喻的關系，強調模態與次模態的多樣性。F.Yus從認知語言學的角度分析視覺隱喻和言語隱喻的理解過程。還有一些學者以漫畫、音樂、電影為語料，從音頻、畫面、副語言等多模態角度研究隱喻(Refaie 2009，Forceville 2009，Eggertsson ＆Forceville 2009，Zbikowski 2009)。在國內外的研究成果中，將多模態隱喻與語言哲學問題相結合的研究還很少。本文將從語言哲學出發探究多模態隱喻(multimodal metaphor)的研究基礎，闡明多模態隱喻的內涵及其理論基礎，從多模態隱喻視角剖析維特根斯坦在《邏輯哲學論》中強調的不可說與可說的辯證關系，討論文字符號與非文字符號的結合(integrated)，從而印證可說的不可說性以及不可說的可說性。

2 多模態隱喻

隱喻作為語言中的一種普遍現象，古往今來，一直受到學者們的關注。Aristotle在《詩學》(Poetics)中強調隱喻替代論，指出“用一個表示某物的詞借喻他物，或者以屬代種，或者以種代屬，或者以種代種，或者通過類推，即比較”(Aristotle 1995:XXI，1457)。Harris認為隱喻是一種比較，極具想象力地將一個事物由另一個不相似的事物認同，將后者(喻體或意象)的某些特性傳送或歸屬于前者。與明喻或類推不同，隱喻肯定一事物就是另一事物，不僅僅相似而已(Harris 2001)。以George Lakoff和Mark Johnson為代表的隱喻互動論認為，“隱喻的本質是通過另一類事物來理解和經歷某一類事物”(Lakoff＆Johnson 1980:5)，或“概念系統中的跨領域映射”(Lakoff 1993:215)。在其合著的Metaphors We Live By中提出，在人們的生活中隱喻無處不在，不是體現在語言中就是表現在思想和行為里。人們無意識地使用隱喻，隱喻不僅影響人們思想交流的方式，還建構人們的認知和理解過程。離開隱喻，人們將無法生活(Lakoff＆ Johnson 1980:5)。

多媒體及異質載體時代的到來將多模態化引入語言學界，以O’Toole和Kress等語言學家為代表的多模態話語分析(multimodal discourse analysis)強調，摒棄單純以語言(單模態話語)為研究對象，重視諸如圖像、聲音、顏色、動漫等其他模態的意義表現形式與社會文化和心理認知之間的關系。在上世紀90年代初，研究者已發現利用各種各樣非言語模態可以實踐隱喻表征。于是以Forceville為代表的多模態話語分析認知學流派從認知學角度剖析各個模態之間的相互作用及意義表征，提出多模態隱喻。

2.1 多模態隱喻的界定

多模態隱喻指源域和目的域主要通過多種模態實現表征(Forceville 2006:384)。這些模態主要包括:文字、口語、靜態或動態影像、音樂、非言語聲音以及手勢等。每類模態中又包括許多次模態(sub-mode)，例如:靜態或動態影像中還包括顏色、大小、布局等次模態。多模態隱喻系統在利用空間經驗來命名非空間經驗時，運用了聲音、氣味、味道、情感等模態以及諸如顏色、光亮、形狀、角度、質地和空間等次模態實現交際的目的(Forceville 2009)。

多模態隱喻是相對于單模態隱喻而言的，Forceville指出，單模態隱喻是指目的域和源域呈現在同一模態中。常見的單模態隱喻有:文字隱喻、圖像隱喻等。純粹的多模態隱喻指目的域在一個模態中而源域在另一個完全不同的模態中。實際上，目的域和源域同時呈現在不止一個模態中，例如:電影中，概念域呈現于視覺、書面文字、口語、聲音和音樂等模態。Forceville和 Urios-Aparisi引用Mark Johnson的原話說，“經典的認知隱喻研究一直只關注語言體現，這隱含某種偏見:意義只存在于語言符號中。事實上，其他符號或一切藝術形式對體驗意義的構建過程與語言并無二致”(Forceville＆Urios-Aparisi 2009:4)。概念隱喻理論需要將語言符號以外的其他符號系統納入其研究體系。多模態隱喻整合不同的符號，將本來屬于某一領域的符號特征轉移到另一個領域。多模態隱喻是一種跨域映射，是基于不同符號建立的不同概念域聯系。

2.2 多模態隱喻的符號學基礎

多模態隱喻的形成是基于語言符號體系的多層級性之上的。語言符號系統并不是一個形式上和內容相互對稱的系統，在不同的符號過程和意義作用中，同一符號形式可以獲得不同的內容和意義，在交際活動中發揮著不同的功能和作用。多模態隱喻正是人們超越形式和內容原有的規約性限制，在一個更高層面上對多種符號的運用和操作，是人們對不同符號的一種特殊運用形式。此外，多模態隱喻是一種在心理聯想基礎之上賦予事物以意義的思維過程和行為過程。Cassirer指出，“一個符號不僅是普遍的，而且是極其多變的。我們可以用不同的語言表達同樣的意思，甚至在一門語言的范圍內，某種思想或觀念也可以用完全不同的詞來表達”(Cassirer 1944:6)。

2.3 多模態隱喻的空間工作機制

多模態隱喻的工作機制與隱喻的工作機制基本相似。Fauconnier指出，隱喻是連接語言和概念化的一種顯著的、普遍的認知過程，主要依賴源域和目的域兩個輸入空間的跨域映射;不同概念的信息能夠被共同激活，在某種條件下形成跨域聯結，從而導致新的推理，生成新的信息(Fauconnier 1997:168)。Grady等人提出類屬空間(generic space)，他們將源域和目標域視為兩個輸入空間，從中提取部分結構和信息，投射到融合空間(blended space)。在融合過程中可能會形成一個新創結構。將兩個輸入空間的某些結構和信息映射到融合空間，兩輸入空間的共有成分存在于類屬空間，這些信息在融合空間中就會產生新信息(王寅 2007)。

3 言與非言的關系

《辭海》(第四版)對“言”的闡述甚細，其一，“言”即講、說、發言，如:知無不言，言無不盡;其二，“言”又為字，如:五言詩，萬言書。因此，本文著重從這兩層含義討論言與非言的關系，即“文字”與“非文字”以及“可說”與“不可說”的辯證關系。

3.1 文字與非文字的關系

文字與非文字都屬于符號系統，兩者相互補充、相互影響，是實現意義表征的媒介。多模態隱喻旨在把基于文字符號發展起來的理論拓展到非文字的其他符號資源，驗證理論的適用性，從而把意義表征推到一個更高、更廣的符號學層面。多模態隱喻以指稱作為圖式結構，而圖式結構包括視覺感知信息。正是由于視覺感知、聽覺感知等表意符號相互配合和制約，共同誘發了對隱喻的識別、意義的解讀。在多模態視域下分析文字與非文字的辯證關系需要考察符號系統與感知兩者的物質載體，如電視、書籍和廣告等。認知主體需要調動多重感官吸收多模態形式的外部符號。

在異質感官符號的沖擊下，文字在表達意義方面的符號壟斷地位正受到非文字等異質感官符號的沖擊。多模態隱喻主要強調非文字模態視域中的視覺模態(圖片)與文字之間的關系。著名法國符號學家Roland Barthes認為，文本和圖片存在3種關系:(1)文字附屬于圖片。(2)文字與圖片互補。文字文本有助于消除圖片文本的不確定性及歧義。(3)文字強化圖片。在許多廣告、漫畫等載體中，文字往往解釋圖片文本的內容，強化同種關鍵信息的表達(Barthes 1987:25)。

3.2 可說與不可說關系

言即可說的，非言即不可說的。中外古代思想史上有大量關于“言”與“非言”的論述。在中國古代，老子在《道德經》中寫道:“道可道，非常道;名可名，非常名。”在西方，著名的語言哲學家維特根斯坦在《邏輯哲學論》的自序中，開宗明義地說:凡是能說的，都能夠說清楚;凡是不能談論的，就應該保持沉默，即交際過程中恰當地掌握可說與不可說的度。

3.21 可說的不可說性

維特根斯坦雖強調不可說性，但他首先提出“能說的都能說清楚”。只有充分說清楚，才能讓沒說的、說不出的充分顯示，從而把不可言說之事保持在充分的力量之中。無論是可說的還是不可說的都實踐了相應的語言意義。說者在說出字面意義之外，還有其在特定的時間、地點、場合，對待特定人說話的意圖和當時的態度。換言之，說出一句話，除了要表達這句話的字面意義以外，必須同時表達某種言外之意。此外，同一句話還可以表達不同的交往意向。如果缺乏這種不可說的意向，就說不出任何有意義的話。從聽者的角度講，了解“可說的”的意義是為了進一步了解“不可說”的意義，這才算聽懂說話人的意思。聽者如果只注重“可說的”而不顧說者“不可說”的交往意向，那么他最多只是借一句話再現自己的意圖，而沒有真正進入語言交往活動中。也可以說他沒有真正理解這句話的意思。由此可見，在語言交往中，不可說的支配可說的，可說的又促成不可說的表達和理解。

在視覺交際過程，感知器官能夠理解源域和目的域的可說性，同時不能忽視非文字表征的不可說性，即特定的文化價值觀，它是人們行為的規則、思維的方式、認知的準繩、推理的模式、評價事物的規范等。在某種程度上，表達意義的方式是文字或非文字，而意義的闡釋屬于文化范疇，即特定時期的文化涵義。當源域和目的域將可說的輸入兩個輸入空間時，在融合空間會生成“不可說”的新信息。譬如2007年肯德基宣傳雞肉漢堡的宣傳片引起中華文化人士的不滿。肯德基借用徐克電影《七劍》中清修道士的形象及下天山的一個場景進行廣告包裝，并配有廣告詞:“師父下天山，天下必有大事”，此舉引起中華文化人士的不滿。文字符號表達的隱含意義是肯德基新發售的雞肉漢堡好，把在深山修行的道士都吸引過來了。宣傳片中，主人公服飾(非文字符號)映射人物的身份是道士。依據多模態隱喻空間工作機制，在融合空間中形成兩個輸入空間“服飾——身份”對比，進一步推理生成新信息:“道士吃肉”。顯然，多模態隱喻揭示不可說性之中國傳統文化價值觀:道士禁忌食肉。因此，該宣傳片嚴重違背中國傳統的客觀文化規律，忽視可說的不可說性。總之，可說性推動不可說性的表達，不可說性規約可說性的闡釋。

3.22 不可說的可說性

不可說的可說性蘊含著兩個維度:一方面是無言勝有言，另一方面是以言行事的語力，即言外之力。前者雖“沉默”，但能夠清楚地表達話語的意向并實現有效的交流。后者則可通過副語言以及外部環境達到成功地交際。語言表達有時并非通過語言的字面意義來傳遞。字面意義有時起到的只是一種暗示作用。說話者可能通過使用某些非文字手段，例如適當的語調模式等，來作出一種暗示或不僅僅是暗示。因此，說話者和聽話者都知道由說話者說出的語詞的意義并不嚴格地在字面上表達說話者所意謂的事物。說話者所意謂的事物與語句所意謂的事物是不同一的，他所意謂的事物以各種方式依賴于語句所意謂的事物。實際上，他“不可說”的意謂比他可說的更多。例如:This surgeon is a butcher.按照隱喻空間工作機制，在屠夫的輸入空間中，動作的目的是殺死動物以賣肉，而在醫生的輸入空間中動手術的目的是為了醫治好病人，這樣就在融合空間中形成兩個輸入空間“手段——目的”對比，醫生的手術可能具有屠夫的性質(視病人為動物，目的不是為了治療，而是……)。可見，正是通過可說的文字符號表達不可說的新信息:“醫生無能”(王寅2007:474)。

通常，政治漫畫家善于運用視覺模態映射漫畫中“不可說的”，實踐不可說的可說性。政治漫畫是將現實生活中的社會、文化和政治生活以一種幽默、醒目的方式表現出來，漫畫家用圖像和文字符號創造出一個想象的世界(imaginary world or make-believe world)(Refaie 2009)。多模態隱喻的認知則是利用視覺模態將意義由想象的世界映射到現實世界。多數情況下，文字符號在政治漫畫中起到畫龍點睛的作用。政治漫畫旨在揭露生活中可恥陰暗的一面，將不可說的內容通過圖像表現出來。一幅由英國著名政治漫畫家Nicholas Garland繪制的政治漫畫充分映證了不可說的可說性。這幅漫畫發表于2004年美國大選當天(Refaie 2009)。在這幅漫畫中，一位面似布什、身體似嬰兒的男子四肢著地，爬向一個巨大的火柴盒。雖然沒有文字符號，但讀者通過靜態圖像顯然明晰布什被表征為一個嬰兒，此漫畫的目的域是布什，而源域則是嬰兒。在嬰兒的輸入空間中，爬向火柴盒的動作是玩火柴;在布什的輸入空間中，爬向火柴盒的動作意味著他正走近危險。在融合空間中，兩者動作的目的雖然不同，但結果是相同的，都在逼近危險。當讀者看到具有嬰兒屬性的身體時，就會想到學步嬰兒的特征:貪玩、無責任感、沖動、固執……這些恰恰被畫家用來映射美國總統布什不值得信任，才智不佳，婉轉地表達對布什本人能力的不認可。在漫畫界，這種將名人的特點利用想象的存在或物體表征出來的作品比比皆是。

語言模態(書面或口語模態)已經得到充分地關注，同時視覺模態也被提升到理論層面進行研究，一些學者開始強調以非言語的聲音和音樂為源域的多模態隱喻研究。

維特根斯坦在 Philosophical Investigations中提到，音樂主題的理解與句子的理解驚人地相似。因為兩者都只是人類獨具的屬性，都具有時間不可逆性、句法屬性以及利用聲音的特點(Wittgenstein 2001)。他曾提出過這樣的問題，當我們欣賞音樂并理解其主題時，我們實際上在做什么?(Wittgenstein 1980)多模態(語言和音樂兩種模態)隱喻給予我們回答這一問題的敏銳洞察力。因為在隱喻中，語言和音樂的作用不同，建構意義的方式也不同。語言從符號學角度提供了表征事物和關系的方式。通過這些表征，在共享指稱的框架下，我們可以引導他人對事物的注意力。相反，音樂為我們提供聲音模擬的動態過程。這一動態過程包括通過空間的運動(如:音高、低)、身體手勢(如敲打)和情感狀態(如困惑或親密)。從概念融合理論角度，文字和音樂有時會引發兩個獨立且互相聯系的心智空間的建構。這兩個心智空間融合形成新的空間，同時，在這個空間內兩個輸入空間的概念相融合，這個融合空間可以理解為想象的空間。以歌曲“The Way You Look Tonight”為例。歌詞和音樂產生兩類心智空間:一類心智空間由描寫戀人的外貌和抒發浪漫的文本創建;另一類空間是由與之相關的音樂創建。當兩類心智空間相互作用映射到融合空間，就產生親密關系發展的動態表征。引導這些概念實現融合的是類屬空間，它將注意力聚焦在親密的形式。如圖示。

因此，我們可以想象戀人的親密關系，憧憬他們一起跳舞、表達愛意或眉目傳情(Zbikowski 2009:372－375)。通過音域的高低、旋律的變換、節奏的快慢以及歌詞的配合，充分表達了“不可說的可說性”。

4 結束語

多模態隱喻強調文字、非文字、各種媒介共同組成的超語言文本。它以符號學為基礎，通過空間工作機制揭示可說與不可說辯證關系的認知過程。本文以漫畫、音樂、廣告等為語料，通過文字符號與非文字符號的意義表征，運用多模態隱喻理論闡釋可說的與不可說的辯證關系。然而，本文未提及多模態隱喻中的其他非語言符號如副語言、動態圖像等如何實現意義表征，這些內容仍有待深入研究。

王 寅.認知語言學［M］.上海:上海外語教育出版社，2007.

謝競賢.多模態視角下的隱喻——兼評Charles Forceville的隱喻研究［J］.外語學刊，2011(5).

張 輝展偉偉.廣告語篇中多模態轉喻與隱喻的動態構建［J］.外語研究，2011(1).

趙秀鳳.概念隱喻研究的新發展——多模態隱喻研究［J］.外語研究，2011(1).

朱永生.多模態話語分析的理論基礎與研究方法［J］.外語學刊，2007(5).

Aristotle.Poetics［M］.Cambridge，MA.:Harvard University Press，1995.

Barthes，R.Image Music Text［M］.New York:A Division of Farrar，Straus and Giroux，1987.

Barthes，R.Image Music Text［M］.London:Fontana，1977.

Cassirer，E.An Essay on Man［M］.New Haven:Yule University Press，1944.

Eggertsson，G.T.＆ C.Forceville.Multimodal Expressions of the HUMAN VICTIM IS ANIMAL Metaphor in Extreme Horror Films［A］.In C.Forceville＆ E.Urios-Aparis(eds.).Multimodal Metaphor［C］.Berlin/New York:Mouton de Gruyter，2009.

Refaie，EL.E.Metaphors in Political Cartoons:Exploring Audience Responses［A］.In C.Forceville＆ E.Urios-Aparis(eds.).Multimodal Metaphor［C］.Berlin/New York:Mouton de Gruyter，2009.

Forceville，C.＆ Urios-Aparisi，E.Multimodal Metaphor［M］.Berlin/New York:Mouton de Gruyter，2009.

Forceville，C.Non-verbal and Multimodal Metaphor in a Cognitive Framework:Agendas for Research［A］.In G.Kristiansen，M.Achard，R.Driven＆ F.R.de M.Ibáňez(eds.).Cognitive Linguistic:Current Application and Future Perspectives［C］.Berlin/New York:Mouton de Gruyter，2006.

Forceville，C.Pictorial Metaphor in Advertising［M］.London:Routledge，1998.

Harris，R.A Selection of Rhetorical Devices and Literary Terms［Z］.http://www.uky.edu/ArtsSciences/Classics/Harris/rhetform.html

Haskell，E.R.Cognition and Symbolic Structure:The Psychology of Metaphoric Transformation［M］.New Jersey:Ablex Publishing Corporation，1987.

Kress，G.＆ Leeuwen，Theo van.Reading Images:The Grammar of Visual Design［M］.London:Routledge，2006.

Lakoff，G.＆ Johnson，M.Metaphors We Live By［M］.Chicago:University of Chicago Press，1980.

Lakoff，G.The Contemporary Theory of Metaphor［A］.In A.Ortony(ed.).Metaphor and Thought［C］.Cambridge:CUP，1993.

Wittgenstein，L.Culture and Value［M］.Chicago:University of Chicago Press，1998.

Wittgenstein，L.Philosophical and Investigations［M］.Oxford:Blackwell，2001.

Wittgenstein，L.Tractatus Logical-Philosophicus(2nd ed).［M］.London:Routledge，2001.

Yu，N.Nonverbal and Multimodal Manifestation of Metaphors and Metonymies:A Case Study［A］.In C.Forceville＆ E.Urios-Aparis(eds.).Multimodal Metaphor［C］.Berlin/New York:Mouton de Gruyter，2009.

Zbikowski，L.M.Music，Language，and Multimodal Metaphor［A］.In C.Forceville ＆ E.Urios-Aparis(eds.).Multimodal Metaphor［C］.Berlin/New York:Mouton de Gruyter，2009.