社會符號學研究中的多模態話語構建

摘 要： 近年來， 隨著多媒體的發展，話語的多模式性日益凸顯出來，應運而生的多模態話語分析逐漸成為語言學研究的熱點之一。本文在以Halliday的系統功能語言學上發展起來的視覺圖像語法為理論基礎，以中國2008年北京奧運會會徽為例，進行多模態話語的社會符號學分析，揭示文字與圖像共同作為社會符號的表意功能。

關鍵詞： 社會符號學 多模態話語 話語構建 北京奧運會會徽

隨著多媒體的發展，語篇研究日趨呈多模態化，應運而生的多模態話語分析逐漸成為語言學研究的熱點之一。胡壯麟指出，在人類進入社會符號學的多模態化的新世紀，對多模態識讀能力的培養應引起重視。本文嘗試運用多模態話語分析方法，以中國2008年北京奧運會會徽為例，進行多模態話語的社會符號學分析，探討圖像作為社會符號和語言作為符合如何共同作用構成意義的手段和方法。

一、多模態話語分析及其理論基礎

1.多模態話語的普遍性

首先提出“多模態話語”（multimodal discourse）的是Kress和van Leeuwen。然而，話語的多模態（multimodality）并非是一個新現象，而是人們一直以來在實踐甚至理論研究中總是趨向于關注一種模式而忽略其他模式，人為地將各種交際模式區分劃界，導致單一模態研究成為主流，例如，語言學家只關注語言表達，而將文本中出現的圖像留給藝術家去分析。圖像建構的意義以及只有通過兩種模式共同作用才能表達的意義就被置于邊緣地帶或者完全被忽略。但人們往往只關注語言，而將其他的意義建構模態（如語音、語調、環境等）歸為副語言特征或語境因素，或干脆認為其他模態（如文字的排版或書寫方式等）與語言研究無關。實際上，這些符號模式也參與意義表達，只是它們屬于意義構建的不同層次。“語言使用，不管是口語還是書面語，總是不可避免地由多種交際模態構建”（Scollon Levine ，2004），所以，“所有的文本都是多模式的”（Kress van Leeuwen，1998：186）。

2.多模態話語的社會符號學分析理論

多模態話語分析是近十年來發展并活躍于西方的一種新的話語分析方式。系統功能語言學以韓禮德的功能語言學為基礎，把對語言社會符號性（Halliday）的研究重心轉移到圖像（O’Toole Kress van Leeuwen）、聲音（van Leeuwen）、動作（Martinec）等多模態的交際手段的研究。其中最為突出和具有代表性的是克瑞斯和勒文（Kress van Leeuwen）所構建的分析視覺圖像的語法框架，從而為多模態話語分析提供了理論依據和分析方法。

多模態話語分析理論的出發點是：語言是社會符號，是以Halliday的功能語法為基礎，把語言作為社會符號所具有的三大元功能延伸到除語言之外的其他符號，并把包括語言在內的各種符號看作是各自獨立而又相互作用的符號資源，在分析語言特征的同時強調圖像、顏色、聲音和動作等視覺、聽覺和行為方面的符號模態在話語中的作用。其主要觀點是隨著社會的發展和科技的進步，特別是隨著數字、網絡和多媒體技術的廣泛使用，傳統語法認為是副語言的圖像、顏色、聲音和動作等符號在現代交流中不再處于輔助位置，而是正在和語言符號一起形成更為寬泛的符號資源共同參與構建意義。現代人類的交流不再是單一模態的交流（monomodal communication），多模態交流（multimodal communication）已經成為主流。按照社會符號學家（Hodge Kress，1988：6）的觀點，意義如此強大和廣泛地存在于視覺、聽覺、行為、表情和動作等其他社會符號的資源系統中，只注重語言文字是遠遠不夠的，因為沒有一個單一的符號能夠被孤立地完全理解。從嚴格意義上說，現實中“所有的交流都是多模態的”（Baldry Thibault，2006；Kress van Leeuwen，1996）。

在克瑞斯和勒文的研究中，語法被延伸到包括視覺模式。他們認為：“正如語言的語法決定詞如何組成小句、句子和語篇，視覺語法將描寫所描繪的人物、地點和事物如何組成具體不同復雜程度的視覺的陳述。”在將圖像也看作社會符號的前提下，他們將韓禮德功能語言學中的純理功能思想延伸到視覺模式，創建了以“再現意義”、“互動意義”和“構圖意義”為核心內容的分析圖像的視覺語法（the grammar of visual design）。

二、北京奧運會會徽多模態話語分析

中國2008年北京奧運會會徽圖案形似漢字“京”，表達了中國人民希望舉辦一屆屬于世界的、多元文化融合的奧運盛會的強烈愿望。北京奧運會會徽構成一個多模態文本。

1.會徽釋義

北京奧運會會徽名為“中國印·舞動的北京”，將中國特色、北京特點和奧林匹克運動元素巧妙結合。其將中國傳統的印章和書法等藝術形式與運動特征結合起來，經過藝術手法夸張變形，巧妙地幻化成一個向前奔跑、舞動著迎接勝利的運動人形。會徽傳達了三層信息和含義：一是以中國傳統文化符號——印章（肖形印），作為標志主體圖案的表現形式，選用中國傳統喜慶顏色紅色，作為主體圖案的基準顏色，寓意北京將實現“舉辦歷史上最出色的一屆奧運會”；二是北京張開雙臂歡迎世界各地的朋友，傳遞出13億中國人民和世界和平、友誼、進步事業作出積極貢獻的理念和精神；三是弘揚堅持“以人為本”、以運動員為中心的奧運理念，“更快、更高、更強”的奧林匹克精神。其可謂傳統與創新的成功結合，體育與文化的完美交融，傳遞著“傳統與創新、體育與文化、藝術與科技”的理念。

2.會徽多模態話語分析

北京奧運會徽“中國印·舞動的北京”由意象、文字和數字組成。形似漢字印章“京”的會徽圖案位于圖像的上方，并以紅色為主色調，這些構成圖像的意象部分。意象與美化的數字和字母“Beijing 2008”采用了漢代竹簡文字的風格，以加粗、黑色毛筆體出現，將這一字體的筆劃和韻味有機地融入到“Beijing 2008”字體之中，自然、簡捷、流暢，與會徽圖形和編排在圖像最下方的奧運五環渾然一體。字體與標志主體圖案風格相協調，總體解構與獨立結構比例協調。中國印、漢簡體Beijing 2008和奧運五環三部分之間在布局以及比例關系方面近乎完美。“京”與“Beijing 2008”以及五環的巧妙組合，表現出強烈的中西合璧、多元文化和諧融合的意境，抒發了中國人民面向未來，追求可持續發展的創造激情。

（1）圖像的再現意義

對應于功能語法的概念意義，克瑞斯和勒文提出了多模態話語的再現意義。他們將再現意義區分為敘事的和概念的兩大類。其中敘事的再現包括行動過程、反應過程及言語和心理過程三類。概念的再現則相當于功能語法中所描述的關系過程和存在過程。

李戰子認為：“在圖片中，使圖中的元素形成斜線，通常是強烈的對角線，就形成矢量。矢量是敘事圖像的標志。”在敘事再現的行動過程中，動作者即為發出矢量的參與者。在圖像中，他們通常最為突出。“這可以從尺寸、構圖中的位置、與背景的對比、色彩飽和度或顯著性、聚焦程度，以及‘心理凸現程度’（如人形，尤其是人臉對觀看者來說都具有心理凸現性）等方面來判斷”。

在北京奧運會會徽圖像的意象中，北京的“京”字演化為了舞動的人體，隱含著行動過程的動作者。舞動的“人”形，造型充滿力量與動感，代表著生命的美麗與燦爛。在它的舞動中，“以運動員為中心”和“以人為本”的體育內涵被藝術地解析和升華。會徽中張開的雙臂，是中國在敞開胸懷，歡迎世界各國、各地區的人們加入奧林匹克這人類“和平、友誼、進步”的盛典。表達了活力的北京期待著2008年的狂歡，奧林匹克期待著全人類與之共舞的愿望。在整個圖像中，“京”字圖形是最突出的參與者，被放置在圖像上方的顯著位置，用紅色色調這種高飽和的色彩填充，充分突出了中國2008年北京奧運會賦予全世界人民“和平、友誼、進步”的理念，強調對“京”字圖形隱含的動作者——人的重視和以人為本的積極追求。

（2）圖像的互動意義

對應于功能語法的人際意義，在多模態話語中體現為互動意義。“具體地說，互動意義是關于圖像的制作者、圖像所表征的事物（包括人）和圖像的觀看者之間的關系，同時提示觀看者對表征事物應持的態度”。在實現互動意義時，有四個要素：接觸、社會距離、態度和情態。本文著重分析圖像的情態要素。

“作為互動意義的一個重要組成部分，情態指我們對關注的世界所做出的陳述的真實度和可信度，其體現資源在圖像中非常豐富。同在功能語言學中一樣，情態被歸納為高、中、低三類”。克瑞斯和勒文（Kress van Leeuwen）從色彩飽和度、色彩區分度、色彩調和度、語境化、再現、深度、照明和亮度等八個視覺標記探討了圖像中情態的現實意義的量值。

北京奧運會徽標“舞動的北京”以紅色為主色調，文字以黑色為主色調。在中國傳統文化中，紅色是中國人崇尚的色彩，紅色代表熱烈、莊嚴、喜慶等情感，有中國色的美稱。在這個標志中，紅色被演繹得格外強烈，含有豐富的中國文化特色，代表著生命和新的開始，是中國對世界的祝福和盛情。紅黑這兩種具有高情態的色彩加在一起，賦予會徽圖像以強烈的視覺沖擊力和遠視性，富有生命力，增添了向上、升騰、明快的動感和意蘊，充分表達了中國人民追求可持續發展的創造激情和舉辦一屆屬于世界的、多元文化融合的奧運盛會的強烈愿望。

（3）圖像的構圖意義

多模態話語的構圖意義即對應于功能語法的語篇意義。構圖意義有三種資源：信息值、取景和顯著性。信息值是通過元素在構圖中的放置實現的。任何特定的元素在整體中的角色取決于它是被放置在左邊還是右邊，中間還是邊緣，或者圖片空間的上方還是下方。在克瑞斯和勒文看來，上方與下方具有不同的信息值。如果某些因素被放置于上方，而其它因素被放置于下方，那么置于上方的是“理想的”，而置于下方的是“真實的”。“理想的”指它是信息的理想化的或概括性的實質，因此它是信息的最顯著的部分。“真實的”指更特定的信息，如細節等，或者說更實際的信息。

在北京奧運會徽標圖像中，紅色的“京”字圖形出現在圖像的正上方，英文字母“Beijing”及數字“2008”出現在圖像的中部，奧運五環出現在圖像的正下方。這樣的編排方式是一種縱向三聯畫（vertical triptych）：

ideal

mediator

real

（Kress van Leeuwen，1996：211）

“理想的”（ideal）往往是信息的理想化的或概括性的精髓，因此也是最顯著的部分，“真實的”（real）是具體（如細節等）、更實際的信息（Kress van Leeuwen，1996：193—194）。因此，圖像中的紅色“京”字圖形象征著北京奧運會所倡導的以人為本的積極追求和全世界人民理解、溝通、歡聚、合作的“理想”。奧運會五環標志已為世界熟知，是確定、具體的信息，它所傳遞的世界團結合作、攜手共同發展的理念是每一屆奧運會的宗旨和目的，奧運五環是“真實的”，它提供的信息讓人感覺可感、可信、實際。“Beijing”及數字“2008”是“中介”（mediator），意即通過北京2008奧運會，奧運精神將達到一個新的高度，將出現一種新的世界和平、和諧的圖景，就是被放置于頂部的意象想要傳遞的信息：中國人民期盼五洲同心，共同發展，這也是北京奧運會的目的和理想。

三、結語

本文概述了在數字化時代出現的多模態話語，然后借鑒多模態話語的社會符號學分析理論，即克瑞斯和勒文的視覺語法框架，以中國2008年北京奧運會會徽標的圖像及會徽釋義的文字說明為例，探討圖像和文字兩種模式如何相互作用，成功完成表意。分析證明了語言的圖像、顏色、文字、字樣和印刷版式等符號在現代交流中已經不再處于輔助位置，而是正在和語言符號一起形成更為寬泛的符號資源共同參與構建意義，這也就證明了多模態話語理論的觀點，即語言之外的其他符號系統也是意義的源泉，也和語言符號一樣具有多功能性。

正如胡壯麟（2007）所言，傳統的以讀寫為主的識讀能力在多媒體時代已不夠用。本文力圖通過對北京奧運會徽標的圖像的解讀賞析，實例分析多模式話語，希望能引起更多學者關注多模式話語，以推動多模式話語研究進一步發展。

參考文獻：

［1］Halliday，M.A.K.Language as Social Semiotic［M］.London：Arnold，1978.

［2］David，M. van Leeuwen，T.Global Media Discourse［M］.London：Routledge，2006.

［3］O’Toole，M.The Language of Displayed Art［M］.London：Leicester University Press，1994.

［4］van Leeuwen，T Jewitt，G.Handbook of Visual Analysis［M］.London：Sage，2001.

［5］Hodge，R.Kress，G.Social Semiotics［M］.Cambridge：Polity Press，1988，vi.i

［6］胡壯麟，社會符號學研究中的多模態化［J］.語言教學與研究，2007，（1）.

［7］胡壯麟，董佳.意義的多模態構建［J］.外語電化教學，2007，（6）：3-12.

［8］王銘玉，語言符號學［M］，北京：高等教育出版社，2004.

［9］李戰子.多模態話語的社會符號學分析［J］.外語研究，2003，（5）：1-8.

［10］朱永生.多模態話語分析的理論基礎與研究方法［J］.外語學刊，2007，（5）：82-86.

［11］成文，田海龍.多模態話語的社會實踐性［J］.南京社會科學，2006，（8）：135-141.

［12］顧曰國.多媒體、多模態學習剖析［J］.外語電化教學，2007，（2）.

［13］葉起昌.超文本多語式的社會符號學分析［J］.外語教學與研究，2006，（6）：437-442.

［14］曾蕾.動態多符號語篇的整體意義構建［J］.外語藝術教育研究，2006，（3）：42-48.

［15］曾蕾.從功能語言學角度看“投射”與語篇分析［J］.外語與外語教學，2000，（11）：15-17.

（作者系中南大學英語語言學在讀碩士研究生）