多模態(tài)話語(yǔ)的社會(huì)符號(hào)學(xué)分析及意義構(gòu)建

【摘 要】本文以Halliday的系統(tǒng)功能語(yǔ)言學(xué)上發(fā)展起來(lái)的視覺(jué)圖像分析語(yǔ)法框架為理論基礎(chǔ)，分析了湖南中醫(yī)藥大學(xué)新校徽的再現(xiàn)、互動(dòng)和構(gòu)成意義，從而指出其中的多種模態(tài)（如語(yǔ)言、圖像、色彩等）之間相互作用與意義構(gòu)建，探討系統(tǒng)功能語(yǔ)言學(xué)理論分析視覺(jué)圖像的可操作性和可行性，以期提高讀者的多模態(tài)識(shí)讀能力。

【關(guān)鍵詞】社會(huì)符號(hào)學(xué) 多模態(tài)話語(yǔ) 意義構(gòu)建 校徽 多模態(tài)識(shí)讀能力

【中圖分類號(hào)】H0-0 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-4810（2013）31-0003-03

一 引言

隨著多媒體和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，話語(yǔ)不再以單模態(tài)的文本形式體現(xiàn)表意，更多的是以圖像、顏色、聲音和動(dòng)作等多種模態(tài)出現(xiàn)來(lái)生成意義等。這種多模態(tài)話語(yǔ)使得人們之間的交際趨于多模態(tài)化和多媒體化的特點(diǎn)，并改變著人際交流方式和意義表達(dá)方式。而傳統(tǒng)的只分析語(yǔ)言和以語(yǔ)言分析為核心的單模態(tài)分析方法，因其難以全面系統(tǒng)地解釋意義的產(chǎn)生與交際，局限性日漸突顯。因此，在人類進(jìn)入社會(huì)符號(hào)學(xué)多模態(tài)化的新世紀(jì)，多模態(tài)話語(yǔ)分析的出現(xiàn)，為話語(yǔ)分析提供了新的視角，極大地豐富了話語(yǔ)分析的研究手段。

近20多年來(lái)，語(yǔ)言學(xué)者以Halliday的系統(tǒng)功能語(yǔ)言學(xué)為基礎(chǔ)，把對(duì)語(yǔ)言社會(huì)符號(hào)性的研究重心轉(zhuǎn)移到圖像、聲音、動(dòng)作等多模態(tài)的交際手段的研究。其中最具代表性的是 Kress van Leeuwen所構(gòu)建的視覺(jué)圖像分析的語(yǔ)法框架。

多模態(tài)話語(yǔ)分析的意義在于它可以將語(yǔ)言和其他相關(guān)的意義資源整合起來(lái)，不僅可以看到語(yǔ)言系統(tǒng)在意義交換過(guò)程中所發(fā)揮的作用，而且可以看到諸如圖像、音樂(lè)、顏色等其他符號(hào)系統(tǒng)在這個(gè)過(guò)程中所產(chǎn)生的效果。本文將以視覺(jué)圖像分析語(yǔ)法框架為理論基礎(chǔ)，對(duì)2013年新啟用的湖南中醫(yī)藥大學(xué)校徽這一集圖像、文字和顏色于一體的多模態(tài)話語(yǔ)文本進(jìn)行社會(huì)符號(hào)學(xué)分析，嘗試性地研究圖像和語(yǔ)言等多種符號(hào)模態(tài)的社會(huì)功能和意義，各符號(hào)模態(tài)如何共同作用構(gòu)成意義的手段，從而說(shuō)明多模態(tài)解讀對(duì)正確理解多模態(tài)話語(yǔ)含義和意義構(gòu)建方面不可忽視的作用。

二 多模態(tài)話語(yǔ)分析的理論基礎(chǔ)

1.多模態(tài)話語(yǔ)

多模態(tài)話語(yǔ)是一種融合了多種交流模態(tài)（如聲音、文字、形象等）來(lái)傳遞信息的語(yǔ)篇。李戰(zhàn)子認(rèn)為，多模態(tài)指的是除文本以外，還帶有圖像、圖表等的復(fù)合話語(yǔ)，或者說(shuō)任何由一種以上的符號(hào)編碼實(shí)現(xiàn)意義的文本。胡壯麟指出，多模態(tài)話語(yǔ)就是由表達(dá)意義的兩個(gè)或兩個(gè)以上的單模態(tài)所構(gòu)成的話

語(yǔ)。朱永生還提到了識(shí)別多模態(tài)話語(yǔ)的兩個(gè)標(biāo)準(zhǔn)：一是看涉及的模態(tài)種類的多少，即視、聽(tīng)、嗅、觸、味“五個(gè)模態(tài)”；二是看涉及符號(hào)系統(tǒng)的多少。

Kressvan Leeuwen認(rèn)為，語(yǔ)篇的多模態(tài)性是當(dāng)今世界交際中使用的各種語(yǔ)篇的一個(gè)重要特征。在當(dāng)今數(shù)字化的時(shí)代，各種交際模態(tài)在信息意義表征上日漸一致，因此，具有多技能的人應(yīng)可同時(shí)進(jìn)行和完成不同的交際形式，即具有良好的多模態(tài)識(shí)讀能力。

2.多模態(tài)話語(yǔ)分析

多模態(tài)話語(yǔ)分析（Multimodal Discourse Analysis）是上世紀(jì)90年代發(fā)展并活躍于西方的一種新的話語(yǔ)分析方式。它以系統(tǒng)功能語(yǔ)言學(xué)理論為基礎(chǔ)，是一種為融合多種交際模態(tài)（如聲音、文字、圖像等）的語(yǔ)篇組織傳遞信息，實(shí)現(xiàn)語(yǔ)篇元功能等多目的的手段和工具，其主要的分析方法是Halliday功能語(yǔ)言學(xué)的視覺(jué)圖像分析的語(yǔ)法框架，嘗試把系統(tǒng)功能語(yǔ)言學(xué)對(duì)于語(yǔ)言研究的方法應(yīng)用到其他的一些符號(hào)資源（如面部表情、手勢(shì)、圖像、音樂(lè)等）的研究上，以克服傳統(tǒng)上只注重語(yǔ)言系統(tǒng)和語(yǔ)義結(jié)構(gòu)本身及其與社會(huì)文化和心理認(rèn)知之間關(guān)系的局限性。多模態(tài)話語(yǔ)分析為語(yǔ)篇分析提供了多種模式和方法，也為語(yǔ)篇中各種意義資源的整合和其各項(xiàng)社會(huì)功能的構(gòu)建提供了理論基礎(chǔ)和實(shí)際指導(dǎo)意義。

3.多模態(tài)話語(yǔ)的社會(huì)符號(hào)學(xué)分析理論

語(yǔ)言是社會(huì)符號(hào)，包括語(yǔ)言在內(nèi)的各種符號(hào)是各自獨(dú)立而又相互作用的符號(hào)資源，因此，在分析語(yǔ)言特征的同時(shí)，還應(yīng)注重聲音、顏色、圖像和動(dòng)作等視覺(jué)、聽(tīng)覺(jué)和行為方面的符號(hào)模態(tài)在話語(yǔ)中的作用。系統(tǒng)功能語(yǔ)言學(xué)除了對(duì)各種語(yǔ)言語(yǔ)篇的分析外，還被應(yīng)用到如視覺(jué)圖像、聲音、建筑設(shè)計(jì)、電子媒體和電影等語(yǔ)言以外的符號(hào)資源和多模態(tài)交際手段的研究。

以系統(tǒng)功能語(yǔ)法中的三大元功能——概念功能、人際功能和語(yǔ)篇功能為參照，把圖像也當(dāng)成社會(huì)符號(hào)的前提下，Kress van Leeuwen構(gòu)建了由再現(xiàn)、互動(dòng)和構(gòu)成三大意義為核心內(nèi)容的視覺(jué)圖像分析的語(yǔ)法框架。其中再現(xiàn)功能對(duì)應(yīng)于概念功能，包括敘事的再現(xiàn)和概念的再現(xiàn)，其中敘事的再現(xiàn)包括行為過(guò)程、反應(yīng)過(guò)程以及言語(yǔ)和心理過(guò)程三類，概念的再現(xiàn)則相當(dāng)于功能語(yǔ)法中所描述的關(guān)系過(guò)程和存在過(guò)程；互動(dòng)功能對(duì)應(yīng)于人際功能，涉及距離、接觸、視點(diǎn)三要素和情態(tài)，三要素能夠共同作用，創(chuàng)造出觀看者和再現(xiàn)內(nèi)容之間的復(fù)雜、微妙的關(guān)系，而情態(tài)在圖像中的資源十分豐富，也是實(shí)現(xiàn)互動(dòng)意義的重要組成部分；構(gòu)成功能則對(duì)應(yīng)于語(yǔ)篇功能，從信息值、取景和顯著性三項(xiàng)資源進(jìn)行分析，信息值是通過(guò)元素在構(gòu)圖中的放置實(shí)現(xiàn)的，取景指的是有無(wú)取景手段，顯著性指的是元素吸引觀看者注意力的不同程度。總之，Kressvan Leeuwen認(rèn)為和語(yǔ)言一樣，所謂的模態(tài)（視覺(jué)的、姿態(tài)的、動(dòng)作的）是在社會(huì)使用過(guò)程中形成社會(huì)資源的模態(tài)，所以符號(hào)資源都具有社會(huì)意義。

三 湖南中醫(yī)藥大學(xué)新校徽多模態(tài)話語(yǔ)的社會(huì)符號(hào)學(xué)分析

多模態(tài)話語(yǔ)分析認(rèn)為所有語(yǔ)篇總是多模態(tài)的，因此多模態(tài)話語(yǔ)分析方法是一套多目的的工具，包括新的思維方式和分析方法。2013年新啟用的湖南中醫(yī)藥大學(xué)校徽集圖像、文字和顏色于一體，是一個(gè)多模態(tài)文本，可進(jìn)行社會(huì)符號(hào)學(xué)分析。

1.校徽釋義

校徽外環(huán)為圓形圖案，融入全球化概念，校徽上部自左而右環(huán)繞標(biāo)準(zhǔn)中英文校名全稱，意在將中醫(yī)藥事業(yè)發(fā)展至全世界，外環(huán)上嵌入120個(gè)齒輪，既象征學(xué)校輝煌的歷史進(jìn)程和傳承，也代表中國(guó)120急救電話，內(nèi)環(huán)圖案以湖南中醫(yī)藥大學(xué)標(biāo)志性校門為設(shè)計(jì)主體，與書籍式底托相互銜接，簡(jiǎn)易通俗的表明教書育人的中醫(yī)行業(yè)和學(xué)校屬性，書本中間為一“中”字，由銀針和書法陰陽(yáng)組成，體現(xiàn)中醫(yī)藥大學(xué)的專業(yè)特征和深厚的文化底蘊(yùn)、學(xué)術(shù)積淀，學(xué)校名稱標(biāo)準(zhǔn)字體采用毛澤東書法，更加體現(xiàn)學(xué)校的湖南特色和中醫(yī)藥領(lǐng)域的權(quán)威。校徽整體采用標(biāo)準(zhǔn)紫檀色，既傳承中醫(yī)中藥基因，也代表中醫(yī)藥的發(fā)展、永恒，象征著湖南中醫(yī)藥大學(xué)熱情洋溢的精神和活潑盎然的生機(jī)。

2.校徽的社會(huì)符號(hào)學(xué)分析

湖南中醫(yī)藥大學(xué)校徽?qǐng)D像由意象和文字組成。因此，可嘗試從Kress van Leeuwen提出的圖像再現(xiàn)意義、圖像互動(dòng)意義和圖像構(gòu)成意義三個(gè)角度對(duì)該圖像進(jìn)行社會(huì)符號(hào)學(xué)的多模態(tài)話語(yǔ)分析，看該多模態(tài)圖像語(yǔ)篇中的文字、圖像以及顏色等各種符號(hào)模態(tài)如何結(jié)合并構(gòu)建再現(xiàn)、互動(dòng)和構(gòu)成意義的。

第一，圖像的再現(xiàn)意義。圖像作為一種符號(hào)模態(tài)，能再現(xiàn)自身符號(hào)系統(tǒng)以外的實(shí)體和這些實(shí)體之間的關(guān)系，這就是Kressvan Leeuwen對(duì)應(yīng)于功能語(yǔ)法的概念意義提出的多模態(tài)話語(yǔ)的再現(xiàn)意義。他們?cè)诮忉寛D像的再現(xiàn)意義時(shí)把圖像區(qū)分為敘事的和概念兩大類。其中敘事的再現(xiàn)包括行動(dòng)過(guò)程、反應(yīng)過(guò)程及言語(yǔ)和心理過(guò)程三類，表達(dá)的是展開(kāi)的動(dòng)作，事件、變化的過(guò)程和瞬間的空間安排。概念的再現(xiàn)是圖像的類別、結(jié)構(gòu)和意義，表達(dá)一種概括的、穩(wěn)定的和沒(méi)有時(shí)間限制的精華，可分為分類過(guò)程、分析過(guò)程和象征過(guò)程。湖南中醫(yī)藥大學(xué)校徽實(shí)際上是一種概念圖像，下面看它是如何體現(xiàn)各種概念過(guò)程的。

李戰(zhàn)子認(rèn)為，概念性圖像的再現(xiàn)意義的分類過(guò)程通過(guò)分類關(guān)系將參與者聯(lián)系起來(lái)，至少有一組參與者將對(duì)另一參與者扮演“從屬”的角色，其中一個(gè)關(guān)鍵的視覺(jué)特點(diǎn)就是從屬者之間的等同在視覺(jué)上是通過(guò)對(duì)稱的構(gòu)圖實(shí)現(xiàn)的。在湖南中醫(yī)藥大學(xué)校徽?qǐng)D像的意象中，標(biāo)準(zhǔn)中英文校名全稱左右對(duì)稱，中間校門、書本和“中”字字符兩相對(duì)等，而整個(gè)校徽是由三個(gè)外粗內(nèi)細(xì)的標(biāo)準(zhǔn)圓環(huán)構(gòu)成，這些參與者聯(lián)系起來(lái)共同體現(xiàn)了湖南中醫(yī)藥大學(xué)校徽的整體面貌。

在分析過(guò)程中參與者具有部分—整體的結(jié)構(gòu)，參與者之一是承載者，即總體，參與者之二是任何數(shù)量的所擁有的特征，即部分。在圖像中，部分和整體并不總是配以同樣的凸顯度。在湖南中醫(yī)藥大學(xué)校徽中，承載者即湖南中醫(yī)藥大學(xué)，是總體，中英文校名全稱擺在凸顯位置，是觀看者關(guān)注的焦點(diǎn)；而參與者之二，部分，即校門建筑、書籍式底托、“中”字字符等，同時(shí)這些部分由大學(xué)中英文名稱環(huán)繞，最外圍又由三圓環(huán)包圍，這樣就突出了中醫(yī)藥大學(xué)的組成結(jié)構(gòu)和整體框架，更清晰地展示了中醫(yī)藥大學(xué)的學(xué)術(shù)氛圍。

象征過(guò)程是關(guān)于參與者是什么或意味著什么。可以有兩個(gè)參與者——其中一個(gè)的意味或身份在關(guān)系中已經(jīng)確認(rèn)，即承載者；另一個(gè)參與者表示意義或身份，即象征性屬性。也可以只有一個(gè)參與者，即承載者。前一種叫做象征屬性，后一種叫做象征暗示。在湖南中醫(yī)藥大學(xué)校徽中，標(biāo)志性校門、“中”字字符、書籍式底托以及三圓環(huán)的外觀結(jié)構(gòu)都形成了一種象征：校門和書本外觀結(jié)合，隱含行動(dòng)過(guò)程的動(dòng)作者，象征著中醫(yī)藥大學(xué)教書育人的中醫(yī)行業(yè)和學(xué)校屬性；“中”字字符由銀針和書法陰陽(yáng)組成，是一個(gè)象征過(guò)程中的承載者，象征中醫(yī)藥大學(xué)的中醫(yī)專業(yè)特征和深厚的文化底蘊(yùn)、學(xué)術(shù)積淀，外環(huán)的齒輪象征著中醫(yī)藥大學(xué)輝煌的歷史進(jìn)程與學(xué)術(shù)傳承。

第二，圖像的互動(dòng)意義。在多模態(tài)話語(yǔ)中，與功能語(yǔ)法的人際意義相對(duì)應(yīng)的是互動(dòng)意義。韓禮德認(rèn)為“互動(dòng)意義是關(guān)于圖像的制作者、圖像所表征的事物（包括人）和圖像的觀看者之間的關(guān)系，同時(shí)提示觀看者對(duì)表征事物應(yīng)持的態(tài)度。”在實(shí)現(xiàn)圖像互動(dòng)意義時(shí)，有四個(gè)要素：接觸、社會(huì)距離、態(tài)度和情態(tài)，本文重點(diǎn)分析圖像的情態(tài)要素。

情態(tài)要素是互動(dòng)意義的一個(gè)重要組成部分，它主要是指某種圖面表達(dá)手段（色彩、再現(xiàn)的細(xì)節(jié)、深度、色調(diào)等）使用的程度，指我們關(guān)注的世界所做出的陳述的真實(shí)度和可信度。圖像的情態(tài)以感官的編碼傾向?yàn)槌霭l(fā)點(diǎn)，可以分為高中低三類。Kressvan Leeuwen從色彩飽和度、色彩區(qū)分度、語(yǔ)境化、再現(xiàn)、深度、照明和亮度等八個(gè)視覺(jué)標(biāo)記探討了圖像中情態(tài)的現(xiàn)實(shí)意義量值的高低。情態(tài)中的每一個(gè)方面都可以看作是一個(gè)尺度，把這尺度和“感官編碼傾向”相互聯(lián)系，強(qiáng)調(diào)的是感官的愉悅（或不愉悅）。湖南中醫(yī)藥大學(xué)校徽采用標(biāo)準(zhǔn)的紫檀色，其屬于高飽和度色彩，代表著穩(wěn)重、踏實(shí)、可依賴和永恒，有利于體現(xiàn)中醫(yī)中藥基因的傳承，也代表中醫(yī)藥發(fā)展的穩(wěn)重、踏實(shí)和永恒，給觀看者一種安定、可靠的情感含義，產(chǎn)生對(duì)大學(xué)專業(yè)建設(shè)、教書育人、學(xué)科發(fā)展和職業(yè)前景的好感及安全感，具有高感官情態(tài)。

第三，圖像的構(gòu)成意義。多模態(tài)話語(yǔ)的構(gòu)圖意義即對(duì)應(yīng)于功能語(yǔ)法的語(yǔ)篇意義。構(gòu)圖意義包含信息值、取景和顯著性三種資源。信息值是通過(guò)元素在構(gòu)圖中的放置實(shí)現(xiàn)的。任何特定的元素因其不同的位置具有不同的信息值，或“理想的”，或“真實(shí)的”。“理想的”指它是信息的理想化的或概括性的實(shí)質(zhì)，因此它是信息的最顯著的部分。“真實(shí)的”指更特定的信息，如細(xì)節(jié)等，或者說(shuō)更實(shí)際的信息。湖南中醫(yī)藥大學(xué)的校徽中英文名稱分別在圖像空間的上下位置，說(shuō)明了中文名稱是概括性的實(shí)質(zhì)，是信息的最顯著的部分，是“理想的”，而英文名稱是更特定或更實(shí)際的信息，是“真實(shí)的”，意味著在湖南中醫(yī)藥大學(xué)就讀能實(shí)現(xiàn)學(xué)子人生的理想，繼而實(shí)際地將中醫(yī)藥發(fā)展推向全世界，給全球人類帶來(lái)希望。然而中醫(yī)藥大學(xué)的中英文名稱相對(duì)于圖像中間的其他元素又是邊緣的，這也反映了邊緣的概括性名稱包括了中間的細(xì)節(jié)（校門、書本、“中”字字符），如此布局也體現(xiàn)了中醫(yī)藥大學(xué)各事物之間和諧融合的意境。顯著性指的是元素吸引觀看者注意力的不同程度，可通過(guò)被放置在前景或背景、相對(duì)尺寸、色調(diào)值的對(duì)比（或色彩）、鮮明度的不同等來(lái)實(shí)現(xiàn)，同時(shí)還受文化因素的影響。在中醫(yī)藥大學(xué)校徽中，“湖南中醫(yī)藥大學(xué)”七個(gè)字是采用標(biāo)準(zhǔn)字體毛澤東書法，字體是繁寫體粗體，一方面彰顯學(xué)校的湖南特色和中醫(yī)藥領(lǐng)域的權(quán)威，另一方面是突出體現(xiàn)中醫(yī)藥這一中華瑰寶的傳統(tǒng)性與獨(dú)到性，同時(shí)英文名字全部由大寫字母拼寫，字體采用Times粗體，代表著湖南中醫(yī)藥大學(xué)對(duì)于校名使用的規(guī)范性。粗體齒輪外環(huán)和常規(guī)細(xì)線雙圓環(huán)形成環(huán)環(huán)相扣的整體構(gòu)圖，增強(qiáng)了校徽的層次感，蘊(yùn)含著中醫(yī)特色的書本托起大學(xué)的標(biāo)志性校門也表現(xiàn)出充分的立體感，吸引著觀看者的注意力。總而言之，校徽內(nèi)聚性、外拓性、向下放射性凝聚了湖南中醫(yī)藥大學(xué)提倡的“文明、求實(shí)、繼承、創(chuàng)新”的校訓(xùn)精神和治學(xué)理念。

四 結(jié)束語(yǔ)

本文以視覺(jué)圖像分析語(yǔ)法框架為理論依據(jù)，從社會(huì)符號(hào)學(xué)角度對(duì)湖南中醫(yī)藥大學(xué)校徽的再現(xiàn)、互動(dòng)和構(gòu)成意義進(jìn)行了嘗試性的分析，進(jìn)而探討了系統(tǒng)功能語(yǔ)言學(xué)理論對(duì)于分析圖像的可行性和可操作性。

參考文獻(xiàn)

[1]Halliday，M.A.K. Hasan，R.Language，Context and Text：Aspects of Language in Social-semiotic Perspective[M].Geelong，Victoria：Deakin University Press，1985

[2]Halliday，M.A.K.Language as Social Semiotic：A Social

Interpretation of Language and Meaning[M].London：Arnold，1978

[3]Halliday，M.A.K.An Introduction to Functional Grammar

[M].London：Arnold，l994：256

[4]Kress，G.van Leewen，T.Reading Images：The Grammar

of Visual Design[M].London：Routledge，1996：183；2006：59、117、148、149

[5]Kress，G. van Leeuwen，T.Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001：2、59

[6]O’Toole，M. The Language of Displayed Art[M].London：Leicester University Press，1994

[7]Martinee，R. Cohesion in Action[J].Semiotica，1998（1/2）：161～180

[8]胡壯麟、董佳.意義的多模態(tài)構(gòu)建——對(duì)一次PPT演示競(jìng)賽的語(yǔ)篇分析[J].外語(yǔ)電化教學(xué)，2006（3）：3～12

[9]胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語(yǔ)言教學(xué)與研究，2007（1）

[10]李戰(zhàn)子.多模態(tài)話語(yǔ)的社會(huì)符號(hào)學(xué)分析[J].外語(yǔ)研究，2003（5）：1～8

[11]朱永生.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法[J].外語(yǔ)學(xué)刊，2007（5）：82～86

〔責(zé)任編輯：肖薇〕