多模態語篇分析的社會符號學理據

汪燕華

(廈門大學，廈門361005)

1 引言

傳統的語篇分析把語言符號作為研究對象，關注語言系統和語義結構本身及其與社會文化和心理認知之間的關系，卻往往忽視了諸如圖像、聲音、顏色、動漫等其他意義表現形式(朱永生2007)。而隨著時代的發展，單獨以文字符號構建的語篇已不能滿足意義表達和交際的需要。為了更快捷、有效的傳遞信息，達到交際的目的，語篇創造者運用訴諸于人們感官(視覺、聽覺、嗅覺、味覺、觸覺)的各種模式建構語篇，從而產生多模態語篇。多模態語篇分析是對組成一個語篇或一個交際事件的不同符號模態的分析，它將語言符號和其他相關的符號資源整合起來，旨在通過考察符號各自所體現的意義和符號之間的互動意義，分析和解釋它們是如何共同協作，創造出一個完整的語篇或交際事件的。這類語篇分析既可以推動我們對語言學的研究，同時也可以加深我們對符號學的認識(胡壯麟2007)。本文將通過分析Saussure，Halliday和Kress的符號學理論，明確多模態語篇分析的符號學理據。分析旨在表明:多模態語篇研究是以語言研究為基礎的社會符號學理論擴展至其他模態研究的結果，是符號學理論逐漸社會化的表現;Halliday和Kress的符號學研究是一套一脈相承的、以社會文化和人類心理認知為導向的理論體系，該體系奠基于這樣一種認識，即社會符號學不是一門關于符號研究的純理論，也不是一個自足的理論體系，它在分析社會現象，解決社會實踐問題的過程中得以存在和發展。

2 Halliday的語言作為社會符號的理論

多模態語篇分析要求我們不僅關注語篇內部符號系統之間的關系，還需要我們把它本身看作一個符號系統尋求它和社會及符號使用者之間的關系。在這一點上，Halliday的社會符號學為多模態語篇分析提供了有力的理論基礎。Halliday的社會符號學理論受到L.Hjelmslev符號學理論的啟發。Hjelmslev在實施Saussure提出的建立“研究社會內部符號生命的學科”的任務過程中發現符號不僅包括物質實體(能指)和心理概念(所指)的關系，還包括符號本身與外界符號系統的關系，并且所有符號都要服從更高系統的組織原則。這些表現更高系統的符號具有內涵意義。像其他符號一樣，它具有讓業已存在的符號系統發生作用的潛能。Halliday提出的社會符號系統相當于L.Hjelmslev所說的“具有內涵意義的符號”，它需要通過語言來體現。所有理論系統(科學、哲學和美學等)以及社會規范、法律、意識形態等都屬于語言符號所體現的高一級符號。Halliday同時認為，還有一些社會符號依附語言而存在，如視覺藝術、音樂、舞蹈、著裝方式、飲食以及其他一些意義生成行為，還有圖表、地圖、圖形、數字等等(Halliday＆Matthiessen 1999:606)。可見，Halliday的社會符號學理論擴展了Saussure的語言具有“社會性”的觀點，把語言提升到符號主系統的地位，認為語言是能夠掌控所有符號的生成的符號，而不單單是語言學描寫的符號。這樣，語言作為一個符號同時表述和構建社會結構和制度，而這種表述和構建并不限于語言自身，而且還表現于文化的各個方面。文化正是由許多符號系統構成的意義潛式，如建筑、美術、舞蹈、音樂、文學、民俗、禮儀、商品交換方式等都可以看做符號系統。在這個意義上，語言只是表現社會符號學的許多方式中的一種。另一方面，語言又是一種極為特殊的符號系統，它在表現其他符號的系統中也起了作用，因而是人們賴以締造世界的主要手段，是建構和解構其他符號的媒介。

Halliday的社會符號學思想主要反映在其著作《作為社會符號的語言》中。他詳細論述語言、社會和人的關系，提出“語篇、語境、語域、語碼、語言系統和社會結構”6個反映語言和社會關系的概念。其核心思想是要在社會語境中解釋語言，用語言來建構社會。這6個要素是我們分析多模態語篇的重要依據。和由單一的語言符號構成的語篇一樣，多模態語篇也是人們根據語境所做的有意義的選擇，是意義潛式的實例化(instantiation);語境是多種符號意義生成的環境，其本身也是一個社會符號系統。同時，多模態語篇內部的不同符號系統之間也互為語境，因語域變量(語場、語旨、語式)的不同而生成不同的意義;與由單一的語言符號所構建的語篇所不同的是，多模態語篇的語式更為復雜多樣，涉及到諸如圖像、聲音、色彩、排版和構圖等多種表達意義的方式;語碼在多模態語篇中可以指同一社會文化背景的人所默認的符號系統的組織原則，它是社會系統產生的社會符號類型，具有一定的規約性，它如同一只“看不見的手”，調控著多模態語篇生產、識解和消費的整個過程;這里要強調的是，語言系統在多模態語篇中屬于主系統，人們通過語言系統實現社會結構，確立自身的地位和角色，建立和傳遞共享的價值系統和知識系統，從而將社會符號化。通過解讀這6個要素可以看出，Halliday的社會符號學理論反對過分強調用形式主義的方法研究符號系統，而是主張把語言行為作為實例，并把社會實踐作為經常的、可重復的、可識辨的類型(胡壯麟2007)。它認為社會是有意義的行動所構成的各種社會符號系統，也正是這些符號系統為這些實踐和其他實踐賦予了意義。如果說Saussure把語言作為符號學的一個部分來研究是為了從語言與其他符號的異同中找到語言內在的特質，Halliday把語言作為社會符號的觀點則是為了把語言和語言之外的其他符號系統置于社會文化的大背景下解釋語言的功能。事實上，所有符號系統都是社會文化的一部分，社會文化本身也是一種符號結構。多模態語篇中各個符號的意義只有置于社會文化的大背景中才能得到準確的解讀和界定。

3 Kress的社會符號學理論

雖然Saussure和Halliday都注意到了符號的社會性是闡釋符號意義的必要條件，但他們談論的主要是語言符號。而Kress則把語言符號之外的其他符號納入自己的研究視野，提出旨在解釋所有符號系統意義的社會符號學理論(Kress 1988)。Kress的社會符號學的研究是從分析幼兒對語言、文字和圖像的反應和創造的過程入手的。在此過程中他發現在能指和符號使用者之間存在“動機”關系，動機的產生與人的社會環境有密切關系。在完成著作《作為意識形態的語言》后，他意識到純粹語言符號研究對解釋社會問題的局限性，認為在語言系統之外的其他系統(如視覺、聽覺、行為等其他信號編碼)也同樣存在意義，僅僅探討語言符號的意義遠遠不能解釋社會實踐中存在的問題。可以看出，Kress所提出的社會語言學理論旨在描述和解釋語言符號和其他符號系統的意義生成、傳播和接受的過程。

Saussure認為在符號學中，語言學起一個基準模型(master pattern)的作用。意思是說，其他符號體系的研究可以參照語言學來進行。Kress的社會符號學理論正是建立在語言學研究的理論基礎之上的。他的社會符號學一方面補充完善Saussure的符號學理論，另一方面又借鑒Halliday的語言元功能思想并將之運用到其他符號領域。Kress在分析Saussure一系列二分法之后，發現被Saussure排除在外無暇顧及的恰恰是符號學應該關注的對象，并認為符號學至少應該包括:(1)符號所固有的社會、文化和政治因素;(2)與語言符號并存的其他符號系統;(3)言語行為;(4)符號的歷史、發展和演變等歷時性特征;(5)符號化過程;(6)所指的結構;(7)符號的物質屬性(Kress＆Hodge 1988:18)。

在Kress看來，語言符號與其他符號系統之間有著千絲萬縷的聯系，任何一個符號意義的生成和理解都不能與其他的符號系統隔離開來，而必須將它放置在一個更為廣闊的、由所有符號系統共同建立起來的背景下闡釋，因為這些符號系統本身就是社會活動的一部分。在談到語言學理論和其他符號系統之間的關系時，他認為，語言學理論的潛在價值可以在解釋其他符號系統的過程中得到體現，而這種解釋只有在和社會實踐接軌后才能產生效果。

Kress不僅拓展Saussure和Halliday的符號學思想，還將他的理論思想運用到視覺符號的分析當中。Kress的社會符號學理論實踐主要體現在他與van Leeuwen合作的著作《閱讀圖式》(Kress van＆Leeuwen 1996)中。Kress運用系統功能語法關于語法的解釋來構建視覺語法。Halliday指出，“語法是再現經驗的模式的手段……它是人類建立關于現實的心理圖像，并理解發生在他們周圍和自身內部的經驗(Halliday 1985:101)。也就是說，語法是制造意義的資源，而不是一套決定對錯的形式規則。Kress和勒文將Halliday對語法的定義延伸到視覺符號，認為，“正如語言的語法決定詞如何組成小句、句子和語篇，視覺語法將描寫所描繪的人物、地點和實物如何組成具有不同復雜程度的視覺的‘陳述’”(Kress van＆Leeuwen 2006:1)，視覺圖像和語言符號一樣都是社會文化的產物，是人們在生產和闡釋社會現象用來創造意義的認知資源。圖像中的視覺符號不僅可以反映客觀世界和主觀世界發生的各種事情，而且可以表現各種各樣的人際關系，與此同時視覺符號內部也是一個有機的連貫的整體。因此可以借用Halliday的語言元功能，分別從概念功能、人際功能和語篇功能三個不同層面分析圖像等視覺符號的語義關系(Kress van＆Leeuwen 2003)。Kress不同意Barthes所說的對圖像的理解是依賴語言而獲得的，而是認為圖像和文字說明雖然有聯系，但并不依賴文字說明，因為它本身既是有組織的又是又結構的(Kress van＆Leeuwen 2006)。他同時強調，“視覺結構并不只是對‘現時’結構進行復制。恰恰相反，它們生成的現實世界的各種圖像，與那些生成、傳播和閱讀這些圖像的社會機構的利益是緊緊聯系在一起的。它們是表達意識形態的。視覺結構決不只是形式的，他們在語義上也是非常重要的”(Kress van＆Leeuwen 2006:46)?？梢姡恳环N圖形都有其特定的含義，我們稱之為“圖形語義”，即圖形在“說什么”。的確，直到今天，我們還可以依靠刻劃在阿爾塔米拉石窟的野牛圖形和半坡遺址的彩陶魚紋等稚拙的圖案來研究和理解遠古時代人類的生存狀況。因此，在多模態語篇中，圖形語義和語言是相互作用并互為語境的;它們的共同協作才能更好地表現語篇創造者和交際事件的意圖。

4 結束語

社會符號學的宗旨是在社會實踐中探索意義的生成。任何意義，無論是語言文字的意義還是其他符號系統(視覺、聽覺、嗅覺、味覺、觸覺)的意義，以至抽象的模型、結構、主體意識都是它所要研究的對象。通過分析Saussure，Halliday和Kress的符號學理論，我們發現多模態語篇分析的理論是基于Saussure對符號具有“社會性”這一論斷之上的。Halliday的“語言是社會符號的理論”(Halliday 1978)是對此論斷的擴展。須要指出，Saussure和Halliday的符號學理論是以語言符號為分析對象從而探討符號的共性和意義。這些共性是多種模態共存于同一語篇的基礎。Kress的社會符號學理論融合Halliday語言作為社會符號的思想，發展并創立旨在解釋所有符號意義生成和傳播的符號學理論。這一功能語言學的發展，關注的是特定于某一文化、某一社團的符號實踐，它推動多模態表達的研究，最終形成能夠包容多種模態意義生成和解釋的社會符號學理論，為多模態語篇分析提供直接的理論來源。

胡壯麟.社會符號學研究中的多模態化［J］.語言教學與研究，2007(1).

索緒爾.普通語言學教程［M］.北京:商務印書館，1980.

朱永生.多模態話語分析的理論基礎和研究方法［J］.外語學刊，2007(5).

Halliday，M.A.K.Language as a Social Semiotic［M］.London:Amold，1978.

Halliday，M.A.K.An Introdiction to Functional Grammar［M］.London:Amold，1985/1994.

Halliday，M.A.K.and C.M.L.M.Maatthiessen.Construing Experience through Meaning［M］.London＆New York:Cassell，1999.

Kress，G.＆ Leeuwen，Theo Van.Reading Images The Grammar of Visual Design［M］.London:Routledge，2006.

Robert，Hodge.＆ Kress.Social Semiotics［M］.New York:Cornell University Press，1988.

Saussure，F.de.Course in General Linguistics［M］.London:Gerald Duchworth ＆ Co.Ltd.，1916.