圖文關系及圖像元功能在多模態話語類型中的體現

汪燕華

圖文關系及圖像元功能在多模態話語類型中的體現

汪燕華

圖文關系和圖像元功能體現是多模態話語研究的核心問題。本文通過分析對比圖像學話語、美術史話語、世界歷史話語中圖像與文本之間的關系以及圖像的三大元功能的體現指出：多模態話語中的圖像與文本之間是一種動態的、開放的關系模式，它與話語類型息息相關；圖像的元功能隨著話語類型的不同而呈不均勻的分布。

多模態話語；圖文關系；語類；元功能

一、引言

多模態話語分析是話語分析實踐活動的新發展。而什么是多模態話語，它和一般意義上的話語模式有什么不同則一直是爭論的焦點。本文認為，把“多模態”作為“話語”的前置限定詞旨在強調話語的“物質屬性”，這些物質屬性既包括人類接收信息的多種感官形式，也包括話語生成的表層的、可見、可聽、可觸摸的形式，還包括生成這些形式的技術手段、傳播媒介（有形的或無形的）等等。如果我們把這些因素看作是組成多模態話語的子集的話，一個多模態話語將從以下幾個子集中選擇生成：符號形式（語言、圖像、音樂、姿態）、生產符號的技術手段（手工制作、印刷術、攝影復制技術、網絡技術），以及符號的傳播媒介（二維的，如紙制品、電腦屏幕；三維空間的，如博物館的展廳）。多模態話語分析就是要探究這些子集中的各個因素是如何在相互協助、融合、抵制的過程中實現交際意圖的。比照這三個集合，本文即將探討的圖像學、美術史、世界歷史話語均是由文字和圖像兩種符號形式表征，其生產符號的技術手段是印刷術，符號是呈現在紙質媒介之上的或者說是通過紙質得以傳播的。本文將通過分析三類話語中圖文關系以及圖像元功能的體現探討它們與話語類型的動態關系。

二、圖文關系研究的語言學視角

圖像與文本的關系是一個古老的問題，也是圖文并置話語分析的關健問題。哲學、社會學、認知心理學、圖像學和符號學等領域的許多學者都曾探討過這個問題。考慮到本文的研究視角和取向，我們僅就在語言學的理論框架內對此問題的研究成果和動態進行回顧。較早運用語言學理論分析圖文關系的是符號學家巴爾特（Barthes）。他以索緒爾的普通語言學理論為基礎區分了兩種圖文關系，即文本拓展了圖的意義或增加了圖的信息（或相反）；文本細化了圖像的意義，給予詳細說明或更準確的重述（或相反）。克瑞斯和凡·勒文（Kress & van Leeuwen） 從社會符號學的視角切入探討圖文關系。他們指出，在識解意義的過程中，圖像并不依賴文字說明，因為它本身既是有組織的，又是有結構的，不同的符號模式各自有其潛力和局限性，但要表達某種確定的意義，必須有語言來挽救。從他們的論述中可以看出語言符號在所有符號中的主控地位。馬西森（Matthiessen）運用系統功能語法中的“層次”理論解釋圖文關系。他認為在多模態話語中，由不同模態共同構建的話語共享語類、語境、語義等居于詞匯語法之上的三個表達意義層次，而在詞匯語法層次分野，這里他暗示了圖像和文本如何在內容層面相互作用、生成意義是多模態話語分析的難點和關鍵；他同時認為圖像和文本在制造意義的過程中也會出現沖突（如圖文內容不一致時），沖突也是意義資源。羅伊斯（Royce）認為圖文之間存在著重復、同義、反義、下義、搭配等意義關系。在圖文并置話語的人際意義表達上，語言的意義更加確定，圖像需要借助文本將圖像意義確定。馬丁內茨和薩爾維（Martinec & Salway）認為圖像和文本有四種關系：一是圖文各自為一個獨立的意義實體，彼此沒有關聯；二是圖像和文本的意義相互補充，彼此增強對方的意義；三是以文本意義為主、圖像意義為輔；四是圖像意義為主，文本意義為輔。在談到如何分析圖文關系的細節時，他們認為可以參照系統功能語法中描寫小句關系的概念，如文本可以“投射”和“擴展”圖像的意義，反之亦然。他還進一步運用投射和拓展的子系統把圖文關系精密化，如拓展可再精略到詳述、并列、加強等等。

本文認為，以上對圖文關系的分析主要考慮的是文本的詞匯語法和圖像圖素之間的局部的或微觀的關系，而多模態話語研究的主要目的則是為分析對象提供一個總的描述“語法”，一個決定著話語的整體連貫和組織的宏觀結構。這個宏觀結構由意義的整體結構和形式的整體結構組成，它既能夠解釋符號內部的結構關系，也能解釋符號與符號的關系，還能解釋符號與外部環境的關系。這個宏觀結構就是語篇類型。在下面的討論中，我們將以三個不同文本類型為分析對象考察語篇類型和圖文關系之間的聯系，旨在探討在圖文并置的語篇中，語篇的宏觀結構是如何通過圖文關系體現的，圖像的某一元功能是否隨著語篇類型的不同有所突顯。

三、語篇類型和圖文關系

本研究的分析對象為三個圖文并茂的紙質文本：米歇爾（Mitchell）著的《圖像學》 、詹森（Janson）的《世界藝術史》和斯塔天里阿諾斯（Stavrianos）的《全球通史》，這三個文本是圖像研究、美術史和世界歷史研究領域的經典著作，自出版以來，多次再版，可謂是圖像和文本兩種符號模態完美結合的典范。本研究采取內容分析法對在三個文本中圖像和文本的關系作詳盡的描寫和分析，旨在客觀真實地再現圖文關系和文本類型之間的關系。

1.圖像的元功能在文本中的體現

視覺圖像、語言、音樂、身體姿態等均是社會文化的產物，是人們識解社會現象的意義資源。它們不僅可以反映客觀世界和主觀世界發生的各種事情，而且可以表現各種各樣的人際關系，與此同時，各種符號內部也是一個有機連貫的整體。因此根據韓里德（Halliday）的元功能理論，所有的符號都同時表達概念功能、人際功能和語篇功能。然而，一些多模態分析者在實踐過程中發現，三大元功能在不同的符號體系中表現的意義并不均衡，在有些符號體系中，某種功能會起主導作用，而其它則次之。考克唐娜和凡·勒文（McDonald & van Leeuwen）認為音樂是以人際功能為導向的符號模式，語篇功能次之，概念功能最弱。馬丁內茨對此觀點解釋道，符號功能地位的輕重與其功能的體現方式息息相關。韓里德在分析英語小句時發現小句的體現模式分別呈粒子式的、韻律式的、格律式的分布，馬丁內茨認為這種體現模式不僅存在于語言中，也存在于其他符號系統。其中，粒子式指概念功能非連續的體現方式，關注的是成分及其相互關系；韻律式指人際功能（語氣、評價意義等）彌漫于整個語篇，無法作明顯的非連續的切分；格律式則指新舊信息的輪番出現、語篇的組織結構如波峰與波谷相互交替。音樂主要是由韻律式結構和格律式結構生成的，其核心是韻律和節奏。從這種意義上說，音樂主要體現人際功能和語篇功能是有道理的。奧哈洛倫（0’Halloran）在分析數學話語中語言、數學符號和視覺圖形之間的關系時指出，數學話語中構建數學公式的符號主要傳達的是概念意義，其人際意義最弱，語篇意義則是圍繞概念意義發揮作用的，而語言則發揮著元語篇的功能，為問題的提出提供語境，同時描述、解釋運算活動的步驟、序列，并討論運算結果的意義。馬丁內茨對表現行為符號的元功能做了詳盡的分析，他指出，某些行動，如走路、游泳、騎馬主要體現的是顯而易見但同時又相當復雜的經驗結構，而人際功能則不宜察覺，如肌肉緊張體現的某種不安情緒等；他同時認為，雖然克瑞斯和凡·勒文在分析圖像的視覺語法對圖像的三大元功能的體現沒有區分孰重孰輕，但他們對圖像的粒子結構（過程/參與者/環境）的詳細描述顯然說明了圖像更多體現的是經驗意義；奧哈洛倫運用層次級階理論對圖像的解讀也證明了這一點。

當圖像與文本并置在同一頁面或文本中時，它們相互協作共同體現話語的“概念意義”、“人際意義”、“語篇意義”。克瑞斯和凡·勒文在研究圖像的視覺語法時針對圖像的特性將圖像的三大元功能稱為“表征功能”、“互動功能”和“構圖功能”，在這里為了討論的方便，我們將用系統語法的術語表達圖文并置話語的功能。通過考察圖像學、世界歷史和美術史話語中圖像元功能的體現，我們發現圖像的元功能在這三個話語中呈不均勻的分布態勢。在圖像學中，圖像主要體現的是“概念功能”，圖像與文本之間具有清晰的邏輯語義關系。具體表現為，文本詳述、擴張和增強圖像的意義；而在世界歷史話語中，圖像主要體現的是人際意義，圖像具有“言據性”，間接地對文本中的某些內容進行佐證，增加文本講述的“可信度”；在藝術史話語中，圖像因為與文本之間的部分對應關系而部分地體現其“概念意義”，它需要與文本的其它部分，如藝術作品的創作者、創作背景、流派歸屬和起源問題的描述融為一體，共同講述藝術的故事。

如果說在新聞話語、廣告話語中，圖像的“語篇意義”占據著主導地位，在本文中談到的三種話語類型中，“語篇意義”則呈現出相對“弱”的傾向。圖像在文本中的位置及其喚起的視覺效果和構建的“閱讀路徑”對話語的識解遠不如在報紙、廣告話語中那么直接有效。讀者的視線會在圖像和文本之間來回穿梭，尋求某種闡釋和理解的共鳴。讀者自身的視覺修養和視覺體驗、知識背景等諸多主觀因素都在某種程度上削弱了頁面中圖像和文本構建的“語篇意義”。此外，由于圖像的加入，使讀者在閱讀的過程中獲得了感官的愉悅，從而在話語與接受者之間建立了一種良好的人際關系。從這個意義上來說，圖文并置的話語所發揮的“人際功能”大于僅有語言文字構建的話語。

2.語篇的宏觀結構和圖文關系體現

在圖文并茂的多模態語篇中，語篇的宏觀結構是由圖像和文本共同構建的。同一幅圖在與不同類型的文本搭配時，其關系的疏密程度是不一致的。通過考證幾本圖像學的著作米歇爾（Mitchell）我們發現在圖像學話語中，圖像與文本之間具有清晰的邏輯語義關系。圖像作為研究的客體，是文本的全部所指。詞語幾乎是無孔不入，“竭盡全力”地詳述、擴展并增強圖像的意義，而圖像仿佛保持沉默，任由文本“擺弄”；文本或是詳述圖像的形式內容、或是擴展圖像的象征意義，并通過闡述圖像產生的時間（時代背景）、地點（環境因素）及原因（意識形態），增強圖像的意義。“詳述”即視覺內容的語詞性再創造，它是一種語詞的繪畫，旨在對圖中客觀的事物做足夠精確的辨認。這時使用的方法是“所見即所得”，它將注意力放在圖像本身的視覺內容上，此時“視覺文本優于語境”；“擴展”則是對圖像中的諸多細節的意味做出解釋，經常會揭示畫中某些微小的，看似無意識的元素。如果說“詳述”是通過詞語隱喻地重造了圖像，“擴展”則運用了轉喻，即一種為了意義的歸屬而將部分看作高于任何假定的整體的轉義，用文字的形式再創造一件視覺作品。“增強”是指文本力圖超越圖像的視覺元素，通過分析圖像產生的時代背景挖掘出圖像所承載的社會文化、意識形態等意義。

在世界美術史話語中，作者通過描述、評論一幅幅美術作品將各個時代的藝術家呈現出來，理清、構建藝術發展的歷史脈絡。在此類話語中，圖文關系的互動協助關系發揮到了極致，我們無法想象只有文沒有圖的頁面該如何講述美術史。通過考察詹森著的世界美術史話語，我們發現在555頁中共插入848幅藝術作品的圖片。圖片多以黑白形式出現，頁間插入了少量的彩色圖片。圖片按照在文中出現的先后順序標以數字編號，并輔以圖片的基本信息，如作者姓名、作品名稱、創作時間、作品實際尺寸、收藏地或收藏人等。如在同一頁面出現多幅圖片，會標示簡單的方位詞，如above，far left，left 等。文本與圖片的關系主要通過三種方式建立。一是文字標示。如，當文本的內容涉及或將要涉及圖片時，我們會看到fig.778這樣的形式，它將作者的目光引向被講述的作品。此時，讀者的閱讀路徑由作者調控；如果作者講述的作品與文本不在同一頁面時，作者會標以see fig.770提示讀者翻閱到指定頁面尋找正在描述中的圖片信息。通常書籍排版人會盡量將文本和所描述的圖片就近安排在同一頁面上，便于讀者閱讀。當作者對兩種藝術形式或藝術家的風格作比較分析時，他會標以compare fig.26-28的說明。二是運用印刷排版信息，如全文中所有作品的名稱都以斜體出現，便于讀者形成某種固定的閱讀期待。三是詞匯語法的表現形式，其中最明顯的詞匯手段是時態的轉換和指稱形式的使用。文本的敘述在一般過去時和一般現在時之間來回轉換，一般過去時的形式常用來介紹畫家的生平、創作作品的時代背景和藝術風格成型的原因，如畫家受到何種思潮、何人的影響，擯棄了哪些舊的繪畫傳統，吸收和借鑒了哪些藝術理念等等。在這一部分中，表達物質過程的動詞使用頻率較高。當文本中的敘述過程是為一般現在時體現時，其內容便指向圖片，或是描述圖中的人物形象的動態特征，或是對作品中的某個繪畫元素進行主觀的闡釋和評價，一旦一般現在時所體現的過程終止，文本與圖片的顯性聯系也隨之結束。此外，某些指稱形式（e.g.this，it，the work，the man in the picture，etc）也構成圖文相接的隱性表達機制，對它們的解讀需要參照圖像進行。依照馬丁內茨和薩爾維的分析模式，在藝術史話語中文本與圖像的對應單位是“段落”，它們之間的關系為“文字從屬于圖像的關系”。

在講述世界歷史的話語中，圖像的地位則不同于圖像學文本中的“它”，文本和圖像的關系是松散的，圖像的作用如同文本中的“引文”，發揮著“言據性”的功能：圖像證史。文本中提到的重要的人物，場景或事件會在圖像中有所顯現，但這種關系是隱晦的，語詞并不對圖像中展示的歷史事件進行“轉譯”或詳盡地描述，圖像隨意擺放在文本旁邊，似乎在自言自語，講述自己的故事。此時文本和圖像之間的聯系依靠讀者的百科知識和自由聯想來建立，讀者的閱讀路徑也不固定，或是從圖像走向文字，或是先閱讀文字，然后再通過閱讀圖像檢驗文字的真實性。

通過分析比較圖像學、世界美術史及世界歷史三個圖文并置的話語形式，可以發現，圖像和文本之間并不存在多模態話語分析家們所描寫的某種固定的關系，而是一種動態的，隨著話語類型的變化而變化的關系。從這種意義上說，話語類型在某種意義上決定著圖文關系的親疏。在圖像學話語中，文字“詳述”圖像的意義，在世界美術史話語中，文字“擴展”圖像的意義，不僅對藝術作品本身進行描述，還延伸至作品的創作背景，包括創作者的生平以及創作的時間地點等信息。在世界歷史話語中，圖像發揮著“言據性”的功能，僅對文本描述的“真值”起著佐證的作用。

四、結語

圖文并置的話語類型既關注圖像與文本的微觀層面的詞匯語法對應關系，又關注由意義的整體結構和形式的整體結構構成的宏觀結構。本文分析對比了圖像學、世界美術史和世界歷史三種話語類型中圖像與文本之間的關系以及圖像的三大元功能在它們各自中的體現，旨在表明多模態話語中的圖像與文本之間是一種動態的、開放的關系模式，它與話語的宏觀結構息息相關；圖像的元功能隨著話語類型的不同而呈現出不均勻的分布。希望本研究能夠進一步解決多模態話語分析中的圖文關系問題，同時能深化話語類型的研究并為圖像學、世界史、美術史的寫作編撰提供借鑒。

汪燕華 湖北第二師范學院 副教授 博士

［1］Barthes，R.Image-Music-Text ［M］.London： Fontana，1977.

［2］Bateman，J.，Delin，J.& Henschel，R.Mapping the multimodal genres of traditional and electronic newspapers ［A］.In Terry D.Royce and Wendy L.Bowcher （Eds.），New Directions in the Analysis of Multimidal Discourse ［C］.Lawrance Erlbaum Associates，Inc.，2007.

［3］Halliday，M.A.K.，& Maatthiessen，C.M.L.M.An Introdiction to Functional Grammar ［M］.London： Amold，1985/1994/2004.

［4］Halliday，M.A.K.，& Maatthiessen，C.M.L.M.Construing Experience through Meaning ［M］.London & New York： Cassell，1999/2006.

［5］Kress，G.and van Leeuwen，T.Reading Images： The Grammar of Visual Design ［M］.London：Routledge，1996.

［6］Martinec，R.A system for image·text relations in new （and old） media ［J］.Visual Communication，Vol.4，No.3，（337-371），2005.

［7］Martinec，R.Topics in multimodality，In Hasan，R.，Matthiessen，C.and Webster，J.，Continuing Discourse on Language： a Functional Perspective： Vol 2.London： Equinox，2005.

［8］Matthiessen，C.M.The multimodal page： a systemic functional exploration ［A］.In T.Royce and W.L.Bowcher （Eds.），New Directions in the Analysis of Multimodal Discourse ［C］.1-62.Mahwah，N.J.： Lawrence Erlbaum，2007.

［9］O' Halloran，K.L.Classroom discourse in mathematics： a multisemiotic analysis ［J］.Linguistics and Education，2000 （3）： 359-88，.

［10］O' Halloran，K.L.Mathematical Discourse： Language，Symbolism and Visual Images ［M］.London and New York： Continuum，2005.

［11］O' Toole，M.The Language of Displayed Art ［M］.Leicester： Leicester University Press，1994.

［12］Royce，T.Intersemiotic complementarity： A framework for multimodal discourse analysis ［A］.In T.Royce and W.L.Bowcher （Eds.），New Directions in the Analysis of Multimodal Discourse ［C］.63-110.Mahwah，N.J.： Lawrence Erlbaum，2007

J0

A

1009-4016（2016）01-0104-05

湖北省教育廳人文社科重點項目湖北教育廳人文社科項目“多模態語篇中語類和圖類的配置研究”（14D076）。