模態(tài)耦合視域下的圖像識讀

劉靖

[摘要]多模態(tài)話語已成為人們交流信息的主要方式。在各種語類的多模態(tài)語篇里，圖像越來越成為最主要的符號表征方式之一，圖像在交際中的作用日益彰顯并引起學界重視。以模態(tài)耦合為視角，分別從圖像轉向、圖文關系、圖像解構等層面，剖析圖像在多模態(tài)語篇里的意義構建與解構，指出圖像轉向并非圖像霸權，而是對語言功能的完善和延伸；多模態(tài)語篇里的圖文關系是相互滲透、協(xié)同互補的；只有在社會關系和社會發(fā)展的大語境下'才能對圖像進行充分的外顯和內隱意義的建構和解讀。

[關鍵詞]模態(tài)耦合；圖像；意義構建

[中圖分類號]H 030 [文獻標識碼]A [文章編號]1671-8372（2015）04-0091-05

一、引言

大數(shù)據(jù)時代，基于數(shù)字、多媒體技術和網絡技術的多模態(tài)交際手段正改變著人們的思維方式和欣賞習慣。“在整個人類進化過程中，多模態(tài)是滲透于人類生活方方面面的內在特征”。后印刷時代，多模態(tài)話語已成為人們交流信息的主要方式。多模態(tài)語篇是“利用多種符號來實現(xiàn)意義的語篇”，在各種語類的多模態(tài)語篇里，除了傳統(tǒng)的語言符號外，圖像已越來越成為最主要的符號表征方式之一。以圖像為代表的副語言符號在現(xiàn)代交際中已經不再處于輔助位置，而是和語言符號一起形成更為寬泛的符號資源，共同參與的意義。多模態(tài)話語分析是指運用聽覺、視覺、觸覺等多種感覺模式通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象，是近年來發(fā)展并活躍于學界的一種新的話語分析方式。0Toole（1994）和Kress vanLeeuwen（1996）開創(chuàng)了這個研究領域。前者主要運用系統(tǒng)功能語法的有關理論分析藝術作品；后者則第一次系統(tǒng)解釋了視覺語法，從再現(xiàn)功能、互動功能和構圖功能三個視角，系統(tǒng)分析了多模態(tài)語篇中以圖像為代表的視覺符號的語義關系，認為視覺圖像和語言文字一樣都是社會文化的產物，是人們識解意義的資源。在多模態(tài)話語中，模態(tài)耦合是指多模態(tài)語篇在意義構建和解讀過程中，圖像、文字、聲音等諸模態(tài)之間以及各模態(tài)內部諸元素之間相互依賴、相互促進，協(xié)同互動的動態(tài)關系。圖像中的視覺符號不僅可以反映人類主、客觀世界發(fā)生的各種事情，而且可以體現(xiàn)各種各樣的人際關系。同時，視覺符號內部也是一個有機、連貫的整體。基于此，本文從圖像轉向、圖文關系、圖像解構等層面，剖析了圖像在多模態(tài)語篇里的意義建構與解構。

二、圖像轉向

讀圖時代，圖像逐漸成為人們關注及理論研究的熱點。受維特根斯坦“圖像論”和羅蒂“語言學轉向”啟發(fā)，圖像學家Mitchell提出了“圖像轉向”說，該學說一方面是指，由于人文社會科學學術視野發(fā)生了變化，從而開始重視圖像表征（非語言表征）的研究；另一方面是指在文化公共領域中，由于數(shù)碼等圖像生產技術制造了“圖像景觀”，而引發(fā)了人類對圖像的恐懼與抵制。Mitchell認為圖像，如語言一樣，在社會實踐中自我呈現(xiàn)，共同參與對世界的表征。認為圖像也是構成人類主體的基本元素，圖像和語言一起構成了人類的本質屬性。

在Mitchell看來，“觀看行為”（spectatorship）可能與閱讀的諸種形式（解密、解碼、闡釋等）同等深奧。這里的觀看行為包括觀看、注視、瀏覽，以及觀察、監(jiān)視與視覺快感的實踐等。所以僅基于文本性的觀看模式恐怕已難以充分闡釋視覺經驗或“視覺識讀能力”。也就是說，觀看與閱讀，都是對意義表征模式的不同體驗，都具有深度的接受行為，但傳統(tǒng)的文本閱讀模式已不能滿足對圖像的識讀。圖像不僅僅是感性地“看”，更需要去“讀”，和語言一樣同樣需要理性與思維的參與才能解讀其真正內涵。對圖像的識讀是一個積極的構建過程，它并不是由刺激輸入直接引起的，而是刺激與內部假設、期望、知識、動機以及情緒等諸因素交互作用的一個過程。圖像作為一種符號，承載著越來越多的意義表征。從某種意義上講，文本越來越成為結構上依附于圖像的信息，正如Barthes所言，“……過去是從文本到圖像的含義遞減，今天存在的卻是從文本到圖像的含義遞增。”

視覺圖像和語言文本在表意模式上存在差異性，這正是人文學科要去研究探討的內容。雖然已有學者對圖像表征與語言表征之間的區(qū)別進行過思考，但自語言學轉向以來，Saussure的語言符號理論一直占主導地位，對圖像表征的研究一直處于被壓抑狀態(tài)。因此Mitchell提出應該有一種“對圖像的一種后語言學、后符號學的再發(fā)現(xiàn)”，也就是他所倡導的“圖像轉向”。但這并不意味著圖像主導或圖像霸權可以對語言進行顛覆，圖像的功能不過是對語言功能的一種完善和延伸。比如圖像符號的形象性可以很好地彌補語言符號的抽象性給人們帶來的認知障礙。作為表意符號，圖像與表征客體有著相似或直接的聯(lián)系，可以不借助概念而與客體直接發(fā)生關聯(lián)，在這一點上，它與語言文本有著一定的區(qū)別，這也就是為何語言哲學一直忽視對圖像表征進行研究的原因。圖像先于語言而存在，自人類文明伊始就伴隨語言發(fā)展。在人類進入電子時代后，圖像的激增使人們對圖像的關注程度大大增強，圖像在交際中的作用日益彰顯并引起學界重視。在這個意義上，Mitchell提出圖像轉向是有價值的，它表明文化領域正由傳統(tǒng)的“語言主導”向“語言與圖像共同主導”的轉型。

當然這一轉型背后有著深刻的社會動因。Lash從“表意體制”的兩個層面剖析了現(xiàn)代社會視覺符號凸顯的發(fā)展趨勢：其一是“文化經濟”層面，包括特定文化產品的生產關系、接受條件和消費結構；其二是“意義模式”層面，即各種文化符號的能指、所指和指涉物的復雜關系。可以說，現(xiàn)代社會文化符號的生產、流通和消費環(huán)節(jié)均與圖像密切相關，各種商品的實現(xiàn)除自身品質之外，越來越多地依賴于圖像性的策劃、包裝和宣傳。就此也可以說，圖像本身就是商品，并不斷為發(fā)展的消費創(chuàng)造新的方式和需求。此外，從符號學意義上講，圖像的內在結構也正由相似性模式向自我指涉模式轉變，即由模仿再現(xiàn)到虛擬表現(xiàn)的轉變。也就是說，圖像“復制現(xiàn)實”的功能正在逐漸削弱，而注重符號本身的表現(xiàn)性意義正在彰顯。電子網絡技術使圖像的生產、傳播和消費更加高效便捷，加上受眾在消費模式上對視覺感性的快感和零距離體驗的需求，“圖像轉向”勢在必行。如果說20世紀的語言學轉向引發(fā)了人文社會科學領域的革命，那么也可以說，圖像轉向必將對人文科學和文化領域產生深遠影響。

三、圖文關系

圖與文的關系一直是美學、哲學、符號學和語言學等所關注的對象。中國古代哲學中就存在著圖與文兩種模態(tài)耦合的辯證思想。比如魏晉時期思想家王弼就曾系統(tǒng)地闡述了言、象、意三者之間的邏輯關系：“夫象者，出意者也，言者，明象者也。言生于象，故可尋言以觀象；象生于意，故可尋象以觀意。意以象盡，象以言著。”“言者所以明象，得象而忘言；象者所以存意，得意而忘象。”“存言者，非得象者也；存象者，非得意者也。……得意在忘象，得象在忘言。”也就是說，意是根本，言出自于象，象出自于意，言和象都是為了表意，相對于言，象更接近于意。中國的漢字始于象形，所以美學史上歷來有“書畫同源”“詩畫一律”之說。前者是說言和象同源共生、和諧互補，從而衍生出博大精深的書畫藝術；后者是指詩中有畫，畫中有詩，也就是說言和象之間存在著相互滲透、相互補充的關系，即“畫難畫之景，以詩湊成，吟難吟之詩，以畫補足。”

西方哲學崇尚理性。約翰福音里說“太初有言（邏各斯）”，亞里斯多德認為人是邏各斯的動物，邏各斯既是理性又是語言，語言在西方哲學中的重要性不言而喻。柏拉圖則拒絕視覺形象，因為他認為表象世界、人類的視覺都是不可靠的，可靠的是先天的“理式世界”。希臘哲學家將知識分為“可理解的知識”和“可感覺的知識”，前者是以語言為重要載體的理性知識，而后者則與感性形象，尤其是視覺形象密切相關。Wittgenstein的“圖像論”認為，世界是由許多事態(tài)構成的，命題和命題所表現(xiàn)的事態(tài)具有摹畫關系，同一事態(tài)可以有不同的摹畫。有些事態(tài)通過語言“不可說”，但可以用名稱的摹畫來顯示。但用名稱的摹畫來顯示的命題并非字面意義上的圖畫，因此無法通過字面意義去解讀。所以只有把命題還原為事態(tài)，才可以理解這個命題。也就是說，人們必須將文字轉化為畫面，從畫面中感受意境，理解語言的意蘊。Wittgenstein的“圖像論”可簡而言之為圖像摹畫世界。在這里，語言與世界、圖像與事實具有同構關系。正是源于這種同構關系，當人們想要表達某個事實或思想的時候，必然會借助圖像描繪事實，表現(xiàn)意義。這誠如Wittgenstein所言“圖像俘虜了我們，我們卻無法逃脫它。因為它置于我們的語言之中，而且語言似乎不停地向我們重復它自己”。

作為對Saussure語言符號學理論的進一步發(fā)展，Barthes認為現(xiàn)代語篇，如新聞報刊，是諸多信息的組合體或意義的復合系統(tǒng)，其中的圖片、文本、標題、說明文字、排版方式、甚至報刊名稱本身都傳遞著意義。圖與文之間存在著“錨定（anchorage）、說明（illustracion）和接遞（relay）”的關系，即文字表述可以錨定圖像意義的不確定性，并進一步拓展、細化圖像的意義；而圖像可以闡明或實現(xiàn)文字語篇；圖文亦可在表征意義上處于互補接遞狀態(tài)。Kress和vanLeeuwen則認為圖像和文字說明雖有聯(lián)系，但圖像并不依賴于文字，而是與文字一樣，在結構與組織上可以成為獨立的信息載體，是實現(xiàn)意義關系的基本方式。意義的表征，在很多情況下可由圖像與語言來共同實現(xiàn)。先是對圖像進行功能性分析，建立“視覺語法”（Visual Grammar），然后通過圖文在頁面不同位置的布局來實現(xiàn)信息價值。視覺空間里頁面的特定位置會賦予相應的圖或文以特別的意義。

Martinec和Salway認為多模態(tài)語篇中的圖文存在著四種關系：一是圖像和文本各自為一個獨立的意義實體，彼此之間沒有關聯(lián)；二是圖像和文本的意義相互補充，增強彼此的意義；三是以文本意義為主，圖像對文本的意義起輔助作用；四是以圖像意義為主，文本對圖像意義起輔助作用。Royce認為，從概念意義上講，圖像和文本之間存在著諸如重復、同義、反義、下義、搭配等關系，這與系統(tǒng)功能語言學的銜接和連貫理論有異曲同工之處。Bateman則認為語類是決定圖像和文本關系的重要因素，比如紙質報紙和電子報紙，由于二者在生產階段和傳播途徑方面的不同，所以在圖文模態(tài)選擇和設計布局等方面必也有所不同。

圖文關系的研究是各種語類的多模態(tài)語篇建構與解構的基礎。語言文字是一種線性的、重時間順序、具有穩(wěn)定結構的符號，帶有明顯的理性建構原則；而視覺圖像則是一種非線性的、重空間排列、與消費主體的感性層面和視覺享樂主義意識形態(tài)密切相關。作為人類交往活動最常見的兩種媒介形式，圖像與文字對人類文化都不可或缺。而且“圖文之間的辯證法似乎是符號之網中的恒定因素，一種文化就是環(huán)繞著其自身來編織的。變化的恰恰就是編織法的特性，是經緯關系。文化的歷史部分就是圖像符號和語言符號之間爭取支配地位的漫長斗爭的歷程。

四、圖像解構

“圖像學之父”潘諾夫斯基（Panofsky）在解釋文藝復興時期視覺藝術的主題時，提出一種跨學科的圖像解讀理論，即圖像學。他認為圖像的解讀必須具備包括神學、哲學、自然科學等多學科知識，他認為圖像并非簡單的模仿之物，而是特定時期歷史文化的象征形式。他通過三個層次對圖像的主題及意義進行了解讀：第一，前圖像志分析。解釋者需有實際經驗和風格史的知識，即通過了解對象和事件及其正確的表現(xiàn)方法，解釋作品描繪了什么事實。其所關注的是作品的自然和外顯意義。第二，圖像志層次。解釋者需有原典文獻知識，通過熟悉特定的主題和概念，解釋作品表現(xiàn)了什么約定俗成的故事或寓言等。其所關注的是作品的傳統(tǒng)和內隱意義。第三，圖像學層次。主要分析作品更深層次的本質意義，解釋者要依據(jù)對人類心靈基本傾向的把握，結合文化哲學知識，解釋作品的文化象征意義。潘諾夫斯基開辟了新的圖像解讀模式，開拓了圖像意義研究的跨學科思路。

Kress和Van Leeuwen以Halliday的系統(tǒng)功能語言學理論為基礎，建構了一個較為完善的分析視覺圖像的理論框架，即視覺語法（VisualCrammar）。該理論認為圖像符號與語言符號一樣，也是一種常見的社會符號，正如語言語法決定詞如何組成小句、句子和語篇，視覺語法是對描繪的人物、地點和事物如何組成具體不同復雜程度的視覺的陳述。 “在特定的社會文化領域，同樣的意義通常可由不同的符號來表達，共同的符號原則能在不同交際模式中起作用。”具體來講，與語言具有概念、人際與組篇功能相對應，Kress和Van Leeuwen認為圖像也有類似的再現(xiàn)、互動和構圖功能。再現(xiàn)功能用來解釋意義參與者與過程之間的關系，表征圖像中人物、地點和事件之間的交際關系。其中，有向量的為敘事圖像，主要呈現(xiàn)行動和事件、變化過程、空間安排等，包括行動過程、反應過程、言語過程和心理過程；沒有向量的是概念圖像，主要呈現(xiàn)更為概括、穩(wěn)定的意義，包括分類過程、分析過程和象征過程。互動功能是指圖像的創(chuàng)作者、圖像所表征的人或事物與圖像的觀看者之間的關系，主要呈現(xiàn)圖像觀看者對圖像所表征事物應持有的態(tài)度，通過接觸、距離、視角和情態(tài)等共同作用，構建出圖像觀看者與再現(xiàn)內容之間復雜、微妙的互動關系，如索取、提供、關系疏密、權勢高低等。構圖功能是指圖像構成成分的空間布局，通過三個同步原則實現(xiàn)，即信息價值、突顯和框架。圖像的上下、左右、中心和邊緣分別傳遞出“理想一現(xiàn)實” “已知信息一新信息” “重要一次要”等不同的信息價值；突顯是把某個信息通過前景一背景、相對尺寸、色調對比等方式凸顯出來；框架是指圖像空間的分隔線條，主要表示圖像內部組成成分的切分和分布。Kress和VanLeeuwen關注的不僅是圖像本身，而是包括圖像在內的多模態(tài)語篇。因為在實際交際中，多模態(tài)經常是形成一體化的語篇的，解釋多模態(tài)語篇也許是他們建立利用“視覺語法”的真正初衷。

Serafini在解讀視覺圖像和多模態(tài)語篇時也提出了一個三元的分析視角：一是感性分析視角（Perceptual Analytical Perspective），也就是對圖像外顯內容的感知，比如印刷的紙張、形狀尺寸、顏料色彩等視覺成分。對這些視覺成分和圖像設計的關注是解讀視覺圖像的第一步。這種感知和關注是一種“視覺能力”（visual competence），是進行視覺識讀的基礎。二是結構分析視角（ Structural AnalyticalPerspectives），這是對構成圖像的各種視覺成分意義潛勢的綜合分析。敘事性表征、取景、信息區(qū)、色彩、構圖、位置布局等符號資源都具有意義潛勢，創(chuàng)作者有意或無意地選擇這些資源表達意義。理解各種視覺成分的關系以及他們在特定文化背景下的意義潛勢，是對視覺圖像進行結構性分析的重要方面，也是識讀多模態(tài)語篇的關鍵。三是意識形態(tài)分析視角（IdeologicalAnalylical Perspectives），這是聯(lián)系社會、文化、經濟、生態(tài)以及政治等社會意義系統(tǒng)對圖像后面蘊涵的言外意義作進一步深層的分析。圖像是意識形態(tài)產生和投射的重要手段，只有將視覺符號置于社會關系和社會發(fā)展的大語境中才能窮盡圖像的意義。正如英國藝術批評家伯格所言，在圖片的周遭環(huán)境中，我們必須建立一個放射狀的系統(tǒng)，以便我們能同時以個人的、政治的、經濟的、戲劇化、日常化和歷史的觀點來觀賞圖片。需要指出的是，Serafini的這三種分析視角并非是一種級層結構，而是以感性分析一結構分析一意識形態(tài)分析依次外擴的同心圓結構，因為無論是對視覺圖像的表象感知，還是意義解讀，都不可避免地受到已有知識、個人經歷、社會文化歷史背景的影響。

五、結語

有圖有真相。從人類感知世界的方式來看，圖像是先于語言出現(xiàn)的最簡單、最直接的認知方式。圖像有時比文字能更真實地表達世界，因為一幅圖畫勝過千言萬語。人類的表意系統(tǒng)在經歷最初的直觀本能到語言文字產生后以語言為主，再到現(xiàn)在的多模態(tài)共同參與構建意義，視覺圖像始終貫穿其中并契合人類的認知心理。圖像文化摒棄了話語文化的理性和形式主義，轉向感性快樂，以弗洛伊德精神分析術語來說，就是本我的“快樂原則”取代自我的“現(xiàn)實原則”。當代社會的各種語篇一改過去的以語言文字為主，形成圖文并存、勢均力敵的新格局，體現(xiàn)了對消費主體感性即時、零距離體驗的視覺享樂主義的肯定和迎合。