關于視覺語法的幾點思考

張敬源 賈培培

(北京科技大學,北京,100083)

1. 引言

隨著科學技術的日新月異,特別是多媒體技術的廣泛應用,產生于20世紀90年代的多模態話語分析(multimodal discourse analysis)引起了國內外學者尤其是功能語言學家們濃厚的興趣。如O’Toole(1994)對三維建筑物(悉尼歌劇院)進行了多模態分析；Kress和van Leeuwen(1996)將功能語法的三大元功能延伸到視覺交際模態中,構建了視覺語法；van Leeuwen和Jewitt(2001)將多模態話語分析延伸到人類學、心理治療、民族志以及影視作品等領域。除此之外,還有Unsworth(2001),Iedema(2001:183-204；2003:29-57),Lemke(2002:299-325),Martin(2002:311-338),O’Halloran(2004),Martinec(2005:337-371),Royce和Bowcher(2007),Bateman(2008)等。這些研究成果極大地推動了多模態話語分析的理論發展及其應用。

與國外的研究相比,國內研究尚處于起步階段。盡管如此,中國學者還是創造性地探討了多模態話語分析的理論框架,如李戰子(2003:1-8)、朱永生(2007:82-86)、胡壯麟(2007:1-10)、張德祿(2009:24-30)等。也有一些學者運用視覺語法來分析特定的語篇,如廣告語篇(王紅陽2007:31-34)、詩歌(胡丹2007:16-19；張旭紅2010:85-90),或電影(李妙晴2008:50-52)等。

不過到目前為止,從理論層面上探討視覺語法可取和不足之處的論述相對較少,也較為零散。鑒于此,本文首先從視覺語法和系統功能語言學的關系入手,然后在探討視覺語法理論框架的同時,基于系統功能語法對其進行補充完善；最后形成一個更加合理完善的視覺語法理論框架,進而使得越來越多的語篇可置于視覺語法的視角下進行分析。

2. 視覺語法的理論基礎

視覺語法的提出主要是基于Halliday的語言觀,特別是他的元功能思想。這主要體現在以下兩個方面:第一,視覺語法以Halliday所提出的語言的社會符號性和意義潛勢為前提。早在1978年,Halliday在《作為社會符號的語言——對語言和意義的社會解釋》一書中全面論述了語言的符號性。他(1978:39)認為,語言是一種社會符號,是一個“意義潛勢”的系統；語言的語法“不是一套用來參考的規則,而是制造意義的資源”(192)。這就表明:1)語言只是文化這套意義系統中的一種符號。換言之,表達意義的符號除了語言之外,還有圖像、聲音、色彩等。所以,語言的社會符號性引起了語言學家們對非語言符號的關注,這也就為解讀圖像意義提供了可能性；2)語法賦予了語言制造意義的潛勢。如果語言作為一種社會符號可以通過其語法來產生意義,那么其他類型的社會符號為何不具有這種潛勢呢?正是基于對這個問題的考慮,Kress和van Leeuwen構建了視覺語法。第二,視覺語法以Halliday的元功能思想為切入點。Halliday在功能語法中特別強調了語言的三大元功能:概念功能(ideational function)、人際功能(interpersonal function)和語篇功能(textual function)。概念功能是“表達講話者的親身經歷和內心活動的功能”；人際功能是“表達講話者的身份、地位、態度、動機和他對事物的推斷、判斷和評價等功能”；語篇功能指語言具有組句成篇、組織和傳遞信息的功能(胡壯麟等2005:115)。雖然“這些元功能是首先基于對語言的研究提出來的,但這并不意味著它們僅僅局限于語言”(李戰子2003:1)。因此,這些元功能在視覺模式中是以怎樣的方式傳遞什么樣的意義便成為Kress和van Leeuwen(1996)研究的重點。從這個意義上來講,Kress和van Leeuwen構建的視覺語法是對Halliday元功能思想的繼承和創造性延伸。

在接下來關于如何進一步完善視覺語法的論述中,系統功能語法將仍然會是本研究的理論支撐點。因為“系統功能語法不只是語言符號系統的語法,也是可以描述和解釋所有社會符號系統的語法”(辛志英、黃國文2010:2)。

3. 對視覺語法的繼承與發展

正如Halliday在系統功能語法中提出了語言的三大元功能,Kress & van Leeuwen在視覺語法中也相對應地提出了三大意義:再現意義(representational meaning)、互動意義(interactive meaning)和構圖意義(compositional meaning)。這三大意義的構建為分析圖像提供了可靠的理論視角,但這并不說明這樣的視角是窮盡的、完善的。

3.1 再現意義

再現意義分為敘述再現(narrative representation)和概念再現(conceptual representation)。區分兩者的標準是:敘述性結構中存在著由圖像元素之間的斜線構成的矢量(vector),而概念性結構中不會有。敘述再現又可進一步分為動作過程(action process)、反應過程(reactional process)、言語和心理過程(speech and mental process)。在動作過程中,發出矢量的參與者是動作者(actor),矢量指向的參與者是目標(goal)。當矢量不再由動作而是由眼神或者目光構成時,就形成了反應過程。由于反應過程主要體現的是參與者眼神的交流,所以反應過程中的參與者不再是動作者和目標,而是反應者(reactors)和現象(phenomena)。言語和心理過程中的矢量主要是由參與者和思維泡或者對話泡相連接而形成:思維泡的內容是間接地通過感覺者(sensor)來呈現,而對話泡的內容則是通過言語者(speaker)來體現(Kress & van Leeuwen 1996:67)。

不難發現,Kress和van Leeuwen對于敘述再現結構的分析已形成初步的體系,而且他們提出的三類主要過程正是借鑒了Halliday在經驗功能中提出的六大過程。例如,Kress和van Leeuwen對行動過程的界定與功能語法中的物質過程(material process)就有異曲同工之妙。這主要表現在以下兩個方面:1)這兩個過程的參與者都是“動作者”和“目標”,只不過動作過程是通過矢量將動作者與目標連接起來,而物質過程是通過一個過程(常用動態動詞表示)來表示動作者和目標之間發生的事件。2)另外,動作過程和物質過程都可以沒有目標。換言之,兩者的結構皆可以是及物的或不及物的。如果說Kress和van Leeuwen所界定的行動過程類似于功能語法中的物質過程,那么敘述再現中的反應過程、言語和心理過程大致相當于功能語法中的言語過程(verbal process)和心理過程(mental process)。

其實借鑒本身并無大礙,問題是視覺語法所區分的三類主要過程不具有互補性,特別是反應過程和言語心理過程間存在交叉。因為根據Kress和van Leeuwen(1996:64)的觀點,反應過程是由參與者目光的傳遞方向所構成的。這種對反應過程的界定只是停留在目光傳遞、眼神刻畫這個表層結構上,卻忽略了這個表層結構之下的深層結構。其實這類過程往往是通過對反應者眼神的刻畫來展現其內心世界的變化。反應者的目光可以直接或間接地告訴我們他們處于什么樣的心理狀態(害怕、高興、平靜等)。此外,系統功能語法也明確指出心理過程是“表示‘感覺’(perception)、‘反應’(reaction)和‘認知’(cognition)等心理活動的過程(a process of sensing)”(胡壯麟等2005:76)。換言之,反應屬于心理過程,是心理過程的一種。基于此,我們將反應過程和言語心理過程中的心理部分整合為心理過程,進而敘述再現也就分為動作過程、心理過程和言語過程三大類。當然,視覺交際中不只存在這三種過程,還會涉及其他的過程。但是我們提出的這三種過程是最常見的過程,尤其是動作過程和心理過程。可如下表1所示:

表1 敘述再現的三類主要過程

如果說敘述再現是解讀其現象,那么概念再現就是反映其本質。對于概念再現,Kress和van Leeuwen將其劃分為分類過程(classificational process)、分析過程(analytical process)和象征過程(symbolic process)。其中,分類和分析過程都著重研究了參與者是以何種關系相互聯系起來,這與功能語法中的關系過程(relational process)極為相似。分類過程有兩種參與者:從屬者(subordinate)和被從屬者(superordinate)。如果被從屬者沒有出現,這是隱密性分類(從屬者尺寸相近,近距相等,對稱構成)；反之是外顯性分類。同樣,分析過程中也涉及兩類參與者:表示整體的承載者(carrier)和表示部分的承載者所擁有的特征(possessive attributes)(Kress & van Leeuwen 1996:108)。簡而言之,分類過程研究的是上下級或同級(從屬者)之間的關系,而分析過程研究的是整體與部分的關系。象征過程,顧名思義,研究的問題是“參與者是什么或者意味著什么”(同上)。當象征過程只涉及一個參與者(承載者)時,被稱為象征暗示(symbolic suggestive)。而當象征過程中涉及兩個參與者時,被稱為象征屬性(symbolic attribute)。與敘述再現相比,Kress和van Leeuwen對于概念再現的分析邏輯上比較清楚,分類上也比較具有說服力。具體如下圖1所示:

圖1 “再現意義”結構圖

3.2 互動意義

與系統功能語法中的人際關系相似,視覺語法中的互動意義旨在探討圖像制作者、圖像所呈現的世界與圖像觀看者之間的關系,同時表達圖像觀看者對表征事物應持的態度。互動意義的實現主要依賴于四個要素:接觸(contact)、社會距離(social distance)、態度(attitude)和情態(modality)。其中,接觸是指圖像中的參與者與圖像觀看者通過目光建立起來的一種想象中的關系。當圖像參與者注視觀看者,仿佛在向觀看者索要什么時,就形成了索取(demand),構成接觸；當觀看者是觀看事件的主語而非賓語時,參與者似乎在向觀看者傳遞信息或者是展示什么時,就形成了提供(offer),不構成接觸(Kress & van Leeuwen 1996:124)。而且,“索取”或“提供”的對象既可以是信息,也可以是物品或服務,這與功能語法中四大言語功能的交流物基本一致。

雖然Kress和van Leeuwen對互動意義中“接觸”進行了詳細的分析,但不可否認,他們套用了Halliday功能語法中“給予”(giving)和“求取”(demanding)的概念(胡壯麟等2005:115),而“這種概念的套用在這里顯得生硬,‘索取’和‘提供’的分類不能充分概括圖像和觀看者目光接觸中的多種復雜情況”(李戰子2003:5)。而且,將“提供”與“索取”在視覺交際中加以區分的事實已經違背了系統功能語法中“給予”和“求取”的初衷。因為在系統功能語法中,“‘給予’意味著‘請求接受’；‘求取’意味著‘請求給予’。這就是說,講話者不但自己做事,同時還要求聽話者做事’”(116)。同理,視覺語法中的“提供”意味著“索取”,“索取”隱含著“提供”。這也與實際情況相符合,因為多數情況下“提供”不是為了提供而提供,“提供”旨在從觀看者那里得到情感認同,對觀看者施加影響；也可具有一定的政治、經濟目的等。

至此,我們可以看到:提供與索取不是非此即彼的關系,而是一對對立統一體:提供是索取的基礎,索取是提供的目的。為了能夠較為全面地涵蓋視覺接觸中的多種復雜情況,我們索性將接觸分為兩大類:直接接觸(圖像參與者直視觀看者)和間接接觸(除直接接觸之外的所有其他情況)兩種。不管是直接接觸還是間接接觸,都具有雙重功能:1)圖像的參與者旨在向觀看者傳遞一定的信息或服務(即“提供”)；2)圖像的參與者也希望從觀看者那里得到一些東西或者使觀看者受到影響(即“索取”),比如情感目的(包括情感訴諸、情感認同和情感愉悅)、政治目的和經濟目的等。索取常表現在觀看者由于與圖像參與者產生了接觸后而被激發了同情心、罪惡感、責任心或者購買欲等。如果說提供是為了通過目光向觀看者進行客觀的展示,那么索取則是為了更好地實現圖像參與者和觀看者間互動關系的維護和發展。當然上述的分析有一個前提:那就是圖像中的參與者是有生命的(人、植物、動物等)而非無生命的(流程圖、地形圖、交通圖等)。那么當圖像的參與者是無生命、無感情的事物時,他們與圖像的觀看者之間只形成間接接觸,因為無生命的事物不會主觀地直視觀看者,也不會能動地索取什么。此外,在這種間接接觸中,只能是觀看者作為接觸的主語；而且只是提供沒有索取。上述關系可如下圖2所示:

圖2 “接觸”的結構示意圖

社會距離決定了圖像參與者和觀看者之間的親疏關系,進而展示了一種社會關系。這種親疏關系主要是通過鏡頭取景的框架大小得到體現。圖像參與者和觀看者之間的關系越是親密,那么鏡頭取景的框架越小。一般近鏡頭或者特寫揭示一種親近的個人關系；而長鏡頭則取景的框架較大,被攝入框架的內容較多,揭示了一種疏遠的社會關系(Kress & van Leeuwen 1996:130)。我們可以看到,Kress和van Leeuwen對于互動意義中社會距離的界定是十分恰當且符合實際的。因為“當我們幫一個陌生人拍照時,很少給她/他照一個頭部的大特寫,而更多是給她一個‘社會的遠距離’”(李戰子2003:5)。

互動意義中的態度指圖像觀看者對圖像參與者的態度,這主要是通過視角來體現的。對于水平的角度,如果是正面直觀,會帶給觀看者身臨其境的感覺；如是側面斜視,則會讓觀看者顯得對圖像呈現的世界漠不關心。對于垂直角度,如果是俯視,那么圖像的觀看者地位較高；如果是仰視,則圖像參與者處于強勢；如果是平視,那么顯然參與者和觀看者之間是平等的關系(Kress & van Leeuwen 1996:140-146)。簡而言之,水平的角度體現的是觀看者介入圖像世界的程度,而垂直的角度則體現他們之間的地位差異。

系統功能語法中,“情態是指語言系統中講話者對事物的或然性(probability)進行判斷和事物的必要性(necessity)標明態度的語義系統”(朱永生2007:83)。而視覺語法互動意義中的情態則強調了圖像世界反映現實的真實度。日常生活中,用Photoshop處理過的圖片趨向于太過真實。個人的藝術照就屬于這一類,因為它融合了太多的色彩和細節,把個體展現的太過完美,這也就是超真實的體現。然而這種超真實是相對于自然主義而言的。除了自然主義的編碼取向,還有科學技術性、抽象性和感官性的編碼取向。科學技術性編碼取向認為色彩是低情態的體現；在學術語境中常采用抽象性編碼取向,內容越概括、越抽象,情態越高；感官性編碼取向多用于廣告、藝術設計中,色彩是高情態的體現。但不管采用的是哪種編碼取向,他們的情態都與色彩飽和度(color saturation)、色彩區分度(color differentiation)、色彩協調度(color modulation)、語境化(contextualization)、再現(representation)、深度(depth)、照明(illumination)和亮度(brightness)息息相關(Kress & van Leeuwen 1996:165-171)。這一系列的情態標記是判斷情態真實度的重要依據。

與系統功能語法中的情態相比,視覺情態較為復雜。比如,情態標記的劃分就有些過于繁瑣。不難發現,色彩飽和度、色彩區分度、色彩協調度和色彩亮度都是對色彩的刻畫,只是從不同的角度入手,分別強調了色彩的濃淡程度、差異度、配合度和亮度。語境化和再現都表示從抽象到具體的程度,只是側重點不同:語境化是指“比例尺從無背景到最明確詳細表現的背景”(同上:222),再現是指“從最大抽象摘要到最小圖畫式細節表明”(223)。為了簡化情態標記系統,我們可以將色彩飽和度、色彩區分度、色彩協調度和色彩亮度納入到“色彩”中；將語境化和再現納入到“細節”中；此外,由于視覺情態的真實度在很大程度上“源于文化和歷史的真實的標準”,是由“特定的社會群體”所界定的(李戰子2003:5-6)。換言之,視覺情態真實度的判斷離不開社會的、歷史的、文化的因素。這樣,情態標記大致包括五大刻度:色彩、細節、深度、照明和社會因素。值得一提的是,情態標記只是情態的一個維度。情態的另一個維度是情態“取向”(orientation) (Halliday & Matthiessen 2004:619)。

在功能語法中,“情態可從主客觀兩個角度來表達”(胡壯麟等2005:148)。同理,視覺情態的取向也可分為主客觀兩種,只是功能語法的情態取向是通過小句來表達,而視覺情態的主客觀取向可根據圖像參與者的屬性進行判斷:當圖像參與者為人或有生命的物時,多為主觀取向,因為生命體具有主觀意識,能夠在不同程度上實現“提供”和“索取”的功能,實現與圖像觀看者之間的互動和交流；而當圖像參與者為無生命的物(比如地圖或流程圖)時,多為客觀取向,因為在這種情況下,對于圖像的觀看者來說,圖像參與者不具有主觀能動意識,只是在客觀地提供一些信息或服務。與系統功能語法的另一個相似點是,視覺情態也可分為高、中、低三類,這也就構成了情態的第三個維度,情態值。此外,上述的編碼取向是對情態屬性的一個分類,可歸為第四個維度。具體如下圖3所示:

圖3 情態系統

3.3 構圖意義

與系統功能語法中的語篇功能相對應的是Kress和van Leeuwen(1996)提出來的構圖意義。簡而言之,構圖意義指的是圖像如何整合其再現意義和互動意義,從而形成一個有意義的整體。根據Kress和van Leeuwen的研究,構圖意義的實現依賴于三種資源:信息值(information value)、顯著性(salience)和取景(framing)。其中,取景指的是通過造成的或者實際的分隔線條或者分割框架來連接或者割斷圖像中的元素,以表示他們在表達某種意義時是屬于的還是不屬于的。信息值是通過圖像中元素的位置安排來實現的。通過元素的位置我們可以判斷圖像中元素的地位、角色和重要性(Kress & van Leeuwen 1996:183-218)。通常情況下,對于左右分布的元素,居左的是已知信息,居右的是新信息。這與語篇功能中信息單位的構成形式相近,因為Halliday表示“‘已知信息+新信息’是最常見的信息單位結構”(胡壯麟等2005:173)。對于上下分布的元素,居上者所展示的是理想的或者是概括性的；居下者所體現的是真實的或者具體的。

對于中心與邊緣的格局,Kress和van Leeuwen認為置于中心位置的元素可凸顯其中心地位和重要性,而那些環繞在其四周的元素則一般處于次要的地位。然而,隨著Derrida的解構主義對邏各斯中心主義的沖擊,對傳統中心的顛覆以及對邊緣和他者的關注漸漸成為一種社會文化(Tyson 1999)。這種由中心向邊緣的轉變也適用于圖像元素的分布情況中:有些圖像的重點不存在中心位置,而存在于容易被忽視的邊緣地帶。因為這樣既凸顯了邊緣元素相對的弱勢地位,又能喚起觀看者對其憐憫與同情之心。這就使得中心和邊緣的信息值取向需要和社會文化導向相聯系。

此外,不同元素在圖像中的比重大小也為解讀各元素重要性提供了一定的信息,這就是構圖意義的另一個維度顯著性。不同比重的元素對于觀看者的吸引程度是不盡相同的。一般情況下,比重較大的元素往往吸引更多的眼球。所以根據顯著性,我們可以判斷元素間的重要性次序。在判斷元素重要性的問題上,Kress和van Leeuwen(1996:212)特別突出了透視(即前景與后景的比重對比)的地位。但由于顯著性的判斷主觀性較強,加之沒有客觀的測量方法,這種依靠視覺的反應來判斷比重大小的方法還有待進一步提高。在此,我們要強調的是:一般情況下,置于前景且尺寸較大的元素比較重要,但不排除特殊情況下,置于背景且尺寸較小的元素的重要地位。而這種特殊情況,通常是將圖像的社會意義納入考慮因素后出現的。有些元素雖然置于不重要的位置,且尺寸偏小,但一旦將他們與社會文化背景相聯系,便凸顯出了之前未有的意義。這也就是為什么我們在判斷圖像元素的重要性時,除了要考慮元素的自我屬性,即元素的位置和比重,還要考慮元素的社會屬性。這樣才能對元素的重要性有一個比較全面的把握。具體可如下圖4所示:

圖4 圖像中元素重要性的判斷

本文主要從以下四個方面對Kress和van Leeuwen所構建的視覺語法進行了探討:1)對敘述再現進行了重新分類,主要包括動作過程、思維過程和言語過程。2)以圖像參與者的屬性為標準,對“接觸”進行了劃分:當參與者是人或有生命的物體時,可形成直接或間接接觸,這兩種接觸均包括了“提供”與“索取”；當參與者是無生命的物體時,只構成間接接觸,且只實現了提供功能。3)對于情態系統,主要有四個維度:情態取向、情態標記、情態值和情態編碼。其中情態標記大致可歸為五類:色彩、深度、照明、細節和社會因素。4)對于圖像元素的重要性,我們從圖像社會屬性和自身屬性進行了探討,這樣比僅依靠顯著性和信息值來進行判斷更合理。

Bateman, J. 2008.MultimodalityandGenre:AFoundationfortheSystemicAnalysisofMultimodalDocuments[M]. Basingstoke: Palgrave Macmillan.

Halliday, M. A. K. 1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Halliday, M. A. K. & C. M. I. M. Matthiessen. 2004.AnIntroductiontoFunctionalGrammar(3rdedition) [M]. London: Edward Arnold.

Iedema, R. 2001. Analyzing film and television: A social semiotic account of hospital: An unhealthy business [A]. In T. van Leeuwen & C. Jewitt (eds.).HandbookofVisualAnalysis[C]. London: Sage. 183-204.

Iedema, R. 2003. Multimodality, resemiotization: Extending the analysis of discourse as multi-semiotic practice [J].VisualCommunication2(1): 29-57.

Kress, G. & T. van Leeuwen. 1996.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Lemke, J. L. 2002. Travel in hypermodality [J].VisualCommunication1(3): 299-325.

Martin, J. R. 2002. Fair trade: Negotiating meaning in multimodal texts [A]. In P. Coppock (ed.).TheSemioticsofWriting:TransdisciplinaryPerspectiveontheTechnologyofWriting[C]. Turnhout: Brepols. 311-338.

Martinec, R. 2005. A system for image—Text relations in new (and old) media [J].VisualCommunication4(3): 337-371.

O’Halloran, K. L. (ed.). 2004.MultimodalDiscourseAnalysis:SystemicFunctionalPerspective[C]. London: Continuum.

O’Toole, M. 1994.TheLanguageofDisplayedArt[M]. London: Leicester University Press.

Royce, T. & W. Bowcher. 2007.NewDirectionsintheAnalysisofMultimodalDiscourse[M]. London: Routledge.

Tyson, L. 1999.CriticalTheoryToday:AUser-FriendlyGuide[M]. New York & London:Garland Publishing, Inc.

Unsworth, L. 2001.TeachingMultiliteraciesacrosstheCurriculum:ChangingContextsofTextandImageinClassroomPractice[M]. Buckingham: Open University Press.

van Leeuwen, T. & C. Jewitt (eds.). 2001.HandbookofVisualAnalysis[C]. London: Sage.

胡丹.2007.Emmett Williams詩“She loves me not”多模式話語分析[J].外語與外語教學(11):16-19.

胡壯麟.2007.社會符號學研究中的多模態化[J].語言教學與研究(1):1-10.

胡壯麟、朱永生、張德祿、李戰子.2005.系統功能語言學概論[M].北京:北京大學出版社.

李妙晴.2008.復調的狂歡——多模態話語分析《陽光燦爛的日子》[J].電影評介18:50-52.

李戰子.2003.多模式話語的社會符號學分析[J].外語研究(5):1-8.

王紅陽.2007.多模態廣告語篇的互動意義的構建[J].四川外語學院學報(6):31-34.

辛志英、黃國文.2010.系統功能語言學研究方法論[J].外語研究(5):1-5.

張德祿.2009.多模態話語分析綜合理論框架探索[J].中國外語(1):24-30.

張旭紅.2010.視覺詩Meup at does多模態意義的構建[J].外語學刊(1):85-90.

朱永生.2007.多模態話語分析的理論基礎和方法[J].外語學刊(5):82-86.