視覺語法下的多模態(tài)研究

朱澤浩

摘 要：本文以Kress&Van Leeuwen提出的視覺語法框架為理論依據(jù)，以《江西全球推介會宣傳片》為多模態(tài)研究語料，從再現(xiàn)意義、互動意義和構(gòu)圖意義三個層面著手，不僅從語言文字和翻譯藝術(shù)的角度分析了宣傳片的交際效果，還從圖像、構(gòu)圖等視覺非語言符號為切入點(diǎn)探究宣傳片取得成功的原因。

關(guān)鍵詞：視覺語法，宣傳片，多模態(tài)

以語言和非語言符號相結(jié)合的傳媒的發(fā)展促使文化交流從傳統(tǒng)的單一模式向“多模態(tài)”模式轉(zhuǎn)變。“多模態(tài)話語”是運(yùn)用聽覺、視覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號來進(jìn)行交際。本文試以Kress & Van Leeuwen的視覺語法理論為基礎(chǔ)，從再現(xiàn)意義、互動意義和構(gòu)圖意義三個層面對《江西全球推介會宣傳片》這一“視覺名片”進(jìn)行多模態(tài)分析。

一、視覺語法理論概述

視覺語法理論是Kress &Van Leeuwen以韓禮德的系統(tǒng)功能理論為基礎(chǔ)提出的。系統(tǒng)功能將語言分為概念功能、人際功能和語篇功能。Kress &Van Leeuwen基于這三大元功能在視覺模式中以怎樣的方式傳遞什么意義出發(fā)，構(gòu)建出了一個以再現(xiàn)意義、互動意義和構(gòu)圖意義為中心的視覺語法框架。

視覺語法中，再現(xiàn)意義通過圖像中人物、環(huán)境、地點(diǎn)事件的關(guān)系來體現(xiàn)，分為敘事再現(xiàn)和概念再現(xiàn)。敘事再現(xiàn)主要關(guān)注動作，受參與者行動、言語等影響。概念再現(xiàn)表示參與者穩(wěn)定、持久的狀態(tài)，受分類、分析以及象征過程的影響。

互動意義解釋圖像如何與觀眾產(chǎn)生互動，并通過接觸、視點(diǎn)、距離、情態(tài)體現(xiàn)相互之間的關(guān)系。接觸反映參與者與觀眾之間的關(guān)系，分為索取和提供。視點(diǎn)也叫視角，通過角度來表現(xiàn)互動意義。距離通過參與者之間位置的遠(yuǎn)近體現(xiàn)關(guān)系的親疏。情態(tài)反映客觀的世界形態(tài)。

構(gòu)圖意義分析圖像中元素如何通過構(gòu)圖來表達(dá)意義，體現(xiàn)多模態(tài)語篇構(gòu)建的整體性。構(gòu)圖再現(xiàn)有三個部分：信息值、顯著性和取景。Kress&Van Leeuwen用四個象限來表示構(gòu)圖意義的信息分布，如表1。

表1中，圖像的上下、左右、中心和邊緣分別體現(xiàn)信息的重要程度。重要信息在中心。從中心到邊緣，重要性逐漸遞減;從左到右是從已知信息到新信息;從上到下是理想信息到現(xiàn)實(shí)信息的傳遞。

二、案例分析

在騰訊上以“江西宣傳片”為關(guān)鍵詞搜索相關(guān)視頻，過濾掉宣傳江西某一特定地方的宣傳片，結(jié)果有《江西風(fēng)景獨(dú)好宣傳片》、《這里是江西（宣傳片）》、《綠色江西，走向世界》宣傳片、《江西城市宣傳片》和外交部推出的《江西全球推介會宣傳片》。基于各宣傳片的點(diǎn)擊量，發(fā)現(xiàn)外交部推出的宣傳片的高居榜首，觀眾的評價很高。可見，該宣傳片獲得最佳的交際效果。

（一）再現(xiàn)意義

圖1中，左圖對應(yīng)敘事意義再現(xiàn)。圖中一群孩子在金黃色的麥田中微笑地奔跑著，臉上洋溢著幸福的笑容。孩子們的姿勢體現(xiàn)運(yùn)動。語言包括純語言和伴語言，實(shí)現(xiàn)意義傳播的媒體形式是聲音或字符。宣傳片的中英文字幕是字符，屬純語言。從純語言角度來講，聲音和字符起正相關(guān)作用，畫面屬于伴語言，起輔助、補(bǔ)充和強(qiáng)化的作用。字幕配以“5年脫貧151萬人”（over 1，510，000 have got ride of poverty in five years.）起正相關(guān)作用。圖文結(jié)合將中國人民脫貧后的喜悅感通過孩子的幸福強(qiáng)烈地表達(dá)了出來。

右圖是概念意義再現(xiàn)。以俯拍的角度，讓觀眾能全面領(lǐng)略江西的美麗。加之將江西這一名詞翻譯成“she”，加深了觀眾對江西的喜愛，達(dá)到良好的視覺效果。通常情況下，對圖像再現(xiàn)意義的理解并不需要太多的認(rèn)知投入，觀眾只要憑借自己對圖像的主觀感知就能提取圖像的再現(xiàn)意義。

（二）互動意義

1.接觸

接觸包括索取和提供。圖2左圖體現(xiàn)索取。圖中動物與鏡頭直視，眼神中流露出警惕。從圖片和字幕來看，此處表達(dá)尊重生命、熱愛動物。因此，可以理解為動物們在向人類索取不被打擾和平等，對應(yīng)字幕“為地球悉心珍藏著每一樣珍貴的生命”（and nurtures every precious species for the Earth）。圖文結(jié)合讓“precious”一詞深化。圖2右圖是位手拿水果的婦女。她微笑地望向鏡頭，似乎在向觀眾表達(dá)著豐收的成果。是一種提供接觸，拉近了觀眾與參與者之間的關(guān)系。

2.視點(diǎn)

對比圖1兩幅圖可以看出，左圖采用正面、水平的視角，右圖是俯視的視角。一般而言，正面角度意味著“卷入”，表示融入。以水平角度拍攝，讓觀眾有身臨其境之感，仿佛自己站在稻田這邊看著孩子們微笑地跑過來，從而能更深切地體會孩子們的歡樂。右圖則通過俯視的角度將江西的壯麗河山展現(xiàn)在觀眾的眼前，讓人為之震撼，達(dá)到宣傳江西的作用。

3.情態(tài)

互動意義的情態(tài)較為復(fù)雜。Kress&Van Leeuwen從飽和度、色彩區(qū)分度、協(xié)調(diào)度、再現(xiàn)、深淺程度、差異度、配合度和亮度八個標(biāo)識衡量圖像情態(tài)量值。

（三）構(gòu)圖意義

1.信息值

信息值是根據(jù)元素在構(gòu)圖中的位置來體現(xiàn)。由表1可知，中心是核心信息，上位為理想信息，下位為真實(shí)信息，左邊為已知信息，右邊為新信息。圖3的兩幅圖都以三人為中心，表明三人在整個構(gòu)圖中處于核心地位。右圖的右上角出現(xiàn)國旗，屬于新信息。表明合作對象是相應(yīng)國的人，使圖片內(nèi)容更詳細(xì)。

2.顯著性

顯著性指圖像各部分吸引觀眾的注意力程度不同。可通過相對尺寸、色彩鮮明度的不同來實(shí)現(xiàn)。圖3左圖，三人身穿白色衣服處在一片綠色背景下，更加明顯，身后背景虛化，聚焦手中的蔬菜，結(jié)合中英文字幕，信息的表達(dá)就更明確。

3.取景

取景是各元素的搭配和組合。包括元素在色度、亮度等方面的組合。圖1右圖聚焦山水，整幅圖綠色突出，將江西優(yōu)美的風(fēng)景展現(xiàn)在觀眾眼前。

從單純的語言文字角度分析發(fā)現(xiàn)，該宣傳片在文字處理上體現(xiàn)了呼喚型文本語言簡潔得體、信息集中的特點(diǎn)。

例如：一個美麗而活力四射的江西，期待與你相約。

翻譯：A beautiful and dynamic Jiangxi， invites you now.

本句中“期待與你相約”若譯為“is looking forward to meeting you”也未嘗不可。但相比之下文中的翻譯更為妥當(dāng)。因?yàn)樾麄髌艘獪?zhǔn)確表達(dá)，還要保證譯文簡潔，能夠在快速閃過的屏幕中顯示出來。因此，譯成invites you now更為合適。從宣傳效果來看，invite正是本宣傳片的目的，邀請世界各地的人來江西參觀，而looking forward to雖也有這層含義，但語氣卻沒有invite強(qiáng)烈、直接，且invites更符合結(jié)尾的語境。

三、結(jié)語

通過對《江西全球推介會宣傳片》進(jìn)行研究，發(fā)現(xiàn)視覺語法中再現(xiàn)意義是最直觀、最基礎(chǔ)的信息。互動意義主要研究參與者和觀眾之間的關(guān)系，互動意義的選擇帶有一定的主觀性。構(gòu)圖意義體現(xiàn)的是各元素之間的組合方式。成功的宣傳片，除了注重語言方面如翻譯質(zhì)量、翻譯策略選擇等，圖像、顏色、構(gòu)圖等非語言符號也都參與其中，共同構(gòu)建了相互聯(lián)系、相互補(bǔ)充的多模態(tài)話語，從而為宣傳片的成功奠定了基礎(chǔ)。

參考文獻(xiàn)：

[1]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語， 2009（1）：24-30.

[2]張燕.視覺語法視角下《橫沖直撞好萊塢》海報的多模態(tài)意義解讀[J].語文學(xué)刊，2016（8）：1-2+64.