多模態(tài)話語的元功能意義分析

摘 要：多模態(tài)話語分析是一種新興的話語分析方法，認為人類交際是語言、圖像、聲音等符號共同進行意義構(gòu)建與傳遞的過程。電視廣告話語具有視覺化和聽覺化特征，傳統(tǒng)的語言修辭研究無法全面揭示這一話語對意義的構(gòu)建。本文嘗試結(jié)合多模態(tài)話語分析理論和系統(tǒng)功能語法，對一則電視廣告進行元功能意義的研究，旨在關(guān)注電視廣告中語言與其他模態(tài)之間的關(guān)系。

關(guān)鍵詞：多模態(tài) 廣告 元功能 意義

一、引言

單純從語言角度進行研究已漸漸不能滿足話語分析理論的發(fā)展要求。如何使用一套能夠結(jié)合多媒體和多種模態(tài)對話語中各種符號元素進行綜合分析的理論，成為亟待解決的問題。多模態(tài)話語是一種運用聽覺、視覺、觸覺等多種感覺，通過語言、聲音、圖像、動作等多種符號資源進行交際的現(xiàn)象。生命科學研究為多模態(tài)話語提供了物質(zhì)證明：生命體在演化過程中先后獲得視覺、聽覺、觸覺、嗅覺及味覺五種不同的感知通道，并分別與視覺、聽覺、觸覺、嗅覺、味覺模態(tài)相對應。

系統(tǒng)功能語法認為語言同時具有概念、人際及語篇三種元功能，每種功能有相應的意義。視覺語法將系統(tǒng)功能這一理論應用于多模態(tài)話語，建立了適用于圖像模態(tài)的再現(xiàn)、互動及構(gòu)圖意義的分析方法。克瑞斯和勒文（Kress Leeuwen，1985、1996、2001）將三大元功能擴展至人類一切交際系統(tǒng)，并探尋出視覺圖像中對應的表現(xiàn)手法。

根據(jù)感官渠道，模態(tài)分為視覺、聽覺、觸覺、嗅覺、味覺五類，在此基礎上綜合考慮不同符號又可細分成不同小類。本文將電視廣告中的視覺模態(tài)分為文字和圖像，文字模態(tài)又體現(xiàn)為漢字、英文等，圖像模態(tài)具體到符號層面有：現(xiàn)實存在的事物構(gòu)成的影像與人工制作的虛幻影像兩類。聽覺模態(tài)分為語音、樂音和聲響，聲響分為：日常物體發(fā)出的聲音與人工效果音兩類。

二、電視廣告話語的意義分析

（一）概念意義分析

視覺語法將概念意義分為敘事再現(xiàn)意義與概念再現(xiàn)意義，前者相當于純語言話語中述賓結(jié)構(gòu)的意義類別，后者中某些類別與功能語法的關(guān)系過程和存在過程相近。功能語法對及物性的研究涉及小句中的環(huán)境成分，推及圖像中的環(huán)境則為區(qū)域環(huán)境、手段環(huán)境和陪伴環(huán)境。

1.敘事再現(xiàn)

（1）再現(xiàn)過程

根據(jù)矢量不同，該廣告中出現(xiàn)的行為反應分為行動過程及反應過程。行動過程涉及概念“動作”、發(fā)出動作的“動作者”及受到動作影響的“目標”。

圖1圖2

圖2由圖1截取所得，為第6秒圖像，體現(xiàn)了行動過程。發(fā)出動作的參與者為前面的女性（記為女1，下同），她身體前傾的動作和前傾的身體本身同時構(gòu)成這個矢量，該矢量較特殊，與畫面所在的平面形成一定夾角。她微微伸出的兩只胳膊也構(gòu)成了兩個矢量，目標即動作對象位于矢量指向的前方。由于前傾的身體或肢體沒有觸及其他人或事物，即沒有別的人或事物直接接受該行為，故該行為的目標此時尚待確定。但不同于僅有動作，沒有動作接受者。圖3是0秒時的圖像，圖中行駛的白色列車體現(xiàn)了不及物的行動過程。這類似于語言中的不及物動詞，列車行駛沒有行動的目標對象，既沒有其他人或物對其發(fā)出行動，也不對其他人或物發(fā)出動作。

圖3：第0秒圖片

圖4：第10秒圖片

反應過程與行動過程的區(qū)別在于矢量表現(xiàn)為參與者目光的方向。圖2中有反應過程，女1仍是發(fā)出反應的參與者，她將目光投向左前方不遠處。結(jié)合圖1可知她的目光正投向位于畫面中心位置那個男青年（記為男1，下同）手里的口香糖。如果說她的行為過程只是反應其關(guān)注對象的方位在前方，那么她的反應過程則準確定位了其關(guān)注焦點。即當主體同時具有這兩種再現(xiàn)過程時，反應過程的分析有助于進一步明確行動過程的接受參與者。同時，圖2中后面一個年輕女性（記為女2，下同）也具有反應過程。她的眼睛直視左前方位置，投向畫面中心的兩個男青年（分別記為男1、男2，下同）。

（2）再現(xiàn)環(huán)境

仍以圖1為例，環(huán)境包括區(qū)域環(huán)境與陪伴環(huán)境。區(qū)域環(huán)境需要前景與背景的照應或?qū)Ρ龋嬅姹憩F(xiàn)的縱深距離中，離觀看者較近的為前景，較遠的為背景。人、物的位置、大小、清晰度等也是重要的參考因素。圖1的前景人物主要是三個人，男1及身后的女1、男2，其他人物屬于背景。相對而言，前面三個人處于畫面中的前排、中心位置，且在畫面中所占面積比較大。在圖2中幾乎露出整張臉的女2，盡管也屬于背景部分，但相對于后面更遠的其他人來說近一些，而且露出的臉部位于離畫面中心較近的位置。至于其他人物，以及過道、座位、行李架等無論是所處畫面位置、所占面積，還是聚焦清晰度，均體現(xiàn)出背景特征。

陪伴環(huán)境中的參與者相互獨立，之間沒有矢量連接。圖1前景的三個人中，男2將手搭在男1肩膀上，兩只手臂構(gòu)成兩個矢量；目光投向他手中的口香糖，目光構(gòu)成一個矢量；女1與男1之間也存在反應過程矢量。女1與男2之間則既無相互動作，也無目光交流，兩者相互獨立，之間不存在矢量連接，固為對方的陪伴環(huán)境。

2.概念再現(xiàn)

（1）分類過程與時間過程

分類過程中，至少一組參與者從屬于另外的參與者。圖4中，兩對相擁的年輕人是“中國年輕人”的從屬，他們處在一個火車站臺背景上，之間基本呈對稱、相似的分布。人物呈現(xiàn)對稱、相似的分布，屬于分類過程。“中國年輕人”是處于上位概念的參與者，這一大的、總的類別沒有出現(xiàn)，屬于隱性分類過程。分析過程中的參與者是部分-整體關(guān)系，“總體”為承載者，“部分”為任何數(shù)量的特征。分析過程包括時間性及非結(jié)構(gòu)性的，前者將歷史表現(xiàn)為固定而連續(xù)的幾個階段；后者只出現(xiàn)承載者特征，即“部分”，不出現(xiàn)“總體”。這與隱性分類在概念上有一定重合。從邏輯上說，“部分-整體”的關(guān)系是“一組參與者從屬于另外的參與者”的另一種描述。更為合理的劃分是將重合部分，即“一組參與者從屬于另外的參與者”的情況歸為分類過程，時間性分析過程稱為“時間過程”。圖4中，相擁的年輕人是部分，中國年輕人是整體，前者出現(xiàn)，后者未出現(xiàn)，屬于隱性分類過程。

（2）象征過程與提示性圖像

象征過程表明參與者是什么，用承載者與象征屬性表示。當象征屬性不出現(xiàn)時，屬于象征暗示，在廣告中表現(xiàn)為不時出現(xiàn)并時而游離于故事情節(jié)的那片薄荷葉子。通過對葉子色彩、形狀、細節(jié)等方面的調(diào)整，使其較日常薄荷葉片更為理想化；在畫面中出現(xiàn)及運動的方式也不同于日常葉片，使其具有某種抽象特征。象征暗示中的承載者自身即具有某種意義。該廣告中的薄荷葉片屬于象征暗示，薄荷葉子具有清新涼爽的薄荷味道，“清新”這一抽象特征是其自身具有的聯(lián)想含義，價值來自葉子自身。

綜合框架理論認為，當承載者與象征屬性均出現(xiàn)時，具有幾個特點：第一，作為意義表示的參與者在圖像中較顯著，這通過位置（前景）、尺寸（較大）、光線（明亮）、色彩（醒目）、細節(jié)（豐富）等手法展現(xiàn)；第二，整體環(huán)境中顯得突出；第三，象征含義與傳統(tǒng)觀念相關(guān)，便于理解。事實上，這幾個特點在象征暗示中同樣存在，這則廣告中的那片薄荷葉子盡管出現(xiàn)于畫面之中，但總是游離于情節(jié)之外，且突出于畫面的整體氛圍，處于前景，光線明亮，色彩鮮艷。薄荷葉子自身具有與之相關(guān)的“清新”含義。

這種游離于主體情節(jié)畫面之外的圖形為“提示性圖像”，作用類似于語言中的外位結(jié)構(gòu)，作為句子整體結(jié)構(gòu)之外的成分，語法分析時不參與句子主體的結(jié)構(gòu)分析，如英語中的插入語：

He， I think，will become one of the most famous scientists one day.

插入語

“I think”是插入語，去掉之后不改變句子含義。句法分析中通常去掉插入語，僅分析句子主體“He will become one of the most famous scientists one day”。葉片在畫面中的運動方式是不固定的，仿佛稍縱即逝，卻又不時出現(xiàn)，稱為“走馬燈技法”。一些網(wǎng)頁上常常使用類似技法，使小幅圖片廣告、符號、標志等“漂浮”于網(wǎng)頁畫面中、網(wǎng)頁主體之外，造成突出效果。

（二）人際意義分析

1.距離分析

日常交際中，約定俗成的常規(guī)決定了人們彼此之間的距離：一般關(guān)系越密切，距離越近；距離越遠，關(guān)系越松弛。站在交際者一方，將另一方交際者在視野中的情形表現(xiàn)為圖像，這時圖像人物的大小表現(xiàn)為觀看者可能十分靠近畫面中的人或事物，也可能被拒于千里之外。按畫面呈現(xiàn)的內(nèi)容多少，距離分為幾種：（1）親近距離：只呈現(xiàn)臉部或頭部；（2）個人距離：分為個人近距離和個人遠距離，前者呈現(xiàn)頭部或肩部，后者至腰部以上；（3）社會距離：分為社會近距離和社會遠距離，前者展現(xiàn)整個人，后者除了整個人之外還有周圍的空間；（4）公共距離：展現(xiàn)四至五個人。

圖5：第3秒圖片

圖6：第7秒圖片

以主要人物圖片為例，圖5展現(xiàn)了男1腰部以上部位，屬于個人遠距離。圖2是從圖1中截取出來的，但作為一張獨立的圖片，展現(xiàn)了女1腰部以上部位，也屬于個人遠距離。圖2和圖4均展現(xiàn)了多個人，屬于公共距離。圖6的展現(xiàn)內(nèi)容主要為很多只手，觀看者感覺上十分靠近這些手，屬于親近距離。

2.接觸分析

套用功能語法的術(shù)語“提供”（指提供信息或服務）和“索取”（指索取信息或服務），畫面中的人物與觀看者目光的連接，叫做“接觸”；索取什么的信息通過人物的表情、神態(tài)與姿勢透露。這則廣告中的人物沒有直視觀看者，與觀眾沒有接觸。

3.視角分析

觀看者對畫面內(nèi)容觀看的角度構(gòu)成了視角系統(tǒng)，仰視、平視或俯視這些不同的視角使觀眾產(chǎn)生對內(nèi)容中事物不同的權(quán)勢，這與日常經(jīng)驗的感知相似。俯視的角度從垂直俯視到略微俯視也各有不同，并表現(xiàn)不同的權(quán)勢。在表現(xiàn)廣闊的遠景時，往往含有俯視的視角。從這則廣告切分所得的圖片除0秒時為俯視，其他均為平視，體現(xiàn)一種平等、自然的權(quán)勢。同時，盡管0秒時的視角為俯視，但遠景的表現(xiàn)方式?jīng)_淡了俯視帶來的權(quán)勢壓迫感。因此，視角方面與其他方面如距離等共同傳達互動意義，應結(jié)合起來加以分析。

4.情態(tài)分析

視覺情態(tài)有三種程度：（1）高情態(tài)：圖像色彩飽和度高，呈自然主義風格；（2）中情態(tài)：圖像色彩不太飽和，呈類似于水粉的風格；（3）低情態(tài)：圖像呈現(xiàn)黑白調(diào)。通常自然主義情態(tài)下，色彩越少，情態(tài)越低，真實度越低。以這則廣告為例，色彩屬于自然主義風格，飽和度高，因此屬于自然主義情態(tài)下的中等情態(tài)，具有中等真實度。

與色彩飽和度相關(guān)的一個概念是編碼取向，指話語由一定的社會群體編碼，或在一定體制情景中編碼，這些都導致了編碼時的原則。克瑞斯和勒文從編碼取向角度區(qū)分出四類不同社會群體編碼的話語：技術(shù)性編碼取向、感官性編碼取向、抽象性編碼取向和常識性自然主義編碼取向。其中常識性自然主義編碼取向在社會中占主導，也是這則廣告使用的編碼傾向。

（三）語篇意義分析

視覺語法中的語篇意義包括信息值分析、取景分析及顯著性分析。

1.信息值分析

信息值通過元素在構(gòu)圖中的位置實現(xiàn)，元素被安排于左、右、上、下等部位體現(xiàn)了不同含義的信息值。圖5是廣告第3秒時的圖片，圖7是第5秒時的圖片。兩者對比發(fā)現(xiàn)，第3秒先出現(xiàn)的男1在第4秒時位于圖片偏左位置，而后出現(xiàn)的其他人位于右邊位置。這是“左舊右新”規(guī)則的體現(xiàn)：對于觀眾來說，先出現(xiàn)的男1屬于已知信息，位于左邊；而其他人如女1，屬于新信息，位于右邊。圖8是廣告第15秒時的圖片，主要分為上下兩部分：上方為綠箭商標，同時也是圖片縱向的中心；下方為廣告宣傳語及系列產(chǎn)品。這是視覺語法中“上虛下實”規(guī)則的體現(xiàn)。商標或圖表置于上方，是“理想的”元素，傳達的信息較理想、概括，也最顯著；宣傳語及系列產(chǎn)品置于下方，是“真實的”元素，傳達更為特定、實際的信息。

圖7：第5秒圖片

圖8：第15秒圖片

2.取景分析

取景即圖像中造成分隔線條，在畫面中割斷或連接了圖像中的元素，表示這些元素在某種意義上屬于或不屬于一體。圖9是第9秒廣告時的圖片，展現(xiàn)了眾多年輕人在站臺上擁抱的場景。停在一旁的火車提供了連接這些人物的線條（用紅線標注），表示他們在“帶來清新”與“親近”方面相同，都屬于這一具有親和力、積極的環(huán)境，造成了連接式取景效果。

圖9：第9秒圖片的取景

3.顯著性分析

顯著性指元素通過位于前景或背景、尺寸大小、色彩對比等吸引觀看者注意力的不同程度。綜合以上分析過的圖片可知，男1在較多圖片中顯著性較高。在圖5、圖1、圖4及圖7中，男1均位于前景位置，鮮明的綠色與周圍灰、米等色為主的環(huán)境形成對比，且尺寸較大。圖6中口香糖的顯著性較高，位于前景，且鮮明的綠色與周圍手的肉色形成對比。

三、結(jié)語

以上介紹了系統(tǒng)功能語法中的元功能理論在多模態(tài)理論中的改造和運用，并結(jié)合一例電視廣告進行了具體實踐。通過分析可以發(fā)現(xiàn)，電視廣告中，語言具有的元功能意義在非語言模態(tài)中均得到相應體現(xiàn)，說明語言符號的這一特征廣泛存在于各種符號中，并以類似的表達方式呈現(xiàn)；同時也從理論上證實了電視廣告這一話可以語通過語言和非語言模態(tài)的配合來建構(gòu)意義。

參考文獻：

[1]馮丙奇.視覺修辭理論的開創(chuàng)[J].北京理工大學學報，2003，（6）.

[2]胡壯麟.社會符號學研究中的多模態(tài)化[J].語言教學與研究，2007，

（1）.

[3]李戰(zhàn)子.多模式話語的社會符號學分析[J].外語研究，2003，（5）.

[4]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009，

（1）.

[5]朱永生.多模態(tài)話語分析的理論基礎與研究方法[J].外語學刊，

2007，（5）.

（錢韻然南京師范大學文學院210019）

“本文中所涉及到的圖表、公式、注解等請以PDF格式閱讀”