多模態(tài)話語模態(tài)協(xié)同性研究

馬茜蕓

(長安大學(xué) 陜西 西安 710000)

在信息高速發(fā)展的時代，人們的交際方式發(fā)生了翻天覆地的變化。交際方式不再是以單一的語言為主，而是由多種模態(tài)相互配合完成交際。圖片、文字、音樂、視頻、表情、手勢等參與交際，呈現(xiàn)多模態(tài)話語交際模式。在多模態(tài)話語模態(tài)中，一般以聽覺模態(tài)為主，視覺模態(tài)和觸覺模態(tài)為補充和配合。目前國內(nèi)對多模態(tài)的研究逐漸進(jìn)入一個全新階段，國內(nèi)學(xué)者的研究對象從單一的文本、圖像等轉(zhuǎn)向以動態(tài)視頻為研究對象。基于張德祿的多模態(tài)話語分析理論，從文化語境、情景語境和模態(tài)協(xié)同性分析兩個不同的演講視頻，探究兩種不同的視頻在聽覺模態(tài)、視覺模態(tài)和觸覺模態(tài)上是如何相互配合，實現(xiàn)演講的完美效果。

一、多模態(tài)話語模態(tài)的協(xié)同性

相對于國內(nèi)，國外對多模態(tài)話語模態(tài)的研究起步早，范圍廣，影響大。學(xué)者們在Halliday的系統(tǒng)功能語法的基礎(chǔ)上提出了不同的觀點。Royce（1998）提出了符號間的互補框架，他認(rèn)為符號間的互補框架是不同的符號系統(tǒng)可以形成整體含義。多模態(tài)話語模態(tài)可以分為語言分析、視覺分析和符號系統(tǒng)三個部分。Matinenc＆ Salway（2005）在Halliday的系統(tǒng)功能語法的基礎(chǔ)上研究了小句復(fù)合體，并根據(jù)小句復(fù)合體的分析方法對文本和圖像之間的關(guān)系進(jìn)行探究。O’Halloran（2003）提出了符號隱喻的概念，在符號隱喻中，重構(gòu)功能和語法類別發(fā)生了很大的變化。Lim（2004）研究了多模態(tài)話語模態(tài)中大量的語言和圖片符號資源等。陳瑜敏,王紅陽（2008）對文本和圖像之間的關(guān)系進(jìn)行了更深層面的研究，分析了我國教材上的圖像和文本之間的關(guān)系，并對此進(jìn)行了解釋。楊信彰（2010）認(rèn)為文本和圖像是一種相互依存的邏輯語義關(guān)系。張德祿（2010）在系統(tǒng)功能語法的基礎(chǔ)上首先提出了多模態(tài)的綜合理論框架，他認(rèn)為協(xié)同作用有兩大類：一類是互補性的，另一類是非互補性的。他基于多模態(tài)話語模態(tài)分析理論，研究了外語課堂和天氣預(yù)報中的多模態(tài)話語模態(tài)間的協(xié)同性。

二、演講視頻的多模態(tài)話語分析

（一）文化語境

1.TED演講視頻的文化語境分析

馬林諾夫斯基最早提出文化語境的概念。文化語境是影響交際的關(guān)鍵因素，是多模態(tài)交際的重要方面。它受意識形態(tài)、文化傳統(tǒng)、思維習(xí)慣、民族習(xí)俗等影響，在一定程度上決定人們的交際目的。文化語境具體到不同的演講視頻中，呈現(xiàn)出演講人不同的意識形態(tài)。TED演講作為美國經(jīng)典演講節(jié)目，深受觀眾的喜愛，它的主題內(nèi)容多種多樣，演講人也是來自各行各業(yè)的頂尖人物。本文從兩方面分析TED演講視頻中的文化語境。

首先從意識形態(tài)分析。TED演講人都是不同領(lǐng)域的成功人士，如科學(xué)家、哲學(xué)家、藝術(shù)家、心理學(xué)家、人類學(xué)家和語言學(xué)家等。他們的社會角色和社會責(zé)任是把握好自己事業(yè)，推動社會的進(jìn)步和時代的發(fā)展，他們有著崇高的社會地位，同時也承擔(dān)著更多的責(zé)任。在我們選擇的TED視頻中，演講人是Rober Waldinger。他是一位精神病學(xué)家和精神分析學(xué)家，哈佛大學(xué)成人發(fā)展研究的第四位主任。Rober Waldinger的社會角色和社會責(zé)任在某種程度上推動了科學(xué)發(fā)展，為觀眾樹立了優(yōu)秀的榜樣。

其次從文化語境下的體裁結(jié)構(gòu)分析。TED演講視頻利用聽覺模態(tài)、視覺模態(tài)和觸覺模態(tài)的協(xié)同發(fā)展達(dá)到說服觀眾的目的。文化語境下，TED演講的體裁結(jié)構(gòu)有五個階段：一是開始階段。Rober Waldinger教授向觀眾問好開始演講。二是主題階段。Rober Waldinger教授以提問的方式開始這次演講：What makes a good life?引起觀眾深思，認(rèn)真地思考問題的答案。三是高潮階段：Rober Waldinger教授講述自己的觀點：使人們感到快樂和健康的真正原因是什么？他以哈佛大學(xué)的成人發(fā)展研究的例子來論證。四是過渡階段：以PPT上的圖片向觀眾展示獲得幸福的真正方法，從他們長達(dá)75年的研究中得出結(jié)論。五是結(jié)尾階段：Rober Waldinger教授總結(jié)自己的觀點，分享正確的觀點給觀眾，并以手勢示意演講結(jié)束。該TED演講視頻時長為12分鐘48秒，Rober Waldinger教授以幽默詼諧的方式，聲情并茂的演講，針對What makes a good life這個具體問題，發(fā)表自己獨到的觀點，并以長達(dá)75年的追蹤調(diào)查為例子，使其更具有說服力。這樣的演講有著強烈的感染力和影響力。

2.《我是演說家》演講視頻的文化語境分析

《我是演說家》是北京衛(wèi)視的演講節(jié)目，其主題是為新時代發(fā)聲。演講人可自愿報名參加《我是演說家》的演講，分享各自的經(jīng)歷，論證自己的觀點。該節(jié)目以比賽的形式進(jìn)行，每次都會邀請來自平凡崗位的普通人如交警、教師、警察、消防員、醫(yī)生等參加比賽。在本文選取的這期演講視頻中，演講人分別是法醫(yī)、消防員和警察。在文化語境下分析《我是演說家》的意識形態(tài)發(fā)現(xiàn)，其傳輸?shù)氖窃谄椒驳膷徫簧蠠o私奉獻(xiàn)、盡職盡責(zé)、做出平凡人的努力的精神。《我是演說家》利用了聽覺模態(tài)、視覺模態(tài)和觸覺模態(tài)的協(xié)同性，達(dá)到預(yù)期的演講效果，它的體裁結(jié)構(gòu)有五個階段，具體如下：

開始階段：每位演講人上臺，主持人介紹演講人的基本信息。

主題階段：演講人以講故事的方式開始這次演講。

高潮階段：演講人講述自己的故事，和觀眾分享自己的親身經(jīng)歷，闡述自己的觀點。

過渡階段：演講人向觀眾展示平時執(zhí)行的任務(wù)，介紹自己的職責(zé)，消防員日常訓(xùn)練和出警的情景。

結(jié)尾階段：演講人以手勢示意完成這次演講。

《我是演說家》視頻時長約為1個小時左右，一期節(jié)目約有3—5個演講人分享自己的人生故事，每個人都有15分鐘的演講時間。它是一場鼓舞人心的演講比賽，傳遞了演講人身上的正能量。

在文化語境下分析發(fā)現(xiàn)，兩個節(jié)目的演講人有著不同的意識形態(tài)，傳遞著不同的價值觀念。前者傳遞的是某個領(lǐng)域頂尖人物的價值觀念，以科學(xué)實驗來論證觀點，后者傳遞的是平凡崗位上普通人的價值觀念，以親身經(jīng)歷來論證觀點。在特定的文化語境下，不同的文化在發(fā)展過程中都會產(chǎn)生不同的意識形態(tài)，從而對聽眾產(chǎn)生不同的影響。

（二）情景語境

1.TED演講視頻的情景語境分析

根據(jù)Halliday的系統(tǒng)功能語言學(xué)理論,情境語境中有三個變項：語場（field）、語旨（tenor）和語式（mode）。語場指的是語篇中正在做的事情；語旨指的是會話過程中的交際雙方的角色；語式指的是交際的途徑。在TED演講中這三個變項分別是：

（1）語場：2016 年4 月 9 日，Rober Waldinger教授的演講。

（2）語旨：Rober Waldinger教授和現(xiàn)場觀眾。

（3）語式：TED演講作為傳播媒介。Rober Waldinger教授穿著大方得體，語言詼諧幽默，語調(diào)平緩，語速適中，并結(jié)合PPT圖片和小視頻等來補充聽覺模態(tài)。通過多種模態(tài)間的協(xié)同，達(dá)到演講的完美效果。

2.《我是演說家》演講視頻的情景語境分析

（1）語場：2017 年3 月 18 日20 時至 21時，三位演講人。

（2）語旨：北京衛(wèi)視節(jié)目主持人，三位演講人和現(xiàn)場觀眾。

（3）語式：北京衛(wèi)視作為傳播媒介。三位演講人身穿制服，語言簡單樸素，語速適中，以聽覺模態(tài)為主模態(tài)，視覺模態(tài)和觸覺模態(tài)為補充，通過各模態(tài)之間相互配合來呈現(xiàn)這次演講。

TED演講和《我是演說家》這兩個演講視頻的情景語境有著不同的含義。在情景語境下對兩個演講視頻的演講人分析可以發(fā)現(xiàn)，TED演講的情景語境是以演講人為主體進(jìn)行演講，這中間不存在主持人參與交際。《我是演說家》的情景語境是以主持人和演講人相互配合完成演講。以演講人和主持人的口語為主模態(tài)，聽覺模態(tài)和觸覺模態(tài)為補充，從而構(gòu)架更好的語篇。聽覺模態(tài)和觸覺模態(tài)的關(guān)系是互補的，演講人在演講的過程中可以一邊說一邊用手勢、肢體動作、圖片、音樂、視頻等方式來補充所表達(dá)的內(nèi)容。在整個語篇中，聽覺模態(tài)和觸覺模態(tài)都是不可缺少的一部分。演講人在演講過程中，可以以口語為主模態(tài)，配合手勢、肢體動作等完成整個語篇的構(gòu)建，達(dá)到影響、說服觀眾的目的。

三、演講視頻的多模態(tài)話語模態(tài)的協(xié)同性分析

TED演講視頻主要是以聽覺模態(tài)為主模態(tài)，但僅僅從演講人的演講內(nèi)容來獲取信息過于單一，達(dá)不到最好的演講效果。這時需要借助其他模態(tài)，如手勢、肢體動作等，協(xié)同完成一場優(yōu)秀的演講。Rober Waldinger教授在演講過程中，借助了豐富的表情、眼神及肢體動作，利用聽覺模態(tài)、視覺模態(tài)和觸覺模態(tài)三者之間的協(xié)同性，向觀眾呈現(xiàn)了完美的演講。《我是演說家》的演講視頻也是以聽覺模態(tài)為主模態(tài)，視覺模態(tài)和觸覺模態(tài)為補充，但是由于演講人身份的不同，所以視覺模態(tài)是以強化協(xié)調(diào)的形式出現(xiàn)。在視覺模態(tài)下，演講人的穿著打扮都會影響聽眾對演講的理解。2017 年3 月 18 日這一期《我是演說家》的第一位演講人的職業(yè)是法醫(yī)，她身穿白大褂，接下來兩位演講人的職業(yè)是消防員和交警，他們同樣身穿制服，三位演講人以著裝向觀眾傳遞出視覺模態(tài)信息。

四、結(jié)語

通過對TED演講視頻和《我是演說家》演講視頻的多模態(tài)話語模態(tài)協(xié)同性研究發(fā)現(xiàn)，在這兩個不同類型的演講視頻中，演講人根據(jù)不同的受眾群體和交際目的，選擇不同的話語模態(tài)。兩個視頻有著不同的意識形態(tài)、體裁結(jié)構(gòu)及情景語境含義。在演講過程中，以演講人的口語為主模態(tài)，視覺模態(tài)和聽覺模態(tài)對其進(jìn)行補充。三種模態(tài)相互配合，相互協(xié)調(diào)，構(gòu)建更好的語篇，達(dá)到說服和影響觀眾的目的。