一篇TED演講多模態語篇的模態協同研究

宋冠辰

摘要：隨著現代技術的發展，語言不再是人們交際的唯一方式，而是由多種模態——空間、手勢、移動、音樂、書面語、圖像、圖表等共同完成。本文擬以TED演講為語料，應用系統功能語言學理論和胡壯麟的PowerPoint文體系統框架，分析一篇TED演講動態多模態語篇的模態之間的協同關系。本文發現在TED演講多模態語篇中，聽覺模態為主要模態，為了實現話語的有效傳遞，需要PPT、演講者和布局背景對其進行補充和強化，內包和交疊。

關鍵詞：動態多模態語篇；協同；TED演講

中圖分類號：G642.0 文獻標志碼：A 文章編號：1674-9324（2017）03-0054-02

一、理論基礎

1.動態多模態話語分析框架。多模態話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象?；贛artin的系統功能語言學理論和Lim在研究圖畫與語言形成的多模態話語，張德祿從文化層面、語境層面、內容層面和表達層面提出了多模態話語分析綜合理論框架。

2.胡壯麟的PowerPoint文體系統框架。胡壯麟把PowerPoint作為語類的語篇分為四種基本類型：點句、圖像、圖表、色彩/音響。點句的主要功能是提示性，有助于幫助演講者組織思路，突出重點。圖像的功能是直觀性，用圖像的方法將真實世界展現在受眾之前，有助于加深印象。圖表有助于實現分析性功能，演講者基于圖表分析項目的運作系統、內部關系或發展趨勢。色彩/音響屬于勸誘型，演講者運用色彩、動畫和音樂，使受眾產生美的感受，接受幻燈片的內容，進而達到演講者的勸誘意圖。

二、TED演講的多模態話語分析

1.文化語境。文化語境是使多模態交際成為可能的關鍵層面，決定交際的傳統、交際的形式和技術。具體到TED演講來說，它是由一個非盈利的國際組織TED于1984年創辦，起初演講內容主要包括科技，文娛和設計三個主題，現如今涉及眾多領域。TED演講形式和傳播方式多樣，主要以演講者口頭表達結合PPT演示的形式向現場的觀眾演講，同時演講實況錄像在網絡發布。受眾的廣泛性決定了TED演講的影響力集中在廣大網絡觀眾。加之時間、空間條件限制，本文將研究限定在TED演講者和網絡觀眾之間的話語交際。TED演講在一定程度上可以歸類為學術演講，圍繞3D打印藥物的主題其演講體裁可以分為三個階段：開始階段：提出化學軟件化的設想；中間階段：描述研究現狀和研究思路；結束階段：引導觀眾思考未來3D打印設想。

2.TED演講的情景語境分析。從韓禮德（1978）的系統功能語言學理論看，情景語境是文化語境的具體體現，包括：語場，語旨和語式。在本篇TED演講中可以描述為：（1）語場：一篇關于個人如何實現3D打印藥物的TED演講；（2）語旨：TED演講者和其觀眾；（3）語式：TED利用聲項合一的網絡傳播媒介，供全世界觀眾學習；TED演講的演講者與觀眾之間的交際呈現單項性，演講者輕松幽默又不失學術嚴謹性的英語口語作為聽覺模態傳播演講的聲音意義；身體媒體（演講者自身的表情、眼神、手勢、姿勢、移動等）和非身體媒體（PPT和場地布局）的變化形成的動態畫面作為視覺模態傳播TED演講的圖像意義。

三、TED演講多模態話語的模態協同

在TED演講中，兩種模態的協同對于實現演講者話語的有效傳遞不可或缺。要克服時間有限的矛盾，只有通過視覺模態和聽覺模態之間的相互配合、相互補充，才能最大限度地實現TED演講的宗旨。下面將依據演講內容進一步細分不同模態。

1.演講場地布局。TED演講的布局簡單鮮明，除演講者身后用來展示PPT的屏幕、TED標志外，紅色燈光打成的圓形區域突顯了演講者的位置。講臺布置和演講者是觀眾的視覺對象，講臺建立起了演講者不同于觀眾的信息傳遞的職能，觀眾處于一種信息接收的角色。

2.聽覺模態。聽覺模態是線性模態，TED演講的進程是根據口交際的時間過程向前推進的，這不僅符合信息獲取循序漸進的特點，也說明場地布局提供的只是背景信息和條件，對聽覺模態起輔助作用。

3.演講者視覺模態與聽覺模態之間的協同關系。演講者本人通過視覺模態來補充和強化自己的話語。本篇TED演講可以歸為：（1）用手勢來模擬所講的事物和概念。事件12中，演講者連續用三個動詞短語表達制作化學工具箱的思路，動作與話語同起同落，連貫形象，便于觀眾理解。（2）用手勢來表示演講節奏。事件1、8、9、16、19、20和21中演講者手臂抬到半空，隨講話的節奏或上下或前后晃動來幫助自己把握說話的語調。

4.PPT視覺模態與聽覺模態之間的協同關系。不同于一般的口語交際，TED演講具有學術性和專業性，因而演講者借助PPT便于向觀眾傳達信息。（1）點句。事件15和事件16中PPT上的點句基本可以看做是對演講者話語的重復，從表達的內容上看沒有附加，也沒有縮減。因此，兩事件中的PPT視覺模態與聽覺模態形成交疊類型的非互補關系。但是在事件18中，PPT上的點句對演講者的話語有補充，此時PPT視覺模態與聽覺模態之間形成強化類型的互補關系。（2）點句和圖像的組合。事件3、4、5、6、10、13中，演講者抓住圖像的直觀性特點，運用點句強化演講內容，形成強化類型的互補關系。

5.PPT、演講者和布局背景視覺模態與聽覺模態之間的協同關系事件7、15和22出現演講者、PPT和背景同時存在的情況。這樣的視覺模態和聽覺的模態的結合從整體的視角將演講者的聲音、PPT圖像、演講者和布局背景結合起來，向觀眾表達了TED演講的整體意義。

四、模態之間的協同關系討論

1.模態的配合要以增加正向效應為原則。本篇TED演講中，聽覺模態和視覺模態所形成的模態協同關系中互補關系占最高比例?；パa關系在聽覺模態和演講者視覺模態所形成的協同關系中所占的比例是70%，在聽覺模態和PPT視覺模態所形成的協同關系中所占的比例是40%。在聽覺模態與PPT視覺模態之間的協同關系中，交疊類型的非互補關系所占比例次之，18.19%。在聽覺模態與PPT視覺模態之間的協同關系中，內包類型的非互補關系所占比例最少，9.10%。

2.在整個交際過程中，聽覺模態是主模態，主導交際進程，始終處于前景化的位置。只有當聽覺模態和視覺模態之間的協同關系是強化類型的互補關系時，視覺模態處于前景化的位置。在本TED演講中，聽覺模態單獨處于前景化的比例為42.86%，聽覺模態和演講者視覺模態處于前景化的比例為31.82%，其余為聽覺模態和PPT視覺模態處于前景化的比例。

通過以上分析，本文發現了TED演講中演講者為實現話語意義的有效傳遞，采用多種多模態話語交際的組合；通過分析不同模態的表現以及模態之間的關系還發現了不同模態雖各自有一定的特點，但需要結合具體語境具體分析模態之間的協同關系。在整個交際過程中，聽覺模態是主模態，始終處于前景化；演講者視覺模態與聽覺模態起強化類和協調非強化類的互補關系；PPT視覺模態與聽覺模態之間形成強化類互補和非強化類、內包類或交疊類的非互補關系；場地布局視覺模態與聽覺模態之間形成語境交互類的非互補關系。本文雖然初步探討了TED演講的多模態話語，但仍存在不足，希望能對動態多模態話語分析做出貢獻。

參考文獻：

[1]Baldry，A.P.& P.J，Thibault（2006）Multimodal Transcription and Text Analysis[M].London：Equinox.

[2]張德祿.多模態話語分析綜合理論框架探索[J].中國外語，2009a，（01）：24-30.

[3]胡壯麟.PowerPoint——工具，語篇，語類，文體[J].外語教學，2007，（04）：1-5.

Synergy of Different Modes in Multimedal Discourse： TED Speech

SONG Guan-chen

（School of Foreign Languages，Hohai University，Nanjing，Jiangsu 211100 ，China）

Abstract：As the development of modern technology，Language is not the only way for human communication，but combines with various modes including space，gestures，movements，music，written language，images，graphics，etc.This present article is intended to explore the synergy of different modes in the TED Speech dynamic multimodal discourse on the basis of the synthetic theoretical framework as well as the system of styles from Hu Zhuanglin.It found that the auditory mode is the main mode in the TED Speech，and to achieve effective transfer of discourse，PPT，speaker and layout of background are needed to play the roles of complementary，highlight and inclusion.

Key words：dynamic multimodal discourse；synergy；TED Speech