大學英語演示教學中多模態意義的整合

徐 艷

(巢湖學院 外語系，安徽 巢湖 238000)

一、引言

多模態話語是指運用視覺、聽覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象，且所有的模態都具有表達意義的潛勢。［1］多模態話語是普遍存在的。

多模態話語分析和研究基于系統功能語言學和社會符號學理論，認為語言并非是唯一的交際模式，其他符號資源對交際的實現也同樣起作用。因此，單純從語言角度無法對話語進行全面深入的研究和分析，多模態話語分析越來越受到國內外學者的重視。Kress 和Leeuwen 致力于建立社會符號學的多模態分析方式，探討各種符號資源，包括視覺圖像、顏色語法以及版面設計等的作用。［2－3］Royce 研究了不同符號系統在多模態話語中的互補作用以及在第二語言課堂教學中多模態的協同作用。［4］國內關于多模態話語的探討從理論研究到實踐分析都有所涉及。李戰子［5］、胡壯麟［6］、朱永生［7］和張德祿［1］等探討了多模態話語分析的理論基礎和研究方法，逐步為多模態話語研究提供了較為系統的理論框架。王紅陽［9］、李美霞和宋二春［10］、張旭紅［11］、張德祿和袁艷艷［12］等將多模態話語研究分別應用于不同語類的語篇分析之中。與此同時，教學的多模態化也已經成為一個重點研究領域，張德祿和王璐［13］通過對比兩個教學案例，探討在大學英語課堂實際教學過程中，不同模態之間的相互協同作用。王惠萍［14］的研究表明，在現代英語閱讀教學中有必要培養學生的多模態識讀能力。張征［15］進行了多模態PPT 演示教學與學生學習績效的相關性研究。但是關于演示教學中多模態話語選擇以及意義整合的研究鮮有涉及。

把現代教育多媒體技術運用于教學，可以更加全面、更加準確地解讀教學內容。在教學多模態話語選擇中最關鍵的因素是如何使不同模態相互配合來獲得最佳教學效果。本文基于多模態話語分析理論框架，以首屆全國大學英語教學大賽綜合組十位獲獎選手所設計的演示教學作品(Power Point，PPT)為研究對象，探討演示教學中多模態意義的整合，從而為大學英語課堂演示教學提供更為有效的途徑。

二、語料來源

本文以首屆“外教社杯”全國大學英語教學大賽綜合組一、二和三等獎獲得者所設計的演示教學作品(共10 個PPT)為語料來源。根據大賽規則，選手必須借助多媒體等先進教學手段，用20 分鐘時間為現場15 位學生上一堂完整的教學課。利用計算機技術教學，是大賽考察的重要環節。大賽組委會對電子課件(PPT)設立的評比標準包括課件的功能性、實用性、豐富性以及與授課內容的關聯性。

此次大賽十位獲獎者設計的PPT 篇幅最長的是52 張，最短的是12 張，平均篇幅約為26 張，包含文字、圖像、音頻和視頻等。此外，PPT 演示教學的設計還充分考慮了字體、顏色搭配、動畫效果、背景音樂及幻燈片切換方式等因素。PPT 演示教學是通過多種符號資源內部的互動來實現意義的復合話語，屬于多模態話語范疇。［15］

三、演示教學中的模態形式和多模態意義的整合

(一)多模態話語分析的理論框架

隨著現代科技和傳媒技術的發展，話語的多模態性日趨增強和凸顯。多模態話語分析興起于20 世紀90 年代，其主要理論基礎是社會符號學和系統功能語言學。具體來說，多模態話語分析理論從韓禮德系統功能語言學中接受了語言是社會符號和意義潛勢的觀點。［7］這一分析理論認為，多模態話語交際和單模態語言交際具有相同特征。每種模態都是符號資源，各種模態發展成產生意義的互相連接的可供選擇的網絡，所有的模態及各種模態間的互動均具有表達意義的潛勢，都對意義的創建起作用。［16］張德祿認為，多模態交際可以使受話人通過多通道獲得信息，比單模態話語更容易使受話者理解和記憶，而現代多媒體技術的發展為多模態話語交際提供了新的環境和條件，同時為多模態交際提供了新的途徑。［17］本文基于張德祿［1］建構的多模態話語分析綜合理論框架(見圖1)，分析首屆全國大學英語教學大賽十位獲獎選手如何在PPT 演示教學中選擇不同的模態，構建多模態意義。

張德祿建構的多模態話語分析綜合框架，基于系統功能語言學理論，由文化、語境、意義、形式和媒體五個層面的系統組成。多模態交際受文化語境和情景語境的制約，實現概念、人際和語篇意義;在形式層面上，不同模態形式相互關聯，共同體現話語意義(見圖2)。

多模態話語中，不同的模態形式之間是相互聯系的，主要分為互補和非互補的關系。互補關系又進一步劃分為強化和非強化兩種類別，而非互補關系可區分為交疊、內包和語境交互等類別。張德祿認為，模態的選擇涉及最佳搭配，不是完全自由、隨意的。模態的選擇需以增加正效應為原則，主要包括強化、協調、前景與背景、整體與部分和抽象與具體等;相反，如果模態之間產生矛盾，相互排斥或抵消，就會增加負效應。［8］因此，如何使不同模態相互配合來獲得最佳教學效果成為PPT 演示教學多模態話語選擇的關鍵。

圖1 多模態話語分析綜合框架

(二)演示教學中的模態形式

全國大學英語教學大賽要求，采用演示教學模式為現場15 位學生上一堂完整的教學課(時間為20 分鐘)，而演示教學運用的媒體工具為PPT。PPT 是一種演示文稿圖形程序，可協助制作者創建永恒的視覺效果，增強多媒體的支持功能。PPT 演示教學包括文字、圖片、圖表、動畫、聲音、影片等，建構了視覺和聽覺等模態形式。多模態PPT 演示教學指在教學設計過程中把兩種及兩種以上符號的系統資源，制作成PPT 課件供課堂教學演示的教學模式。［15］

全國大學英語教學大賽規定，教學內容為《全新版大學英語》或《新視野大學英語》的課文，教學對象為臨時找來的大學一年級學生，教師在20 分鐘內完成課文導入和課文解析等教學環節。張德祿［8］研究發現，在外語教學中，模態選擇受教學內容所涉及的領域(話語范圍)、教學對象的情況，教學對象與授課者之間的關系(話語基調)和教學的條件及場所(話語方式)等制約。［8］鑒于此，十位獲獎選手利用現代媒體技術，充分考慮不同模態之間的相互配合，力求為學生提供一個圖、文、聲、像環繞的交互式語言環境。獲獎選手在PPT 演示教學中主要選擇了以下幾類模態:

圖2 多模態話語形式與關系

1.視覺模態

視覺模態主要包括文字類、圖片類和圖表類，是PPT 演示教學的主模態。

毋庸置疑，文字是表達意義的首要模態。Leeuwen 認為，印刷體式包括字形、字體大小和顏色等，都是社會符號，具有意義潛勢，都是構建意義的重要模態。［18］在演示教學中，要盡量減少需要顯示的文字數量，不能把幻燈片制作得太滿，過多的文字閱讀不僅容易使學生產生視覺疲勞，而且干擾學生的感知，因此，字號、字體和顏色的選擇都很重要。文字和背景的顏色搭配要合理，字體顏色的選擇和背景顏色息息相關，搭配要求醒目易讀。對于關鍵性的標題和總結，要以不同的字號、字體和顏色加以區別。三等獎獲得者張碧慧在其PPT 作品中采用白底黑字，字體為Times New Roman，標題主要用藍字或紅字，字體變換為Monotype Corsiva。不同的文字內容用不同的字體顏色顯示，可以更好地呈現教學內容。在搭配合理的基礎上豐富色彩，能激發學生的興趣。字號、字體和顏色的變化在語義層面沒有提供新的信息，但可以吸引學生的注意力，具有人際意義。

圖片主要為漫畫式插圖、人物肖像或實物、實景照片等。圖片與文字都是表達語義的基本方式。Kress 和Leeuwen 對照Halliday 三大元語言功能，即概念功能、人際功能和語篇功能，提出圖片等視覺符號同樣具有再現、互動和構圖意義。［2］換言之，圖片不僅將要表達的內容以直觀、濃縮的方式表達出來，也實現了人際互動意義。同時，圖片的語篇組織形式反映了作者的態度、觀點和意識形態。圖片對語篇意義的整體構建起到不容小覷的作用。PPT 演示教學中，圖片可顯示文字難以表達的教學內容，提供較為形象和直觀的教學，使抽象的內容形象化、枯燥的內容具體化。例如二等獎獲得者趙芹在PPT 作品中解釋“on the latch”這一詞組時，選擇了一張表達相應意義的實物照片，更加形象具體地體現了該詞組所表達的信息內容，更便于學生理解和記憶。

圖表多為綱要式圖表、線索圖或示意圖等，將教學內容分類、提煉和綱目化。晦澀的語篇部分可由圖表來闡明，而圖表的意義也會由于文字語篇而變得清晰。［19］在PPT 演示教學中，圖表以簡單清晰的方式概括總結較為復雜的教學內容。例如三等獎獲得者龐雅在PPT 作品中以綱要式圖表清楚地展示了文章結構，在有限的篇幅內盡可能向學生傳遞最大的信息量，使學生更好地從宏觀上理解和把握課文。

此外，從分析的語料來看，所有選手在其PPT 中都設置了動畫效果。PPT 演示教學的動畫效果，是靜態內容無法達到的。比如有些教學內容需要提醒學生特別注意，可用動畫效果實現對教學內容的突出強調作用。二等獎獲得者方衛在其第九張幻燈片中，對“Homonym”這一單詞設置了波浪形的動畫效果，其目的是提示學生接下來的幻燈片將會對這一單詞作出進一步的解釋。可見，PPT 的動畫效果也可有效地表達人際和語篇意義。

2.聲覺模態

它包括課文錄音、與教學內容相關的聽力材料或背景音樂等。張德祿認為，外語教學主要是培養學生的外語實踐能力，即在真實語境中的交際能力，所以盡可能提供真實的語境是外語教學十分有效的手段。［1］PPT 演示教學的聲覺模態可使學生獲得的語境知識更加具體，為語言學習提供背景信息。如三等獎獲得者張璐的教學內容為“Taking a Booking”，她在PPT 中添加了關于“Making Reservation”的情景對話，讓學生直接接觸近乎真實的語境，提高了教學效果。

3.視頻模態

它包括電影片段或剪輯的訪談錄像。視頻模態的優勢在于播放畫面的同時播放聲音，不同的模態共同參與主題意義的表達，實現三維立體的教學方式，充分調動學生的各個感官，促進學生立體思維、線性思維。例如，三等獎獲得者羅薇在其課文導入環節精心選擇了兩段電影片段，對比中國人和西方人在對待孩子教育上的不同態度，切合其課文主題“Learning，Chinese Style”，使學生體驗較為真實的語境，有身臨其境之感。

(三)多模態意義的整合

胡壯麟探討了“整合”一詞在外語教學和研究中的作用，其最為滿意的解釋是:“整合是通過把不同的事物與物質，使它們相互滲透相互交互，資源共享結合在一起，或叫集成在一起，讓它們通過結合發揮最大的價值，其主要的精髓在于將零散的要素組合起來，最終形成有價值有效率的一個整體。”［20］多模態意義的整合關鍵在于使不同的模態相互配合、相互協調，共同構建概念意義、人際意義和語篇意義。

多模態話語可能只涉及一種感官，但包含兩個或兩個以上的符號系統。正如曾方本指出的那樣:多模態話語蘊含著多種符號系統或符號變體，但不一定會涉及多種感官。［21］從語料分析的結果來看，PPT 演示教學的主模態——視覺模態由文字、圖片和圖表等符號系統組成，其中文字和圖片、文字和圖表是最為常見的多模態形式。由張德祿建立的多模態話語形式與關系框架(見圖2)可知，典型的多模態話語模式是一種模態的話語不能充分表達其意義，或無法表達其全部意義，需要借助另一種來補充，稱之為“互補關系”，而其他的稱為“非互補關系”，即一種模態對另一種模態在意義的表達上并沒有大的貢獻，但仍作為一種模態出現。互補關系區分為強化關系和非強化關系，非互補關系包括交疊、內包和語境交互。［1］

張德祿認為，如果不同模態產生矛盾，相互抵消或互不銜接，則可能會降低教學效果。因此，模態之間的配合要以增加正效應為原則。［8］

1.文字和圖片之間主要存在強化、非強化和內包等關系

在強化關系中，第一種模態是主要的交際形式，第二種模態形式提供背景信息，讓第一種模態表達的信息更加突出。如三等獎獲得者潘俊峰所授內容涉及“Vietnam War”，他在PPT 中展示了一系列與戰爭相關的圖片，從而強化了“terrible”這一意義。非強化關系表示兩種交際模態缺一不可，互為補充。例如，二等獎獲得者方衛在其課文導入環節設置了“Brain-teaser(腦筋急轉彎):What is the smallest bridge in the world?”其答案呈現方式是一幅關于人體器官鼻子的圖片和一幅橋梁圖，且在器官圖上標注了“bridge(鼻子)”一詞，圖片和文字共同表達主題意義。內包關系是指其中一種或多種模態對整體意義的表達沒有新的貢獻，只是給予更加具體的信息，主要是吸引學生的注意力，體現人際意義。以一等獎獲得者劉玲的PPT 作品為例，她在解釋“Hacker，Wow，Online shopping”等詞時，提供了相應的圖片，使學生對抽象概念有了具體的認識。

2.文字和圖表之間主要體現的是非強化關系中的協調關系

在協調關系中，不同的模態共同表達交際者的整體意義，缺乏任何一種都不完整，協調關系實際上是運用多模態交際最有效的教學方式。［9］PPT 演示教學中，教師在解析文章結構和介紹寫作方式時多用圖表形式呈現文字內容，文字和結構圖缺一不可，共同參與概念、人際和語篇意義的表達。

此外，在所分析的語料中還涉及視覺模態和聲覺模態、視覺模態和視頻模態的配合。譬如三等獎獲得者苗鳳波的教學內容為“American Dream”，他在展示一系列與“美國夢”相關圖片的同時，以《追夢人》樂曲為背景音樂，是視覺模態和聲覺模態的有效配合。圖片表達基本的概念意義;音樂抒發情感，喚起學生的共鳴，表達的是人際意義。三等獎獲得者張璐在介紹酒店的房間類型時，選擇了文字和視頻兩種模態，教學內容以文字和視頻兩種方式展現，是一種交叉體現意義的現象。

可見，多模態話語整合的意義在于，在意義表達過程中，不僅可以發揮語言系統的作用，而且使其他符號系統參與其中，整合后的多模態話語的語義蘊含了單模態話語所無法準確表達的內容。

四、結語

綜上所述，本文基于張德祿［1］建構的多模態話語分析框架，通過分析首屆“外教社杯”全國大學英語教學大賽綜合組十位獲獎者設計的PPT 作品發現，PPT 演示教學主要包括視覺模態、聲覺模態和視頻模態等，多模態話語的整合不僅包括不同感官間的，還包括同一感官中的。為了取得更好的教學效果，教師在設計PPT 演示教學時，須合理選擇不同模態，充分考慮模態間的相互配合，發揮多模態話語的積極作用。語言教學需要真實的語境，多媒體技術的發展為其提供了便利條件，大學英語課堂教學以演示教學模式展開已成為一種趨勢。本文研究了PPT 演示教學中多模態形式的整合，在實際課堂教學中，教師如何使PPT 演示教學為其語言和動作(如身勢語)服務是有待于進一步研究的課題。

［1］張德祿.多模態話語分析綜合理論框架探索［J］.中國外語，2009(1):24－30.

［2］KRESS G，LEEUWEN T V.Reading images［M］.London:Routledge，1996.

［3］KRESS G，LEEUWEN T V.Multimodal discourse:The modes and media of contemporary communication［M］.London:Arnold，2001.

［4］ROYCE T.Multimodality in the TESOL classroom:Exploring visual-verbal synergy［J］.Tesol Quarterly，2002 (2):191－205.

［5］李戰子.多模式話語的社會符號學分析［J］.外語研究，2003(5):1－8.

［6］胡壯麟.社會符號學研究中的多模態化［J］.語言教學與研究，2007(1):1－10.

［7］朱永生.多模態話語分析的理論基礎與研究方法［J］.外語學刊，2007(5):82－86.

［8］張德祿.多模態話語理論與媒體技術在外語教學中的應用［J］.外語教學，2009(4):15－20.

［9］王紅陽.多模態廣告語篇的互動意義的構建［J］.四川外語學院學報，2007(6):31－34.

［10］李美霞，宋二春.從多模態語篇分析角度解讀意義共建［J］.外語教學，2010(2):6－10.

［11］張旭紅.視覺詩Me up at does 多模態意義的構建［J］.外語學刊，2010(1):85－90.

［12］張德祿，袁艷艷.動態多模態話語的模態協同研究［J］.山東外語教學，2011(5):9－16.

［13］張德祿，王璐.多模態話語模態的協同及在外語教學中的體現［J］.外語學刊，2010(2):97－102.

［14］王惠萍.英語閱讀教學中多模態識讀能力的培養［J］.外語界，2010(5):20－25.

［15］張征.多模態PPT 演示教學與學生學習績效的相關性研究［J］.中國外語，2010(3):54－58.

［16］李戰子，陸丹云.多模態符號學:理論基礎，研究途徑與發展前景［J］.外語研究，2012 (2):1－8.

［17］張德祿.多模態外語教學的設計與模態調用初探［J］.中國外語，2010(3):48－53.

［18］LEEUWEN T V.Towards a semiotics of typography［J］.Information Design Journal，2006(2).

［19］NUTALL C.Teaching reading skills in a foreign language［M］.Shanghai:Shanghai Foreign Language Education Press，2002:51－53.

［20］胡壯麟.閑話“整合”［J］.中國外語，2008(5):19－23.

［21］曾方本.多模態符號整合后語篇意義的嬗變與調控［J］.外語教學，2009(6):28－31.