信息技術下外語課堂的多模態協同研究

王麗錦

摘要：本文探討了多媒體技術下外語課堂中的的多模態因素，各模態之間的關系，多模態選擇的原則和決定因素，多模態的作用等，并以公開課為例闡述各模態之間如何協作對教學產生效果。研究總結，教師應充分利用多種模態和現有技術提高教學效果。

關鍵詞：多模態 協同 媒體 外語課堂

中圖分類號：H319 ?文獻標識碼：A ?文章編號：1009-5349（2019）09-0001-04

隨著信息技術的飛速發展，人與人之間的溝通表達增加了文本、聲音、圖片的融合（Terry Royce，2002）。當下，如果不了解多模態符號在文中表意中的作用，是不可能真正搞清楚意思，即便僅僅是語言部分（Kress，2000）。我們把交際現象分成三種：單模態、雙模態、多模態。單模態指運用視覺、聽覺、觸覺等的其中一種感覺，通過文字、圖畫、聲音等其中一種符號資源進行交際。雙模態指運用視覺、聽覺、觸覺等的其中兩種感覺，通過文字、圖畫、聲音等其中兩種符號資源進行交際的兩種模態。多模態指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象。在多模態交際中，交際的模態不僅局限于語言，或僅限于和語言相關的非語言模態（如目光、手勢、表情等），而是擴大為多種模態。即除了語言符號，其他符號系統如圖像、聲音、動畫、氣味、人的各種表情及肢體動作等均可用來表意， 而多種符號系統協同進行的表意，能更清晰更令人印象深刻（張德祿，2009）。

隨著電腦、智能手機及網絡的普及，過去長期以來“一個黑板、一本教科書”的傳統書面為主的教學方式逐漸被生動的圖像、動畫、視頻等多模態教學所替代。Jewitt（2009）認為課堂教學就是由多種模態來共同完成的，包括空間、手勢、凝視、身勢、移動、聲音、腔調、音樂、三維事物、口語書面語 圖形、表格、圖畫、動畫等（轉自張德祿，李玉香，2012）。至今為止，在多模態視覺語法上有所研究的學者主要有Kress，G.and van Leeuwen，T.，Clare Painter，J.R.Martin & Len Unsworth，馮德正等。分析信息技術下多種媒體多種模態的不同模態的形式特征和各模態間的配合，是目前比較匱乏的研究，也是本研究的重點問題。

一、多模態及模態協同

Kolb and Whishaw（2003：174）指出，視、聽、觸、嗅、味五個感官被認為是“五個模態”（five modalities）或“五組感官”（five groups of senses）。每個模態有各自的子模態（submodalities）。各個模態在大腦里有各自的首要專區分管，有的還有次要區域協助（Kolb and Whishaw，2003：81，轉自顧曰國，2007）。

（一）各種模態之間的關系

多模態之間的關系有補缺、強化、重疊等。

當一個模態形式可以獨立表達其特殊意義，則不需要其他模態的輔助;當一種模態不能清晰表義，需用另一種用更加具體和形象的模態來表達這種意義，即為補缺作用。例如，教師在講解什么是智能車時，如果通過語言仍舊無法讓學生明白時，則需要其他媒體的配合，比方說向學生展示智能車的圖片、播放相關視頻。例如在有其他因素干擾的環境中，譬如在周遭噪音大或者教室比較大、沒有麥克風的環境中，教師口頭講授無法讓后排的學生聽清，此時通過播放PPT等，視覺模態對聽覺模態起到補充作用;PPT展示中光提供圖畫，而沒有文字，讓受眾看不明白時，口頭話語能補缺意義。

當主要以一種模態表達意義，同時以另一種模態或若干種模態來突出強調重點意義，這就是強化作用。使用其他模態的目的不是為了提供信息，而是強調或突出第一種模態表達的信息，使得第一模態傳達的信息更加準確。例如，在英語口語中用重讀音節或重讀單詞強調重點詞，用較大的嗓音、較慢音調、拉長的吐字、變音調、提高音高來強調信息，在PPT中以加粗的字體、不同顏色的字、有特色的藝術字來強調重點詞句，在播放中以聲音提醒、特設動畫效果出現等方式提醒觀眾注意觀看重點內容，在圖畫中把主要信息置于前景，這就使得重點意義突顯。

兩種或以上的模態出現時，表達的意義是一樣的，相互間無明顯地突出或強化作用某個模態，這種關系一般稱為模態的交疊關系或重疊關系。例如，PPT畫面上出現文字的同時，教師對著屏幕一字一詞照讀PPT上的文字，則屏幕文字的視覺模態與教師的口頭話語模態則形成了重疊關系，兩種模態中沒有強調哪一個模態更重要，也沒有弱化哪一個模態。

隨著一個新的模態出現，把另一個模態的地位從主導地位變為次要地位，即第二個模態削弱了第一個模態的作用，這就是弱化作用。譬如，在上英文電影視聽欣賞課時，教師先導入主題，此時教師的口頭語言為主導地位。然后教師讓學生觀賞電影。此時，學生的注意力主要集中于欣賞電影及臺詞上，播放的電影的視聽模態占主導地位，教師對電影背景介紹的口語模態成為電影視聽課的輔助模態。

（二）多模態選擇的原則和決定因素

多模態選擇的總原則是最優化組合，即利用有限的教學條件，以多種模態最大限度地表意，取得最佳表意效果。不同模態往往不憑單一模態實現表意功能，而是要與其他模態一起配合共同來完成交際目的。不同的環境適用于不同模態，而且不同的場合情境下，各模態的地位作用是不同的，譬如在電視廣告和漫畫中，視覺模態為主要模態，語言起輔助作用。在一般的課堂教學中，教師的語言（即聽覺模態）處于統治地位，其他模態在不同程度地起著輔助、補充、強化的作用。課堂環境中，多數情況下，視覺模態能補充聽覺模態所缺失的信息，能強化突顯重要信息。但是，教師的語言并不總是處于統治地位，如電影欣賞課的課堂中，對電影畫面的視覺和對對話的聽覺處于主要模態。由于外語課堂中不同模態往往不能以單一模態實現表意功能，而是要與其他模態一起配合共同來完成交際目的，因此，最關鍵的是如何將不同模態最優化組合。

張德祿（2010：48-75）認為，在總原則指導下，多模態選擇還有其他原則，例如經濟原則、適配原則、有效原則。經濟原則指的是要盡量簡化模態的使用，能用一種模態表義，就盡量用一種模態表意，如若不能，則參與的其他模態應該要盡量簡潔易懂。適配原則表示在同時選用兩個或以上模態時，各種模態之間要相互協調。從模態之間的配合的角度講，如果不同模態相互無關、互不銜接、互相矛盾、相互抵消等，會產生負效應，降低教學效果。有效原則意味著要有效地使用模態，避免無效或重復使用，模態的正效果應等于或者大于負效果。對學生問卷調查表明，PPT屏幕呈現語言字符的同時，播放背景音樂可能會干擾學生的注意力;PPT屏幕上過多的內容、過于密集的排版、過小的字體、過多的信息量、多余的模態干擾會帶來一定負效應。如果負效應過大，其授課效果可能為零。

多模態選擇的決定因素還有文化背景、場所、媒體設備條件、具體情景語境、受眾、學習資料、課程等。文化背景包括社會風俗習慣或政治規約，受意識形態支配的觀念價值觀等。對模態的選擇需要放在具體的情景語境中來看。

二、案例分析

（一）模態因素及多模態協同

模態用來實現在特定交際場合下具體話語意義。至于要選擇哪種模態實現話語意義，要看設計（design）（Kress，G. & van Leeuwen，T.2001）。本研究教學內容選用大學英語課“UNIT 6 Learning to Work Together”的一次課，該課圍繞團隊合作精神為主旨展開。節選的此次課為45分鐘的公開課授課，教學步驟分別為導入、提問、學生單詞競賽活動、篇章段落大意、難句重點詞句分析、學生討論、總結及課后作業。教師結合教材、黑板文字符號、PPT上的語言符號及音頻視頻進行教學。

張德祿（2009）從系統功能語言學角度出發，把課堂教學中多模態的選擇主導因素劃分為教學領域（話語范圍），教學對象及與教師的關系（話語基調），教學條件和場所（話語方式）。教學場所整個場所布局屬于視覺模態，如講臺、黑板、投影、桌椅、墻壁、電腦。講臺、投影屏幕、黑板處于中心地帶，講臺桌子的位置明顯高于課桌，學生坐下后需仰視才能看到教師，該空間位置布局關系暗示了教師的權威和主導地位，也表明了教師口頭模態的主導地位。教師的活動區域主要在講臺、黑板、電腦桌、投影屏幕之間等中心區域，偶爾下來走動與學生互動。學生固定在座位上，偶爾上講臺參與課堂活動。教師的視覺范圍主要是學生，學生的視覺范圍主要是教師、PPT、黑板。

教學對象是大一非英語專業的學生，英語基礎比較差，英語口頭表達能力偏弱。教師為年輕女教師，著裝正式，個性活潑，英語口語流利。課堂上，教師授課方式輕松自如，師生互動較多，表明師生關系良好。課程中穿插師生互動環節，如學生上臺表演、參與課堂活動等，以及交際過程中教師提問和學生回答。工具性媒體有電腦及網絡設備，麥克風，一套音響，兩個音箱，投影設備。教師借助工具性媒體主導教學活動，這些媒體起到了輔助教學的作用。

從表1中例子看出，教師的口語為主要模態，其他模態如PPT上的圖片、文字符號等起了對主要模態的補缺或強化作用。黑板和PPT等工具性媒體都可以既對教學內容進行重現和強化，又對其進行補缺。口語不能提供的信息，如著名運動員和球隊圖片，可由圖片補充。圖片除了強化和補缺重要內容，還可以吸引學生的注意力及加深學生的印象。學生的視覺模態包括觀察教師的肢體動作、表情、目光、移動等。在教學中，教師有時側著身子，有時走到投影旁，有時打手勢，有時點頭示意。教學設計中的后半部分有學生表演環節，這涉及聽覺和視覺角色的轉化，學生由聽教師口語授課轉化到教師和學生觀看部分學生表演的視覺模態角色轉化。

課堂上的模態主要為視覺模態和聽覺模態。從視覺模態上看，教師的視覺對象主要是學生，而學生的視覺對象主要在教師、投影屏幕、黑板;從聽覺模態上看， 教師的口語和課上播放的音頻視頻為學生聽的內容，學生課堂發言又成為教師聽的內容。教師的口語授課往往是聽覺的主要模態。教師使用的工具性輔助媒體為電腦、投影儀及屏幕、黑板，聽覺模態的工具性輔助媒體為麥克風和音響。

教師口頭語言模態為課堂教學的主要模態，同時協同的模態有視覺和聽覺模態，如PPT和黑板承載的文字、圖案、圖形、圖片、音頻和視頻等。PPT上承載的以視覺模態為主。從視覺模態上看，學生看黑板、PPT、教師的表情和肢體動作等。教師口頭語言存在稍縱即逝、不夠形象具體的缺點，而黑板的板書能彌補停留時間不長這一缺陷，PPT所承載的圖片、視頻能彌補文字和口語不夠形象具體這一缺陷，并且PPT中的多模態呈現內容能強化重點內容、加深記憶，使復雜內容簡單易懂。綜上所述，教師口頭語言、黑板板書、PPT之間就形成了一種協同關系。

部分授課內容節選及模態解析如表1所示。

（二）對教學的啟發

當今科技發展下，教師使用各種現代技術來提高教學效率是必然的趨勢，譬如當今采用PPT結合多模態進行教學已是外語課堂教學的常態。根據《大學英語教學大綱》的要求，教師要以有限的教學時間內完成教學目標，而教學操作過程中往往存在教學內容大、時間不足的問題。傳統的黑板板書速度慢、信息呈現手段單一，而PPT融合豐富的視覺和聽覺，信息呈現的速度快且多樣化，能有效達到教學效果。

研究認為：

（1）教師應充分利用學校現有資源、平臺、現代工具性媒介來提高教學效果。教師要學會使用現代工具，尤其應學會制作PPT。調查顯示，很多英語教師存在的問題有：PPT制作不熟練，不了解學校現有電子資源和網絡平臺，不善于利用網絡和手機進行教學等。

（2）教師除了注意提高英語語音流利標準、音量、語速、節奏等口語模態問題，還應注意利用其他模態，如手勢、身勢、表情、眼神等與學生交流。問卷調查顯示，學生比較喜歡教師以手勢、表情、目光等非語言形式表情達意，但多數英語教師在課堂上未能經常利用肢體語言和表情語言來提高教學。

（3）在視覺模態方面，教師應注意自身著裝打扮要得體，PPT和黑板上的多模態符號呈現方式應符合視覺感官的要求。譬如PPT上的字體大小適中、內容不過多、排版美觀、重難點以紅色標出等，黑板板書列出內容概要和重難點。

（4）教師應注意與學生建立良好的人際關系，以情感影響學生的觀念和看法。研究發現，師生間的人際關系也影響教學效果。教師授課時應表情親切，課間或下課前走入學生中間與學生交流，語言盡量幽默生動，這樣能拉近與學生的距離，使得課堂互動效果好。

三、結語

教師如何利用信息技術下多種媒體多種模態的模態間的配合達到最佳教學效果是本研究的最終目的。筆者結合課堂實例，闡釋了多種模態如何協作。本研究認為，教師應利用各種模態最優化組合，如充分利用學校現有資源、平臺、多媒體等現代工具性媒介，利用自身口語模態和眼神、手勢、著裝等視覺模態，達到教學最優化。

參考文獻：

[1]Clare Painter，J.R. Martin & Len Unsworth.Reading Visual Narratives[M].Equinox Publishing Ltd，2013.

[2]Halliday，M. A.K. Language as Social Semiotic[M].London：Edward Arnold，1978.

[3]Kress，G.Multimodality：Challenges to Thinking about Language[J].TESOL，2000（34）：337-340.

[4]Kress，G.& van Leeuwen，T.Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001.

[5]Kress，G.and van Leeuwen，T.Reading Images：The Grammar of Visual Design[M].Second edition.London：Routledge，2006.

[6]Terry Royce.Multimodality in the TESOL Classroom：Exploring Visual-Verbal Synergy[J].TESOL Quarterly，2002（2）：191-205.

[7]Weston，Trevor.Atlas of Anatomy[M].London：Marashall Cavendish Books Limited，1992.

[8]Jewitt，C.The Routledge Handbook of Multimodal Analysis[M].London：Routledge，2009.

[9]Kolb，Bryan，and Ian Q.Whishaw.Fundamentals of Human Neuropsychology[M].New York：Worth Publishers，2003.

[10]馮德正.視覺語法的新發展：基于圖畫書的視覺敘事分析框架[J].外語教學，2015（3）：23-27.

[11]顧曰國.多媒體、多模態學習剖析[J].外語電化教學，2007（114）：3-12.

[12]張德祿.多模態話語理論與媒體技術在外語教學中的應用[J].外語教學，2009（4）：15-20.

[13]張德祿.多模態外語教學的設計與模態調用初探[J].中國外語，2010（3）：48-75.

[14]張德祿，李玉香.多模態課堂話的模態配合研究[J].外語與外語教學，2012（1）：39-43.

Abstract： This article discusses multimodal factors， the relationship among various modalities，the principle of choosing modality and the deciding factors behind it， and the function of multimodalities in foreign language classroom. An open class is used to illustrate how different modalities cooperate to achieve teaching objectives. In conclusion， teachers should employ multimodalities and existing technology to improve teaching.

Key words： multimodality;synergy;media;foreign language classroom

責任編輯：劉健