現代教育技術下多模態英語課堂的意義建構

楊劍英

（西華師范大學 外國語學院， 四川南充 637009）

一、引言

課堂教學從傳統的教師授課發展到現代的“翻轉課堂”模式以及MOOC，現代教育技術的作用越來越舉足輕重，現代課堂變得越來越多模態化。在過去的傳統課堂師生交際中，人們往往只關注語言，而其他的意義建構模態（如語音、語調、環境等）被視為副語言特征或語境因素，其他模態（如文字的排版或書寫方式等）也被認為與語言研究無關。實際上，這些符號學模式也參與意義表達，只是它們屬于意義建構的不同層次。語言使用，不管是口語還是書面語，總是不可避免地由多種交際模態建構。所以，所有的文本都是多模態的（Kress & van Leeuwen，2001）。Arzarello（2006）提出了符號束的概念，認為符號束包括所有由有意特征的行為（如說、寫、畫、比劃、拿東西等）產生的所有符號，是動態的結構，各種符號學資源同時存在，并按照多模態范式共同發展。語言符號的主要作用在于表達和傳遞意義，從而最終實現交際（王銘玉，2002）。Halliday （1978）認為，語言是具有意義潛勢的系統。Kress和van Leeuwen（1996）認為，多模態概念與多感官識別有關，即視覺的、書面的、聽覺的、觸覺的都相互關聯，都共同致力于建構意義。

二、英語課堂的符號學意義

根據新倫敦小組的研究，一切建構意義的行為可以看作是設計行為，由可獲得設計、設計過程和再設計三個部分構成（New London Group，1996）。英語語言教學也可以被看作是一種設計活動。在英語課堂上，可獲得設計指外語師生在外語課堂可以利用的各種符號學資源，這些資源可以產生各種意義。比如教室陳設、墻面的裝飾、教師的聲音、體態、多媒體課件等等。設計過程指英語課堂上英語教師和學生如何使用這些符號學資源實現他們作為符號制造者的興趣，該過程突出顯示多模態資源的重要性和師生作為符號制造者的社會目的和意圖，用于分析外語課堂中的資料，如外語課本、外語教師的黑板板書、課堂使用的各種媒體、圖像。設計可以被用來指教師對學習過程的教學設計，也指學生設計的意義建構。英語課堂的再設計指師生作為意義建構者在使用符號學資源的過程中產生的新的資源或新的意義。這種意義不是最初可利用的符號學資源的簡單整合，而是創造性的、重新產生的意義，是經過轉換的意義，成為新的可獲得設計，是建構意義的新的資源（楊劍英、杜平，2012）。

在中國的EFL英語課堂上，英語作為外語的語言符號得以大量使用。現在課堂大量使用多媒體輔助教學，使課堂圖像、文字、聲音并茂，教學內容豐富，大大增強了教學的趣味性。因而，在英語課堂上， 教學符號的概念可以擴展到教學活動中使用的各種符號學資源：言語（英漢語口語和板書），語言外表達模式 （姿勢、眼神等），各種記錄類型（繪畫、草圖、圖表等），各種工具（從簡單的粉筆到復雜的ICT設備）。這些符號學資源以表征和多模態的方式產生、發展和被使用（Vygotsky，1978）。Kress 和 van Leeuwen（2001）認為，教室中多模態信息傳遞的物質媒體，比如擴音器、投射儀、 計算機等，經過社會長時間的塑造，形成各種模態，成為意義產生的資源。例如，PPT課件作為多模態語篇，既包括文字語言，又有圖像、音頻、視頻、圖表等。根據Kress和van Leeuwen（2001）的研究，我們可以結合英語課堂，探討各種符號模態在教學中的作用，探討各種模態之間的關系以及英語教師的身體態勢，研究英語教師如何采用英語課件以及師生與課件的互動關系，比較課堂上不同模態如何重復使用、再解釋和轉換，研究英語教師和學生的課堂行為習慣和行為功能等。

三、現代教育技術下英語課堂的多模態意義建構

人類認識世界以及與人交際最基本的方式是視覺、聽覺、觸覺、嗅覺、味覺，基本的感官模態也就是與之相應的視覺模態、聽覺模態、觸覺模態、嗅覺模態和味覺模態。由于英語課堂上主要是英語教師和學生之間通過各自的語言、姿態、眼神以及板書、多媒體課件等進行交流，涉及的模態主要集中在視覺模態和聽覺模態。

1 現代教育技術英語課堂與視覺模態意義建構

視覺交際是目前最顯著的交際形式（Kress，2000；van Leeuwen & Jewitt，2001），因而在英語課堂上也不例外。研究表明，視覺模式可以被用來激發認知和記憶（Pilgrim，1996）。在傳統的英語課堂，黑板的板書成為教師教學的主要媒介。英語教師的板書排版設計、字體的大小成為比較突出的視覺模態。筆者對中學英語實習教師的調查發現，部分實習教師不善于把能顯示課堂主題的課文標題寫在黑板上，使學生不能將思緒集中到課堂目標內容上來，顯得課堂講解突兀和不流暢。另外，板書排版不規則的現象也更多地出現在缺乏教學經驗的實習教師中間。而在越來越普遍使用PPT課件的現代英語課堂上，課件里的文字、圖表、圖像體現出了較之于傳統板書和教師口頭講解的優勢，大大增加了信息量和學生的理解力，提高了學生學習興趣，增強了教學效果。即使是在被學生普遍認為枯燥的語法、寫作課上，由于英語教師的PPT課件綜合運用文字、圖表、圖像等，能為詞匯、句子、段落、篇章的寫作進行分析講解和提供大量的例子和即時課堂練習，更能為學生理解，因而也能收到比傳統課堂更好的教學效果。

英語教師的手勢、姿勢、眼神、表情等也在建構意義中起了重要作用，有助于學生理解教師語篇。手勢有時候是概念的、具體的或抽象的信息（Kendon，1980），眼神能傳遞命題意義具體的和抽象的內容（Poggi &Pelachaud，2002）。有研究通過錄制四位英語教師在三堂課的行為，研究英語教師的各種手勢傳達的意義以及區分英語教師的不同交際類型（Merola & Poggi，2004）。通過對手勢進行分析，發現手勢可分為指示性手勢、像似性手勢和自我操控性手勢，分別傳達了關于世界的信息、關于說話者心智的信息和關于說話者身份的信息，認為手勢具有重復、補充、替代、沖突等特征。該研究發現，有的教師使用指示性手勢多，有的教師用大量的重復性手勢。該研究還發現有的教師更注重傳達自己身份，講課過程中更多整理自己的頭發、衣服，課堂氣氛比較活躍；有的教師更注重自己的教學，很少注重學生反映，課堂氣氛安靜沉悶；有的教師從不傳達自己身份，很害羞甚至有點情緒低落；有的教師注重與部分學生交流，比如與殘疾學生低聲交談，責備不聽話的學生等。

一項對英國的英語課堂研究發現（Kress et al.，2005），視覺交際在英語的教學和學習上占據絕對中心地位，如教室陳設，教室墻上貼的視覺展示，文學課上使用的電影以及非語言交際形式（音質、語調、表情、眼神、手勢、姿勢等）。該研究表明，在課堂的科目知識產出中，復雜的方式互動涉及圖像、手勢、眼神與物體互動、身體姿勢、寫作、口頭語言等方式交互使用。學校的英語教學項目突出表現了學生和老師在課堂上的非言語活動中如何互動，如何合作產生能力、反抗、身份等概念，教室陳設、空間、桌椅、工具被設計好，成為英語作為學校重要科目的教學手段。本研究表明，英語課堂教學是超越語言的，需要具備理解大量模態和他們之間關系的能力。由此可以看出，知識的呈現和模態、媒體的選擇對知識的建構、意義呈現方式以及學習方式至關重要。也就是說，知識呈現的方式塑造學習內容和學習方式（Jewitt，2008）。

2 現代教育技術英語課堂與聽覺模態意義建構

在課堂上，聽覺模態不如視覺模態豐富，主要有教師的講授，還有師生互動時學生的語言表達，同時還有現代教育技術提供的多媒體聲響。雖然現代英語課堂上的視覺模態豐富多樣，但主要是課堂布局，體現教師和學生之間的關系和角色，聽覺模態仍然是英語教學的主模態。

英語課堂以教授語言為主要任務，英語教師和學生的口語互動交流、英語課件中的音頻、視頻成為英語課堂的主要媒介形式。英語教師發音的標準程度、口語的流利程度、通過語言體現的知識內容、說話時音量的控制以及語言中的情感傳遞等，都成為塑造教師形象、提高學生學習興趣、活躍課堂氣氛的決定性因素。發音標準、口語流利、音質好的老師更能吸引學生的注意力，使學生更傾向于模仿和欣賞。而本族語英語教師地道的口語則能成為學生喜愛的典范。筆者的調查研究表明，學生更傾向于喜歡口語表達更具美感的英語教師。這類教師善于使用合適的語調，注重適時的停頓、適時抬高或降低音量和適當控制語速，并能根據情況通過語調融入感情。此外，英語課堂上使用的教學音頻和視頻更能加深學生對英語文化的理解，刺激學生的感官，增加學生的學習興趣。也有部分英語教師不區分課程實際，過量使用音頻和視頻，使學生整堂課大部分時間都在看電影，缺乏教師的適當引導、講解和分析所用音頻和視頻。這樣，聲音模態產生和建構的意義對學生產生了不同的效果。

研究發現，外語課堂上教師的口頭表達占60-80%，占據視聽模態的主要地位（張德祿、王璐，2010）。作為聽覺模態資源，教師話語在傳授專業知識方面起著至關重要的作用，為學生的意義獲取建立框架和形成概念，促成學生的多種模態識讀。

3 現代教育技術課堂的多種模態協同

任何模式都是意義的可能動態資源，而非對技巧的靜態重復和靜態使用。模態使用者通常根據交際需要改造這些模態，即創造新模態或改變已有模態（Jewitt，2008）。通過聽覺通道的口語聲音模態遵守的是時間序列，受時間邏輯約束，而通過視覺通道的圖像模態，受空間和同時性邏輯約束。所有模態都是不完全的，也就是說所有模態包括書面語和口語，都以不同方式建構意義，并且每種模態在整體中各自發揮作用。惠兆陽等（2013）根據對英語專業學生一、二、三年級聽力課程多模態協同性的研究，發現視覺模態和聽覺模態在不同階段形成關系不同。胡壯麟（2007）對教師課堂教學的言語、姿勢和動作等作了具體的闡述。他認為教師的言語以及與言語同時出現的意象和動作被認為是課堂內容意義呈現的主要方式，而教師的身體形象起到了中介的作用。教師的言語、姿勢和身體模型互相依存。因而英語課堂上作為符號學資源的每一種模態，對英語語言知識的傳播都有貢獻。英語教師在闡述英語語言知識時，為了達到形象生動的教學效果，通過英語口語、板書、課件等聽視覺的和態勢描述的重復等一系列的活動，實現不同符號學模態語篇的連貫。

通過對外語課堂各模態之間的關系研究表明，不同模態的話語共同體現講話者的整體意義（張德祿、王璐，2010）。一種模態的話語不能充分表達其意義或者無法表達其全部意義，需借助另一種來補充，這是模態之間的互補關系。在互補關系中，通常一種模態為默認模態或者基本模態，起基本的和基礎的交際作用，另外的模態起到強化或補缺的作用。同時還有模態的交疊和語境交互等非互補關系。該研究通過對兩個外語教學案例的對比分析表明，在實際教學過程中，不同模態之間相互協同，共同實現教學目標。

在多模態學習中如果模態使用不當，各種模態就不能實現模態協同，反而可能互相抵消（如圖1）。心理學研究認為，人的工作記憶屬短時記憶，工作記憶容量有限，因而人的認知加工有限。研究表明，使用視覺模態時，同時使用圖像信息和文字信息會使學習者產生過多的認知負荷，從而影響學習效果。如果使用圖像的同時也伴有聲音信息和文字信息，視覺工作記憶就會處于超負荷狀態（Mayer &Moreno，1998）。

圖1 模態協同與抵消

四、教師符號的意義延伸與多模態英語課堂交互設計

多模態資源能促進語言使用和讀寫學習，多模態英語教學使英語學習者從不同途徑進入語篇構圖，提供機會創造新身份，促進批判式讀寫實踐，促進有意義的學習（如圖2）。電腦等教學代理可以完成很多任務，與教師、學生互動。但是，教學代理現在不可能完全替代教師，教師仍然是課堂活動的主導者，控制著課堂活動的內容和進程。英語教師本身的口語、神態、手勢語、穿著等等形成了聽覺模態和視覺模態的各種符號學資源，本身能產生意義。而教師對課堂的主導控制和對教學活動的設計構成了新的資源，產生了新的意義，這是教師符號的意義延伸。

作為英語學習者的交流者，英語教師以其成熟的親身經歷，進行示范和促進學生的合作學習行為。劉秀麗等（2013）通過問卷調查等研究方式，發現了外語教師多模態話語能促進學生的學習積極性。沒有誰比教師更能體驗、帶動和發展真實的學習環境，即使最人性化的電腦程序也缺乏能力參與元認知方面的學習（Pufall，1988)。教師是符號調節者，通過符號促進學生的內化過程（Vygotsky，1978）。教師必須為學生的科學概念的適當性提供合適的教學調節（Schmittau，2003）。英語教師在英語課堂的多模態設計上要注重學生需求，要能具有多模態識讀的能力，要能綜合運用各種模態，合理使用板書、口語、英語課件制作與演示，合理組織學生進行互動性多模態學習，通過各種方式建構意義，獲得積極的互動教學效果，促進學生的多模態識讀。

圖2 多模態意義建構與有意義學習

信息時代的社會強調人的創新、解決問題、決策、批判性思維等高階思維能力。研究表明，多模態學習能提高學習者的基本能力和高階思維能力，而交互式多模態學習比非交互式多模態學習更能提高學習者的這些高階思維能力（Fadel & Lemke，2008）。作為英語課堂的主導者和意義調節者，英語教師應采取模擬、設計和模仿真實世界等方式，促進師生交互、生生交互以及學生與各種學習資源的交互，尤其應組織好學生之間的交互式多模態學習。

五、結語

現代科技和英語課堂教學研究表明，英語課堂上的多種模態符號致力于為英語學習者建構意義。在中文為母語的環境里學習英語，中國英語學習者本身就面臨著很大的挑戰。在英語課堂教學中，英語教師應該擔當意義調節者的角色，通過教學環境里的各種模態幫助英語學習者獲得意義，充分利用教室陳設、學生分組、教學課件以及自身的聲音、表情、姿勢等，獲得最佳的教學效果。英語教師應主要注重視覺模態、聽覺模態等主要模態的組合及意義建構，應合理使用英語教室里電腦等多媒體演示設備。英語教學中的多模態符號設計是關鍵環節，應避免過度使用某單一模態，從而著力給英語學習者建立支架，幫助他們進行多模態識讀和多模態產出，幫助他們獲得和建構意義，提高學習者的學習效率。

[1] Arzarello, F. Semiosis as a Multimodal Process[J]. Relime, 2006, (special issue).

[2] Fadel, C. & C. Lemke. Multimodal Learning Through Media: What the Research Says[O/L]. http://www.cisco.com/web/strategy/docs/education/Multimodal-Learning-Through-Media.pdf

[3] Halliday, M. A. K. Language as Social Semiotic: The Social Interpretation of Language and Meaning[M]. London: University Park Press, 1978.

[4] Jewitt, C. Multimodality and Literacy in School Classrooms[J]. Review of Research in Education, 2008, (32).

[5] Kendon, A. Gesticulation and Speech: Two Aspects of the Process of Utterance[A]. In M. R. Key (ed.) The Relationship of Verbal and Nonverbal Communication[C]. The Hague: Mouton, 1980.

[6] Kress, G. Multimodality: Challenges to Thinking about Language[J]. TESOL Quarterly, 2000, (2).

[7] Kress, G. et al. English in Urban Classrooms: A Multimodal Perspective on Teaching and Learning[M]. London: Routledge Falmer,2005.

[8] Kress, G. & T. van Leeuwen. Multimodal Discourse: The Modes and Media of Contemporary Communication[M]. New York: Oxford University Press, 2001.

[9] Kress, G. & T. van Leeuwen. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 1996.

[10] Mayer, R. E. & R. Moreno. A Split-attention Effect in Multimedia Learning: Evidence for Dual Processing Systems in Working Memory[J]. Journal of Educational Psychology, 1998, (2).

[11] Merola, G. & I. Poggi. Multimodality and Gestures in the Teacher’s Communication[A]. In A. Camurri & G. Volpe (eds.) Gesturebased Communication in Human-Computer Interaction [C]. Berlin: Springer-verlag, 2004.

[12] New London Group. A Pedagogy of Multiliteracies: Designing Social Futures[J]. Harvard Educational Review, 1996, (1).

[13] Pilgrim, C. Multi-modal Learning: A Case Study[A]. In C. McBeath & R. Atkinson (eds.) The Learning Superhighway: New World?New Worries?[C]. Proceedings of the 3rd International Interactive Mulimedia Symposium, Perth, 1996.

[14] Poggi, I. & C. Pelachaud. Signals and Meanings of Gaze in Animated Faces[A]. In P. McKevitt, S. O’ Nuallàin & Conn Mulvihill (eds.)Language, Vision, and Music[C]. Amsterdam: John Benjamins Publishing Company, 2002.

[15] Pufall, P. Function in Piaget’s System: Some Notes for Constructors of Microworlds[A]. In G. Forman & P. Pufall (eds.)Constructivism in the Computer Age[C]. New Jersey: Lawrence Erlbaum Associates, 1988.

[16] Schmittau, J. Cultural-Historical Theory and Mathematics Education[A]. In A. Kozulin et al (eds.) Vygotsky’s Educational Theory in Cultural Context[C]. Cambridge: Cambridge University Press, 2003.

[17] van Leeuwen, T. & C. Jewitt. The Handbook of Visual Analysis[M]. London: Sage Publications, 2001.

[18] Vygotsky, L. S. Mind in Society: The Development of Higher Psychological Processes[M]. Cambridge: Harvard University Press, 1978.

[19] 胡壯麟. 社會符號學研究中的多模態化[J]. 語言教學與研究, 2007, (1).

[20] 惠兆陽等. 主次模態協同性實證分析——以英語聽力教學為例[J]. 山東外語教學, 2013, (3).

[21] 劉秀麗, 張德祿, 張宜波. 外語教師多模態話語與學生學習積極性的關系研究[J]. 外語電化教學, 2013, (3).

[22] 王銘玉. 語言符號的意義[J]. 外語學刊, 2002, (4).

[23] 楊劍英, 杜平. 多模態外語學習的意義建構認知研究[J]. 中國教育學刊, 2012, (S1).

[24] 張德祿, 王璐. 多模態話語模態的協同及在外語教學中的體現[J]. 外語學刊, 2010, (2).