外語微課中多模態話語的符際間性研究

張媛軍

摘要本文以視覺語法和圖文關系理論為基礎，重點分析了外語微課視頻中作為視覺模態的圖像和文本符號與作為聽覺模態的教師（學生）話語符號之間是如何相互關聯和作用，共同達到意義的合理建構和有效傳播。

關鍵詞 外語微課 多模態話語 符際間性 視覺語法

中圖分類號：G424文獻標識碼：ADOI：10.16400/j.cnki.kjdk.2021.22.045

AStudyontheIntersymbolofMultimodalDiscourseinForeignLanguageMicroClass

ZHANG Yuanjun

（Chengdu Jincheng College， Chengdu， Sichuan 611731）

AbstractBased on the theory ofvisual grammarand graph text relationship，thispaperfocusesontheanalysis ofhow image and text symbols as visual mode interact with teacher（student）discourse symbols as auditory mode in foreign language micro lesson video， so as to achieve the reasonable construction and effective communication of meaning.

Keywordsforeign language micro class； multimodal discourse； intersymbol； visual grammar

0引言

自20世紀90年代以來，多模態話語分析在語言學界興起，并逐步成為語篇分析研究中的熱門話題之一。朱永生[1]（2007）曾提出，多模態話語就是指在交際中設計多種感知模式來構建文本，以實現整體意義信息的傳遞，如英語課上普遍使用的視頻資料及如今的微課，既包含了圖像、聲音等信息，也配備有相應的文本，能充分調動學生的視覺和聽覺系統，這就是典型的多模態教學模式。對多模態話語的分析主要包括兩個方面，一是將不同模態間的相互關系和作用作為分析對象，二是著重分析不同模態符號間的相互作用及影響（吳婷，2017）。[2]本文的研究重點在于后者，即以視覺語法和圖文關系理論為基礎，分析外語微課視頻中作為視覺模態的圖像和文本符號與作為聽覺模態的教師（學生）話語符號之間是如何聚合和相互影響，共同達成意義的合理建構和有效傳播。

1理論基礎

提到語法，人們往往最先想到的是從單詞到句子再到篇章的一套固定的規則。那么，視覺語法所描述的規則，就是作為視覺符號的文本和圖像在組合過程中的邏輯關系。視覺語法的創始人Kress & Leeuwen[3]（1996）在深入研究了多模態話語分析理論框架后，將韓禮德[4]在系統功能語言學中提出的三大語言功能用對應的再現、互動以及構圖功能來替換，并運用到視覺語篇的分析中。近年來，國內外學者一方面在不斷完善視覺語法的理論框架，另一方面也開展了大量關于模態間性和符際間性方面的實踐研究，量化各個模態和符號系統在話語傳播中的權重。其中，張德祿[5]教授就指出，我們不能僅僅停留在分析語言特征本身，還要重視圖像、聲音、文字等符號間的協同配合在話語中發揮的作用，從而提高教學效率。

圖文關系理論是Martinec& Salway[6]（2005）在視覺理論基礎上創立的。根據該理論，我們可以從兩個維度來分析圖像和文字間的關系：一是地位，二是邏輯語義。地位維度主要揭示結構上的圖文關系，包括平等關系和不平等關系兩種。邏輯語義關系又包括擴展和投射兩種。其中，擴展可進一步劃分為詳述、延展和增強關系。詳述指用說明和例證的方法，對已有信息進行更詳細的說明而不增加新的信息；延展指通過附加信息來延伸某一符號的意義；增強指通過各種方式增強符號意義。

外語微課是多模態話語的典型代表，它所包含的多種模態和符號系統能在很大程度上調動學生的學習積極性。因此，本文就將以視覺語法和圖文關系理論中的邏輯語義關系理論為基礎，重點分析外語微課中圖像、文本等視覺符號與教師（學生）的話語符號之間是如何相互關聯和作用，共同生成意義并有效傳播的。

2外語微課中的多模態話語分析

本研究以中國外語微課大賽全國一等獎微課作品《你所不知道的名詞化》為例，著重分析其中多模態話語的圖文關系及其產生的效果。

2.1內容簡介

微課《你所不知道的名詞化》主要介紹了名詞化的概念和功能，以及名詞化生成的三種方式。該微課創設了一個極為貼近大學生學習生活的情景語境，即兩個學生（動畫人物）為遲交作業找借口的對話情境，以此導入名詞化概念；通過教師和學生不斷對話交流（提問和探索答案），闡釋了名詞化的重要性和生成方式，同時也提醒學生只有適當和恰當地使用名詞化，才能充分展示其語篇功能，真正提升英語語言能力。整堂課以學生為中心，以師生對話的形式增強了學生的參與感，引導學生主動思考，教師講解生動有趣，效果良好。

2.2微課中多模態話語的符際間性分析

該微課的主要模態為視覺+聽覺模態。其中，視覺模態主要包括圖像和文字，圖像符號由教師真人、學生動畫形象、動作以及圖片組成，文字符號主要為字幕；聽覺模態為教師的講解音和學生的回答音。整個視頻中，主要的圖文關系由教師真人出鏡或學生動畫形象+字幕構成（如圖1、圖2）。

整個教學視頻中，圖文語義聯系較緊密且自然。具體來說，圖文符號與教師（學生）話語符號間主要為增強關系，表現在以下兩個方面：

圖像文本與教師（學生）話語符號間的增強關系主要通過說明和例證來實現。如在解釋抽象名詞Nominalization（1分58秒）的概念時，教師真人出鏡，通過文本框中展示的兩個例句的對比來詳細說明在英語口語和書面寫作中，使用不同的詞匯可達到的不同語言效果。這里教師圖像的設置具有互動功能，對要講授的內容做出指示（見圖3）。接下來，在學生提出疑問（為什么要使用名詞化短語）時，視頻中出現的文本框（言語泡Whyuseit）及時的再現了該問題，文本是圖像的話語投射，體現了文本符號的再現功能，進一步引發學生的思考（見圖4）。在講到名詞化的使用在寫作中的好處時，視頻中出現了三個顏色各異的圓形文本框，分別介紹了名詞化的三大功能（conciseness， cohesion， objectivity），配上下方橢圓形方框中的簡短文字，對教師的語音講解起到了良好的補充闡釋作用，圖像的使用使文字更加具體、形象，邏輯語義關系一目了然，方便學生理解（見圖5）。其中在講到conciseness這一功能時，畫面中出現了一個漢堡在階梯上不斷跳動的圖像。漢堡在階梯上的每一次升級都對應了更加豐富的名詞性短語內容，一直到最高點，語義內容達到最豐富，也最大限度的體現了使用名詞化所達到的簡潔這一優點（見圖6）。

不僅如此，貫穿整個微課視頻的虛擬動畫場景設置，加入了特效的鏡頭綻放、旋轉和平移畫面，豐富的模板背景與人物形象素材等，都能極大的刺激學生的視覺感官，提高學生的思維參與度，促進教師講解內容的吸收。

文字文本與教師（學生）話語符號間的增強關系主要通過字體顏色、大小、形狀、排列方式等變化對話語內容進行突出和強調。在該微課作品中，教師很好的處理了字體的大小、顏色、形狀、背景、出場順序等搭配，與教學內容表達需求相契合，重點突出，詳略得當，達到了很好的意義構建和傳遞的目標。如圖3，紅色的圓圈非常醒目，通過紅色圈中的重點詞匯比較，學生可以更好的理解動詞名詞化的作用及使用方法；圖6中，階梯式的內容排列順序使教學內容的展示更加形象化且符合學生的認知規律，利于學生接受；同時，微課中經常使用的虛擬粉刷和虛擬人手書寫的文本呈現方式也較好的模擬了學生的認知過程。

最后值得一提的是視頻中出現的非語言符號，即授課教師的表情、體態（身體語言）、出現位置等，它們體現的是與教師語言符號間的延展關系。教師和藹的笑容、恰當的手勢指引都能在很大程度上拉近與學生的距離，增強教學的“身臨其境感”，促使學生更加積極的思考和參與教學互動。

總的來說，該微課視頻教學風格自然活潑，教學過程流暢，表達方式也符合學生的認知規律。視頻中圖像符號和文本符號協同配合，共同增強了教師（學生）話語符號的意義表達，達到了良好的教學效果。

3結語

綜上所述，本文主要通過定性研究的方法，從視覺語法和圖文關系角度（特別是邏輯語義維度）嘗試分析了在外語微課這一多模態語篇中，教師是如何運用不同的圖像和文字文本符號來闡釋教師話語，實現有效教學的。鑒于本文僅針對某一微課視頻展開分析，語料相對有限，研究的深度和廣度均有所欠缺，今后可選取更多的多模態語篇從不同的視角來進行更加深入的解讀。

基金項目：本文系四川外國語言文學研究中心、上海外語教育出版社資助項目“外語微課的多模態話語意義建構及互動效果研究”的階段成果（編號：SCWYH20-18）

參考文獻

[1]朱永生.多模態話語分析的理論基礎與研究方法[J].外語學刊，2007（05）：82-86.

[2]吳婷.外語微課的多模態話語符際間性研究——以兩則微課大賽視頻為例[J].外語教學理論與實踐，2017（01）：72-77.

[3]Kress，G.&VanLeeuwen，T. ReadingImages： TheGrammarof Visual Design[M].London： Routledge， 1996.

[4]Halliday， M. A. K. An Introduction to Functional Grammar [M]. London： Edward Arnold，1994.

[5]張德祿.多模態話語理論與媒體技術在外語教學中的應用[J].外語教學，2009（04）：15-20.

[6]Martinec， R. & Salway. A， A System for Image-text Relations in New（and Old）Media[J].Visual Communication， 2005（3）：337-371.