外語視頻直播課堂模態設計研究

［摘要］ 外語視頻直播課堂具有獨特的模態設計模式。文章首先建構了外語視頻直播課堂的模態設計分析框架，然后基于此分析框架并通過多模態標注對優質少兒英語視頻直播課程的模態設計進行了分析，聚焦模態選擇和配置特征。研究發現：受語境、意義、模態可及性和供用特征以及符際關系等的綜合制約。（1）口語是師生建構意義的主要模態；手勢是教師經常選擇但學生偶爾使用的模態；教學工具和教學物理環境模態也被教師用來建構意義，卻很少被學生選擇；文字和與之產生緊密邏輯語義關聯的概念圖像則大多同時被課件制作者選擇用以建構意義。（2）不同教學環節的模態配置總體上呈現出多樣化和多模態的特點，各種模態發揮不同的意義潛勢且相互間形成多樣化的協同關系。最后，文章指出外語視頻直播課堂的模態設計需遵守趣味性、前景化和可及性原則等模態選擇原則以及適配、主次、經濟性和動態調整原則等模態配置原則。

［關鍵詞］ 外語視頻直播課堂；模態；設計；原則

［中圖分類號］ H319" ［文獻標識碼］ A" ［文獻編號］ 1002-2643（2024）03-0060-10

A Study on the Design of Modes in Live Video Streaming ForeignLanguage Classes

WU Lingjuan1 ZHANG Delu2

（1.School of Foreign Languages and Cultural Communication， Shanghai Polytechnic University，Shanghai 201209， China;2.School of Foreign Languages， Tongji University， Shanghai 200092，China）

Abstract： Live video streaming foreign language classes feature unique patterns of design of modes. Based on an analytical framework for the design of modes in live video streaming foreign language classes and through multimodal annotation of teaching videos and courseware， this study examines the design of modes in high-quality live video streaming English classes for children， focusing on the features of selection and arrangement of modes. It is found that， constrained by such factors as the context， meaning， available modes and their affordances， inter-modal relations， etc.， speech is the main mode chosen by both teachers and students to make meaning in class， while gestures are frequently used by teachers but seldom chosen by students to convey information. Moreover， teaching aids and physical environment are chosen by teachers to make meaning but are seldom utilized by students. In addition， texts and conceptual images that have close logical-semantic relations with texts are often simultaneously selected by courseware designers to make meaning. Regarding modal arrangement， overall， the teachers follow various patterns when arranging modes to make meaning in major phases of teaching and the representation of meaning is multimodal with various semiotic resources realizing different meaning potentials and working in a synergistic manner. In the final analysis， some principles governing the design of modes for live video streaming foreign language classes are put forward， including the Principle of Interest， the Principle of Foregrounding and the Principle of Availability for the selection of modes， the Principle of Matching， the Principle of Priority， the Principle of Economy and the Principle of Dynamic Adjustment for the arrangement of semiotic resources.

Key words： live video streaming foreign language class; mode; design; principle

1.引言

在多模態話語中，設計是在特定交際情境中運用模態或模態組合來實現話語的手段（Kress amp; van Leeuwen，2001）。設計是多模態話語建構和解析的主要因素，也是多模態交際能否成功的一個關鍵問題（張德祿，2012）。

近年來，外語視頻直播課程以高度模擬真實線下課堂教學環境和方式且能最大限度地提供真實課堂互動體驗的特點受到了學習者的青睞。此類網絡課堂具有明顯的多模態交互特征（吳玲娟，2022），同時，在網絡教學環境中，符號資源之間產生了新的互動模式，我們有必要研究這種環境中意義是如何通過不同的模態和媒體來體現的（Hampel amp; Hauck，2006；Sindoni，2013）。在此背景下，本文對外語視頻直播課堂的模態設計展開研究，聚焦優質少兒英語視頻直播課堂的模態選擇和配置特征，同時嘗試提煉出外語視頻直播課堂模態設計需遵循的系列原則。

2.理論基礎

在多模態話語中，設計是一個處于意義和模態之間的操作過程，它把各種模態合理地組合為一體來體現所選擇的意義（Kress amp; van Leeuwen，2001；張德祿，2012）。可供設計的符號資源既可以是單模態的，也可以是多模態的，采用什么樣的模態或模態組合更加有效，成了多模態交際的一個關鍵問題（張德祿，2012）。在符號實踐中，設計可以幫助交際者更好地把握多模態話語生成過程；在理論研究中，它可以幫助我們更好地理解語篇為什么會呈現某些特征和規律，分析其設計理據與機制（瞿桃、王振華，2022）。

選擇是設計的核心步驟，話語設計者根據語境要求、修辭目標、受眾需求、模態供用特征等因素從多種可用的符號資源中進行選擇（瞿桃、王振華，2022）。此外，設計者還要對選擇出來的符號資源進行合理的組合與安排（張德祿，2012；Bezemer amp; Kress，2016；瞿桃、王振華，2022），即模態配置，是多模態話語設計的焦點（Kress amp; van Leeuwen，2006：219）。

多模態話語的設計不是任意的、無規則的，而是受語境、意義、符號的可及性和供用特征、符際關系等因素的制約。首先，由于設計的對象是體現意義的模態，而意義是在一定的語境中產生的，因此，模態設計首先要考慮語境因素，包括文化語境和情景語境。其次，交際者在選擇模態時要注意符號的可及性、專業性與智能性等（張德祿，2023），其中，可使用的符號資源系統是設計的前提條件，因為不同語境中可供選擇的模態會有差別。再次，不同模態都有各自獨特的供用特征和局限性，某些模態適合某些交際任務，卻不適合其他意義類型和范圍，因此交際者只有在熟悉可選模態的供用特征后才能在模態與意義之間進行準確匹配（張德祿、胡瑞云，2019）。此外，當一種模態的供用特征不能很好地體現意義時，交際者便要對多種模態進行搭配組合，讓各種模態的供用特征相互補充、相互協同（張德祿，2015），因此，厘清不同模態間的關系對于模態的配置尤為重要。除此之外，多模態話語設計還需要考慮修辭目的、設計者的利益等因素（Bezemer amp; Kress，2016：64）。

3.研究過程

3.1 外語視頻直播課堂模態設計分析框架

基于上述模態設計基本概念及制約因素并參考張德祿（2009）的多模態話語分析綜合理論框架，本文建構了外語視頻直播課堂模態設計分析框架，如圖1所示。

具體來看，在進行外語視頻直播課堂話語的模態設計時首先要考慮相關的語境，其中文化語境包括由教育政策組成的意識形態和課堂教學的體裁結構；情景語境包括教學內容、師生關系和教學方式這三個變量。其次，文化語境和情景語境共同制約和影響著課堂整體及不同教學環節的概念意義、人際意義和語篇意義以及哪些意義需要被突顯。同時，情景語境還直接制約和影響著課堂有哪些可及的符號資源系統以及哪些模態會相對比較突出。接著，課堂交際者（教師、學生和課件制作者）在意義的驅動下從口語、文字、圖像、版面布局、身體動作、教學工具和教學環境等可調用的符號資源系統中選擇合適的模態并進行合理的配置。這就是外語視頻直播課堂的模態設計過程，是課堂多模態交際是否有效的關鍵。反過來說，課堂交際者需要根據課堂的語義特征、模態的供用特征和形式系統以及符際關系來決定用哪些模態或模態組合來體現課堂整體及不同教學環節的意義。

3.2 研究語料

近年來，極具互動性和趣味性、師資多元化并能提供浸入式英語口語交際環境的青少年視頻直播英語課程受到了學習者的歡迎（吳玲娟，2022）。本研究從當前口碑良好且市場占有率較高的說客英語、貝達英語等在線英語學習平臺上篩選30節優質一對一視頻直播外教英語課程（平均時長為25.9分/節，平均課件數為16.6頁/份）作為研究語料。

就文化語境而言，少兒英語視頻直播課程為主要針對中國少年兒童的校外英語課程，其體裁結構成分包括問候、主題介紹、提問、發布指令、知識講解、拓展反饋、引導反饋、糾錯反饋、積極評價反饋以及道別這十個必要的教學環節以及介紹課堂規則、引導學生復習、課堂總結和布置作業這四個可選教學環節（吳玲娟、瞿桃，2023）。就情景語境而言，其總體教學目標為提高學生的口語交際能力；教師大部分為母語為英語且擁有相關教學資質的外教，學生為我國6歲以上（本研究中為6-9歲）的少年兒童；課程依托ClassIn、學點云等在線教學直播平臺等進行一對一授課，師生通過教學課件（平臺統一提供）、人像屏幕和互動聊天區進行多維度實時交流和互動。

這些情景語境因素制約和影響著少兒英語視頻直播課堂有哪些可及的符號資源系統以及哪些模態會比較突出。以一對一模式為例，其教學主要依賴師生口語和課件上的文字、圖像以及圖文布局等模態來展開。同時，由于師生雙方都打開攝像頭，因此師生的手勢、面部表情等身體動作、各類直觀教具、物理背景、服飾、妝容等非語言符號也成為體現意義的模態。此外，虛擬貼紙、畫筆等虛擬教具成為教師傳遞教學知識以及情感溝通的一種重要模態，而且虛擬畫筆是學生進行書面練習的重要工具。

3.3 多模態標注方法

本研究使用免費開源的多模態標注軟件ELAN（6.0）來標注課堂教師和學生選擇的各種模態以及教師的模態配置，同時結合傳統語篇分析方法對課件的各種模態進行標注。

課堂上師生模態的標注聚焦口語、身體動作、教學工具和教學物理環境。就口語模態而言，基于Flanders（1970）的課堂話語互動分析系統等理論，將教師口語分為提問語、指令語、反饋語和講解語四類；將學生口語分為回答問題、跟讀、閱讀和主動發言四類。在身體動作模態方面，本文聚焦師生的手勢。根據McNeill（2005）的手勢觀，將教師的交際手勢標注為規約手勢（蘊含特定文化內涵，常用來替代語言）、擬物手勢（用于描述某一具體物件）、隱喻手勢（表征抽象的概念、觀點或形象）、指示手勢（指向具體或抽象的物體或方位）和節拍手勢（伴隨話語或音樂節奏有規律地敲擊、拍打或強調話語中某些重要信息）五類。另外，學生手勢除了交際手勢，還包括操作手勢，即使用鼠標或手指在觸摸屏上劃過的手部動作。接著，將師生使用的教學工具模態標注為虛擬貼紙、實物教具和數字媒體三類，將師生上課的物理環境區分為裝飾背景墻或佩戴飾品如耳機以及不裝飾背景墻且不佩戴頭飾兩類。最后，教師模態配置的標注側重教師為實現十個必要教學環節的教學目標所采用的模態或模態組合方式，如“純口語”“純手勢”“口語+圖像”“口語+手勢”“口語+文字”“口語+文字+圖像”“口語+文字+圖像+手勢”等二十余種模態配置方式。

課件版面布局、文字和圖像模態的標注主要基于視覺語法（Kress amp; van Leeuwen，2006）、視覺敘事語篇網絡系統（Painter，Martin amp; Unsworth，2013）等理論。首先，將課件頁面區分為圖文并茂頁面、純文字頁面和純圖像頁面三類，同時將圖文并茂頁面依據圖像和文字所占的面積大小區分為圖像顯著型或文字顯著型兩類并根據圖像和文字的空間布局關系區分圖文融合型（文字和圖像融為一體）頁面與圖文互補型（文字和圖像各自占據不同的空間）頁面。其次，將文字顏色區分為純色和混合色兩類并將文字顯示方式區分為直接覆蓋在背景圖像上、直接覆蓋在課件大面積純色背景上和顯示文本框三類。此外，將課件圖像區分為主體圖像（與背景形成明顯顏色反差或攜帶邊框的獨立圖像）和背景圖像兩類。就主體圖像而言，從及物性過程視角將其區分為敘事圖像（具有向量、用體現動作或言語過程）和概念圖像（向量缺失、用以描述參與者屬性、類別、特征或成分）；按照功能將其區分為和文字具有邏輯語義關系的圖像、替代文字的圖像以及點綴頁面的修飾型圖像三類；依據圖像再現客觀世界的細節程度將之區分為卡通圖、寫實照片以及抽象圖表三種表征形式。最后，根據語境化程度將課件背景圖分為高度語境化圖像背景和低語境化純色背景（包括白色底）兩類，并將背景圖像色調分為暖色調、冷色調以及中性色調三類。

4.結果與分析

4.1 少兒英語視頻直播課堂模態選擇特征

師生的口語、手勢、教學工具和物理環境模態選擇情況見表1。就教師而言，他們主要選擇口語來建構概念意義、人際意義和語篇意義（教師話語時長在課堂總時長的平均占比為55.3%，不同類型教師話語按時長占比從大到小排序依次為反饋語、知識講解語、提問語和指令語），同時經常選擇手勢（平均130.3次/節，不同類型手勢頻次從高到低排序依次為規約手勢、擬物手勢、指示手勢、節拍手勢和隱喻手勢）來配合其他模態或脫離語言獨自表征意義，還會借助各種教學工具（平均23.7次/節，虛擬貼紙使用最為頻繁）來交流信息，并會設計教學物理背景（大部分教師在有裝飾性背景的物理空間進行授課或佩戴耳機等頭飾）來建構意義尤其是概念意義和人際意義。就學生來說，他們也主要選擇口語來建構概念意義、人際意義和語篇意義（學生口語輸出時長在課堂總時長的平均占比為22.8%，不同類型學生口語按時長占比從高到低排序依次為回答問題、跟讀、閱讀和主動發言），也會使用少量交際手勢（平均10.5次/節，主要是規約手勢）來配合口語表達意義或單獨通過身體動作來建構意義，并會使用鼠標或觸摸屏來完成書面練習（占課堂總時長的8.2%）。此外，學生會偶爾使用實物教學工具模態來表征概念意義和人際意義，但幾乎沒有使用虛擬貼紙、數字媒體和課堂物理環境等模態來交流信息。

課件中文字、圖像和版面布局模態的選擇情況見表2。總體而言，課件制作者大多同時選擇文字以及與文字產生緊密邏輯語義關聯的概念圖像來綜合表征概念意義。具體來看，絕大部分（83.1%）課件頁面圖文并茂，雖然每頁課件上文字的出現頻率（4處/頁）高于圖像的出現頻率（2.8幅/頁），但是大部分圖文并茂頁面中圖像相對于文字占據更大的空間，即圖像在視覺上更為顯著（79.3%）。此外，課件制作者還會選擇文字的顏色（黑色最常見，混合色次之）和文字呈現方式（近一半呈現在獨立的顯性文本框內，其次為直接覆蓋在背景圖的留白部分或大面積純色背景上）、主體圖像的表征形式（多彩可愛的卡通圖為主）、背景圖像的語境化程度和色調（冷色調的語境化程度低的純白色或純彩色為主）以及圖文空間布局（圖文互補為主）來強化課件的人際意義和語篇意義。

4.2 少兒英語視頻直播課堂模態配置特征

教師在建構不同教學環節意義時對模態的配置情況見表3。

首先，總體而言，課堂的模態配置呈現出明顯的多樣化和多模態的特點。具體來說，除了在標題呈現環節教師只通過1種模態配置方式來建構意義外，其他各個教學環節的模態配置都出現多樣化的特點，涉及3～12種不同的模態配置方式，尤其是在積極評價反饋環節的意義建構中教師采用了多達12種不同的模態或模態組合。此外，教師選擇頻率較高的的模態配置方式通常涉及2～4種不同模態的密切配合，其中“口語+文字+圖像”模態組合和“口語+圖像”模態組合是選擇最為頻繁的模態配置方式。

其次，各種模態在建構不同教學環節意義過程中發揮不同的意義潛勢且相互間形成多樣化的協同關系。總體而言，使用便捷且表義性強的口語模態是大多數教學環節意義建構的主要且必要模態，能清楚、直白地傳遞課堂概念意義、人際意義和語篇意義，而文字、圖像、身體動作、教學工具等模態則通過視覺通道對口語主模態進行強化、互補或拓展，通常處于輔助地位。具體來說，口語在語義層確認和強化文字的概念意義并在實體層體現文字的正確發音；適合長時保存的文字模態能強化轉瞬即逝的口語模態所表達的核心概念意義并在實體層提供口語核心信息的正確拼寫形式，同時文字的字號、顏色、呈現方式也能發揮吸引學生興趣的人際功能和引導注意力分配的語篇功能；大部分課件圖像對口語或文字概念意義進行強化或補充，如限定語言中人稱代詞的語義范圍、為語言提供具體例證或時間、地點、方式等環境因素，同時還能通過表征形式、色彩以及背景語境色彩對比來發揮激發學習興趣的人際功能和突顯信息的語篇功能；身體動作尤其是具有生動性、指示性、補充性特點的手勢能對口語或文字或與核心語言相關的主體圖像所傳遞的概念意義進行強化、互補或拓展，還可以脫離語言獨立傳遞概念意義、人際意義和語篇意義；各類教學工具與口語、文字、圖像等模態形成強化、互補或拓展關系，不僅能生動、形象地體現知識點的概念意義，還能發揮激發學習興趣的人際功能和引導注意力的語篇功能。

5.討論與建議

基于上述模態選擇和配置相關結論，筆者建議外語視頻直播課堂的交際者尤其是教師和課件制作者在設計模態時需要遵循系列原則，涉及模態選擇和配置兩方面，包括趣味性原則、前景化原則、可及性原則、適配原則、主次原則、經濟性原則和動態調整原則。

一方面，課堂交際者在選擇模態時需要遵循趣味性原則、前景化原則和可及性原則。

首先，由于興趣是學好外語的重要前提，課堂是否有趣會影響學生的外語學習興趣，而同時在網絡環境中，身處不同物理空間的師生之間會產生一定的心理距離，會對學習效果產生負面影響，因此，除了考慮課堂本身的話題內容、練習形式等影響學習興趣的因素外，外語視頻直播課堂的教師和課件制作者在選擇模態時要遵循趣味性原則，即充分利用各種生動有趣的圖像、手勢和教學工具模態來打造趣味十足的課堂，激發學生的學習興趣，拉近師生的心理距離，進而提升教學效果。

其次，由于被前景化的符號最能引起受眾的注意力（Kress，2010：60），而且一定的學習提示有助于改善多媒體學習效果（Mayer，2009），因此，外語視頻直播課堂的教師和課件制作者在選擇模態時需要遵循前景化原則，即依據教學目標和內容的重要程度對某些符號進行突顯以引導學生將注意力分配給重點信息，優化教學信息的傳遞。如課件設計者可以通過圖文色彩對比、文字顏色和文本框的合理使用以及圖文空間的科學布局來優化課件的版面布局。教師可利用多彩虛擬畫筆來畫出線條、箭頭、圓圈等幾何形狀來突顯課件中的關鍵文字或圖像，還可以選擇手勢特別是指示手勢和節拍手勢來強調重點信息等。

此外，教師在選擇模態時還需要遵循可及性原則，即除了利用口語、文字、圖像等常規網絡課堂的表義資源外，還需要充分利用視頻直播環境的優勢，使更多原本處于幕后的環境成分、工具和技術元素走向臺前，甚至是主動創造一些符號資源，使之成為建構意義的模態。如教師可精心準備背景環境、衣著裝飾、各種實物教具并充分利用平臺的虛擬貼紙、特效、虛擬畫筆等技術支撐來輔助意義的表征，進而改善課堂教學效果。

另一方面，教師在進行模態配置時要遵循適配原則、主次原則、經濟性原則和動態調整原則。

首先，由于外語視頻直播課堂大多數教學環節意義的建構涉及多種模態的協同，而不同模態相互配合來獲得最佳交際效果是多模態交際的一個關鍵因素（張德祿，2015），因此，在外語視頻直播課堂的模態配置過程中，教師要遵循適配原則，即根據課程的宏觀意識形態、體裁結構、教學目標、內容和條件、師生特點、修辭目的、不同模態的供用特征和詞匯語法系統以及相互之間的協同關系，對口語、文字、圖像、身體動作、教學工具、物理背景等模態進行合理搭配組合，使不同模態之間形成正向的協同關系，最充分地表達意義。

其次，由于視頻直播外語課堂側重口語交際，因此，教師在進行模態配置時還要遵循主次原則，即處理好各個教學環節中不同模態的主次關系，高度重視作為主要和重點模態的口語的質量并對其進行精心設計，如提高語音、語調等基本的外語口頭表達能力以及提問語、指令語和反饋語的質量等。此外也要充分發揮文字、圖像、手勢、直觀教具、虛擬貼紙等其他模態的意義潛勢，或使它們與口語模態形成正向協同，以強化意義的表達。

再次，雖然外語視頻直播教學環境中有多種模態可供選擇，但是教師在不同教學環節常選的模態配置方式通常涉及2-4種不同的模態的密切配合，因此，教師和課件設計者在配置模態時還需要遵循經濟性原則，即在意義得到充分表達的情況下，模態的選擇要盡可能簡化，無須在任何教學環節把所有模態都用上，避免因模態過多而產生負面教學效果。

最后，雖然多種模態的組合搭配可能會使意義的表達更為充分，但從經濟的角度來講，模態越多交際效果并不一定越好，因此在模態配置過程中，教師還要遵循動態調整原則，即根據不同的教學目標、教學內容、不同模態的意義潛勢以及學習者的認知、思維和外語水平并靈活結合學生的即時課堂反應來增加或減少模態來更為有效地表達意義。

6.結語

模態的設計事關多模態交際能否成功。本文以優質少兒英語視頻直播課程為例分析了外語視頻直播課堂的模態設計特征并提煉出了其模態設計需遵循的系列原則。研究結果能讓我們更加深入地了解外語視頻直播課堂意義的體現過程并有助于切實改善其教學效果。今后我們可以嘗試將一對多外語在線課堂以及其他學科視頻直播課堂納入研究范圍，同時將多模態話語分析理論與教育學、心理學等學科進行深度的融合。

參考文獻

［1］Bezemer， J. amp; G， Kress. Multimodality， Learning and Communication： A Social Semiotic Frame［M］. London： Routledge， 2016.

［2］Flanders， N. A. Analyzing Teaching Behavior［M］. Boston： Addison-Wesley， 1970.

［3］Hampel， R. amp; M. Hauck. Computer-mediated language learning： Making meaning in multimodal virtual learning spaces［J］. The JALT CALL Journal， 2006， 2（2）： 3-18.

［4］Kress， G. Multimodality： A Social Semiotic Approach to Contemporary Communication［M］. New York： Routledge， 2010.

［5］Kress， G. amp; T. van Leeuwen. Multimodal Discourse： The Modes and Media of Contemporary Communication［M］. London： Arnold， 2001.

［6］Kress， G. amp; T. van Leeuwen. Reading Images： The Grammar of Visual Design（2nd ed.）［M］. London： Routledge， 2006.

［7］Mayer， R. E. Multimedia Learning［M］. New York： Cambridge University Press， 2009.

［8］McNeill， D. Gesture and Thought［M］. Chicago： University of Chicago Press， 2005.

［9］Painter， C.， J. R. Martin amp; L. Unsworth. Reading Visual Narratives： Image Analysis of Children’s Picture Books［M］. London： Equinox， 2013.

［10］Sindoni， M. G. Spoken and Written Discourse in Online Interactions： A Multimodal Approach［M］. London： Routledge， 2013.

［11］瞿桃， 王振華. 沖突性磋商話語的多模態設計研究［J］. 現代外語，2022， （6）：780-793.

［12］吳玲娟. 外語視頻直播課堂的多模態教學行為研究及啟示［J］. 現代教育技術，2022， （10）：53-60.

［13］吳玲娟， 瞿桃. 外語視頻直播課堂的模態配置研究［J］. 現代語言學， 2023， （11）： 5534-5543.

［14］張德祿. 多模態話語分析綜合理論框架探索［J］. 中國外語， 2009， （1）： 24-30.

［15］張德祿. 論多模態話語設計［J］. 山東外語教學， 2012， （1）： 9-15.

［16］張德祿. 多模態話語分析理論與外語教學［M］. 北京：高等教育出版社， 2015.

［17］張德祿. 多模態話語建構中的模態融合模式研究［J］. 現代外語， 2023， （4）： 439-451.

［18］張德祿， 胡瑞云. 多模態話語建構中的系統、選擇與供用特征［J］. 當代修辭學， 2019， （5）：68-79.（責任編輯：孫炬）