基于ELAN 的英語微課多模態(tài)話語分析

王 曼 周 杰

微課（Microlecture）指運(yùn)用信息技術(shù)，按照認(rèn)知規(guī)律，呈現(xiàn)碎片化學(xué)習(xí)內(nèi)容、過程及擴(kuò)展素材的結(jié)構(gòu)化數(shù)字資源（廖德輝2022）。微課因教學(xué)時(shí)間較短、主題突出、內(nèi)容具體、移動(dòng)學(xué)習(xí)等特點(diǎn)有別于傳統(tǒng)、單一的教學(xué)模式，發(fā)展成一種新型的學(xué)習(xí)模式和教學(xué)資源。

隨著信息技術(shù)的發(fā)展和電子媒介的廣泛使用，單一模態(tài)的語言已經(jīng)不能滿足目前信息高速流通的需求，話語分析呈現(xiàn)出從單模態(tài)向多模態(tài)發(fā)展的趨勢。微課具有聲音、圖像和文字的多種呈現(xiàn)方式，包含文字、圖像等符號(hào)系統(tǒng)，是多模態(tài)話語的典型代表。通過對(duì)英語微課的多模態(tài)話語分析，不僅可以了解語言系統(tǒng)在意義建構(gòu)和傳播過程中發(fā)揮的作用，而且能夠了解圖像和文字等符號(hào)模態(tài)在英語教學(xué)中產(chǎn)生的作用（吳婷2017），從而協(xié)同不同模態(tài)構(gòu)建高水平的教學(xué)設(shè)計(jì)，提高英語教學(xué)的質(zhì)量和效果。有鑒于此，以多模態(tài)話語分析理論為基礎(chǔ)，借助ELAN 多模態(tài)分析軟件，以英語微課為個(gè)案語料，對(duì)其進(jìn)行定量和定性分析，以期為英語教師有效使用多模態(tài)進(jìn)行英語教學(xué)提供借鑒，從而提高英語教學(xué)效果。

一、文獻(xiàn)綜述

近年來，國內(nèi)學(xué)者對(duì)多模態(tài)話語分析理論及多模態(tài)化在英語教學(xué)中的應(yīng)用作了廣泛研究。顧曰國（2007）對(duì)多媒體學(xué)習(xí)和多模態(tài)學(xué)習(xí)這兩個(gè)概念進(jìn)行了初步解讀。張德祿（2009a）基于系統(tǒng)功能語言學(xué)理論，探究了多模態(tài)話語在現(xiàn)代媒體技術(shù)條件下對(duì)英語教學(xué)的作用。張德祿和王璐（2010）探討了在大學(xué)英語課堂中，各種不同模態(tài)是如何相互協(xié)同，共同完成教學(xué)目標(biāo)的。馬利芳（2016）研究了多模態(tài)話語框架下的教學(xué)模式。以上學(xué)者的研究大多為定性研究，而定量研究較少。因此，本研究以多模態(tài)話語分析理論為基礎(chǔ)，借助ELAN 多模態(tài)分析軟件，對(duì)英語微課優(yōu)秀作品Emoji &Emotions 進(jìn)行定量和定性分析，為英語微課教學(xué)設(shè)計(jì)提供一定的借鑒。

二、理論基礎(chǔ)

話語具有多種模式形態(tài)，只使用一種模態(tài)的話語叫作單模態(tài)話語，如使用聽覺模態(tài)收聽新聞廣播和使用視覺模態(tài)閱讀小說；同時(shí)使用兩種或兩種以上模態(tài)的話語叫作多模態(tài)話語，如使用可視電話進(jìn)行交際（朱永生2007）。

韓禮德（Halliday）的系統(tǒng)功能語言學(xué)理論為多模態(tài)話語分析提供了理論框架，該框架主要由五個(gè)層面系統(tǒng)組成，包括文化層面、語境層面、意義層面、形式層面和媒體層面（Martin 1992）。文化層面指包含作為文化的主要存在形式的意識(shí)形態(tài)和作為話語模式的選擇潛勢的體裁或稱體裁結(jié)構(gòu)潛勢；語境層面包括由話語范圍、話語基調(diào)和話語方式組成的語境構(gòu)型；意義層面包含由幾個(gè)部分組成的話語意義及概念意義、人際意義和謀篇意義；形式層面指實(shí)現(xiàn)意義的不同形式系統(tǒng)；媒體層面指話語最終在物質(zhì)世界表現(xiàn)的物質(zhì)形式，包括語言的和非語言的兩大類（張德祿2009b）。

根據(jù)韓禮德的系統(tǒng)功能語言學(xué)理論，張德祿（2009b）提出了多模態(tài)話語分析綜合理論框架，該框架包括文化層面、語境層面、內(nèi)容層面和表達(dá)層面。文化層面是使多模態(tài)交際成為可能的關(guān)鍵層面，包括意識(shí)形態(tài)和體裁；在語境層面，交際要受到語境因素的制約；內(nèi)容的意義層面包括受話語范圍、話語基調(diào)和話語方式?jīng)Q定的概念意義、人際意義和謀篇意義，在內(nèi)容的形式層面，不同模態(tài)的形式特征相互關(guān)聯(lián)，共同體現(xiàn)話語意義；表達(dá)層面包含語言和非語言兩類媒體（張德祿2009b）。

三、研究設(shè)計(jì)

（一）研究問題

主要研究以下4 個(gè)問題：（1）英語微課中主要運(yùn)用了哪些模態(tài)？（2）英語微課中運(yùn)用的不同模態(tài)呈現(xiàn)什么特征？（3）各模態(tài)之間如何協(xié)同配合運(yùn)用于英語教學(xué)？（4）英語微課中的多模態(tài)使用范式對(duì)英語微課和英語教學(xué)設(shè)計(jì)有何啟發(fā)?

（二）研究對(duì)象

研究語料為全國職業(yè)院校外語微課優(yōu)秀作品，其標(biāo)題為Emoji &Emotions，時(shí)長7 分28 秒。該英語微課主題選自《21 世紀(jì)實(shí)用英語綜合教程》第一冊第八單元課文Learning to learn。

（三）研究方法和工具

根據(jù)張德祿（2009b）提出的多模態(tài)話語分析綜合理論框架，多模態(tài)話語媒體系統(tǒng)包含語言媒體和非語言媒體。語言媒體包括伴語言和純語言兩類；非語言媒體包括身體性和非身體性兩類。其中，每類語言符號(hào)還可進(jìn)一步細(xì)分（見表1）。本研究使用表1 框架為多模態(tài)分析框架對(duì)該英語微課進(jìn)行標(biāo)注和分析。

表1：英語微課多模態(tài)分析框架

研究工具為ELAN 6.3。ELAN 是由馬普心理語言學(xué)研究所（荷蘭奈梅亨市）的布里吉特·黑爾維希（Brigit Hellwig）設(shè)計(jì)開發(fā)的一款多模態(tài)話語分析軟件。該軟件精確到0.01 秒，通過對(duì)視頻或者音頻進(jìn)行多層級(jí)同步標(biāo)注，分析說話人的話語內(nèi)容、語音語調(diào)、面部表情、唇形、肩部和手的動(dòng)作等（王立非、文艷2008）。

（四）研究步驟

首先，將獲獎(jiǎng)的英語微課視頻導(dǎo)入ELAN 6.3；其次，根據(jù)英語微課多模態(tài)分析框架（見表1），在ELAN 6.3 中使用“類型”添加新的層類型和使用“層”添加新層，并對(duì)該英語微課視頻進(jìn)行標(biāo)注；最后，收集標(biāo)注數(shù)據(jù)并對(duì)其進(jìn)行統(tǒng)計(jì)和分析。

（五）數(shù)據(jù)收集和統(tǒng)計(jì)

通過對(duì)該英語微課進(jìn)行多模態(tài)定義和標(biāo)注，得到各層級(jí)的分布數(shù)據(jù)（見下頁表2）

表2：各層級(jí)分布數(shù)據(jù)表

由表2 可知，該英語微課運(yùn)用了聽覺模態(tài)、視覺模態(tài)和動(dòng)作模態(tài)。在各模態(tài)的層級(jí)中，所標(biāo)注的比例不同：（1）在音調(diào)層，主要使用降調(diào)，輔以升調(diào)和升降調(diào)；（2）在聲音層，主要使用教師語言；（3）在工具層，PPT 使用比例最大，同時(shí)伴有視頻和圖片；（4）在動(dòng)作（移動(dòng)）層，主要為向左移動(dòng)、坐下和展示；（5）在面容層，主要使用面部表情；（6）在肢體層，主要使用手勢，同時(shí)伴有點(diǎn)頭、搖頭、轉(zhuǎn)頭、手勢+點(diǎn)頭、轉(zhuǎn)頭+手勢和轉(zhuǎn)頭+點(diǎn)頭。

四、結(jié)果與分析

（一）英語微課多模態(tài)教學(xué)分析

下面主要從聽覺模態(tài)、視覺模態(tài)和動(dòng)作模態(tài)對(duì)該英語微課中教師的多模態(tài)運(yùn)用進(jìn)行研究和分析。

1.聽覺模態(tài)

獲獎(jiǎng)的英語微課采取脫口秀節(jié)目的形式，由兩位英語教師作節(jié)目主持人。在純語言的聽覺模態(tài)中，教師語言占33.79%。該英語微課中使用教師語言的部分為兩位教師首先通過有聲語言介紹本次微課的主題，其次引出多樣化表達(dá)情緒的方法這一教學(xué)重點(diǎn)，最后對(duì)微課作出總結(jié)，并鼓勵(lì)學(xué)生進(jìn)行面對(duì)面交流，表達(dá)自己的情緒。在整個(gè)教學(xué)過程中，教師語言主要作為輔助手段。

在伴語言的聽覺模態(tài)中，教師的話語主要采用降調(diào)（33.05%），同時(shí)伴有升調(diào)（5.40%）。在語法上，降調(diào)多與陳述句相匹配，而升調(diào)常用于疑問句中。教師通過陳述句描述和陳述事實(shí)，使用疑問句向?qū)W生提問、表述問題，皆在引出和獲取信息。例如，在該英語微課中，教師A 使用疑問句“Kathy，do you know what emoji is?”向教師B 提問，教師B 則用陳述句回答emoji 的定義。兩位教師通過一問一答的方式，介紹emoji 的定義和表達(dá)情緒的用法，從而引出本次英語微課的主題。

2.視覺模態(tài)

在視覺模態(tài)中，教師采取了PPT、視頻和圖片三種手段，其中，主要使用了PPT（35.04%）。在該英語微課中，教學(xué)重點(diǎn)和難點(diǎn)是通過PPT 演示的方法展開。在整個(gè)教學(xué)過程中，通過使用PPT 演示，不僅讓學(xué)生直觀、系統(tǒng)地了解了情緒的分類和各種情緒的不同表達(dá)方式，而且使教學(xué)重點(diǎn)和難點(diǎn)更加清晰易懂，從而提高了英語教學(xué)效率。

在該英語微課中，兩位教師引出本次微課主題后，采取了播放視頻（采訪現(xiàn)場）的方式，由記者（教師）隨機(jī)采訪學(xué)生有關(guān)表情的問題。借助此方式，可以補(bǔ)充和深化主題，給學(xué)生營造輕松的學(xué)習(xí)氛圍，將枯燥的語言知識(shí)學(xué)習(xí)變得生動(dòng)、有趣。

此外，圖片的廣泛使用也是英語微課的特點(diǎn)之一。在教師講解概念和知識(shí)點(diǎn)時(shí)，微課中同步顯示相關(guān)圖片，使學(xué)生能夠直觀、迅速地了解教師話語的意義。例如，在教師講解不同表情表達(dá)不同的情緒時(shí)，該英語微課中呈現(xiàn)了相對(duì)應(yīng)的表情圖片。采取這樣的方法，不僅讓學(xué)生迅速明白了教師的話語和意圖，而且使枯燥的知識(shí)講解變得豐富、有趣。

3.動(dòng)作模態(tài)

在非語言的動(dòng)作模態(tài)中，教師使用的肢體動(dòng)作最多，其次為面容和動(dòng)作（移動(dòng)）。在整個(gè)教學(xué)過程中，教師主要使用手勢（7.93%）。因?yàn)橐环N模態(tài)不足以表達(dá)清楚交際者的意義，所以交際者使用另一模態(tài)進(jìn)行強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到更加充分，或者盡量充分表達(dá)意義，讓聽話者理解話語的目的（張德祿2009b）。在整個(gè)教學(xué)過程中，教師語言是主要的形式，手勢的使用對(duì)教師語言起強(qiáng)化作用。

由于該英語微課為情景式，除了手勢外，還伴有面容（表情）、手勢+點(diǎn)頭、轉(zhuǎn)頭+手勢和轉(zhuǎn)頭+點(diǎn)頭。兩位教師通過肢體動(dòng)作積極互動(dòng)，讓現(xiàn)場氣氛活躍，營造了輕松、愉悅的學(xué)習(xí)氛圍。

（二）分階段多模態(tài)協(xié)同教學(xué)分析

從上述分析內(nèi)容可知，在該英語微課中，兩位教師采用了聽覺模態(tài)、視覺模態(tài)和動(dòng)作模態(tài)三種模態(tài)，幫助學(xué)生更好地掌握知識(shí)，實(shí)現(xiàn)教學(xué)目標(biāo)。下面對(duì)教師在不同教學(xué)階段如何協(xié)同使用三種模態(tài)進(jìn)行教學(xué)作分析。

要分析該英語微課，可將整個(gè)教學(xué)過程分為五個(gè)階段：（1）導(dǎo)入：00 分00 秒—00 分52 秒；（2）介紹主題：00 分53 秒—03 分45 秒；（3）引出教學(xué)重點(diǎn)：03 分46 秒—04 分15 秒；（4）講解教學(xué)重難點(diǎn)：04 分16 秒—06 分50 秒；（5）總結(jié)：06 分51 秒—07 分28 秒。

以介紹主題階段作為個(gè)例進(jìn)行分析。在介紹主題階段，兩位教師借助聲音、音調(diào)、面容、肢體、圖片和視頻進(jìn)行交互。例如，教師B 回答教師A 的問題：“Sure！Emojis are visual and affective symbols to express our feelings and emotions.For example，a crying face means sad；a cake means best wishes to you，or a red heart means I love you.”教師B 轉(zhuǎn)頭面向?qū)W生（動(dòng)作模態(tài)），解釋emoji 的定義（聽覺模態(tài)），同時(shí)左手向前抖動(dòng)三次并由身體前方移動(dòng)到胸口（動(dòng)作模態(tài)）。教師B 列舉哭臉表情例子（聽覺模態(tài)），屏幕右上角出現(xiàn)哭臉表情圖片（視覺模態(tài)），同時(shí)轉(zhuǎn)頭（動(dòng)作模態(tài)），手指彎曲從臉部上方移動(dòng)到下方（動(dòng)作模態(tài)）；用升調(diào)列舉蛋糕表情例子（聽覺模態(tài)），同時(shí)屏幕右上角出現(xiàn)蛋糕表情圖片（視覺模態(tài)），手指伸開放在胸前（動(dòng)作模態(tài)）；使用降調(diào)列舉愛心表情例子（聽覺模態(tài)），同時(shí)屏幕右上角出現(xiàn)愛心表情圖片（視覺模態(tài)），轉(zhuǎn)頭看著教師A 并用兩只手做出愛心動(dòng)作（動(dòng)作模態(tài)）。

在該階段，兩位教師運(yùn)用了聽覺模態(tài)、視覺模態(tài)和動(dòng)作模態(tài)，實(shí)現(xiàn)了跨模態(tài)意義協(xié)作。教師語言是主要交互形式，借助疑問句（升調(diào)）和陳述句（降調(diào)）獲取、陳述和凸顯信息，同時(shí)伴有肢體動(dòng)作，對(duì)教師語言起強(qiáng)化作用。在列舉表情例子時(shí)，屏幕右上角同步出現(xiàn)了相對(duì)應(yīng)的表情圖片，這是視覺模態(tài)對(duì)聲音表達(dá)意義的擴(kuò)充。在整個(gè)教學(xué)過程中，教師面帶微笑，與聽覺和視覺模態(tài)同時(shí)出現(xiàn)，呈現(xiàn)交疊狀態(tài)。

五、對(duì)英語微課和英語教學(xué)設(shè)計(jì)的建議

由上述內(nèi)容可知，該英語微課成為優(yōu)秀作品的原因之一是其合理、恰當(dāng)、協(xié)同地使用了聽覺模態(tài)、視覺模態(tài)和動(dòng)作模態(tài)，實(shí)現(xiàn)了跨模態(tài)意義協(xié)作及采用了情景教學(xué)法和角色扮演法等教學(xué)方法。具體表現(xiàn)為：該英語微課采取脫口秀的拍攝手法，將人物活動(dòng)軌跡巧妙編排到英語教學(xué)內(nèi)容中，使學(xué)習(xí)內(nèi)容劇情化、學(xué)習(xí)情境場景化。

目前，在英語教學(xué)中，一部分英語微課的教學(xué)形式主要是簡單地將教學(xué)重難點(diǎn)錄制成視頻或者對(duì)整個(gè)教學(xué)過程進(jìn)行錄像，便于后續(xù)播放。這樣的微課設(shè)計(jì)一般較為生硬，缺乏多樣性、豐富性、思辨性和時(shí)代性。因此，對(duì)英語微課教學(xué)設(shè)計(jì)給出以下建議：（1）在教學(xué)方法上，教師應(yīng)綜合采用多種教學(xué)方法，如情景教學(xué)法和角色扮演法，將教學(xué)知識(shí)點(diǎn)轉(zhuǎn)化為故事或者劇本，以生動(dòng)、有趣的采訪和講故事等手段突破教學(xué)重難點(diǎn)，增強(qiáng)學(xué)生對(duì)教學(xué)知識(shí)點(diǎn)的吸收和把握。（2）教師在合適的時(shí)機(jī)出現(xiàn)在英語微課中，通過純語言、伴語言和非語言互相協(xié)同融合的教學(xué)方式，進(jìn)一步凸顯話語模態(tài)，拉近與學(xué)生的距離，實(shí)現(xiàn)跨模態(tài)意義協(xié)作。（3）根據(jù)具體的教學(xué)內(nèi)容運(yùn)用不同的語音語調(diào)、表情和手勢等，并適時(shí)借助PPT 演示、圖片和視頻等手段，將枯燥的語言知識(shí)學(xué)習(xí)變得生動(dòng)、有趣，營造輕松、愉悅的學(xué)習(xí)氛圍，從而提高英語教學(xué)的效率和效果。（4）根據(jù)英語微課的主題，選擇恰當(dāng)?shù)臅r(shí)政素材，自然融入課程思政內(nèi)容，賦予英語教學(xué)內(nèi)容思辨性和時(shí)代性，實(shí)現(xiàn)立德樹人的育人目標(biāo)。

六、結(jié)論

基于多模態(tài)話語分析理論，借助ELAN 多模態(tài)分析軟件，選擇2021 年全國職業(yè)院校外語微課活動(dòng)中獲全國一等獎(jiǎng)的英語微課為個(gè)案語料，對(duì)其進(jìn)行定量和定性分析。研究發(fā)現(xiàn)：（1）在該英語微課中，教師運(yùn)用了聽覺模態(tài)、視覺模態(tài)和動(dòng)作模態(tài)；（2）聽覺模態(tài)以教師語言為主；視覺模態(tài)采用PPT演示的手段；動(dòng)作模態(tài)多為肢體動(dòng)作；（3）在該英語微課的不同階段，教師實(shí)現(xiàn)了跨模態(tài)意義協(xié)作，各模態(tài)之間呈現(xiàn)出強(qiáng)化、擴(kuò)充和交疊的關(guān)系。

在該英語微課中，教師在教學(xué)過程中的多模態(tài)使用范式為英語微課設(shè)計(jì)和英語教學(xué)設(shè)計(jì)提供了一定的借鑒，值得推廣和學(xué)習(xí)。在英語微課中合理、恰當(dāng)、協(xié)同使用多種模態(tài)能夠豐富英語教學(xué)，營造輕松、融洽的學(xué)習(xí)氛圍，從而提高英語教學(xué)效果。此外，本研究還借助ELAN 多模態(tài)話語分析軟件分析英語微課中的多模態(tài)話語，在一定程度上證明了在英語教學(xué)中媒介技術(shù)（ELAN）應(yīng)用的可行性。