多模態元語言的互動闡釋及優化設計

摘要：EFLT多模態微課元語言中各模態不同的互動關系可以實現不同的闡釋功能：模態轉換可以實現異位闡釋，模態互補可以實現協同闡釋，模態嵌套可以實現重點闡釋，模態疊合可以實現動態闡釋。EFLT微課元語言的優化設計要考慮社會適應性、語境制約性和多層需求性，應采用多元模態，在手段、功能、內容和理念等方面進行優化設計。

關鍵詞：多模態元語言；微課；互動闡釋；優化設計

隨著科技的發展，多媒體對語義傳遞的介入加深，話語分析領域從只關注語言本身這一模態轉向多模態話語分析方法（MDA）研究語符和非語符表達形式，嘗試獲得“統一而全面的描述”[1]。雖然研究成果豐碩，不少學者證實了多模態與我國以英語為外語的教學（EFLT）關系密切。張德祿、李玉香、王璐等強調了英語課堂的多模態的協同作用[2]，但是，從多模態角度，對于元語言（Matalanguage，簡稱ML）——用于描寫和解釋對象語言（Object Language，簡稱OL） 的第二層次語言的研究卻極少。本文試從多模態角度出發，以EFLT教學微課為例，分析基本的元語言單元內，元語言的各模態互動闡釋特征，并探討所呈現的特征是受哪些因素影響和制約，以期為實現多模態元語言優化提供參考。

一、多模態元語言與EFLT微課元語言

1.多模態元語言

20世紀30年代，波蘭邏輯學家塔斯基指出，因所指稱的對象不同，語言可分為兩個層次：用來談論周圍世界的語言為第一層次語言，即對象語言；而用來談論語言本身的語言為第二層次語言，即元語言。[3]元語言是用來描寫和闡釋語言的。在現代社會，傳統單一模態（如文本）的闡述形式已經被各種模態有機結合的闡述方式所替代。因此，對于元語言的研究不能僅關注文本這一層面，而應進行全面的研究。

2.EFLT微課元語言

EFLT為外語教學領域，教學內容為英語語言，涉及英語國家學習生活的方方面面。教學語言分為兩個部分，一是師生的交際語言，二是對目的語進行描寫和闡釋的語言，即是元語言。微課元語言是具有典型性和代表性的元語言：第一，“微課”的核心組成內容是教學視頻（課例片段）或專題講解片段，具有時間較短、內容精煉、主題集中等特點；第二，與現代技術結合的微課語言具有超文本的多模態性質；第三，微課比日常課堂教學語言的隨機性小，更具有代表性，有助于研究的科學性。

二、微課元語言的互動闡釋特征

在Lim和張德祿的多模態分析框架中，各模態間的關系被區分為互補（強化互補與非強化互補）和非互補關系（交疊、內包和語境交互）[4][5]。參考該理論結果，結合元語言的闡釋性特征，可對雅思微課元語言各模態間的互動闡釋關系進行分析研究。

筆者抽樣選取了外語教學權威網站、全國微課大賽外語獲獎微課及湖南農業大學外語類優質網絡示范課共30節微課進行分析，并與3所學校的10名雅思教師和20 名學生進行訪談和調查。

多模態互動研究多以“活動”為基本單位。因此，本研究將教學微課元語言以一個元語言闡釋活動為單位進行拆分研究。 結果表明，教學微課元語言的各模態的最基本的關系可以歸納為以下幾類，并實現了不同的闡述功能。

1.模態轉換（Model Transfer）——實現異位闡釋OL——ML：A→B

EFLT語域內各模態的轉換一直就有，但比較單一，大多數情況下，OL為文本模態，ML基本以教師的口語模態的闡述形式為主?，F代多媒體技術干預的微課內，這種模態轉換有了更為便利的條件，打破了從文本到口語模態的固有模式，變成了從文本到聽覺模態、甚至動態視覺模態等轉換的方式，從而達到異位闡釋的目的。例如： 某英語文章是講述咖啡的制作過程，一般是用中文口頭翻譯來進行內容解釋，但是容易讓學生覺得抽象且枯燥。在微課中，有教師運用無聲視頻動畫描述和解釋了文本內容，生動形象的過程再現有助于學生迅速了解文章的大意，而且大膽的猜測、主動的記憶和理解有助于鍛煉學生的語言思維能力。更重要的是，異位闡述的實現，有助于運用非傳統的異質模態進行闡述的微課堂元語言的優化，有助于教學方式和手段的創新，有助于意義潛勢的實現及意義闡述的突破和發展。

·學科與專業·多模態元語言的互動闡釋及優化設計

2.模態互補（Modal Complement）——實現協同闡釋OL——ML：A+B

微課ML中，多模態的協同方式還有模態的互補。模態互補是各模態在闡述的不同時期出現，如前半部分闡述用A模態，后半部分闡述用B，或者多個模態或交替或輪換出現的模式，沒有疊合部分，但因闡述主題相互關聯，共同作用。模態的選擇多基于不同的闡釋需求，而各個模態在整個元語言闡釋過程中相互補充，共同完成整個闡釋過程。如，有教師在解釋palm這個詞時，先使用身體語言，通過手掌的展示，讓學生猜palm所含的“手掌”的意思，然后轉換模態，通過PPT上的“棕櫚樹”圖片將palm所含“棕櫚樹”的意思告知學生，并放置手掌與棕櫚樹的圖片相似形狀對比讓學生將這兩個意思相聯系，最后再使用音頻模態糾正發音。這幾種模態是分步的，起協同闡釋的功能。

3.模態嵌套（Modal Insertion）——實現重點闡釋OL——ML：（ A （B） ）

模態嵌套是指以一種模態闡釋為主，另一種模態嵌入其中進行強化，以突出重點的基本模式。如圖，A一直貫穿闡釋過程始終，而B是為加強其中一部分嵌套進去的。在高校教學中，教學內容豐富、目的明確，但課時有限，強調重點突出，因此，這種闡釋方式經常被選擇。例如，在用口語模態闡述寫作的連貫與銜接的過程中，教師在口頭講完“linking back”（“鏈接回”） 這一技巧后，就在PPT上展示一段英文文章，用回指箭頭和環環相扣的圖形生動形象地表現出來。此時，圖形模態與口語模態在教師需要強調的部分同時出現，因有不同模態插入，突出強化了重點，加強了學生的認知和理解。

4.模態疊合（Modal Superposition）——實現動態闡釋OL——ML：AB…

模態疊合是現代技術支撐下的EFLT語域中較常用的方式，指一個以上模態從闡釋之初就開始出現，直至闡釋完成，微課中最常見這種模式。講解的聲音、動態視頻、字幕等疊加，共同發揮作用。

根據多模態互動分析理論， “共時” 疊加的幾種模態，根據注意度或意識度（levels of attention/ awareness）， 應區為“前景”、“中景”和“背景”等層次[6]。前景注意度最高，背景最低。在微課元語言的疊合結構中，對于不同的學習者而言，會出現注意度不同的情況，這是由于外語教學的特殊性、學生外語能力差異造成的。如：微課中的多模態元語言闡釋時，對于語言能力強的學生，教師的口語模態多為前景，但是對于英語聽力差的學生來說，字幕、甚至是圖像則變成了前景。因此，微課元語言的模態注意度并不是固定或確定的，而是動態的，動態可變的前景為動態闡釋奠定了基礎。

據微課教師與學生的訪談結果也呈現相應的結果，模態疊合可以解決雅思學習者語言基礎不同的問題。比如，基礎好的學習者可以直接從音頻模態理解意義，而基礎不好的學習者可借助字幕，甚至結合視頻理解意義，從而實現微課中的多模態元語言的動態闡釋功能。這里的動態是指闡釋重點模態的可變性、動態性特征。

三、微課元語言的優化設計原則

基于多模態相關理論，結合微課元語言的模態互動關系及其相應闡釋功能，可以總結EFLT微課元語言的優化要基于以下原則。

1.社會適應原則

語言應具有社會適應性，這是語言的本質特征。信息多模態化的背景下，人類進入了社會符號 “多模態化”的新世紀[7]。知識的載體已經從傳統文本的“單一模態”向基于多符號系統 （如視頻、音頻、圖片、手勢、空間等）的“多模態”轉變。學生和教師可共享利用的資源從文本向立體化、多元化發展。教學元語言及語義闡釋的多模態化，使得闡釋更加充分和生動，順應社會發展的，具有現代教育發展的特性。這迫切要求傳統教學元語言向多模態方向發展。

2.語境制約原則

多模態分析框架指出，多模態語言首先受語境的制約，包括情景語境與文化語境。EFLT微課教學以幫助學生解決國際交流中的語言文化障礙、適應英語語言環境、提高英語綜合運用能力為教學目的，受情景語境和文化語境的制約明顯。一方面，情景語境對于幫助學生適應出國留學的學習生活具有重要的作用；另一方面，文化元語言對于學生理解異域文化具有相當重要的作用，也應當在教學微課元語言中得到重視。但是，情景語境在文化語境的背景下起作用。因此，EFLT多模態元語言的內容優化首先要優先文化闡釋。

3.多層需求原則

微課元語言要考慮多層需求，主要原因在于闡釋對象的差異性，即教學對象的外語水平的差異。中國典型的EFLT課堂中，每班至少20-30人，有的課堂甚至超過50人，學生語言能力差異較大。另外，學生語言學習的目標不同造成各自對自己語言水平要求的差異。傳統課堂里，教師只能根據多數中等學生水平制定教學目標、闡釋教學內容。語言能力特別強的學生和特別差的兩極學生很難適應，這是中國英語教育長期以來難以解決的問題。因為微課多以學生分散自主學習的形式使用，且具有實現多層闡釋的功能，因此，在設計時需要、并且能夠嘗試解決這個問題。

四、微課元語言的優化設計方法

1.手段優化——重多元

微課元語言要符合社會適應原則，就要在設計時重視其“多模態”特征。從抽樣的微課來看，高校英語教育者（即微課元語言的設計者）雖然多贊同和支持微課元語言多模態化方向，但對于多模態的認識不足和表述手段單一。因此，首先要提高多模態意識，優化微課元語言的表述手段，實現真正的“多模態化”。

表述手段的優化要強調語符與非語符等多元模態的結合。部分高校微課評價標準及高層次微課建設標準中，已經將字幕設計、圖像表達等非語符模態考慮在內。微課中，對于目的語進行闡釋時，圖畫模態、圖表模態、動畫模態、包含影視作品在內的試聽結合模態、甚至是音樂模態等等，能在特定層面促進和強化學生的認知和理解，是充分進行闡釋的可選元素，可以作為優化設計的基本模態。

值得一提的是，在教學微課設計中，有的教育者表示多元模態的設計想法得不到實現，主要是因為技術的缺失。因此，設計者要不斷提高資源共享意識與能力，選擇性地加以利用大數據背景下豐富的EFLT多模態資源或工具。高校教學改革中也應當實施多模態教育技術培訓機制、技術團隊輔助英語教師團隊等機制，促進微課元語言的優化設計，更好服務于教學。

2.功能優化——重合成

相比時間、地點統一條件下的、相對固定的傳統課堂教學元語言，多模態微課元語言應該具有“可選擇性”和“非固定性”，即“[+選擇]”“[-固定]”[8]，能解決教學對象水平和學習目的的差異問題。

這就要求微課元語言需以各模態及其不同的結合及互動形式形成綜合的載體，以實現合成性的功能。也就是說，兼顧不同學習目的和語言水平學生要求的各項功能要合成在同一微課元語言中。最理想的狀態是，這些合成功能反過來又可以由教師或學習者自行選擇進行拆解，完成分項教學目標。

教師可以多設計模態疊合的微課元語言活動單元（如既有音頻，又有圖片、字幕、視頻、注釋等），設置單個模態拆解、多個模態合成選項。如，設置字幕或視頻屏蔽的可選模式，指導語言水平較高的優秀學生拆解模態，以音頻為主要前景（注意力焦點），而自動屏蔽除音頻外的其它模態，而語言基礎較差的學生，可以選擇點擊音視頻合成模式，由視頻輔助理解音頻內容，最后再進入添加字幕模式和其它備注闡釋方式，進行整體合成的元語言闡釋。調查顯示，成績較差的學生也不會完全以視頻為前景，而是在視頻、字幕、音頻、注釋等模態之間轉換，這有助于保護學生的學習積極性，也是因材施教、分層教學的重要嘗試。在學生語言能力進步的過程中，學生自己可以發現其前景從輔助語言模態到模態間轉換再到語言模態的變化。因此，微課元語言要重視將不同的功能合成在元語言闡釋中，以滿足多層次的學習需要。

3.內容優化——重闡釋

EFLT微課元語言應具有EFL元語言的共同特征，兼具對對象語言的描寫和闡釋，即“描寫+闡釋”[9]。描寫是表層，闡釋才是深層。但現今，闡釋性元語言只在優秀的微課（如微課大賽獲獎作品）中才有充分的體現，大多數EFLT微課元語言多進行語言及其表象的描述，只是解決了是什么的問題，沒有解決為什么的問題。闡釋性元語言在英語教學中還沒有得到足夠的重視。所以， 進行EFLT微課元語言優化設計時，在內容上應該要更加重視闡釋，以期從深層分析語言現象產生的原因。

闡釋需要確保有效性。有效的闡釋應是以教學目的為基礎的闡釋。因此，在設計多模態微課元語言時，除了考慮整個課程教學目標和每一微課的教學目標外，還要將每一個元語言活動單元的教學目標細化設置。根據不同的已經細化了的目標，選擇相應的多模態互動闡釋方式，以確保闡釋的有效性。如前所述，教師可以選擇模態間的相互協作形式，達到不同的闡釋效果：如果要突出教學重點，就要多用重點闡釋，就多用模態嵌套；如果要實現多層目標，就要多用動態闡釋，多用模態疊合實現等等。

4.理念優化——重文化

情景語境與文化語境是多模態元語言的制約因素。其中，情景語境又受文化語境的制約。因此，多模態微課元語言優化時要進行理念優化，確定文化的核心地位，將文化納入語言學習的重要范疇，培養學生對多元文化的識讀能力及跨文化交際能力。

在中國的英語課堂中，雖然英語學習是為了掃清交流障礙，但是也不能忽視文化的導向作用。不管是從素質教育的角度，還是從避免被西方文化同化的角度考慮，文化元語言需重視中西文化對比，吸收異域文化的精華，突出中國文化的優點，從而引導學生形成正確的文化價值觀。

五、結語

綜上所述，多模態微課元語言中各模態不同的互動關系可以實現不同的闡釋效果：運用模態轉換可以實現異位闡釋，運用模態互補可以實現協同闡釋，運用模態嵌套可以實現重點闡釋，運用模態疊合可以實現動態闡釋。從多模態元語言的發展及其模態互動闡釋特征來看，中國EFLT多模態微課元語言，不僅需要考慮社會適應性，充分運用現代技術成果，還需要重視語境的制約，滿足教學的多層次需求。在進行設計時，要在手段、功能、內容和理念等方面進行優化，靈活運用現代化的多元模態，實現功能的合成，重視對目的語的有效闡釋，揭示深層的文化理念，把握價值觀導向等。

本研究雖然只是多模態研究的冰山一角，但是將模態互動、語義闡釋與元語言設計相結合，不僅關注了多模態元語言語義闡釋的微觀特征，也期望為中國EFLT多模態教學提供一定的參考。

參考文獻：

[1]Flewitt，R.et al.What are multimedia data and transcription[A].In C.Jewitt（ed.）.The Routledge Handbook of Multimodal Analysis[C].London & New York： Routledge，2009：41-53.

[2]張德祿，李玉香.多模態課堂話語的模態配合研究[J].外語與外語教學，2012（1）：39-42.

[3]Lyons， John.Language and Linguistics[M].Cambridge and New York： Cambridge University Press，1981：171.

[4]張德祿，丁肇芬.多模態話語模態的協同及在外語教學中的作用[J].外語學刊，2010（2）：97-102.

[5]Lim Fei V.Developing an Integrative Multi-semiotic Model[C]In O Halloran， Kay L.Multimodal Discourse Analysis： Systemic-Functional Perspectives.London： Continuum， 2004：220-246.

[6][8]Norris，S.Identity in （Inter）action： Introducing Multimodal Interaction Analysis[M].Berlin and New York： Mouton de Gruyter，2011：48-50.

[7]胡壯麟.社會符號學研究中的多模態化[J].語言教學與研究，2007（1）：1-10.

[9]燕莉.EFL課堂元語言表達式的優化設計[J].吉首大學學報，2011（4）：153.

（責任編輯賴佳）