多模態英語教學對大學生多元識讀能力影響實證研究

【摘要】在多模態符號學的理論基礎上，以95名非英語專業大二學生為對象，通過實驗研究和問卷調查的方法從語言輸入、輸出及評估等角度來研究多模態英語教學對大學生多元識讀能力的影響。結果表明：融合了文字、聲音、色彩、動畫、印刷版式等符號資源并涉及聽覺、視覺等多種感官交互的多模態英語教學比傳統語言教學更受學生歡迎，能更有效地提升學生的英語語言識讀能力、社會交際能力及技術識讀能力等多元識讀能力。

【關鍵詞】多模態；多元識讀能力；語言能力；交際能力；技術識讀能力

一、引言

1 多模態符號學

模態（modal）是指物質媒體經過社會長時間塑造而形成的意義潛勢（meaning potential），是用于表征和交流意義的社會文化資源。更直白地說，模態是交流的渠道和媒介，包括語言、技術、圖像、顏色、音樂等符號系統。在當今新媒體時代，人們綜合運用聽覺、視覺、觸覺等多種感官，通過語言、聲音、圖像、動作、顏色等多種手段和符號資源來進行交際，即進行多模態交流。

基于系統功能語言學和社會符號學的理論框架和研究成果，國內外許多學者開展了多模態符號學研究，認為任何語篇的意義都是由多重符號模態表達的，語言與聲音、圖像、動畫、色彩、肢體動作等符號資源互補、融合，發展成產生意義的互相連接的可供選擇的網絡。比較有代表性的研究如：O’Toole對繪畫、雕塑和建筑等藝術作品進行了符號學分析；KressVan Leeuwen研究了視覺圖像、顏色語法以及報紙的版面設計等；Royce則將視角拓展到了第二語言課堂教學。國內學者如李戰子、胡壯麟、朱永生、張德祿等引入、發展了多模態話語分析理論并同語篇分析、外語教學相結合。

2 多元識讀能力和多模態教學

新倫敦小組（New London Group）將多模態符號學應用于語言教學并提出多元識讀（multi-literacies）概念。此后KressVan Leeuwen、Thwaites、Spiliotopoubs、顧曰國、朱永生、張德祿、韋琴紅、葛俊麗和羅曉燕等學者對多元識讀展開了多角度的研究，認為傳統的以讀寫為主的識讀能力在多媒體時代已無法滿足學習者的要求，還需要培養創造性地使用信息通訊技術，通過語言、視覺、聽覺等多模念形式批判性地識讀和理解多媒介提供的信息的能力。多元識讀能力包括語言識讀能力和社會交際能力以及技術讀寫能力。就語言習得而言，語言讀寫能力不僅指傳統的聽說讀寫譯等能力，還包括認識語言模態意義潛勢的特點并學會在語言不能很好表達意義時用其他模態來配合的能力；社會交際能力包括文化讀寫、批評讀寫能力等，學生要具有深厚的目標語文化底蘊和批判能力以及對多元文化的理解和適應能力等；技術讀寫能力包括科技、媒體讀寫能力，學生要具備現代媒體技術知識和能力等。

為培養多元識讀能力，KressVan Leeuwen建議進行多模態教學。這種教學模式強調課堂面授與多媒體學習結合，主張綜合利用語言文字、圖像、聲音、動畫、色彩、表情及其他符號資源來激發學生的視、聽、觸覺多種感官協同運作以全面、準確地獲取信息和構建意義，通過情景實踐（situated practice）、明確指導（oven instruction）、批判性框架（critical framing）、轉化實踐（transformed practice）等教學步驟來培養學生多元識讀能力。

二、研究方法

選用《視聽閱讀》第三冊第三單元the Exciting Street of Barcelona為語料，通過實驗研究和問卷調查來對比多模態英語教學與傳統教學的效果，探討多模態教學對語言識讀、社會交際和技術識讀能力等多元識讀能力的影響。

1 實驗研究

實驗問題：多模態英語教學能否提高學生閱讀、聽力等語言能力？是否有助于培養學生的交際能力？是否能提升技術識讀等多元識讀能力？

實驗對象：筆者所教的兩個非英語專業大二平行班（共95人），學生英語水平相當，前一學期的期末成績不存在顯著差異（F=.066，P=.338>.001）。將其中一個班（47人）設為實驗班，另一個班（48人）設為對照班。

實驗工具：《視聽閱讀》多模態教材及光盤；純文字模態紙質閱讀、聽力材料；SPSS（19.0）

實驗步驟：實驗班進行多模態教學，將閱讀、聽力、口語等教學環節整合為多模態閱讀視聽口語課，將課堂構建為由印刷文字、字幕文字、聲音、畫面、色彩、圖表、印刷版式、肢體動作等多模態符號及視覺、聽覺、觸覺、發音器官等多感官動態交互的多模態、立體化課堂。對照班則進行傳統模式教學。兩個班的教學均涉及語言輸入（閱讀、聽力）、輸出（角色扮演）和評估（制作PPT）等環節。

（1）語言輸入

閱讀、聽力是語言輸入的兩大重要途徑。實驗班和對照班都先進行閱讀輸入，然后進行聽力練習。

實驗班進行多模態閱讀，使用的《視聽閱讀》為圖文并茂的仿雜志版式紙質閱讀文本，包含文字、色彩、圖像、印刷版式等多種模態。筆者先進行明確指導，介紹相關多模態知識，再進行啟發性導入，要求學生綜合利用書本上的各種模態來預測文章主題、內容。然后要求學生在15分鐘內閱讀一篇關于巴塞羅那蘭布拉大街（Las Ramblas）的介紹性文章（約含1500個單詞）并完成10道快速閱讀練習題（每題1分，共10分）。

對照班學生使用筆者制作的純文字模態閱讀文本（與實驗班的多模態教材文字內容和題目完全一樣，但不配有任何圖片且文中生詞不再用特殊字體標出，生詞的英文釋義統一列在閱讀文本后面）。上課先進行導入，主要由筆者介紹背景知識，然后要求學生閱讀文章并在規定時間內做完題目。

在閱讀基礎上開展相同內容的聽力教學，以達到“以讀助聽、以讀促聽”的目的。但兩個班學生都不允許翻閱閱讀文稿。實驗班進行多模態字幕視聽教學，使用多模態文本及融合了視頻、音頻和字幕等符號資源的多模態CD光盤。先提醒學生識別書本中文字、圖片、色彩、印刷版式等模態來加深對題目的理解并盡可能多地獲取信息。接著分三部分播放一段美國國家地理頻道介紹蘭布拉大街的錄像（長4分12秒，平均語速約為136w/pro）。錄像的聲音和畫面高度一致，還配有與話語同步出現且完全對等、與錄像畫面相匹配的顯性英語閉路字幕。每部分錄像分別播放兩次后，要求學生完成聽力理解（8題）、邏輯關系（5題）、單詞聽寫（7題）及詞匯釋義（4題）共24道多樣化題目（每題1分，共24分）。

對照班使用的聽力材料包括筆者制作的與實驗班內容一樣的純文字模態的聽力題目以及由錄像轉制的聽力錄音。聽完兩遍錄音（分為三部分）后，學生需完成與實驗班一樣的聽力題目，整個過程基本不涉及色彩、圖像、動作等非語言符號。

（2）語言輸出及評估

兩個班需完成相同的語言產出任務，即以小組形式（4～6人）課后準備角色扮演（role-play），扮演流浪藝術家、當地居民、游客等角色來展現獨特的蘭布拉文化，于下一次課堂上進行展示（總分lO分）。這一情景實踐環節主要檢測學生的社會交際能力特別是文化、口語交際能力。

此外，鼓勵學生課后利用互聯網、圖書館等多種渠道將課堂延伸到多元的信息世界中并完成一項改造式任務，即小組（2～3人）合作查閱、比較文中涉及活體雕塑（1iving statue）、馬戲表演（circus）、街頭表演（street theater）等各種表演藝術并制作一份相應的PPT（總分10分），以檢測學生的多元識讀能力特別是技術識讀能力情況。

2 問卷調查

針對實驗班的47名學生進行問卷調查，目的是從學生的語言習得感受、文化感知、技術運用能力提升及課堂氛圍、師生互動等宏觀角度了解多模態英語教學對多元識讀能力培養的總體效果以及學生對多模態教學的接受程度。

三、結果與分析

使用SPSS（19.0）對兩個班的閱讀、聽力、角色扮演及PPT制作成績進行統計分析。

1 多模態教學有助于提高語言能力

對兩個班的閱讀和聽力成績進行了獨立樣本t檢驗，統計結果（表1和表2）顯示實驗班的閱讀和聽力成績均好于對照班。從表1可以看出，實驗班的閱讀成績較好。且兩個班成績差異顯著（F=.968，P=.000<.001）。表2顯示實驗班的聽力總分和各聽力單項分值均高于對照班。其中兩個班在詞匯釋義、單詞聽寫、聽力理解及總分分值方面差異顯著（P均為，000<.001），雖然涉及邏輯關系的題目成績差異小顯著（F=33.226，P=201>.001）。

以上結果說明多模態教學比傳統教學更有助于提高學生的語言能力特別是閱讀和聽力水平，因為在多模態教學模式下，學生學會去識讀文本中的各種模態來預測文章內容、判斷主題句、搜索信息重點和細節、跳讀或略讀非重點信息來提高閱讀效率，并且能綜合利用多模態視頻、與語音相匹配的畫面和字幕來提升聽力水平，特別是信息的理解和記憶、詞義的推測等方面。

具體來說：

首先，經過筆者的明確指導即有關多模態知識的介紹后，實驗班學生能夠識讀閱讀文本中除語言文字外的其他模態如18幅色彩斑斕、充滿異域風情的圖片以及穿插在聽力題目中的一些圖表等來激發興趣、想象力并激活“a Spanish city”、“dynamic”、“entertainment”、“performance”等關鍵信息和背景圖式，順利預測出文章的主題。

其次，多模態語篇有助于讀者捕捉語篇重點和順序。例如題目中用雙引號標注的單詞如“cuts”、“predominant”以及大寫單詞NOT等特殊的印刷版式、標點符號都可以實現語篇功能，即提示題目中的信息重點并有助于在原文中定位相應的信息以便快速、準確地找到答案。針對快速閱讀的出題規律（一般一個段落出一道題），文中的段落序號有助于確定哪些段落需要細讀、跳讀或略讀，以便提高閱讀速度。此外，閱讀文本中穿插的圖片、彩色文字、圖框等也是意義的源泉，小能忽視。依照KressVan Leeuwen的視覺語法（visual grammar），圖像也具有對應于Halliday提出的概念、人際和語篇元功能（meta-function），即圖像也具有再現、互動和構圖意義。也就是說，圖片的形狀、前后比例、色澤對比度、圖中各成分的相對位置（前景或背景）等都能凸顯語篇信息。如依據文中最后一幅圖片的內容及顏色（處于突出位置的是一個全身圖繪成身銀灰色、手持一把假手槍的活體雕塑，背景為在遠處觀看的路人）可以判定該圖所在頁面的文字內容（第11、12和13段）應該和活體雕塑相關，這樣就能順利抓住這些段落的主題和大意。此外，文中多處紫顏色標注的單詞以及黃、綠色底紋的生詞釋義框方便了學生快速查閱生詞意義，迅速掃除一些詞匯障礙，提高閱讀速度和效率。

再次，視頻輔助對學習者能產生積極的影響。視頻模態具有再現情境、場景互動、生成意義等功能，能直觀、動態、多維度地呈現事物的時空順序、人物關系、人物的面部表情、運動特征、氛圍、場景等信息，有助于提高對文本整體的理解。而且在多模態視聽中，受視覺、聽覺模態的雙重刺激，學生的工作記憶得到最大化，信息的理解和記憶率較高。

此外，圖像能指導詞匯的識別和意義處理，特別是多模態視頻中與語音內容高度關聯的錄像畫面能提供大量清晰的信息和理解線索，增加學生的選擇性注意力（selective attention）并激活心理詞庫，建立圖像和語言之間的有效關聯。如一位受訪者談到馬戲表演，此時錄像上同步出現的是與聲音高度關聯的馬戲表演畫面，學生的注意力得到了合理的分配，便能順利理解“circus”一詞的意思。但需要指出的是，若畫面與聲音內容匹配度不高，學生的注意力則容易受到干擾。比如邏輯關系題要求對活體雕塑表演的準備步驟進行排序，由于畫面與語音關聯度低（只有受訪者的解說卻沒有顯示具體的準備步驟的畫面），畫面對語音的解碼沒能起到積極作用，因此兩個班在相關的邏輯排序題的正確率上差異不顯著。

最后，在字幕視聽多種模態中，字幕文字擴充了視覺信息源，有助于彌補單一聽覺模態的不足，降低學生的焦慮感，同時能驗證聽到的信息。畫面、字幕與語音能形成有效關聯，因此實驗班的單詞記憶率較高且拼寫錯誤較少。

2 多模態教學有助于培養交際能力

從文化、交際能力、語言、內容、形式等角度對兩個班的角色扮演評估計分并對其成績進行獨立樣本t檢驗，統計結果（表3）顯示實驗班的角色扮演成績高于對照班，且差異顯著（F=1.723，P=.000<.001）。

總體上講，實驗班的總體交際能力較強。學生通過角色扮演展現出了較強的文化理解和批判能力，做到了語言貼切、內容和形式豐富多彩，并能利用語言及各種非語言的符號來構建意義。原因是：

首先，該內容視頻（contentvisuals）中原汁原味的話語及動感真實的語境能讓學生仿佛穿越時空，徜徉在五彩繽紛、生機勃勃的巴塞羅那林蔭大道上欣賞五花八門的游藝表演，駐足于鱗次櫛比的花店和食品店，流連忘返……。這種身臨其境的感覺有助于學生在具體情景中將社會、文化和語言緊密結合一起，大大加強了多元文化的識讀、鑒賞能力，以及批評性解讀西方文化并與中國文化進行對比的能力。

其次，經過印刷文字、字幕文字、聲音、圖片、動作等高密度、多模態的信息輸入，實驗班便能輸出更復雜的、接近于目標語的語言形式，因為“大量的可理解性語言輸入是語言習得的必要條件”。

此外，由于具備了一定的多模態知識，實驗班學生能綜合利用各種模態來表達意義，如創造性地融入唱歌、跳舞等藝術形式，并自備了地圖、服裝等道具，配上了PPT、音樂、肢體動作、表情等模態，場面生動有趣，交際效果良好。

相比之下，對照班的情景操練練習顯得較枯燥、呆板，大多是幾個人的機械對話；除使用語言模態外，很少涉及音樂、表演、服裝等其他模態；此外文化、批判識讀能也相對較弱，因此總體交際效果不盡如人意。

3 多模態教學有助于提升技術識讀能力

從語篇和模態類型、信息來源和整體效果等多種維度對PPT進行評估計分，統計結果（表4）表明兩個班的PPT制作情況差異顯著（F=5.383，P=.000<.001），實驗班的技術識讀能力更強。

實驗班在多模態教學模式下學會了識讀、選擇各種模態信息，并能使用多種現代信息技術來多渠道獲取信息。具體地說，實驗班的PPT語篇類型多樣化，不僅有直觀型、提示型幻燈片來介紹基本信息，還使用分析型PPT清楚展示各種表演藝術之間的關系及發展趨勢；使用的模態比較豐富，除了語言、圖像外還有圖表、音頻、視頻、動畫等模態；材料的來源也更加多元化，除了書本、國內網站外，學生還能從報紙、雜志及谷歌等國外網站中尋找資料；此外，實驗班學生在圖片與文字的搭配、圖片的位置與顏色、音頻的語速、視頻的、難度、字體大小、印刷版式等方面都有明顯的優勢。

對照班的PPT語篇類型大多為提示型和直觀型，基本是用文字模態羅列了各種表演藝術信息，偶爾輔以幾幅圖片；文寧、圖片等資源也主要來自課文及百度等國內網站；此外，圖片的內容、位置、比例和顏色的使用比較隨意，印刷版式如字樣、字體大小等的運用比較混亂。

4 多模態教學對多元識讀能力培養的整體效果良好

實驗班收回的45份有效問卷表明：83%的學生認為這種多模態輸入、多維度產出和評估的英語教學模式不僅能提高語言實際運用能力，而且也能提升文化鑒賞、批判能力及多元文化理解能力；81%的學生表示多模態教學促使他們更多地去借助網絡、圖書資料等多種渠道和技術手段來獲取信息；85%的學生認為多模態教學效果良好，不僅課堂生動有趣、學習氛圍濃郁，能全方位刺激視覺、聽覺等各種感官，促使心、腦、口、耳并用，提高注意力集中度，而且師生互動頻繁，教師不再是知識的權威來源，學生從被動的知識灌輸對象轉變為意義的主動構建者；最后高達91%的同學表示今后更愿意在五彩繽紛的多模態聲像世界中學習語言、感知文化。四結論與啟示

本實證研究發現，與傳統語言教學相比，多模態英語教學對學生多元識讀能力的培養產生積極影響，不僅能更有效地提高學生的閱讀、聽力和口語等語言水平，而且也有助于培養學生的社會交際能力和技術識讀能力等多元識讀能力。多模態英語教學總體上效果較好，值得嘗試。

在今后的英語教學中，教師需要接受多元識讀教學理念，突破以語言為中心的傳統教學模式的局限，以培養學生的多元識讀能力為目標，特別要重視培養學生識讀、選擇各種模態來構建意義的能力、利用多媒體技術選擇性地獲取信息能力及文化鑒賞和批判能力。同時教師要努力將英語課堂構建為集文字、圖像、動畫、色彩、肢體動作等符號資源為一體的多模態立體課堂，激發學生的心、腦、口、耳多感官協調一致，形成語言輸入、吸納、輸出動態平衡的生物鏈。