多模態教學對英語聽力理解影響的實驗性研究

吳愛

摘要：為了驗證多模態教學對英語聽力理解的影響，文章選取了三明學院國際學院學生為研究對象，在新的教學模式下，展開了為期一年的教學實驗。實驗結果表明，多模態聽力教學能有效提高學生的聽力水平;視覺模態比聽覺模態在提高學生聽力理解能力上效果更為明顯;且視覺模態對英語水平較低的學習者積極作用更加明顯。

關鍵詞：多模態;聽力;視覺模態;聽覺模態

一、引言

英語聽力作為一項基本的語言基礎課，也是一門傳統技能課，在整個英語的教學中占據著重要的地位。在國際交流越來越緊密的今天，很多學校都走上了國際化辦學的道路，國內外學習相結合的國際項目的展開也要求學生具備一定的聽說能力。因此，強化學生的聽說能力，培養學生的交際技能，讓他們在修完國內的學分之后，能夠順利的進入到國外的學習中。不但聽得懂，學得會，而且能夠融入國外的環境，這也是培養優秀國際化人才的時代需要。由此，更應該把聽說能力放在英語教學中的首要地位。

隨著現代科技的發展，傳統的聽力教學模式逐漸被計算機網絡技術所取代。錄音機、磁帶等教學工具已經轉化為音頻、視頻。計算機、手機已經在教學中發揮了一定的作用。然而因為課堂時間有限，教學任務繁重，學習主動學習能力不強，老師放音，學生做練習，老師講解，學生被動學習仍然是現今英語聽力教學的主導模式。語言知識的灌輸，對于聽力能力的培養，效果不佳。

在真實的交際過程中，大部分的語言的發生均處在多模態環境中，它伴隨了說話人的表情、動作以及所處語境。所以多模態教學的手段，視頻，情景對話等其他多模態信息的加人對學生聽力教學非常有必要，與一般聽力課相比具有更強的實踐性和時代性。然而多模態聽力教學是否對學生有積極影響;不同模態信息對學生聽力理解的影響是否相同;不同模態信息對不同英語水平的學生聽力理解的影響是否相同，所做的研究較少，也需要具體的實證分析。本研究以三明學院國際學院體育教育專業學生為研究對象，對多模態教學手段對聽力理解的影響做出實驗性研究，希望能為國際學院聽力教學改革提供借鑒意義。

二、多模態理論基礎與模型建構

（一）多模態理論基礎

Halliday（1985）認為在交際過程中，人們意義構建是用各種各樣的符號資源來完成的，各種不同的符號資源就構成了多模態（multimodality）[1]。Levine& Scollon（2004）認為多模態指交際時所采用的多種模式，如言語、色彩、味道、圖像等[2]。顧曰國（2007）認為模態是指人通過感官（視覺、聽覺、嗅覺）和外界（人、動物、物品）的互動方式[3]。單模態指單個感官與外界的互動，多模態指多個感官與外界的互動。在多模態教學中，利用現代化的媒介，把多種模態引入教學，激發了學生學習語言的興趣，實現教與學的互動，達到了外語教學中注重視聽說寫練相結合的一大特點。

（二）多模態聽力學習模型的建構

隨著教學改革的不斷深化，教材建設也與時俱進，不斷適合教學發展的需要。隨著磁帶時代的終結，現在高校使用的各種英語聽力教材均配有大容量的CD，內包含音頻、視頻、圖片甚至整個教學課件。豐富的多模態資源已經觸手可及，然而由于課堂時間有限，教學任務繁重，學生自主學習意識不強，教師上課的時候僅僅使用計算機播放音頻或者視頻代替以前磁帶的播放，學生根據聽覺模態或者視覺模態完成聽力練習，教師矯正答案或者再次播放聽力資源完成教學任務。有多媒體參與下的新型教學模式并不能跳脫以前傳統教學模式的侄桔，多模態的教學模式沒有調動起來，聽力的提高收效甚微。

多模態環境下的英語聽力課堂建設應該充分利用電腦多媒體資源，強調語言、圖片、聲音與外界信息的資源互換與信息建構;并充分調動各個模態之間的協同和配合，如視覺與聽覺，聽覺與語言，語言與動作。根據張德祿的多模態教學設計，我們建構了如下的英語聽力教學模式：

該教學模式分為聽前、聽中和聽后三個階段。聽前分為課前與聽力資料播放前，在課前可以通過各種網絡媒體如QQ、微信、郵箱布置主題相關內容，也可以通過作業的形式讓學生了解相關背景知識，這樣聽前和聽后形成一個正態循環。作業的點評與主題的描述也可以在這個大主題下交叉融合，協同發展。另外，學生分組的時候要注意小組成員水平的等級化，即每個小組都分配有語言水平強、中、弱的成員，讓每個成員都能平等的參與表現。聽中聽力資源的重復播放和講解環節應當就視頻或者音頻的難易程度進行省略。聽后分為聽力資制播放結束后和課后，在聽完聽力材料后，教師組織小組活動驗收學生學習效果，培養學生語言輸出能力，表現力;課后作業，借助于現代媒體技術，使用微信群功能，讓學生把聽力作業轉化為口語復述提交到群里，實現模態之間的轉化，加深工作記憶。

三、研究設計

（一）研究問題

本研究旨在討論多模態英語聽力教學環境下的以下三個問題：（1）多模態英語教學是否有助于學生的英語聽力水平的提高;（2）不同的模態信息對學生聽力理解的影響是否相同;（3）同一模態信息對不同英語水平的學生聽力理解的影響是否相同。

（二）研究對象

本實驗以三明學院國際學院體育教育專業2015級1、2班的聽力教學為例，其中1班為實驗組（22人），采用多模態聽力教學模式，2班為控制組（23人），采用常規聽力教學模式。兩個班性別比例基本一致。單由于專業特殊性，雖然對英語需求度較高，但英語整體水平不高。實驗為期1年，實驗前，對兩組同學的聽力水平進行了測試，檢測結果表明兩個班學生成績無顯著差異。

（三）研究過程

按照實驗預先設定，在實驗活動開始之前，我們把實驗組和對照組成員進行分組，每組均有5-6名成員，均包括不同水平英語學習者。在實驗過程中，實驗組按照預先構建的多模態聽力學習模型進行學習（具體見表1），對照組按照常規的聽力教學模式學習，即老師播放音頻或者視頻——學生作練習——老師對答案——老師針對性再次播放或者習題講解。由同一名老師擔任此次試驗的兩個組的教學授課，所用教材均為《新視野大學英語視聽說教程》（第二版）。實驗為期1年，從2016年9月到2017年9月。

實驗后，制定了與實驗前難度水平一致的相關聽力材料測驗學習成果。由于國際學院的學生以后要通過雅思進入國外的學習，所以本次測試的聽力材料的內容與題型也以雅思聽力為基礎。分別選取新聞報道為題材的音頻材料3篇，視頻材料3篇;文化背景為題材的音頻材料3篇，視頻材料3篇;學術背景為題材的音頻材料3篇，視頻材料3篇。聽力題型分為選擇題、填空題、匹配題，主要考察細節、詞類轉換、同義詞、語義推理和主旨信息。

為了了解視頻信息對學生聽力理解產生的作用，在每篇視頻聽力試卷下方預留3分鐘時間讓學生勾選李克特量表（Liken scale）。量表設計為5個等級：1非常有幫助作用，2比較有幫助作用，3既無干擾也無幫助作用，4比較有干擾作用，5代表非常有干擾作用。所有數據均采用 SPSS19.0進行分析。

（四）結果與討論

1.多模態英語教學是否有助于提高學生的英語聽力水平

經過為期1年的教學活動，把實驗組和對照組在實驗前后的測驗成績輸入SPSS19.0后，得到以下數據，實驗組在實驗前后聽力水平均值由69.23保留小數點后兩位）提高到了75.73;而對照組在實驗前后的聽力水平均值僅由72.68提高到了74.27。可見，實驗組的成績提高較為顯著（見表2）。

同樣，在表3的獨立樣本檢驗中，實驗組sig.值為0.569>0.05，說明實驗前方差相等，而試驗sig.（雙側）為0.048<0.05，且差分的95%置信區間從-12.95——-0.54，中間不包含0，說明實驗結果有顯著性差異，即通過實驗教學活動，學生聽力水平提高顯著。而對照組sig.值為0.877>0.05，說明實驗前方差相等，而試驗Sig.（雙側）為0.638>0.05，且差分的95%置信區間從-8.36——-5.18，中間包含。，說明實驗結果無顯著性差異，即一年的常規英語聽力教學活動，學生聽力水平提高不顯著。

2.不同的模態信息對學生聽力理解的影響是否相同

在考察視覺模態和聽覺模態對學生聽力理解的影響時，根據學生所答對的視頻材料和音頻材料題目的成績來判定學生對該聽力的理解能力。其中填空題型的判定是只要學生寫對和聽力材料內容相關的語義內容，不管語法結構，拼寫是否正確，我們均認為學生能夠理解此篇聽力材料，可以得分。視頻題目和音頻題目均占試卷總分的50分。在聽力材料的語義選取和劃分上，我們選定2位有十年以上英語教學經驗的老師和一名外教完成，并由承擔實驗教學工作的老師完成試卷的批改工作。

按照實驗結果，我們把實驗班和對照班的視頻和音頻的得分情況輸入SPSS 19.0，得到以下數據分析。兩個班的視頻成績均高出音頻成績（見表4），實驗班和對照班Sig.（雙側）即P值均為0.0000<0.01（見表5），說明在兩個班的視頻和音頻輸入差異均非常顯著。

根據對視頻聽力試卷下方的李克特量表的統計，認為視頻材料對聽力理解非常有干擾作用的人占1%，認為比較有干擾作的人用占7%，認為既無干擾也無幫助作用的人占17%，認為比較有幫助作用的人占60%，認為非常有幫助作用的人占5%。與數據分析結果表現一致，視覺模態信息對于學生聽力理解水平的提高非常有幫助。

3.同一模態信息對不同英語水平的學生聽力理解的影響是否相同

為了了解對同一模態信息對不同英語水平的學生的影響，我們把實驗組學生根據他們的實驗后成績分成兩組。以75分為分段標準，即75分以上為高分組，75分以下（包括75分）為低分組。分別把他們的視頻和音頻成績輸入SPSS19.0，得到以下數據分析。低分組音頻均值低于視頻均值12.33分，而高分組音頻均值僅低于視頻均值4.2分（見表6），同樣在對比T檢驗中，低分組視頻和音頻之間的P值為0.000，而高分組視頻和音頻之間的P值為P值均為0.001，可見，視頻與音頻在低分組之間的差異更加顯著（見表7），即表明視頻模態對低分者的影響較高分者更為顯著。

在根據實驗組高低分段學生的李克特量表，低分組12人中，認為視頻材料對聽力理解非常有干擾作用的人為。人，認為比較有干擾作的人為1人，認為既無干擾也無幫助作用的人占3人，認為比較有幫助作用的人有5人，認為非常有幫助作用的人占3人。

（五）啟示

1.加強視覺模態對工作記憶的有效影響

通過實驗表明，當視覺與聽覺模態共同協作時，學生聽力水平提高明顯，說明視聽模態能有效延長工作記憶時間，擴大工作記憶容量。而且視覺模態對于低分組的積極影響要高于高分組。這是由于視頻圖像較音頻信息更容易激活學習者對已知背景信息的認知反應，創造有效關聯，并和情景語境積極互動，加速對聽力材料的解碼。而相對于高分者而言，圖像信息的輸入有時候會分散學生的注意力，把對聽覺模態的專注度分散到聽和看兩個方面，從而干擾信息處理的速度，特別是當視頻信息和音頻信息不對應時，負作用更加明顯。因此，多模態聽力教學要增強各模態之間的互補，提升學生對信息的有效加工。

2.培養學生的跨文化意識

根據實驗表明，學生在遇到有關西方文化以及人名地名，尤其是發言帶有口音的音頻時，所需要的信息解碼時間較長且難度較大，而且母語負遷移對語音、詞匯、語法層面的影響也影響學生對聽力材料的加工與輸出[4]。教師在教學過程中要拓展學生的跨文化意識，在練習聽說技能的同時，還需掌握詞匯的語言使用環境，背景，以及文化內涵;了解東西方習俗上的差異，增強不同文化的認同感和包容性，培養跨文化交流能力。以閱讀帶動多元文化的了解與吸收，以豐富的實踐，如會話、看電影、聽音樂促進對英語口音的識讀能力。當聽力信息與學生現有的知識結構、愛好、能力相一致時，對音頻信息的解碼輸出就會變得快速容易。

3.增強學生的自主學習能力

多模態聽力教學要區別于現在占主導地位的視聽說模式，真正實現學生的主體地位，培養自主學習能力。在課程設計中，加入了聽前的主題搜索與聽后的課堂活動環節。在主題搜索中，學生搜集和主題相關的話題，累積相關背景和詞匯;在聽后的課堂活動環節，學生可以根據課堂內容自行設計游戲環節，例如快問快答、詞匯搶答、表演、配音等充滿想象力創造力的活動，調動多個模態配合工作記憶的加強，既增加學生的學習趣味、鞏固所學知識，而且學生的意義協商和感情交流也得到了加強[5]。課后作業的借助新媒體技術，要求聽完音頻作業聽完之后口頭復述到微信群里提交，把聽覺模態轉換為語言模態，充分調動感官系統與外部環境的互動，各模態直接的協同。經過實驗表明，實驗班學習動力更強，且聽說效果的提高更為明顯。

4.提升教師的主導教學能力

多模態聽力教學對教師的主導作用提出了新的挑戰。計算機，手機等新的媒介的使用，多種模態的輸入，不但沒有弱化教師的作用，相反要求教師能夠協同各種模態信息，使其互相補充，強化，促進教學質量的進步和學生聽力水平的提高。在多模態聽力教學的過程中，各種信息的輸入有時候會對學生的信息加工，解碼和輸出產生干擾作用。雖然視頻信息是音頻信息的有益補充，但是在視頻與音頻不符，或者音頻與其它模態信息不符時，就會造成負影響。教師的作用就是要教學生如何通過各種模態獲取信息以及進行信息的加工，增加工作記憶與信息處理能力，這是挑戰之一;其次，多模態聽力教學更加側重各種模態信息之間的轉化，例如把視覺、聽覺模態轉化為語言、動作。這反應在教師對課堂活動以及課后作業的點評與總結上。在課堂活動結束之后，教師必須對學生的發言或者表演或者其他表現形式給予語言層面和思想層面的點評，提出獨到見解。這就要求教師必須縱深了解相關主題，當前流行話題、以及實時熱點，不斷提高自身素質與能力。

四、總結

本研究結果表明，多模態聽力教學能有效提高學生的聽力水平;視覺模態較聽覺模態對學生的聽力理解的積極作用更為明顯;且視覺模態對低分者聽力水平的提高輔助作用更大。

本研究的局限在于參與實驗的學生人數較少，而且屬于體育教育專業，總體英語水平相對較低;對于不同模態信息的對比尚未涉及到除視覺和聽覺的其他方面。對于以后的研究可以針對英語水平更好的學生展開，并加深各模態之間深層次的對比，并把多模態的教學的影響擴大到閱讀和寫作等其他方面。

參考文獻：

[1]Halliday，M.A.K.An Introduction to Functional Grammar[M].London：Edward Arnold，1985.

[2]Levine，Philip&Ron Scollon.Discourse and Technology：Multimodal Discourse Analysis [M].Washington DC：GeorgetownUniversity Press，2004.

[3]顧曰國，多媒體、多模態學習剖析[J].外語電化教學，2007，（2）：：3-12.

[4]胡永近，張德祿.英語專業聽力教學中多模態功能的實驗研究[J].外語界，2013，（5）：20-25.

[5]Gonzaley-loret，M.designning task-based Call to promoteinteraction：En busca de Esmeraldas[J].language learning&Technology，2003，（7）：98-102.