多模態(tài)輸入對(duì)英語(yǔ)聽(tīng)力教學(xué)的影響研究

黃燕

[摘要]本文通過(guò)實(shí)驗(yàn)與訪(fǎng)談的方式，調(diào)查了聽(tīng)力教學(xué)中多模態(tài)的組合形式對(duì)不同英語(yǔ)水平的學(xué)習(xí)者聽(tīng)力理解造成的影響。實(shí)驗(yàn)以高職院校英語(yǔ)專(zhuān)業(yè)學(xué)生為研究對(duì)象，將高低兩個(gè)層次的受試各四個(gè)小組分別采用聽(tīng)音、視聽(tīng)、中文字幕視聽(tīng)、英文字幕視聽(tīng)的方式進(jìn)行聽(tīng)力材料輸入。結(jié)果顯示，聽(tīng)力材料輸入模態(tài)的差異對(duì)不同層次的學(xué)生聽(tīng)力理解的影響不同。對(duì)此，筆者結(jié)合訪(fǎng)談反饋的信息從認(rèn)知負(fù)荷、注意力分配等方面對(duì)研究結(jié)果進(jìn)行了探討。

[關(guān)鍵詞]多模態(tài)輸入；聽(tīng)力教學(xué)；聽(tīng)力理解

[中圖分類(lèi)號(hào)]G642 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1671-5918（2016）04-0161-03

多模態(tài)話(huà)語(yǔ)研究始于20世紀(jì)90年代。它是指運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。隨著網(wǎng)絡(luò)信息技術(shù)時(shí)代的到來(lái)，英語(yǔ)教學(xué)從單模態(tài)的語(yǔ)言輸入逐漸開(kāi)始轉(zhuǎn)向聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種模態(tài)。多模態(tài)輸入調(diào)動(dòng)了學(xué)習(xí)者的更多感官，有利于對(duì)信息的加工和記憶，也有效地激發(fā)起學(xué)習(xí)者語(yǔ)言學(xué)習(xí)的興趣。然而，在聽(tīng)力教學(xué)中，是否信息輸入所使用的模態(tài)越豐富，學(xué)習(xí)效果就越顯著呢？本研究采用教學(xué)實(shí)驗(yàn)與訪(fǎng)談的方式，試圖探尋多模態(tài)聽(tīng)力教學(xué)對(duì)英語(yǔ)專(zhuān)業(yè)不同水平層次學(xué)習(xí)者聽(tīng)力理解的影響，為聽(tīng)力教學(xué)模態(tài)選擇的有效性提高參考依據(jù)。

一、研究綜述

1996年“新倫敦小組”（NewLondon Group）提出了“多模態(tài)教學(xué)”的概念，開(kāi)啟了語(yǔ)言教學(xué)研究新領(lǐng)域。繼而掀起國(guó)內(nèi)外學(xué)者對(duì)多模態(tài)的語(yǔ)言教學(xué)研究的熱潮。其中，聽(tīng)力教學(xué)中多媒體應(yīng)用研究也得到了不少?lài)?guó)內(nèi)學(xué)者的關(guān)注。

龍宇飛等（2009）對(duì)200位非英語(yǔ)專(zhuān)業(yè)的學(xué)生進(jìn)行了為期一年多的聽(tīng)力教學(xué)實(shí)驗(yàn)。研究表明，元認(rèn)知策略、多模態(tài)教學(xué)及兩者的結(jié)合對(duì)聽(tīng)力能力的提高有積極的作用。曾慶敏（2011）采用定性與定量分析的方法，發(fā)現(xiàn)多模態(tài)視聽(tīng)說(shuō)教學(xué)模式不僅有利于學(xué)習(xí)者聽(tīng)說(shuō)能力的提高，也有助于積極學(xué)習(xí)態(tài)度的形成?；菡钻?yáng)等（2013）以英語(yǔ)專(zhuān)業(yè)一、二、三年級(jí)的369名學(xué)生為研究對(duì)象，通過(guò)語(yǔ)言測(cè)試（語(yǔ)音測(cè)試和聽(tīng)力理解測(cè)試）與訪(fǎng)談的方式，探討了聽(tīng)覺(jué)模態(tài)和視覺(jué)模態(tài)在不同聽(tīng)力任務(wù)和教學(xué)階段對(duì)學(xué)生的影響。上述實(shí)驗(yàn)研究，在模態(tài)選擇上大多集中于聽(tīng)覺(jué)模態(tài)與視覺(jué)模態(tài)的對(duì)比分析上，僅顧琦一等（2014）一文通過(guò)對(duì)比實(shí)驗(yàn)分析了聽(tīng)力、聽(tīng)力字幕、聽(tīng)力視頻和聽(tīng)力字幕視頻四種模態(tài)組合方式對(duì)英語(yǔ)專(zhuān)業(yè)學(xué)習(xí)者聽(tīng)力理解的影響。研究既對(duì)聽(tīng)覺(jué)與視覺(jué)模態(tài)予以考慮，又對(duì)字幕的作用進(jìn)行了分析。但多模態(tài)組合方式對(duì)不同英語(yǔ)水平學(xué)生者聽(tīng)力理解差異度的研究卻少有涉及。為此，本研究選擇高職英語(yǔ)專(zhuān)業(yè)不同英語(yǔ)層次的學(xué)習(xí)者為研究對(duì)象，探討不同模態(tài)輸入組合對(duì)學(xué)習(xí)者聽(tīng)力理解產(chǎn)生的差異。

二、研究設(shè)計(jì)

（一）研究問(wèn)題

本研究旨在回答以下三個(gè)問(wèn)題：

1.多模態(tài)輸入方式的不同是否會(huì)對(duì)學(xué)習(xí)者的聽(tīng)力理解產(chǎn)生影響？

2.對(duì)于不同英語(yǔ)水平的學(xué)習(xí)者，這種影響是否一致，如果不同，差異表現(xiàn)在哪些方面？

3.以上影響會(huì)給英語(yǔ)聽(tīng)力教學(xué)帶來(lái)怎樣的啟示？

（二）研究對(duì)象

本實(shí)驗(yàn)選取某高職院校英語(yǔ)專(zhuān)業(yè)學(xué)生作為研究對(duì)象，實(shí)驗(yàn)前先進(jìn)行了聽(tīng)力水平測(cè)試，根據(jù)學(xué)生測(cè)試成績(jī)將其分為高分段學(xué)生（80分以上）和低分段學(xué)生（60分-70分之間），分別代表不同英語(yǔ)水平的學(xué)習(xí)者。隨機(jī)抽取兩個(gè)分?jǐn)?shù)段的學(xué)生各120人，每組均為30人。為保證實(shí)驗(yàn)中同一分?jǐn)?shù)段各組間聽(tīng)力理解水平具有可比性，使用SPSS17.0軟件對(duì)測(cè)試成績(jī)進(jìn)行了單因素方差分析。數(shù)據(jù)顯示高分段各組在實(shí)驗(yàn)前聽(tīng)力理解能力均未發(fā)現(xiàn)有顯著性差異（F=0.047，P=0.986>0.05）；低分段4組檢驗(yàn)也未顯示有差異存在（F=0.033，P=0.992>0.05）。據(jù)此，我們有理由相信在實(shí)驗(yàn)中可能出現(xiàn)的組間聽(tīng)力差異是由模態(tài)輸入方式導(dǎo)致的。

（三）任務(wù)設(shè)計(jì)

實(shí)驗(yàn)語(yǔ)料為節(jié)選自BBC紀(jì)錄片《大地的聲音》第三集《生命的未來(lái)》（The Future of Life）中一段時(shí)長(zhǎng)4分20秒（482詞）的視頻材料。《大地的聲音》是由美國(guó)導(dǎo)演Kate Broome導(dǎo)演的一部環(huán)保紀(jì)錄片。該語(yǔ)料發(fā)音清晰、語(yǔ)速適中。視頻根據(jù)研究需要經(jīng)過(guò)了技術(shù)處理。2位有五年以上工作經(jīng)歷的大學(xué)英語(yǔ)教師和2位外教對(duì)語(yǔ)料進(jìn)行關(guān)鍵詞提取，經(jīng)過(guò)多次討論確定了42個(gè)對(duì)原文理解不可或缺的關(guān)鍵詞，作為聽(tīng)力測(cè)試得分點(diǎn)。

實(shí)驗(yàn)中，高分段受試的聽(tīng)力語(yǔ)料采用四種不同的模態(tài)呈現(xiàn)，聽(tīng)音組采用單一的聽(tīng)覺(jué)模態(tài)；視聽(tīng)組通過(guò)視覺(jué)和聽(tīng)覺(jué)輸入聽(tīng)力材料；中文字幕視聽(tīng)組不僅接收到視聽(tīng)材料，還可以看到中文字幕；英文字幕視聽(tīng)組除視聽(tīng)材料外，同時(shí)提供聽(tīng)力語(yǔ)料的英文字幕。低分段學(xué)生進(jìn)行上述相同的實(shí)驗(yàn)操作。語(yǔ)言材料輸入時(shí)，不允許受試做任何筆記。輸入完畢后，受試被要求在20分鐘內(nèi)（時(shí)間充足）盡可能完整地回憶材料內(nèi)容，并用英語(yǔ)寫(xiě)出內(nèi)容概要。需特別說(shuō)明的是數(shù)據(jù)處理時(shí)只對(duì)關(guān)鍵詞數(shù)量予以計(jì)算，不考慮語(yǔ)法準(zhǔn)確性。本次測(cè)試成績(jī)滿(mǎn)分為100分。實(shí)驗(yàn)完成后，筆者從兩個(gè)分?jǐn)?shù)段的視聽(tīng)組、中文字幕視聽(tīng)組和英文字幕視聽(tīng)組中隨機(jī)抽取各5名受試進(jìn)行訪(fǎng)談，受訪(fǎng)人數(shù)共30人。訪(fǎng)談并未在聽(tīng)音組中開(kāi)展，是因?yàn)槁?tīng)音組采用單一模態(tài)（聽(tīng)覺(jué)模態(tài)）輸入信息，不會(huì)受到視頻和字幕等信息渠道的輔助或干擾。訪(fǎng)談內(nèi)容因模態(tài)輸入方式的不同而異，主要收集不同模態(tài)輸入中學(xué)習(xí)興趣、注意力分配和認(rèn)知負(fù)荷的情況，從而找出模態(tài)輸入組合對(duì)聽(tīng)力理解造成影響的原因。

三、測(cè)試結(jié)果

為發(fā)現(xiàn)模態(tài)輸入與聽(tīng)力理解是否存在內(nèi)在關(guān)聯(lián)，對(duì)測(cè)試成績(jī)進(jìn)行了單因素方差分析，統(tǒng)計(jì)結(jié)果：高分階段的組和低分段組別分為：聽(tīng)音組、視聽(tīng)組、宗文字幕視聽(tīng)組、英文字幕試聽(tīng)組。其中高分段中的平均值（M）為：62.13、64.40、68.63、74.03；標(biāo)準(zhǔn)差（SD）為：5.894、4.352、5.209、6.376；F：27.075；P：0.000。低分段中的平均值（M）為：42.90、39.57、48.80、61.83；標(biāo)準(zhǔn)差（sD）：5.933、4.125、6.105、6.561；F：87.182；P：0.000。結(jié)果表明，模態(tài)輸入的變化對(duì)學(xué)習(xí)者的聽(tīng)力理解產(chǎn)生了顯著性影響（高分段F=27.075，P=0.000<0.05；低分段F=87.182，P=0.000<0.05）?？偟恼f(shuō)來(lái)，采用英文字幕視聽(tīng)輸入方式的學(xué)習(xí)者聽(tīng)力材料理解的效果最好；中文字幕視聽(tīng)效果次之；聽(tīng)覺(jué)與視聽(tīng)兩種輸入方式，對(duì)不同水平學(xué)習(xí)者的作用不盡相同。

為了對(duì)四種模態(tài)輸入方式進(jìn)行更深入的分析，我們對(duì)測(cè)試成績(jī)進(jìn)行了事后多重檢驗(yàn)，數(shù)據(jù)顯示：高分段聽(tīng)音組在聽(tīng)力材料理解上顯著低于中文字幕視聽(tīng)組（P=0.000）和英文字幕視聽(tīng)組（P=0.000），與視聽(tīng)組不存在顯著性差別（P=0.114）；視聽(tīng)組對(duì)聽(tīng)力的理解顯著低于中文字幕視聽(tīng)組（P=0.004）和英文字幕視聽(tīng)組（P=0.000）；中文字幕視聽(tīng)組顯著低于英文字幕視聽(tīng)組（P=0.000）。據(jù)此可以做出以下判斷：不同模態(tài)輸入對(duì)高水平學(xué)習(xí)者聽(tīng)力材料理解表現(xiàn)為聽(tīng)音組=視聽(tīng)組<中文字幕視聽(tīng)組<英文字幕視聽(tīng)組，即聽(tīng)覺(jué)輸入=聽(tīng)覺(jué)+視覺(jué)輸入<聽(tīng)覺(jué)+視覺(jué)含中文字幕輸入<聽(tīng)覺(jué)+視覺(jué)含英文字幕輸入。

低分段聽(tīng)音組在聽(tīng)力理解上與視聽(tīng)組（P=0.027）、中文字幕視聽(tīng)組（P=0.000）和英文字幕視聽(tīng)組（P=0.000）均有顯著性差異；視聽(tīng)組的理解顯著低于中文字幕視聽(tīng)組（P=0.000）和英文字幕視聽(tīng)組（P=0.000）；中文字幕視聽(tīng)組顯著低于英文字幕視聽(tīng)組（P=0.000）。各組聽(tīng)力理解表現(xiàn)為視聽(tīng)組<聽(tīng)音組<中文字幕視聽(tīng)組<英文字幕視聽(tīng)組，即聽(tīng)覺(jué)+視覺(jué)輸入<聽(tīng)覺(jué)輸入<聽(tīng)覺(jué)+視覺(jué)含中文字幕輸入<聽(tīng)覺(jué)+視覺(jué)含英文字幕輸入。

四、分析與討論

（一）視頻

根據(jù)Baddleley（1986）的工作記憶理論，普遍認(rèn)為學(xué)習(xí)者通過(guò)聽(tīng)覺(jué)和視覺(jué)兩種方式輸入加工材料，會(huì)擴(kuò)大工作記憶的信息處理容量，從而提高工作記憶效率。以此推測(cè)，視聽(tīng)模態(tài)在聽(tīng)力內(nèi)容理解上應(yīng)好于聽(tīng)覺(jué)模態(tài)。而實(shí)驗(yàn)數(shù)據(jù)分析卻得出不同的答案：高分段視聽(tīng)組成績(jī)略高于聽(tīng)音組，但兩者差異不顯著；低分段視聽(tīng)組成績(jī)不如聽(tīng)音組且差異顯著。這可能是由于視頻輸入對(duì)低水平學(xué)習(xí)者干擾作用較大，視頻圖像增加學(xué)習(xí)者的信息負(fù)荷；而高水平學(xué)習(xí)者短時(shí)記憶容量更大，長(zhǎng)時(shí)記憶信息更豐富，處理信息的速度更快，因此視聽(tīng)模式對(duì)他們干擾并不明顯。

訪(fǎng)談發(fā)現(xiàn)，視聽(tīng)組、中文字幕視聽(tīng)組、英文字幕視聽(tīng)組對(duì)視頻的關(guān)注程度不盡相同。這一發(fā)現(xiàn)在高低分段呈現(xiàn)出相似性，結(jié)果均為視聽(tīng)組關(guān)注視頻的人數(shù)最多，中文字幕視聽(tīng)組與英文字幕視聽(tīng)組相比，前者對(duì)視頻的關(guān)注度高于后者。訪(fǎng)談還發(fā)現(xiàn)，無(wú)字幕的視頻雖然對(duì)聽(tīng)力材料的理解作用不大，但是對(duì)學(xué)習(xí)興趣提升方面產(chǎn)生了積極作用。

（二）字幕

通過(guò)實(shí)驗(yàn)數(shù)據(jù)比較發(fā)現(xiàn)，高低分段對(duì)字幕效果的反饋較為一致。均為英文字幕組的理解顯著好于中文字幕組，中文字幕組的理解顯著好于其他兩組。由此可以做出以下兩個(gè)判斷：第一，字幕有利于聽(tīng)力理解。視聽(tīng)過(guò)程中，學(xué)習(xí)者雖也同時(shí)受到視頻的干擾，但字幕的信息提示功能，在一定程度上抵消了視頻帶來(lái)的干擾。第二，與中文字幕相比，英文字幕對(duì)聽(tīng)力的促進(jìn)作用更為明顯。主要是因?yàn)橛⑽淖帜辉讷@取聽(tīng)力材料原文信息方面比中文字幕更加快捷、更加高效，自然能更好地促進(jìn)學(xué)習(xí)者聽(tīng)力的理解。

訪(fǎng)談向我們揭示了字幕在聽(tīng)力理解上突出表現(xiàn)的原因。高低分段各組運(yùn)用聽(tīng)覺(jué)輸入獲取信息的差別很大，視聽(tīng)組對(duì)聽(tīng)覺(jué)信息的關(guān)注度明顯高于字幕視聽(tīng)組，字幕視聽(tīng)組對(duì)聽(tīng)覺(jué)輸入未表現(xiàn)出過(guò)多的關(guān)注，英文字幕組通過(guò)聽(tīng)力獲取信息的受試略高于中文字幕組。字幕對(duì)聽(tīng)力語(yǔ)料理解產(chǎn)生積極作用是因?yàn)槭茉嚳桃饣乇芰思庸つ芰θ醯穆?tīng)覺(jué)通道，更多地利用了加工能力強(qiáng)的視覺(jué)通道?？梢?jiàn)，字幕的使用表面上對(duì)聽(tīng)力理解有促進(jìn)作用，實(shí)際上字幕輔助并不能幫助聽(tīng)力技能的發(fā)展，甚至有可能對(duì)其發(fā)展有一定的殺傷力。

五、結(jié)語(yǔ)

綜上所述，我們可以得出以下結(jié)論：第一，模態(tài)輸入方式的不同會(huì)產(chǎn)生不同的聽(tīng)力材料理解效果；第二，同一模態(tài)對(duì)不同英語(yǔ)水平學(xué)習(xí)者聽(tīng)力理解的作用也不盡相同。此外，在聽(tīng)力輸入中學(xué)習(xí)者對(duì)聽(tīng)音、視頻及字幕的不同注意力分配，為我們的聽(tīng)力教學(xué)帶來(lái)了新的啟示：第一，在多模態(tài)時(shí)代的聽(tīng)力教學(xué)中，不應(yīng)盲目地否定單一的聽(tīng)覺(jué)模態(tài)輸入，而應(yīng)結(jié)合學(xué)生的語(yǔ)言水平及認(rèn)知發(fā)展規(guī)律，才能達(dá)到最佳教學(xué)效果。第二。字幕輸入對(duì)聽(tīng)力材料理解能起到顯著效果，但并不能促進(jìn)學(xué)習(xí)者聽(tīng)力水平的提高。

本研究的局限在于研究對(duì)象為高職英語(yǔ)專(zhuān)業(yè)的學(xué)生，英語(yǔ)層次普遍不高，英語(yǔ)水平區(qū)分度不夠。今后可以將研究擴(kuò)展到更大的范圍內(nèi)進(jìn)行，從而增加模態(tài)輸入選擇對(duì)不同英語(yǔ)層次學(xué)習(xí)者聽(tīng)力理解影響的說(shuō)服力。

（責(zé)任編輯：桂杉杉）