從多模態視角研究二語聽力中的附帶詞匯習得

盛仁澤 衛 茜 寶建東 劉曉林

（重慶三峽學院外國語學院，重慶萬州 404100）

“在聽力教學中使用視聽材料使聲音和圖像相結合，視覺和聽覺相結合，語言和情景相結合，對視覺型、聽覺型、感受型等各類學習風格的學生都是有益的。”[1]基于此，筆者在聽力教學中引入多模態學習模式，通過視覺、聽覺和觸覺與網絡環境下的多媒體聽力學習資源（音頻、視頻及其錄音轉寫文字）以互動方式學習聽力，即學生與外部環境進行互動，大腦對接受的信息進行處理，然后通過外部行為表現來提高自己的聽力能力。因此，本文擬就探討多模態對聽力理解和附帶詞匯習得的作用。

一、研究綜述

（一）多模態及其作用

多模態指人類通過三個及其以上感官跟外部環境之間的互動方式。[2]自20世紀90年代起就有人將該理論引入了話語分析領域，朱永生認為話語分析不應局限于語言本身，應注意到圖像、聲音、顏色等其他意義表現形式。[3]Weyers認為受視、聽覺的雙重刺激，學習者能顯著提高對目標語內容的理解。[8]周光磊和楊世登（2004）則發現視頻輔助對學習者能產生積極影響，語言水平較低者作用尤甚。[4]Guichon和McLornan在以BBC視頻新聞和音頻新聞為對比研究工具的一項實驗中發現，當視頻形象和語言信息相關時，聽力理解得到了提高；視頻圖像和語音信息不一致時，受試有認知負荷超載的表現。他們由此認為，與語音信息無直接關聯的視屏圖像會干擾學生的注意力，造成注意力分裂效應。[8]多模態對詞匯習得的影響，因視聽材料的不同而效果各異。Snyder和Colon（1988）的研究表明視覺輸入能提高詞匯理解和記憶。[9]周光磊和楊世登則認為視頻功能對幫助學習者理解生詞及與無涉畫面的具體信息作用不彰。[4]

（二）附帶詞匯習得

Nagy、Herman和Anderson1985年首次提出了附帶詞匯習得（incidental vocabulary acquisition，以下簡稱IVA）概念，即在聽說讀寫時自然附帶習得詞匯，視詞匯學習為完成活動之手段，而非目的。IVA研究方興未艾，Pulido（2003）考察了話語熟悉程度、英語閱讀能力以及視覺詞匯量對IVA的影響，[10]Laufer和 Hulstijn（2001）則研究了寫作中的 IVA。[11]目前，國內的IVA研究才起步，介紹性文章較多（蓋淑華2003a；粱端俊2005），[5][6]實證研究相對較少（蓋淑華，2003b），且多聚焦于閱讀而忽略了聽說寫領域。[7]

二、實驗研究

（一）研究設計和研究問題

研究的自變量是視聽組，研究的因變量是產出性詞匯即時習得和接收性詞匯即時習得以及產出性詞匯延時記憶和接收性詞匯延時記憶。聽力輸入被當作控制變量。

本文研究的主要問題：第一，多模態學習模式對聽力理解和附帶詞匯習得作用如何？第二，視聽組比聽音組是否更能促進聽力理解和附帶詞匯習得？

（二）研究對象

受試者是本校一年級非英語專業本科生，由同一教師任課，他們被分為兩組，即視聽組（29人）采用多模態教學模式，聽音組（29人）采用傳統聽音教學法。兩組受試期末考試成績方差分析顯示沒有顯著差異：F（1，56）＝1.12，p＝0.349（p＜0.05）。問卷顯示受試的年齡為17～20歲，學習英語的時間均為7～8年。實驗研究時間為一年（2008年9月至2009年9月）。

（三）研究工具

研究工具為聽力測試卷及詞匯測試卷。

1.聽力測試卷

聽力測試材料是介紹水資源的科教紀錄片。該片語言清晰，語速適中，并配有相關圖像。聲音和圖像有利于視覺輸入和聽力輸入的相互影響。文章已知詞匯覆蓋率為文內標記的97.94%，列出20個提示詞（10個目標詞和10個干擾詞），其發音、詞形、詞義和漢語意思也一并列出，在聽前發放給受試者，目的是確保受試者準確理解文意并能使用目標詞。聽力測試卷要求受試獨立聽兩遍，視聽組還觀看與聽力材料配套的視頻圖像。然后完成聽力理解測試題（10分），對10個句子作正誤判斷，10個句子都與文章內容相關，其中有五個句子與視頻信息相關，句中無目標詞。

2.詞匯測試

試卷包括前測卷和后測卷。前測在受試前進行，目的是檢測受試者對目標詞的熟悉程度，要求受試者寫出20個英語單詞（10個目標詞和10個干擾詞）的漢語意思。后測在聽后進行，用于檢測受試者對目標詞的附帶習得情況，由接受和產出測試組成，每項測試各10道題，每題計1分。接受測試檢測受試者是否能夠識別目標詞的意義，要求受試者從右欄中選出與左欄的目標詞對應的同義詞或定義進行匹配。產出測試檢測受試者應用目標詞的能力，從聽力材料中挑出含有目標詞的10個原句并把目標詞去掉，留有首字母，要求受試者填空。為了降低測試效應，產出性測試皆先于接收性測試。

（四）多模態學習模式訓練內容

視聽組采用三個環節來設計多模態教學活動。1.聽前階段：提供聽力材料背景信息和相關圖片。2.聽時階段：為學生提供多模態教學材料。此階段是聽力材料的信息獲取和意義建構階段。參照朱永生（2007）視覺符號語義三層面分析方法。（1）在概念意義層面上，探討圖像本身的意義。（2）在人際意義層面上，從三個角度來探討：①圖像中參與者的社會關系；②明確圖像設計者的交際目的；③圖像解釋讀者本身對圖像內容的介人程度。（3）在語篇層面上，根據圖像所處的相對位等版面安排，分析多模態話語的信息分布，確認已知信息和新信息。[7]3.聽后階段：提出問題，進行討論。具體做法：（1）復述，（2）角色扮演，（3）寫摘要。

（五）實驗測試步驟

實驗一年后，持續進行了五周測試。第一周，詞匯前測，無任何準備的受試時限10分鐘完成。最后受試接受測前任務訓練。第二周，四組受試在完成各自任務后立即進行聽力理解測試和詞匯后測1。第三、四、五周則分別完成詞匯后測2、3和4。

（六）數據分析

本研究使用SPSS 17.0進行統計分析。運用單向方差分析檢驗兩組受試的聽力理解和詞匯習得是否存在顯著差異。

三、結果分析與討論

（一）結果分析

1.視聽組對聽力理解的作用

視聽組聽力理解成績的平均分（視聽組平均值為7.90）均高于聽音組（聽音組平均值為5.83）。單方差分析顯示，兩組受試的聽力理解成績之間存在顯著性差異，P為0.02，小于0.05，表明視聽組的聽力理解能力比聽音組顯著要好。

2.視聽組對產出性詞匯習得的作用

如表1所示，視聽組的4次產出性測試平均分都稍高于聽音組。單向方差分析顯示（表 2），兩組受試后三次產出性詞匯后測都沒有顯著性差異，P大于0.05，表明它們沒有導致顯著不同的產出性詞匯習得。

表1 兩組方式的產出性平均分分布表（n=29）

表2 兩組方式的產出性測試成績ANOVA（單因素）方差分析表（P＜0.05）

3.視聽組對接收性詞匯習得的作用

如表3所示，視聽組的四次接收性詞匯后測得分稍高于聽音組。單向方差分析顯示（表4），兩組受試的四次接收性后測都沒有顯著性差異，P大于 0.05表明它們沒有導致顯著不同的接受性詞匯習得。

表3 兩組方式的接受性平均分分布表（n=29）

表4 兩組方式的接受性測試成績的ANOVA（單因素）方差分析表（P＜0.05）

（二）討論

關于視聽組與聽音組對聽力理解和附帶詞匯習得的作用，本研究發現：第一，視聽組的聽力理解成績比聽音組顯著要好；第二，視聽組與聽音組的產出性和接受性詞匯習得沒有顯著差異，但前者的詞匯測試平均分高于后者，這表明前者的附帶詞匯習得優于后者。視聽組的聽力成績平均分高于聽音組，且具有顯著性的差異。該結果和Secules etal（1992）和Weyers（1999）的研究結果相一致。[8][12]用認知負荷理論來解釋其原因：第一，結合視聽兩種模式的信息輸入可以將學習者的工作記憶最大化，從而提高聽力理解。第二，由于視聽材料的呈現要求學習者在多種離散的信息源之間分配注意資源則干擾了學習。學習者注意資源的有限性使他無法以語言系統和圖像系統同時去辨認、加工和儲存信息。相反，他只能以相應的最佳的認知系統，圖像系統去儲存信息，即視頻模式來儲存聽力材料。此時，學習者更傾向于借助圖像視覺信息來理解內容而不是用語言形式來理解（VanPattern，1990）。[13]因此，視聽中的超語言特點可以為理解內容提供線索，語言水平和任務的難易度能起到協調作用。

視頻組與聽音組的產出性和接收性詞匯習得的沒有顯著差異，但前者的詞匯測試平均分高于后者，這表明前者的附帶詞匯習得優于后者。第一，視頻中的非語言信息對詞匯的短期和長期記憶有干擾作用，對語言水平低的學習者來說影響較大。對于沒有圖像對應的詞匯，視聽組明顯受圖像信息的干擾。因為視頻圖像占據了大部分工作記憶空間，詞匯注意和解碼的注意力空間就降低了，詞匯習得也就減少了，而聽音組學生的瞬間記憶較好，選擇原詞的準確率較高。第二，視聽組對有具體圖像的實義詞的記憶有所提高，伴有圖像的詞匯有助于學生對詞匯的短期記憶和習得。由于學生能夠在圖片和詞匯語音信息之間建立關聯，語音信息不會完全被圖像所代替。從測試結果看，視頻輔助功能對詞匯題及與畫面無關的具體信息題的影響最小，對總體信息題、與畫面相關的具體信息題均有顯著影響。這說明視頻輔助功能對不同語言水平的學生所起的作用不同，語言水平較低的學生受其影響較大。

四、結論

本文對多模態教學模式在大學英語聽力教學中的作用進行了實證研究，結果表明，視聽組比聽音組更能提高學生聽力理解能力，視聽組與聽音組之間的附帶詞匯習得沒有顯著性差異，但視聽組的平均值和標準差要高于聽音組。這說明視頻輔助功能對詞匯題及與畫面無關的具體信息題的影響最小，對總體信息題、與畫面相關的具體信息題均有顯著影響。視頻輔助功能對不同語言水平的學生所起的作用不同，語言水平較低的學生受其影響較大。由于學生的產出性詞匯的習得落后于接收性詞匯習得。為了有效提升附帶詞匯習得，師生均應重視單詞的產出性運用。教師應選擇具有真實情景且原汁原味的聽力材料，讓學生充分發揮主觀能動性來解決各種問題，以促進聽力理解和詞形詞義的附帶習得。在課堂上為學生提供角色扮演和話題討論機會。再次，聽力材料難易適度，學生不能完全依靠視覺信息理解內容而忽視對語言形式的學習。

[1]王守元，苗興偉.英語聽力教學的理論與方法[J].外語電化教學，2003（4）.

[2]顧日國.多媒體、多模態學習剖析仁[J].外語電化教學，2007（2）.

[3]朱永生.多模態話語分析的理論基礎與研究方法[J].外語學刊，2007（5）.

[4]周光磊，楊世登.視頻輔助功能對英語專業學生聽力理解的影響[J].解放軍外國語學院學報，2004（3）.

[5]蓋淑華.詞匯附帶習得研究概述[J].解放軍外國語學院學報，2003a（2）.

[6]蓋淑華.英語專業學生詞匯附帶習得研究[J].外語教學與研究，2003b（4）.

[7]粱端俊.L2/FL閱讀中詞匯附帶習得縱觀[J].國外外語教學，2005（4）.

[8]Weyers,J.R. The effect of authentic video on communities competence [J].The Modern Language Journal, 1999（3）.

[9]Snyder & Colon, I. Foreign language learning and audiovisual aids [J]. Foreign Language Annals, 1988（21）.

[10]Pulido,D. Modeling the role of second language proficiency and topic familiarity in second language incidental vocabulary acquisition through reading[J].Language learning,2003（53）.

[11]Laufer B., Hulstijn J.Incidental vocabulary acquisition in a second language: The construct of task induced involvement [J].Applied Linguistics,2001（1）.

[12]Secules, Teresa, Carol H. and Michael Tomasello. Thee ffect of context on foreign language learning[J].TheMod2ern Language Journal,1992（4）.

[13]VanPattern, B. Attending to form and content in second language acquisition: An experiment in consciousness [J].Studies in Second Language Acquisition, 1990（3）.