二語視聽多模態輸入研究述評*

傅曉莉, 李愛萍

(北京大學 對外漢語教育學院，北京 100871)

一、 引 言

隨著科學技術和時代的發展，二語聽力教學正由傳統的音頻教學轉向視聽教學，視聽的相關研究也越來越為學界所關注。視聽不同于聽力，視聽同時激活視覺和聽覺的感知，而聽力只激活聽覺感知；視覺器官和聽覺器官對信息的適應情況并不一樣(1)章國英.信息感知效率與視聽軟件的設計[J].外語電化教學，1999,(2).。視聽可以認為是一種多模態輸入，這種多模態主要表現為圖像(動態)、聲音和字幕形式，體現了圖像、文字和動作3種元功能(2)van Leeuwen,T.(1999).Speech,Music,Sound[M].London:Macmillan Press Ltd.。相關研究表明，人們通過視聽結合方式所獲得的信息和獲得信息的效率，遠遠超過單一的獲得方式，記憶也更為持久(3)劉立新 鄧方.讀圖時代的視聽說教學——以《漢語視聽說教程——家有兒女》的教學實踐為例[J].國際漢語教學研究，2017,(2).。二語視聽多模態輸入的理論基礎主要有輸入假說和認知負荷理論，本研究基于這兩個理論，嘗試檢索整理國內外二語視聽多模態輸入的相關研究成果，發現從研究內容來看，主要可以分為兩類，一是視聽多模態輸入對二語習得的影響研究，二是二語視聽多模態輸入難度的影響因素研究。

二、研究內容

(一)二語視聽多模態輸入對二語習得的影響

1.視聽多模態輸入對二語聽力理解的影響

研究表明，聽力策略中存在一種“補償機制”(compensatory mechanisms)，即當學習者因語言知識不足而導致聽力理解受阻時，往往會借助一些補償信息，如可參考的圖片、視頻、文字注解，以及聽者自己頭腦中可提取的文化信息、百科知識、生活常識等相關線索(4)Vandergrift,L.Recent development in second and foreign language listening comprehension research[J].Language Teaching,2007,40(3).。視頻作為聽力策略中補償機制的一種，從側面證實了視聽結合的可能性和合理性。實際上，相比單純的聽力，同步的視聽能夠促進二語學習者更多地運用自上而下的聽力理解模式以彌補語言知識的不足(5)Seo,K.Research note:The effect of visuals on listening comprehension:A study of Japanese learners’ listening strategies[J].International Journal of Listening,2002,16(1).。而且，與純音頻相比，視聽文本能夠提供更真實、更鮮活的語言輸入以及更充分、更豐富的多模態文化與情景語境，更能促進學習者對內容的理解，且更有助于激發學習者對聽力任務的參與興趣(6)Wagner,E.The effect of the use of video texts on ESL listening test-taker performance[J].Language Testing,2010,27(4).。從聽的難度來說，視聽材料相比相同內容的純音頻詞材料來說，難度也更低(7)Lonergan J.1984.Video in Language Teaching[M].Cambridge:Cambridge University Press.，視頻比音頻的促聽促解作用更大(8)肖好章 周美珍 劉玉婷.任務和環境對聽力理解的影響[J].現代外語，2018,(3).；視聽雙重輸入能夠提升二語學習者對材料文本的理解程度，更能促進聽力技能的發展(9)Thompson,I.& Rubin J.Can strategy instructions improve listening comprehension?[J].Foreign Language Annals,1996,29(3).。比如，Rubin(10)Rubin,J.Improving foreign language listening comprehension[A].In Alatis,James E.(ed,).Linguistics,Language Teaching and Language Acquisition:The Interdependence of Theory,Practice and Research[C].Washington,DC:Georgetown University Press,1990:309～316.的研究發現通過錄像故事訓練聽力的學生要比沒有視覺輔助的學習者進步更快。Secules et al.(11)Secules,T.,Herron,C.,& Tomassello,M.The effect of video context on foreign language learning[J].Modern Language Journal,1992,76(4).則發現在外語學習中，在教師引導下以視頻為主要教學材料(teacher-managed videotaped instructional materials)的班級，其聽力理解能力顯著高于采用傳統的教學方法(即包括一系列課堂操練)(12)可以理解，一系列的課堂操練主要是“聽”的輸入，缺乏甚至沒有視覺輸入。的班級。

但是，在聽力理解過程中，使用多模態的輸入方式需要考慮認知限制(cognitive limitation)與工作記憶(work memory)的聯系。在聽力理解中加入視覺模態信息不僅能通過同時激活視聽通道而增加工作記憶的容量，而且有助于集中學習者的注意力(13)Chen,I-Jung & Chang,Chi-Cheng.Content presentation modes in mobile language listening tasks:English proficiency as a moderator[J].Computer Assisted Language Learning,2011,24 (5) .。學習者也確實能夠同時加工多種來源的信息，而且當多模態輸入合理配置(integration)時，大多數情況下會有利于學習。另外，如果是激活工作記憶的不同區域去加工不同類型的信息，并且這些不同類型的信息可以由多種加工方式實現時，對于這種情況，學習者能夠很好地處理；但學習者若只激活工作記憶的某一區域，在需要同時加工相似的信息時，這時學習者的認知效率明顯受到影響，而且可能遺漏一些信息。(14)Tardieu,Hubert & Gyselinck,Valérie.Working memory constraints in the integration and comprehension of information in a multimedia context[A].In Oostendorp,Herre van (ed.),Cognition in a Digital World[C].New Jersey:Lawrence Erlbaum Associates,Inc.,Publishers,2003:3～24.

2.視聽多模態輸入對二語詞匯習得的影響

視聽多模態輸入不僅促進學習者的聽力理解，而且還有利于二語詞匯習得。在二語學習中，視聽多模態輸入提供了一個類似處于目標語言的學習環境，此時，詞和短語的學習不是簡單地在母語和目標語言間對譯，而是在學習過程中同時融入了詞和短語的語義、句法、語用信息，這樣的詞匯學習才能讓學習者最終獲得接近于母語者的語法能力(grammatical competencies)(15)Tschirner,Erwin.Language acquisition in the classroom:The role of digital video[J].Computer Assisted Language Learning.2001,14(3～4).。范燁(16)范燁.視聽雙重輸入模式下的二語詞義習得[J].外語界,2014,(5).的研究也證明了視聽雙重輸入模式有利于二語詞義習得，研究發現，在視聽雙重輸入的模式下，修讀大學英語課程的中國大學生的詞義推斷能力比只接收音頻輸入的學習者更強，“敘事表意的視頻畫面有助于學生正確猜測同步音頻解說詞中目標詞匯的詞義”。此外，Weyers(17)Weyers,Joseph R.The effect of authentic video on communicative competence[J].Modern Language Journal,1999,83(3).、Lin(18)Lin,Phoebe M.S.Investigating the validity of internet television as a resource for acquiring L2 formulaic sequences[J].System,2014,42.等的研究都證明了視聽多模態學習方式能更有效地促進詞匯學習。

二語詞匯學習的成功與否也很難繞開對字形/詞形的識記。僅以英語作為第二語言的學習為例，在英語詞匯學習過程中，必須識記不同的單詞和短語。智索(19)智索.視聽雙通道同時識記英語字母效率的實驗研究[J].外語電化教學，1985,(4).的研究表明，視聽多模態輸入的方式能夠有效提高識記單詞字母的效率。智索考察了中國英語學習者視聽雙通道同時識記無意義的音節(20)如“YUC、ZIN、QOM、LEQ、TAJ”等。中的字母的記憶效率問題，研究發現，視聽雙通道同時識記英語字母的效率優于視、聽單通道呈現和視、聽交錯呈現，而且若想長時記憶英語字母，視聽雙通道同時識記英語字母的優越性也很明顯。但是，王萌、謝小苑(21)王萌,謝小苑.視聽材料對聽力理解和詞匯習得的影響[J].外語電化教學,2008,(2).的研究表明，視聽材料雖可提高學習者對目標內容的理解，進而提升聽力理解能力，但是對詞形的記憶卻起阻礙作用。其實，再仔細對比這兩種觀點，發現它們并不矛盾。詞形識記的效果和視頻呈現的畫面有很大關系，智索的研究中視頻呈現的畫面只有無意義的音節，加之這些無意義的音節又屬于有標記的形式，因此學習者的認知焦點就主要集中在這些有標記的音節形式上，自然其識記效果會比只接收聽覺輸入的效果好。但是王萌、謝小苑的研究中視頻信息是對詞義的一種補充，學習者根據視頻內容可以更好地理解詞義，但是其認知焦點更多地放在了視頻信息的理解上，在詞形的記憶上卻形成了認知負荷，因此阻礙了詞匯習得的記憶。

3.視聽多模態輸入對二語習得其他方面的影響

需要指出的是，雖然視聽多模態輸入的方式將二語學習者置于更加真實、更富有文化信息的語言學習環境中，但視聽多模態輸入的優勢效應更多地是體現在聽力理解、口頭表達(22)Tschirner,Erwin.Language acquisition in the classroom:The role of digital video[J].Computer Assisted Language Learning.2001,14(3～4).以及詞匯習得(尤其是詞義理解)上。在句法結構學習方面，“(相對于視覺單模態學習，)加入聽覺模態的多模態任務……卻無助于句法結構的學習。……語音信息的激活與句法形式加工無直接關聯，可視為冗余信息，對句法結構學習無積極效應(23)洪煒 吳安婷 伍秋萍.任務的模態配置對漢語二語文本理解、詞匯和句法學習的影響[J].世界漢語教學,2018,(3).。”

另外，值得注意的是，正是由于視聽結合的輸入方式能夠有效促進學習者二語學習，在教學中也逐步引入視聽雙重輸入的教學模式，這主要體現在視聽說課的開設上。視聽說課是20世紀80年代中后期出現的一種課型(24)郭泠.對外漢語初中級視聽說教材選材分析——以三部教材為例[D].北京大學碩士學位論文,2011.。“視聽說課充分發揮電教媒體的作用，應用現代化教學方法，能快捷地訓練學生的聽說技能(25)徐登科.語言習得機制與視聽說教學[J].國外外語教學，1998,(1).。”以漢語視聽說課為例，與傳統課型相比，以多媒體技術支撐的漢語視聽說課為學習者提供了更為優越的原生態漢語環境。由于視聽說課提供的輸入方式是多媒體的，除文字信息外，還有圖像和聲音信息，信息輸入的口徑得以擴大，對學習者而言，能看懂、聽懂的更多，信息輸入更多(26)劉立新 鄧方.讀圖時代的視聽說教學——以《漢語視聽說教程——家有兒女》的教學實踐為例[J].國際漢語教學研究，2017,(2).。另外，從語言習得啟動機制的角度來看，真正自然的口語是啟動語言習得機制的最佳輸入(27)徐登科.語言習得機制與視聽說教學[J].國外外語教學，1998,(1).，而視聽說教學的輸入內容相比其他單模態的輸入內容來說，提供的是更真實地道的語言輸入，因此視聽說多模態輸入的教學方式能夠為學習者提供更優質的輸入內容。

但是，視聽多模態輸入并不是對所有學習者都“放之四海而皆準”，幼小兒童比年長兒童和成人學習者更適合視聽多模態的輸入方式，高視覺風格的學習者更能從視聽多模態輸入中受益(28)張彤，趙翠霞，鄭錫寧.基于認知理論的多媒體教學界面設計研究[J].心理科學，2004,(11).。就語言水平而言，視聽多模態輸入對語言水平較低的學習者幫助更大(29)孔文,王淑瓊,周蕓,陳艷艷.視頻信息對EFL聽力理解影響的實證研究[J].外語電化教學,2011,(5).。因此，相比單模態的“視”或“聽”，視聽多模態輸入雖然可能具有“1+1 >2”的優勢效應，但我們還需進一步細致深入地探討視聽多模態輸入的優勢效應和劣勢效應具體體現在哪些方面、多模態輸入主要針對什么類型的學習者、視聽相結合的環境制約因素以及不同模態應該怎樣配置才能讓學習效率最優等問題。

(二)二語視聽多模態輸入難度的影響因素

視聽難度的考察不同于語料文本難度的考察。由于視聽輸入是一種多模態輸入，除文字信息外，還涉及到圖像、聲音信息等，因此，考察視聽難度的影響因素時，應充分關注視聽的多模態性質，語料文本難度只是影響視聽難度的部分因素。

現有的研究主要從兩個大范疇考察視聽難度的影響因素，即學習者因素和視聽語料因素。如果從認知的視角看，可以認為視聽語料因素是影響視聽難度的典型特征，而學習者因素是非典型的。視聽語料因素又可以分為語言因素和視聽特質因素這兩個次范疇。視聽語料的語言因素主要是從視聽語料本身，即文本難度的角度來考察視聽語料的難度。視聽特質因素則指相比傳統的聽力教學而言，視聽教學所具有的特殊之處，最典型的視聽特質因素是從兼具視覺因素和聽覺因素這兩個方面來考慮的。

1.學習者因素

就學習者自身狀況而言，顯然，學生語言水平是影響視聽難度的重要因素。學生的詞匯量、語法掌握情況、對長句和復雜句式的把握能力、修辭的理解等語言因素直接作用于視聽語料的難度考量(30)郭泠.對外漢語初中級視聽說教材選材分析——以三部教材為例[D].北京大學碩士學位論文,2011.，進而影響學習者對視聽難度等級的評判。學習者在視聽之前，聽前準備活動能夠有效促進學習者的視聽理解，一定程度上降低視聽難度，比如聽前詞匯準備就是一種既易于在教學中付諸實踐又能有效促進學習者視聽理解的一種支架式(scaffolding)幫助(31)Chung,J.M.& Huang,S.C.(1998).The effects of three aural advance organizers for video viewing in a foreign language classroom[J].System,1998,26(4).。也有研究(32)肖庚生,程邦雄.詞匯準備時間對外語視聽理解及焦慮的影響[J].外語教學,2012,(6).進一步探討了不同的詞匯準備時間對外語視聽理解及學習者焦慮的影響。一周的詞匯準備時間對視聽理解的促進作用最大，一天次之，30分鐘最差；在緩解學習者視聽焦慮上，一天的準備時間有助于緩解視聽焦慮，30分鐘次之，一周最差。所以，在外語視聽教學中應給予學習者適中的詞匯準備時間，不宜過長，也不宜過短，這樣才能幫助他們降低視聽焦慮、提高視聽理解能力，一定程度上也降低了視聽難度。

學習者自身心態積極與否一定程度上也會影響對視聽難度的判斷。在二語學習中，當學習者聽到不熟悉口音的語料時，保持積極平和的心態，盡量減少對口音的在意度，這時候能夠有助于理解視聽語料的信息(33)Anderson-Hsieh,Janet.,& Koehler,Kenneth.The effect of foreign accent and speaking rate on native speaker comprehension[J].Language Learning,1988,38(4).。

2.視聽語料因素之語言因素

視聽語料因素是影響視聽難度的典型特征。視聽語料因素中視聽語言難度從理論和常識的角度來看，可以認為是影響視聽難度的最重要因素。需要注意的是，視聽語料難度并不等于純語料難度，對純語料難度的研究，西方學界將其稱為“易讀性研究”。“按照克拉雷的說法，易讀性指的是寫作形式方面的易于懂得或理解，該項研究主要試圖回答以下兩個問題：1.究竟是哪些因素決定著語料的易懂或難懂？2.有沒有一種方法可以測量出一篇語料在多大程度上易懂或難懂？”(34)張寧志.漢語教材語料難度的定量分析[J].世界漢語教學,2000,(3).。純語料是視聽語料的重要組成部分，因此，純語料難度的研究方面也適用于視聽語料難度的測量，只是衡量視聽語料難度時需要考慮視聽的特質因素。因此，相關研究在考察視聽語料難度時，認為除了語料難度的因素，語速這一視聽特質也是衡量視聽語料難度的重要方面。比如張璐、彭艷麗對3套中高級漢語視聽說教材的語料難度分析主要考察了5個語言難度要素，即平均每百字句長、平均每百字非常用詞數、平均每百字生詞量、平均每百字語言點數和平均每百字語速，這5個語言難度要素，前4個屬于純語料難度的考察范圍，平均每百字語速屬于視聽特質因素。(35)張璐,彭艷麗.基于影視作品改編的中高級漢語視聽說教材語料難度分析[J].世界漢語教學,2013,(2).姜書君(36)姜書君.《非誠勿擾——高級漢語視聽說教程》語料難度研究[D].北京外國語大學碩士學位論文,2016.在參考張璐、彭艷麗(37)張璐,彭艷麗.基于影視作品改編的中高級漢語視聽說教材語料難度分析[J].世界漢語教學,2013,(2).的5個難度要素的基礎上，還考察了語言的規范化、情景因素、文化因素等。郭泠則將平均句長、詞匯難易度、語速作為考察3部對外漢語初中級視聽說教材語料難度的影響因素。(38)郭泠.對外漢語初中級視聽說教材選材分析——以三部教材為例[D].北京大學碩士學位論文,2011.范燁的研究也發現視聽語料中的生詞率對視聽難易度的感知和視聽理解有顯著影響。(39)范燁.語速、視頻類型和詞匯知識對外語視聽理解的影響[J].外語教學,2016,(1).

3.視聽語料因素之聽覺因素

(1)語速

上文已指出，語速作為視聽特質因素是衡量視聽語料難度的重要指標。實際上，語速的快慢直接影響視聽語料難度，其終極指向是影響視聽難度。學習者普遍認為在二語學習聽力中，最主要的問題是應對快語速(40)Graham,Suzanne.Listening comprehension:The learners’ perspective[J].System,2006,34(2).，然而，視頻的語速并不是越慢就越能促進視聽理解。如果視頻速度太慢，聽者需要延長信息在短期記憶內留存的時間并且需要花更多的時間去淡化記憶痕跡(memory trace)，進而可能影響大腦中記憶聯系(mnemonic)的激活，導致記憶的衰退(41)Flaherty,Sister Etienne.Rate-controlled speech in foreign language education[J].Foreign Language Annals,1979,12(4).。而且，當語速從快語速(42)200 words per minute [wpm],3.8 syllables per second [sps].減慢到適中的語速(150wpm,2.85ps)時，有利于促進聽力理解，但若再進一步降到慢語速(100wpm,1.93sps)，卻并不能促進聽力理解(43)Griffiths,Roger.Speech rate and NNS comprehension:A preliminary study in time-benefit analysis[J].Language Learning,1990,40(3).。也有研究(44)Blau,E.K.The effect of syntax,speed,and pauses on listening comprehension[J].TESOL Quarterly,1990,24(4).表明，如果學習者習慣以快語速為正常語速的話，降低語速并不能提高聽力理解水平，不過這種情況對于水平較低的二語學習者可能不適用。

范燁(45)范燁.語速、視頻類型和詞匯知識對外語視聽理解的影響[J].外語教學,2016,(01).的研究也表明，語速變化(140wpm,166～170wpm,195wpm)會影響難易度感知，但不會顯著影響視聽理解。

(2)口音

口音對母語者的聽力理解和非母語者的聽力理解都有重要影響(46)Major,R.C.,Fitzmaurice,Susan F.,Bunta,F.,& Balasubramanian,C.The effects of nonnative accents on listening comprehension:implications for ESL assessment[J].TESOL Quarterly,2002,36(2).。Eisenstein & Berkowitz(47)Eisentein,M.R.,& Berkowitz,D.The effect of phonological variation on adult learner comprehension[J].Studies in Second Language Acquisition,1981,4(1).的研究表明，以英語為二語的學習者在聽標準英語(standard English)時更容易理解，而聽帶外國口音(foreign-accented)的英語或者紐約工作階層的英語(working-class New York English)時，聽力理解的效果都不如標準英語的好。但是，如果二語學習者在聽本國人說的二語時，似乎會比聽其他口音更容易理解。比如Wilcox發現新加坡學習者在學習英語時，會覺得新加坡人說的英語更容易理解，而其他國家的人說的英語更難理解。(48)Wilcox,G.K.The effect of accent on listening comprehension:a Singapore study[J].English Language Teaching Journal,1978,32(2).Major et al.也發現西班牙語的學習者在聽帶西班牙語口音的英語時，聽力理解能力會比聽其他口音的英語的理解能力高。(49)Major,R.C.,Fitzmaurice,Susan F.,Bunta,F.,& Balasubramanian,C.The effects of nonnative accents on listening comprehension:implications for ESL assessment[J].TESOL Quarterly,2002,36(2).但是印度學習者聽美式英語的理解水平卻高于聽印度口音的英語(50)Smith,L.E.,& Bisazza,J.A.The comprehensibility of three varieties of English for college students in seven countries[J].Language Learning,1982,32(2).。

另一方面，口音對于說話人來說可能不容易改變，但對聽者來說，聽得多了卻似乎容易習慣。研究表明，當學習者習慣某一種口音時，這時對聽力理解并沒有很大的影響，反倒這種習慣性會促進聽力理解(51)Tauroza,S.,& Luk,J.Accent and second language listening comprehension[J].RELC Journal,1997,28(1).。這也說明，口音對聽力理解的影響也應該進一步區分學習者水平、學習者年齡、學習者的學習時長等因素。

(3)語調(intonation)

語調屬于超音質特征，是視聽語料的重要組成成分，也是影響視聽語料難度不可忽視的因素。我們知道，話語的語調對于話語的解讀可能會具有舉足輕重的作用。對于同一句話，如果語調不一樣，可能會得到完全相反的意思(52)Cutler,A.Beyond parsing and lexical look-up:An enriched description of auditory sentence comprehension[A].In R.J.Wales & E.C.T.Walker (Eds.),New approaches to language mechanisms[C].Amsterdam:North-Holland,1976；比如“That was a thrilling experience.”如果語調不一樣，就可以得出這個經歷確實是激動人心的，或者也可以理解為是一種反話。。在聽力理解中，語調可以為聽者提供連貫的線索(consistent cue)，幫助他們整體上把握語篇的內容，體會語篇的感情基調(53)Barr,P.The role of discourse intonation in lecture comprehension[A].In Hewings,M.(ed.).Papers in Discourse Intonation[C].Birmingham:ELR/University of Birmingham,1990:5～21.。

但是，對話語語調的重視程度遠遠低于對語言中的語義、句法、詞匯等方面的關注(54)Bock,J.K.,& Mazzella,J.R.Intonational marking of given and new information:some consequences for comprehension[J].Memory and Cognition,1983,11(1).。我們在檢索語調對視聽理解的相關文獻時，不管是國內學者的相關研究，還是國外學者的研究，都非常少。在中國知網上輸入“語調”一詞檢索，沒有一篇文章是和二語視聽理解相關的。對此，Hewings(55)Hewings,M.The English intonation of native speakers and Indonesian learners:A comparative study[J].RELC Journal,1995,26(1).認為一個可能的解釋是由于語調本身的特征以及語調和聲音的聯系，這使得語調更容易和發音、言語產出聯系起來，而更不容易和聽力相聯系，因此，對語調的考察也就常常缺失于聽力理解這個大范疇。

4.視聽語料因素之視覺因素

(1)字幕

字幕是視頻的重要特質因素。但學界并沒有直接探討有無字幕以及字幕類型對視聽難度的影響，而是關注字幕對視聽理解的影響。如果僅就語篇理解而言，字幕視聽的效果好于純視聽的效果(56)戴勁.輸入方式、輸入次數與語篇理解[J].外語教學與研究,2007,(4).。Markham,Peter & McCarthy調查比較了三種字幕使用條件對學習者理解視頻內容所產生的影響，發現看母語字幕的被試組對視頻內容的理解好于看目的語字幕的被試組，而看目的語字幕的被試組又好于無字幕輔助的被試組(57)Markham,Paul L.,Peter,Lizette A.,& McCarthy,Teresa J.The effects of native language vs.Target language captions on foreign language students’ DVD video comprehension.Foreign Language annals,2001,34(5).。而歐陽素珍(58)歐陽素珍.多模態輸入對英語專業學生聽解影響的實證研究[D].湖南師范大學碩士論文，2015.調查多模態輸入對英語專業學生的聽解影響后，發現視頻配英文字幕的多模態組合對學生的聽力內容理解促進最大，純音頻次之，視頻配中文字幕的模態組合作用最小，研究結論和Markham,Peter & McCarthy的相左。Hsu et al.發現關鍵詞字幕比全字幕更能促進視聽理解和增強詞匯習得(59)Hsu,C.-K.,G.-J.Hwang,Y.-T.Chang & C.-K.Chang.Effects of video caption modes on English listening comprehension and vocabulary acquisition using handheld devices.Educational Technology & Society,2013,16(1).。學者們基本上都認同有字幕可以促進視聽理解，但我們不能就此反推字幕的存在降低了視聽難度。或許正如Hsu et al.指出的那樣，“讀字幕是閱讀，或有阻擾聽解和聽力發展之嫌”。學習者的視聽理解很可能是通過閱讀字幕獲得的，并不是通過視聽獲得的，所以，字幕對視聽難度的影響還有待進一步研究。

(2)視頻類型

視聽相比單純的“聽”來說，增加了“視”的成分，而“視”的信息主要通過視頻來傳達。不同類型的視頻畫面對學習者二語學習的影響并不一樣。迄今為止的研究主要關注兩種視頻畫面對語音輸入的影響：一是內容視頻(content visuals)，即包含凸顯信息圖像的視頻；一是場景視頻(context-only visuals)，即只顯示說話者形象的視頻，如脫口秀等(60)邱東林,李紅葉.多種輸入模式對聽力理解和詞匯記憶的影響[J].外語界,2010,(1).。內容視頻提供了畫面、物品、實景等豐富大量的信息輸入，相比場景視頻而言，可以顯著提升學習者的整體理解水平；但并不能幫助學習者理解所聽到的生僻詞匯，甚至可能會干擾語音和詞匯記憶(61)邱東林,李紅葉.多種輸入模式對聽力理解和詞匯記憶的影響[J].外語界,2010,(1).。而且，若內容視頻的聲畫關系是一種分立狀態(divergent category)(62)圖像和解說詞不相關或者可能是相互矛盾的。時，對于學習者來說，不僅很容易注意到，還會常常讓他們一頭霧水(63)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).。場景視頻由于只呈現談話者形象或者固定的場景，學習過程相對呆板，有研究表明(64)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).，說話人頭部特寫(65)即圖像上只呈現新聞播報者、采訪者以及被采訪者的頭部或者上半身，不出現背景信息。(talking head)幾乎不能提供額外的信息去促進聽者的理解，相反，聽者這時候傾向于將注意力放在純粹的聽解上。Coniam(66)Coniam,David.The use of audio or video comprehension as an assessment instrument in the certification of English language teachers:A case study.System,2000,27(1).也發現脫口秀的視聽和純聽音相比，被試對內容的理解程度并無顯著差異。但場景為現場講座情景時，研究結果又不一樣，Sueyoshi & Hardison研究講座錄像以及講座錄音的對比輸入效果，發現觀看講座錄像(錄像中呈現演講者的面部表情和身體語言或者錄像中只呈現演講者的面部表情)的學習者對講座內容的理解明顯高于錄音組。(67)Sueyoshi,Ayano & Hardison,Debra M.The role of gestures and facial cues in second language listening comprehension.Language Learning,2005,55(4):661～699.講座錄像和脫口秀都只呈現說話者的形象，但兩者和純音頻相比，實驗結果并不一致，我們認為可能和這些場景視頻的文本內容以及視頻播放的目的等因素有關。雖然場景視頻在促進理解上弱于內容視頻的效果，但整體而言，相比純音頻，場景視頻更能促進語言輸入的理解。范燁(68)范燁.語速、視頻類型和詞匯知識對外語視聽理解的影響[J].外語教學,2016,(1).的研究表明視頻類型(新聞vs.演講)對難易度感知和視聽理解都有顯著效應。

(3)聲畫關系

視頻中不同類型的聲畫關系會影響視聽理解，進而影響對視聽語料難度的判判斷。直接聲畫關系(指圖像和語音說解具有很高的語義關聯度)和間接聲畫關系(圖像和語音說解之間存在部分語義冗余(redundancy)能夠促進學習者對聽力內容的理解；但說話人頭部特寫和分立的聲畫關系則不僅不能提升理解，甚至會妨礙理解(69)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).。

Cross還指出，不管聲畫關系是如何配合的，視覺模態的信息或多或少會對學習者產生一定的干擾，因此，學習者會在學習過程的不同階段根據自身情況主動調節，可能會傾向于從某一單模態地學習轉向其他的單模態。(70)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).因此，從某種程度上來說，聲畫關系的配合，特別是不協調的聲畫關系，對于學習者來說可能反倒是一種認知負荷。正如前文指出的，當學習者面對較呆板的場景視頻畫面時，為了調節認知負荷，他們更傾向于只啟動純粹的“聽”來獲取信息。我們也可以推測，當視頻信息和語音說解不協調甚至矛盾時，聽者在迅速發現問題的情況下應該會傾向于啟動“聽”的能力來理解信息。寫到這里，我們或許也能解釋為什么二語教學中越來越重視視聽多模態輸入，可能的一個解釋是：視聽多模態輸入的根本的落腳點還是為了盡可能地提升聽的能力，進而提升整體的理解能力。所以，判斷某個因素是否影響視聽難度或許應該多注意該因素對“聽”的難易度的影響，增加視覺模態從某種程度來說，還是為了促進“聽”的感知和“聽”的效率。

綜上，我們發現，對視聽難度影響因素的研究雖然較豐富，但仍有一些影響因素有待進一步證明，尤其是對視聽特質因素的進一步探討。除了上文我們談及的語速、口音、語調、字幕、視頻類型、聲畫關系等因素，噪音、視頻中的場景音(背景音)等會不會也對視聽語料難度有影響？我們知道，視聽多模態輸入相比視覺單模態和聽覺單模態輸入而言，其優勢在于視聽多模態的結合，視聽多模態的優勢又體現在視聽特質因素上。因此，視聽特質方面到底有哪些影響因素，需要進一步深入研究。另外，現有研究對某些視聽特質因素是否影響視聽難度并沒有達成一致意見，比如字幕和視頻類型對視聽難度的影響，這也說明對這些視聽特質因素的探討仍需更進一步。

三、問題與展望

Chaudron & Richards認為對聽力理解的研究不管是在一語學習還是二語習得中，都可以認為仍處于“嬰兒期”(in its infancy)。(71)Chaudron,C.,& Richards J.C.(1986).The effect of discourse markers on the comprehension of lectures[J].Applied Linguistics,1986,7(2).如今時間跨越了三十多年，我們再來看今天的聽力理解及其研究，發現多模態是今天聽力理解的一大亮點也是研究中要多考量的因素，但多模態環境下的聽力理解研究可能也是處于“嬰兒期”，特別是國內在這方面的研究。

第一，國內對二語視聽多模態輸入的研究多集中于外語教學界(特別是英語教學)，漢語教學界不管是在二語視聽多模態輸入的研究及實踐(如漢語視聽說教材的編寫、漢語視聽說課的開設等)上，都有很大的發展空間。漢語二語視聽語料難度的影響因素、視聽語料的文本選取(包括語體、題材等)、漢語二語視聽多模態輸入對不同國別、不同年齡、性別的學習者的影響等，都是值得進一步深入探討的問題。

第二，正如上文所言，多模態輸入是二語聽力理解乃至二語習得中的一種技術上和理念上的進步，多模態輸入方式的應用也是適應社會進步發展的表現。Mayer還談到多模態的呈現方式可以最大限度地發揮我們加工信息的能力，如果學習材料僅以聽覺模態的方式呈現時，我們就忽視了我們還有一種潛在的通過視覺模態去加工信息的能力。(72)Mayer,Richard E.Multimedia Learning (second edition)[M].New York:Cambridge University Press,2009:6.但是，我們也應注意的是，隨著模態的豐富，在二語視聽輸入中要考慮的變量以及在研究中要控制的變量自然會更多。怎樣才能使“多模態”的優勢效應最大化，可能在盡可能全面考慮學習者因素、視聽語料因素的情況下，還要重視模態的配置問題。Mayer(73)Mayer,Richard E.Multimedia Learning (second edition)[M].New York:Cambridge University Press,2009:7.指出通過聲音和通過圖畫并不能認為只是呈現同一材料的兩種地位相當的的方式，聽覺模態的地位與視覺模態并不相當。所以，我們認為，所謂的“多模態”不能是含糊而模糊的多模態，還應該繼續追問具體的模態是怎么“多”起來的，是在聽覺的基礎上全程加上視覺模態？還是只在聽力的部分過程加入視覺模態？抑或是在視覺模態的基礎上加上聽覺模態？如果是在聽覺基礎上加入視覺模態，視覺模態輸入下內容的呈現方式對二語視聽理解又有怎樣的影響？(74)Alseghayer(2001)指出，相比靜態的圖片，動態的視頻能更有效地促進生詞學習。具體參見Alseghayer,K.The effect of multimedia annotation modes on L2 vocabulary acquisition:a comparative study[J].Language Learning & Technology,2001,5(1).而且，需要注意的是，不能簡單認為視聽多模態是二語視聽學習中材料呈現方式的多模態，衡量是否是多模態學習更應該看重的是學習者能否達到輸入的多模態，進而在多模態輸入的基礎上學得更深入(learn more deeply)。另外需要指出的是，在多模態輸入上，對于不同的學習者，可能又應該具體問題具體分析，這樣或許才能真正發揮“多模態”的優勢。

第三，在考量二語視聽多模態輸入的影響因素時，視聽語料是非常重要的一個因素，但視聽語料的影響因素包括哪些還值得進一步探討。視聽語料難度可以說仍是一個較籠統的概念，而且考察視聽語料難度時主要側重的是文本難度。文本難度又包括很多的因素，文本的平均句長、生詞量、語言點數、非常用詞數等是一方面，文本的題材(敘述、說明、議論等)、文本的語體(是偏口語語體還是書面語體)、文本的篇章銜接等也是一方面。另外，如果再進一步考慮到視聽語料的特質因素，不僅語速、口音、語調、字幕、視頻類型、聲畫關系等是不可忽視的，甚至噪音、停頓、重音乃至視聽語料中的說話者的性別(75)Markham(1988)的研究就發現，初級水平學生和高級水平學生在回憶聽力內容時，相比說話者是非專家型的女性(nonexpert female speaker)，如果說話者是非專家型的男性(nonexpert male speaker)，學生能回憶起更多的內容。具體參見Markham,Paul L.Gender Differences and the Perceived Expertness of the Speaker as Factors in ESL Listening Recall[J].TESOL Quarterly,1988,22(3).、年齡等都是衡量視聽語料難度的重要因素，而這些也是需要進一步深入研究的內容。另外，需要指出的是，學界目前也尚未得出影響視聽語料難度分級標準。現有的研究多是根據幾項難度等級標準去分析視聽說教材的語料難度，而且所根據的難度等級標準也不盡一致。視聽語料難度的衡量到底應該考慮哪些因素？影響視聽語料難度的不同因素的具體權重如何？這可能需要在考察所有二語視聽說教材以及不同類別的視聽語料的基礎上才能得出一個比較全面的衡量標準。另外，視聽分級能否參照美國藍思分級閱讀框架(The Lexile Framework for Reading)，創制出一種類似于溫度計的測量視聽能力的標準，測量學生視聽能力的同時，使用相同的標準測量視聽語料的難度？這些研究課題任重而道遠，需要學界不斷的探索。

第四，O'mally et al.指出學習者在聽力理解中使用的認知加工過程其實是和理論上的三個理解階段對應的，即感知加工(perceptual processing)、語句分析(parsing)和實際運用(utilization)，而感知加工過程中的注意力是集中在聽力內容上的，音頻的聲音只保留在回聲記憶(echoic memory)中。(76)O'Malley,J.M.,Chamot,A.U.,& Küpper,Lisa.Listening comprehension strategies in second language acquisition.Applied Linguistics,1989,11(4).這就啟發我們思考，視聽多模態輸入的聽力內容到底應該包括哪些方面？在與聽覺單模態輸入有著相同的聽力文本的情況下，視聽多模態輸入的聽力內容應該怎么設計才能幫助學習者更有效地集中注意力？我們認為，視聽多模態輸入方式下聽力內容的獨特性，可能恰恰是能充分體現視聽多模態輸入方式優勢效應的方面；但就我們目力所及，鮮有研究探討了視聽多模態輸入方式下的聽力內容的問題。

最后，在聽力理解中，學者們通常傾向于認為以下5個因素可能會影響聽力理解的效果，即1)聽力/視聽的文本特征；2)聽力對話中說話者的特征；3)聽后所要求完成的任務類型；4)學習者的特征；5)學習者的認知加工過程以及學習者和聽力/視聽中的說話者的互動情況(77)Rubin,J.A review of second language listening comprehension research.The Modern Language Journal,1994,78(2).。結合本文的評述，我們發現，現有的研究或多或少都和以上5個方面沾了邊，但還有較多的研究視角目前并無多少涉及，比如聽后所要求完成的任務類型對視聽理解的影響，學習者和視聽中的說話者的互動情況等，這些進一步說明二語視聽多模態輸入的研究范圍和視角仍有極大的擴展空間。但是，正如上文指出的，進一步探討的空間雖大，但模態的增加更應該細致考察涉及的變量和變量的控制問題，從主體(學習者)和客體(視聽多模態輸入)這兩方面細致剖析可能涉及的變量，然后在考察影響因素的過程中，盡可能嚴格地控制變量，這樣得出的研究結論才能具有更高的信度。

總之，社會的進步、時代的發展催生了多模態輸入和多媒體的應用，而且多模態輸入和多媒體的應用甚至也可以理解為是對學習者的一種技術層面的人文關懷，因為多模態學習某種程度上和真實環境下的語言學習相似，而這兩種環境下的輸入方式又都強調了聽者和言者的互動。但具體怎么實施多模態和多媒體，特別是教學領域的多模態和多媒體，或許二語視聽的深入研究能夠成為多模態輸入和多媒體應用的一個范式。而且隨著互聯網技術的發展與人工智能技術的進步，二語教學與學習也越來越重視跟隨時代的步伐，強調改革傳統的教學模式和學習方式，希望通過技術進步來提高教學和學習效率。二語視聽多模態輸入也在這樣的大背景下受到學界和產業界的關注。當然，視聽多模態輸入的進一步發展需要學界和產業界的共同努力，學界提供更多的研究證明，產業界不斷優化技術。可以預見，未來視聽多模態輸入將成為越來越大眾化和受歡迎的二語學習模式。

四、 結 語

國內外二語視聽多模態輸入研究主要基于輸入假說和認知負荷理論，在視聽多模態輸入對二語習得的影響以及二語視聽多模態輸入難度的影響因素等方面有較深入的研究成果。總體而言，視聽多模態輸入相比傳統的單模態輸入，在二語聽力理解、二語詞匯習得等方面具有顯著的優勢，但視聽多模態輸入的優勢效應具體體現在哪些方面、所謂的“多模態”應該如何配置等問題還需進一步研究。視聽多模態輸入難度的影響因素不僅和學習者有關，還和視聽語料因素有很大的關系，語料因素又包括語料的語言因素、視覺因素、聽覺因素等，但是，視聽特質因素對語料難度的影響還有待進一步深入研究。

我們認為，二語視聽多模態輸入的研究雖取得了較大進展，但仍存在很大的拓展空間，比如研究內容的范圍還有待進一步拓展，而且在大數據的潮流下，視聽語料難度的分級亟待得到一個相對科學的標準。不過我們也相信，隨著學界和產業界對視聽多模態輸入的重視以及更加深入的挖掘，未來視聽多模態輸入將成為二語學習的一種類似“改革開放”的學習方式。而且，由于二語教學研究領域對多模態教學方式的重視程度逐步提高，研究方法也更加科學，實證研究與技術的使用越來越廣泛，這種種優勢因素將為視聽多模態輸入以及二語多模態教學研究的持續發展提供多方保障。