視聽雙重輸入模式下的二語詞義習得對照研究

摘 要 現代多媒體技術在外語課堂中的應用，將視聽雙重模式滲透于二語語義的教學中，從視頻對聽力的促進作用中來探討視聽模式的有效性，特別是對于電視新聞報道中敘述性畫面與目標詞匯詞義習得的研究，從構建兩者的關系上，就聲畫關系與詞義猜測準確率等問題進行研究，并從畫面與目標詞詞義理解上來探討促進學生英語綜合能力的對策和方法。

關鍵詞 高校 英語教學 視聽模式 二語習得 關系對照

現代信息技術在外語課堂中的應用，特別是原版視頻資料中視頻畫面與目標語詞匯的字幕顯示，從兩者的相互作用中來促進學習者語義習得。關于鏡頭的敘事表意功能，如對于新聞報道中某事件的發展記錄，同期音頻解說對學生二語習得的影響，多數學者從聚焦視聽雙重輸入模式中來探討外語學習效果，很少有學者針對視頻信息與聽力的理解關系進行研究。為此，本文將從視頻畫面與詞匯習得關系入手，從新聞、紀錄、專題等報道視頻材料中，將敘事畫面與詞匯語義學習展開專門研究，試圖從視聽雙重模式研究中來衡量影響學生二語習得和詞匯掌握能力的因素，并提出建議和改進對策。

一、視頻與聽力的關系研究

視頻屬于視覺性知識，聽力是人類接受外界知識的方式之一。從課題研究上，視頻與聽力關系是相互促進的，視頻中對詞匯及視覺信息的展示，有助于學習者從中進行理解和深化；但同時需要強調的是，視覺信息還有負面效應，不可避免的對學習者的感知帶來誤解。因此，研究兩者的關系，絕非是從敘事表意畫面與詞匯聚焦的簡單分析，而是從視聽雙重教學模式輸入中，來探討學習者對于二語習得的影響。

（1）視頻信息對聽力的促進研究

從當前學界的研究現狀來看，學者Lonergan提出視聽教學材料與純音頻材料在教學中，更有助于提升學習者的理解和聽力能力；學者Secules從音頻和視頻教學素材的班級調查中發現，視頻材料試者在受試后數周內的聽力測試成績要高于單純的音頻材料。在國內學者對視頻與聽力關系研究中，邱東林、李紅葉針對內容視頻與場景視頻在相同試者中的對比研究發現，視頻信息受試結果要顯著高于場景視頻對象；孔文在內容性視頻與語境性講座視頻對比中發現，以豐富圖像信息為主的新聞性視頻資料更有助于提升學生的聽力理解；Cross依據聲畫關系分類法，從5段BBC新聞視頻的不同聲畫關系中，讓20名學生從中進行試驗發現，結對討論方式更有助于學生對視頻信息的理解；通過對聲畫關系（視頻資源中包括同步解說）與間接聲畫關系（圖像和解說部分相關）都能夠促進受試者的理解力，而當圖像顯示人的頭部特寫或者畫面上有采訪者及被采訪者說話鏡頭時，以及畫面存在分立聲畫關系（圖像與解說不一致）時，則反而妨礙學生的理解力。

（2）視頻對詞匯習得的關系研究

視覺信息在詞匯習得研究中，學者Weyers通過實驗發現，每天看外語片段的學生比每周看兩次短片的學生，在對相關詞匯的學習和詞義掌握上更具有優勢；Tschirner通過對詞與詞組在反復呈現中，學習者能夠從中將詞匯與詞義建立對應銜接；Verspoor通過對兩組學生進行英語測試，第一組在課外通過多媒體方式來進行聽說學習；另一組未開展多媒體視聽學習，則前者在寫作及詞匯掌握測試中成績顯著高于后者。

（3）視覺信息對語言習得的負面影響

從很多例證實驗中發現，視聽信息有助于學生二語習得，但也有學者提出，對于視聽信息在運用中也會產生負面效應。主要表現：一是視聽信息更容易分散學生的注意力，特別視頻中動態性信息，在偏離學習者自身注意力上，不利于二語習得；還有學生在看視頻或進行其他任務測試時，他們的注意力會分散，一會看視頻，一會看筆記、一會寫答案等；從語言認知上來看，對于視覺信息與聽覺信息的輸入，由于包含的信息量較多，既有語言類信息還有非語言類信息，如一些視頻采訪、報道、影視劇等，反而給學習者帶來過于密集的信息沖擊；有學者從注意資源的有限性上提出，對于視覺信息帶來的認知超負荷影響是很大的；視覺信息本身的多義性或歧義性，在傳遞中視覺信息往往比語言信息更具有模糊性，容易致使學習者做出各種猜測，甚至會產生與題旨無關的思維；視覺信息在詞匯詞義習得中還容易帶來干擾，視聽資料在提升聽力理解的同時，如果不注意詞匯的記憶，反而會干擾短期和長期記憶。可見，視聽信息在對二語學習和理解中的促進與阻礙作用都是存在的，需要從各類因素間的關系研究中，合理優化和組織，而不能泛泛地使用，避免對學習者帶來負面影響。

二、研究問題探討及方法

視聽雙重輸入模式研究的問題主要表現在三個方面，一是視頻畫面中敘事表意與學生對音頻同步解說的理解關系，有無促進學生對目標詞匯的理解和推斷；二是研究聲畫關系之間的銜接程度，并從詞義推斷正確率上來探討其相關性；三是基于視頻畫面與詞義推斷關系，就學生外語學習綜合水平的影響研究。對于圖像與音頻同步中目標詞匯的關系，如新聞報道中“help prenent damage to the heart，arteries”，從視頻中的畫面影像與詞匯“artery”之間的對應研究，并結合旁白“children are playing in the lagoon barefoot”，對于視頻中活潑的孩子在湖邊游玩，其目標詞匯“lagoon”就能夠與之建立影像對應。對于問題二中畫面與解說詞同步相關性問題，如果畫面與音頻解說詞匯存在意義關聯度，這種關聯有助于學習者從中加強詞義理解。如果圖像與解說詞對應關系不明顯，旁白及解說又容易使得畫面信息過于聚集，目標詞匯與同步畫面難以進行連續對應，在容易使學習者產生發散聯想，導致出現錯誤理解。對于問題三中圖像與音頻解說詞匯之間沒有關聯，如“Those are the substances in food that oxidize cells”，對于圖像如果是超市貨架中的物品，而目標詞匯“oxidize”與畫面不存在任何關系，則在詞義理解上難以銜接。

在本研究中通過對某校大學一年級新生進行分班測試，借助于4段視頻資料來進行試驗，圍繞四個主題（巧克力對身體有益健康、海象的生存危機、風能發電試驗、廢棄食用油制造生物燃料研究），從同步視頻與目標詞匯的聲畫對應關系研究中進行記錄和評測，當目標詞匯與圖像同步時為2分；目標詞匯與同步視頻完全不相關則為0分；目標詞匯與視頻同步信息介于兩者之間為1分；對各班學生進行測試后匯總。整個實驗過程是在視聽組、聽力組相同視頻素材基礎完成的，第一遍視頻不能記筆記，第二遍在視聽中猜測目標詞匯的詞義；第三遍不能記筆記；第四遍進行視頻內容及目標詞匯的詞義推測。通過對各測試小組的成績進行統計匯總，受試者從視聽學習中獲得的評分結果進行標準化，如當“grease”的詞義為“油”得2分，當“lagoon”的詞義本為“環礁湖”，寫作“湖”時記1分；當“confection”本義為甜食而寫作“成分”時則與正確答案無關，標記0分。

三、研究結果與分析

本課題在第一個問題研究中，從視頻畫面的敘事表意與音頻同步解說對應關系上，結果表明視聽雙重輸入模式對于學生了解和提升生詞詞義的推斷具有積極作用。視聽信息可以幫助學生從視頻中來梳理整體意義，并能夠從上下文銜接中來促進對語義的推斷，特別是當音頻中的解說詞與視頻信息相關時，能夠有效降低學生的認知負擔。如學生在新聞報道中，就報道的主題、以及相關背景信息的呈現，讓學生從中來判斷詞義的方向，從形成假設、確認假設及在眾多假設中明確合適的假設時，具有較好的銜接作用。在對本課題第二個問題的總結中，將聲畫關系的結合度與詞義推斷正確率進行探討，從聲畫關系緊密結合中，學生對詞義的推斷正確率較高，從而得出學生對目標詞匯詞義的推斷，取決于視頻畫面與解釋同步的相關性；如果同步音頻與目標詞匯詞義相關，則有助于提升正確率，如果聲畫關系疏遠，也就是說圖像與目標詞匯之間缺乏對應關系，學生容易在視頻信息及解說干擾下背離語境。另外，對于新聞報道等視頻中存在較多生詞詞匯時，由于學生未能從目標詞與相關詞匯之間建立匹配關系，因此會削弱學生對詞匯詞義的推斷正確率。如果某些畫面停留時間過長、旁白未能及時跟進，學生在時間不一致下未能充分建立目標詞匯與聲畫的關系，從而帶來推斷的模糊性。如有些畫面信息量過大，存在人物特寫或鏡頭動作太倉促，短時間內無法對目標詞匯與聲畫進行有效關聯，從而降低了生詞詞義的識別。可見，對于畫面與詞義推斷、詞義理解來說，在外語綜合水平中具有促進作用，一方面來自學習者自身學習注意力的促進，另一方面視聽雙重輸入模式，能夠讓學生從敘事表意及音畫關系中促進對正確詞義的猜測。總之，在詞匯教學中，借助于視聽雙重輸入模式的積極作用具有一定的現實意義。當同時，對于詞匯習得教學不能一蹴而就，要從不斷的教學實踐中進行優化，特別是在詞匯、畫面、音頻三者關聯度上，有意識的選擇目標詞匯的復現率，讓學生從中建立和鞏固語音、圖像、詞義的銜接關系，提升學生對生詞詞義的有效習得。

參考文獻：

[1]季月，石玲.關于外語多媒體教學信息呈現中視聽干擾問題的探討[J].外語電化教學，2013（02）.

[2]董劍橋，周迓菁，劉桂如.英語多媒體視頻閱聽過程中的知覺負載與選擇性注意——以視頻字幕呈現量對閱聽理解的影響為例[J].外語電化教學，2013（05）.

（作者單位：河南財政稅務高等專科學校）