二語聽力理解的多模態認知模式研究

耿敬北

（宿遷學院 外語系，江蘇 宿遷223800）

關于聽力認知研究的文章近十幾年來層出不窮，這些文章主要從認知學、心理語言學、語用學等角度對聽力理解過程進行了研究。近幾年出現了多模態理論與聽力相結合研究，這一視角無疑是對聽力理解研究的創新，具有重要意義。根據目前的研究現狀，現有的聽力多模態研究主要集中在對聽力材料的多模態輸入研究以及從多模態視角對聽力訓練進行元認知策略控制研究。［1－4］但在聽力實踐中，二語聽者面對的往往是語音單模態輸入，如接聽電話（不可視）、收聽無線電廣播以及國內大學英語四六級聽力測試等。因此，從多模態視角對語音單模態輸入的聽力理解認知過程進行系統的研究顯得尤為必要。

一、認知與元認知

認知科學認為，語言運用的心理過程是以認知為基礎的。人腦處理各種心理表征的過程從本質上說是認知的，這一過程的基本模型同樣可用來解釋人類語言的感知、理解、貯存、檢索和產出。［5］因此，認知與語言學習的密切關系，認知對語言技能習得的制約作用是不可低估的。

元認知又稱自我認知、反省認知、后設認知等。美國兒童心理學家弗拉維爾（Flavell）于1976年對元認知作出了明確的界定：元認知即指認知主體對自身認知活動的認知，它不僅包括對正在發生的認知過程和自我認知能力及兩者相互作用的認知，而且也指認知主體對自身心理狀態、能力、目標、策略等方面的認知以及對認知活動的計劃、監控和評價。［6］元認知最簡單的定義就是有關認知的認知以及對認知的調控。

元認知與認知存在著本質的差別：元認知即指認知主體對自身“認知”的認知或意識，它不包含“認知”本身，而是通過對認知活動的調控間接地對認知活動進行完善。換言之，元認知是認知主體對自身認知的反省或再加工，是以認知為基礎的更高一級的思維活動。［7］

二、多模態與聽力理解的認知過程

多模態和聽力理解的認知存在諸多內在聯系，二者均涉及到感官感知和符號運用等過程。多模態與二語聽力理解認知的結合，有助于更加清晰地去認識聽力理解過程的認知本質。

（一）多模態定義

Halliday認為在具體的社會情景中，人們總是用各種各樣的符號資源來完成意義構建，各種不同的符號資源就構成了多模態。［8］Levine＆Scollon，Bladry等認為多模態指交際時所采用的多種模式，如言語、色彩、味道、圖像等。多模態同時也可以表示不同的符號資源被調動起來，在一個特定的文本中共同構建意義的各種方式。［9－10］胡壯麟，顧曰國等認為用兩個以上感官進行互動就構成多模態。［11－12］可見，不同感官對多種符號資源的調動、對構建多模態具有重要意義。而不同感官與各種符號在聽力理解認知的感知、解碼和編碼等環節中也起著重要作用。

（二）聽力理解的認知過程與多模態內在聯系

二語聽力理解過程的研究在國外起步較早，形成了相對成熟的研究結果。Kenneth認為聽力理解由五個成分構成，并且在順序上，后一個成分總是依賴于前一個成分，即辨音、信息感知、聽覺記憶、信息解碼、運用所學語言使用或儲存信息。［13］Anderson對聽力理解過程的劃分更為簡單，他把聽力理解劃分為三個相互聯系而又循環往復的過程：感知處理、切分和運用。［14］Abbott等則認為，外語的聽力理解過程與母語的聽力理解過程有相似之處。他們認為，聽力理解包括感知、解碼、預 測 與 選 擇 等 過 程。［15］Helgesen，Rost 和Richards＆Schmidt等都將聽力定義為一個主動的意義構建過程，聽話人不只是簡單地將所聽內容進行解碼，還主動從看到或聽到的信號中獲得信息，并將其與他們的已有知識相聯系。［16－18］

基于以上學者對聽力理解的描述，二語聽力理解總是涉及到感知和解碼等過程，而這些任務則需要聽者借助各種感官去完成。如聽到“sour”激發味覺感知，產生酸的味覺體驗；“table”則會激發視覺感知，并在大腦中出現桌子的圖像；而“cry”則會刺激聽覺和視覺感知，產生難過的表情和哭泣的聲音。可以這樣認為，聽力理解過程是多模態的認知過程。此外，在各個感官交互作用下，抽象的聽覺模態最終轉變成由圖像、動作、聲音等所構建的多模態場景。因此，聽力理解結果也是多模態的。

三、聽力理解多模態認知模式構建

在一般二語學習者的聽力理解過程中，從聽覺到大腦認知往往沒有發生模態轉換，只是把聽到的單語音模態轉換成漢語文字模態，即簡單的逐字翻譯。該過程具有理解零碎性、不連續等特征，且即聽即忘，易被陌生信息、焦慮情緒干擾，常出現每個單詞都聽懂卻又無法實現對篇章理解，更談不上對信息進行預測。這種單模態轉換的聽力理解模式很難保證短暫記憶長久性和連續性，同時還占用很大的記憶空間，造成嚴重的認知負荷。而多模態聽力理解的認知模式構建主要在于通過多模態的認知加工，構建能夠減輕認知負荷的多模態心理情景。

（一）多模態心理情景

所謂多模態心理情景是指輸入信息經認知系統的各個感官加工并與已有的多模態生活經歷和百科知識相互作用而形成的靜態或動態多模態模塊。多模態心理情景儲存在短暫記憶區，具有較強邏輯性、穩定性、敘事性和直觀性，所占記憶空間小，易記等特征，克服了傳統聽力理解模式中短暫記憶效果不佳等困難。

（二）聽力理解多模態認知模式

根據袁傳友構建的多模態信息認知模式，在網絡信息與多媒體環境下，多模態是學習者利用各種感官來獲取、認知和傳遞信息的手段和方式。［19］認知是對信息的處理和加工，意味著有信息就需認知處理。聽力理解的多模態認知模式是利用大腦信息處理系統對聽力素材進行多模態轉換，聽覺在接受單模態語音輸入時把信息進行分類并傳送到各個感官系統進行多模態加工，該過程就是跟人的長時記憶庫中的多模態生活經歷和百科知識進行匹配的過程。匹配成功后即會形成相關圖像、動作、表情、聲音、味道、感受等模態，然后在認知系統進行重組形成連貫性的動態或靜態多模態心理情景（動畫、圖片、表意線條、圖表等）。最后，大腦認知系統會對即將發生的多模態心理情景進行預測，隨即進入下一個聽力循環，該過程如圖1所示。

圖1 多模態聽力循環認知系統

比如，當信息“It’s so cold．Would you please turn on the air－conditioner？”進入聽覺系統后，聽覺系統會把抽象信息轉換成具體感知信息并分類：“cold”轉換成寒風呼嘯聲，即聽覺模態以及棉襖、大雪或者口中吐出的寒氣等視覺模態；“air－conditioner”轉換成空調視覺模態；而“Would you please…”則會轉換成說話者有禮貌言語聲音和尋求幫助的表情模態；“turn on”則可轉換成拿遙控器的動作模態。以上各種模態在認知系統進行重組，形成連貫性的多模態心理情景：一個陳列著各種生活家具包括取暖設施的房間里，兩個人在學習或工作，室外飄著大雪，刮著寒風。從一個人表情得知他感覺很冷，于是他隨口跟另外一個人發出了“It’s so cold．Would you please turn on the air－conditioner？”請求。聽者根據語氣模態，以及自身相關生活經歷，可以判斷兩者之間社會關系。由此，一個完整的聽力理解的多模態認知過程得以實現。

四、研究設計

（一）研究問題

本研究主要探討以下2個問題：二語學習者在聽力理解多模態認知模式實驗后是否養成了聽力多模態認知習慣？聽力理解多模態認知模式能否真正促進學習者的聽力理解，提高學習者的聽力成績？

（二）研究對象

研究對象為江蘇某高校非英語專業二年級兩個班學生。實驗前對三位任課教師所授課的6個班級進行問卷調查和聽力水平測試，根據分析結果篩選出在聽力各方面沒有顯著差異的兩個班級（由同一位教師承擔教學任務）作為實驗對象。其中（1）班為實驗組（52人），采用聽力理解多模態認知模式，（2）班為控制組（50人），采用傳統聽力理解認知模式，實驗為期1年。

（三）實驗設計

1．實驗工具

實驗工具之一是調查問卷，旨在了解學習者在實驗前后聽力認知習慣。問卷調查采用萊克特量表（Likert Scale），給出5個選項供選擇，即：很不同意（1分），不同意（2分），基本同意（3分），同意（4分），非常同意（5分）。平均分與均值“3”比較，某項得分高出均分越高，說明對該項調查內容肯定態度越強烈。

實驗工具之二是項目初期及項目后期的聽力水平測試卷。初期和后期測試使用往年大學英語四級真題的聽力部分。實驗所有數據均輸入SPSS做相關的統計分析。

實驗后通過訪談，旨在了解學習者在多模態認知模式運用過程中遇到的問題和體會，探尋聽力成績存在差異的原因。

2．實驗過程

實驗前篩選出來的兩個班級聽力成績數據分析結果如表1所示：兩個班平均分13和12．7很接近，雙尾檢測值0．576大于0．05表明兩組之間差異性不顯著，即兩個班級的聽力水平無顯著差異。

表1 前測結果

聽力習慣方面，結果如表2。所有的前測聽力習慣平均值都小于3，說明學生在聽力理解過程中很少使用多模態認知模式。

表2 前測和后測聽力習慣對比

聽力理解多模態認知模式實驗具體操作方法是：實驗前，對實驗組學生進行多模態認知模式培訓，加強學生對“多模態”概念的了解。培訓以舉例、圖示等通俗易懂方式讓學生理解聽力多模態認知步驟。如有意識地向學習者輸入某一個句子，提醒他們根據五官感知聯想到與該句表意相關的經歷和知識，形成動態或靜態多模態心理圖像或場景，并有意識地對下一句作出預測。如此反復地對受試者進行多模態轉換訓練，直至學習者大腦中形成該思維模式。在平時的聽力課堂上，反復以簡潔易懂、具體直觀的語言重復該模式，幫助學生改變原有的聽力習慣，養成聽力多模態認知習慣。

聽力材料主要分為短對話（一問一答）、長對話（兩個人之間就一個或多個話題進行多個回合的對話交流）、短文聽力和復合式聽寫。材料的選擇遵循從易到難，循序漸進的原則：實驗初期選擇情境性和直觀性較強，話題為大家所熟知，生詞少，容易為各種感官所直接感知、轉換等特征的素材，然后慢慢過渡到抽象和具體、間接和直觀、熟悉和陌生話題相結合，語言難度達到大學英語四級要求的聽力材料。這樣有利于提高學生聽力理解，調動學生學習積極性，也便于多模態認知模式在聽力實踐教學中的運用。

（四）結果與討論

經過1年的多模態認知模式訓練，對實驗組和控制組再一次進行與前測同一問卷多模態認知習慣問卷調查，并對調查結果進行對比。在一年多模態認知模式訓練結束后，實驗組的多模態認知習慣有了顯著的改善（P值都為0．000）。實驗組聽力習慣平均值都大于3，而控制組的情況與前測相差不大，說明多模態認知習慣已經在聽力理解中形成。這種聽力理解模式是否在運用之后能有效提高聽力水平？在為期1年的實驗結束后，又對實驗組和控制組進行聽力水平測試。兩組回收的有效測試卷分別為：實驗組46份；控制組42份。表3中的結果顯示，實驗組相關系數0．514和控制組相關系數0．800都大于0，說此實驗是有意義的。實驗組平均分由前測的13．31上升到后測的22．54，而控制組則由前測的12．93上升到15．31，說明兩個班級成績都有提高，但實驗組的后測平均分遠高于控制組。

表3 控制組和實驗組前后測對比

此外，后測結果（獨立樣本t檢測）中的Sig．（2－tailed）值0．000小于0．05，見表4。顯示了實驗組和控制組聽力水平存在顯著差異，即實驗組聽力成績要優于控制組。綜上所述，聽力理解的多模態認知模式有效促進了聽力成績提高。

表4 后測結果

為了解決聽力理解多模態認知習慣和后測成績是否顯著相關這一研究問題，研究確定了后測成績的高分組和低分組，并對兩組進行Pearson相關分析。按照秦曉晴《外語教學研究中的定量數據分析》一書提出的方法，［20］將受試對象分數前25%的確定為高分組，后25%的學生確定為低分組。將后測成績進行排序，將排名靠前12名學生確定為高分組，排名靠后12名學生確定為低分組。先對高分組和低分組在后測成績上的差異性進行了獨立樣本t檢驗，Sig．（2－tailed）值0．000小于0．05，說明分組區別性顯著，這證實了分組的可行性。對兩組進行相關分析的結果如表5所示，根據秦曉晴對相關系數的劃分標準：相關系數介于0．2和0．4之間為低相關；介于0．4和0．7之間為切實相關即較顯著相關；介于0．7和0．9之間的為高相關，即顯著相關。高分組聽力理解多模態認知習慣和后測成績相關性顯著，R值為0．724，Sig．（2－tailed）值為0．008，而低分組聽力理解多模態認知習慣和后測成績卻呈現低相關性，R值為0．369，Sig．（2－tailed）值為0．238。

表5 皮爾森相關性

為了找出導致兩組相關分析結果截然不同的原因，對實驗組學生進行了訪談。結果表明，高分組和低分組學生對聽力多模態認知模式都表達了肯定態度，都能理解和運用該聽力模式。這與兩組的聽力多模態認知習慣均值（高分組均值4．11大于3，低分組均值3．41大于3）相符。兩組學生不同點在于：低分組學生的單詞發音與標準發音偏差較大，缺乏連讀、略讀、重度、輕讀、語調、斷句等方面常識，從而造成對某些單詞、短語以及意群的認知盲區，影響了聽力理解多模態認知模式效果。此外，高分組在百科知識和生活經驗方面較低分組要更加豐富和全面，這有利于在聽力理解過程中進行多模態匹配和預測。所以，盡管低分組學生運用了聽力理解多模態認知模式，但薄弱的外語基本功卻影響了該模式的效果，從而造成了聽力理解多模態認知習慣和后測成績之間的低相關性。

五、結語

對二語聽力理解的多模態認知模式較傳統聽力理解的認知模式更具體化、直觀化，更易理解、易操作。改變了以往學習者被動去接受聽力信息的局面，使其真正融入到聽力材料所呈現的多模態心理情景中去，主動去接受信息，主動去預測信息。一定程度上克服了傳統聽力課堂上學習者缺乏主動性、易犯困和走神的缺點，充分發揮了學習者的主動性、創造力和想象力，并從中獲得多模態認知樂趣。

［1］ 謝競賢，董劍橋．論多媒體與多模態條件下的大學英語聽力教學［J］．外語電化教學，2010（11）：9－13．

［2］ 王玉雯．多模態聽力自主學習的設計及其效果研究［J］．外語電化教學，2009（6）：62－65．

［3］ 盛仁澤．元認知策略與多模態交互下的聽力理解和詞匯附帶習得［J］．黑龍江高教研究，2011（9）：179－182．

［4］ 龍宇飛，趙璞．大學英語聽力教學中元認知策略與多模態交互研究［J］．外語電化教學，2009（7）：58－62．

［5］ 桂詩春．認知與語言［J］．外語教學與研究，1991（3）：3－9．

［6］ Flavell，J．H．Cognitive Development［M］．（2ndEd）．NJ：Erlbaum，1985．

［7］ 劉紹龍，肖善香．認知、元認知與第二語言習得［J］．西安外國語學院學報，2002（4）：37－41．

［8］ Halliday，M．A．K．An Introduction to Functional Grammar［M］．London：Edward Arnold，1985．

［9］ Levine Philip＆Ron Scollon．Discourse and Technology Multimodal Discourse Analysis［M］．Washington，DC：Georgetown University Press，2004．

［10］ Baldry ＆ Thibault．Multi－modal Transcription and Text A－nalysis［M］．London and Oakville：Equinox，2006：21．

［11］ 胡壯麟．社會符號學研究中的多模態化［J］．語言教學與研究，2007（1）：1－10．

［12］ 顧曰國．多媒體、多模態學習剖析［J］．外語電化教學，2007（2）：3－12．

［13］ Kenneth，C．Developing Second Language Skills；Theory to Practice［M］．Houghton Mifflin Company，The Center for Curriculum Development，INC，1976．

［14］ Anderson，J．R．Cognitive Psychology and Its Implications［M］．New York：W．H．Freeman，1985．

［15］ Abbott G．et al．The Teaching of English As an International Language Practical Guide［M］．Glasgow and London：Collins，1981．

［16］ Helgesen M．＆S．Brown．Practical English Language Teaching：Listening［M］．Beijing：Phoenix Press Media Group＆Yilin Press，2008．

［17］ Rost，M．Teaching and Researching Listening［M］．Harlow，UK：Pearson Education／Longman，2002．

［18］ Richards，J．C．＆R．Schmidt．Longman Dictionary of Language Teaching and Applied Linguistic［M］．London：Longman，2002．

［19］ 袁傳友．多模態信息認知教—學模式初探［J］．山東外語教學，2010（4）：10－13．

［20］ 秦曉晴．外語教學研究中的定量數據分析［M］．武漢：華中科技大學出版社，2007．