多媒體語境大學生視覺素養認知建構研究

□陳風華

[香港理工大學 香港 999077]

多媒體語境大學生視覺素養認知建構研究

□陳風華

[香港理工大學 香港 999077]

多媒體語境大學生視覺素養的認知建構是信息社會知識快速發展的時代訴求。研究結合多媒體認知理論、視覺語法框架、概念隱喻理論和《新視野大學英語視聽說教程》（以下簡稱《教程》）考察大學生視覺素養的概念隱喻認知建構過程及范式。主要發現：首先，《教程》設計目的是通過圖像幫助大學生全面和準確理解圖文之間的內在聯系，進而夯實其視覺素養建構的認知水平；其次，《教程》通過知識視覺化和圖文關系建構概念隱喻認知模型，有助于大學生看懂和聽懂圖文內容，從而顯著提高其視覺素養及聽說能力。為多媒體教學環境中如何有效提高大學英語教學效果提供了新的探索視角。

多媒體語境；視覺語法框架；大學生視覺素養；認知建構；概念隱喻理論

引言

現代社會數字信息的飛速發展使得視覺圖像越來越普遍地出現在多媒體教材中。視覺學習通過視覺整合方式進行[1]，涉及圖像素養等技能[2]，是教與學發展的必由之路。眾所周知，高效視覺學習離不開科學的策略進行指導[3]，如批判性解讀和系統性思維等符號分析技能越來越廣泛地被使用在各類語言環境中[4]。相關研究發現，《新視野大學英語視聽說教程》的圖像、動畫和視頻等視覺符號能建構語境，提高大學生聽力認知能力[5]。同時，外語課程教與學信息化處理都是開始和結束于聽覺與視覺符號[6]。當前多媒體教學語境中的大學生英語學習方法和策略均呈現不適應特征，其主要原因是缺乏元認知學習技能，如闡釋能力、思考能力與批判能力[7]。國內有研究證明，目前大學生上述視覺素養認知能力均呈現不充分狀態[8]，國外也有研究證實，很多學生能觀看和閱讀圖像的表層內容，但是不能解釋和加工圖像的內部特征[9]。

當前學界對多媒體學習認知領域研究窠臼于抽象的理論思辨和狹隘的經驗總結，缺少實用和有效的實證理據支撐，對《新視野大學英語視聽說教程》[10]（以下簡稱《教程》）視覺素養視閾的深入探討更是寥寥無幾，凸顯《教程》圖像與文本建構的概念隱喻領域存在廣闊的探索空間和研究潛力。《新視野大學英語》作為全國首批教育部推薦使用的，聚多媒體、多渠道和全方位等特色于一體的新時代英語教材，具備第五代立體化教材的鮮明特色，其新穎、實用的精美插圖編排和按主題組織單元設計一經問世便贏得社會各界贊譽一片。鑒于此，對其開展多維度、多層次探索和研究的重大意義不言而喻。本研究在多媒體學習理論、概念隱喻理論和視覺語法理論框架等理論基礎上系統考察《教程》插圖語料的語類及功能，以期探索圖像隱喻認知建構的基本范式，從而為我國多媒體語境如何有效提高大學英語聽說教學效果提供一定的參考價值。

一、多媒體語境視覺素養研究綜述

（一）多媒體語境

Mayer[11]提出5個認知過程、3類認知假設和3種概念隱喻，分別是選擇文本過程、選擇圖像過程、組織文本過程、組織圖像過程和圖文整合過程；“視覺+聽覺”雙通道假設、工作記憶有限能力假設與積極加工假設；多媒體學習是反應強化、多媒體學習是信息獲取及多媒體學習是知識構建。Veronikaset al.認為多媒體語境包括3個描述維度：傳送教學信息電腦投影等設備、呈現教學信息圖文等資源以及接受教學信息聽覺、視覺等感官，并總結出22項多媒體語境學習認知基本原理，其中與視覺素養密切相關有如下5項：（1）多媒體原理：圖文互補比純粹文字呈現方式更能提高學習質量；（2）分散注意力原理：圖文空間位置與時間呈現相鄰能避免分散注意力；（3）提示原理：對教材內容給予圖文信息提示能提升學習成效；（4）時空鄰近原理：空間鄰近指圖-文在書本或多媒體屏幕之間空間距離近時比距離遠時學習效果要好，時間鄰近指圖文同時出現時學習效果超過交替出現時學習效果；（5）人性化原理：多媒體圖文呈現對話優于正式、規則性呈現對話[12]。

國內學者對多媒體語境也進行了深入研究。孫燕青[13]認為多媒體語境具有情境性、動態性和交互性等優勢，能給學習者提供生動、自然和真實的語言信息，使學習更具趣味性和靈活性。陳一希[14]歸納大學英語多媒體教材的4個語境建構特色：（1）語境標志性語言元素數量眾多、密度集中；（2）直觀語境紛紛建立，心理圖式加速重構；（3）聲形并茂語境使學習者如同身臨其境，有助于提高其文化和語用能力；（4）言辭語境和非言辭語境元素的分布符合語義能力培養的教學目的。曾方本[15]提出外語多媒體情景即為視聽動態語境，其信息載體包括聲音符號、聲響符號和圖像符號，符號表征體系的構建要遵循視覺意象與聽覺意象相互一致的原則，這樣才能使視聽信息疊加聯系、增加感知深度，從而獲得理想的認知效果。姜占好[16]總結多媒體語境的3個基本特征：（1）突出學習者本體地位；（2）提供語用能力發展語境；（3）提供語用能力發展互動。

（二）概念隱喻

隱喻能力是外語學習者必備的認知能力，它有助于增強學習者語法能力、語篇能力和策略能力。外語習得過程要求學習者像本族語者一樣能夠使用隱喻思維反映概念并對概念進行解碼[17]。教師在外語教學過程中要通過讓學習者閱讀原版教材、觀看圖像/影視作品等方式創造、設計真實語境，提高學習者準確理解和熟悉使用隱喻概念的能力[18]。

概念隱喻能力指理解、解碼和運用語言概念系統的能力，包括發現隱喻、理解隱喻、提取隱喻和生產隱喻等方面。Lakoff & Johnson[19]提出概念隱喻理論，認為隱喻是兩個概念域之間的映射形式和人類賴以生存的思維方式，人們使用具體的概念（源域）去認知、建構和表達另一個抽象的概念（目標域），通過域際映射和意象圖式解讀源域與目標域建構的跨認知域隱喻系統，概念隱喻包括方位隱喻、實體隱喻和結構隱喻三個類型。Condon[20]認為概念隱喻的系統性和重復性能夠顯著提高學習者對語言結構和比喻表達的認知能力。任紹曾[21]指出概念隱喻的體現形式為詞語、短語和句型。Forceville等學者自20世紀90年代起把語言學領域的概念隱喻研究拓展到聲音、色彩、圖像和空間布局等多模態領域。關注圖像等符號的多模態隱喻研究廣泛涉及各類模態的文體表達、動態建構和文化語境等多維視角，充分融合認知語言學和符號學、傳媒學等多模態語篇等學科，如教材插圖、電影圖像和廣告圖畫，是一種新興的研究范式。

（三）視覺素養

Eppler和Burkard[22]創立知識可視化概念，認為其優勢表現在社會、情感和認知，主要表征是其圖像解讀方式：圖文符號形成不同的認知“圖形”，如概念圖、語義圖和思維圖等幫助學習者獲取信息，以及建構和傳播知識。嚴曉蓉[23]指出，知識可視化是從圖文等視覺資源獲取知識的視覺學習重要方式，具備直觀性、趣味性、隱喻性和交互性，手語與書面語等視覺言語符號以及圖像與動畫等非言語符號的有機結合使其成為讀圖時代的新型學習認知范式。張舒予[24]認為多媒體語境圖像的觀看特征需要擴大認知，圖像的文化內容需要增加闡釋，媒介的傳播本質需要深入揭示。在實證研究領域，中外學者如Seculeset al.[25]，李連生[26]和趙婷[27]研究證明，圖像和視頻等可視材料能顯著提高學習者聽力認知水平。美國哈佛大學、耶魯大學等高校紛紛提供形如MOOCs集圖像、文本、視頻等于一體視覺學習大數據網絡資源。英國伯明翰大學專門建立視覺學習研究實驗中心，大力提倡“案例研究(Case Studies)”觀念，我國南京師范大學開發建設視覺文化專題網站，始終倡導“從共享到共生”理念。

Debes[28]首次將視覺素養定義如下：通過觀察方式擁有及整合感覺經驗來建立視覺的能力，他提出決定視覺素養地位的4個學習經驗特征：（1）能讓學習者與圖像實現有意義交流；（2）能使學習者從自身所處環境出發選擇特定視覺現象；（3）能促使學習者擁有作出有意義視覺觀點機會；（4）能激發學習者在視覺上鍛煉想法，以及培養視覺素養的5個基本步驟：觀察、學習、交流、闡釋和理解。Kimberly[29]認為視覺素養是區分和解釋視覺符號來獲取意義的能力。美國大學與研究圖書館協會(ACRL)發布的《高等教育視覺素養能力標準》指出，視覺素養是一系列使個體有效尋找、解釋、評估、使用和創造圖像與視覺的媒體能力；視覺素養技能為學習者裝備理解及分析視覺材料生產與使用過程中涉及語境、文化、道德、美術、知識及技巧的能力；具備視覺素養的個體既是對視覺媒體懷有批判眼光的消費者，也是對公共知識及文化富有競爭力的貢獻者；視覺素養包含下列7類評估標準：（1）識別視覺材料的類型與層次。（2）有效并迅速發現和獲得所需圖像和視覺媒體。（3）解釋并分析圖像和視覺的媒體意義。（4）評估圖像及其來源；（5）有效使用圖像和視覺媒體。（6）設計并創造意義深遠的圖像和視覺媒體。（7）通曉圍繞在圖像與視覺媒體創造和使用周圍的道德、法律、社會及經濟問題，并能在道德上使用這些材料。Beatty[30]提出，視覺素養是幫助人們批判性思考視覺信息的技能。國內學界對圖像視覺素養領域研究尚處于初步階段：張舒予[31]認為視覺文化包括所有通過視覺和知覺直接獲得信息進而解讀其含義的文化樣式。何高大[3]把視覺素養概括為讀圖、解圖和譯圖認知能力。

二、大學生視覺素養建構考察

（一）《教程》插圖功能分類

插圖是《教程》的重要組成部分。Bryant[32]認為幽默插圖能增加大學教材的吸引力。Levinet al.[33]指出，教材課文越難插圖越有幫助，插圖能提供文本所需的上下文語境來實現教材敘事的可視化，便于學習者理解和接受。Carney和Levin[34]證實插圖能提高學習者成績。中外代表學者分別對教材插圖的功能進行了分類（參見表1）。高水紅[35]歸納教材插圖的3個特征：（1）再現與表現；（2）整體與整合；（3）感覺與感悟。宋振韶[36]從組織形式角度把教材插圖分為獨立圖（單幅圖像表達完整意義）、發散圖（多幅圖像表達共同主題）、序列圖（一組獨立圖像共同表達主題）和多層圖（由獨立圖像展開深入表達主題）。結合上述中外學者教材插圖功能研究成果及《教程》插圖位置分布與功能呈現客觀實際，我們提煉出如下的插圖類型：裝飾功能，表征功能和組織功能（參見圖1和圖2）。

圖1 《教程》插圖功能數量

圖2 《教程》各模塊插圖數量

從插圖的功能視閾考察（參見圖1），《教程》Unit 1-Unit 10每個單元都分為引導(Lead-in)、聽力(Listening-skills)和口語(Speaking-out)模塊。教育部頒布的《大學英語課程教學要求》要求：“大學英語教學目標是培養學生的英語綜合應用能力，特別是聽說能力”，“大學英語課程設計應充分考慮聽說能力的培養要求，并給予足夠學時和學分”。一方面，就引導模塊而言，6個單元分別配有1幅插圖，4個單元分別擁有6到9幅插圖，出現這些差別的原因我們認為是后4個單元的主題較為廣泛和抽象，使用多幅插圖更能激發學生的多樣認知潛能。Pantaleo[37]證實，關注圖像的視覺設計和組成規則能提高學習者了解、闡釋、分析及創造圖像的能力。如主題為“Do You Work Out”的Unit 2配有8幅多樣戶外鍛煉插圖，創造出“Work Out”（鍛煉）現實語境，因而建構了“鍛煉是戶外運動”隱喻模型。同樣地，語場為“How’s the Weather Today”的Unit 4配有6幅不同天氣插圖，建立“天氣是起霧、下雪、海嘯、下雨和打雷”隱喻。主題為“What’s Your Favorite Food”的Unit 5配有9幅中西食物插圖，營造“食物是中餐和西餐”隱喻。主題為“Have a Nice Holiday” 的Unit 10配有7幅食物標識、親人團聚和鮮花禮品等插圖，制造“節日是和親人團聚、品嘗佳肴和張燈結彩”隱喻。另一方面，就聽力模塊而言，每個單元的插圖數量比引導模塊增加明顯，尤其是第4和第5單元的插圖數量顯著增加為8幅和5幅，凸顯《教程》通過設計更多插圖來建構多種真實語境，以提高學生在聽力語境中對天氣和食物話題的認知理解水平。除此之外，就口語模塊而言，《教程》有7個單元的插圖數量超過聽力模塊數量，彰顯《教程》更注重提高學生在口語語境中的認知水平。

從插圖功能在各單元所占的數量視野探索（參見圖2），首先，Unit 1-Unit 4的裝飾功能插圖數量對比表征功能和組織功能的數量而言相差懸殊，但Unit 5-Unit 10表明其數量增加值得關注。分析個中緣由，我們不難發現后6個單元的話題（Food，Health，Price，Housing-rent，Surfing-net，Holiday）比前4個單元的話題（College-life，Work-out，Friends，Weather）更富含實用性、知識性和趣味性，以及更貼近學生的日常學習和生活，因此也更容易引起學生的認知興趣和學習動力。其次，Unit 2、Unit 4和Unit 10的表征功能插圖數量相比其它7個單元數量增加顯著。探尋其中原因，我們不難判定：Unit 2描述Work-out主旨的插圖有8幅之多，隱喻該主題在聽說語境中的重要性；同樣，Unit 4的12幅插圖有6幅描寫抽象話題Weather，另外6幅闡述具體話題Weather of Forecasting。Unit 10的12幅插圖分別由描述具體話題Nice Holiday和Unforgettable Holiday的6幅插圖組成。最后，Unit 1-Unit 10組織功能插圖數量沒有出現跌宕起伏嬗變，其總量超過裝飾功能和標志功能插圖，我們認為其原因是《教程》在圖像視覺素養層面關照學生聽說語境中對插圖數量的認知訴求，在概念隱喻建構層面注重規避過難或過易的插圖認知維度。

（二）《教程》插圖認知構建

Kress和van Leeuwen[38]提出視覺語法理論，把Halliday的三大語言元功能即概念功能、人際功能和語篇功能發展為再現功能、互動功能和構圖功能，主張圖像可以再現客觀世界。馮德正[39]認為視覺語法的互動功能構建“圖像-觀眾關系是拍攝位置”隱喻，如“社會距離是權勢距離”、“權勢關系是垂直拍攝角度”，“觀眾參與是水平拍攝角度”等子隱喻，具體包括“近距離是短焦拍攝”與“遠距離是長焦拍攝”，“圖像權勢是低角度拍攝”、“平等是眼睛平視拍攝”與“觀眾權勢是高角度拍攝”，“觀眾參與是正面拍攝”與“觀眾疏遠是背面拍攝”等隱喻構式。由此可知，圖像個人距離的正面角度或稍側面平視是將讀者視作圖像的一部分，從而建立圖像參與者與讀者之間的互動親密關系。如果讀者需要通過俯視方式來觀察圖像參與者，此時讀者與圖像參與者之間關系為參與者享受權勢，如（3a）設計為個人距離的稍側面平視角度，隱喻歡迎讀者參與到插圖中的活動。總的來看，《教程》平視角度設計的插圖數量遠遠超過俯視數量（參見圖4），預示《教程》期望學生積極參與圖像設計的聽說語境，也隱喻聽說語境認知中學習個性化和自主性等未來發展方向。如（3b）設計角度為俯視，暗示讀者享有權勢地位，意味讀者要使用批評或批判眼光看待插圖內容。考察該插圖主題“Problem of Meeting People”, 其聽力語境是學生抱怨與他人交往遇到不少麻煩，此時學生就能夠在上述認知基礎上獨立判斷，該插圖設計目的是隱喻人際交往中不能一味抱怨，這樣就為后續的圖文概念隱喻建構認知奠定堅實的理論基礎。

從插圖的構圖功能視域分析，《教程》艷麗紛呈的圖像元素給學生的視覺享受帶來饕餮盛宴。Heinichet al.[40]研究表明，彩色圖像的應用效果優于黑白圖片。Teng & Sun[41]研究發現，水平軸排列的圖像呈現明喻特征，垂直軸擺放的圖像表現對比表征，曲線則展現目標域的永不停歇特點。據此可知（參見圖3），（3c）水平軸排列插圖描述的都是相同類型的戶外運動，而上下軸分布插圖則描寫對比類型戶外活動：如“1”與“6”展現男性和女性性別對比，“2”與“4”展示籃球與羽毛球大小對比，“5”與“6”呈現陸地與水上方式對比。這樣一來，學生就會建構如下插圖認知：運動不分男女；運動不分體育器材大小；運動不分陸地水上，進而在此認知經驗上建構下列運動概念隱喻：“運動是男人和女人鍛煉”；“運動是打籃球和羽毛球”；“運動是陸地和水上鍛煉”。從插圖語類方面探究（參見圖5），《教程》的漫畫數量中有8個單元都是配備1幅，除了Unit 1的2幅，Unit 9的3幅，各單元其它插圖都是真實語境相片，這印證了《教程》“旨在通過真實場景全面提高學生英語聽說能力”的編寫理念。

從插圖認知隱喻建構的層面考察，Barthes[42]提出，圖像的語言訊息包含標題、解說詞、電影對白和漫畫文字等元素，能“錨定”和“接力”圖像。O’Neil[43]認為圖畫教科書的圖文存在增強、描述、互惠和密切聯系的關系。《教程》每單元口語模塊視頻文字右邊的插圖都設計有一句英文，表明視頻文字用來“接力”插圖訊息。反過來，學生在口語語境認知學習中也能夠通過插圖的圖文信息來“錨定”視頻文字。Felten[44]指出看圖不是被動的認知刺激接受過程，而是積極的意義建構。束定芳[45]提出隱喻的認知過程包括辨認隱喻及推斷含義，學生一旦發現本體和喻體之間的相似性，就能在聽說訓練中直接進入意義推斷過程，精準理解本體特征（參見表2，每單元隨機選取1個例子，我們把口語模塊視頻文字視為源域，插圖配備文字視為目標域）。

圖3 《教程》插圖設計角度和排列示例

圖4 《教程》插圖設計角度和排列位置

圖5 《教程》漫畫插圖各模塊分布

表2 《教程》概念隱喻認知模型范例

三、結語

Mitchell[46]指出21世紀問題是圖像問題。束定芳[47]認為隱喻理論對語言認知的教與學具有積極的指導作用和應用價值。朱建新[48]提出大學英語教學中提高學生隱喻認知思維能力的3種策略：一詞多義認知分析、英漢隱喻對比分析和隱喻表達認知分析。《大學英語課程教學要求》要求，“各高等學校應根據本校條件和學生英語水平探索、建立網絡環境下聽說教學模式”。因此，對多媒體語境大學英語視聽說教材的深入研究迎合了當代大學生亟需提高視覺素養認知隱喻能力的現實訴求。視覺素養有助于快速培養大學生視覺感官經驗, 切實提高其認知素養和言語素養，從而使其逐步成為全面發展復合型人才。

圖6 《教程》圖像素養認知隱喻建構框架

當前學界對隱喻領域研究局限于語篇、語法和詞匯層面，對視覺素養認知隱喻的理論和理據層面系統研究尚不多見。本研究以多媒體認知學習理論和視覺語法設計框架為研究依據，以《教程》插圖的功能、語類及數量等語料為考察對象，系統探索了多媒體語境《教程》視覺素養認知隱喻的建構框架（參見圖6）。研究發現：首先，77幅口語模塊、36幅引導模塊和36幅聽力模塊插圖說明《教程》重視聽說語境學生認知水平，更強調通過圖像素養提高學生隱喻建構能力；其次，73幅組織功能、35幅裝飾功能和31幅表征功能插圖表明《教程》聽力和口語模塊圖文的設計目的是通過圖像可視化幫助學生全面和準確理解圖像內容的內在聯系，從而為建構其隱喻認知能力提供堅實基礎；第三，數量很少的漫畫插圖證明，其在《教程》中主要充當裝飾功能，絕對數量優勢的相片插圖則證實，《教程》努力為學生營造真實的語言場景來學習地道語言；最后，《教程》通過圖像可視化和圖文關系建構概念隱喻模型，這樣能夠幫助學生精確看懂和聽懂圖文內容，顯著提高其聽說語境認知能力。毋庸諱言，限于《教程》插圖數量等語料限制，本研究存在一定局限性。展望未來研究，我們堅信后續研究在更龐大和詳實語料基礎上會加以進一步改進和完善我們現有的研究發現。

[1] KLEINMAN E, DWYER F. Analysis of computerized visual skills： relationships to intellectual skills and achievement[J]. International Journal of Instructional Media, 1999(1)： 53-69.

[2] LEITE W, SVINICKI, SHI Y. Attempted validation of the scores of the VARK//Learning styles inventory with multitrait - multimethod confirmatory factor analysis models[C]. SAGE Publications, 2009.

[3] 何高大. 二語習得視覺化研究的幾個關鍵問題[J]. 外語電化教學, 2014(1)： 27-32.

[4] 何蓮珍, 林曉. 高等教育環境下外語交際能力的培養—現實困頓和解決途徑[J]. 現代外語, 2015(1)： 83-92.

[5] 張小彩, 劉陳艷. 多模態語篇分析視角下的視聽說教程[J]. 內蒙古農業大學學報： 社會科學版, 2011(2)： 113-115.

[6] 胡加圣, 陳堅林. 外語教育技術學論綱[J]. 外語電化教學, 2013(2)： 3-12.

[7] 何高大, 鐘志英. 大學生對多媒體技術輔助大學英語教學的適應性研究[J]. 外語電化教學, 2006(2)： 41-48.

[8] 武文穎, 浦曉露. 大學生視覺素養認知能力調查[J].當代傳播, 2009(5)： 41-44.

[9] METROS S E. Educator's role in preparing visually literate learners[J]. Theory into Practice, 2008(2)： 102-109.

[10] 徐鐘. 新視野大學英語視聽說教程1[M]. 第二版. 北京：外語教學與研究出版社, 2013.

[11] MAYER R E. The cambridge handbook of multimedia learning[M]. Cambridge： Cambridge University Press, 2005.

[12] VERONIKAS S, SHAUGHNSSY M, 盛群力. 教育心理學與教育技術學聯盟：促進學習者認知變化—與理查德梅耶教授訪談[J]. 遠程教育雜志, 2008(1)： 21-26.

[13] 孫燕青, 董奇. 多媒體語境條件下的第二語言詞匯學習[J]. 心理科學進展, 2003(2)： 147-152.

[14] 陳一希. 紙質教材和多媒體教材的語境比較及案例分析[J]. 外語電化教學, 2006(1)： 66-70.

[15] 曾方本. 外語多媒體設計的符號學思考[J]. 外語教學, 2006(6)： 59-61.

[16] 姜占好. 多媒體外語教學語境下學習者語用能力的發展探討[J]. 外語電化教學, 2009(3)： 28-32.

[17] 陳朗. 二語教學中的隱喻能力培養[J]. 外語學刊,2010(5)： 47-49.

[18] 蔣敏, 王榮明. 二語概念隱喻能力培養研究述評[J].外語界, 2015(4)： 51-57.

[19] LAKOFF G, JOHNSON M. Metaphors we live by[M]. Chicago： University of Chicago Press, 1980.

[20] Condon N. How cognitive linguistic motivations influence the learning of phrasal verbs[C]//BOERS F,LINDSTROMBERG S. Cognitive linguistic approaches to teaching vocabulary and phraseology. Berlin： Mouton de Gruyter, 2008： 133-158.

[21] 任紹曾. 概念隱喻及其語篇體現—對體現概念隱喻的語篇的多維分析[J]. 外語與外語教學, 2006(10)： 17-21.

[22] EPPLER M J, BURKARD R A. Knowledge visualization： towards a new discipline and its fields of application[C]// SCHWARTZ D G. Encyclopedia of knowledge management. Hershey： Idea Group Publishing, 2004.

[23] 嚴曉蓉, 何高大. 視覺學習視角下的語言可視化表征與教學應用[J]. 遠程教育雜志, 2015(2)： 46-54.

[24] 張舒予. “視覺文化與媒介素養”課程核心理念與教學設計[J]. 現代遠程教育研究, 2012(2)： 38-43.

[25] SECULES T S C, HERRON, TOMASELLO M. The effect of video context on foreign language learning[J]. Modern Language Journal, 1992(4)： 480-490.

[26] 李連生, 沈虹穎. 搞好視聽教學推進英語教育[J]. 外語電化教學, 2001(1)： 43-46.

[27] 趙婷, 張法科. 影響聽力理解的一個超語言因素—可視材料[J]. 外語電化教學, 2005(6)： 51-54.

[28] DEBES J L. Some foundations for visual literacy[J].Audiovisual Instruction, 1968(13)： 961-964.

[29] KIMBERLY B M. Visual literacy and visual learning：integrating visual imagery into the early childhood classroom[EB/OL]. (2002-08-26). http：//teacher.scholastic.com/polaroid.

[30] BEATTY N A. Cognitive visual literacy： from theories and competencies to pedagogy[J]. Art Communication, 2013(1)：33-43.

[31] 張舒予. 視覺文化概論[M]. 南京：江蘇人民出版社,2003.

[32] BRYANT J D, BROWN A, SILBERBERG S E.Effects of humorous Illustrations in college textbooks[J].Human Communication Research, 1981(1)： 43-57.

[33] LEVIN J, ANGLIN G, CARNEY R. on Empirically Validating Functions of Pictures in Prose[C]//HOUGHTON H,WILLOWS D. the Psychology of Illustration. New York：Springer Verlag, 1987.

[34] CARNEY R, LEVIN J. Pictorial illustrations still improve students’ learning from text[J]. Educational Psychology Review, 2002(1)： 5-26.

[35] 高水紅. 教材插圖初探[J]. 教育研究與實驗,2000(3)： 36-40.

[36] 宋振韶. 教科書插圖的認知心理學研究[J]. 北京師范大學學報： 社會科學版, 2005(6)： 22-26.

[37] PANTALEO S. Language, literacy and visual texts[J].English in Education, 2015(2)： 113-129.

[38] KRESS G, LEEUWEN V. Reading images： the grammar of visual design[M]. London & New York： Routledge,1996.

[39] 馮德正. 多模態隱喻的構建與分類—系統功能視角[J]. 外語研究, 2011(1)： 24-29.

[40] HEINICH R, MOLENDA M, RUSSELL J D,SMALDINO S E. Instructional media and technologies for learning[M]. New Jersey： Prentice Hall, 1999.

[41] TENG N Y, SUN S. Grouping, simile, and oxymoron in pictures： A design-based cognitive approach[J]. Metaphor and Symbol, 2002(4)： 295-316.

[42] BARTHES R. The Photographic Message, Image-Music-Text[C]. London： Fontana, 1961.

[43] O’NEIL K E. Reading pictures： developing visual literacy for greater comprehension[J]. Reading Teacher,2011(3)： 214-223.

[44] FELTEN P. Visual literacy[J]. Resource Review,2008(6)： 60-64.

[45] 束定芳. 論隱喻與明喻的結構及認知特點[J]. 外語教學與研究, 2003(2)： 102-107.

[46] MITCHELL W J. Picture theory： essays on verbal and visual representation[M]. Chicago： University of Chicago Press,1995.

[47] 束定芳, 湯本慶. 隱喻研究中若干問題和研究課題[J]. 外語研究, 2002(2)： 1-6.

[48] 朱建新. 概念隱喻與外語教學[J]. 外國語文,2009(6)： 121-126.

Exploration on College Students’ Cognitive Construction of Visual Literacy in Multimedia Context

CHEN Feng-hua
(The Hong Kong Polytechnic University HongKong 999077 China)

The cognitive construction of college students' visual literacy in the multimedia context is the era call from the rapid development of the knowledge information. This research combines multimedia cognition theory, visual grammar framework, and the textbook of New Horizon College English： Viewing, Listening,Speaking to explore the process and paradigm of concept metaphor's cognitive construction by college students. It is found out that： first, the design intention of the textbook is to help college students both entirely and accurately understand the interior image-text connections through the illustrations, and further enhance the cognitive level constructed by their visual literacy; second, the textbook constructs the cognitive model of concept metaphor through knowledge visualization and image-text relation, which helps college students see clearly and listen well the image-text content, so that their visual literacy as well as listening and speaking capability are significantly facilitated. The research is believed to be capable of offering innovative exploration perspective on how to effectively improve college English's pedagogy quality.

multimedia context; visual grammar framework; college students' visual literacy; cognitive construction; conceptual metaphor theory

H0-05

A

10.14071/j.1008-8105(2017)04-0090-07

編 輯 鄧婧

2016 - 07 - 12

陳風華（1975- ）男，香港理工大學人文學院應用語言科學2014級博士研究生.