論視覺多模態話語的符號間性與認知功效

榮盈盈，戴培興，阮 瑾，吳蘇蘇

（東華大學 外語學院，上海 201620）

隨著數字化信息技術的飛速發展，一場革命已經在教育、文化、傳播等領域里悄然發生，其結果就是在公共交流中，語言和文字的傳統地位已經被撼動了，一種全新的多模態的話語形式已經深入到人們生活的方方面面［1］，甚至越來越多地處于突出的地位。

一、多模態話語

多模態話語是人類的生物性特征的表現，它涉及到多種感官的應用。人類可以通過不同的感官實現多重模態的交際：視覺模態（眼）、聽覺模態（耳）、味覺模態（舌）、嗅覺模態（鼻）和觸覺模態（皮膚）。從技術的意義上來說，多模態可解釋為專指融合兩種以上“傳播手段、方式或載體”的、人機交互式的信息交流和傳播的媒體。從符號學的意義上來說，多模態是指在交流活動中不同符號模態（semiotic mode）的混合體［2］，同時也可以表示不同的符號資源（semiotic resource）被調動起來，在一個特定的組合中共同構建意義的各種方式［3］。也有符號學者認為，判斷多模態的標準有兩條：一是看話語中涉及的模態種類有多少；二是看話語中涉及的符號系統有多少。雖然視覺模態只涉及了一種模態，但是其中所使用到的符號系統常常包括了文字和圖像兩種。因此，這種“圖文并茂”的話語通常也被稱為多模態話語［4］。在現實生活中，語言符號與非語言符號，如標志、圖像、手勢、表情和顏色等，一起形成一種更為寬泛的符號資源，它們具有相同的地位，共同參與意義建構。

二、話語多模態與認知心理

話語多模態是人類交流或人際交流的自然形態。實驗心理學家Treicher的實驗證明：人類獲取外部世界的信息途徑，83%來自視覺，11%來自聽覺，還有6%來自嗅覺、觸覺和味覺［5］。來自不同途徑的信息都會刺激大腦的認知。認知有許多組成部分，如感覺、知覺、注意、記憶、動作、思維、學習、語言等，它們相互依賴、相互影響［6］。認知心理學認為，認知是指通過心理活動獲取知識或經驗，這是人類最基本的心理過程。人腦接受外界輸入的信息，經過大腦的加工處理后，轉換成內在的認識活動和意向活動，即從感知覺和思維轉到欲念、動機、意圖、情緒、意志等。這種轉換過程就是人類的認知過程或信息加工過程。話語多模態為人際交流提供了最優的信息輸入方式和最佳的信息輸出方式，滿足了人類個體的認知活動的需要和實際應用的需要。

三、視覺多模態的符號間性

視覺系統是人類獲取外部世界信息的主要方式，“視覺多模態指的是除了文本之外，還帶有圖像、圖表等的復合話語……”［7］，或 “超出文字語言符號以上的多種符號語篇”［8］的話語。所以，它們之間應有某種相互作用的功能或特性：

（一）語義互補性

功能語言學家Halliday［9］認為，現實世界是由各種過程組成的，其中有物質過程、心理過程、關系過程、行為過程、話語過程和存在過程。圖像不具備表現所有過程的能力，它難以甚至不能表現心理過程和關系過程等，對圖像來說更容易表達的是物質過程、言語過程和存在過程。而文字卻擅長于描述心理過程、行為過程和關系過程。因此，視覺多模態可以彌補對方的不足或缺陷，使它們兩相呼應，互為補充［10］。

（二）語境協同性

從系統功能語法的角度來看，如果將整個靜態的“圖文并茂”的視覺多模態看成是一個語篇，那么圖像就是文字的語境。反之，文字就是圖像的語境。二者互為語境，在意義的現實化過程中互相作用，相互修剪無關的意義衍生，更加明確地限定了語篇的意義范圍，從而幫助讀者篩選出恰當的意義潛勢。二者之間的關系是兩相獨立卻又相互協同的。

（三）形式獨立性

盡管視覺多模態中的文字和圖像是在共建同一主題和語篇，實現相同的交際目的，但由于它們是不同的模態，兩者有不同的表達意義的形式機制。圖像模態以視覺語法表達意義，使語篇產生具象和情景的特點。而文本模態以功能語法表達意義和生成意境。它們在建構語篇整體意義上都各有自己特殊的貢獻。

（四）色彩沖擊性

視覺多模態不僅僅包括語言和非語言符號的形態，也包括這些符號本身的色彩。色彩是一種自然屬性，人的視覺對于色彩有特殊的敏感性，俗話說“遠看色彩近看花，先看顏色后看花，七分顏色三分花”。這就說明，色彩對人的視覺有強烈的沖擊性。色彩是與人的感覺（外界的刺激）和人的知覺（記憶、聯想、對比……）聯系在一起的。當人在不同顏色的環境中，他（她）的脈搏、血壓、情緒和腦電波都會有明顯的不同，這是因為人的生理會產生電化反應。色彩心理學家認為，在自然欣賞和社會活動方面，色彩在客觀上是物質世界的反映，但在主觀上又是一種心理感受和行為反饋，色彩感覺總是存在于色彩知覺之中。

四、認知功效的對比實驗

鑒于視覺多模態話語在認知理論方面的諸多優勢，作者精心設計了下列實驗，以揭示它對學生的認知產生的實際效應。

（一）實驗方法

參加本實驗的對象為上海某高校“大學英語”課程二級起點的兩個小班的學生，共62人，其中一班32人，另一班30人。其課本為《新視野大學英語（2）》。由于他們的英語分級測試成績基本在同一水平，所以這兩個班的學生分別代表了實驗組和對照組。

本次研究為定性與定量分析相結合，具體方法如下：（1）閱讀理解測試；（2）詞匯測試；（3）關于物理動作與心理活動的問卷調查（15項）。其中，閱讀材料來源于《全新版大學英語綜合教程（3）》，內容為學生熟悉程度不高的科技型題材以確保測試結果不受學生背景知識差異的影響，全文共1 333個單詞，其中生詞41個左右（約占3．1%），生詞量很接近常規比例 （3%）；閱讀理解測試題大都源于該閱讀材料中的課后練習，并改編成選擇題，方便學生作答；問卷調查由三部分組成，即“對測試材料的認可反應”，“閱讀測試中的物理動作”和“閱讀測試中的心理活動”。前兩個部分直接采用了美國著名應用語言學家Oxford的語言策略量表（Strategy Inventory for Language Learning，SILL）中的部分問卷。此表分類框架具體完整，包含了其他研究者對外語學習策略分類框架的主要內容和特點，因此在外語學習策略研究領域有代表性和較大的影響力。第三部分直接采用認知行為量表（Cognitive Behavior Rating Scale，CBRC）中的部分問卷。此表涉及認知行為的9個具體方面，是認知學和心理學領域公認的最具權威性的問卷調查之一。

根據本研究設計，提供給實驗組學生的閱讀材料為多媒體網絡課件，其中包括彩色圖片18個，藍色標記詞6個。實驗組的學生借助語言實驗室的電腦閱讀此課件，他們可以點擊課件中的超鏈接，欣賞不同的畫面，感受豐富的色彩等；而提供給對照組學生的只是傳統的白紙黑字的閱讀材料。

（二）實驗過程

在學生知識背景和測試要求基本相同的條件下，兩組實驗分別按下列程序進行：

步驟一：在做實驗時，要求實驗組和對照組的學生分別在30分鐘內完成閱讀與理解測試題（10個）；

步驟二：上述閱讀與理解測試進行過后，在兩組學生都無法再接觸到閱讀材料的情況下，要求他們在5分鐘內完成詞匯短期記憶測試（35個詞）和關于物理動作與心理活動的問卷調查；

步驟三：上述調查結束后，再過10分鐘，分別要求這兩組測試者在5分鐘內完成詞匯長期記憶測試（35個詞）。

上述實驗完成后，將所有數據輸入計算機，用SPSS進行分析，統計平均值、標準差、On－way ANOVA、以及其他相關系數。

事后，作者又以同樣的步驟補充了另一組實驗，共有39名學生參加，其英語水平與前兩組相同。此實驗組（非限制組）在閱讀與理解測試的時間和任務兩個方面不受限制。實驗結果用來與實驗組和對照組分別進行對比。

（三）實驗結果分析

表1中所顯示的實驗數據反映了部分的認知功效。在對測試材料相關內容熟悉程度和興趣度無明顯偏差的情況下（區分度①區分度以0．05為分界點，0．05以下為大，0．05以上為小。分別為0．971和0．308），實驗組和對照組的認知結果對比如下：

表1 實驗組與對照組認知功效對照

續 表

（1）在閱讀注意力跨度方面，實驗組與對照組之間存在十分顯著的差異，區分度為0．000；

（2）在新詞詞義的短期記憶方面，實驗組明顯好于對照組，區分度為0．025；

（3）在新知識點的長期記憶方面，實驗組也好于對照組，區分度為0．049；

（4）在文章與詞匯的綜合理解方面，實驗組明顯優于對照組，區分度為0．036；

（5）在文章、詞匯和問答的綜合測試方面，實驗組也明顯優于對照組，區分度為0．045。

（四）討論

對比測試的結果表明：視覺多模態的閱讀方式，在有時間限制的條件下，比單模態更具優勢，它能非常明顯地延長讀者的注意力跨度，顯著提高讀者對文章和詞匯的理解水平，尤其能很明顯地促進讀者對新詞詞義的記憶。然而，在深入研究多模態話語的認知功效時，我們還需要認真思考以下幾個關系。

1．多模態信息輸入與時間壓力的關系

實驗結果明確顯示，由于受到30分鐘的時間限制，實驗組成員不能充分地“點擊”圖片，也不能充分地利用多模態來增強理解和記憶（點擊數為平均22．97次／30 min）。可是，在無時間限制的情況下，非限制組成員對圖片和其他超鏈接的“點擊”就遠遠超過有時間限制的實驗組，點擊數為平均31．90次／45 min（平均用時），區分度為0．025（表2）。因此，多模態閱讀并不節省工序。

表2 實驗組與非限制組 “點擊鼠標數量”對照

2．多模態信息輸入與任務壓力的關系

任務壓力與時間壓力往往是交織在一起的。有時間限制的實驗組成員迫于時間壓力，從而忙于測試任務的完成（平均完成量為96．09%），無法盡興地閱讀各種圖片和其他拓展類信息。相反，沒有任務壓力的非限制組成員則能更多地享用多模態閱讀，但是，他們完成任務的比例就明顯地降低了，按每人平均用時45分鐘計算，他們完成了91．41%的任務，可是，如果按比例折算，在30分鐘的時間內，他們僅完成了60．94%的任務。相反，對照組成員在30分鐘的時間內卻完成了97．23%的測試任務（正確率和記憶量除外），因為他們只能進行單模態閱讀，無法拓展信息。這就表明多模態閱讀并不省工時。

3．多模態閱讀與疲勞度的關系

在疲勞度方面，三組相比有顯著性差異（表3），有時間限制的實驗組的疲勞感最強，平均值為3．03；而對照組的疲勞感最弱，平均值為2．50；非限制組居中，平均值為2．62；三組區分度為0．048。這就說明多模態閱讀是最累人的。

表3 三組“疲勞度”對照（ANOVA）

五、結論

正如Norris所說，現實生活中“所有的交際都是多模態的，并且已漸漸遠離了在交際中總是語言起中心作用的狀況”［11］。視覺多模態以其文字、圖像、色彩的天然和綜合的優勢，在閱讀中強化了學生的認知活動。這是由于在意義創建的過程中，“靜態圖文”視覺多模態相互依存、相互協調、互為依托。圖像的視覺語法和文本的功能語法共同構建了視覺多模態話語的完整的語篇、語境和語義。同時，由于多彩的視覺多模態本身具有強大的吸引力，并對讀者的視覺具有強大的沖擊力和對記憶產生持久的滲透力，其認知功效得到更充分的顯現。但是人們的大腦在信息處理的過程中，不可避免地受到時間壓力和任務壓力的影響，這就使人們的大腦在認知過程中所消耗的能量明顯加大。因此，作者認為：多模態話語的認知功效是相對的，它是以時間為做工成本的，以精力耗費為代價的。然而，由于視覺多模態具有天然的吸引力和沖擊力，這種成本和代價以及由此而引起的疲勞常常被忽略。如果我們充分認識到話語多模態對認知的積極作用，同時也充分認識到提高認知功效的相關條件，那么多模態英語教學就會開展得更趨合理和更加有效。

［1］Kress，Gunther．Multimodality［A］．Cope and kalantzis．（ed．）Multiliteracies［C］．London：Routledge，2000：182－202．

［2］Leeuwen，J．van（2005，June 7）．SciencefortheInformationAge．Delft，ICT Congress 2005：281．

［3］Baldry ＆ Thibault．Multi－modal Transcription and Text Analysis［M］．London and Oakville：Equinox，2006：21．

［4］朱永生．多模態話語分析的理論基礎與研究方法［J］．外語學刊，2007，（5）：82－86．

［5］高定國，肖曉云．認知心理學［M］．上海：華東師范大學出版社，2004：120－121．

［6］唐孝威．統一框架下的心理學與認知理論［M］．上海人民出版社，2007：209－215．

［7］李戰子．多模式話語的符號學分析［J］．外語研究，2003，（5）：1－8．

［8］曾蕾．動態多符號語篇的整體意義構建［J］．外語藝術教育研究，2006，（3）：42－48．

［9］Halliday，M．A．K．An Introduction to Functional Grammar［M］．London：Edward Arnold，1994：106－107．

［10］Kress，G ＆ Van Leeuven，T．ReadingImages：theGrammarofVisualDesign［M］．London：Routledge，1996：16．

［11］Norris，S．Analyzing Multimodal Discourse：A Methodological Framework［M］．London：Routledge，2004：3．