多模態語篇圖文關系識解的對比研究*
——以中美讀者閱讀英文繪本為例

國　防

(華北電力大學，北京 102206)

1　引言

Kress和van Leeuwen于1996年提出“多模態話語”(multimodal discourse)這個概念，并比照系統功能語言學的3大元功能思想，創建視覺語法分析框架，為多模態話語分析的發展奠定基礎。在國內，李戰子(2003)發文介紹Kress和van Leeuween的《閱讀圖像：視覺設計的語法》(ReadingImages:TheGrammarofVisualDesign)以來，多模態研究迅速發展(馮德正 2017：2)。這一領域的興起使人們意識到“語篇的意義生成不再單獨依賴于語言符號的貢獻，而是進一步凸顯出視覺符號的重要性……多種符號體系融合起來，共同構建語篇的意義”(劉成科 2014：144)。“意義的建構需要多種符號的協同作用”(代樹蘭 2017：1)，而在由多種符號構成的多模態語篇里，圖文是兩種最普遍的符號表征結果，二者既分立又統一。

2　主要研究回顧

圖像和文本的關系問題是“多模態話語分析中存在的瓶頸問題”(汪燕華 2010:74)。Barthes在闡述圖像與文本的關系時指出：(1)文本附屬于圖像，文本信息用來加速對圖像的理解；(2)語言呈現的內涵與圖像外延密切相關，二者關系越緊密，其內涵意義表現越少；(3)語言內涵不可能與圖像意義重合，更常見的情況是語言拓展圖像的意義(Barthes 1977:25-27)。Kress和van Leeuwen對其觀點提出異議，認為語言和圖像都可以用來實現人類蘊含文化元素的基本意義系統，二者具有自己特有的表達方式。但要表達某種確定的意義，必須由語言來挽救(Kress, van Leeuwen 1996:19)。Royce以銜接和連貫理論為指導來分析圖像與文本的關系。他認為，在圖文并置的語篇中，從概念意義上講，圖像和語言之間的關系與語言本身之間的關系類似，從人際意義上講，語言表達的意義更加確定，而圖像需要借助文本將其意義確定(Royce 2006:70)。在研究圖文并置的科學語篇基礎上，Martinec總結出4種圖文關系:(1)圖文各自獨立，彼此沒有關聯；(2)圖文意義互補，彼此增強對方的意義；(3)以文本意義為主，圖像意義為輔；(4)以圖像意義為主，文本意義為輔(Martinec, Salway 2005：337-371)。van Leeuwen認為在很多交際場景下，文本與圖像各有分工，文本負責提供事實、說明及只有用語言才能表達出的情況，而圖像負責對文本的解讀(van Leeuwen 2008：136)。Wignell(2011)以系統功能語法理論為指導，對6個年齡組的繪本進行系統分析。結果表明，隨著目標讀者年齡段的改變，圖像與文本間相互關系出現相應的變化。針對年齡較小讀者的繪本，文本對圖像的依賴性越強，人際功能越突出；隨著目標讀者年齡的增加，文本對圖像的依賴性越小，概念功能及語篇功能逐漸超越人際功能。

綜觀多模態話語的研究文獻不難發現，大多數文獻關注純理論探討的初級層面，典型實證研究仍不多見，尚未見對不同語言水平、不同年齡的認知主體對多模態語篇圖文關系識解的比較研究。本研究將對中美兒童及成年人閱讀英文繪本情況進行實驗研究，從而揭示不同語言水平及不同年齡的認知主體對多模態語篇圖文關系識解的特點。

3　實驗研究

3.1 研究問題

本研究旨在回答以下兩個問題：(1)不同語言水平的認知主體對多模態語篇中圖文關系的識解是否存在顯著差異；(2)兒童與成人對多模態語篇中圖文關系的識解是否存在顯著差異？

3.2 研究被試

本研究被試共12人，包括3位在美留學1年、第二外語為英語的5-6歲中國兒童(男)、3位本族語為英語的5-6歲美國兒童(男)、3位在美訪學1年、第二外語為英語的中國高校教師(男)和3位本族語為英語的美國高校教師(男)。將12位被試分為中美兒童組與中美成人組。Johnson 和 Rosano 研究發現，本族語者的英語語言水平高于二語學習者(Johnson, Rosano 1993：159-175)。據此，各組雙方的英語水平在本組內由高至低排名為中美兒童組：美國兒童>中國兒童；中美成人組：美國高校教師>中國高校教師。

3.3 研究工具

繪本是典型的多模態語篇原型。Hassett 和 Curwood認為繪本中的每一個元素都是“某種模態”，甚至無文本的繪本仍屬于多模態語篇(Hassett，Curwood 2009:272)。通常情況下，繪本包含圖像與文本兩種符號模態，兩種模態共現是意義存在的潛勢。

本研究選取兩本語言級別不同的英文繪本作為被試的閱讀材料。閱讀材料選取的出發點是以美國被試兒童的年齡為衡量標準，選取低于5-6歲美國被試兒童語言水平及與被試兒童語言水平相當的材料。根據Wignell(2011)的調查結果，針對6歲以上兒童的讀物，因為圖畫基本消失，已稱不上是繪本，所以本研究沒有選取高于5-6歲兒童語言水平的閱讀材料。

本研究選擇兩個時間段，按3-4歲繪本和5-6歲繪本閱讀的分工將閱讀任務分兩次完成。面向3-4歲讀者的繪本是2000年由Scholastic出版社出版的《大衛不可以》(No，David！)。面向5-6歲讀者的繪本是The Viking Press出版的《下雪天》(TheSnowyDay)。研究者將繪本放置桌上，請被試進行手指點讀，點讀之后復述繪本內容，并回答研究者有關圖文切換原因的提問。在征得被試兒童家長及幾位成人被試同意后，研究者對12位被試兩次點讀繪本的過程錄像記錄。

3.4 結果及討論

實驗結束之后，研究者通過對現場的記憶、記錄以及對錄像反復觀看后將各個被試對繪本的點讀過程進行整理、記錄。以下將以兩個繪本中分別指定的頁碼點讀情況為例進行數據整理，記錄情況分別如表1至表4。

3.41 3-4歲繪本點讀結果及圖文關系識解

3-4歲的繪本選擇《大衛不可以》中Put your toys away這一頁。該頁面中，大衛正坐在地板上聚精會神地看電視，他的周圍到處堆放著玩具。頁面左上方印著Put your toys away.

表1為中美兒童在閱讀3-4歲繪本《大衛不可以》中Put your toys away頁內容的點讀情況記錄：

表1　中美兒童組3-4歲繪本點讀過程記錄

我們發現6位兒童被試首先將目光注視在圖像上，同時將手指置于文本上開始點讀。文本點讀結束后，將手指移至圖片。6位兒童被試查看圖片的時間遠遠大于閱讀文本的時間。3位中國兒童對研究者“為什么讀完文本看了圖片？”的提問，回答一致：“圖畫好看”。圖片查看結束后，研究者請6位兒童被試講述該頁內容，3位中國兒童均忽視文本，針對畫面做出簡單描述。3位美國兒童的回答各不相同。在講述該頁內容時，3位美國兒童對畫面做出詳細描述，其描述內容與文本相關聯。

表2為中美成人在閱讀3-4歲繪本《大衛不可以》中Put your toys away頁內容的點讀過程記錄：

表2　中美成人組3-4歲繪本點讀過程記錄

中美成人組閱讀3-4歲英語繪本時，6位受試均將目光首先注視在文本上，同時將手指置于文本處開始朗讀。文本點讀結束后，將手指移至圖片。6位被試對圖片都一眼帶過，對研究者“為什么讀完文本才看圖片？”的提問，回答完全一致：“沒有特殊原因”。在查看完圖片后，研究者請6位被試講述該頁內容，6位被試的復述內容仍然一致：“玩具到處扔，房間太亂，家長讓Peter收拾玩具”。

3.42 5-6歲繪本點讀結果及圖文關系識解

5-6歲繪本選擇《下雪天》中It was a stick這一頁。該頁整個頁面是一片多彩的雪世界，身著紅色防雪服的Peter手拿一根黑色的小樹棍站在一棵枝丫落滿白雪的大樹前，抬眼仰視樹上積雪。頁面底端印著It was a stick.

6位兒童被試首先將目光注視在圖像上，然后將手指置于文本上開始點讀。3位中國兒童在文本點讀結束后，將手指移至圖片，此時幾位小朋友眼中充滿困惑。中兒1和中兒3手指在圖片和文本間切換2次，停在stick一詞處，停留在木棍圖上。中兒2手指在圖片和文本間切換3次。6位被試查看圖片時間超過文本閱讀時間。3位中國兒童對研究者“為什么讀完文本后才看圖片？”的提問，回答一致：“想知道 stick是什么，不認識這個詞”。他們在講述該頁面故事時，強調木棍一詞，注意到Peter要拿木棍打樹上的雪。這一現象說明，3位中國兒童將畫面當做查詢文本意義的“字典”，畫面起到對文本解釋說明的作用。這個結果與Kress和van Leeuwen必須由語言來表達某種確定意義的觀點相悖(Kress，van Leeuwen 1996:19)。3位美國兒童手指在圖片和文本間切換一次，文本點讀結束后將手移至圖片處。對“為什么讀完文本才看圖片？”的提問，他們的回答也基本一致“想看看木棍是什么樣的”。在他們的描述中出現“黑色木棍”“白雪”等細節描寫。

表3為中美兒童在閱讀5-6歲繪本《下雪天》It was a stick頁內容的點讀過程記錄：

表3　中美兒童組5-6歲繪本點讀過程記錄

6位成人閱讀5-6歲兒童繪本時，手眼同時集中于文本處，中成2和美成1在圖文之間切換1次，瞬間掃視畫面便指向下一頁文本。其余4位被試閱讀完該頁文本后，無視畫面的存在直接轉向下頁文本。中成2和美成1對于問題“為什么讀完文本才看圖片？”的回答是“好奇”。另外4位成人被試回答“為什么不看畫面？”的答案為“文本已經將意義表達清楚了”。在描述畫面時，4人均利用文本內容“是一根木棍”。

表4為中美成人在閱讀5-6歲繪本《下雪天》It was a stick頁內容的點讀過程記錄：

表4　中美成人組5-6歲繪本點讀過程記錄

本實驗研究表明語言水平能夠直接影響人們對圖文關系的解讀。英語詞匯量及閱讀能力較低的中國兒童被試閱讀繪本時更依賴于畫面信息。一方面，他們閱讀文本，識解的只是文本的字面意義，還沒有能力理解言外之意。此時，他們將畫面和文本視為相互獨立的符號系統。另一方面，當閱讀含有生詞的文本時，他們仍須求助于圖畫。此時，文本和畫面是互為補充的兩個意義主體。美國兒童被試英語水平較高，可以將文本與圖畫相互聯系，對他們而言，畫面使文本意義更加豐富、細化和具體。對于語言水平較高的中美成人被試而言，文本成為獲取信息的主要來源。除非要獲取言外之意或受好奇心驅使，他們一般無視畫面的存在，完全憑借文本來理解語篇。對他們而言，文本可以獨立于畫面存在，也可以將畫面作為豐富文本意義的工具。因此我們可以得出結論，語言水平越低的認知主體，當閱讀高于自己語言水平的繪本時，他們越傾向于將畫面與文本視為獨立的意義實體，他們依賴畫面獲取意義的傾向越突出。語言水平稍高的認知主體，當閱讀與自己語言水平相當的繪本時，會將畫面與文本結合，視二者為相互補充的意義實體。語言水平越高的認知主體越會把畫面與文本視為獨立的意義實體，他們一般無視畫面，更傾向于依賴文本獲取信息。

年齡對圖文關系識解也存在顯著的影響。中美兒童在閱讀繪本時，都首先將目光集中在畫面上，這一點能說明他們對畫面更感興趣，對其依賴性更強。對兒童而言，對意義的理解是以畫面為主，文本為輔。而兩組成人被試在閱讀繪本時，手眼都是首先集中在文本上。對成人而言，信息的獲取主要來自文本，文本為主、畫面為輔。這一結果也能驗證了Wignell(2011)的研究結果，年齡越小的讀者對繪本的理解越依靠人際意義，而年齡越大的讀者對繪本的理解越依靠概念意義與語篇意義。

4　結束語

綜合中美成人與兒童被試閱讀英語繪本情況，我們發現，成人在閱讀英文繪本時，均以文本為主，而兒童均以圖像為主。對兒童而言，當閱讀高于自己語言水平的繪本時，他們視畫面與文本為獨立的意義實體，依賴畫面獲取意義的傾向較突出；當閱讀與自己語言水平相當的繪本時，他們會將畫面與文本結合，視二者為相互補充的意義實體。語言水平越高的認知主體，則視畫面與文本為獨立的意義實體，他們無視畫面，依賴文本獲取信息的傾向更為突出。同一繪本，因讀者的年齡不同、語言水平存在差異，對繪本的圖文關系識解會存在較大的差異。這也說明，圖文關系是動態的、復雜的，影響圖文關系識解的更多其他因素還有待未來更廣泛的研究。

代樹蘭. 多模態話語中各模態之間關系的研究[J]. 外語學刊, 2017(6).

馮德正. 多模態語篇分析的基本問題探討[J]. 北京第二外國語學院學報, 2017(3).

李戰子. 多模態話語的社會符號學分析[J]. 外語研究, 2003(5).

劉成科. 多模態語篇中的圖文關系[J]. 寧夏社會科學, 2014(1).

汪燕華. 多模態話語中的圖文關系[J].外國語文, 2010(10).

Barthes, R.Image-Music-Text[M].London: Fontana, 1977.

Hassett, D.D., Curwood, J.S. Theories and Practices of Multimodal Education: The Instructional Dynamics of Picture Books and Primary Classrooms[J].TheReadingTeacher, 2009(4).

Johnson, J., Rosano, T. Relation of Cognitive Style to Metaphor Interpretation and Second Language Proficiency[J].AppliedPsycholinguistics, 1993(14)．

Kress, G.R., van Leeuween, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Rouledge, 1996.

Martinec, R., Salway, A. A System for Image-text Relations in New(and Old) Media[J].VisualCommunication, 2005(4).

Royce, T.D. Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis[A]. In: Royce, T.D., Bowcher, W.L.(Eds.),NewDirectionsintheAnalysisofMultimodalDiscourse[C]. Hillsdale: Lawrence Erlbaum, 2006.

van Leeuwen, T.DiscourseandPractice:NewToolsforCriticalDiscourseAnalysis[M]. Oxford: Oxford University Press, 2008.

Wignell, P. Picture Books for Young Children of Different Ages：The Changing Relationships Between Images and Words[A]. In: O’Halloran, K.L., Smith, B.A.(Eds.),MultimodalStudies:ExploringIssuesandDomains[C]. London: Routledge, 2011.