概念意義視閾下多模態(tài)敘事繪本圖文關(guān)系研究

■胡 勇

話語研究的多模態(tài)轉(zhuǎn)向成為當(dāng)今語言學(xué)研究和話語分析的重點(diǎn)關(guān)注對象。其中，圖文關(guān)系是探討多模態(tài)之間協(xié)同互補(bǔ)機(jī)制中最為重要的一組關(guān)系。以系統(tǒng)功能語言學(xué)和視覺分析框架為理論方法，探究多模態(tài)敘事繪本中，圖文符號系統(tǒng)概念意義的創(chuàng)建以及圖文意義的跨符號互補(bǔ)機(jī)制，并在此基礎(chǔ)上，結(jié)合視覺敘事的有關(guān)概念，進(jìn)一步挖掘圖文符號系統(tǒng)在語篇共同實(shí)例化過程中的概念意義投入以及圖文符號系統(tǒng)承載、激活和表達(dá)的意義總量，可為中國語境下多模態(tài)敘事語篇的圖文互補(bǔ)機(jī)制研究提供新的視角和啟示。

新媒體時(shí)代使人們的交際方式和生活方式發(fā)生巨大的變化，單一的語言模態(tài)已不再是意義創(chuàng)建和表征的唯一手段，而是逐漸由圖像、聲音、手勢等多種媒介組成的交際模式所替代。20世紀(jì)90年代以來，多模態(tài)話語研究者在系統(tǒng)功能語言學(xué)的基礎(chǔ)上開始探究語篇意義創(chuàng)建中語言之外的其他社會(huì)符號的語義、語法和描寫系統(tǒng)，諸如圖像、聲音、空間等。對模態(tài)的定義和理解，不同的研究領(lǐng)域和研究方法持有不同見解，主要可歸為三種：一是將模態(tài)定義為不同社會(huì)文化中所形成的創(chuàng)建意義的社會(huì)符號資源；二是將其視為諸如視覺、聽覺等感官模態(tài)及相應(yīng)系統(tǒng)；三是將多模態(tài)視為信息呈現(xiàn)方式。日常交際和話語實(shí)例中存在大量的非語言符號/模態(tài)，語言只是表達(dá)意義的眾多社會(huì)符號之一，話語的多模態(tài)特征是當(dāng)代話語研究的重點(diǎn)關(guān)注。近20年間，多模態(tài)研究發(fā)展如火如荼，已經(jīng)呈現(xiàn)出開放包容的跨學(xué)科性質(zhì)，不同學(xué)科間的相互融合、相互影響能有效推動(dòng)多模態(tài)研究理論的發(fā)展。但國內(nèi)對多模態(tài)語篇中圖文互補(bǔ)關(guān)系的研究還屬起步階段，亟待發(fā)展，因此，筆者將在多模態(tài)話語研究的基礎(chǔ)上，對多模態(tài)敘事繪本這一典型話語形式進(jìn)行分析，從系統(tǒng)功能語言學(xué)和多模態(tài)敘事框架的視角探討敘事繪本中的圖文互補(bǔ)關(guān)系和銜接機(jī)制，挖掘圖文符號系統(tǒng)在語篇共同實(shí)例化過程中的意義投入和語義賦值。

一、話語的多模態(tài)轉(zhuǎn)向：多模態(tài)語篇圖文關(guān)系的發(fā)展流變

多模態(tài)話語是當(dāng)今人們社會(huì)交際活動(dòng)的一種普遍的內(nèi)在特質(zhì)。話語研究的多模態(tài)轉(zhuǎn)向成為當(dāng)今語言學(xué)研究的重點(diǎn)關(guān)注對象，而圖文關(guān)系是多模態(tài)協(xié)同、互補(bǔ)機(jī)制中最為重要的一組關(guān)系，近幾十年來受到越來越多學(xué)者的關(guān)注。

（一）多模態(tài)話語圖文關(guān)系研究的發(fā)展

近20年來，圖文關(guān)系逐漸受到學(xué)界關(guān)注，圖文關(guān)系研究主要從以下方面展開：

首先，考察多模態(tài)語篇中圖文符號系統(tǒng)間的邏輯語義關(guān)系。在巴特圖文關(guān)系的基礎(chǔ)上，馬丁內(nèi)克和薩爾韋兩位學(xué)者結(jié)合韓禮德的系統(tǒng)功能語法中小句邏輯語義系統(tǒng)的相關(guān)理論，進(jìn)一步發(fā)展圖文邏輯關(guān)系，劃分了“邏輯語義”和“地位”兩種關(guān)系。［1］(P337-340)其中，圖文邏輯語義系統(tǒng)將圖文關(guān)系分為擴(kuò)展關(guān)系和投射關(guān)系。圖文地位系統(tǒng)則涉及圖文關(guān)系中的等同和不等同關(guān)系。楊信彰以兩本雙解字典為分析對象，從邏輯語義關(guān)系的視角討論語言釋義與插圖之間關(guān)系，研究指出圖文之間存在著“例舉”“說明”和“澄清”三類關(guān)系，且“例舉型的插圖使用頻率最高”。［2］(P51)

其次，探究多模態(tài)語篇圖文模態(tài)間的隱轉(zhuǎn)喻關(guān)系。雖然以語言符號系統(tǒng)為基礎(chǔ)的隱喻研究得到了長足的發(fā)展，近年來，中國國內(nèi)隱喻研究更是百花齊放，例如，關(guān)注語言系統(tǒng)的隱喻理論研究，隱喻與翻譯方法及翻譯過程中的認(rèn)知研究，隱喻對英語學(xué)習(xí)者認(rèn)知和隱喻能力發(fā)展的影響等；但傳統(tǒng)經(jīng)典“認(rèn)知隱喻一直以來只關(guān)注語言體現(xiàn)，這蘊(yùn)藏某種偏見：意義只存于語言符號”［3］(P4)，而“語言只是創(chuàng)建意義的符號資源之一，只關(guān)注語言這一類社會(huì)實(shí)踐中的意義表達(dá)是不夠的”［4](P8)。作為一種思維認(rèn)知方式，隱喻的體現(xiàn)方式可以是語言，也能是其他社會(huì)符號和交際媒介。福塞維爾明確地劃分了單模態(tài)隱喻和多模態(tài)隱喻，將多模態(tài)隱喻定義為“源域與目標(biāo)域分別使用不同的符號資源來呈現(xiàn)或在不同符號資源中占主要地位。”［3］(P24)自此，中國國內(nèi)學(xué)者開始關(guān)注多模態(tài)語篇中基于圖文模態(tài)認(rèn)知隱/轉(zhuǎn)喻，強(qiáng)調(diào)多模態(tài)在隱喻構(gòu)建過程中的作用。

再次，挖掘多模態(tài)語篇圖文模態(tài)間的人際意義互動(dòng)。克瑞斯和范·勒文在視覺語法建構(gòu)的經(jīng)典著作中提出不僅語言能實(shí)現(xiàn)人際交往中的互動(dòng)關(guān)系，圖像模態(tài)也能完成建構(gòu)人際互動(dòng)、表達(dá)情態(tài)意義等功能，他們將圖像分為兩種類型：即“提供”和“索取”圖像。［5］(P119-124)提供型圖像是指視覺構(gòu)圖中參與者為讀者提供一定的信息/服務(wù)。反之，索取型圖像是指視覺構(gòu)圖中參與者通過眼神聚焦和接觸等向讀者索取信息/服務(wù)。但這種將圖像簡單劃分的觀點(diǎn)引起了相關(guān)領(lǐng)域的爭議。為了更好地探討圖文系統(tǒng)構(gòu)建的人際意義，羅伊斯從符際互補(bǔ)的視角考察圖文關(guān)系，指出不同的符號系統(tǒng)在創(chuàng)建讀者立場，形成互動(dòng)意義方面存在“強(qiáng)化”與“否定”的關(guān)系。［6］(P65-71)多模態(tài)語篇中的圖文關(guān)系引起了學(xué)界的重視，而多模態(tài)敘事語篇實(shí)例化過程中圖文符號系統(tǒng)所表征的意義和彼此間的相互關(guān)系更值得多模態(tài)話語研究領(lǐng)域的重視。

（二）多模態(tài)敘事研究境遇

中國國內(nèi)的敘事學(xué)研究在半個(gè)世紀(jì)以來經(jīng)歷了由發(fā)端到鼎盛的巨大發(fā)展，涌現(xiàn)出大批學(xué)者，推動(dòng)敘事學(xué)朝縱深方向發(fā)展。但國內(nèi)學(xué)者研究多聚焦于單模態(tài)文學(xué)作品的闡釋，對多模態(tài)敘事研究鮮有涉及，對多模態(tài)敘事繪本圖文互補(bǔ)機(jī)制的研究更是鳳毛麟角。多模態(tài)繪本，尤其是敘事繪本，是兒童生活、教育中的重要讀物，在兒童讀寫教育、意識形態(tài)塑造和社會(huì)文化價(jià)值培植等方面發(fā)揮作用。兒童繪本受到學(xué)界多方面的關(guān)注，但在多數(shù)關(guān)于繪本的研究中，圖像符號系統(tǒng)被視為次要方面，在意義建構(gòu)層面上難以得到和語言符號系統(tǒng)同等重要的關(guān)注。近年來，國外已經(jīng)開始重視多模態(tài)繪本的研究，佩因特等人提出了一個(gè)基于系統(tǒng)功能語言學(xué)的視覺敘事框架，將“三個(gè)元功能理論應(yīng)用到視覺敘事當(dāng)中”，是視覺圖像分析理論的重大發(fā)展。［7］(P1-10)

反觀國內(nèi)，關(guān)于多模態(tài)敘事繪本的研究尚屬于起步階段。鑒于此，筆者從概念意義入手，以系統(tǒng)功能語言學(xué)和視覺語法為分析工具，探討多模態(tài)敘事繪本中圖文符號系統(tǒng)概念意義的跨符號協(xié)同機(jī)制。除了探討多模態(tài)敘事繪本中圖文概念意義如何互補(bǔ)，還進(jìn)一步探討圖文符號系統(tǒng)在語篇共同實(shí)例化過程中的概念意義投入，從而分析不同符號資源在實(shí)例化過程中激活和表征的語義總量，以期為分析多模態(tài)敘事語篇圖文相互關(guān)系提供一個(gè)新的研究視角。

二、多模態(tài)敘事語篇中圖文概念意義的構(gòu)建與互補(bǔ)

概念意義涉及人們使用語言來表征、識解和建構(gòu)世界的功能，這樣的功能并非語言符號所特有，圖像符號、視覺空間符號和聲音符號等眾多的社會(huì)符號均具有此功能。在多模態(tài)敘事語篇中，概念意義具有通過不同社會(huì)符號來構(gòu)建故事世界和故事人物，引導(dǎo)讀者進(jìn)入故事世界，從而參與到繪本敘事并與其互動(dòng)的功能。本文選取繪本《郵遞員叔叔的奇遇》①為研究對象。《郵遞員叔叔的奇遇》由13個(gè)雙面版面構(gòu)成，講述了郵遞員大關(guān)叔叔在春節(jié)期間給村民送信途中發(fā)生的奇遇，主要故事人物為郵遞員大關(guān)和雪人。郵遞員大關(guān)在大年三十騎著自行車給村民送信，途中一個(gè)雪人在其疲憊的時(shí)候幫助推車送信，于是，大關(guān)叔叔送給雪人春節(jié)禮物，卻在晚上驚喜地發(fā)現(xiàn)雪人們將冰塊做成的發(fā)糕回贈(zèng)予他作為新春祝福。整個(gè)繪本使用多元的敘事技巧，構(gòu)建了流暢的故事情節(jié)，通過故事敘述告訴兒童讀者中國春節(jié)的種種特色，幫助兒童讀者了解春節(jié)的傳統(tǒng)習(xí)俗，感受中國新年蘊(yùn)含的溫暖情懷。《郵遞員叔叔的奇遇》作為一本典型的敘事繪本，敘事結(jié)構(gòu)清晰完整，在繪本敘事的開局、進(jìn)展、評價(jià)和結(jié)尾部分均充斥著大量的概念意義，分析此繪本中圖文概念意義的創(chuàng)建以及兩者意義建構(gòu)中存在的跨符號/跨模態(tài)機(jī)制有助于揭示和闡明敘事繪本中圖文關(guān)系，為系統(tǒng)闡釋多模態(tài)敘事語篇圖文相互關(guān)系提供新的分析視角。

（一）繪本語言文本概念意義的及物性分析

系統(tǒng)功能語言學(xué)區(qū)分語言所實(shí)現(xiàn)的三大元功能，分別是概念功能、人際功能和組篇功能。其中，概念功能是指人們通過語言“得以構(gòu)建關(guān)于現(xiàn)實(shí)的心理圖景，從而識解內(nèi)在和外在世界的功能”。［8］(P170-172)在系統(tǒng)功能語法層面，及物系統(tǒng)是語言實(shí)現(xiàn)概念功能的重要維度，能夠?qū)⑷祟愱P(guān)于世界的經(jīng)驗(yàn)組織切分成一系列的小句過程類型，換言之，通過小句的過程類型表達(dá)“周圍正在發(fā)生的事情、事物的屬性以及事物發(fā)生的背景細(xì)節(jié)，諸如時(shí)間、地點(diǎn)、方式等等”。［9］(P86)人們使用語言將經(jīng)驗(yàn)?zāi)Ｊ交F(xiàn)實(shí)世界（包括內(nèi)心世界和外在世界）切分成一個(gè)個(gè)模式化的過程類型。及物系統(tǒng)將經(jīng)驗(yàn)劃分為六個(gè)主要過程，即物質(zhì)過程、心理過程、關(guān)系過程、言語過程、行為過程和存在過程。每一個(gè)小句過程類型能反映出人類經(jīng)驗(yàn)的某一個(gè)特定方面，其中物質(zhì)過程強(qiáng)調(diào)動(dòng)作的過程，“這個(gè)過程本身一般由動(dòng)態(tài)動(dòng)詞來表示，動(dòng)作者和動(dòng)作的目標(biāo)一般由名詞或代詞來表示”。［10］(P75)心理過程表達(dá)作為經(jīng)驗(yàn)的感知者對物質(zhì)世界現(xiàn)象的認(rèn)知和識解。關(guān)系過程強(qiáng)調(diào)對客觀事物的描述和識別，又可次分為歸屬和識別兩類關(guān)系，前者對客觀實(shí)體的屬性、性質(zhì)等進(jìn)行闡釋；后者凸顯對實(shí)體和實(shí)體間關(guān)系的限定。言語過程一般是指通過講話言說達(dá)到信息交互作用的過程，參與者為說話者、受話者和言語內(nèi)容。行為過程強(qiáng)調(diào)主體有意識的生理及心理行為，一般只涉及一個(gè)參與者。而存在過程聚焦物質(zhì)世界實(shí)體存在的狀態(tài)。

在多模態(tài)敘事繪本中，語言文本承載了構(gòu)建和呈現(xiàn)故事世界的重要任務(wù)，需要通過大量的概念意義的表征推動(dòng)敘事發(fā)展以及表達(dá)人物和人物之間關(guān)系。對《郵遞員叔叔的奇遇》的語言文本進(jìn)行及物性分析可以勾勒出語言系統(tǒng)構(gòu)建的概念意義，語言語篇中的小句類型過程劃分如表1。

表1 《郵遞員叔叔的奇遇》中語言系統(tǒng)及物性分析

通過上述分析發(fā)現(xiàn)，該多模態(tài)繪本語言符號系統(tǒng)使用的最多小句類型為行動(dòng)過程，主要包括物質(zhì)過程和行為過程，兩者的使用超過整個(gè)語言語篇小句使用的60%。這是由敘事繪本的敘事性決定的，這兩種小句過程類型強(qiáng)調(diào)故事主要人物（郵遞員和雪人）所采取的行為和動(dòng)作，如，對郵遞員的描述采用了大量的動(dòng)詞：送、推、走、騎、坐、拿開、打開等。這樣的過程類型有益于推動(dòng)敘事進(jìn)展，讓讀者逐漸清楚故事世界、人物關(guān)系和敘事發(fā)展走向。在故事的開篇部分，語篇中使用了兩個(gè)物質(zhì)小句：“可是郵遞員大關(guān)叔叔還得工作”和“他必須把今天到達(dá)的信件給村民們送過去”。這兩個(gè)物質(zhì)小句凸顯了郵遞員的在敘事中必須完成的行為動(dòng)作以及其作為主角的敘事身份，導(dǎo)入了即將要開始的奇遇情節(jié)，從而建構(gòu)了敘事的“指向部分”。在語言文本中，物質(zhì)過程和行為過程的使用給予讀者一種行為感和動(dòng)作感，這樣的小句過程突出動(dòng)作的施為者，往往與故事中的主要參與者緊密相關(guān)，使讀者得以進(jìn)入敘事世界，持續(xù)關(guān)注事件的發(fā)展和人物的行動(dòng)，并且做出反饋和猜測。在繪本語言文本中，除了行動(dòng)過程能夠模擬和建構(gòu)敘事繪本中的故事現(xiàn)實(shí)，作者還應(yīng)用了一系列關(guān)系過程來實(shí)現(xiàn)認(rèn)同功能。小句的關(guān)系過程是強(qiáng)調(diào)“是”（be）的過程，為讀者提供小句參與者及其屬性的相關(guān)信息。例如，故事開局部分使用了兩個(gè)關(guān)系小句“今天是大年三十”和“明天就是新年了”。這兩個(gè)小句通過動(dòng)詞“是”達(dá)到連接小句中載體和屬性之間的關(guān)系，提供故事發(fā)展的時(shí)間信息，充當(dāng)了敘事發(fā)展的“背景”作用。

（二）多模態(tài)語篇概念意義的圖文互補(bǔ)機(jī)制

多模態(tài)語篇中不同模態(tài)之間的關(guān)系是多模態(tài)話語研究的焦點(diǎn)問題。羅伊斯提出了符際互補(bǔ)理論，并研究探討了基于頁面的多模態(tài)語篇中不同符號系統(tǒng)之間的銜接關(guān)系，尤其是語言符號系統(tǒng)和圖像符號系統(tǒng)之間的互補(bǔ)關(guān)系。在概念意義層面上，符際互補(bǔ)理論區(qū)分了圖文兩種符號信息的表征模式。基于系統(tǒng)功能語法，符際互補(bǔ)理論設(shè)置了一系列參數(shù)信息來表達(dá)語言符號系統(tǒng)中的概念意義和經(jīng)驗(yàn)意義，分別為“過程類型”“參與者”“屬性”和“環(huán)境”。［6］(P72-85)圖像符號系統(tǒng)中信息表達(dá)的關(guān)鍵概念則為視覺信息元素，主要分為等同（圖像參與者）、行動(dòng)（行為動(dòng)作）、屬性（參與者的品質(zhì)和特性）以及環(huán)境（呈現(xiàn)的語境）等。為了研究概念意義層面的符號間互補(bǔ)銜接關(guān)系，筆者選擇包含動(dòng)作的敘事圖像作為分析對象，該圖像位于繪本的第6頁面（雙頁版面），語言文本內(nèi)容左圖為“送完最后一封信，大關(guān)叔叔準(zhǔn)備回家了，他走到自行車旁，發(fā)現(xiàn)雪人坐到了前面，雪人指指后座，示意他坐上去”。右圖為“哇！雪人騎自行車比開摩托車還快，大關(guān)叔叔伸出手，抱住了雪人的腰：喲，好冰喲”（下文均用左圖、右圖代表第6頁面文本中的內(nèi)容）。通過定位和挖掘語言元素和視覺信息元素所建立的語義聯(lián)系能夠更細(xì)致探討概念意義的圖文銜接機(jī)制。

繪本《郵遞員叔叔的奇遇》第6頁面中的視覺信息元素需要界定，這是由于視覺信息元素能夠在很大程度上承載和表達(dá)作者/創(chuàng)作者通過一連串視覺手段來實(shí)現(xiàn)的語義屬性，同時(shí)視覺信息元素構(gòu)成了探索雙模態(tài)文本語言方面的重要參考。視覺信息元素主要包括：（1）參與者視覺信息元素。參與者視覺信息主要涉及圖像中的誰/什么是圖像中的參與者以及它們和誰/什么存在交際互動(dòng)。一般來說，視覺圖像中最突出的參與者是通過他們面部表情和身體姿勢的視覺表征明確地呈現(xiàn)給讀者的。在這兩張圖像中，讀者看到了兩個(gè)主要的人物：雪人和郵遞員，他們的面部表情都被清晰地描繪出來了。除了兩個(gè)描述的人物(從故事敘述中推斷出的主角)，視覺框架中還展示了兩個(gè)相關(guān)的參與者：一輛自行車和一個(gè)掛在后座上的綠色郵袋。因而，在這一視覺圖像中，參與者可識別為“大關(guān)叔叔”“雪人”“自行車”和“郵袋”。（2）行動(dòng)視覺信息元素。行動(dòng)視覺信息關(guān)注被描述的參與者和接受者（或?qū)ο螅┲g發(fā)生的動(dòng)作和行為。在繪本第6頁面左圖中我們可以看到，雪人坐在自行車上，并邀請郵遞員（從前面的圖像推斷）乘坐。繪本第6頁面右圖描述了雪人騎著自行車，郵遞員則坐在后座。因此，該視覺圖像中的行動(dòng)視覺信息可梳理為“坐”和“騎”。（3）環(huán)境視覺信息元素。環(huán)境視覺信息是指視覺呈現(xiàn)的語境，是不同參與者之間動(dòng)作發(fā)生的環(huán)境，主要充當(dāng)背景說明的作用。在該視覺構(gòu)架中，圖像參與者以及動(dòng)作發(fā)生的語境為雪天，而繪本第6頁面左圖采用了去語境化的視覺技巧將讀者的注意力由環(huán)境背景轉(zhuǎn)移到所描述的參與者身上。（4）屬性視覺信息元素。作為視覺圖像中信息元素表征的最后一個(gè)重要因素，屬性信息是表達(dá)視覺框架中所描述的參與者的任何重要特征、屬性或品質(zhì)。在該雙頁圖像版面中，環(huán)境背景被描繪為冬天的一個(gè)下雪的日子，雪人作為故事的主要人物在視覺框架中被突出，而這些背景信息都有利于讀者推斷關(guān)于“冷”的屬性。視覺構(gòu)圖中的另一個(gè)屬性是速度維度上的“快”的屬性，這可以從騎著的自行車和視覺背景對比下相對較小的房屋和樹木中推斷出來。將這些視覺信息元素界定之后，筆者對雙模態(tài)文本的概念意義符號銜接機(jī)制進(jìn)行分析。通過分析得出，圖文符號系統(tǒng)之間存在重復(fù)類銜接機(jī)制14處，如大關(guān)叔叔在圖文模態(tài)中均有詳細(xì)的符號表征；搭配類銜接機(jī)制為13處，除此之外還存在3例“整體—部分”關(guān)系以及1例反義類銜接機(jī)制。

通過研究發(fā)現(xiàn)，兩個(gè)符號系統(tǒng)之間最顯著的銜接關(guān)系是通過重復(fù)（共14處）和搭配（共13處）來實(shí)現(xiàn)的。在語義維度上，語言符號系統(tǒng)中存在大量的詞匯項(xiàng)與圖像符號系統(tǒng)中的視覺信息元素所表征的經(jīng)驗(yàn)意義關(guān)聯(lián)。這兩種模態(tài)中人物刻畫的重復(fù)銜接機(jī)制可使讀者關(guān)心故事中的主要人物和他們之間發(fā)生的奇遇，從而起到元敘事作用，促使讀者聚焦故事情節(jié)。同時(shí)，繪本第6頁面左圖中作者采用了接觸聚焦的視覺人際技巧使讀者與雪人產(chǎn)生眼神接觸，促使讀者與故事人物形成互動(dòng)，不但強(qiáng)化了元敘事的本質(zhì)，也對語言文本中的小句“發(fā)現(xiàn)雪人坐到了前面”進(jìn)行了補(bǔ)充和支撐。根據(jù)圖像的視覺表征，作為主人公的郵遞員并沒有出現(xiàn)在左圖中，這與語言文本并不對應(yīng)。但有經(jīng)驗(yàn)的讀者可以很容易地從雪人的身體動(dòng)作（如指向后座）和面部表情（如微笑）推斷出他是在邀請郵遞員坐在自行車后座，以便載他一程。因此，它建立了語言文本和視覺文本之間的跨符號銜接關(guān)系。同樣，符號系統(tǒng)間的重復(fù)機(jī)制也被應(yīng)用于闡釋視覺框架中兩個(gè)參與者之間發(fā)生的活動(dòng)。語言文本中一系列動(dòng)詞被反復(fù)使用，這些動(dòng)詞被用于識別和照應(yīng)活動(dòng)視覺信息，提醒讀者持續(xù)關(guān)注視覺構(gòu)圖中發(fā)生在參與者之間的行為動(dòng)作以及識解這些動(dòng)作的順序關(guān)系。此外，繪本第6頁面左圖中雪人向郵遞員發(fā)出邀請，激發(fā)讀者關(guān)于郵遞員是否接受邀請的敘事期望。而緊接著的視圖描畫了郵遞員坐在自行車后座的場景。這樣的視覺技巧滿足了視覺敘事框架中實(shí)現(xiàn)化的順序間事件關(guān)系，隨著敘事的進(jìn)展，該視覺選項(xiàng)又進(jìn)一步增強(qiáng)了視覺圖像和語言文本之間的跨符號銜接關(guān)系，以便為讀者理解故事提供一個(gè)更好的視角。

視覺構(gòu)圖中使用較多的另一種符際互補(bǔ)機(jī)制為搭配機(jī)制。在語言文本中出現(xiàn)的首個(gè)小句“送完最后一封信”與視覺圖像中的郵袋視覺信息構(gòu)成了符號間的搭配關(guān)系，突出了郵遞員即將開始的春節(jié)奇遇。雪人是該構(gòu)圖中的另一個(gè)主要參與者，他的出現(xiàn)與“下雪天”的環(huán)境設(shè)置以及“冷”的屬性視覺信息元素密切相關(guān)。同時(shí)，在環(huán)境設(shè)置描述中選擇去語境化的視覺選項(xiàng)將讀者的注意力從關(guān)注背景信息轉(zhuǎn)化到聚焦雪人的外觀，強(qiáng)化了雪人的屬性（在此實(shí)例中為“冷”），并激發(fā)了讀者對雪人的評價(jià)：雖然雪人的身體很冷，但他樂于助人，內(nèi)心炙熱，根據(jù)研究分析可以發(fā)現(xiàn)，概念意義上的圖文銜接機(jī)制主要包括重復(fù)、同義、部分—整體指代關(guān)系和搭配等機(jī)制。其中，圖文重復(fù)和搭配機(jī)制是實(shí)現(xiàn)兩個(gè)系統(tǒng)概念意義構(gòu)建和互補(bǔ)最為有效、使用最頻繁的銜接機(jī)制。

三、多模態(tài)語篇實(shí)例化：圖文概念意義投入研究

系統(tǒng)功能語言學(xué)中實(shí)例化研究旨在探討語言系統(tǒng)和具體實(shí)例的語篇之間關(guān)系。韓禮德經(jīng)常使用氣候和天氣之間關(guān)系的隱喻來解釋實(shí)例化研究，天氣是氣候系統(tǒng)中的一個(gè)個(gè)具體實(shí)例，而氣候是作為實(shí)例天氣的整體概括。隨著實(shí)例化研究的發(fā)展，研究者逐漸將重點(diǎn)從語言語篇實(shí)例化過程轉(zhuǎn)移到多符號/多模態(tài)語篇的實(shí)例化過程，并探討不同符號系統(tǒng)在語篇生成和意義創(chuàng)建過程中實(shí)現(xiàn)的意義潛勢總量。采用視覺敘事框架中的模態(tài)間“投入”分析框架對繪本《郵遞員叔叔的奇遇》第6頁（雙版面）進(jìn)行圖文實(shí)例化分析有助于深入探索圖文系統(tǒng)語義賦值的異同之處。投入分析是指語篇實(shí)例化過程中語義系統(tǒng)所構(gòu)建的意義總量，多模態(tài)語篇?jiǎng)t要考查語篇意義潛勢實(shí)例化中表達(dá)和創(chuàng)建意義的所有語義系統(tǒng)，如語言、圖像、聲音和空間系統(tǒng)等。模態(tài)間的投入分析框架聚焦三個(gè)系統(tǒng)，即行動(dòng)系統(tǒng)、角色系統(tǒng)和環(huán)境系統(tǒng)。行動(dòng)系統(tǒng)包含圖文兩種符號系統(tǒng)所實(shí)現(xiàn)的行動(dòng)意義、認(rèn)知意義和事件間關(guān)系等。角色系統(tǒng)則涉及圖文符號系統(tǒng)如何構(gòu)建參與者屬性、參與者形象表征和出現(xiàn)方式以及參與者之間的關(guān)系等。環(huán)境系統(tǒng)考量語篇中圖文模態(tài)中事件發(fā)生的背景和環(huán)境信息以及環(huán)境之間的關(guān)系（如環(huán)境背景的轉(zhuǎn)換或維持）。筆者以投入分析框架為理論基礎(chǔ)，對多模態(tài)敘事語篇共同實(shí)例化進(jìn)行了分析，表2為兩種符號系統(tǒng)概念意義投入的圖式表征。

表2 圖文系統(tǒng)概念意義投入分析

首先，從行動(dòng)系統(tǒng)來看，視覺概念意義的構(gòu)建主要通過一系列不同的動(dòng)作描繪來實(shí)現(xiàn)，如在繪本第6頁面左圖中，雪人坐在自行車上發(fā)出邀請，這個(gè)視覺意義能夠通過他的手的位置和指向以及未表征的凝視矢量才得以識別。盡管設(shè)定的接收者（郵遞員）在視覺圖像中沒有出現(xiàn)，讀者可以依據(jù)動(dòng)作的矢量（如凝視的方向）做出推斷，他正在邀請某人坐在自行車的后座。而在繪本第6頁面右圖中，讀者可以看到雪人正在騎自行車，郵遞員坐在后座上，他的胳膊摟著雪人的腰。面向讀者相鄰的兩幅圖像表明兩個(gè)行為序列之間存在一種時(shí)間上的事件之間關(guān)系，亦可被識別為一種完成的關(guān)系。活動(dòng)順序?qū)用妫x者對下一個(gè)動(dòng)作發(fā)生的期望在連續(xù)的圖像中也得以實(shí)現(xiàn)。兩個(gè)視覺頁面中差異的動(dòng)作表達(dá)增強(qiáng)了兩個(gè)主角之間的緊密聯(lián)系，迎合了讀者們對故事的期待，凸顯了他們在奇遇中的親密關(guān)系。就語言系統(tǒng)而言，與活動(dòng)相關(guān)的概念意義的闡釋是通過多種類型小句過程實(shí)現(xiàn)的，例如，一些動(dòng)詞被用于識別故事中發(fā)生的活動(dòng)，這些動(dòng)詞和小句完成了語言系統(tǒng)概念意義的投入，告訴讀者此刻發(fā)生了什么。在此層面上，語言系統(tǒng)投入的概念意義多于圖像系統(tǒng)。郵遞員所采取的行動(dòng)（如走向自行車，看著一個(gè)雪人坐在自行車上）的語言表達(dá)在圖像系統(tǒng)中沒有相應(yīng)的視覺補(bǔ)充表達(dá)，讀者必須從身體動(dòng)作和目光向量來推斷這種概念意義。同理，在視覺意義表征中，語言文本并未描述不同動(dòng)作之間的擴(kuò)展關(guān)系，這些動(dòng)作間的關(guān)系是通過視覺傳達(dá)和詮釋的。

其次，構(gòu)建概念意義的角色系統(tǒng)中，郵遞員和雪人都被完整地描繪出來，后者在故事的下一個(gè)事件中重復(fù)出現(xiàn)，這些能讓兒童讀者最大程度地識別故事的主角。讀者可以根據(jù)人物的服裝屬性、穿著的顏色、大小等推斷出更多的人物信息（如年齡、種族、職業(yè)甚至社會(huì)階層）。對中國讀者來說，通過綠色的制服和帽子以及綠色的郵袋，很容易推斷出主角的職業(yè)。值得注意的是，對郵遞員和雪人的描繪采用了緊密相鄰的視覺布局，突出人物之間的友好關(guān)系，為接下來的敘述奠定基礎(chǔ)。

最后，就環(huán)境設(shè)定系統(tǒng)而言，視覺構(gòu)成的繪本第6頁面左圖選取了去語境化的視覺表達(dá)，通過刪除背景設(shè)置以突出所描述的參與者。右圖中視覺重新語境化技巧的選用具有將讀者帶入故事世界并參與敘事事件的功能。故事環(huán)境背景的快速切換發(fā)揮了管理讀者注意力的作用，投入了不同程度的概念意義。與視覺圖像相比，語言文本中存在著概念意義投入差異。而語言文本對視覺參與者的人物形象描述基本沒有任何提及，僅有一個(gè)關(guān)于雪人屬性的隱性心理投射小句“喲，好冰哦”。這個(gè)投射小句是郵遞員在擁抱雪人時(shí)，為了分享他對雪人溫暖的感覺而發(fā)出的。而在視覺圖像中，讀者幾乎不可能推斷出這種心理投射，只能從郵遞員的凝視矢量及對雪人的經(jīng)驗(yàn)認(rèn)知中推斷出這種屬性。同樣，圖像系統(tǒng)中環(huán)境間關(guān)系在語言系統(tǒng)中沒有相同的闡述，讀者只能從視覺圖像中推斷出一系列不同動(dòng)作之間的銜接關(guān)系以及在兩種不同語境下動(dòng)作的銜接程度。

因此，就視覺系統(tǒng)和語言系統(tǒng)在概念意義層面上的投入而言，我們可以得出以下結(jié)論：在屬性、人物表征、關(guān)系、事件間關(guān)系和環(huán)境間關(guān)系等方面，圖像投入的概念意義比語言文本所投入的概念意義更多；同時(shí)，語言文本也投入了一定程度的概念意義，而這些在視覺文本中是無法表達(dá)的（如在行動(dòng)和環(huán)境方面）。語言符號系統(tǒng)和視覺符號系統(tǒng)在概念意義投入層面上存在分歧，呈現(xiàn)出不均勻和差異化的語義賦值。

四、結(jié)語

探討多模態(tài)敘事語篇中圖文符號系統(tǒng)概念意義創(chuàng)建，采用功能語言學(xué)相關(guān)概念對多模態(tài)繪本《郵遞員叔叔的奇遇》中語言系統(tǒng)進(jìn)行及物性分析，結(jié)合符際互補(bǔ)理論挖掘圖文系統(tǒng)間的跨符號互補(bǔ)機(jī)制，是圖文關(guān)系研究的一次積極話語實(shí)踐。本研究發(fā)現(xiàn)，圖文系統(tǒng)存在最為突出的概念意義銜接機(jī)制為重復(fù)機(jī)制和搭配機(jī)制。這是由兒童繪本這一特殊多模態(tài)語篇屬性及其預(yù)期讀者所決定的，通過詞匯項(xiàng)目/標(biāo)簽與視覺信息表征的概念意義形成重復(fù)，達(dá)到提醒讀者故事世界和人物的敘事功能。同時(shí)結(jié)合語篇實(shí)例化的分析方法，探索圖文系統(tǒng)各自的語義賦值，是圖文互補(bǔ)研究的本土化嘗試，期望為探索多模態(tài)敘事話語提供新的視角和方法，為多模態(tài)作品創(chuàng)作、解讀和闡釋提供有益的啟示。

注釋：

①本文所選繪本《郵遞員叔叔的奇遇》，作者鄭春華，少年兒童出版社2013年版。