多模態歷史教科書中評價語義的圖文雙重建構

多模態歷史教科書中評價語義的圖文雙重建構

石春煦王振華

(上海交通大學,上海,200240)

摘要:本文綜合Martin關于文字、圖像的評價理論(Martin & White 2005)及其圖文關系框架理論(Martin & Rose 2007),提出基于圖文關系的多模態評價語義分析框架,以多模態歷史教科書為例,從個案例示和數據統計來討論多模態歷史教科書中評價語義的圖文雙重建構及其作用。經統計和分析發現,文字評價和圖像評價是一個有機的整體,圖文評價受圖文關系影響產生同步性。在多模態歷史教科書語篇中,圖像、文字以擴展關系為主建構評價語義。在評價的實例化過程中,以不同圖文關系建構的評價對歷史文類的選擇有一定的蓋然性。

關鍵詞:多模態歷史語篇,圖文關系,評價

[中圖分類號]H030

doi[編碼] 10.3969/j.issn.1674-8921.2015.09.002

作者簡介:石春煦,上海交通大學外國語學院2014級博士研究生。主要研究方向為系統功能語言學、語篇分析。電子郵箱:yusikiki@163.com

1. 引言

基于Halliday的三大元功能思想,Martin和White(2005)發展了其中的人際元功能思想,關注詞匯層面上有關情感、道德和美學的話語,提出了文字模態的評價理論。針對多模態語篇,Martin和 Rose(2007)又建構了圖像的評價理論。自評價理論創立以來,它便彰顯出極大魅力,被廣泛運用于語言學領域及跨學科的相關研究(劉世鑄2010)。其中大多數的評價研究主要集中于文字模態,對Martin的圖像評價鮮有人關注,忽視了對文字、圖像如何聯合實現評價語義的研究。

歷史教科書中編寫者的態度在主、客觀頻譜間轉換,是評價研究的理想語料。伴隨數字時代的發展,歷史教科書中圖像資源日益增多,多模態歷史教科書逐漸成為主流。因此,對多模態語境下的評價研究,應給予足夠重視。本文結合多模態歷史教科書,基于Martin的圖文關系框架和評價理論,研究文字評價與圖像評價之間的關系;通過統計基于不同語類的圖文評價使用概率,考察多模態歷史教科書語篇中評價語義的圖文雙重建構的規律和作用。

2. 理論框架

Kress和van Leeuwen(1996/2006)認為在社會文化環境中,同樣的人際意義可以用不同模態符號來表達。評價是關于人際意義的系統(Martin & White

王振華,上海交通大學外國語學院教授、博士生導師、博士后。主要研究方向為語篇語義、系統功能語言學、評價理論。電子郵箱:wzhenhua@sjtu.edu.cn

2005)。文字模態的評價理論主要通過“評價詞匯”體現語言使用者的意識形態,是社會視角的研究:它探索說話者通過語言賦予語言對象的價值意義,既注意語篇中評價性詞匯修辭功能的理解,又關注人際意義和社會關系的協商(王振華2001)。除了對文字模態中的評價系統進行全面闡述,Martin和Rose(2007)還關注圖像中的評價語義,他們將評價系統納入語篇語義體系,并簡要描繪了圖像中的評價框架。

多模態語篇中評價語義的圖文雙重建構,要考慮文字、圖像之間的相互關系。圖文關系研究始于Barthes(1977)提出的圖文符號關系理論,并隨著多模態語篇研究的發展而不斷深入。學者們重點關注圖文位置、圖文系統,對圖像與文字的邏輯語義關系、銜接關系、模態間的互補性予以強調(如Kress & van Leeuwen 1996/2006,2001;Martin 2001;Martinec & Salway 2005;Royce 2007)。Martin和Rose(2007)將小句復合體相互依賴關系和邏輯語義關系運用于圖文關系,認為圖文關系包括圖文邏輯語義關系(logicosemantic relation)、圖文界限(image-text boundary)和圖文追溯(identification)。

綜合馬丁的上述理論,我們提出基于圖文關系的多模態評價語義分析框架(見下頁圖1),并將其用作本文的理論框架。

英語中的評價系統包含態度、介入和級差三個子系統。態度系統可細分為情感、判斷和鑒賞三個次系統;介入系統可劃分為自言、借言兩個次系統;級差系統可再分為語勢和聚焦兩個次系統。情感系統是態度系統的中心,判斷系統和鑒賞系統都是以情感系統為基礎的。情感系統考察人們對行為、語篇/過程和現象的心理反應;判斷系統基于倫理道德的標準來評價語言使用者的行為;鑒賞系統關注對語篇/過程與現象的評價(王振華、馬玉蕾2007)。根據精密階,相關的次系統還可以細分,形成一個系統的評價體系。評價語義還可以通過圖像建構(Martin & Rose 2007:326):圖像可以激發情感,不同圖像所表達的情感會引起讀者的共鳴;圖像中引人入勝的場景和物體同樣可以讓讀者進行鑒賞、裁斷。不同的圖像也可以使讀者產生不同的介入意義,如圖像中人物直視或側對觀眾,介入程度就大不相同。圖像中的介入分直視和側視兩種。而情感、裁斷和鑒賞意義也會隨圖像變化而增強或減小,故作為態度介入分級的級差系統可分為擴大和縮小兩種。

圖1　多模態評價語義分析框架

評價語義在文字與圖像中的雙重實例化(dual instantiation),還需要考慮文字與圖像的關系。圖文關系如下圖所示:

圖2　圖文關系(Martin & Rose 2007:329)

圖文邏輯可以分為擴展關系和投射關系。擴展關系可以分為詳述關系、延伸關系和增強關系等三類關系。投射關系有兩種:圖像和文字之間可以相互投射言語和思想。圖文界限有強有弱。圖文互指表明圖像和文字之間有追溯性,如圖像中的元素可以在文字部分得到印證。

3. 多模態歷史教科書中

評價語義的圖文建構例示

歷史常常需要借鑒陳述和圖片來記錄。歷史包含主觀和客觀的問題,涉及記錄者、說明者和評判者等三種視角:記錄者客觀陳述事實;說明者進行行為判斷;評判者嵌入態度,對史實和道德性進行分析(楊信彰2012)。因此歷史教科書是研究語類中文字、圖像評價有機結合的理想語料。

TheAmericans是廣受好評的美國高中歷史教科書,是多模態歷史教科書的經典之作。該書共26章,以時間為順序,圖文并茂地刻畫了美國歷史。該教科書在對某一歷史知識點做介紹時,首先以記敘一個美國人故事的方法聯系該歷史知識,而后對知識點的重要特征進行闡述和因果解析,在重要章節還加上一系列相關評論。基于王振華(2011)介紹的Martin對歷史語篇的分類,本文將該歷史教科書中的語篇按文類目的劃分為三類:講述性文類(recount genre)、解釋性文類(account genre)和議論性文類(argument genre),綜合顯示該教科書中圖文評價在三種文類中的圖文邏輯語義關系分布。下文將結合該教科書中的羅斯福新政第五節內容,具體研究不同歷史文類中的圖像評價和文字評價之間的關系,以及它們對評價語義整體的建構作用。

3.1講述性文類的圖文評價

在該教科書中,講述性文類主要出現在經典版塊“一個美國人的故事”中,其涉及的圖文關系往往采用擴展關系中的詳述關系。羅斯福新政這一章節中的如下介紹便是一個典型的例子。

板塊中以“FDR was extremely popular among working-class Americans.”這句話記敘了羅斯福總統在工人階級中的受歡迎程度,所配圖片是1932年羅斯福總統和工人的握手照片(如上圖)。形容詞“popular”屬于態度評價中的正面判斷資源。語篇以自言方式體現介入系統,而級差系統資源“extremely”增加了態度的強度。從圖像角度看,照片中兩人的笑容、握手動作等和諧氛圍印證了文字“extremely popular”,也反映了態度系統中正面的判斷意義。照片從側面進行拍攝,產生側視的介入效果。照片中展現了一群各式各樣的人物,圖片中的男女老少都與羅斯福總統關系融洽,體現了擴大型的級差系統,以增強說服力。

上例顯示文字評價和圖像評價產生了重疊性的評價語義:文字評價體現了羅斯福總統在工人階級中極受歡迎的正面態度,圖像評價體現羅斯福總統與工人階級的緊密聯合。這也對應了詳述型圖文關系的作用。圖文之間界限明顯,圖文相互追溯,相互印證。詳述型圖文關系使圖像、文字中的評價性信息進行疊加,強調公眾人物的領導魅力,從側面說明羅斯福新政順應廣大人民群眾的意志,總體上加強了評價語義。

3.2解釋性文類的圖文評價

解釋性文類是該歷史教科書的主要文類,描述了以下內容:面對美國經濟危機的混亂局面,羅斯福總統致力于實施新政,整頓和改革財政金融,加強國家對經濟的干預與指導,同時采取一系列措施,促進民眾就業,以緩和國內階級矛盾。解釋性文類中,評價語義所涉及的圖文關系多樣,在這一章節中主要體現為詳述關系、增強關系、延伸關系和投射(言辭)關系。

3.2.1詳述型的圖文評價

在闡述羅斯福新政的影響時,文字中提到下面一句話,“Although the New Deal did not end the Great Depression,it did help reduce the suffering of thousands of men,women,and children by providing them with jobs,food,and money.”,并輔以拍攝于1936年的歷史場景圖片加以例證(見下圖)。文字中闡述羅斯福新政減少了人民的痛苦。文字中使用“not”和“did”這些對話性壓縮資源進行介入,加上“help reduce the suffering...”的這個社會判定,總體上贊揚了羅斯福新政給予人民生活上的幫助,其中“suffering”體現了評價系統中的否定情感,“thousands of”則屬于級差系統中的語勢資源,強調羅斯福新政下受益的民眾眾多。

圖像則對文字評價資源“suffering”進行詳述:在歷史場景圖片中,失業者在表情落寞地閑聊著,真實地再現失業者的百無聊賴和不安,以閑聊這一物質過程,通過讀者的介入,細述了態度系統中負面的情感。這張歷史照片記錄了羅斯福新政前人民生活的困難,照片從側面進行拍攝,體現了評價語義的客觀性。圖像中出現了一組人,體現了擴大型的級差系統。文字評價提及人民生活的苦難,而圖像評價則刻畫了新政前人民對生活的苦楚,因而圖文評價在詳述型圖文關系的影響下,建構了對新政前人民生活的圖文雙重評價,引導學生對羅斯福新政改變人民生活的作用加以肯定。

3.2.2增強型的圖文評價

在對羅斯福新政結果進行分析時,語篇中的表述句子為“The federal government had to go deeply into debt to provide jobs and aid to the American people.”。在圖像上則使用了數據統計的曲線圖(見下圖),上升的拋物線代表政府赤字,下降的拋物線代表失業率。曲線圖可以形成一種類向量、類描述的效果(Kress & van Leeuwen 1996/2006:102),可對文字信息產生的歷史結果進行強調:政府赤字總體在上升,而失業率則呈下降趨勢。

在文字評價中,使用借言的介入方式,以“debt”、“aid”體現正面及反面的態度系統資源,而“deeply”屬于級差系統中的過程強化(intensification),這一級差系統詞匯的評價效果又在圖片的兩條對比曲線中得以加強。該曲線圖以年度為單位對文字描述的結果進行信息補充,突顯了新政造成的財政赤字和失業率的對比,體現為擴大型的級差系統。圖像評價和文字評價在歷史影響上進行疊加,體現了增強型圖文關系的作用,引導讀者介入分析羅斯福新政的巨大影響。

3.2.3延伸型的圖文評價

這一章節的延伸關系體現在以下的典型例子中。在介紹羅斯福新政的政策條款時,教科書編寫者在文字部分這樣描述:“New Deal economic and financial reforms,including the creation of the FDIC,the SEC,and Social Security,have helped to stablize the nation’s finances and economy.”。這句話寫明“social security”(社會安全)在當時的作用。圖像又對該知識點信息進行延伸,以欄目“Now and Then”嵌入的方式,介紹社會安全的現狀。

在文字部分,評價詞匯“stablize”構筑了對社會安全保障的正面態度;圖像部分細述了當今社會安全的狀況。其中第一句話確定了下文的評價基調“Today the Social Security system continues to rely on mandatory contributions paid by workers—through payroll deductions—and by employers.”,其中的“mandatory contributions”(強制性貢獻)則顯示教科書編寫者對社會安全保障資金來源的保留態度。因而,語篇與圖像評價資源間沒有重疊的評價信息,延伸型圖文關系聯合了圖像評價與文字評價,構建教科書編寫者對社會現象的多角度觀察,體現他們對待歷史的辯證態度。

3.2.4投射言辭型的圖文評價

這一章節的解釋性文類也出現了投射型的圖文關系。在介紹人們對羅斯福新政的態度時,教科書編寫者使用了投射言辭型的圖文關系(如下圖)。與圖相關的表述性文字為”Over time,opinions about the New Deal have ranged from harsh criticism to high praise...”。評價詞匯“harsh”屬于態度系統中的否定情感,“high”歸屬級差系統中語勢的增強,分別用于修飾“criticism”和“praise”,引領隨后的正反面觀點,反映了編寫者客觀、辯證的態度:正面言論,即羅斯福新政發揮政府在經濟調節中的重要作用,并克服了國家的經濟困難;反面言論是羅斯福新政使聯邦政府變得太過強大,且未消滅社會經濟不平等。而其采用投射型的圖文關系,圖片中用“point”和“counterpoint”較大字體凸顯了正反對立面觀點:引文型圖像投射了“high praise”和“harsh criticism”的代表性觀點,投射了正面觀點“羅斯福新政改變了美國政府的工作方式”及反面觀點“羅斯福新政制造的麻煩比解決的問題多”。文字、圖像中的文字資源皆采用自言型的介入方式,其中的正面、負面評價資源相互印證,實現了圖文評價之間的聯系,間接反映了教科書編寫者立場的辯證,引導讀者進行思考。

3.3議論性文類的圖文評價

議論性文類往往涉及對某一歷史事件影響的評論。議論性文類并非教科書主體,一般出現在重要章節的末尾,其涉及的圖文關系數量較少,但種類較多。在論及羅斯福新政的影響時,主要采用詳述型和投射思想型的圖文評價。

3.3.1詳述型的圖文評價

第一個例子是關于社會保障體系。圖像是一張與社會保障體系相關的海報,圖像背景為美國國會大廈,圖中身穿制服的人手中伸出一張支票,與圖相關的文字表述較多(見下圖)。句子“the federal government has assumed some responsibility for the social welfare of its citizens”指出羅斯福新政最重要的影響之一就是社會保障體系,該體系保障居民的社會福利,是對羅斯福新政的社會判定。其中涉及的態度詞匯為“important”、“responsibility”、“needy”及“assistance”,皆是正面的評價詞匯,反映了編寫者的肯定態度。級差系統詞匯如“some”、“a large number”表明了編寫者在議論歷史時的謹慎態度。

而圖像與議論文字相契合,使用歷史上退休制度福利的宣傳圖片,詳述了該福利保障65歲以上老人的晚年生活,每月提供生活費(a monthly check)。圖像中沒有人與讀者進行眼神交流,而圖像中的支票在全部畫面中所占比例不是最大,美國國會大廈和公務員的手卻占很大比例,因而凸顯社會保障與美

國政府之間的聯系,并肯定了美國政府的作用。這里的論述使用詳述型的圖文關系,強調了對政府積極作用下的社會福利制度的正面評價意義,也從文字、圖像兩種模態闡明了編寫者對羅斯福新政在社會保障方面做出重要貢獻的肯定。

3.3.2投射思想型的圖文評價

在對羅斯福新政結果進行評議時,出現了投射思想型圖文關系(如下圖)。因文字、圖像之間不出現重疊性信息及遷移性信息,漫畫生動地詮釋了文字中的思想,圖像中的信息實為文字信息的思想投射。文字對羅斯福新政進行客觀評價,綜合議論新政社會影響的多維性:“The New Deal legacy has many dimensions.It brought hope and gratitude from some people for the benefits and protections they received.It also brought anger and criticism from those who believed that it took more of their money in taxes and curtailed their freedom through increased government regulations.”，該語篇的評價資源以自言的介入方式提到羅斯福新政一方面帶來“希望與感恩”(hope and gratitude),另一方面則帶來“怒氣與批評”(anger and criticism)。其中“hope”、“gratitude”是反映正面態度的評價資源,“anger”、“criticism”及“curtailed their freedom”是反映負面態度的評價資源。另外,“many”、“some”為體現級差系統的評價資源,“many dimensions”則確定了下文的評價基調。

而漫畫正是文字思想在圖像上的投射:漫畫中羅斯福總統積極推動慢速行進的國會實施他的眾多改革方針,說明羅斯福總統對采取新政所做的極致努力,而美國國會則動作甚慢。漫畫中羅斯福總統側對讀者,體現了圖像的側視介入。而羅斯福總統與美國國會兩者在圖像的中心,體現了擴大型的圖像級差系統,強調總統與其領導的國會在新政改革的作用。文字的客觀議論配合帶有政治意義的漫畫,實現了圖像與文字評價之間的關聯,綜合展現了編寫者對歷史事件看法的立場,說明其不僅是客觀的“記錄者”、“說明者”,在議論性文類中更是隱性的“評判者”。

綜上所述,圖文邏輯語義關系與圖文評價密切相關,圖文邏輯語義關系使圖像評價與文字評價相互聯系,并形成一種同步性。圖文關系在聯合群體建立共享價值觀中發揮重要作用(Martin 2001:334-335)。圖文詳述關系會增加重疊型的評價語義,而圖文增強關系會增加環境成分的評價語義,使評價語義得以增強;圖文延伸關系會增加非重疊性的評價語義,圖文投射關系會投射相關思想與言辭信息,兩者都使圖文的評價語義相互聯系。在羅斯福新政這一整個章節中,教科書編寫者面對高中生這一閱讀群體,在多種圖文關系中綜合建構并實現評價的實例化,同時通過圖文評價的同步性對學生的歷史觀形成起引導作用。

4. 多模態歷史教科書中

基于不同語類的圖文評價統計

多模態歷史教科書中圖文評價的示例表明圖文關系(特別是圖文邏輯語義關系)影響圖像評價、文字評價之間的同步性。以下基于圖文關系的多模態評價語義分析框架,關注該教科書(不含補充材料)中可以相互追溯的圖像和文字,以一個圖文關系為單位進行統計(組合圖共享標簽,按一個計),并運用UAM CORPUS TOOL 2.8輔助統計結果,綜合顯示該教科書中圖文評價在講述性文類、解釋性文類和議論性文類中的圖文邏輯語義關系分布,最后得出的數據如表1所示。

表1　文類中圖文評價資源的邏輯語義關系分布

上述數據顯示多模態歷史教科書中建構評價語義的圖文邏輯關系呈多樣性,且其在不同文類中的分布亦不相同。在這本多模態歷史教科書中,最多的是擴展關系,在三種文類中分別占到100%、95.6%和48.5%。其中,詳述關系在三種文類中的比重都相對較大,分別占到100%、60.0%和34.3%。擴展關系中的延伸關系和增強關系在解釋性文類中更多出現,分別占解釋性文類圖文關系總數的21.3%和14.3%,而投射型更頻繁地出現在議論性文類中,占該文類圖文關系總數的51.5%。在該教科書中,詳述關系更多出現在講述性文類中,體現為圖文互溯并對教科書要呈現的史實進行總結、細述;延伸關系、增強關系更多在解釋性文類出現,增強關系用于加強對歷史時間、歷史地點、歷史原因、事件目的或其他環境成分的強調,延伸關系往往對某個歷史知識要點進行遷移式闡述;投射言辭關系、投射思想關系更多出現在議論性文類中,圖像中的信息為文字意義的思想、言辭投射。

在多模態語篇中,圖像的一種作用就是與文字一起共同表達態度(Martin 2001:334)。在圖文關系影響下,在語料中,處于詳述關系下的圖像往往是人物肖像、歷史照片和人物引文,圖文界限較為清晰,其傳達的評價語義往往與文字評價資源相互呼應,增加重疊性評價語義。增強型的突出表現形式為曲線圖和地圖型,解析歷史時間、歷史地點及歷史因果,圖文界限清晰,通過新信息的補充對這三者的評價語義進行加強,體現編寫者正面或負面的態度。延伸關系往往出現在解釋類文類中,對歷史知識點的相關解釋或發展進行延伸,圖像往往是帶有評價性文字的圖,圖文界限較為模糊。投射關系中的圖像往往以漫畫、帶文字的圖表形式出現,映射與文字相應的思想、言論,圖文界限清晰,體現了多模態歷史語篇中主觀意識的介入。

因此,在建構評價語義時,以不同圖文關系建構的評價對歷史文類的選擇有一定的規律和蓋然性:在該教科書中,詳述型圖文評價占有相當大的比重,因為在歷史等人文學科中,圖像的主要作用在于知識點的詳述、知識點描述和信息的傳播(Kress & van Leeuwen 1996/2006:16)。文字、圖像相互聯系,在表達概念意義、共同表征課程內容的同時,也表達編寫者的價值觀,體現多模態語篇的人際意義。延伸型和增強型的圖文評價在解釋性文類中更多出現,因為歷史解釋性文類涉及析因(factorial explanation)和析果(consequential explanation)等次類,歷史學家往往在解讀史實、析因析果時加入相關評價(Martin & Rose 2008:125)。而知識遷移的延伸型及強調環境成分的增強型,都可以為相關評價提供理據,加強評價的圖文雙重建構。投射型圖文評價更頻繁地出現在議論性文類,在該教科書中,其涉及的圖往往是一些漫畫。相對于圖表(表格、地圖、示意圖)在高度客觀的語境中傳遞知識的作用,漫畫作為插圖的目的是使入門級讀者帶有情感地介入主題(Kress & van Leeuwen 1996/2006:121)。這樣漫畫作為文字信息的另一種模態的讀解,與文字一起,產生整體性、同步性的評價語義。因此,多模態歷史語篇中的圖文評價,不僅讓教科書編寫者成為“記錄者”,更以“說明者”和“評判者”的立場影響著讀者主體對評價語義的閱讀反應。

綜上所述,結合Martin和White(2005:164)對評價的階的分析,本文通過下表構建起多模態語篇中評價系統的實例化過程:

表2　多模態語篇評價的實例化

在表2中,評價系統這個圖文雙重系統具有各種各樣的操作子系統(馬丁、王振華2008)。在評價系統的實例化過程中,多模態歷史教科書語篇中的評價是基于語境的評價選擇,講述性、解釋性和議論性文類的評價可做為評價立場,是評價性選項的二次選擇。講述性、解釋性和議論性文類中多模態評價的方式是多種多樣的,某個具體的圖文評價可成為評價實例。基于上文分析,圖像、文字評價在圖文關系的影響下,可形成一種同步性。在這一過程中,讀者主體對語篇的評價語義形成閱讀反應。

5. 結語

多模態評價理論是探究作者態度的有效工具。在不同語類中對圖文評價的研究,不但能深入解讀和分析圖文關系對圖像、文字評價的前景化作用,而且也為數字時代多模態教科書語篇的創作提供一定理論參考。在多模態歷史教科書語篇中,通過分析不同的圖文評價使用與語類的關系,我們認為文字評價和圖像評價是一個有機的整體,使圖文評價產生同步性。圖文關系在聯系圖像、文字概念意義的同時,也映射了圖文之間的評價語義以及圖文與讀者之間的人際互動關系。

圖像評價與文字評價在歷史文類的實例化過程相互協調,圖文評價建構以擴展關系為主,且以詳述型數量居多。在多模態歷史教科書語篇評價的實例化過程中,以不同圖文關系建構的評價對歷史文類的