基于符號學和系統功能語言學理論的圖文關系綜合探索

戴春玲 龔曉斌

引言

隨著網絡技術、智能手機、互聯網等的發展，圖像在語言中所占的比重逐漸加大，對圖像與文字關系的研究也逐漸吸引了越來越多學者的興趣。圖文關系并不是一成不變的，它不但與文本語類有關（汪燕華 2011），而且與文化環境、閱讀者的語言水平和年齡（國防 2017）、所處時代（謝忱霖 2014）都有關聯。比如文學材料中的圖文關系與網頁材料中的不同；幼兒圖書中的圖文關系和成人圖書中的不同；古代的圖文關系與現代的也不同。除此之外，圖文的意義還隨著時代的變遷相互滲透。李佩穎（2016）曾對數字媒介時代的圖文互文關系進行研究，發現文學在創作過程中受到圖像思維的影響，圖像藝術也受到文學精神的浸潤。

對圖文關系的研究紛繁而復雜。從語篇類型來看，圖文關系研究涉及廣告語篇、科學語篇、數學語篇、文學語篇、多模態教學、傳單、檔案、教科書、圖畫書等；從研究角度來看，有從信息結構、銜接、及物性、邏輯語義關系、語類結構潛勢等不同角度切入研究圖文關系的。本文主要分析了符號學和系統功能語言學理論框架下知名學者的圖文關系理論，從而得出圖文關系探索的大致框架。

一、符號學視角下的圖文關系模式

20世紀德國著名哲學家恩斯特·卡西爾（Ernst Cassirer）在《人論》中給人下了一個全新的定義：從人類文化的角度來看，符號化的思維與符號化的行為是人類生活最富有代表性的特征，可以把人定義為符號動物（王銘玉 2015：4）。符號系統使得人類從本能地、被動地對外界刺激作出反應進化為積極主動地進行思考。依托符號系統，人類能夠將個人感覺傳達給其他個體，或者將知識進行儲存以便傳達給后代。沒有符號就不可能有文化，同時文化的進化也使符號系統更加體系化。眾多符號學家諸如皮爾斯（Peirce）、莫里斯（Morris）、艾柯（Ecco）、巴特（Barthes）等都對符號下過定義，然而由于思想基礎、出發點不同，符號至今沒有簡潔而清晰的定義。王銘玉（2015：12）嘗試性地對符號下定義，認為符號是指對等的共有信息的物質載體。具體來說，符號具有物質性，能傳遞一種接收者共同理解的、不同于載體本身的信息。并且任何符號都由符號形式和符號內容構成，二者之間是對等的關系。

語言作為最常用的符號形式，是一種特殊的符號系統。然而隨著時代的變化和科技的發展，語言的地位發生了變化，特別是隨著圖像時代的到來，圖像符號在人們的溝通交流中占據了越來越大的比重，使得人們開始認識到不同符號系統的優缺點，并且開始研究怎樣使得不同的符號系統更好地結合在一起。

（一）巴特的圖文觀

索緒爾（1980：39）認為語言的問題主要是符號學的問題，我們的全部論證都從這一重要的事實中獲得意義。要發現語言的真正本質，首先必須知道它與其他一切同類的符號系統有什么共同點。在索緒爾語言符號理論的啟發下，法國符號學家巴特（1977）對圖文關系提出了自己的認識。巴特選擇廣告圖文作為研究對象，認為廣告圖像中包含三種信息：文本信息（linguistic message）、有符碼的像符信息（coded iconic message）和無符碼的像符信息（non-coded iconic message）。在巴特看來，所有的圖像都是多義的，在圖像的“能指”之下暗藏著一長串“所指”，而文字就是用來固定圖像一部分意義的工具之一。同時，巴特還指出圖像和文字之間存在三種關系：錨定（Anchorage：文字固定一部分圖像意義）、圖解（Illustration：圖像解釋文字）和接力（Relay：兩者地位平等，相互補充）。

（二）Kress&Leeuwen的視覺語法

雖然國內有大量文獻將克雷斯（Kress）和路溫（Leeuwen）的研究成果歸于多模態和系統功能視角下，誠然他們的理論框架建立在韓禮德系統功能語言學中“語言三大元功能”基礎之上，然而這兩位學者在Reading Images一書中這樣寫道：“我們關于視覺表征的研究是建立在‘社會符號學'的理論框架內的”（Kress&Leeuwen 2006：6）。故而本文將二位的研究成果置于符號學框架之內。

克雷斯和路溫（2006：18）認為巴特的研究漏掉了很重要的一點：文本中的視覺成分本身就是一個有著獨立組織結構的信息，雖與文本相連接，卻并不依賴它，反之亦然。根據韓禮德的系統功能學理論，語言同時體現三種元功能：概念功能（ideational metafunction）、人際功能（interpersonal metafunctional）和語篇功能（textual metafunction）。與韓禮德的三大元功能相對應，圖像也有三大意義：再現意義（representational meaning）、互動意義（interactive meaning）和構圖意義（compositional meaning）。

再現意義主要有兩種類型：敘事的（narrative）再現和概念的（conceptual）再現。敘事過程和概念過程的區別在于“敘事結構永遠都有一個矢量，而概念結構中沒有矢量的存在”（Kress&Leeuwen 2006：59）。敘事結構描述的是正在進行的動作、事件或變化過程，而概念結構描述的是概括性的、靜止永恒的分類、結構或意義等。互動意義由接觸（contact）、距離（social distance）和態度（attitude）三部分組成。除此之外，互動意義還有另一個重要的組成成分：情態（modality）。“情態”一詞來源于語言學。在功能語法中，“除了yes和no之外，還有過渡狀態，即處于中間的各種類別，統稱為情態”（韓禮德 2010：99）。而在視覺語法中，“視覺效果可以將人、地點和事物視為真實，好像它們確實以這種方式存在，或者就像它們不存在一樣——好像它們是想象、幻想、漫畫等”（Kress&Leeuwen 2006：156）。視覺效果的真實度越高，情態越高；反之則情態降低。隨著色彩飽和度（colour saturation）、色彩區分度（colour differentiation）、色彩調節度（colour modulation）的升高，情態會逐漸升高，至最高點后又會逐漸下降，如圖1所示：

圖1

構圖意義對應功能語法中的語篇功能，有三個組成成分：信息值（information value）、顯著性（salience）和邊框（framing）。事物在圖片中的不同位置有不同的信息值，比如左邊的事物被默認為已知信息（given），而右邊的事物被默認為新信息（new）。圖像上方往往是理想性（ideal）的事物，而下方往往是現實性（real）的事物。顯著性指的是圖片某元素吸引注意力的程度，由色彩對比、所處位置、視角等復雜因素決定。最后邊框指的是事物之間的連接程度。通過加入分割線或分割框架，元素被分離，元素之間的從屬關系也更清晰。

克雷斯和路溫的視覺語法意在表明圖像也有自己的表意結構，與文字一樣具有三大元功能，只是實現其功能的方式不同。圖文關系可從構圖意義中側面推斷出，比如，若文字在左圖片在右，則說明文字相對于圖片來說是已知信息。除此之外，路溫（2005：230）進一步完善了巴特的圖文關系理論，如表1所示。該表中將圖文關系分為詳述和延展兩大類，并對兩類關系進行進一步細分。可以看出，在巴特的三大圖文關系的基礎上增加了解釋、類似和相反三種圖文關系，補充了巴特理論的空缺。同時，克雷斯和路溫（2002）對顏色有特殊的看法，他們認為顏色并不是實現元功能的元素之一，而是一種獨立的模態。但是與文字模態和圖像模態不同的是，顏色模態不能單獨存在，而是“只能存在于多模態的環境中”。

表1

與克雷斯和路溫的研究成果類似的有萊姆基（Lemke，1998：91-94）。同是在元功能思想的指引下，萊姆基研究了科學語篇的圖文關系后認為多符號模態的意義構建包含表達意義（presentational functions）、指向意義（orientational functions）和組織意義（organizational functions），并認為不同模態的符號基本上是不可通約的。

（三）Peirce的符號思想

圖像和文字作為兩種重要的符號組成成分，在符號學研究中得到了充分的體現。皮爾斯（Peirce）在“范疇”思想的影響下提出了自己的“范疇”觀點。他認為，任何判斷或命題都應該包括三個成分：第一性、第二性和第三性（張彩霞 2015：76）。第一性是事物本身，與其他事物不發生關聯。皮爾斯認為它是一種“感覺質（QualityofFeeling）”。第一性也可以被描述為一種可能性，比如顏色，無論某種顏色是否被視覺觀察到，它都是獨立存在的，不受時間、空間的約束。第二性是第一性的外在表現，相對于第一性而存在。它是兩種事物的相互作用過程，這個過程沒有被第三者感知或理解。比如雨滴掉落在樹葉上發出沙沙的聲音，就是一種第二性存在。第二性必須依存一定的時間和空間存在，是現實性的、經驗性的。當雨滴掉落在樹葉上的聲音被某個人感知，從而生出了“下雨了”的想法時，就是第三性的存在了。第三性的存在將第二者和第三者相連接，沒有了第一性和第二性，第三性也無法存在。簡而言之，第一性以知覺或感覺的樣式存在；第二性以經驗或活動的樣式存在；第三性則以思維或符號的樣式存在。

在三個“普遍范疇”的理論下，皮爾斯又提出了符號的三要素：媒介關聯物（M-medium）（代表第一項）、對象關聯物（O-object）（代表第二項）和解釋關聯物（I-interpret）（代表第三項）（王銘玉 2013：109-114）。也就是說，任何符號都要具備這三個要素，否則就不是一個完整的符號。符號的三要素也可以兩兩之間相互組合，形成符號的“下位符號”。如表2所示：

表2

如表2所示，符號的三要素相互之間兩兩組合后可以形成9種下位符號。其中的象似符號是通過對所描寫對象的寫實或模仿來進行表征的。圖像、圖案、模型、草圖、比喻等都屬于象似符號，而文字則是一種完整的符號。從中可以發現文字和圖像的區別。從皮爾斯理論角度來看，文字和圖像共同擁有媒介關聯物和對象關聯物，區別在于文字擁有圖像不具備的解釋關聯物。通俗地說，因為文字已經在一定人群范圍內有規約的意義，不同的人對相同的文字有相同的理解；而圖像卻不具備這種規約性，不同的人對相同的圖像往往有著不同的理解。然而，規約意義是由后天學習形成的，并且在一定程度上會限制人們的理解速度，相對而言，圖像則更直觀，更容易吸引人們的注意力。

二、系統功能語言學理論視角下的圖文關系

系統功能語言學理論雖然以文字符號為主要研究對象，但也是最合適的研究不同模態之間關系的理論。張德祿（2009）認為“系統功能語言學理論本身不需要做任何改動就可以直接作為其理論框架”。韓禮德的語言學理論本身就受到歐洲語言學派和美國語言學傳統的影響，認為語言是一種社會符號，是人類眾多交流信息方式的一種，并提出了純理功能、系統、語境等核心思想。在他的影響下，大量學者從系統功能語言學理論角度對圖文關系作出了研究。

（一）多模態綜合分析模型

利姆（Lim Fei，2004）建立了分析帶有視覺圖像和語言文字等符號資源的多模態綜合分析模型，簡稱IMM（Integrative Multi-Semiotic Model）。如圖2所示：

圖2

該模型采用多層平面，將圖像和文字的意義由上至下劃分為表達層（expression plane）、內容層（content plane）和語境層（context plane）。表達層是文本（或圖像）意義被讀者理解的界面，分別表現為排印（typography）和圖案（graphics）。表達層之下是內容層，由語法層和語義層組成，并且采用了三種不同的顏色來表示三大元功能。最后是語境層，利姆認為圖像和文字共享語境層面，包括語域（register）、體裁（genre）和意識形態（ideology）。然而無論是意義的哪個層面，都與載體媒介和物質性（medium&materiality）有關。中間突出的平臺被稱為整合空間（Space of Integration，簡稱SoI），理論上指符號過程聯系語境發生的地點。整合空間之所以突出來一塊，是為了表示不同模態符號相互作用造成的語義延伸。考慮到多模態文本意義形成的復雜性，IMM模型將不同領域的研究成果統一到一個模型中，形象、直觀地顯示了圖文關系研究的一個綜合性框架，使研究者對圖文關系有了更深入的了解。IMM模型的不足在于，就像作者自己指出的，這個模型過于簡化和死板，實際研究中意義的分布會更復雜、更具靈活性。另外，三大元功能的比例不可能像模型中那樣都處于相同地位，在實際應用中可能某一功能占主體地位，或者兩個功能之間會有交疊。

與利姆的多模態綜合分析模型相類似，羅伊斯（Royce，1998）同樣認為在視覺符號和文本符號中存在“整合空間”，他稱之為“符間互補”（intersemiotic complementarity）。羅伊斯認為每種元功能之間的符間互補關系不同，并對圖像意義、符間互補和文本意義各自的元功能進行了詳細分析。張德祿（2009）在利姆的基礎上宏觀地解釋了不同符號模態（包括語言、圖覺、聲覺、感覺等）在文化層面、語境層面、內容層面和表達層面上的形式和它們之間的關系，相當于對利姆的模型進行了進一步解釋和細分。

（二）Martinec&Salway的圖文分析模式

馬丁內克和薩爾韋（Martinec&Salway，2005）結合了韓禮德和路溫的理論，提出了一個結合地位和邏輯語義關系的圖文關系分析模式，并認為該圖文分析模式適用于新、舊媒體的所有圖文關系分析。如圖3所示：

圖3

馬丁內克和薩爾韋認為前人的研究成果主要牽涉完整的圖像和文本之間的關系，沒有將圖像和文本細分為不同的“單位”，從而研究“單位”之間的圖文關系。由圖3可知，地位系統包括平等（圖文相互獨立或圖文互補）和不平等（圖從屬于文或文從屬于圖）兩個子系統。在平等關系中，牽涉的是完整的圖像和完整的文字之間的關系。在不平等關系中，若圖像只牽涉一部分文字意義，則圖像從屬于文字；而文字從屬于圖像的情況則由文字中的指示詞（deixis）決定。邏輯語義系統包括擴展（expansion）和投射（projection）兩個子系統，主要按照圖文內容進行分類：擴展主要指被表征的事件中的關系，而投射涉及的是已經被表征過的事件。擴展有三種形式：若圖片和文字表征的內容相同，只是概括程度（level of generality）不同，就是詳述（elaboration）；若圖片或文字任意一方為對方提供了相關的新信息，就是延展（extension）；若圖片或文字任意一方從環境（時間、空間、因果）限制了另一方，就是增強（enhancement）。投射則分為言語（locution）和思想（idea）兩種，在語言中分別表現為間接引述和思考，在圖像中分別表現為思想泡泡和語言泡泡。

三、小結

對圖文關系的研究建立在對圖像模態和文字模態單獨研究的基礎上。從以上學者的研究成果來看，符號學傾向于從符號本身發現不同模態之間的聯系而系統功能語言學則更傾向于從功能角度，聯系語境來建立圖文關系模型。結合以上學者的研究成果，從概念意義來看，圖文關系存在克雷斯和路溫的詳述和延展五種分類等；從人際意義來看，圖文之間的語氣和情態存在一致或沖突的情況；從語篇意義的角度來看，可以從排版中圖文各自的顯著性、信息值來分析圖文關系。