多模態話語中各模態之間關系的研究*

代樹蘭

(江蘇理工學院，常州 213001)

隨著現代社會信息與傳播方式的改變及現代社會圖像的崛起，語言的統治地位受到沖擊，雖然圖像等視覺符號尚未達到一統天下的境地，然而其重要性也不可小覷。圖像、圖文之間的關系再次成為人們關注的焦點。特別是在現代符號學、語言學領域，人們越來越認識到，意義的構建依賴多種符號資源的協同作用，圖像、動作、姿態、聲音常常與語言如影隨形，共同參與多模態話語意義的建構。在圖文關系的研究中，繼索緒爾、巴爾特之后，以系統功能語言學理論為基礎的學者深入到圖文之間比較細致的“語法”關系中，將語言系統的研究成果如小句之間的關系等拓展到話語單位之間、圖文之間的關系研究中，對圖文之間的地位、互補等關系，以及人際意義中的評價立場等展開研究；互動社會語言學、認知語言學等領域也將圖像、圖文關系納入研究視野(代樹蘭 2013:21)，他們對話語互動進程及參與互動的多種模態也提出相應的研究方法和路徑，對圖像隱喻、轉喻以及空間位置、聊天平臺上聲音符號的關注等為多模態之間關系的研究注入活力。

1　現代話語語境中圖像的崛起

在現代社會，圖像崛起于傳統的語言一統天下的語境中。事實上，人們對圖像等視覺符號的探討由來已久。柏拉圖的“線段之喻”將可視世界一分為二，即實物與圖像，認為圖像是對實物的摹仿。(柏拉圖 1986:268)亞里士多德在《形而上學》的開篇便有：“無論我們將有所作為，或竟是無所作為，較之其它感覺，我們都特愛觀看。理由是它能使我們識知事物，并顯明事物之間的許多差別，此于五官之中，以得于視覺者為多”(亞里士多德 1983:1)。我國古代，如果說老子和莊子的“五色令人目盲，五音令人耳聾” (《老子·第十二章》)、“上窺青天，下潛黃泉”(《莊子·田子方》)有意無意地強調視覺、聽覺的重要性，那么王弼的“盡意莫若象，盡象莫若言。言生于象，故可尋言以觀象；象生于意，故可尋象以觀意……”(《周易略例·明象》)，以及西晉文學家、書法家陸機的“宣物莫大于言,存形莫善于畫”(張彥遠《歷代名畫記·敘畫之源流》引)等則凸顯出視覺及圖像的重要性。黑格爾在19世紀30年代也曾指出，在人的所有感官中，惟有視覺和聽覺是認識性的感官。(黑格爾 1979:331)

人類社會進入20世紀后半期，消費社會的來臨、信息生產與傳播方式的數字化進程把我們由“語言一統天下”的時代帶入“圖像時代”?！八囆g”與“圖像”作為概念從內涵與外延、能指與所指的關系都在發生轉變(尹德輝 2010:11)，視覺符號正成為溝通個體與社會、人類與自然、心靈與肉體的紐帶?！盁o論我們喜歡與否，我們自身在當今都已處于視覺成為社會現實主導形式的社會”(艾爾雅維茨 2003:5)，“圖像俘虜了我們……它置身于我們的語言之中，并且語言也似乎不斷地向我們重復著它”(Wittgenstein 1958:6)?！斑^去，圖像闡釋文本。今天，文本則充實著圖像……過去是從文本到圖像的涵義遞減，今天存在的卻是從文本到圖像的涵義遞增。”(Barthes 1982:204)“目前占統治地位的是視覺觀念。聲音和景象，尤其是后者，組織了美學，統率了觀眾。”(貝爾 1989:154)甚至有人提出，在當代視覺文化中，文本與圖像的傳統支配關系被倒置，不是文字或文本支配圖像，而是圖像獲得前所未有的“霸權”(周憲 2005:138)。世界圖像并非從一個中世紀的稱謂演變為一個現代的時尚，而是世界從根本上變成圖像，這正是現代社會之本質(海德格爾 1996:899)。

電影、電視畫面、各種網絡資源及圖像的出現與普及意味著以視覺文化為主導的海德格爾的“世界圖像時代”(同上:1)，或曰“景象社會”(Debord 1994:6)、“視覺文化”(Mirzoeff 1998:5)、“仿像社會”(Baudrillard 1983:83)的到來。于是有學者宣稱，80年代末以來的“語言學轉向”似乎已經壽終正寢，取而代之的正是“視覺轉向”，或曰“圖像轉向”：哲學家們所談論的另一次轉變正在發生，又一次關系復雜的轉變正在人文科學的其他學科里、在公共文化的領域里發生。我想把這一轉變稱之為“圖像轉向”。在英美哲學中，這一轉向的種種形式早期可追溯到皮爾斯的符號學，后期可追溯到古德曼的“藝術語言”，兩者都探討構成非語言符號系統之基礎的慣例和符碼。更為重要的是，它們并不從如下假定出發，即語言乃是意義的范式。在歐洲，人們可以把這一變化和現象學關于想象和視覺經驗的研究等同起來，或把它與德里達的“語法學”等同起來，后者通過把注意力轉向書寫可見的物質性痕跡而將語言的“語音中心論”模式去中心化；或者，還可以把這一轉變與法蘭克福學派對現代性、大眾文化以及視覺媒介的研究等同起來，或者與?？滤鶊猿值臋嗔?知識歷史和理論等同起來，這一歷史和理論揭示出話語的和“視覺的”、可見的和可說的東西之間存在的裂隙，這種裂隙乃是現代性的“視覺政體”中的關鍵所在(Mitchell 1994:11-12, 米歇爾 2006:2-3)。

事實上，早在1972年，英國學者貢布里希(2001:106)就宣布“視覺時代”的到來。從電視到報紙，從廣告到各類商業形象，社會的特征似視覺的癌癥般擴散，所有事物的價值都取決于顯示或被顯示的能力，談話也被轉化為視覺過程(如電視訪談等)，這是一種眼睛的史詩，閱讀沖動的史詩 (Michel 1984:XXI)?！皥D像正是大眾話語最合適的傳媒和載體，圖像化為大眾化的意識形態提供一個最有效的途徑?！?彭亞非 2003:32)如果說“語言學轉向”是建立在語言建構我們社會現實的重要通道的話，那么，如今在同樣的意義上也可以說，在當代文化中圖像同樣是建構我們社會現實的重要路徑。比較而言，圖像比語言更有效地塑造我們對現實世界的看法。而當代視覺文化中各種復雜的圖像或影像形式的爆炸性發展，必然對當代人的主體性、意識形態和認知方式產生越來越深刻的影響(周憲 2005:142)。

盡管人們對圖像的地位、“圖像時代”的稱謂仍有爭議，“圖像霸權”等說法仍不免有言過其實之嫌，然而圖像等視覺符號在現代社會中的作用及地位的凸顯已成為不爭的事實。傳統的語言一統天下的時代正在改變。事實上，“圖像轉向”某種程度上正是肇起于“語言轉向”的基礎之上，崛起于傳統的語言一統天下的語境中。不僅圖像的表述是借助于語言完成的，對圖像重要性的凸顯、對圖像轉向的表述也是在語言轉向中、在與語言的對比中實現的。在此過程中，語言與圖像孰輕孰重、圖像符號的特點及其與語言符號的關系自然是學者們必須面對的問題。

2　現代多模態話語中各模態之間的關系

語言和圖像的發展經歷早期的圖文一體、先秦至隋唐時期的文重于圖、圖模仿文，宋朝至明清的語圖合體、相得益彰的發展歷程(李彥鋒 2010:65)，與東方一樣，西方的圖像從模仿、替代到再現的過程也經歷從一體、分離，走向融合的轉變。然而現代社會對多模態關系的研究歷史并不長。20世紀30年代的語言轉向萌芽之時，胡塞爾將圖像的物質客體區分為物理客體、展示性客體、被展示性客體3種類型(倪梁康 2001:34)，這一區分與帕諾夫斯基圖像學闡釋的3個階段(前圖像志描述、圖像志分析、圖像學闡釋)具有異曲同工之妙(潘諾夫斯基 1987:31)。維特根斯坦也注意到非語言符號的作用及語言與圖像之間的關系，在將語言符號的功能進行分類(傳達信息、表達情感與指導行動)的同時，提出非語言符號的功能，即表達態度與情緒、輔助語言交際、替代語言等；認為盡管非語言符號不容易變成系統、準確的語言，但大量不同的信息正是通過它們傳達的(維特根斯坦 2001:215-270)。阿恩海姆更進一步認為，“每一個視覺式樣都是一個力的式樣”(阿恩海姆1998:9)。被視覺所感知的圖像本身便存在著特殊的、不能用預先積累的知識推斷出來的“力的樣式”，從而將圖像看作與文字一樣是具有獨立性、具有表達層和意義層的符號資源(Royce, Bowcher 2007:195)，提醒人們對其意義構建過程與機制、對各種符號資源的融合予以關注、進行解釋。

如果說在柏拉圖那里，圖像與文字本身的符號價值被摹仿物所遮蔽，那么在現代的索緒爾、阿恩海姆等學者那里，它們的符號價值凸現出來，而不再受制于被摹仿物。只是索緒爾將語言文字看作一個自足的、封閉的系統，而胡塞爾、阿恩海姆等傾向于將圖像歸入某個自足的系統(陳力丹 王亦高 2008:15)。事實上，Kress和van Leeuwen認為，圖像并不依賴文字說明，而是自足的，具有自己的組織和結構特征。(Kress, van Leeuwen 2006:16) 如今，圖文關系在經歷柏拉圖的圖像優于文字、文字是圖像的闡釋者與輔助工具，以及巴爾特的文字優于圖像的觀點之后，步入后現代的圖像具有獨立性、自足性的時代。

正是后現代社會語境中圖像的這種獨立性、自足性導致“圖像時代”的到來，以及人們對圖像、圖文關系更多的關注和研究。在現代符號學、語言學領域，人們越來越認識到，意義的構建依賴多種符號資源的協同作用，視覺符號與我們對動作的感知相聯系，從而將身體對動作的體驗也變成視覺與語言結合的模態符號，語言與圖像等符號之間的關系超越簡單意義上的視覺符號與語言符號的結合，跨入多模態融合的階段。這種對多層次的單獨或協同作用的符號資源的認識為意義的研究提出新的課題，而日益增長的對傳播媒介、社會互動、符號學的研究興趣也正在促使人們重新將目光轉向話語的多種模態以及各模態之間的關系上。

2.1 以巴爾特為代表的符號學研究

人類對圖文關系的認知與探討以及語言與圖像相結合的傳統源遠流長。自古以來中國就有“圖經書緯”的說法，在歐洲，圖像也曾經被看成是一種書寫形式。然而在語圖關系研究中較早也頗具影響的當屬巴爾特。受索緒爾圖像僅是語言符號整體的一部分的觀點影響，他不贊成圖像具有符號自律性，認為對圖像的符號學分析需要借助于語言模式?！皥D像可以表達意義，但從來就不是自律的；任何符號體系均包含語言?！饬x必然是通過語言來復制從而得到證實?！?Barthes 1973:10)“語言不是普遍的符號學科的一部分，……相反，符號學乃是語言學的一部分，是具體負責話語中的大的意義單位的那部分。”(巴爾特1999:2-3)

巴爾特的觀點大有成為現實之勢。他在圖文關系方面所做的工作也為后期的研究奠定基礎。他將圖像與文字的關系分為兩種：即本體論上的“基礎”關系和信息“傳遞”關系。前者圖像依賴文字；后者則是互補關系。兩種關系中，要么文字得到圖像的延伸，要么圖像從文字中擁有本體論基礎(葉起昌 2005:63)。隨后，在依賴與互補的基礎上，巴爾特提出語言和圖像間的3種關系：以圖像為主，語言解釋圖像；以語言為主，圖像解釋語言(Barthes 1977：25)；二者處于平等地位：“盡管在固定的圖像中很少見，但在電影中卻十分重要，對話不僅起著解釋的作用，而實際上通過提供圖像中不能表現的信息，起著推動情節發展的作用。此時，語言和圖像作為語段的組成部分，處于互補關系，信息的整體性在更高層次上得以實現 (同上：41)，從而實現在意義表達上相互拓展、細化、增加所蘊含的信息，對意義予以詳細說明或更準確的重述 (Anthonissen 2003:300)。

2.2 系統功能語言學領域的研究

意義的建構與理解不僅需要關注語言，還需要考慮符號的復雜性以及參與整體意義建構的其他符號資源，考慮多種符號間的協同作用。社會符號學關注符號自身的特征，認為意義的建構需要多種符號的協同作用，尋求語言與圖像等多種符號的整體理解方式，從而成為多模態話語的重要理論基礎。Kress和van Leeuwen率先把韓禮德的理論運用于多模態話語分析，認為圖像符號與語言符號一樣也是常見的社會符號。(Kress，van Leeuwen 1996:1)圖像等視覺符號與語言符號一樣具有概念、人際和語篇3種功能(同上:40)，具有形成語篇或符號整體的功能，所形成的語篇既有內在連貫性，又與外部語境相聯系。因此，話語的建構與理解須要打破語言和圖像間的局限，考慮多模態語篇構成的整體，須要將各模態的表達意義、指向意義和篇章意義結合起來(Lemke 1998:87)。

從20世紀90年代開始，該領域的部分學者以此為基礎對各符號之間的關系開展研究。Lemke 提出語言語義模式的語義系統或許也可用來整合語言與視覺圖像之間的意義關系(Lemke 1998:87)；Royce運用韓禮德 (1985/1994)的元功能模型、Kress和van Leeuwen(1996)的布局系統對廣告中的圖文關系進行探討 (Royce 1998:25)。Bateman 則通過對傳統的紙質報紙和網絡電子報紙首頁的布局設計及其在生產和傳播過程中所呈現的不同特征進行分析，從類型學的角度提出圖文關系研究中需要注意的問題。(Royce, Bowcher 2007:147) 話語類型通過為話語提供隱性意義結構，將圖文布局與社會活動連接起來，影響并制約著二者在模態選擇和布局設計等方面的特征與策略。圖文關系的確立與話語類型關系密切，后者是決定二者關系的重要因素。Lemke發現，雖然從理論上講所有的模態都是平等的，但在實際運用中，由于各自的特征及其在具體交際情景中所起的作用不同，一些模態會在更大程度上增加或減少由其他模態所表達的信息。(Lemke 1998:87) 語言更適用于表達序列關系、各類別之間的區別等，圖像更適用于表達空間關系，以及程度、等級、持續或動態變化等。不過，在具體交際情景中，語言和圖像的作用并不局限于以上的“特殊功能”，特別是隨著圖像在各種文本中的頻繁使用，其功能有可能成為這兩種模態互補關系的特征(Martinec, Salway 2005:351)。目前，該領域的進展主要集中在以下幾個方面：

2.21 語法關系與圖文關系

在特定的社會文化領域，意義通常可由不同的符號來表達，共同的符號原則能在不同交際模式中起作用。系統功能語言學的學者以韓禮德對語言的研究為基礎向外延伸，認為其語言研究成果同樣適用于圖像等其他交際符號。將其邏輯語義關系(Halliday 1985:306-307)延伸到話語單位(Martin 1994:29)和圖文之間的關系上。又在該基礎上增加地位關系(Martinec, Salway 2005:351)，還將巴爾特的互補關系考慮在內，認為圖像和文本互相依賴、互相依存。并因此將圖文的語義關系分為兩個子系統，即地位系統和邏輯語義系統；將平等關系進一步分為獨立和互補兩種關系，獨立關系中地位平等；互補關系中互相修飾，共同構成更大的語段。相互獨立時，其信息處于平行狀態，各自形成獨立過程。與小句中的從屬關系一樣，圖像與語言有主輔之分。

2.22 圖文之間的地位關系

圖像與語言之間的關聯是通過成分之間的銜接實現的，從而將圖像和語言中參與者、過程和情景聯系在一起。二者互補時，它們共同構成一個大的語段，多數情況下，它們共同參與意義的建構，特別是在單靠語言不能表達清楚，需要二者協同作用時，這種情況尤為常見。在語言與圖像之間的地位關系中，平等關系中語言與圖像相互獨立、互相補充；不平等關系中圖像從屬于語言，或者語言從屬于圖像。韓禮德的術語“闡述”也被用于說明圖文之間的邏輯語義關系，解釋、延伸和強化均可用來表達圖文關系。(韓禮德 1994:226) 解釋可分為說明和舉例；延伸指語言與圖像中的一種模態增加新的相關信息；強化指增加時間、地點、原因等新信息(Martinec, Salway 2005:360)。

2.23 圖文之間的多種關系

各模態之間在話語過程中具有多種關系，它們互相增效、協調一致，服務于整體意義的建構，其整體意義大于任何單一模態的意義。語言與圖像之間在概念意義上存在一致、互補和連接等多種關系。這里的一致關系與Lemke 的多模態話語的意義多重性一致(Lemke 2002:301)，是各符號系統的意義功能結合的必然結果，它包括不同模態之間的重復、展示和例證：重復并不是各模態之間的簡單重復，而是通過另一模態的介入在原有的基礎上增加新的信息；展示指圖像與語篇處于同一級別時的意義建構關系(Martinec, Salway 2005:350)；例證則指語言說明一般情況，圖像表示其中的一種情況、一個例子，或者提供追加、額外信息。概念功能中的互補關系主要指各模態之間所表達的意義有所不同而呈現出的互相補充、增效，產生比任一模態以及各模態構成的整體更大的效果(Royce 1998:25-50)。偶爾也會出現概念的背離性，即語言與圖像表達的內容呈相反關系。連接關系有兩種表現形式，第一種是凸顯，主要指引用或報告別人的話語或想法；第二種是時間、地點、原因等的連接關系，如文本敘述，圖像表明原因等(Martinec, Salway 2005:337-71)。

2.24 圖文關系中的評價立場

語言與圖像互相配合，共同建構人際意義和評價立場。近期關于圖文關系的人際意義研究雖然關注各模態間的相互作用，但研究重點主要在多模態話語中評價立場的建構上。認為圖像與意象相似，旨在激起讀者的評價反應，其主要作用是協同語言表達態度(包括情感、判斷和欣賞)，二者之間的關系更傾向于表達評價，而不是語氣或情態。(Martin 2002:311)通過在表達過程中對圖文的呈現形式進行精心設計，以預示或揭示語言所表達的價值立場。就篇章意義而言，語言作為視覺成分，可以對圖像的不同部分予以強調或凸顯，圖像也能以不同的呈現形式突出語言表達的內容。通過調整圖像和語言在屏幕上、語篇中的視覺效果，影響讀者的觀點和觀眾的視覺效果(Jewitt 2002:171)。就篇章關系而言，布局特征是建構和理解意義、確立作者立場至關重要的因素(Macken 2003:283)。在對圖像的理解中，特別是在機構話語情境中，人們時常忽視人際意義和篇章布局，只關注概念意義(Lemke 2002:301)。

2.3 互動社會語言學、認知語言學對圖文關系的研究

話語研究不僅要考慮語言，更多地還要考慮語言在互動過程中的作用，以及互動過程中的其他因素。雖然在語言與其他各模態間的關系研究中，學者們關注較多的是語言與圖像，但是在社會符號學之外，對語言與其他模態之間的關系、對各模態間如何形成連貫的、有意義的整體以及各模態在意義建構中的作用、對互動性話語的研究也正在引起重視。特別是以互動社會語言學、認知語言學為理論基礎發展而來的多模態話語理論為多模態話語及其之間的關系研究提供支持。

互動社會語言學將語言看成社會行為，認為互動過程中的參與者一般都同時做多件事情，只有在極少數情況下，參與者才會聚焦于單一事件或媒介上(Scollon 1998:116 )。一部電影、一幕街景同時具有多種代碼，并使用多種交際渠道，構成具有整體意義的文化現象(格雷馬斯 2009:43)。因此，話語研究應采取多模態的研究方法，將話語融入人們的行為進行分析，探討話語和行為構成的整體(Norris 2004a:5)。盡管交際情境中的模態難以計數，但各模態間的關系取決于具體的交際情景，其間不存在內在的等級關系。就具體情況而言，當某一模態特別適合某種情景且在當前具有突出地位時，其他模態便處于輔助地位；當各模態間的關系復雜且沒有一種更突出的模態時，特別是當多種不同的模態同時表達一種信息時，各模態之間協同作用，共同為實現交際目標服務。參與交際的模態數量并不重要，重要的是互相聯系的各模態間的關系或某一模態或某幾個模態的密度及其在交際過程中所起的作用。(Norris 2004b:196)

話語行為是對多個符號系統選擇的過程，非語言符號對于建構和理解空間中的話語起著重要的作用。該領域以互動社會語言學、語言人類學和社會心理學等學科為基礎提出包括3個子系統(交互秩序、視覺符號和地理符號)的地理符號學，探索各種符號與其空間位置以及符號使用者行為的關系，研究人類同周圍存在的各種符號體系之間的互動(Scollon, Scollon 2003:3)；關注城市空間中的多模態話語分析及個體在公共空間中的行為定位等。Ornberg通過對三維語音聊天的多模態研究，認為聲音符號在交際平臺上具有很高的模態密度。在內容層面，有聲語言引入話題，具有澄清、修正、重復、解釋、強調、反饋等作用，如聲調和停頓的強調作用、韻律和超語言符號提供的反饋信息等。(Ornberg 2006:1) 在結構層面，與聲音相關的各模態均可用作銜接手段。在語境層面，既傳達會話特點與風格，又是會話者身份的組成部分。姿勢、表情、眼神等也具有提供反饋信息、表明態度及對對方的關注程度等作用。

認知語言學學者則提出關聯理論不局限于言語交際，也適用于非言語的、多模態的話語研究。并在概念隱喻的基礎上提出圖像隱喻理論和多模態隱喻理論(Forceville 1996:334)，運用認知理論，尤其是概念隱喻理論研究多模態話語及各模態間的關系。其中，Yus和Zbikowski等對視覺隱喻與語言隱喻，對詞語、手勢等不同形式的隱喻在口語表達中的運用，以及對音樂、語言與多模態隱喻之間的關系的研究皆屬于這一領域。(Forceville 2009:145)

3　結束語

隨著現代社會“圖像轉向”在“語言轉向”的背景中的崛起及圖文關系的凸顯，以及后現代社會語境中圖像所呈現出的越來越明顯的獨立性、自足性，在圖像與文字語篇不分上下，圖像可以直接用于交流的時代，人們對語言與圖像之間關系的研究已經跨越長期以來爭論不休的孰重孰輕、孰優孰劣的藩籬，圖像、圖文關系正引起更多的關注。以系統功能語言學為理論基礎的學者深入到圖文之間比較細致的“語法”關系中，將語言系統的研究成果如小句之間的關系拓展到話語單位之間、圖文之間關系的研究中。對圖文間的地位關系，一致、互補與連接關系，以及人際意義中的評價立場等展開研究。學者們對符號資源多層次的協同作用的認識與研究，對交際過程中的其他因素如空間位置、聊天平臺上聲音符號的關注等不僅為意義和話語的研究提出新的課題，同時也開啟新的窗口、注入新的活力。

目前的研究，不管是索緒爾和巴爾特，還是系統功能語言學、互動社會語言學以及認知語言學的相關研究大都是以語言為基礎，或者以語言為參照展開，即便是對繪畫等明顯以圖像為主的藝術研究，多數研究者也是深受先入為主的“語言霸權”的影響，就連“圖像轉向”一詞也肇起于“語言轉向”，以此為基礎對圖文關系的探討難免會從語言的視角出發去審視圖像及其之間的關系，其研究結論也會有偏頗，甚至在一定程度上掩蓋符號的本質。因此，我們須要站在更高的平臺上，跨越“語言中心主義”的藩籬，將語言、圖像等看成人類多種交際符號中的平等對象，既正視各模態的區別，探討其符號本質，重視其聯系，又不忽視交際過程中人的主體性和主動性，只有這樣，才有可能更接近其本質，真正朝著揭示各模態之間的關系邁進一步。

在處理多模態間的關系時，我們應該認識到“所有的感覺表達媒介都在發生相互滲透，盡管每一種表達媒介在依靠自身最獨特的性質時發揮得最好，它們又都可以通過與自己的鄰者偶然連袂為自己灌注新的活力”(阿恩海姆 1994:119)。因為只有當“內容和完全適合內容的形式達到獨立完整的統一，因而形成一種自由的整體，這就是藝術的中心”(黑格爾1979:157)，這應該也是現代社會中以不同媒介為載體的多模態話語中各模態間關系的最佳境界。

阿恩海姆. 語言、形象與具體詩[A]. 藝術心理學新論[C]. 北京: 商務印書館, 1994.

阿恩海姆. 藝術與視知覺[M]. 成都: 四川人民出版社, 1998.

艾爾雅維茨. 圖像時代[M]. 長春: 吉林人民出版社, 2003.

巴爾特·羅蘭. 符號學原理[M]. 北京: 三聯書店, 1999.

貝爾. 資本主義文化的矛盾[M].南京：江蘇人民出版社, 1989.

柏拉圖. 理想國[M]. 北京: 商務印書館, 1986.

陳力丹王亦高. 論圖文關系的歷史變遷——以柏拉圖式的圖文觀為先導[J]. 現代傳播, 2008(4).

代樹蘭. 多模態話語研究的緣起與進展[J]. 外語學刊, 2013 (2).

格雷馬斯. 符號學與社會科學[M]. 天津: 百花文藝出版社, 2009.

貢布里希. 視覺圖像在信息交流中的地位[A]. 貢布里希論設計[C]. 長沙: 湖南科技出版社, 2001.

海德格爾. 世界圖像時代[A]. 海德格爾選集[C]. 上海: 三聯書店, 1996.

黑格爾. 美學(第三卷上卷)[M]. 北京:商務印書館, 1979.

李彥鋒. 中國繪畫史中的語圖關系研究[D].上海大學博士學位論文, 2010.

米歇爾. 圖像理論[M]. 北京: 北京大學出版社, 2006.

倪梁康. 圖像意識的現象學[J]. 南京大學學報, 2001(1).

潘諾夫斯基. 視覺藝術的含義[M]. 沈陽:遼寧人民出版社, 1987.

彭亞非. 圖像社會與文學的未來[J]. 文學評論, 2003(5).

維特根斯坦. 哲學研究[M]. 上海: 上海世紀出版(集團)有限公司, 2001.

亞里士多德. 形而上學[M]. 北京: 商務印書館, 1983.

葉起昌. 論后印刷時代話語中圖像與文字的關系[J]. 北京交通大學學報(社會科學版), 2005 (4).

尹德輝. 新世紀以來國內“圖像”研究述評[J]. 文藝爭鳴, 2010(10).

周憲. “讀圖時代”的圖文“戰爭”[J]. 文學評論, 2005(6).

Anthonissen, C. Interaction Between Visual and Verbal Communication: Changing Patterns in the Printed Media[A]. In: Weiss, G., Wodak, R.(Eds.),CriticalDiscourseAnalysis:TheoryandInterdisciplinarity[C]. New York: Palgrave Macmillan Ltd., 2003.

Barthes, R.ElementsofSemiology[M]. New York: Hill and Wang, 1973.

Barthes, R.Image,Music,Text[M]. London: Fontana, 1977.

Barthes, R. The Photographic Message[A]. In: Susan, S.(Ed.),ABarthesReader[C]. New York: Hill and Wang, 1982.

Baudrillard, J.Simulations[M]. New York: Semiotext(e), Inc., 1983.

Debord, G.TheSocietyoftheSpectacle[M]. New York: Zone Books, 1994.

Forceville, C.PictorialMetaphorinAdvertising[M]. London: Routledge, 1996.

Forceville, C., Urios-Aparisi, E.MultimodalMetaphor[M]. Berlin: Mouton de Gruyter, 2009.

Halliday, M.A.K.AnIntroductiontoFunctionalGrammar[M]. London: Arnold, 1985/1994.

Jewitt, C. The Move from Page to Screen: The Multimodal Reshaping of School English[J].VisualCommunication, 2002(2).

Kress, G., van Leeuwen, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge, 1996.

Kress, G., van Leeuwen, T.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Edward Arnold, 2001.

Lemke, J.L. Multiplying Meaning: Visual and Verbal Se-miotics in Scientific Text[A]. In: Martin, J.R., Veel, R.(Eds.),ReadingScience:CriticalandFunctionalPerspectivesonDiscoursesofScience[C]. London: Routledge, 1998.

Lemke, J.L. Travels in Hypermodality[J].VisualCommunication, 2002(3).

Macken-Horarik, M. Working the Borders in Racist Discourse: The Challenge of the “Children Overboard Affair” in News Media Texts[J].SocialSemiotics, 2003(3).

Martin, J.R. Macro-genres: The Ecology of the Page[J].Network, 1994(21).

Martin, J. Fair Trade: Negotiating Meaning in Multimodal Texts[A]. In: Coppock, P.(Ed.),TheSemioticsofWriting:TransdisciplinaryPerspectivesontheTechnologyofWriting[C]. Begijnhof: Brepols & Indiana University Press, 2002.

Martinec, R., Salway, A. A System for Image-text Relations in New(and Old)Media[J].VisualCommunication, 2005(3).

Michel, de C.ThePracticeofEverydayLife[M]. Berkeley and Los Angeles: University of California Press, 1984.

Mirzoeff, N.TheVisualReader[M]. London: Routledge, 1998.

Mitchell, W.J.T.PictureTheory[M]. Chicago: Chicago University Press, 1994.

Norris, S.AnalyzingMultimodalInteraction:AMethodologicalFramework[M]. London: Routledge, 2004a.

Norris, S. Multimodal Discourse Analysis: A Conceptual Framework[A]. In: LeVine, P., Scollon, R.(Eds.),DiscourseandTechnology:MultimodalDiscourseAnalysis[C]. Washington: Georgetown University Press, 2004b.

Ornberg, T. Multimodality in a Three-dimensional Voice Chat[P]. Multimodal Communication: Proceedings from the Second Nordic Conference on Multimodal Communication, 2006.

Royce, T. Synergy on the Page: Exploring Intersemiotic Complementarity in Page-based Multimodal Text[P]. Japan Association Systemic Functional Linguistics Occasional Papers, 1998(1).

Royce, T.D., Bowcher, W.L.NewDirectionsintheAnalysisofMultimodalDiscourse[M]. Mahwah: Lawrence Erlbaum Associates, 2007.

Scollon, R.MediatedDiscourseasSocialInteraction[M]. London: Longman, 1998.

Scollon, R., Scollon, W.DiscourseinPlace:LanguageintheMaterialWorld[M]. London: Routledge, 2003.

Wittgenstein, L.TheBlueandBrownBooks[M]. New York: Harper, 1958.