跨媒介創作中的語圖關系探析

范玉剛 譚吉瑞

在中外藝術史上，不同藝術門類之間總是相互借鑒、轉換、融合，即進行從一種媒介到另一種媒介的跨媒介創作，這是一個十分古老的藝術現象。如今，隨著互聯網、數字技術的普及，跨媒介創作又成為當下的一個社會熱點，也是學界的關注點之一。在所有跨媒介的案例中，最有代表性的就是語言和圖像之間的跨媒介，以往對跨媒介創作中語圖關系的研究主要集中在接受層面和文本層面，前者如圖勝于文、語重圖輕、圖文合力、語圖互文等，后者如語圖一體、語圖分體、語圖合體等，對創作層面的語圖關系關注度不夠，而這恰恰是跨媒介創作中最基礎的層面，而且很多研究沒有明確區分語言和圖像在這三個層面上的關系，導致對語圖關系的界定比較混亂。事實上，只有明晰語圖跨媒介創作中的發生機制和創作規律，我們才能更好地理解和把握這一藝術現象。

一、跨媒介：一種藝術現象及研究范式

媒介是藝術中最為基礎和關鍵的要素，因為任何藝術作品都是物性的存在，那些只停留在藝術家頭腦中的東西并不能稱之為藝術作品，而將藝術家的“胸中之竹”轉化為“眼中之竹”的重要一步就是藝術媒介。海德格爾就曾指出：“一切藝術品都有這種物的特性……在藝術品中，物的因素如此牢固地現身，使我們不得不反過來說，建筑藝術存在于石頭中，木刻存在于木頭中，繪畫存在于色彩中，語言作品存在于音響中。”①杜威還指出藝術創作就是對已有的物質媒材進行重新創作的過程：“藝術表示一個做或造的過程。對于美的藝術和對于技術的藝術，都是如此。藝術包括制陶、鑿大理石、澆鑄青銅器、刷顏色、建房子、唱歌、奏樂器、在臺上演一個角色、和著節拍跳舞。每一種藝術都以某種物質材料，以身體或身體外的某物，使用或不使用工具，來做某事，從而制作出某件可見、可聽或可觸摸的東西。”②在格林伯格那里，媒介受到了極大的重視，甚至形成了“媒介即藝術”的命題，他認為每一種藝術能夠自成一個獨立的領域是由其媒介特性決定的，現代主義藝術都在追求自身媒介的純粹性和獨一無二性，例如以馬奈為代表的現代主義繪畫追求二維平面性③。關于藝術媒介是什么的問題，張晶教授認為藝術媒介是憑借特定的物質材料并以一定的形式形成的符號體系，是材料與形式的綜合，但絕非兩者的簡單相加④。周計武教授則認為藝術媒介至少應該包含三個具體的向度，即物質媒介（文字、黏土、青銅、大理石、畫布、膠片、屏幕）、符號媒介（韻律、色調、線條、布局、造型）和傳播媒介（紙張、書籍、電臺、電視、計算機網絡），它們分別對應于藝術的質料、形式和載體⑤。應當說，后者的總結更為清晰和全面。

跨媒介作為一種藝術現象，在古代東西方就已經出現，如中國的“詩樂舞一體”“書畫同源”，西方的詩畫為“姊妹藝術”“藝格敷詞”（ekphrasis）等，但跨媒介（intermedia）卻是一個相當晚近的概念。這一概念最初出現在美國激浪派藝術家希金斯寫于1966年的《跨媒介》一文中，到了80年代以后，跨媒介研究逐漸成為語言學、傳播學、人類學、藝術學等人文社會科學領域的熱點，因為學科的駁雜，學界對這一概念始終沒有統一的權威界說，不過其核心內涵應是不同媒介間的跨越。對此，周計武教授總結道：跨媒介強調位于兩種媒介之間，強調的是媒介的居間性；跨媒介相對于純媒介而言，旨在打破專有的、不平等的純媒介藝術觀；跨媒介涉及兩種或兩種以上藝術媒介特性及其藝術觀念之間的移植、轉換、交互、融合⑥。跨媒介是藝術史上的常見現象，至于跨媒介創作的動因，錢鐘書先生給出了很好的解釋：“一切藝術，要用材料作為表現的媒介。材料固有的性質，一方面可資利用，給表現以便宜，而同時也發生障礙，予表現以限制。于是藝術家總想超過這種限制，不受材料的束縛，強使材料去表現它性質所不容許表現的境界。”⑦可以說，跨媒介是所有藝術的一種重要生成機制和創作規律，正是跨媒介打破了各門類藝術間的壁壘，促進了藝術的發展。

跨媒介研究作為一種研究范式隨著跨媒介現象的出現和發展而逐漸成熟，受到許多學者的關注和重視。分析美學家卡羅爾從反對格林伯格的“媒介特殊性理論”出發，通過對各門類藝術的研究揭示了媒介特殊性能夠支撐各門藝術合法性地位的局限，并提出要摒棄單一媒介，接受多媒介、綜合媒介或跨媒介交互與融合，他的藝術哲學研究顯示了跨媒介研究范式的優越性。周憲教授曾總結了五種藝術門類交互關系的研究范式：“姊妹藝術”研究、歷史考察模式、美學中的藝術類型學、來自比較文學的比較藝術或跨藝術研究、跨媒介研究⑧。以上五種范式中最為接近的是后兩者，也是本文討論的重點，但跨媒介研究范式克服了比較藝術研究范式存在的語言中心論和文學中心論，是最有價值和發展前景的研究范式。另外，他還指出跨媒介研究具有鮮明的時代品格，20世紀末以來，隨著互聯網、數字技術等的發展，誕生了許多跨媒介藝術或綜合媒介藝術，例如漫畫、網絡視頻、數碼電影等，對它們的研究往往囿于對它們藝術身份的確認而停滯不前，但跨媒介研究都將它們納入了藝術研究的范疇，能夠對當下的藝術現象做出及時的回應。以語圖跨媒介研究為例，這一研究范式能夠以去中心化的邏輯規避圖勝于文、語重圖輕等一些無意義的情緒論調和價值判斷，最重要的是其可以適應當下的現狀，對“文學遭遇圖像”做出恰當的回應。

二、跨媒介中的語圖轉換

在語言和圖像的跨媒介創作中，兩者是如何實現“跨”的？或者說語言和圖像在創作層面上究竟是什么關系？對于這個問題，不同的學者在具體的研究中有不同的看法，例如語言和圖像之間相互借鑒、模仿、參照、指涉、融通、演繹、改編、衍生等，這些歸結起來大致可以分為語言和圖像在形式上和內容上的關系兩大類，前者以“出位之思”為代表，后者以“語圖互仿”為代表。但無論是哪種語圖關系，都可以稱之為“語圖轉換”，其強調語言和圖像兩者之間的轉換關系，既涉及形式也涉及內容。

“出位之思”源于德語詞匯Andersstreben，作為一個美學概念，指的是一種媒介超越其本身的表現領域而躍入另一種媒介的表現領域，錢鐘書在《中國詩與中國畫》中將其譯為“出位之思”，并以中國詩和中國畫為例論述了他對語言和圖像兩種媒介的認識，葉維廉在《“出位之思”：媒體及超媒體的美學》一文中也對此進行了專門的探討。語言和圖像之間的“出位之思”表現為語言向圖像的跨媒介以及圖像向語言的跨媒介，語言是在時間進程中表情達意的，但很多語言作品卻追求圖像所特有的空間形式，如龍迪勇教授指出普魯斯特的《追憶似水年華》在結構上顯現出一種大教堂般的空間形式⑨。還有的語言作品嘗試像圖像那樣帶給人視覺感受，讓作品由“可讀”變為“可視”，如一些先鋒小說會對文字進行特殊的排版以引起讀者的視覺注意，最典型的莫過于“藝格敷詞”，其根源于古希臘的修辭學傳統，通過“以文述圖”讓人感到形象的視覺效果，例如《伊利亞特》對阿喀琉斯盾牌的描述、濟慈的《希臘古甕頌》等。而圖像是在空間中呈現視覺形象的，但很多圖像作品卻試圖像語言那樣在時間中延展，例如中國古代繪畫經常以手卷的形式進行裝裱，手卷從右到左徐徐展開，畫面也隨著時間的流逝逐漸顯現，手卷這一特殊的形式將時間維度引入到繪畫中，再如沃爾特·佩特稱贊喬爾喬內的“繪畫詩”能夠展現時間的流逝，蘊含了時間維度⑩。還有的圖像作品不安于描繪視覺形象，而是追求語言的表意優勢，錢鐘書就曾指出中國古代繪畫不用顏色和線條表現形象，反而追求像詩歌那樣抒情達意，營造出詩意的效果，結果走向了寫意的道路，變得與詩歌越來越接近，所以，蘇軾才在《書鄢陵王主簿所畫折枝二首》中說：“詩畫本一律，天工與清新。”在“出位之思”中，語言和圖像的相互轉換主要發生在形式層面，語言和圖像各自追求的是對方的形式特性及由形式所決定的美學效果，對此，龍迪勇教授就認為：“所謂‘出位之思’之‘出位’，即表示某些文藝作品及其構成媒介超越其自身特有的天性或局限，去追求他種文藝作品在形式方面的特性。”11而且這里說的語圖轉換并不著眼于具體的單個的語言和圖像作品，而是立足于語言和圖像兩種抽象的媒介，所以說，“出位之思”是形式意義上的語圖轉換。

“語圖互仿”是趙憲章教授在《文學圖像論》中提出的一個重要概念，該概念誕生于他對中國古代語圖關系史的論述中。以文字的出現、紙張的普及和印刷術的發明為標志，他將中國語圖關系史分為三個階段：文字出現之前的以圖言說為特點的語圖一體、文字出現之后至宋元時期的以語圖互仿為特點的語圖分體、宋元之后以語圖互文為特點的語圖合體。“語圖互仿”就是指在語圖分體時代語言和圖像的關系為二者互相模仿12，例如蘇軾所作的《惠崇春江晚景二首》是對惠崇所畫的《春江晚景》鴨戲圖和飛雁圖的模仿，屬于語言對圖像的模仿，而顧愷之的《洛神賦圖》是對曹植《洛神賦》的模仿，屬于圖像對語言的模仿。此外，趙教授還指出“語圖互仿”存在非對稱性的態勢，即圖像對于語言的模仿是“順勢”，而語言對于圖像的模仿則是“逆勢”13。如果從跨媒介創作的角度來看，這種非對稱性態勢與語言和圖像在歷史上的地位有關，周憲教授通過考察三個關于拉奧孔的經典文本梳理出文學在西方文藝史上由中心走向與其他藝術平等的進路，同時指出：“在各門藝術組成的古代系統和現代系統中，文學從來都扮演‘老大’角色，獨領風騷于其他藝術之上。”14而中國古代有很強的崇文抑畫傳統，趙憲章教授認為在“備物致用”的古代社會，“崇文抑畫”是普遍的價值判斷，并通過分析王充的《論衡》指出他的圖像“空器”說15，龍迪勇教授也認為王充所宣揚的圖像無用論在中國古代歷史上一直占據上風16。所以說，語言相對于圖像來說一直處于較高地位，這是中外文藝史上一直存在的“語言中心主義”。因為語言處于高位，所以在“語圖互仿”中語言總是容易成為圖像模仿的范本，而語言則很少模仿處于低位的圖像17，應當說，這條模仿律在所有的跨媒介創作中都存在，并非為語圖跨媒介所獨有。總之，“語圖互仿”同樣是強調跨媒介創作中語言和圖像兩者的相互轉換，但與“出位之思”不同的是，“語圖互仿”針對的是具體的單個的語言和圖像作品，嚴格來說，這種語言和圖像作品之間的模仿是不同作品之間的相互改編，而且此模仿只限于作品的內容層面，即在主題、人物、情節、故事、背景等方面進行模仿，所以說，“語圖互仿”是內容意義上的語圖轉換。

通過分析“出位之思”和“語圖互仿”，我們對語圖轉換的發生機制和創作規律有了更為深入的認識，需要指明的是，語圖轉換強調的是語言和圖像在創作層面上的關系，并不關注存在語圖轉換關系的語言或圖像的文本形態是否是語圖合體，也不關注其接受效果，例如小說插圖與小說共處于一個文本，該文本是語圖合體，在接受效果上可能呈現出語圖互文，但插圖與小說在創作層面上的關系是語圖轉換。此外，語圖轉換主要是傳統媒介時代的語圖關系，語言為自然語言，圖像是靜態圖像，正如趙憲章教授所說“語圖互仿”是關于語圖關系的靜態分析，尚未涉及語言和圖像在數字媒介時代的體態18。但是，隨著互聯網、數字技術的普及，數字媒介下的語言和圖像關系已經發生了改變，這就要另當別論了。

三、跨媒介中的語圖生成

20世紀末期以來，科學技術的發展對作為人類兩大表意符號的語言和圖像產生了前所未有的影響，語言和圖像都逐漸被數字化，發生了變異，語言由自然語言轉變為虛擬語言、機器語言、仿真語言19，圖像也由傳統的手繪圖像轉變為機繪圖像和數繪圖像20，由靜態走向了動態。另外，計算機制圖、數碼影視、網絡游戲、虛擬現實、自媒體、“大數據”、“云計算”等新興的技術促進了媒介間的跨越和融合，催生了許多跨媒介或綜合媒介藝術，雖然在數字媒介下的綜合媒介藝術容納了多種媒介，但我們依然可以從這些復雜的綜合體中廓清語言和圖像兩者在創作層面上的關系，即語言和圖像相互生成，我們稱之為“語圖生成”。

與語圖轉換相比，語圖生成中的語言和圖像關系更為密切，如果說存在語圖轉換關系的雙方還能被清楚地加以區分，那么在語圖生成中則很難為語言和圖像畫出一條明確的分界線，因為數字媒介下的語言和圖像本質上都是二進制數字“0”和“1”，各自的媒介特性并不明顯，如果從藝術媒介的三個向度來看，它們只存在符號媒介上的差異，物質媒介和傳播媒介都是相同的。所以說，數字媒介下的語言和圖像在本體論意義上都是相同的。對此，鮑遠福從文本表意的角度指出數字媒介下的語言和圖像存在“語圖間性”，他認為：“語言文本和圖像文本彼此纏繞互動，語言符號和圖像符號交互共生，共同作用于這些聚合型文本的動態語義場，并在表意實踐中實現對單純的語言文本和圖像文本的雙重超越。”21由此可見，數字媒介下的語言和圖像并不是相互獨立的，而是互相生成，甚至可以由語言生成圖像，再由圖像生成語言，如此循環以至無窮，形成所謂的“語圖漩渦”。在語言和圖像的不斷生成中，沒有確定的源本或摹本，只有由“0”和“1”構成的沒有邊界的虛擬數據網絡。

為了深入探究數字媒介下語圖生成的內在機制和創作規律，本文將以語圖生成的代表性案例為重點進行考察。首先，我們從數碼影視中的彈幕談起。彈幕是當下十分流行的觀影新模式，是視頻觀看者對視頻的及時評論，也是觀看者與視頻制作者和其他觀看者的實時互動，具有極強的對話性質。彈幕雖然以語言為主，但也有許多Emoji表情包，很多特效彈幕還能形成奇特的視覺效果，轉化為可視的圖像。對于整個視頻來說，彈幕如同視頻的一個重要部分內嵌于視頻之中，形成獨特的“彈幕電影”。彈幕由視頻生成，而視頻反過來也由彈幕生成，彼此共生，不能獨立，一旦視頻結束，彈幕也隨之消失。其次，我們再談一下網絡游戲。網絡游戲依托互聯網和數字媒介，能讓游戲用戶通過屏幕進行人機和人人互動，其中包含大量的語言和圖像。自然語言一旦被改編成網絡游戲后，就成為支撐游戲運行的程序語言和故事腳本并隱藏在屏幕之后，與此同時，圖像也通過后臺編碼和超鏈接等技術由程序語言生成。在游戲中，玩家又可以根據屏幕上的圖像并通過對話框、菜單欄等介質與人、機進行實時對話，這種對話可以是語音也可以是文字，于是語言就由圖像生成，這個語圖生成的過程將隨著游戲結束而終止。因為玩家的個性化參與，網絡游戲的語言和圖像千變萬化，表現出極強的“生成性”。最后，讓我們考察一下“超文本文學”。“超文本文學”是文學與互聯網、數字技術的產物，是由比特編碼產生的電子文本，在文本內部有許多“非平面印刷成分”，包括圖像、音頻、視頻等，它們通過超鏈接技術相鏈接。在“超文本文學”中，語言和圖像統一歸于超鏈接邏輯，可以說，超鏈接溝通起了語言和圖像，正如黃鳴奮教授所說：“超鏈接是超文本的特色所在。它本質上是兩個或者更多文本單位之間的聯系，允許讀者從這一文本單位跨越到另一個文本單位。”22對于作者來說，“超文本文學”的創作與普通的文學創作有很大的不同，需要借助專門的寫作軟件，例如HyperCard、Flash、Oracle Media Objects等，當他們在創作時，與其說是在寫字或畫畫，不如說是通過編碼讓語言和圖像互相生成，從而完成整個作品的創作。因此，語言和圖像在創作層面上呈現為語圖生成的關系。

由互聯網和數字技術催生出來的跨媒介或綜合媒介藝術的各個媒介之間存在十分復雜的關系，尤其是語言和圖像，它們之間的關系更是“剪不斷，理還亂”，但通過剖析，我們也可以厘清語言和圖像在創作層面上的關系，即語言和圖像互相生成，語圖生成立足于互聯網和數字技術的特殊性，能夠很好地揭示跨媒介創作中的語圖關系。

四、結語

語言和圖像作為人類兩大表意性符號，二者之間一直存在比較復雜的關系，尤其是在跨媒介創作中，語言和圖像的關系更為復雜。本文采用跨媒介研究視角，通過詳細考察，分析闡釋了跨媒介創作中語言和圖像在創作層面的關系，即語圖轉換和語圖生成，前者主要是針對傳統媒介時代，后者則立足當下的數字媒介時代。值得注意的是，目前對語言和圖像在文本和接受層面上的關系的區分研究還不夠清晰，尤其是隨著互聯網和數字技術的發展，跨媒介或綜合媒介藝術將更為復雜多變，語圖關系的迭代變化有待進一步深入研究。

【注釋】

①海德格爾：《藝術作品的本源》，載《詩·語言·思》，彭富春譯，文化藝術出版社，1991，第23頁。

②杜威：《藝術即經驗》，高建平譯，商務印書館，2007，第50頁。

③克萊門特·格林伯格：《現代主義繪畫》，秦兆凱譯，《美術觀察》2007年第7期。

④張晶：《藝術媒介：材料與形式》，《現代傳播（中國傳媒大學學報）》2023年第1期。

⑤⑥周計武：《藝術的跨媒介性與藝術學理論的跨媒介建構》，《江海學刊》2020年第2期。

⑦錢鐘書：《中國詩與中國畫》，《國師季刊》1940年第6期。

⑧周憲：《藝術跨媒介性與藝術統一性——藝術理論學科知識建構的方法論》，《文藝研究》2019年第12期。

⑨龍迪勇：《“出位之思”與跨媒介敘事》，《文藝理論研究》2019年第3期。

⑩沃爾特·佩特：《文藝復興：藝術與詩的研究》，張巖冰譯，廣西師范大學出版社，2000，第162頁。

11龍迪勇：《空間敘事本質上是一種跨媒介敘事》，《河北學刊》2016年第6期。

121318趙憲章：《文學圖像論》，商務印書館，2022，第32-35、49、35-36頁。

14三個經典文本分別是萊辛的《拉奧孔》、白璧德的《新拉奧孔》以及格林伯格的《走向更新的拉奧孔》，萊辛秉持一種文學優越論，白璧德則持音樂至上說，而格林伯格更偏向繪畫主導論。可參閱周憲：《說不盡的“拉奧孔”——文學與其他藝術關系史的一個考察》，《中國比較文學》2020年第3期。

15趙憲章：《哲學史上的“空器/空洞”說與題畫文學之可能》，《文化藝術研究》2022年第4期。

16龍迪勇：《圖像與文字的符號特性及其在敘事活動中的相互模仿》，《江西社會科學》2010年第11期。

17龍迪勇教授通過引用法國社會學家塔爾德在《模仿律》中對作為社會行為的模仿進行分析得出的“模仿律”：從內心到外表的模仿；從高位到低位的模仿，來論述圖像敘事對語詞敘事的模仿是低位向高位的模仿，是符合模仿律的。可參閱龍迪勇：《模仿律與跨媒介敘事——試論圖像敘事對語詞敘事的模仿》，《學術論壇》2017年第2期。

19虛擬語言直接由計算機軟件所生成，機器語言是利用聲音軟件合成的，仿真語言由移動終端或網絡中的虛擬角色發出。可參閱鮑遠福：《新媒體文藝的跨媒介表意與傳播范式研究》，《江蘇大學學報（社會科學版）》2019年第5期。

20手繪圖像、機繪圖像、數繪圖像是趙憲章教授提出的用以區分傳統媒介時代和數字媒介時代圖像的三個概念。具體而言，手繪圖像是純粹手工繪制的圖像，機繪圖像是機械手段批量制作的圖像，數繪圖像則是由計算機軟件自動生成的圖像。

21“間性”（inter-sexuality）原是一個生物學術語，指生物個體的“雌雄同體性”（hermaph-rodism），是對不同性狀和特質的兩種對象交互性關系的一般性表述，在人文學科中，“間性”主要是指那種非對立的、對話的、多元的、你中有我、我中有你的立場和姿態。可參閱鮑遠福：《新媒體文本表意論：從語圖關系到“語圖間性”》，《內蒙古社會科學（漢文版）》2016年第3期。

22黃鳴奮：《超文本詩學》，廈門大學出版社，2002，第118頁。

（范玉剛、譚吉瑞，山東大學文藝美學研究中心）