數字詩歌的多媒體視聽美學

主持人語：

在人類的文明史上，書寫工具曾出現過多次改變，從最初的木炭、泥棒，到羽毛筆、羊毫、狼毫，進而發展到鋼筆、圓珠筆，顯示了由農業社會向工業社會的推進。20世紀，電腦的發明再次影響了人類的生活，它不僅改變了我們的計算和書寫方式，因特網的出現在更大程度上還調整了人際交往的模式，涉及到詩歌創作，它對詩人的創造能力構成了一定的挑戰，數字化的生存讓數字詩歌也應運而生。對此，張洪亮在收集了大量數據之后，對其美學上的可能性進行探索性的挖掘，頗具啟迪的意義。（汪劍釗）

20世紀60年代已經出現了計算機輔助視覺設計的技術，一些詩人開始使用數字工具來創作視覺詩歌，到了80年代，隨著個人電腦、全息照相和視頻技術的出現，從事多媒體藝術和文學創作的愛好者們也獲得了一套全新的表達設備。時至今日，多媒體的動態數字詩的創作技術愈發成熟，效果也多十分華麗，作品將視聽與文本結合，制作出適用于計算機屏幕演示的整體作品，呈現與傳統印刷詩歌截然不同的數字美學特點。數字詩視聽結合實驗在詩學方面的擴充和更新體現在三個方面。

首先，數字詩實現了具有速度感的動態效果，從而重新定義了詩歌閱讀的時間。視覺上的動態效果營造出詩歌內部的時間感。葡萄牙新媒體藝術家、詩人梅洛·卡斯特羅（Melo e Castro）曾指出，閱讀一首視頻詩作品是非常復雜的體驗，讀者在閱讀過程中，將會獲得多重不同的時間感知，而它們又都與文本和圖像的運動變化相一致，這預示著一種新的閱讀詩學的到來，卡斯特羅還提出了“視覺時間”的概念并指出，詩歌中的“視覺時間”也即定義每首作品閱讀的時間。數字詩作品中視聽的動態結合效果實現了傳統印刷文學所無法實現的關于時間的理想，在卡明斯及其后的查爾斯·伯恩斯坦、蘇珊·豪等人的作品中，已經出現過對速度的模擬嘗試，他們通過在紙張上運用印刷交疊等技術營造出文字從紙上移動的速度直觀效果，而計算機熒屏動態技術的實現和引入已經解決了這一難題。

典型的動態詩歌作品都呈現了出各自的內在閱讀時間。例如布萊恩·基姆·斯特凡的《字母之夢》這首數字詩一共包括了35個關鍵詞或詞組，文字在屏幕上向各個方向不斷移動，它們有時對其他單詞或字母做出回應，有時候又各自互不相干，有時單詞分裂為孤零零的首字母，接著同樣首字母的單詞又從四面八方以不同的動態效果聚集過來。有時，字母的運動軌跡與單詞的含義相呼應，例如單詞“drip”（滴落）出現的過程，首先是字母“D”逐漸放大、拉高隨即收縮，最后以滴落的視覺動效掉落在rip三個字母前方，組成drip。字母的動態效果并不復雜，都是較為常見的早期動效包括淡入、淡出、擦除、放大或縮小等，字母顯現和運動的速度稍有差異。作者更傾向于將這首數字詩視作動畫短片，讀者也可以以看電影而不是閱讀印刷詩歌的態度打開這部作品，作品內在的時間顯現，屏幕上將會上演一場長達11分鐘的關于文字拆分、重組、運動的動畫短片。

新激浪派藝術家麗莎·斯帕提（Litsa Spathi）發展出了“激浪詩”（Fluxus Poems）的概念，她將計算機的執行結果納入到了詩歌表現當中。在2006-2008年間，她創作了《無人之空》（Nobody At Sky）、《伊卡洛斯之詩》（Icarus Poetry）等視頻詩作品，與斯特凡的《字母之夢》類似，這些視頻詩也如同電影一般將文本內容以強烈的藝術表現力“上演”，它要求觀眾的注視和跟隨，而不是傳統印刷詩中對文本的“閱讀”。斯帕提的激浪詩作品將少量文本與大量紛繁炫酷的視覺動效及搖滾樂背景音樂結合起來，她試圖消除不同媒介之間的表現力界限，讓詩歌成為一種表演、一種過程性的表現，從而生成作品內在的時間。

作品《伊卡洛斯之詩》整首詩只有一句話：“I’m nobody who are you”，從題目來看，斯帕提受到了古希臘神話中伊卡洛斯飛向太陽后翅膀融化墜落海中這個故事的影響，作品畫面中央是一個簡筆畫的人體，兩邊是紅色的翅膀，而“imnObOdywhOareyOu”則寫在人體肚子的方框中，簡筆畫的頭部用一個大圓圈來表示，文本中的四個大寫“O”加上頭部的圖案，整個作品中就有了五個字母O，于是畫面中陸續交替出現紅色或黑色的實心圓形，從不同的O上面重疊又離開，縮小放大，或是漸出漸入，有節奏地變換視覺效果，作品不斷循環重復這個過程直至兩分鐘時，代表伊卡洛斯的簡筆畫小人倒在了地上，翅膀由紅色變為綠色，又漸變為橙色、紫色和藍色，隨后伊卡洛斯戴著藍色的翅膀重新站了起來，又再次跌倒，時長為兩分半的視頻詩到此結束。

正如20世紀先鋒派探通過播放音節來重塑文本帶給人們的感受力那樣，斯帕提的激浪詩延續了對聲音與文本關系的強調傳統。斯帕提的作品幾乎都不超過三分鐘，在短暫的時間里她令畫面迅速變換閃動，《無人之空》前半段不斷閃過字母與圖形的對應關系，但如果根據畫面原有的閃動速度，讀者并不能辨別和記憶具體是如何對應的，斯帕提對迅速變換視覺動效的處理也同樣強調了一種速度感和讀者對作品內在時間的獨特體驗。

對動態效果速度感的強調和表現，改變了傳統印刷文學閱讀內在的時間體驗，讀者不再陷入文本之中沉思，取而代之的是觀看瞬息萬變的特效。瑞典著名導演伯格曼認為，書寫下來的詞語傾向于被理性意識行為所閱讀和同化，從而在一定程度上侵蝕了想象力和情感，而電影的性質則是剛好相反的。伯格曼曾說“我不是看電影，我是經歷電影”，而正是在“經歷”一部電影的時候，觀眾才會敞開幻想，暫時性地拋棄理性和意志，為想象力讓路。而與新媒體打交道的詩人、作者們所面臨的挑戰恰恰在于他們同時需要觀眾調用“閱讀”的機制，否則作品就成了純粹的視頻，數字詩人需要創作出能讓讀者將“閱讀”和“觀看”有效地結合起來的作品，要求讀者在智力而不僅僅是想象力的層面上與文本接觸。

數字詩視聽美學的第二個特點在于，今天的絕大多數數字詩要求讀者的積極參與互動才能完成展示，這一點不論是早期先鋒派還是后來的具象運動、激浪派視頻藝術中都沒有實現。一些作品在視聽語言基礎上同時設計了交互接口，邀請讀者參與設置作品的參數（用于激活、使文本出現或消失）。

梅根·薩普納（Megan Sapnar）和英格麗德·安克森（Ingrid Ankerson）的作品《航行》（Cruising）是FLASH詩歌的典型作品，它運用視頻技術制作出互動電影的效果來補足“航行”這一主題。這部作品將錄音和交互式控制相結合，要求用戶必須自行驅動文本來開啟詩歌的時空主題，起初文本滑動的速度極快，用戶需要用鼠標控制屏幕滑動和推進的速度、方向，以便控制閱讀文本的速度，當屏幕上的文本與背景聲音中敘述的詞語重合時，速度會自動減慢，直至成為一幀一幀的慢放循環，觀眾需要在閱讀文本和體驗圖像這兩種視覺狀態中切換。《航行》的視覺節奏需要由讀者自行發現和選擇，正如題目所指示的一樣，《航行》的視覺和交互效果力圖模仿開車時的視線情境，讀者自行控制“駕駛”（drive）的速度，而與此同時，聲音層次的喃喃自語卻強調著作品原初的速度，讀者只有通過鼠標控制視覺內容，使其與聽覺內容最終重合，才能將速度慢下來，所以讀者的閱讀體驗就像開車一樣，必須先學會基本規則才能準確地“駕馭”這首詩，在這首數字詩的體驗中，讀者不是被動地接受語言的步調，而是積極地參與其中，并且自行學會如何控制它。

類似地，吉姆·安德魯斯于2001-2004年間創作的《Arteroids》是一款第一人稱射擊類文學游戲，用戶和讀者可以隨意射擊單詞，玩得越熟練，出現的詞就越多，甚至能夠造句，而句子的內容也是關于詩歌問題的自我指涉，例如“詩歌與自身的斗爭，以及沉悶的力量。” 杰森·納爾遜的《游戲游戲游戲再游戲》則更進一步，在普通交互藝術的基礎上將電子游戲中的許多經典關卡應用到了作品當中，這部作品一共設置了13個關卡，讀者只有逐級通關才能看到詩歌文本的全部內容，進入作品后，讀者的化身就是屏幕上一個黑色毛線球，通過移動鼠標來控制毛線球的冒險闖關，而在通關成功后詩歌文本浮現的同時，屏幕上也會同時出現一些奇怪的家庭錄像片段，與文本內容并不直接相關，但讀者可以同時觀看兩種內容。納爾遜本人將這種奇特的組合稱為“一首數字詩，一個復古游戲，一個反設計的陳述和一個藝術家個人用來探索世界的鏡頭”，試圖通過復古游戲風格的界面，將手繪、混亂和不合邏輯和個人創作重新引入數字美學當中，而讀者將會在游戲通關的過程中經歷這一系列特殊的藝術組合。

一些作品則將詩性隱喻直接設置在了讀者的交互動作中，例如烏爾斯·施萊伯（Urs Schreiber）于2000年創作的《機器史詩》（Das Epos der Maschine），當讀者點擊“真理”（Wahrheit）這個單詞時，其他單詞就會消失在它的后面，用來暗示其他懷疑已經被一個難以撼動的真理話語所壓制，或者也可以指真理已經吞噬了被質疑的其他東西，然而只要用戶再次移動鼠標，其他單詞就會重新出現，它們跟隨著“真理”這個詞，可以一次又一次地被它掩蓋，但不會永久消失。

數字詩視聽美學的第三個特點體現為，數字詩將聽覺與雙重視覺——文本閱讀和圖像閱讀——這三個層次的感覺經驗結合起來，擴充了新媒體語境下“詩”的定義。數字詩的語言并不限于文字，它是所有技術元素和文本的結合體，它整合了視、聽甚至觸覺、游戲等元素，這也是與其先驅者們不同之處，或者換言之，是將聲音詩、視覺詩運動的理念結合并誕生出的全新的美學思維。當作家和藝術家在各種媒體上使用各種不同的材料時，當聲音是與文字語言一樣可被重寫、被編輯時，電子游戲也是如此，它也同樣可以被用作一種可供詩歌挖掘的材料，在數字詩中，書寫的基本符號不再局限于字母表或其他印刷符號，聲音、視覺材料以及交互設計等可以成為語言。

數字詩中的圖像視覺可以大體分為三種類型，包括單詞按其字面意思排列，如阿波利奈爾的《雨》（Il peut），以及詞語拆解用以表示分散或移位，如卡明斯的《草蜢》，或是單詞與圖像結合，如布萊克的詩配版畫，第三種類型在眼下的數字詩中相對更為常見，這也就意味著圖像視覺作為相對獨立的內容正式介入到數字詩的語言范疇之中。讀者在面對一首“圖文并茂”的數字詩作品時，需要調用的其實是兩種視覺認知系統，不同的讀者在閱讀圖像詩作品時可能會先去讀圖，也可能會先閱讀文字，但不論讀者的優勢反應具體是哪一種，非優勢反應總會對其造成干擾，也即在讀者的閱讀經驗中，圖像和文本并不是相互排斥的，只是在不同的時間順序中以偏向某一方面的方式被把握。

如果我們將聲音與感覺這一條線視作是混沌的、屬于感性直觀的，與意義之間沒有對應關系，那么詩歌中的聲音，就是以其站在意義對立面的身份獲得了詩性。詩中的“聲音”既是意義的對立面，同時又是意義的核心，也就說是在一定程度上，聲音不僅是屬于感覺的，而且也與意義存在一定的對應關系。

在少部分數字詩作品中，聲音與視覺效果是互相呼應的，例如在大衛·哈里斯·厄本巴赫的《圣殿被毀日》中，街道上行人的腳步聲與喃喃低語的男聲混合在一起的聲效，閱讀者屏幕上的文字，每句話讀完的瞬間，文字就從讀者眼前淡出、消失，聲音的停止與視覺內容的結束保持完全同步，類似地，在瑪利亞·曼西亞的作品《鳥兒唱著其他鳥兒的歌》中，背景聲效就是各式各樣的鳥鳴，與屏幕上組成鳥兒圖案的文字交相輝映，韓國藝術家張恩海的視頻詩《斗爭繼續》也是這樣一首聲音與屏幕節奏相輔相成的作品，在長達八分鐘的時間里，音效的音節長度與屏幕上特寫文本的停留時間都保持了高度同步。

而在大部分數字詩中，聲音都是獨立于影像視覺、文本視覺之外的另一重內容。例如吉姆·安德魯斯的《Arteroids》中，當讀者“射擊”單詞時，發出的聲音效果都是安德魯斯自己錄制和編輯過的，包括男性、女性、青年、老人、卡通甚至動物的聲音，聲音的范圍是“從卡通到成人，有聲詩到電腦游戲”，用以實現傳統詩歌中無法實現的對自然世界中一切聲音的開放和容納，類似地在M.D.Coverly發布于2001年的作品《玻璃天空》中，一些舊照片排列在洛杉磯摩天大樓的圖像上，用戶可以點擊任何一幅圖像，都會牽引出一段歷史往事，黑白影像、令人不安的音頻和幾行敘事詩并置，共同完成了對于歷史經驗的藝術書寫。

長期以來，人們普遍認為視聽是兩種全然不同的感知能力，各自調用的是完全不同的認知系統，但詩人、評論家蘇珊·豪提出了關于詩歌的通感論，她認為紙張上的空白就像聲音中的沉默，而交疊錯亂的印刷排版可以通達噪音的感受，因為字體聲音可以召喚讀者進入可見的聽力。這一看法與麥克盧漢的“感知比率”假設也是相通的，即感覺系統是牽一發而動全身的，我們可以假設感覺是一個100%的常數，其中的任何一個成分得到強化或改變，其他成分也會立即受到影響。以聽覺為例，如果它被強化，觸覺、味覺、視覺就會立即受到影響。而在這個過程中，媒介作為人體的延伸，必將引發感知系統的無窮變化，而詩人和畫家對廣播電視之類的新媒介能作出立即的反應。收音機、電唱機和錄音機使我們重溫詩人的聲音，給詩歌鑒賞增加了一個新的維度。甚至有學者指出，“可以聆聽的視覺”是確實存在的，但現有的聲音系統似乎無法貼切地應用于其上，因此始終被視覺霸權占據著。馬鳴謙曾就此問題列舉了兩種不同的視覺類型，一種是諸如幾何圖形、科學圖示、技術圖表、數學符號等“非藝術類圖像”，它們屬于冷信息的數據載體;第二類則是抽象繪畫、含糊曖昧的圖形、混亂的圖式等等，其內容似乎不包含任何信息，是“沉默寡言”的——這兩類視覺形態，馬鳴謙分別將其稱為“晶體透明度”和“渾濁不透明度”，它們從根本上悖離了常規聲音-圖像關系的慣例，從而以各自的方式挑戰、對抗著對聲音的任何形式的占用，也即剝離了聲音語言和視覺語言的相互侵擾。馬鳴謙的這一觀點在視聽結合的數字詩中得到了更透徹的體現，如前文所列舉的例子，許多數字詩作品中的視聽并不是直接互文的，彼此獨立甚至在一定程度上相互排斥，例如抽象的文字視覺的作品和具有高度實驗性的音樂相結合，二者都是“渾濁的不透明體”，并置在一個共同的作品空間內卻拒絕彼此的侵占。

在數字文學、數字藝術作品中，視聽技術的重新結合明顯再次調和了視覺和聽覺的共在場景。19世紀末20世紀初，隨著電子傳輸、合成技術、錄音、通用機器的發展，出現了無需其他媒介（人聲、圖騰、文字、音樂）轉譯就能將聲音完全剝離聲源，并且可以易時易地重新再現的媒介，聲音成為一種可被編寫和更改的物質對象，而這一技術恰恰使得聲音又重新參與到了文學、藝術的創作當中。在視聽融合的數字作品并不是簡單地將視覺、聽覺材料拼合在一起，它是運用一種新媒介重新整合了這些元素，如同將二者各自打散之后重組。多媒體詩歌的出現將詩從印刷品之中解放出來，采用不斷擴展的新科技手段，得以制造出前所未聞的新效果，為詩人打開了全新的創作領域。

作者簡介

張洪亮，文學博士，北京市社會科學院文化所助理研究員;研究方向為西方詩學，媒介研究。