早期抽象動(dòng)畫(huà)中的視聽(tīng)跨模態(tài)思維模式

［摘 要］ 至今為止，許多電影制作的美學(xué)、動(dòng)機(jī)和創(chuàng)作核心依舊是實(shí)現(xiàn)通感。從計(jì)算機(jī)學(xué)習(xí)的維度看，視聽(tīng)通感即為視聽(tīng)跨模態(tài)驗(yàn)證，主要用于計(jì)算機(jī)深度學(xué)習(xí)技術(shù)中對(duì)計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和視聽(tīng)情感分析等領(lǐng)域，目的是通過(guò)計(jì)算機(jī)的情感計(jì)算實(shí)現(xiàn)人機(jī)交互。許多早期實(shí)驗(yàn)電影與抽象動(dòng)畫(huà)體現(xiàn)的是藝術(shù)家的通感體驗(yàn)與情感計(jì)算，分析藝術(shù)家的創(chuàng)作思維模式，并將其規(guī)律共享于計(jì)算機(jī)情感學(xué)習(xí)技術(shù)中，可以將視聽(tīng)獨(dú)特的表現(xiàn)力更好地投入當(dāng)今的計(jì)算機(jī)工具開(kāi)發(fā)與動(dòng)畫(huà)作品的創(chuàng)作中。

［關(guān)" 鍵" 詞］ 視聽(tīng)語(yǔ)言；視聽(tīng)模態(tài)；抽象動(dòng)畫(huà)

跨模態(tài)驗(yàn)證主要用于計(jì)算機(jī)深度學(xué)習(xí)技術(shù)中的計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和視聽(tīng)情感分析等領(lǐng)域，目的是通過(guò)計(jì)算機(jī)的情感計(jì)算實(shí)現(xiàn)人機(jī)交互。所有早期嘗試創(chuàng)作抽象動(dòng)畫(huà)的電影人通過(guò)自身的感知能力，獲得了創(chuàng)造性的表達(dá)，除了業(yè)界對(duì)他們的作品進(jìn)行了理論性的分析外，心理學(xué)家也進(jìn)行了許多借鑒，并認(rèn)為實(shí)驗(yàn)電影制作人創(chuàng)作的過(guò)程可以被理解為實(shí)踐心理學(xué)研究的過(guò)程。而這些作品在當(dāng)今的價(jià)值由于科技的進(jìn)步又進(jìn)入了新的領(lǐng)域，在計(jì)算機(jī)語(yǔ)境下，他們可以為計(jì)算機(jī)智能學(xué)習(xí)提供一定的價(jià)值，幫助統(tǒng)計(jì)、分析、預(yù)測(cè)人類(lèi)的主觀感受。

當(dāng)今計(jì)算機(jī)情感學(xué)習(xí)的目的是為了模仿人類(lèi)實(shí)現(xiàn)感官之間的聯(lián)通，從而使計(jì)算機(jī)具有識(shí)別、理解、表達(dá)和適應(yīng)人的情感的能力。因此對(duì)基礎(chǔ)感知與通感之間的關(guān)聯(lián)性研究一時(shí)間成為計(jì)算機(jī)學(xué)習(xí)并積累素材的重要目標(biāo)。起始于19世紀(jì)初的早期抽象動(dòng)畫(huà)視聽(tīng)實(shí)驗(yàn)是對(duì)通感進(jìn)行的感官融合初探，不僅在藝術(shù)領(lǐng)域進(jìn)行了作品風(fēng)格的融合，也誕生了諸多頗具時(shí)代特征的多類(lèi)技術(shù)。

一、視聽(tīng)跨模態(tài)研究的維度構(gòu)成

迄今為止，許多電影制作的美學(xué)動(dòng)機(jī)和創(chuàng)作核心依舊是實(shí)現(xiàn)通感。很多情況下實(shí)驗(yàn)電影是藝術(shù)家通感體驗(yàn)的一種記錄，通過(guò)跨模態(tài)的方式反映了其個(gè)人的感受。電影中使用感官對(duì)應(yīng)的各種方式，可以提供有助于未來(lái)研究的類(lèi)別，并更好地理解與運(yùn)動(dòng)圖像文化相關(guān)的跨模態(tài)如何驗(yàn)證感官之間的聯(lián)通。通過(guò)對(duì)各種基于通信的計(jì)算機(jī)藝術(shù)形式的分類(lèi)，可以將相關(guān)概念組織為更精確的細(xì)分領(lǐng)域。

基于視聽(tīng)模態(tài)的電影研究維度可以分為以下幾類(lèi)。

（一）聯(lián)覺(jué)—感覺(jué)經(jīng)驗(yàn)的相互溝通影響

電影中同一序列的不同美學(xué)元素，如色彩、相機(jī)運(yùn)動(dòng)、音樂(lè)和抽象形式，從不同維度同步指向同一情感。這是由人的感覺(jué)能力將同一事物的不同屬性牢牢地聯(lián)系在一起而形成的對(duì)心理模式的鞏固。

（二）移覺(jué)—媒介之間的對(duì)等表達(dá)

一種藝術(shù)形式被用作另一種藝術(shù)的表達(dá)基礎(chǔ)，例如用繪畫(huà)表達(dá)音樂(lè)、用對(duì)裝置的觸控表達(dá)視覺(jué)等。

（三）通感—時(shí)空交叉中合成美學(xué)的再創(chuàng)造

具備機(jī)械工程、音樂(lè)、繪畫(huà)能力的藝術(shù)家通過(guò)對(duì)個(gè)人知識(shí)的有機(jī)組合，進(jìn)行的經(jīng)驗(yàn)性創(chuàng)作。

（四）統(tǒng)覺(jué)—知覺(jué)經(jīng)驗(yàn)的相互疊合

藝術(shù)家通過(guò)個(gè)人視聽(tīng)方面的學(xué)習(xí)經(jīng)驗(yàn)與設(shè)計(jì)能力，根據(jù)模態(tài)共享的共同屬性，在思維概念上將聲音和圖像結(jié)合在一起，由此形成新的知識(shí)或思考的過(guò)程。

（五）機(jī)械傳感

模擬或數(shù)字信息通過(guò)機(jī)器傳感器傳輸或能量轉(zhuǎn)換，實(shí)現(xiàn)單模態(tài)之間的形態(tài)轉(zhuǎn)換，機(jī)器將原有感官信息輸出以另一種感官形式展現(xiàn)。例如，1920年托馬斯·威爾弗雷德發(fā)明的以琴鍵演奏聲音控制光彩色的管風(fēng)琴“克拉維勒”； 20世紀(jì)40年代末奧斯卡·費(fèi)欽格發(fā)明的控制光與音樂(lè)的光流場(chǎng)設(shè)備儀等。

二、視聽(tīng)跨模態(tài)研究的感知范疇

“通感”一詞原指特定定義的醫(yī)學(xué)狀況，后被廣泛地形容人類(lèi)感官、心理能力及隱喻概念。“聯(lián)覺(jué)”（Synesthesia）現(xiàn)象最早記錄于1690年，該詞起源于希臘語(yǔ)：Syn-翻譯成Union和Aisthesis的意思，類(lèi)似于“感官的結(jié)合”。科學(xué)家肖恩·戴把聯(lián)覺(jué)分為40個(gè)類(lèi)別，他認(rèn)為感官混合可以是各種各樣的，一個(gè)人可以同時(shí)擁有不同的感官混合現(xiàn)象。根據(jù)英國(guó)愛(ài)丁堡大學(xué)心理學(xué)家朱莉婭·辛納西姆納（Julia Simner）2006年的報(bào)告調(diào)查發(fā)現(xiàn)，世界上大約有1%～4%的聯(lián)覺(jué)者，對(duì)于他們來(lái)說(shuō)，當(dāng)大腦處理感官的區(qū)域中接受到來(lái)自一種感知的信息后，會(huì)在無(wú)大腦干預(yù)的情況下自發(fā)性地觸發(fā)一個(gè)或多個(gè)額外區(qū)域的感官體驗(yàn)：即一種模態(tài)的體驗(yàn)也會(huì)在另一種或多種模態(tài)中產(chǎn)生反應(yīng)。例如，通感者能聽(tīng)到香味，能通過(guò)顏色感覺(jué)到疼痛、聽(tīng)出味道，能對(duì)聲音和圖像產(chǎn)生味覺(jué)或嗅覺(jué)感受。

關(guān)于通感相關(guān)研究可以追溯到古希臘時(shí)期，亞里士多德和畢達(dá)哥拉斯推測(cè)出一種球體的音樂(lè)，可以將抽象的振動(dòng)概念與物理世界聯(lián)系起來(lái)。弗朗西斯·高爾頓是一位英國(guó)科學(xué)家和探險(xiǎn)家。他的學(xué)術(shù)研究興趣廣泛，包括人類(lèi)學(xué)、地理、數(shù)學(xué)、力學(xué)、氣象學(xué)、心理學(xué)、統(tǒng)計(jì)學(xué)等，他著重研究個(gè)別差異，從遺傳的角度研究個(gè)別差異形成的原因，開(kāi)創(chuàng)了優(yōu)生學(xué)。他關(guān)于人類(lèi)官能的研究開(kāi)辟了個(gè)體心理和心理測(cè)驗(yàn)研究的新途徑。他在其文章《可視化數(shù)字》（Visualized Numerals）中首次正式記錄了科學(xué)背景下的通感，盡管關(guān)于這種情況存在的說(shuō)法受到了廣泛爭(zhēng)議，但依然引起了對(duì)通感進(jìn)行各類(lèi)科學(xué)測(cè)試的風(fēng)潮。當(dāng)代，通過(guò)腦部掃描驗(yàn)證的方式撕下了通感的神秘面紗，使它得以被數(shù)據(jù)化的方式驗(yàn)證。

通感在科學(xué)界與藝術(shù)界均引起了研究的風(fēng)潮，藝術(shù)家認(rèn)為通感是一種獲得更高現(xiàn)實(shí)或意識(shí)狀態(tài)的神秘工具，實(shí)驗(yàn)心理學(xué)與醫(yī)學(xué)的研究案例則更關(guān)注人類(lèi)的感知，也由此產(chǎn)生了精神唯心主義和科學(xué)實(shí)證主義之間的緊張關(guān)系，進(jìn)一步刺激了歐洲和美國(guó)視覺(jué)音樂(lè)的發(fā)展。顏色、聲波的震動(dòng)都被認(rèn)為會(huì)產(chǎn)生與生命力相關(guān)的能量，與對(duì)精神概念的探索有關(guān)，因此早期通感藝術(shù)中的視覺(jué)、聽(tīng)覺(jué)意象都傾向于適應(yīng)抽象符號(hào)進(jìn)行表達(dá)。而這些視聽(tīng)抽象符號(hào)在通感藝術(shù)中又與科學(xué)、醫(yī)學(xué)接壤，成為視聽(tīng)一體、與腦電波等相關(guān)聯(lián)的可以被檢測(cè)的具有固定規(guī)律的震動(dòng)，實(shí)現(xiàn)了藝術(shù)與科學(xué)兩種意義上的聯(lián)通。

移覺(jué)，可以建立媒介對(duì)等，它以隱喻的方式應(yīng)用了通感的概念。在這里，一種藝術(shù)形式（如音樂(lè)、電影、繪畫(huà)）是另一種藝術(shù)形式的表現(xiàn)基礎(chǔ)。例如16世紀(jì)末，米蘭藝術(shù)家吉烏塞佩·阿爾金博爾多（Gi-useppe Arcimboldo）提出了將不同顏色的彩紙貼在一種鍵盤(pán)樂(lè)器上的想法，從而使音樂(lè)家能夠演奏一個(gè)音符的同時(shí)看到相應(yīng)的顏色。17世紀(jì)40年代，杰西特·伯納德·卡斯特爾（Je suit Bernard Castel）建造了一架眼用大鍵琴，其外露的彩色玻璃窗與演奏的各個(gè)音符相對(duì)應(yīng)。這些發(fā)明說(shuō)明了媒介等效藝術(shù)的概念，盡管它們沒(méi)有為我們提供它們各自創(chuàng)造者通感條件的實(shí)際作品。

典型的移覺(jué)案例還包括在20世紀(jì)早期，康定斯基的作品旨在畫(huà)布上捕捉音樂(lè)的表現(xiàn)力，包括音樂(lè)的節(jié)奏、旋律、結(jié)構(gòu)、和弦色彩與強(qiáng)弱運(yùn)動(dòng)等。

聯(lián)覺(jué)是人腦天生的一項(xiàng)特殊功能，它主要發(fā)生在生理層，是生理學(xué)或腦科學(xué)研究的對(duì)象；移覺(jué)主要是指人的實(shí)時(shí)心理出現(xiàn)的跨感官刺激——反應(yīng)現(xiàn)象。它是人類(lèi)后天社會(huì)心理的感覺(jué)自發(fā)行為，主要發(fā)生在心理層，屬于心理學(xué)研究的領(lǐng)域。通感是人類(lèi)言語(yǔ)行為的自覺(jué)建構(gòu)，主要發(fā)生在語(yǔ)言層，是一個(gè)生理聯(lián)覺(jué)、心理移覺(jué)和語(yǔ)言通感三個(gè)維度的動(dòng)態(tài)過(guò)程。統(tǒng)覺(jué)活動(dòng)主要發(fā)生在心理層，但現(xiàn)今也常應(yīng)用于教育學(xué)，對(duì)幼兒至成年人的學(xué)習(xí)過(guò)程進(jìn)行感覺(jué)統(tǒng)合訓(xùn)練。機(jī)械傳感發(fā)生在工程技術(shù)層，研究機(jī)械制造與通信電子等領(lǐng)域，是當(dāng)今利用科技工具對(duì)心理層現(xiàn)象以技術(shù)手段進(jìn)行感官體驗(yàn)、互動(dòng)表達(dá)的新型研究方向。

隨著電影的出現(xiàn)， 20世紀(jì)20年代的歐洲抽象動(dòng)畫(huà)師，如沃爾特·拉特曼、維京·埃格林、漢斯·里希特、奧斯卡·費(fèi)欽格等，開(kāi)始關(guān)注音樂(lè)對(duì)時(shí)間的組織能力，并嘗試使用音樂(lè)創(chuàng)作中的配器、交響、賦格曲、對(duì)位法等術(shù)語(yǔ)來(lái)對(duì)視覺(jué)畫(huà)面進(jìn)行描述與組織，畫(huà)面因此可以借助音樂(lè)作品的時(shí)間進(jìn)行運(yùn)動(dòng)。這些動(dòng)畫(huà)電影挑戰(zhàn)了觀眾的視覺(jué)感知速度與聽(tīng)覺(jué)的促生、聯(lián)通、彌補(bǔ)、共享關(guān)系。這些有意識(shí)的嘗試將音樂(lè)形式作為創(chuàng)造性視覺(jué)表達(dá)的基礎(chǔ)。

區(qū)別、移覺(jué)、聯(lián)覺(jué)更加類(lèi)似于模態(tài)共享，具有將共同情感內(nèi)容的聲音和圖像結(jié)合在一起的能力。奧斯卡·費(fèi)欽格的大部分實(shí)驗(yàn)作品都與視聽(tīng)模態(tài)之間的共享有關(guān)。介于二戰(zhàn)時(shí)期的歷史原因，費(fèi)欽格拒絕使用形象化的線(xiàn)性敘事，因此他的作品需要通過(guò)跨模態(tài)驗(yàn)證喚起相關(guān)審美反應(yīng)，而他對(duì)視聽(tīng)內(nèi)容進(jìn)行的人性化同步細(xì)節(jié)恰恰成為當(dāng)今計(jì)算機(jī)學(xué)習(xí)的重點(diǎn)。

從人類(lèi)依賴(lài)符號(hào)思維的最早階段起，聯(lián)覺(jué)就已經(jīng)作為一種認(rèn)知能力而存在。費(fèi)欽格在作品中的聯(lián)想維度表現(xiàn)在，他將弦樂(lè)的聲音與彎曲抽象圖形弦的意象聯(lián)系起來(lái)。代表弦樂(lè)器的“弦”意象顯然具有關(guān)聯(lián)性，畫(huà)面中線(xiàn)條的粗細(xì)與提琴弦的粗細(xì)（音高）也可能具有關(guān)聯(lián)性。在費(fèi)欽格的作品問(wèn)世之后，許多動(dòng)畫(huà)電影制作人也模仿他的手法，藝術(shù)地利用視聽(tīng)聯(lián)覺(jué)，以雙模態(tài)藝術(shù)形式創(chuàng)作作品，例如萊里恩的《搖擺蘭貝斯漫步》中小提琴搖擺顫音與風(fēng)琴尖銳的對(duì)應(yīng)。即便藝術(shù)家做了非常多抽象的處理，但觀眾在觀看最終作品時(shí)仍然能夠檢測(cè)到視聽(tīng)的關(guān)聯(lián)。因此，聯(lián)覺(jué)對(duì)應(yīng)性也成為電影美學(xué)表達(dá)和吸引力的一個(gè)組成部分，觀眾可以通過(guò)識(shí)別音樂(lè)和運(yùn)動(dòng)形狀之間的共同屬性，而不是期待或?qū)ふ覕⑹戮€(xiàn)索，從而在作品中找到審美興趣。例如費(fèi)欽哥《一首光學(xué)詩(shī)》中視覺(jué)的形狀與勃拉姆斯《第5號(hào)匈牙利舞曲》音樂(lè)的同步，在感知與認(rèn)知層面都獲得了成功。

進(jìn)入數(shù)字化科技時(shí)代后，模仿人腦的機(jī)械通感產(chǎn)生。模擬和數(shù)字信息通過(guò)設(shè)備傳輸，將感官信息輸出到不同于原始數(shù)據(jù)預(yù)期的模態(tài)中。例如，在聲音數(shù)字化的情況下，音樂(lè)的屬性采用二進(jìn)制信息的形式，可以轉(zhuǎn)換成不同的視覺(jué)不變量。頻道和信息的普遍數(shù)字化消除了形式的差異。在各個(gè)媒體之間，在計(jì)算機(jī)本身內(nèi)部，一切都是一個(gè)數(shù)字。一旦光纖網(wǎng)絡(luò)將以前不同的數(shù)據(jù)流轉(zhuǎn)換成標(biāo)準(zhǔn)化的數(shù)字序列，那么任何媒介都可以轉(zhuǎn)換成其他媒介。

最常見(jiàn)的例子為音頻播放器將聲音數(shù)據(jù)轉(zhuǎn)換成華麗多彩的波形圖像。計(jì)算機(jī)可以對(duì)同步播放的音樂(lè)做出視覺(jué)響應(yīng)，并成為動(dòng)態(tài)的音樂(lè)可視化工具。現(xiàn)代立體聲系統(tǒng)中的圖形均衡器也可以成為可視化聲音數(shù)據(jù)，其中一系列光譜的高度與不同頻帶的音量相對(duì)應(yīng)，或者其他現(xiàn)代應(yīng)用程序，如iTunes、MaxMsp都可以進(jìn)行可視化聲音數(shù)據(jù)處理，而Jitter和Gem程序同時(shí)允許對(duì)可視化進(jìn)行更深層的編程控制甚至逆轉(zhuǎn)，將圖像轉(zhuǎn)換回聲音。出于這些原因，克里斯托夫·考克斯（Christoph Cox）提出，數(shù)字技術(shù)替代人類(lèi)的感官，實(shí)現(xiàn)了媒體間的相互翻譯，然而這種能力的背后更多體現(xiàn)的是冰冷的機(jī)械性。

計(jì)算機(jī)可以對(duì)這些視覺(jué)運(yùn)動(dòng)進(jìn)行有效的識(shí)別，因?yàn)樗鼈兊男螤钆c色彩相對(duì)單一，可以輕松地對(duì)音樂(lè)中的內(nèi)容進(jìn)行識(shí)別與量化。顏色與傳統(tǒng)音樂(lè)是與情感最接近的視聽(tīng)信息，而這些經(jīng)典作品都是基于視覺(jué)與聽(tīng)覺(jué)思維的基礎(chǔ)習(xí)慣，符合大眾的審美習(xí)慣。抽象動(dòng)畫(huà)家們的創(chuàng)作嘗試都是從認(rèn)知視角對(duì)視聽(tīng)情感信息的量化與提煉，為計(jì)算機(jī)情感學(xué)習(xí)提供了良好的基礎(chǔ)。數(shù)據(jù)也可以用模擬設(shè)備進(jìn)行重新掃描，對(duì)傳統(tǒng)的投影儀和賽璐珞膠片進(jìn)行修復(fù)。費(fèi)欽格是最早嘗試 “圖形聲音裝飾”技術(shù)的電影制作人之一，將膠片作為媒介，聲音元素通過(guò)視覺(jué)數(shù)據(jù)借助電影放映機(jī)的光學(xué)原理讀取器產(chǎn)生。例如，費(fèi)欽格1932年拍攝的《裝飾性聲音》實(shí)驗(yàn)電影就是通過(guò)在紙上繪制一系列幾何圖像，然后在底片的光學(xué)配樂(lè)部分拍攝圖像而創(chuàng)作的。這種關(guān)聯(lián)依賴(lài)于機(jī)器，同樣屬于機(jī)械通感范疇。

三、視聽(tīng)跨模態(tài)研究的合成效果

當(dāng)電影中相同序列的各種元素，如顏色、相機(jī)運(yùn)動(dòng)、音樂(lè)和形狀，都指向相同的情感時(shí)，各類(lèi)感官思維疊加通過(guò)大腦的合成，便引發(fā)了通感效果。卡爾·普蘭廷加（Carl Plantinga）在其專(zhuān)著《移動(dòng)觀眾》（Moving Viewers）中首次提出了通感影響的概念，并進(jìn)行了解釋?zhuān)骸坝^眾經(jīng)常發(fā)現(xiàn)他們對(duì)一種形式刺激的反應(yīng)與對(duì)另一種形式刺激的反應(yīng)相吻合。混亂的剪輯可能適合混亂的音樂(lè)，相反，緩慢、流暢的跟蹤鏡頭可能適合芭蕾舞演員優(yōu)雅的動(dòng)作。我們可以稱(chēng)之為合成效果。”聯(lián)覺(jué)和通感效果之間的區(qū)別在于，聯(lián)覺(jué)效果并不是自動(dòng)或特征性地關(guān)注從一種模態(tài)到另一種模態(tài)的每個(gè)細(xì)節(jié)的直接等價(jià)。相反，它是關(guān)于通過(guò)電影相互匹配的廣泛概念制作者對(duì)一系列不同表達(dá)手段的精心協(xié)調(diào)。例如奧斯卡·費(fèi)欽格的音樂(lè)總體上與畫(huà)面的意象一致，在圖像和聲音之間形成一種富有表現(xiàn)力的相互作用。最好的聲音作品既不排斥視覺(jué)，也不屈服于視覺(jué)，而是放大了媒體和感官形式之間的差異，將注意力吸引到聲音作為一種半自治的力量。應(yīng)用聯(lián)覺(jué)情感是另一種協(xié)商音頻和視頻之間可能的對(duì)應(yīng)關(guān)系的方式，而不試圖提供或強(qiáng)制兩者之間的直接對(duì)等，因此實(shí)現(xiàn)了視聽(tīng)共享的概念。

與通感藝術(shù)相關(guān)的概念在討論電影媒體的美學(xué)方面具有重要意義。一些構(gòu)成這一龐大、多樣領(lǐng)域的藝術(shù)品最初被稱(chēng)為“通感”，當(dāng)時(shí)藝術(shù)家認(rèn)為這是一種浪漫的理想，科學(xué)家認(rèn)為這是種奇怪的現(xiàn)象。當(dāng)代，通感藝術(shù)的概念繼續(xù)以浪漫或隱喻的方式在各個(gè)領(lǐng)域被加以應(yīng)用。事實(shí)上，它代表了一系列復(fù)雜的美學(xué)效果和體驗(yàn)，不同的電影實(shí)踐傳統(tǒng)以不同的方式和目的探索和利用聲音和圖像之間的對(duì)應(yīng)關(guān)系。這為評(píng)論家、學(xué)者和藝術(shù)家提供了研究運(yùn)動(dòng)圖像中感官對(duì)應(yīng)的初步方法。然而，為了進(jìn)一步定義相關(guān)實(shí)踐，并理解時(shí)間上和地理上分散的通感藝術(shù)作品在美學(xué)、創(chuàng)意和技術(shù)方面的相似性和區(qū)別，仍需擴(kuò)大這些劃分的空間。

實(shí)驗(yàn)性電影制作人根據(jù)自己的認(rèn)知和感知能力創(chuàng)作作品，這些能力實(shí)際上是從聯(lián)覺(jué)形式汲取的視聽(tīng)經(jīng)驗(yàn)再現(xiàn)。當(dāng)商業(yè)動(dòng)畫(huà)學(xué)習(xí)到同步的視聽(tīng)技巧后，便從流行的視角證明了跨模態(tài)視聽(tīng)同步的普遍吸引力。例如迪士尼首次在標(biāo)志性動(dòng)畫(huà)《威利汽船》（1928）中，將米老鼠的動(dòng)作與音樂(lè)同步，使電影大受好評(píng)。無(wú)論是具象的擬人米老鼠形象，還是抽象的幾何圖形，都來(lái)自認(rèn)知研究的基礎(chǔ)，因此與視覺(jué)音樂(lè)中視聽(tīng)同步的魅力相同，米老鼠與音樂(lè)的同步也深深吸引著觀眾，而視聽(tīng)同步技術(shù)對(duì)應(yīng)的恰恰是跨模態(tài)驗(yàn)證。

心理學(xué)研究表明，當(dāng)人們以多模態(tài)感知時(shí)，會(huì)更加尋求事件在感知模態(tài)上的不變性。如果模式和節(jié)奏在模態(tài)之間得到確認(rèn)，則聲音和圖像所攜帶的信息就被視為單個(gè)事件，這是跨模態(tài)驗(yàn)證的基礎(chǔ)。事實(shí)上，電影媒介是雙模態(tài)的——我們看到和聽(tīng)到的事件是相互關(guān)聯(lián)的。電影中單獨(dú)的圖像和聲音流可以被構(gòu)造成符合感知系統(tǒng)的標(biāo)準(zhǔn)，從而引發(fā)對(duì)電影事件的統(tǒng)一性和真實(shí)性的確認(rèn)。因此，跨模態(tài)驗(yàn)證是人們?cè)谌粘Ｉ钪薪?jīng)常使用的一種感知過(guò)程，在這種過(guò)程中，我們將視覺(jué)體驗(yàn)的真實(shí)性與聲音環(huán)境進(jìn)行交叉檢查，如果聲音和視覺(jué)事件同時(shí)發(fā)生，我們通常會(huì)將這兩種體驗(yàn)作為同一事件的一部分綁定在一起。

這種認(rèn)知技能對(duì)抽象動(dòng)畫(huà)中視聽(tīng)相關(guān)內(nèi)容的發(fā)展意義重大，不僅因?yàn)樗心芰蚪幽B(tài)，同時(shí)也因?yàn)樗m用于人類(lèi)自身對(duì)感知的開(kāi)發(fā)。隨著電影技術(shù)的發(fā)展與全景聲技術(shù)的普及，在電影屏幕中，當(dāng)人們觀察距離十萬(wàn)八千里的長(zhǎng)鏡頭時(shí)，可以聽(tīng)到微觀的聲音；當(dāng)看到從屏幕正面飛來(lái)的物體時(shí)，聲音的震動(dòng)可以通過(guò)我們腳邊的低音音箱進(jìn)行傳遞；當(dāng)視覺(jué)感受到人偶娃娃的優(yōu)雅與可愛(ài)的信息時(shí)，聽(tīng)覺(jué)可以獲取與之對(duì)立的恐怖哭聲。這些與現(xiàn)實(shí)違和的視聽(tīng)關(guān)系，并沒(méi)有破壞人們經(jīng)驗(yàn)的完整性，反而帶來(lái)了更多感官體驗(yàn)方面的培養(yǎng)與開(kāi)發(fā)。制作抽象動(dòng)畫(huà)的前衛(wèi)電影人在直觀地理解后，將跨模態(tài)驗(yàn)證作為一種方法，大量用于抽象電影中，使其能更好地與廣大觀眾產(chǎn)生共鳴。

四、結(jié)語(yǔ)

計(jì)算機(jī)情感研究領(lǐng)域中識(shí)別以視覺(jué)思維為主，且對(duì)感知層面的信息收集較容易，而一旦進(jìn)入深度情感分析的領(lǐng)域就需要認(rèn)知層面的相關(guān)內(nèi)容，而認(rèn)知具有一定的主觀性、地域性、文化性，且是多感知疊加的一種思維結(jié)果，并非瞬時(shí)感知反映。因此，需要大量的素材庫(kù)進(jìn)行模型學(xué)習(xí)的累積，這些素材是藝術(shù)家人為提煉過(guò)的、具有一定共識(shí)性情感意義的作品。尤其在視聽(tīng)同步作品中通過(guò)藝術(shù)家思維過(guò)濾過(guò)的視聽(tīng)符號(hào)元素如何同步，具體在哪些特征上進(jìn)行同步，不同感官如何通過(guò)通感有效喚起情感的方式等。此時(shí)以費(fèi)欽格等藝術(shù)家為代表的視聽(tīng)同步作品的價(jià)值意義就得到了較大的提升，不僅對(duì)人，對(duì)機(jī)器學(xué)習(xí)也可以起到培養(yǎng)的作用。

跨模態(tài)驗(yàn)證說(shuō)明視聽(tīng)同步驗(yàn)證的吸引力并非先鋒派藝術(shù)作品獨(dú)有，恰恰相反，它具有一種獨(dú)特且永恒的表現(xiàn)力。從20世紀(jì)20年代末至今，那些零碎實(shí)驗(yàn)中的價(jià)值成果，在商業(yè)電影發(fā)展中持續(xù)被應(yīng)用。例如在1928年迪士尼米老鼠動(dòng)畫(huà)《威利汽船》首播后，很快成為商業(yè)動(dòng)畫(huà)片中定位票價(jià)的標(biāo)準(zhǔn)。20世紀(jì)30年代末，卡通片一直用于描述以音樂(lè)為基礎(chǔ)的派對(duì)場(chǎng)景或即興歌舞，例如迪斯尼制作的《愚蠢的交響樂(lè)》、華納兄弟制作的《快樂(lè)旋律》和《兔八哥》、米高梅制作的《歡樂(lè)和諧》等。雖然與實(shí)驗(yàn)動(dòng)畫(huà)相比，商業(yè)動(dòng)畫(huà)中的同步視聽(tīng)之間實(shí)現(xiàn)的更多是相互補(bǔ)充的翻譯功能，但畫(huà)面與音樂(lè)在主輔關(guān)系上依舊遵照以畫(huà)面為首的敘事手段，即便如此，同步技術(shù)和結(jié)果仍然是這些作品吸引觀眾與業(yè)界關(guān)注的核心來(lái)源。

因此可以得出結(jié)論：首先，跨模態(tài)學(xué)習(xí)與人的感知系統(tǒng)緊密相連，具有一定的先天審美傾向，并非文化的產(chǎn)物，但后天具有一定的培養(yǎng)空間。其次，感知不是被動(dòng)的，而是主動(dòng)的信息收集活動(dòng)。最后，在同一時(shí)間內(nèi)，多模態(tài)彼此間同步是最容易建立認(rèn)同的方式，這源于人類(lèi)同時(shí)調(diào)動(dòng)感官思維的生活習(xí)慣。例如，新生兒并不愿意沉浸在視覺(jué)和聽(tīng)覺(jué)刺激中，他們更多的是積極尋求兩種模式之間的聯(lián)系，并以此來(lái)學(xué)習(xí)，這是一種本能。在人們與物理世界的互動(dòng)中，審美體驗(yàn)的種子始終存在，任何視覺(jué)場(chǎng)景都可以檢查其抽象性。反過(guò)來(lái)，藝術(shù)家們對(duì)抽象電影中跨模態(tài)驗(yàn)證的傾向同樣來(lái)自自身與現(xiàn)實(shí)世界的互動(dòng)。早期抽象電影藝術(shù)家們創(chuàng)作的高度視聽(tīng)一體化的作品，本身也成為機(jī)器進(jìn)行跨模態(tài)學(xué)習(xí)的最好借鑒。

作者簡(jiǎn)介：

莊曉霓（1985—），女，漢族，上海人，南京藝術(shù)學(xué)院在讀博士，副教授，研究方向：動(dòng)畫(huà)藝術(shù)理論與實(shí)踐。

作者單位：南京藝術(shù)學(xué)院