淺析交互式媒體中非語(yǔ)言符號(hào)的敘事功能

郭 奇（中國(guó)美院上海設(shè)計(jì)學(xué)院200000）

淺析交互式媒體中非語(yǔ)言符號(hào)的敘事功能

郭 奇（中國(guó)美院上海設(shè)計(jì)學(xué)院200000）

交互式媒體作為下一代主流媒介形式，承載著信息傳遞的重要使命。交互式媒體在保留傳統(tǒng)媒體語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)的基礎(chǔ)上，通過(guò)高科技的交互形式，衍生出更多帶有敘事功能的非語(yǔ)言符號(hào)。這些非語(yǔ)言符號(hào)不但通過(guò)增強(qiáng)視覺(jué)產(chǎn)生，還會(huì)通過(guò)體感和手勢(shì)動(dòng)作創(chuàng)造而出。如能合理的掌握和運(yùn)用這些非語(yǔ)言符號(hào)，來(lái)增強(qiáng)媒體的敘事能力，以滿足交互媒體時(shí)代的藝術(shù)創(chuàng)作需求。

交互式媒體；電影化敘事；非語(yǔ)言符號(hào)

交互式媒體開(kāi)啟了人與機(jī)器的全方位溝通。從鍵盤、鼠標(biāo)到觸控和體感，交互隨著媒介的變化進(jìn)行概念的重新定義。智能化便攜終端、語(yǔ)音和體感捕捉、增強(qiáng)現(xiàn)實(shí)和虛擬成像技術(shù)將會(huì)是未來(lái)文化傳播與娛樂(lè)媒體的核心內(nèi)容。交互使得影視的二次或者多次傳播得以實(shí)現(xiàn)1。被稱為第三代電影的影視媒體將是圍繞交互技術(shù)創(chuàng)作的全新電影形態(tài)。非語(yǔ)言符號(hào)在影視媒體信息傳遞中大量存在，例如音樂(lè)音效、蒙太奇、燈光色彩和鏡頭運(yùn)動(dòng)等。而伴隨著科學(xué)技術(shù)和觀念革新的交互式媒體，則衍生出更多種類的非語(yǔ)言符號(hào)，影響并改變了媒體影像的敘事功能。

一、影像媒體發(fā)展各階段的非語(yǔ)言符號(hào)敘事特征

傳統(tǒng)影像媒體的本質(zhì)是運(yùn)用電影化的技巧通過(guò)視聽(tīng)媒介進(jìn)行敘事，視聽(tīng)科技的發(fā)展不斷豐富影像媒體的敘事表現(xiàn)材料，主要變革體現(xiàn)為以下方面。

1.非語(yǔ)言符號(hào)大量運(yùn)用、電影化的敘事技巧的不斷革新。電影化是電影特有的講故事方式，非語(yǔ)言符號(hào)在蒙太奇、音樂(lè)、光影和構(gòu)圖中被著重研究。隨著視聽(tīng)和科技的發(fā)展，燈光、字體和機(jī)械控制的進(jìn)步引領(lǐng)影像媒體敘事技巧的變化。

2.視聽(tīng)媒介在技術(shù)進(jìn)步的浪潮中快速發(fā)展。從無(wú)聲到有聲，從高保真環(huán)繞立體聲到數(shù)字化音響系統(tǒng)，從IMAX巨幕電影到3D立體攝像技術(shù)，從標(biāo)清到8K畫(huà)幅圖像，和今后的增強(qiáng)現(xiàn)實(shí)、全息投影等技術(shù)都在視聽(tīng)上起到舉足輕重的作用。

3.電影始于故事并終結(jié)于故事2。敘事藝術(shù)是電影的終極追求，導(dǎo)演們總是執(zhí)著于如何講好故事，故事“講”得好聽(tīng)，觀眾對(duì)該影片才會(huì)有代入感，從而引發(fā)共鳴。交互性的介入讓影像媒體的敘事方式轉(zhuǎn)向多線性、主觀能動(dòng)性，創(chuàng)作的開(kāi)放性。交互性讓觀眾參與“講故事”，在敘事上與以前的媒體形式大不一樣，其中除了傳統(tǒng)的語(yǔ)言和非語(yǔ)言符號(hào)外，延伸出更多的非語(yǔ)言敘事形式。

二、交互式媒體中非語(yǔ)言符號(hào)的敘事功能體現(xiàn)

1.主觀視覺(jué)選擇

主觀視覺(jué)選擇是交互式媒體與觀眾互動(dòng)的主要形式之一，也是影響影視作品敘事的主要因素之一。當(dāng)觀眾與虛擬現(xiàn)實(shí)媒介發(fā)生交互活動(dòng)時(shí)，觀眾可以主觀能動(dòng)的操控視線投射的圖像位置，以此來(lái)選擇所顯現(xiàn)的畫(huà)面或內(nèi)容。由谷歌公司開(kāi)發(fā)創(chuàng)作的360度全景式電影Google Spotlight Stories，現(xiàn)以APP的方式在移動(dòng)平臺(tái)投放，用戶可以觀看1部真人短片和3部動(dòng)畫(huà)短片。用戶觀看影片時(shí)，可以通過(guò)移動(dòng)和旋轉(zhuǎn)屏幕，來(lái)環(huán)顧電影場(chǎng)景中的其它角度，而不是導(dǎo)演安排的固定視角。這時(shí)的觀眾被賦予了更多參與影片敘事的權(quán)利，用于敘事的鏡頭語(yǔ)言的控制權(quán)到了觀眾手里，觀眾通過(guò)自主的視覺(jué)選擇來(lái)完成故事講述。非語(yǔ)言符號(hào)的創(chuàng)作不只是來(lái)源于導(dǎo)演，觀眾參與了攝像和剪輯的部分工作，也就是自發(fā)創(chuàng)造了用于敘事的非語(yǔ)言符號(hào)。

2.觀眾的肢體動(dòng)作交互

我們的行為動(dòng)作讓我們和周圍的空間發(fā)生聯(lián)系，從與環(huán)境互動(dòng)中感受空間。影視作品通過(guò)虛構(gòu)具有真實(shí)感的空間來(lái)獲得觀眾的認(rèn)同，新媒體則更注重對(duì)空間的塑造，與觀眾產(chǎn)生互動(dòng)。從以電腦為基礎(chǔ)的媒體產(chǎn)品出現(xiàn)的一刻起，空間就一直是新媒體作品的中心觀念。3觀眾通過(guò)體感攝像頭或紅外設(shè)備輸入動(dòng)作，便可以實(shí)現(xiàn)與虛擬景象的互動(dòng)。這時(shí)觀眾的行為將轉(zhuǎn)化為一種非語(yǔ)言符號(hào)參與敘事之中，影響敘事中每一件物體或者是事件，成為故事的一個(gè)組成部分。揮手，射擊，站立或蹲下等觀眾行為轉(zhuǎn)化為符號(hào)輸入進(jìn)程序，使電影場(chǎng)景中的虛擬物體產(chǎn)生相應(yīng)的反饋：例比如環(huán)境中的落葉、雪花或是放棄主角轉(zhuǎn)而向“你”跑來(lái)的恐龍等。這種交互除了適合大型博物館或主題展覽以外，也同樣適合電影院，5D動(dòng)感電影就需要觀眾做出射擊、蹲下等動(dòng)作進(jìn)行指令輸入，同時(shí)運(yùn)用動(dòng)感座椅設(shè)備和聲光效果增加娛樂(lè)交互性。

7D電影的優(yōu)勢(shì)在于操作性和游戲性，但同時(shí)面臨3D特效電影曾遭遇的困境：敘事的無(wú)力。3D技術(shù)的風(fēng)險(xiǎn)在于，有可能分散觀眾對(duì)故事、情感以及富有藝術(shù)創(chuàng)意的細(xì)節(jié)的關(guān)注。4如何在增加交互性的同時(shí)表現(xiàn)精彩的故事，是7D電影和其它交互式媒體共同面對(duì)的問(wèn)題。

3.網(wǎng)絡(luò)交互界面的手勢(shì)符號(hào)

互聯(lián)網(wǎng)影片作為交互媒體重要的組成部分，有龐大的用戶基礎(chǔ)。它基于網(wǎng)絡(luò)技術(shù)，傳播快而有效、影響力大。隨著HTML5技術(shù)的成熟，互聯(lián)網(wǎng)影片的交互性變得更加容易實(shí)現(xiàn)。在美國(guó)互動(dòng)式電影短片網(wǎng)站The wilderness downtown上，觀眾只需在網(wǎng)站上輸入自己的家庭地址，就會(huì)自動(dòng)生成微電影短片。短片采用多畫(huà)面形式并全部由瀏覽器視窗展現(xiàn)，影片內(nèi)容則由實(shí)拍片段和谷歌街景地圖組成。基于H5技術(shù)支持，在影片播放中觀眾可以與視窗中的電腦動(dòng)畫(huà)互動(dòng)，影片結(jié)束后還可以進(jìn)行社交互動(dòng)。隨著觸摸顯示器的普及化以及各種操作系統(tǒng)對(duì)手勢(shì)控制的識(shí)別支持，手勢(shì)控制最終會(huì)取代局限性較大的鼠標(biāo)鍵盤控制，演變成更為人性化的操作體驗(yàn)。不同的手勢(shì)對(duì)應(yīng)不同的輸入符號(hào)，例如兩指分開(kāi)即為放大、單指滑動(dòng)是翻頁(yè)等等。手勢(shì)符號(hào)衍生為一種用于人機(jī)交互的公認(rèn)代碼，類似傳統(tǒng)的字母縮寫(xiě)和標(biāo)識(shí)圖形，成為交互媒體中無(wú)可替代的非語(yǔ)言符號(hào)。

法國(guó)Quantic Dream公司于2010年開(kāi)發(fā)的PS3平臺(tái)游戲《暴雨》，是一款運(yùn)用電影化語(yǔ)言設(shè)計(jì)，并當(dāng)作電影來(lái)開(kāi)發(fā)的交互式媒體游戲。游戲運(yùn)用經(jīng)典的QTE操作體現(xiàn)出游戲與玩家的交互。即在劇情發(fā)展時(shí)會(huì)有許多時(shí)間點(diǎn)需要用戶進(jìn)行互動(dòng)操作，用戶通過(guò)用方向搖桿來(lái)輸入簡(jiǎn)單的指令以完成動(dòng)作，指令的操作方式模擬我們?nèi)粘Ｐ袆?dòng)的姿態(tài)，生成的行為會(huì)決定事件是否被觸發(fā)。這款游戲雖沒(méi)有針對(duì)觸摸屏幕開(kāi)發(fā)，但其將手勢(shì)操作作為一種非語(yǔ)言符號(hào)，貫穿于整部作品之中，讓觀眾在操作中和故事的主角一起體驗(yàn)跌宕起伏的劇情。

4. 虛擬空間距離

在非語(yǔ)言符號(hào)的研究中，美國(guó)學(xué)者E?霍爾提出人際關(guān)系和人彼此間的空間距離有直接聯(lián)系的觀點(diǎn)。他認(rèn)為不同的人際距離對(duì)信息和情感的傳遞產(chǎn)生不同的作用，人與人距離接近則親密，反之則疏遠(yuǎn)。同時(shí)，人所處空間大小的差異也會(huì)帶來(lái)情感的變化，狹窄的空間會(huì)產(chǎn)生壓抑的情感，寬廣的空間則感覺(jué)舒暢。這些因空間而產(chǎn)生的情緒變化在交互性媒體中更為突顯，是過(guò)去傳統(tǒng)媒體所無(wú)法顯現(xiàn)的。

在美國(guó)環(huán)球影城變形金剛和哈里波特等主題展館中，運(yùn)用了最高科技的全息影像和球幕電影設(shè)備，讓觀眾獲得以假亂真空間感受。場(chǎng)景的轉(zhuǎn)換，鏡頭的推拉和觀眾的位置改變相呼應(yīng)，虛擬空間營(yíng)造出的極具氣勢(shì)的氣氛，觀眾和影片建立起了無(wú)法割舍的情感線。

三、 交互式媒體非語(yǔ)言符號(hào)的敘事特點(diǎn)

1. 沉浸式體驗(yàn)中的交互性敘事

電影和游戲的訴求是讓觀眾置身于影像營(yíng)造的故事之中。虛擬現(xiàn)實(shí)設(shè)備可以將用戶的視覺(jué)聽(tīng)覺(jué)封閉，用數(shù)字化的影像來(lái)替代實(shí)景，加上環(huán)繞立體聲、動(dòng)作跟蹤、觸覺(jué)反饋等技術(shù)來(lái)全方位傳遞真實(shí)的感受，以讓觀眾獲得沉浸式體驗(yàn)。電影化的非語(yǔ)言符號(hào)通過(guò)攝像機(jī)位置和角度、符號(hào)化的輸入界面、虛擬的空間距離和觀眾的肢體動(dòng)作反饋產(chǎn)生，影響著敘事的進(jìn)程，讓講述與被講述的關(guān)系變得更加接近。

2. 交互媒體敘事中非語(yǔ)言符號(hào)認(rèn)知的統(tǒng)一性

美國(guó)學(xué)者提出“觀眾對(duì)統(tǒng)一性的追求成就了電影敘事的動(dòng)機(jī)”的觀點(diǎn)。傳統(tǒng)電影敘事中，觀眾對(duì)于電影主題的理解來(lái)源于對(duì)于電影化語(yǔ)言的認(rèn)知能力，例如蝎子代表惡毒陰險(xiǎn)這個(gè)概念的認(rèn)同是達(dá)成共識(shí)的，它來(lái)源于文化學(xué)習(xí)的經(jīng)驗(yàn)和生活的經(jīng)歷。交互媒體產(chǎn)生的全新非語(yǔ)言符號(hào)要產(chǎn)生認(rèn)知的統(tǒng)一，一部分繼承了現(xiàn)有的電影化語(yǔ)言，另一部分將由行業(yè)標(biāo)準(zhǔn)來(lái)進(jìn)行統(tǒng)一，例如手勢(shì)和肢體運(yùn)動(dòng)的規(guī)范。一旦形成了新的規(guī)范，這些人機(jī)交互所運(yùn)用的行為和動(dòng)作將成為非語(yǔ)言符號(hào)中即定的概念，最終將形成一套適用于交互環(huán)境的識(shí)別系統(tǒng)。

統(tǒng)一的非語(yǔ)言符號(hào)對(duì)于敘事的流暢性和可行性有著重要的指導(dǎo)作用。在單人交互時(shí)，交互操作的統(tǒng)一化方式有助于為交互媒體的普及樹(shù)立規(guī)范標(biāo)準(zhǔn)，幫助相關(guān)行業(yè)的生產(chǎn)和開(kāi)發(fā)。而在以公共影院為環(huán)境的場(chǎng)所中，多人交互需要能夠調(diào)動(dòng)觀眾的統(tǒng)一性，因?yàn)檫x擇的分歧會(huì)阻礙劇情的進(jìn)展?；?dòng)的設(shè)計(jì)最好能是帶有統(tǒng)一性的操作，例如運(yùn)用按鍵的頻率、或是擊中的次數(shù)來(lái)決定劇情發(fā)展的分支。而多人交互時(shí)影院的座位排列可能會(huì)甚現(xiàn)環(huán)形或是可變換的，這在現(xiàn)代的球幕電影院中可以看到雛形，目的是使得每個(gè)觀眾與播放媒介的視角和距離統(tǒng)一，便于獲得更為統(tǒng)一的敘事體驗(yàn)。

3. 交互媒體非語(yǔ)言符號(hào)引導(dǎo)的多線敘事

由于交互式媒體中非語(yǔ)言符號(hào)的空間性和主觀選擇性功能，敘事所要求的空間也具有更多不確定性，由此帶來(lái)的觀眾對(duì)敘事效果的反饋也將會(huì)是多樣化的，觀眾不同的選擇會(huì)導(dǎo)致敘事不同的內(nèi)容和形式，得到不同的結(jié)局和情感。多線敘事將會(huì)對(duì)未來(lái)交互式媒體的情節(jié)設(shè)計(jì)和表現(xiàn)手法有更高要求，但這并不等于內(nèi)容的堆積和線索的混亂，敘事還必須保持形式和內(nèi)容統(tǒng)一的基本原則，以足以讓觀眾能體驗(yàn)到影像媒體敘事的藝術(shù)感染力。

在國(guó)產(chǎn)原創(chuàng)動(dòng)畫(huà)《亡命雞禮花》的公眾放映活動(dòng)中，觀眾需要通過(guò)快速按鍵來(lái)讓主人公逃離敵方的魔爪，這種在故事進(jìn)程中需要觀眾輸入指令的方式類似前文提及的QTE操作。根據(jù)操作的成功與否會(huì)引發(fā)兩種故事走向。而早在2003年用DVD光盤發(fā)行的美國(guó)3D動(dòng)畫(huà)《龍與地下城》，運(yùn)用了DVD的可控制界面來(lái)進(jìn)行劇情分支的選擇，并獲得不同的結(jié)局。這類似日本非常流行的AVG式游戲類型，通過(guò)玩家的對(duì)事件判斷和角色對(duì)話de選擇來(lái)引發(fā)多線故事進(jìn)程，玩家通過(guò)抉擇改變主人公的命運(yùn)，與劇中角色的情感產(chǎn)生共鳴。

四、交互媒體非語(yǔ)言符號(hào)敘事的跨界學(xué)習(xí)

交互媒體是媒體影像進(jìn)入數(shù)字時(shí)代以來(lái)的劃時(shí)代變革。隨著視聽(tīng)技術(shù)的快速進(jìn)步，多媒體敘事對(duì)語(yǔ)言和文字的依賴越來(lái)越少。交互媒體融合了游戲化的非語(yǔ)言符號(hào)，引導(dǎo)觀眾自發(fā)能動(dòng)的進(jìn)行敘事。7D動(dòng)感交互電影就是通過(guò)新穎生動(dòng)的游戲化敘事形式，讓觀眾從視覺(jué)和體感上全方位體驗(yàn)故事內(nèi)容帶來(lái)的震撼感受。

除了游戲化的非語(yǔ)言符號(hào)，向繪畫(huà)和動(dòng)漫中跨界學(xué)習(xí)的非語(yǔ)言符號(hào)也有很多。電影《急速賽車手》《罪惡都市》等分別是向日本和美國(guó)漫畫(huà)的致敬的典范之作。美國(guó)電影和敘事漫畫(huà)的結(jié)合，不僅甚現(xiàn)體制化趨勢(shì)，這反映在華納公司重組DC漫畫(huà)、迪斯尼公司收購(gòu)神奇漫畫(huà)等舉措上，而且也表現(xiàn)出日益與黑色電影融合的新趨勢(shì)。5而游戲、動(dòng)漫和電影三者結(jié)合的經(jīng)典案例則是前不久獲得很高評(píng)價(jià)的美國(guó)影片《明日邊緣》，其中運(yùn)用了游戲讀檔和生命循環(huán)的概念講述了一個(gè)科學(xué)幻想故事，獲得多數(shù)游戲玩家和動(dòng)漫愛(ài)好者的認(rèn)同。當(dāng)今電影改編動(dòng)漫游戲作品的案例舉不勝舉，這也成為商業(yè)電影能夠繼續(xù)保持消費(fèi)力的關(guān)鍵因素。以經(jīng)濟(jì)為尺度，將那些已經(jīng)征服了第一批公眾的主題改編，為電影工業(yè)提供食糧。6

隨著新媒體技術(shù)和智能化硬件的不斷革新，交互式媒體的跨界融合使得其敘事功能得到拓展。交互式媒體一方面延續(xù)電影化敘事優(yōu)勢(shì)、繼承視聽(tīng)媒體的藝術(shù)特征，另一方面將其特有的非語(yǔ)言符號(hào)提煉而出，為未來(lái)的數(shù)字藝術(shù)作品增添了更多表現(xiàn)手段。同時(shí)，交互媒體的對(duì)于硬件的需求和依賴，也會(huì)吸引更多的游戲廠商和數(shù)碼設(shè)備制造商加入，形成百花齊放的態(tài)勢(shì)。未來(lái)可以預(yù)見(jiàn)的是，交互媒體的創(chuàng)作將以豐富的手段、先進(jìn)的藝術(shù)創(chuàng)作理念和不斷發(fā)展的科學(xué)技術(shù)，書(shū)寫(xiě)未來(lái)數(shù)字媒體行業(yè)的新篇章。

注釋：

1.包鵬程汪伶俐.媒介融合對(duì)影視生產(chǎn)和傳播的影響[A].見(jiàn):張阿利.新世紀(jì)新十年中國(guó)影視文化的形勢(shì)、格局與趨勢(shì)[C].北京：中國(guó)電影出版社，2010:48.

2.詹妮弗?范茜秋（美）.電影化敘事[M].廣西:廣西師范大學(xué)出版社，2009:15.

3.孫紹誼.電影經(jīng)緯——影像空間與文化全球主義[M].上海:復(fù)旦大學(xué)出版社，2010:188.

4.李亦中趙菲.辯證看待3D電影熱[A].見(jiàn):張阿利.新世紀(jì)新十年中國(guó)影視文化的形勢(shì)、格局與趨勢(shì)[C].北京：中國(guó)電影出版社，2010:25.

5.孫紹誼.電影經(jīng)緯——影像空間與文化全球主義[M].上海:復(fù)旦大學(xué)出版社，2010:99.

6.雅克琳娜?納卡奇[法]/著巫明明/譯.好萊塢電影[M].北京:中國(guó)電影出版社，2008:94.

郭奇，中國(guó)美院上海設(shè)計(jì)學(xué)院，講師。