徐迎慶,圖拉
(1.清華大學 a 美術學院 b 未來實驗室,北京 100084,2.中國傳媒大學 戲劇影視學院,北京 100024)
在中國式現代化語境下,文化傳承是中華文化的大設計,同時也是數字技術創造性轉化的根本依托;文化傳播是中華文化的大敘事,同時也是數字技術創新性發展的自然延伸。通過以虛擬現實、增強現實、混合現實、擴展現實為代表的一系列沉浸式技術手段,中華文化的沉浸式敘事既已實現由數字化傳承至數字化傳播的完整產業鏈條貫通。其不僅囊括了數字化采集、數字化記錄、數字化展示、數字化衍生等文化遺產數字化的全流程覆蓋,更進一步為新時代語境下的設計方法與設計范式帶來了卓有成效的啟迪與創新。因此,沉浸式敘事不僅是當今文、工、藝多學科交叉融合下的新理念,更是人民群眾具身浸染中華文化的新途徑。
在中國共產黨第二十次全國代表大會報告中,習近平總書記提出了“增強中華文明傳播力影響力。堅守中華文化立場,提煉展示中華文明的精神標識和文化精髓,加快構建中國話語和中國敘事體系,講好中國故事、傳播好中國聲音,展現可信、可愛、可敬的中國形象”的歷史使命與時代要求[1]。總書記同時指出:“必須堅持科技是第一生產力、人才是第一資源、創新是第一動力,深入實施科教興國戰略、人才強國戰略、創新驅動發展戰略,開辟發展新領域新賽道,不斷塑造發展新動能新優勢?!盵1]
中國式現代化是“物質文明和精神文明相協調的現代化,是人與自然和諧共生的現代化[1]”。而在以科技為第一生產力、守正創新的新時代語境下,天然托生于祖國青山綠水、凝結中華文化、銘刻中國故事的自然遺產與文化遺產,正是中華文化傳承與傳播的有力抓手。
因此,如何借助諸般沉浸式媒介技術手段,以該領域科學技術為先導,凝聚人才資源,增強創新驅動力,便成了當今時代實現中華優秀傳統文化創造性轉化、創新性發展的核心論題。其不僅是“意識形態領域形勢發生全局性、根本性轉變”[1]的關鍵要素,同時也是“豐富人民精神世界,實現全體人民共同富裕,促進人與自然和諧共生,推動構建人類命運共同體,創造人類文明新形態”[1]等中國式現代化的本質要求和有力保障。
所謂沉浸,實質上是指在主體對視域中符號進行認知并轉化為自身觀念的過程中,所達成的內外部世界統一。其可進一步細分為感覺沉浸、知覺沉浸以及意識沉浸三個逐層遞進的沉浸階段。過程中的每一次交互都會使主體逐步到達更深層次的沉浸階段,直至最終無從分辨內外部世界的界限所在,產生內外部世界完全統一的臨界體驗。因此,所謂“沉浸式”首先應視為一種程度或階段的形容,其并非是對事物本質的界定,而僅僅是事物在特定條件下的存在形式。
在這一視角下,狹義層面的沉浸式媒介可特指通過計算機模擬仿真所實現的人工媒介,依托虛擬現實、增強現實以及混合現實等技術所營造的具有沉浸性語境特征的人工環境皆在此列。而從廣義層面來看,沉浸式媒介可以泛指整個世界的所有媒介集合,即我們所處的現實世界自身,其概念囊括了整個人類已知的認識論范疇。
因此,沉浸式媒介與其說是一種與文學、電影、游戲等既存媒介并列的媒介類型,不如說是某類媒介或所有媒介均有可能達到的一種媒介狀態[2]。換言之,一切既已存在的媒介皆可達到沉浸的可能性。亦如學者所言“關于沉浸的研究,其實隨著敘事文化的出現便一直存在著”[3]?!皵⑹虏⒎侵皇且怨适滦螒B進行呈現,它更是一個關于人類溝通、行為完整的理論和典范。而媒介技術恰恰就是用于探索敘事形式的基礎和支柱”[4]。“當我們把媒介視為實踐時,它往往和交往主體的創作與傳播的敘述行為的規律性相關”[5]。
由此可見,敘事本身是主體的一種帶有意圖的拋出[6],而媒介則不僅是拋出后的形態,同時也是這個拋出賴以存在的載體與環境。媒介與敘事本就是結果與過程或本質與表象的關系,媒介為體敘事為用,對媒介的研究即是對敘事的研究。而詮釋這對體用關系的切入點恰恰在于由觀念、符號、語境交織而成的故事本身,故事中的觀念、符號、語境,媒介與敘事的各自特征和彼此關系亦會隨之自然顯現出來。簡而言之,賦予符號以結構的行為即敘事,而這個結構化的符號系統則是故事。
研究伊始,通過對“中國知網”近30 年17 830篇文獻與近5 年5 867 篇相關研究的綜合趨勢分析、“中國知網”核心期刊庫與“Web of Science”核心合集中的180 篇國內外高引文獻(被引數≥10,其中國內84 篇,國外96 篇)的文本研究、以180 篇高引文獻為樣本所獲的210 篇核心共引文獻(共引數≥2)的網絡分析,發現本領域研究現狀主要可從成果分布趨勢、文本研究內容、共引文獻分布三個角度,對應學科、學者、學術三個層面進行歸納,其顯著特點及關鍵問題概括如下:
1)從成果分布趨勢來看,沉浸式媒介敘事研究既已橫跨文、工、藝三大學科門類。其中,自然科學領域成果始終居于領先地位,人文藝術領域自2016年猛然躍升至諸學科總體發文量前列,然而就成果總量、年均發文量而言,自然科學領域先發優勢依舊顯著。這一現象的根源,可歸因于本領域人文藝術相關基礎研究尚在起步階段,其后發勢頭雖然迅猛,但根基尚未穩固。因此,其近五年的成果井噴,依然可被視為自2016 伊始,在一系列以虛擬現實、區塊鏈、元宇宙為代表的“元年”序列中,借助沉浸式技術的商業復興與政策紅利所帶來的長尾效應。其當前的創新動力主要源于科學層面的技術迭代,而非藝術層面的觀念突破。繼而使本領域話語權多掌控于以計算機為代表的自然科學領域,人文藝術領域被動居于從屬地位。由此可見,創新動力失衡,既已逐漸成為本領域健康發展的掣肘所在。因此,應進一步立足人文藝術學科特色與發展規律,以基礎理論建構為核心,提升人文藝術創新動能,以期在科技持續攀升的新時代語境下,真正實現本領域藝術與科學的交叉融合,以及人文與技術均衡發展的遠景目標。
2)從文本研究內容來看,沉浸式媒介相關研究自誕生伊始便處于多學科交叉背景之下,雖可集百家之長活躍于學術前沿;但其至今尚未形成具有廣泛學術共識的獨立學術體系。同一主題在眾多學者眼中的研究范疇、研究方法、研究對象等基本問題的歸屬與定義尚且各異,更難以結成一定規模的學術群體共同應對時代挑戰。這一百家爭鳴卻又各自為政的現狀,使本領域眾多理論成果依舊如星星之火,零散分布于經典的媒介研究領域,難能形成合力。特別在本研究緊密相關的設計學及戲劇與影視學領域,當下沉浸式敘事的主流研究方法依然根植于以電影、戲劇、文學為代表的經典理論體系之下,且更加偏重于應用研究與創作實踐,基礎研究進展艱難。然而,越是缺乏統一的理論,諸學者便愈加難以在共同語境下就同一論題展開延續性論證,繼而亦難以聚沙成塔將學術見解匯聚為學術共識。因此,為了進一步促成本領域由學者個體至學術共同體的躍升,沉浸式媒介敘事研究首先應正視其有別以往的媒介特征,將之視為獨立的研究對象,針對性地開展成體系、成規模的基礎研究。
3)從共引文獻分布來看,不少學者雖已逐漸意識到經典理論體系難以有效應對新媒介所帶來的新形勢、新問題,但是目前能夠與經典理論體系并駕齊驅的自有理論不僅遠未成型,涉獵者亦屬罕見。加之本領域學者對于電影符號學、經典敘事學、媒介環境學等理論方法較為熟悉,且學術背景主要源于電影、戲劇、文學等傳統藝術門類。因此,其研究動機往往更加偏向于將VR/AR/MR 視為一種純粹的技術革新,并致力于探索此種技術對經典敘事媒介的潛在影響。這一研究視角確有其合理性,但其弊端亦十分顯著,此種觀點不僅枉顧了將沉浸式媒介視為獨立體系與電影、戲劇、文學等經典媒介等價評判的可能性,更從根本上否認了獨立展開其自有敘事體系建構的必要性。
綜上所述,當下沉浸式媒介研究在人文藝術領域學科、學術、學者三個層面的關鍵問題均指向同一方向,即聚焦于本體論、認識論以及方法論的基礎理論研究薄弱。亟需一套具有普適性與針對性的沉浸式媒介配套理論。唯有突破理論瓶頸,積極發揮人文藝術特色的創新能動性,才有望在自然科學所帶來的技術革新中,把握沉浸式媒介的時代機遇。本文所采用的統一媒介論,正是在此情形之下為沉浸式媒介敘事研究量身定制體系方法論的初步探索。該方法涵蓋狹義與廣義兩大范疇:狹義媒介論側重于剖析媒介內部觀念、符號、語境等微觀要素之關聯;廣義媒介論用以詮釋媒介外部媒介個體和媒介集合的交互關系[2]。
統一媒介論的創立初衷是為建構認識論而服務的,其目的并不在于對問題表象進行描述,而是將諸般問題的產生皆視為由媒介狀態變化而引發的矛盾。同時,媒介之所以發生狀態變化,其內在緣由亦是媒介特性使然。因此,我們的關注點首先在于闡釋研究對象自身所隱含的內外部特性。在這一方法論視角下,諸般研究對象皆可被視為媒介并采用狹義媒介論進行解構,以期明確其在微觀層面所特有的觀念、符號及語境特征。而該媒介與周遭媒介之關聯,則可采用廣義媒介論進行解構,以期展現其在宏觀層面所特有的演化趨勢、建構邏輯與敘事范式。憑借該方法,將不必再拘泥于學科、學術、學者等各個層面因專業分化所引發的認知差異,從而得以進一步跳脫既有方法論的窠臼,重新回歸于研究對象自身,追溯其問題及現象背后的底層邏輯。如在狹義媒介論中,由一而三的概念解構所產生的觀念、符號、語境不僅可以分別指向不同的概念范疇進行獨立分析,同時三者相交亦可以完整還原包括故事與話語在內的全部敘事二分法要素。而當三者合而為一時又將能夠直接作為敘事行為的結果,以媒介的形態進行呈現。因此,不論狹義媒介論的解構與結構,其所指向的概念都可囊括敘事二分法的作用范疇,這也正是為何我們主張采用統一媒介論作為本研究基本方法論的緣由所在[2]。
在本研究所依托的統一媒介論視角下,“文化遺產數字化”首先可以運用狹義媒介論,將之視為一個統一的媒介范疇,并進一步解構為觀念、符號與語境三個要素進行分析。其中,作為文化載體的“文化遺產”便是該媒介的“符號”所指;“數字化”作為一種技術手段,亦同時聲明了“文化遺產”面向數字化未來的時代環境與發展方向,因此,亦可視為規約“文化遺產”這一符號的“語境”所在;而其作為媒介的最終目的亦始終是對“文化”這一“觀念”在諸媒介間的傳承與傳播。在此過程中,不論在何種“語境”之下,作為意識形態的“觀念”始終需要依托于某一“符號”載體,才有望被他者所覺知。
如自然遺產中某一名山勝川的本質為“山”“川”,但其之所以稱為“名”“勝”,是由人所賦予的觀念而決定的。因此“名”“勝”所指并非山川之于自然的本來面目,而是人類語境下山川作為符號所承載的文化觀念。而與“自然遺產”相對應的“文化遺產”通常又按是否有形劃分為“物質”與“非物質”兩個部分,前者的文化載體更傾向于“物”,而后者則更傾向于“人”,但不論何者,其文化(觀念)皆需依托載體(符號)而存在。其與自然遺產之差異主要在于其載體之“形”的來由,自然造化者視為“自然遺產”、人工造物則視為“文化遺產”。因此,其界定與自然遺產并無本質差異,其“形”不論人造與否,皆始于實在,歸于符號,而其“形而上”的文化即為觀念。
因此,通常意義下的自然遺產、文化遺產要么本身即是有形之物,要么則需以有形之物為依托,縱然如非物質文化這般看似不以物化載體進行傳承的文化形態,實際亦需以傳承人為載體,通過其行為間接顯現。因此,諸般“遺產”在外部世界中的呈現形態往往首先是具有顯著符號特征的物質實存,而若兼顧其文化內涵進行考察,情況則要復雜許多。如前所述,文化作為無形觀念,勢必需要依托某一載體間接顯現于現實之中。此時,其雖可借諸般“遺產”自身之“形”進行彰顯,但其來由不僅是人所賦予的,更是率先萌發于人類內部世界之中的,因此,文化遺產在此時又難免成為形而上的存在,似乎與前文論述相悖。之所以造成如此大相徑庭的結果,實際是由于對文化遺產作為“符號”這一概念辨別不清所致。如“名山”作為文化符號,其概念所指可以包含“土石之丘”與“中華文化”雙重意涵,其同時指向實存與觀念兩個范疇,而其何時何地作何解釋或偏重于何種意涵則需結合具體語境進行判斷。正因如此,文化遺產作為符號才有望作為內外部世界銜接的橋梁,其承載中華文化觀念,亦受數字化語境所約束,三者合而為一即為中華文化(觀念)遺產(符號)數字化(語境)作為獨立媒介所包含的應有之義。
因此,在狹義媒介論的微觀層面論及文化遺產的傳承與傳播,其實際指代的是文化自身在觀念層面的傳承,以及文化遺產在符號層面的傳播兩個部分。然而,不論作為符號的遺產是否有形,皆可作為文化之載體,在符合時代語境的前提下,作為一個統一的媒介范疇,進行時間與空間兩個維度的延承。因而從廣義媒介論宏觀層面來看,文化的觀念傳承與符號傳播從本質上來講,實際正是媒介自身在特定歷史時空中縱橫交織的演化路徑。在此,可以將文化在時間中的縱向傳承對應媒介遷徙律;而其在空間中的橫向傳播則對應媒介集合律。前者體現為文化在縱向時間維度所進行的自我演化,其目的在于尋求資源,維系自身存在;而后者則體現為文化在橫向空間維度所展現的組織演化,其目的在于通過涌現與解構持續迭代。當其遵循縱橫兩個基本規律在時空中展現出完整的演化軌跡之時,原本離散于時空之中的諸媒介才可能在統一文化觀念的驅使下形成完整敘事,從而進一步實現以文化為核心的敘事體系與話語體系建構。
中華優秀傳統文化作為意識形態傳承至今,歷經五千年的歷史沉淀,是中華民族乃至全人類的文明瑰寶。因此,針對其觀念層面的意涵,設計的責任首先在于盡可能忠實地還原其本來面目,將之妥善傳承于后人。這也意味著,對文化觀念而言,創造與創新并非是首要的設計訴求。那么既然如此,何談所謂創造性發展與創新性轉化呢?從文化遺產保護的慣常視角來看,文化遺產數字化在整個數字技術環境中包含一系列活動,涉及采集、整理、記錄、保存、保護、展示、傳播等數字化實踐工作以及相關學術研究和政策制定[7]。這些活動雖在微觀實踐層面多有并行,但就整個工作流程而言,其在宏觀尺度下依然是遵循因果邏輯線性展開的,這也是文保工作自身特點所決定的。
此時,設計師自采集至保護的工作環節中,多是以服務于文保部門的從屬身份存在的,該部分工作的主要目的在于文物保護基礎上的文化傳承;其重點在于“守正”,即最大限度地重現文物的物質特征。而在后續的展示與傳播工作環節中,保護工作大多轉為設計師主導,其主要目的在于文物活化基礎上的文化傳播;該部分重點在于“創新”,即最大限度地展現文物的精神風貌。因此,可以從設計視角將整個設計流程劃分為傳承與傳播兩個部分,其各自的工作重點及其評判標準合稱為“守正創新”。
進一步結合統一媒介論來看,由其“形”(符號)推斷其“神”(觀念)是為文化傳承,其目的在于對文化進行時間延續,因而要點在于“守正”。而由其“神”凝聚其“形”是為文化傳播,其目的在于對文化進行空間拓展,因而要點在于“創新”。所謂種種“遺產”實際亦可視為觀念“造物”而非自然造物,這個“造物”的本質是依托觀念所聚合而成的符號系統,其僅在人類語境之下得以成立,跳脫人類語境便無“遺產”之別。因此,應率先澄清的是,當某物或某人作為文化載體之時,不論其是否有形,亦不論其形是何來由,皆可視為文化符號。所謂“守正”并非指對其“形”即符號的描摹,而是對其“神”即觀念的重現。如“土石之丘”之所以譽為“名山”,往往并非有賴于其土石之集合的自然屬性,而是由其背后所承載的一系列關乎“中華文化”的事件、情節、故事交織而成的敘事所決定的。
換言之,所謂“文化遺產”,是要在以人類觀念介入為先決條件的敘事中才能夠得以成立的。為了確認何種符號更有利于文化的傳承與傳播,設計師不必往復拘泥于形似層面。一切能夠在給定語境下,利于該觀念傳承與傳播的符號皆可為我所用。反之,那些由“土石之丘”所復刻的“數字之丘”,不論如何逼真,亦不過是有形無神、尚待加工的敘事素材而已。若“土石”無以承載“中華”,則可取而代之。而此時的研究重點亦應隨之傾斜于其形式背后的文化觀念究竟為何,其最終落腳點還應回歸于“人”這一觀念的拋出者與傳播者。正因立足于人,才有望跳脫符號形式的差異,將與該觀念所關聯的一眾符號皆視為其賴以存在的資源來看待,從而進一步對諸符號進行資源整合,凝練其共同指向的文化觀念并進行傳承與傳播。因此,設計層面的文化遺產數字化,核心在于如何在“數字化”語境之下,實現“文化遺產”這一符號的創造性發展與創新性轉化。其最終目的在于改造或創造出更加適配時代語境的文化符號,并將其作為“中華文化”在新時代語境下傳承與傳播的載體而存在。
近年來,基于區塊鏈技術的“元宇宙”熱潮席卷全球,似乎所有既存媒介都在試圖與“元宇宙”建立聯結。有學者稱:“它(元宇宙)之所以如此激動人心,是因為它被認為是互聯網進化的未來?!盵8]這一現象實際已在我國文旅產業相關的政策、經濟、文化、科技等多方面得以體現。文化遺產數字化亦概莫能外,其在這場“元宇宙”風潮之中主要以文化符號由現實時空向賽博時空的顯著遷徙為特征,并以文化遺產向數字資產的轉化與流通為結果。以區塊鏈技術為核心的數字資產,以及隨之而來的數字孿生、虛擬化身、加密藝術等一系列尚待探索的新時代設計論題,已對學術共同體提出全面挑戰。
為了闡明數字資產作為元宇宙經濟基礎的核心地位,有學者指出“NFT 是基于區塊鏈的傳統藝術的出口,而對元宇宙來說,NFT 則是入口,進而成為連接現實世界和元宇宙的橋梁”[9]?!霸钪娴慕碡S富的數字場景與數字資產,將為數字資產的產生、確權、定價、流轉、溯源等環節提供底層支持,加密藝術的資產屬性將會得到進一步強化”[10]。“數字身份為數字資產的創造和消費提供了新經濟模式,數字資產與現實資產的雙向流通創造了新經濟體系”[11]。
在此基礎上,有學者進一步就數字資產技術規范提出:“資產數字化的本質是標準化、可交互、可編程,資產經數字化后可以低成本、高效率、高流動性、智能化地交易和流轉?!盵12]同時,亦有學者指出:風險的產生并不在于技術本身,而是由于數字資產的高速流轉導致已有的相對穩定的經濟秩序和由此產生的社會關系受到沖擊,讓既有的社會制度出現治理上的缺失,無法及時、有效調節以降低風險的發生[13],從而應當從法律層面輔以規制。
與此同時,雖然一眾學者對元宇宙熱潮反響積極,但中華文化元宇宙的建構并非朝夕即至的。當媒體再度裹挾著整個社會語境,翻出所謂“元年”的概念,竭力搶奪著“元宇宙”的解釋權與話語權之時,我們距離上一個“虛擬現實元年”實際不過數年之隔。而諸般“元年”背后共同指向的對象,實際皆可歸結為尚未明朗的沉浸式媒介。
因此,可以說沉浸式媒介的建構邏輯,即是元宇宙的建構邏輯。在沉浸式敘事視角下,媒介內部故事世界的產生、發展乃至消亡的整個過程,實際皆可抽象為符號在媒介之中隨沉浸者[14]體驗而逐步交織的敘事網絡。其從無到有的原點,在于符號是否能夠借助沉浸主體,實現由媒介外部至內部的轉化。唯有在此基礎上,有關沉浸式媒介的創立機制、運行機制以及退出機制才具有進一步澄清的可能性。遵循這一邏輯,自然與文化遺產在賽博時空中以數字資產形態而存在的“數字孿生”,不僅是中華文化元宇宙建構的基本前提,抑或將成為文化遺產數字化的最終歸宿。
在文化遺產數字化相關的設計研究中,人文藝術領域學者對沉浸式體驗的理解常以“心流理論”為依托。其源流早在20 世紀70 年代既已萌發于心理學領域,心理學家米哈里·契克森米哈賴(Mihaly Csikszentmihalyi)將人們全情投入參與某種活動時所產生的高度愉悅和忘我情緒稱之為心流(Flow)或領域(Zone)。
因此,秉承這一觀點的學者認為:“這種感覺大大超越了人在日常生活中的體驗程度,進而引起人們對此的向往和迷戀。這可以說是較早的有關沉浸式體驗的系統描述”。[15]沉浸體驗在文化旅游過程中普遍存在,在旅游過程中旅游者的沉浸體驗表現為一個非常復雜的心理過程,體現為旅游者與旅游對象(文化旅游裝置)之間的相互作用機制[16]。沉浸式體驗重在感官體驗和交互體驗。身臨其境沉浸式的博物館環境擁有使人專注的優勢,即不受外部干擾的聚集體驗,使訪問者能夠完全沉浸在當下的內容中[17]。同時,亦有學者指出,“沉浸”實際對應著Immersion和Flow experience 兩個英文術語,前者源于對虛擬現實技術問題的研究,而后者則發端于心理學,并認為對“沉浸”問題所采用的術語趨勢,體現了研究者對沉浸問題的關注點正從外部形式轉向認知狀態[18]。
由此可見,學界對于沉浸式體驗與心流理論是否存在必然關聯這一問題,似乎已然無需多加考證;凡涉“沉浸”必談“心流”,既已成為學者展開相關研究的默認范式或慣例。然而,心流理論的基本訴求在于對某種人類巔峰體驗進行理論歸納。而這種巔峰體驗作為研究對象,實際是難以觀測或度量的。其本質上是一種內在精神與外在環境在某種特定情境下的共鳴與契合,是一種自內而外的歸屬感與滿足感。因此,依據心流理論所描述的沉浸體驗狀態,在公眾語境中亦常會延異為一種玄之又玄的精神追求。
而若遵循這一范式,其鼻祖是否亦可遞歸為中華傳統文化中的諸般母題?如道家所追求的自然、佛家所追求的禪悟,抑或儒家所言的浩然之氣。類似的心理狀態實際早在更加久遠的中華文明中就曾被賦予不同的名稱。縱然拋開不同文化語境的解讀差異,這種如迷思般的形而上探討終歸是見仁見智的,因此目前學界基于心流所導出的設計范式,尚難以達成統一共識。甚至在極端情形下,心流理論在學術成果的產出過程中,亦僅僅局限于術語層面的詮釋或參考,因而難以在新理論的建構中發揮實際的指導作用。
所以說,雖然基于心流理論的沉浸式體驗研究,已經開始被用于解釋用戶在產品交互過程中的成癮和激勵機制,但其適用范疇依舊太過寬泛且模糊,特別在面對媒介與敘事這兩個核心問題的解釋上,心流理論鮮有答案。因此,針對沉浸問題的理論化探索不應止步于全盤接納外來文化,而應進一步回歸專業領域的專業問題,辯證地提出符合我國時代風貌、體現中華文化特色的原創理論體系。
在媒介技術數字化語境之下,人類由單一語言媒介實現的交際模式逐漸被由語言、圖像、聲音等構成的復雜媒介實現的交際模式所取代[19]。隨之而來的“多模態”相關研究亦自20 世紀90 年代逐漸進入主流學術視野。其始見于語言學視角下的多模態話語分析,是指運用聽覺、視覺、觸覺等多種感覺,通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象[20]。而在過去近三十年的發展過程中,多模態相關研究既已逐漸由語言學拓展至傳播學、教育學、藝術學等人文社科領域。特別是在設計學與戲劇與影視學領域中,近年來有關多模態敘事、多模態交互、多模態認知等論題,已逐漸為學者所重視。
如覃京燕等[21]提出“結合具身認知與離身認知,將認知計算應用于多模態的交互環境中,嘗試對具身交互中的示能性、交互行為、交互前饋與離身交互中的符號、語義、交互反饋進行組建,形成完整的交互語法體系”。李萌等[22]提出“調用多種感官的交互方式能夠為兒童帶來全方位的感官刺激,可以提升兒童用戶的參與度和積極性。通過實現兒童在空間中的自由移動,帶來更加自然的多模態交互體驗”。
傳統的界面設計是與傳統技術所綁定的。雖然其盡可能以不同方式利用這些技術,但其選擇的多樣性往往是受限的[23]。然而,中華文化所依托的文化符號本就是多模態呈現的,特別是對于非物質文化遺產,文化符號的模態多樣性尤為顯著。因此,沉浸式敘事中的多模態范式,應首先側重于用戶如何通過多感官交互,實現與多模態符號的沉浸式聯結。而當人們已經開始探討虛擬現實如何通往元宇宙,展望腦機接口是否意味著數字永生之時,界面究竟何在?此時,界面所聯通的兩端也已由人與機器轉化為虛擬與現實,構成了“虛擬-界面-現實”的新范式。
因此,交互設計的任務已不應再先入為主地局限于計算機中,繼續裝點這扇貫通虛實的大門,而應率先明確這扇大門究竟位于何處。其設計對象亦應重新回歸于這門學科誕生的初衷——交互。如學者所言“交互設計要處理一些視覺形式的問題,但主要設計的是‘行為’”。這里的行為包括了產品的“行為”,還有人們使用產品的“行為”。當下的研究往往偏重于前者,以致逐漸忘卻了人作為整個設計過程之中的主導地位。因此,如何回歸“以人為本”將成為當下亟待解決的核心設計論題。
當然,亦如Norman[24]所言:“以人為本的設計已然成為設計主流,如今的界面與應用設計師對其通盤接納,不假思索,遑論批評。事物最危險的狀態便是其被視為真理之時?!币虼?,諾曼進一步提出了以“活動為中心的設計”,并解釋稱:“以人為本的設計已經發展成為一種局限性的設計觀念。它并未著眼于人的整個活動,而是關注于逐頁分析、逐屏分析。因此,順序、干擾、目標不明——真實活動的所有方面,都被忽略了……這些變化只有從更大的視角——以活動為中心的視角才可能看到[25]。”由此可見,與其將“以用戶為中心”“以人為本”乃至如今“以活動為中心”的設計視為一系列設計思潮的更迭,不如將其歸結為人本主義者對教條主義者的系統性駁斥更為恰當。我們依然需要將設計對象回歸為用戶自身,更要遵循真正以人為本的設計理念,不論此時的用戶是個體還是群體,其核心訴求始終是溝通[26]。
在虛擬現實、增強現實等交互技術加持下的沉浸式媒介中,交互性的存在顯然是不言而喻的;然而其與經典敘事媒介的本質差異卻并非是由交互性所賦予的:由于交互性的存在,沉浸式媒介的故事世界得以由經典的線性結構轉化為更加復雜的非線性結構,但這一結果并不會對話語權的歸屬造成任何影響。
沉浸式媒介真正所完成的超越在于徹底突破了敘事學的二分法范式,使聆聽者在故事產生、發展直至完成的整個過程中,可隨時介入故事世界,并對故事事件或故事情節造成直接影響,這在經典敘事媒介中顯然是難以想象的。聆聽者的這一行為,不僅意味著其已擁有話語權,并可對故事世界進行實質性的干預,同時這種干預本身亦必然是聆聽者完全由外部現實世界進入內部故事世界才可能達成的結果。簡而言之,沉浸式媒介的敘事特性不僅促成了話語對故事的直接干涉,同時亦完成了由敘述者到聆聽者的權力交割[27]。
而在經典敘事學中故事始終是作為一個獨立時空,交由敘述者通過話語進行呈現的。因此,敘述者在敘事過程中享有絕對的話語權,故事的素材與構架皆由敘述者進行把控。雖然經典敘事媒介始終試圖為聆聽者營造一種全知幻象,通過精妙的話語手法將聆聽者放置于一個似乎可以洞悉一切的“上帝視角”。然而無論情節構思如何巧妙,真正主宰敘事的依然是作為話語權掌控者的敘述者本身。因此,在經典敘事媒介中,如果說聆聽者是全知的“上帝”,那么敘述者就是“上帝”的“上帝”——不僅全知而且全能。
在沉浸式媒介中,語境與體驗實際上可以理解為針對同一概念的分別詮釋:語境對應媒介,是指該媒介在世界媒介集中的運行規律。而體驗則更加強調以沉浸者為代表的特殊媒介在世界媒介集中的探索歷程,當某一沉浸者開始將這個體驗過程轉述于另一客體媒介之時,經典敘事學意義的故事便由此產生了。在這里,前者始終為體,后者始終為用,二者共同構成了媒介存在與行為相輔相成的統一概念整體。從敘事層面來看,語境的存在意義在于為沉浸者的沉浸式體驗建立認知與行為發生和發展的內在規則。
因此,統一媒介論視角之下的任一媒介體驗研究,其結果必然指向歸納語境這一最終歸宿。一旦語境形成,媒介中的所有符號便同時被聚合為一個緊密聯結的統一系統,這個系統本身即是這個媒介的整個故事時空。此時,如何將這個故事傳遞于其他媒介就構成了經典敘事與沉浸式敘事的根本分野:經典敘事強調話語的作用,其敘事范式要求故事必須通過話語進行復述才有可能傳遞至另一媒介。而沉浸式敘事則更加強調故事與話語統一形成的完整體系,任何意圖洞悉故事的客體媒介都必須以沉浸者的身份進入故事時空所屬的主體媒介之中進行體驗,才有可能一覽故事原貌。因此,沉浸式敘事務必是體驗式的探索,而非話語式的轉述。
中華文化滋養下的沉浸式敘事,不僅是文化遺產數字化傳承與傳播的重要途徑,亦是中國特色哲學社會科學學科體系、學術體系、話語體系建設的實踐成果。2016 年,中央全面深化改革領導小組第三十一次會議審議通過了《關于加快構建中國特色哲學社會科學的意見》,會議指出“加快構建中國特色哲學社會科學,要牢牢把握馬克思主義指導地位,立足中國、借鑒國外,挖掘歷史、把握當代,關懷人類、面向未來,構建有中國特色、中國風格、中國氣派的學科體系、學術體系、話語體系。要從我國改革發展實踐中提出新觀點、構建新理論,加強對實踐經驗的總結”[28]。習近平總書記在二十大報告中進一步指出:“深入實施馬克思主義理論研究和建設工程,加快構建中國特色哲學社會科學學科體系、學術體系、話語體系,培育壯大哲學社會科學人才隊伍。加強全媒體傳播體系建設,塑造主流輿論新格局。健全網絡綜合治理體系,推動形成良好網絡生態?!盵1]
因此,中華文化的沉浸式敘事體系建設,不僅是對構建中國特色哲學社會科學戰略部署的積極響應,同時亦是加強全媒體傳播體系建設、健全網絡綜合治理體系等新征程要求的有力補充。如何緊扣時代語境,不忘本來,吸收外來,面向未來,借助沉浸式媒介講好中國故事、傳播好中國聲音,已成為沉浸式敘事在中國式現代化進程中的應有之義。唯有以中華文化為基石,搭建經典媒介與數字媒介創造性融合的跨媒介學科體系。才有望形成具有優秀文化底蘊與鮮明時代精神的話語體系,進而用中國理論闡釋中國實踐,用中國實踐升華中國理論,創新對外話語表達方式,最終實現中華民族國際話語權的全面提升。