結構主義敘事設計在聲音可視化數字藝術創作中的應用研究

摘 要 研究內容： 本文聚焦于結構主義敘事設計理論在聲音可視化數字藝術創作領域的應用路徑探索。通過理論分析與實踐案例相結合的方式，深入探討如何將結構主義敘事設計的理論融入聲音可視化作品的創作過程，提升作品的敘事力和藝術感染力。研究涵蓋了結構主義敘事理論的基礎概念、聲音可視化的技術與藝術特性，以及兩者結合的創新方法和流程。特別是針對大型聲音可視化作品的創作環境，結合實踐案例，本研究嘗試提出了可行的框架方法。目的：本研究旨在為聲音可視化數字藝術創作提供一種系統的、創新的敘事設計方法。通過引入結構主義敘事理論和流程管理視角，指導創作者在復雜的技術與藝術融合過程中，實現技術與情感的平衡，推動數字藝術擺脫從過度的技術效果創作偏向轉向更有敘事邏輯和深度的藝術表達。方法：文章首先對結構主義敘事和聲音可視化理論進行回顧，分析兩者在當代技術環境下的結合點與應用潛力，構建了理論框架。在此基礎上，提出了一個基于結構主義敘事設計的創作模型，并以作者的數字藝術作品《風樂無邊》為實踐案例，詳細分析了該模型在實際創作中的應用。通過《風樂無邊》的創作過程，展示了如何從創建故事、制定敘事到設計敘述，系統地將結構主義敘事設計理論融入聲音可視化作品的創作中，驗證了模型的可行性和有效性。結論：結構主義敘事設計能夠為聲音可視化數字藝術創作提供有效的指導方法。從敘事出發結合流程管理，有助于數字藝術創作者在復雜的媒介環境中找到技術與情感、藝術與科技的平衡點。在《風樂無邊》的聲音可視化作品創作實踐中，驗證了本研究所提出的創作流程模型的有效性，同時也發現了模型在復雜度和跨領域團隊協作方面的改進空間。未來，隨著人工智能數字技術的不斷發展，結構主義敘事設計理論有望在數字藝術領域發揮更廣泛的作用。本研究期待相關領域的創作者們通過這種流程化的創作方法，可以更高效地整合多方資源，應對數字藝術創作中日益復雜的技術環境革新和跨學科挑戰。

關鍵詞 結構主義敘事設計；聲音可視化；數字藝術；情感表達；設計管理；創作流程

* 本研究為上海市教委學位點培優培育計劃“人工智能賦能高校應用型藝術設計人才培養的模式研究”（項目編號：C2025219）成果；上海視覺藝術學院視覺傳達設計國家級一流本科建設驗收成果。

在新興的數字藝術的浪潮中，技術的進步為相關領域創作者提供了前所未有的創作工具和表現形式。然而，絢爛的科技背后，一個關鍵的問題逐漸浮現：盡管新技術頻頻在感官層面給作品帶來突破，但在此類作品敘事設計方面卻顯得相對單薄。這種單薄不僅限制了作品深度的表達，也影響了觀眾與作品之間的情感共鳴。特別是在聲音可視化作品中，其創作過程更注重與科技的硬結合，流程復雜，很容易讓作品在內容、形式和表現方式上流于一種技術風格的偏向，缺乏故事性和藝術感。在此背景下，結構主義敘事作為一種經典的研究故事的構成理論，以其對敘事內在結構的深刻洞察，逐漸走入藝術設計者們的眼簾。

一、結構主義敘事設計理論概述

（一）敘事理論的領域擴張

敘事理論提出于西方，源自文學理論。20世紀60年代末，著名文學理論家、歷史學家茨維坦·托多洛夫（Tzvetan Todorov）在《〈十日談〉語法》中首次明確提出“敘事學”這種“關于敘事作品的科學”［1］。近年來，隨著藝術設計的研究范圍和研究對象的擴張，敘事理論憑借其普遍性和重要性贏得了各學科的廣泛關注，敘事理論從文學領域過渡到藝術設計領域不過半個多世紀，屬于新興理論。敘事設計作為一種設計的策略及方法，讓設計關注的對象從“事物”逐漸轉向為“事件”，使得設計輸出除了滿足其功能需求以外，還能滿足精神上的感動［2］。敘事設計（Narrative Design），又稱敘事性設計，是設計師應對問題，提出不同的具有敘事屬性的解決方式，通過用戶對設計對象的使用和體驗，建立一種與創作者溝通的方式，從而喚起用戶基于生活經驗的聯想與情感記憶。由此使得用戶對歷史文脈、人文精神、價值觀念等有更好的感知與了解［3］。

在文學理論中敘事指的是創造故事的方法，但是當他被引入敘事設計的領域后，其概念和范疇則已經被擴展。它不僅包括了故事創作，還涵蓋了利用敘事來組織和協調技術、理念、媒介、環境、材料和體驗等多元化元素的復雜設計過程。本文強調的創作行為涵蓋了設計創作和藝術創作活動。筆者想強調的是，正因設計創作的復雜性，引發了設計界對敘事設計理論的廣泛討論。隨著藝術創作邊界的擴大，對于要管理大規模創作材料的跨領域藝術與科技融合的創作，在感性的藝術思維方法中配合使用嚴謹的設計方法來指導內容創作；在復雜的創作過程中，引入規范的流程方法來指導平衡技術和藝術的結合應用是這個領域的趨勢。

（二）作為形式系統的結構主義敘事設計

結構主義敘事理論起源于語言學，代表人物是瑞士語言學家費爾迪南·德·索緒爾。索緒爾的語言學研究強調，語言系統是由符號構成的，這些符號在語言系統內具有結構化的關系。索緒爾的理論啟發了結構主義學派，隨后，其代表性人物如列維-斯特勞斯將這一思想引入敘事學，提出所有敘事作品都遵循某種深層次的結構，這種結構在各種敘事作品中具有普遍性。這種普遍性使它隨后被視為經典敘事學的基礎，是后來大量涌現的敘事理論的起點。結構主義敘事在文學、時尚，甚至某些特定的文化中，嘗試尋找隱藏的規律，也就是規則和慣例，通過對思維工具、進程和活動的研究，幫助我們建立和理解敘事［4］。這一理論在創作層面上，通過將敘事劃分為不同的層次來明確敘事設計的組成要素和運作機制而達到分解和重構故事的目的，幫助故事的創作者從深層次上分析和理解敘事過程中的內在規律。

結構主義敘事研究將敘事劃分為三層：敘述、敘事、故事［5］。敘述（narration）是指故事講述的方式，通過何種視角和形式呈現；敘事（narrative）指的是敘事事件的組織方式，即如何安排及發展情節；而故事（story）則是敘事的核心內容和思想，發生的事件和情節。通過分析這些層次，結構主義敘事理論揭示了敘事的內在邏輯和運作規則。結構主義敘事理論的另一個重要特點是其對符號系統的關注，敘事中的角色、事件和情節都可以被視為符號，這些符號通過特定的規則組合在一起，傳遞意義。結構主義敘事通過分解敘事的深層結構、符號系統，能幫助理解和設計敘事過程中的故事邏輯和情感關系，它為敘事設計提供了一個簡約有效的形式系統分析框架。

二、數字藝術中的聲音可視化

（一）作為藝術創作方法和形式的聲音可視化

新媒體技術的產生與發展勢必推進對新的藝術設計形態與視覺語言的探索，也必然會形成新的美學觀。數據可視化藝術設計是將采集或模擬的數據經過有效編輯轉換為可識別的圖形符號、圖像、視頻或者動畫，通過視覺化的形式呈現，并以此實現對受眾最有價值的信息傳達［6］。聲音作為一種可探知的數據，對其可視化最早被藝術設計界認知為數據可視化學科的一個細分概念，指的是將聲音信息轉化成數據通過視覺手段進行表達，使其變得更具可讀性和理解性。然而，翻看藝術史，早在信息時代之前，聲音可視就已經作為一種重要的創作形式和藝術開始深度的融合了。

西方從17世紀開始對聲音的視覺化進行實驗，試圖基于通感聯覺，探尋聲音與色彩之間的互譯關系，并通過平面繪畫或某種機械進行直觀呈現，這被認作為一種客觀的“色彩音樂”（Color Music）藝術［7］。20世紀初，前衛藝術運動中的未來主義和達達主義興起，意大利藝術家路易吉·魯索洛是首位以聲音為創作媒介的藝術家，他提出了“噪音藝術”的概念，并創造了各種噪聲機器，開創了聲音作為非音樂藝術表達媒介的先河。達達主義者雨果·拜爾通過聲音詩的形式，進一步探索聲音在藝術中的表現力。這些實驗為聲音藝術奠定了基礎，聲音不再僅僅是音樂的附屬物，而是藝術表達的重要元素。抽象主義藝術大師康定斯基則由繪畫語言的分析入手，理論化地概括了視覺形態和音樂特性之間的藝術連接，提出繪畫中的“內在聲音”（Inner Sound）這一概念［8］。隨后，抽象主義興起，藝術家們厭倦傳統的現實主義繪畫和電影敘事模式，他們嘗試通過抽象表現形式來表達更為深刻和個性化的情感和觀念。在此背景下，德國的一些前衛藝術家們，如瓦爾特·魯特曼、奧斯卡·費欽格等，展開了對“抽象電影”（Abstract Film）又稱“絕對電影”的探索。他們不僅關注聲音與視覺符號在顏色、形狀上的對應關系，還深入探討了符號的運動與音樂節奏之間的關聯，這些探索為現代的聲音可視化提供了重要的理論基礎。

如果從技術的視角來考察聲音可視化結合藝術設計的發展演變，它則顯得相對簡單明了。1787年，德國物理學家恩斯特·克拉尼發明了一種聲音可視化的實驗方法，即將細沙撒在金屬板上，并通過振動產生聲波圖案，展示了聲音的可視的形態。克拉尼的實驗可以說在物理技術層面上將聲音可視化帶入了現實。隨后的另一位重要人物，藝術家、電影制片人奧斯卡·費欽格作為“絕對電影”藝術運動的代表人物，他對視聽實驗作品在技術實踐方面的探研體現了早期多媒體跨學科融合作品的特征，即對視聽內容數據化一體化同步控制的初期探索［9］。他的創作規律依托科學為背景，科學性的研發為作品帶來技術方面的支持。進入21世紀后，標志性的聲音可視化技術革新是計算機介入后視覺映射（Audiovisual Mapping）的成型。視聽映射通過某種算法篩選、提取聲音信息，并根據某種對位規則，轉換、傳輸出視覺影像。這要求聲音信息和影像信息具有內在結構的相似性，并且這種對位結構可以被數據化處理。學術界將視聽映射歸納至信息可視化范疇，是結合設計美學、音樂聲學、物理學、心理學和心理學的跨領域研究［10］。隨后，在信息技術進一步引導下，聲音可視化與新生的藝術媒介產生融合。如新媒體藝術家黑川良一和池田亮司將聲音與數字圖像、視頻裝置相結合，通過算法生成實時的視覺表現的系列形式，帶來了其在藝術領域的成功。可以說彼時，聲音可視化終于成為一種被廣泛認知的藝術形式。如今，互動、虛擬現實、數據驅動設計的應用進一步推動了此領域的快速發展。

（二）聲音可視化作為數字藝術的審美特征

在國內，數字藝術作為相對年輕的藝術門類，學界依然對它沒有相對明確的界定。正如第十四屆全國美術展覽對它的分類，并沒有清晰地給予它在理念和特征上區別于其他藝術形式的定義，而將其和實驗藝術、動畫并置于一個展區。筆者認為，如果說實驗藝術創作注重對物理裝置和材料的探索，強調創作者對媒介本身的實驗和感知；那么數字藝術創作則依托計算機技術，強調聲音、圖像、數據等數字媒介的融合，是通過算法、編程等手段進行的藝術創作活動。兩者在形式上存在互相借用，但是，聲音可視化作為一種關鍵的形式，可以說是數字藝術區別其他藝術類別的審美特征之一。

筆者認為，這種審美特征通過聲音可視化在多領域、跨學科應用場景下的日漸活躍，成為目前大眾對數字藝術及相關領域的通感之一。比如，在音樂和表演藝術領域中，從純聽音樂或看表演，到通過屏幕或者投影將音樂可視化后映射在演出空間中形成聯動。近幾年來，隨著泰勒·斯威夫特等歌星的演唱會在全世界范圍獲得巨大成功，聲光電互動融合的演出越來越成為現代舞臺表演藝術的標準。又如在多媒體互動藝術中聲音提示配合圖像的指引已經成為許多互動藝術的“入口”，觀眾的聲音通過麥克風、傳感器等輸入裝置的捕捉，經過處理后生成動態的圖像、光效或物體運動，增強了作品的沉浸感和交互性。我們在世界知名的數字媒體藝術組合teamLab的諸多大型作品中都能看到這種手法。而在被稱為即將成為“第九藝術”的游戲領域，聲音和視覺反饋的配合，無論是游戲英雄角色出場時背景音樂的渲染，還是戰斗時圖像與聲音的交互，加上擊打、碰撞、使用魔法等即時絢麗的視覺效果，這種視覺化的聲音是玩家建立游戲情節敘事和體驗快感的核心手段。最近大熱的游戲《黑神話：悟空》除了視覺上的藝術效果令人贊嘆，它的聲效、交互、敘事情節也廣受贊譽。

聲音可視化涉及設計、藝術，結合了計算機科學、數據分析、圖形學、用戶體驗學等領域的知識，它的學科跨越特性迎合了當下藝術設計的發展趨勢。它作為一種創作手段，將抽象的聲音轉化為即時的視覺圖像，增強了藝術作品的沉浸感和交互性。它在音樂、表演藝術、多媒體互動和游戲等領域的廣泛應用，不僅豐富了數字藝術表現形式，也成為連接不同媒介、激發通感體驗的關鍵要素。

（三）聲音可視化創作對敘事設計方法的呼喚

聲音可視化對敘事設計的要求在于它需要將抽象的聲音信息轉化為直觀的視覺圖像，從而增強觀眾的沉浸感和情感共鳴。這種轉化不僅要求技術上的精確性，還要求藝術上的創造性，以便在視覺和聽覺之間建立起有意義的聯系。聲音可視化的敘事設計需要考慮聲音的節奏、音調、強度等元素，并將其與視覺元素如色彩、形狀、動態等相匹配，以創造出富有表現力和敘事性的作品［11］。可以看出，聲音可視化藝術作品創作中對敘事設計方法的呼喚，來自其在技術發展與情感表達之間尋求平衡的需求。

另一方面，相對單一的感官媒介如文字、圖像、聲音等，數字藝術強調多媒介、多感官特性。聲音可視化是其中之典型，它不僅依賴于藝術家對顏色、構圖、聲音等元素的審美把握，更要求創作者掌握各種技術工具，通過編程、算法、數據處理等技術手段來實現，如程序開發、聲音設計、圖像處理等技術環節。而且，可視化創作往往還需要多領域、跨學科的團隊協作，如編曲、影像等多個領域的專家。總之，創作者不僅要具備藝術敏感度，還需要具備跨學科的技術能力。例如，在第十四屆全國美術作品展實驗藝術、數字藝術與動畫展區中，由藝術家費俊創作的《情緒劇場》就是一件可交互的聲音可視化作品，在它的作品描述和團隊人員名單里，可以看到除了技術團隊，藝術家還與心理學家、音樂家、人工智能專家等各領域團隊進行了緊密的合作［12］。 高技術門檻、多團隊協作代表了聲音可視化創作的復雜性，在實踐創作中這種復雜性如果缺少理論的指導，就很容易導致創作上的混亂和對技術效果的偏向。如果我們通過搜索器，如百度和谷歌，用關鍵字“聲音可視化”快速檢索，就可以得到眾多視覺上看起來光怪陸離，實際高度趨同，內容五花八門但是毫無情感的項目和作品（如圖1）。究其原因，不少創作者過度追求效果上的突破，缺少內容敘事層面上的思考，從而丟失了藝術目的。

故事化的敘事方式可以使揭示信息的數據可視化更加有效與直觀，如同觀眾觀看電影一般［13］。聲音可視化一方面擁有信息科學的屬性，另一方面要與藝術表達融合，其復雜性不可避免，這是它迫切需要敘事理論支撐的根本原因。而在眾多敘事設計理論中，結構主義敘事理論分析如何將故事的主題、形式和敘事路徑有效連接，幫助創作者利用符號構建一個完整的敘事系統，這種與視覺符號的相關性和系統性，能給可視化作品的敘事創作帶來方向感。而且與其他敘事設計理論相比，結構主義敘事理論以簡潔和本質著稱，它專注于分析尋找敘事中的普遍性結構。這種對故事創作過程中普遍性的研究，正是當前數字藝術創作所需要的。它能馴化復雜，引導數字藝術的審美從注重技術轉向注重情感表達，幫助觀眾更好地理解和共情作品，同時也使創作者能夠整合多方資源，講述一個引人入勝的故事。

三、結構主義敘事設計方法在聲音可視化中的應用框架

在聲音可視化創作中引入敘事設計方法，聲音不再僅僅是背景聲或輔助元素，它將作為敘事的主體形式引導視覺呈現。我們將聲音作為首要要素置入結構主義理論中的故事、敘事和敘述的三層核心結構中，分析聽覺、視覺及其相互的敘事作用，并嘗試討論構建一個可行的、流程化的創作框架。

（一）聲音與故事主題

在結構主義敘事理論中，故事（story）是指作品中所包含的事件、角色和情節發展，即“發生了什么”。故事討論的是整個敘事設計的主題和思想，是情感的基調。在聲音可視化作品中，聲音主導故事作為主題事件和情節的提示。不同故事的主題：正義的、邪惡的、溫情的、悲情的；或者，不同的故事情節階段：開始，轉折和結束，對應不同聲音和視覺，觀眾會迅速理解所處的敘事類型和階段。聲音的作用不僅是識別，它在作品整體層面建立藝術及審美氛圍、闡述宏大主題，甚至具有超越文字和影像對白的優勢。聲音，有能力繞過理性，直達人們的感性。

具體來說，我們可以在情感傳遞、象征與隱喻、啟發和構建三方面分析聲音對故事的作用。

1.情感傳遞：聲音引導觀眾進入某種特定的情感狀態，如憂郁、喜悅、緊張等。通過音樂的情感層次，觀眾可以感受到視覺內容背后的情感核心，即作品想要表達的“故事”。

2.象征與隱喻：使用某種特定的音調、旋律或音效，來暗示某種概念或思想，反映作品中的深層次主題或概念。

3.啟發和構建：聲音樂可視化作品中的“故事”往往是抽象的，沒有傳統的情節和固定角色引導。但聲音通過旋律和音效的變化，賦予觀眾某種體驗或聯想。觀眾會根據音樂的情緒起伏，感受到不同的啟發，構建他們自己的內在故事。

（二）聲音與敘事結構

敘事（narrative）指的是將故事內容以特定結構和順序呈現出來的方式，即“如何講述”。 在可視化作品中，敘事討論的是聲音和視覺如何組合成敘事序列，創建特定的結構，如線性的、非線性甚至是可交互的、隨機的。用聲音建立敘事的方法有很多。首先，聲音自身的物理特性，頻率、波段、節奏等，即伴隨著時間性的，它有明確的線性順序。其中，音樂作為一種有審美規律的聲音，其自身的內在結構如樂理中的樂章、段落、和聲等在敘事層面上就是結構順序，數字技術可以快速分析這些聲音特性，生成視覺畫面映射這些聲音的物理屬性，創造出敘事所需的層次和節奏。可以說這種生成關系是這類作品敘事上的“原特征”。除了自動生成外，結合音頻剪輯控制，則可以準確地調整敘事順序表達具體的情節。

除了上文論述的較為常見的結構和實現手段之外，還有一些其他值得研究的敘事結構和方法：

1.倒敘結構：通過聲音的剪輯和排列，創造時間上的跳躍或回溯的倒敘結構。

2.強調與重音：對主題和動機的強化，反復出現的主題音樂與特定角色或情節關聯，加強敘事的一致性。

3.聲音與空間：設計沉浸立體聲效果，利用聲道的左右、遠近變化，模擬空間感，增強敘事的真實感。增加聲音層次，疊加多層次的聲音元素，豐富敘事的復雜性。

4.視聲同步：弱化故事的線性感，強調聲音與視覺元素的同步變化，創造互動的敘事特征。

隨著交互技術的引入，敘事上的順序結構也可以被打亂、被控制，甚至實時生成。我們可以看到在不少可視化作品現場中，裝置即時采集環境音或音效生成視覺畫面，這種方法強調敘事上的實時感，給觀眾帶來新的體驗。

（三）聲音與敘述風格

敘述指的是講述故事的過程和方式，也就是“誰在講述”和“以什么形式講述”。聲音可視化中，聲音本身成為“敘述者”而非視覺上的具體的角色或者形象。旁白是被舞臺戲劇影視常用的一種敘述工具，人聲是顯性具體的敘述聲，它能立即表達“是誰”以及“什么立場”等關鍵信息。在聲音可視化作品中，敘述的范圍還包括抽象、無明確表意的其他更多的聲音。

敘述關注的是故事講述的感知形式，這種形式更像美學中“風格”的概念。風格，指的是特殊的或者帶有一定特征的表達形式［14］。聲音可視化中的敘述風格是整合視覺和聽覺的一種綜合表達描述，包括聲音的音色、節奏、曲向組成的旋律；視覺上對應產生的顏色、形狀、排列、運動方式等融合呈現的多感官風格。比如，低沉的鼓聲和碎裂的電吉他演繹某種感情爆破和沖突，搭配涂鴉和拼貼圖像，觀眾會聯想到朋克或者搖滾風格；而悠揚的笛聲和琵琶搭配高山流水，則給觀眾帶來的是經典的東方敘述風格；合成器電子音樂在光感科技、機器人等圖像視覺中，隨著低頻重拍的反復出現，畫面跟著震動，則塑造出科技和未來的風格。這種風格的設定，將直接影響到包括視覺映射等實現技術的對應。

敘述方式決定作品的呈現形態，視聽風格將帶領觀眾對畫面和內容理解和感知。我們可以通過以下幾個方面來思考敘述的策略：

1.敘述風格：聲音和視覺元素的選擇和整合方式。

2.互動方式：作品是否允許觀眾參與改變聲音和視覺的呈現。

3.視聽映射：映射算法篩選、技術選擇、提取聲音信息，并根據視覺風格策略思考、轉換、傳輸出的影像。

4.敘述視角：從什么樣的視角出發來表達主題。主觀感性的，還是客觀理性的等等。

綜上所述，可視化創作場景中，聽覺主導、視聽結合是構建作品敘事的核心。可視化作品抽象而復雜，借助結構主義敘事的理論，我們可以整理總結出敘事結構層次與聲音視覺的一般關系，請見表1。

故事、敘事和敘述三者在這個框架結構中呈現為線性的關系。如果將它們放置在創作流程中，故事作為主題和思想的討論，它應該最早被確定，然后是敘事結構的搭建，敘述則和作品的整體風格有關，更加關注完成度。這種線性關系給了這個框架引入創作流程的可能性，它可以被分解融入在實踐中指導各個階段的創作。

四、《風樂無邊》聲音可視化作品的敘事設計實踐

（一）《風樂無邊》數字藝術作品概述

《風樂無邊》是由筆者創作的一件大型聲音可視化數字藝術設計作品。它以中國書法作為視覺元素，將道家起源哲學觀念和書法形式美結合，利用聲音可視化技術將書法字粒子映射成為各種象征自然有機的形態，并與聲音互動演繹，打造了一個聲、形、意互通的沉浸式數字藝術作品。［15］作品中的書法字來自方正字庫開發的12組中華精品字庫，字體包括王羲之、顏真卿、劉炳森、柳公權、蘇軾、沈尹默等名家的書法。作品曾在中國國家博物館展出，入選第十四屆全國美術作品展實驗藝術、數字藝術與動畫展區。

整個項目投射在接近8（寬）：1（高）的LED屏幕墻上，首次在中國國家博物館展出時，實際空間寬度接近40米。參加全國美術作品展時作品做了相應的內容更新，同時，根據展覽的空間縮小了尺寸，并增加了背景墻體的部分靜態圖形設計（圖2）。

《風樂無邊》最早作為一件由方正字庫發起的邀請創作作品，目的是展示方正字庫開發的12組以上的書法字庫字體，每組包括至少7000個字體及字符。委托方并不希望平鋪直敘地進行字體展示，期待有藝術的、創新的方法。在創作過程中，我們首先要對數萬文字顆粒進行動態演繹，運算數量非常大，筆者及團隊最終決定使用生成式可視化的技術。其次，我們希望創作的是一個中國質感結合當代審美的作品。敘事上，面對王羲之、顏真卿、劉炳森、柳公權、蘇軾、沈尹默等如此多的人物，橫跨千年歷史，我們放棄了常規的主角式的具象故事，引入了道家的哲學觀念，并將聲音作為主導。我們希望討論的是在東方意境中，生命是如何從無到有的，它的形式是什么，人的思想是一種生命形式嗎，書法又代表了什么？

在創作過程中，我們充分利用了結構主義敘事理論的層次框架（圖3）。首先，在故事層面上，收集并制作了風、水滴、溪水、鳥、瀑布、潮水等自然聲，隨后與電子樂結合，創建了一個前半段循序漸進的、從無到有、冥想式的，后半段強調現代中式美感的聲音故事。敘事層上，對應聲音主線出現的由書法顆粒組成的各種自然形，從無到有，從少到多，最后伴隨著電子音樂形成聲形交互的書法字動態演繹。敘述風格上，以黑白為主的色彩強調道家的意境，伴隨聲音通過映射技術驅動書法粒子，從單一到復雜，從機械到曲線，從無機到有機，再到自然和生命感的運動。最終，將作品引入思維上的、抽象的審美意境。

（二）《風樂無邊》的敘事設計流程模型

在整個長周期、多資源配合的創作過程中，從結構主義敘事理論出發，結合聲音可視化藝術設計的實踐特點，我們開發了一個設計流程模型。它可以直觀地將“故事”“敘事”和“敘述”三個敘事層次用于流程化的創作中。這個流程工具不僅有助于系統地規劃創作、統籌復雜的元素，它也能作為項目管理的流程，確保每個創作階段都有明確的目標和行動（圖4）。

流程模型將故事、敘事、敘述分解成為聲音可視化創作場景中的關鍵設計動作，主要集中在模塊1-3，分別是：創建故事、制定敘事、設計敘述，對應圖表（見表2）描述了這些關鍵設計節點以及需要實施的動作。當然，根據實際的項目需求，創作者可以靈活增減相關的設計條目。使用時從上到下，依次完成每個步驟，確保不遺漏關鍵環節。其他要點包括：在使用時要做好過程記錄、建立資料庫，在流程框架指導下進行不斷地測試、反饋和迭代。

（三）《風樂無邊》的敘事設計過程分解實例

《風樂無邊》的創作實踐展示了結構主義敘事設計流程模型在聲音可視化藝術創作中的可行性和有效性，具體的過程分解如下：

1.創建故事

主題：書法、道法、人和自然。

情感核心詞：道、自然、寧靜、共生、生命、科技與人。

靈感及素材庫：書法史、書法家傳記史、字體、水墨、自然物等。

2.制定敘事

聲音設計：聲音元素，采集自然環境音，風、雨、流水、鳥鳴、海浪、瀑布等。

聲音分析軟件：Touch Designer。

聲音處理軟件：Adobe Audition。

聲音結構：聲音從單一元素逐漸豐富，表現從無到有、融入自然的過程。

敘事結構：線性敘事，分段落，聲形同頻。

時間與節奏：整體結構，作品由靜到動，從自然音到電子音。過渡效果采用漸變疊加。

3.設計敘述

視覺風格方式：中國風，黑白為主，抽象藝術風格，強調東方美學體驗。

視角定位：以客觀視角，相對冷靜地展示自然之美。

視覺映射：映射重點，聲音頻率對應視覺元素的大小、位置、亮度等。

視覺元素：設計有機形態的圖形，模擬自然元素。

實現技術：映射軟件包括Touch designer、Adobe after effects和GR Trap Code Form。

4. 實施創作并測試

實現作品：確定物理硬件，數字文件質量要求，制作內容、剪輯、輸出。

測試和調整：邀請觀眾體驗，觀察他們的反應，訪問、調整。

收集反饋：根據反饋優化。

5. 完成并發布

最終完善作品：確保作品在技術和藝術上都達到預期效果。

作品展示與發布：在相關藝術展覽中展出。

可以看出，這個流程模型可以系統地指導創作團隊將多種創作資源有機結合，圍繞敘事，形成主題鮮明且風格統一的作品。模型中的分步驟流程為復雜的創作提供了清晰的指導，有助于確保多領域協作和多感官技術融合的順利實施。這種結構化的設計方法，在規劃和管理大型的聲音可視化作品的創作中顯示出了一定的優勢。當然，在對其實際運用中我們也發現了一些問題。首先，作為一個流程模型，它還是相對復雜，要求使用者具備多學科的技術和藝術知識，對學習能力的要求較高。此外，模型在跨領域團隊協作的易用性上還是比較初級，尤其是跨領域的專業術語的解釋和傳遞等，需要通過反復的溝通和明確的職責分配來解決，使用成本較高。在未來的實際運用中，需要進一步優化模型、降低實施難度，并提供界面化、數字化的幫助，以便其在數字藝術創作中得到更廣泛的應用。

結論

對于新技術的探索和應用可以說是實驗藝術、數字藝術等新興領域在這個時代背景下的使命之一。它們的創作會不得不呈現出數字化、系統化、工程化、跨媒介的技術偏向，敘事設計可以作為其重要的理論支持，將創作拉回藝術設計的目的本身。本文在理論層面，通過對結構主義的敘事框架與聲音可視化創作的理論分析，探討了雙方在實踐場景中相結合應用的可能性與可行性。進一步，筆者提出了結合結構主義敘事理論和設計流程的創作模型，并通過完整地分析《風樂無邊》大型聲音可視化數字藝術作品的創作流程，驗證了該模型的有效性與實用性。同時，在實際應用過程中我們也發現了一些急需改進的問題。

筆者認為隨著數字技術的不斷進步，結構主義敘事設計在數字藝術領域的應用前景廣闊。未來我們可以期待更多創新的聲音可視化作品，它們將結合先進的技術手段，如人工智能、虛擬現實等為觀眾提供更加沉浸和互動的藝術體驗。同時，敘事設計理論的進一步討論、應用和完善，將有助于藝術家、設計師及相關工作者們更好地整合日漸復雜的創作材料，在講好故事的同時，融合科技與藝術，創造出更優秀的作品。

Research on the Application of Structuralist Narrative Design in Sound Visualization Digital Art Creation

XU Yibing

Abstract： Content" This paper focuses on the application pathways of structuralist narrative design theory in the creation of sound visualization digital art. By combining theoretical analysis with practical case studies， it explores in depth how to integrate the theory of structuralist narrative design into the creation process of sound visualization works to enhance their narrative power and artistic expressiveness. The research covers the basic concepts of structuralist narrative theory， the technical and artistic characteristics of sound visualization， and the innovative methods and processes that combine the two. Objective Specifically， targeting the creation environment of large-scale sound visualization works， this study proposes a feasible and manageable framework method based on practical case studies. Purpose：" This study aims to provide a systematic and innovative narrative design method for the creation of sound visualization digital art. By introducing structuralist narrative theory and a process management perspective， it guides creators to achieve a balance between technology and emotion in the complex integration of technology and art. This approach is intended to shift digital art away from an overemphasis on technical effects towards more narrative logic， depth， and artistic expression. Methods The article first reviews the theories of structuralist narrative and sound visualization， analyzes their convergence and application potential in the contemporary technological context， and constructs a theoretical framework. Based on this framework， it proposes a creation model grounded in structuralist narrative design. Using the author’s digital art work “Boundless Wind Music” as a practical case study， it details the application of this model in actual creation. Through the creation process of “Boundless Wind Music”， the study demonstrates how to systematically integrate structuralist narrative design theory into the creation of sound visualization works， from creating a story， formulating a narrative， to designing the narration， thereby verifying the feasibility and effectiveness of the model. Conclusion：" Structuralist narrative design can provide effective guidance for the creation of sound visualization digital art. By combining narrative with process management， it helps digital art creators find a balance between technology and emotion， as well as between art and technology， in complex media environments. The creation practice of the sound visualization work “Boundless Wind Music” has verified the effectiveness of the creation process model proposed in this study， while also identifying areas for improvement in terms of complexity and cross-domain team collaboration. As digital technology continues to advance， structuralist narrative design theory is expected to play a broader role in the field of digital art. This study anticipates that through this process-oriented and systematic creation method， creators in relevant fields will be able to more efficiently integrate resources from multiple parties， produce engaging works， and better address the complexity and cross-disciplinary challenges in digital art creation.

Keywords： Structuralist Narrative Design; sound visualization; digital art; emotional expression; Design Management; creation process

作者簡介：許一兵，上海視覺藝術學院設計學院副教授，上海市創意設計工作者協會理事、視覺傳達設計藝委員會副主任，上海美術家協會會員，上海美術家協會設計藝委會委員，主要研究方向為視覺傳達與跨媒介設計、數字藝術。

［1］Tzvetan Todorov， Gram maire du Dcameron（The Hague： Mouton， 1969），p.9.

［2］陳俊龍、鄧嶸、時迪：《敘事設計研究綜述》，《設計》2023年第15期，第64—66頁。

［3］張學東：《設計敘事：從自發、自覺到自主》，《江西社會科學》2013年第2期，第232—235頁。

［4］陳俊龍、鄧嶸、時迪：《敘事設計研究綜述》，《設計》2023年第15期，第64—66頁。

［5］［美］羅伯特·斯科爾斯、［美］詹姆斯·費倫、［美］羅伯特·凱洛格：《敘事的本質》，南京大學出版社，2015，第252頁。

［6］吳思淼：《可視化：新媒體語境下的數據、敘事與設計研究》，《藝術與設計（理論）》2016年第4期，第85—87頁。

［7］朱文濤：《從“色彩音樂”到“視覺音樂”：西方視聽通感的觀念源流與其早期藝術實驗》，《南京藝術學院學報（美術與設計）》2017年第5期，第96—106頁。

［8］ ［俄］瓦西里·康定斯基：《康定斯基論點線面》，中國人民大學出版社，2003，第5頁。

［9］" 莊曉霓：《抽象動畫電影大師奧斯卡·費欽格的視聽實驗研究》，博士學位論文，南京藝術學院，2023，第1頁。

［10］沈楊欽：《音樂影像的視覺敘事設計研究》，碩士學位論文，江南大學，2023，第2頁。

［11］宋方圓：《聲音的視覺裝飾——圖形動畫教學中聲音可視化之探索》，《裝飾》2012年第9期，第95—96頁。

［12］某集體MOUJITI：《情緒劇場：藝術與科技融合介入心理療愈》，2024，站酷：ZCOOL. https：//www.zcool.com.cn/work/ZNjg3Mzg5ODQ=.html。《情緒劇場》這一作品由藝術家費俊與劉正奎 、肖瀛 、薛汀哲 、成紅雨 、Rainer Granzin，、ólafur Arnalds聯合共創。

［13］N. Gershon and W. Page， \"What Storytelling Can Do for Information Visualization\"， Communications of the ACM，vol. 44， no. 8， （2001）：pp.31-37.

［14］［美］史蒂文·海勒、［美］西摩·切瓦斯特：《平面設計200年》，文匯出版社，2020，第5頁。

［15］許一兵：《字的風，樂，無，邊》，站酷：https：//www.zcool.com.cn/work/ZMzg4MTIxNTY=.html。