智能時代多媒體作品的交互設計特點

張雯 付琳

摘要：大智能時代下多媒體藝術設計要想更好f地發展，需要隨時與科技的發展相結合，在多媒介、多平臺的狀態下豐富交互行為，提升作品的用戶體驗性。將多媒體交互過程分解，結合實例分析法總結出多媒體作品交互設計特點。以此成為未來多媒體交互設計的指導原則。多媒體交互設計以內容為前提，結合媒介特點，以科技思維創新交互行為，以豐富、自然的交互行為反饋提升用戶的感官體驗。

關鍵詞：多媒體藝術設計 交互設計 用戶體驗 人工智能技術 科技思維

中圖分類號：TP391.9 文獻標識碼：A

文章編號：1003-0069（2023）16-0138-04

Abstract：In order to develop better in the era of great intelligence，multimedia art design needs to be combined with the development of science and technology at any time，enrich interactive behavior in the state of multimedia and multi platform，and improve the user experience of works. The multimedia interaction process was decomposed，and the characteristics of multimedia work interaction design were summarized by combining the method of example analysis. It has become the guiding principle of multimedia interaction design in the future. Multimedia interactive design takes content as the premise，combines the characteristics of media，innovates interactive behavior with scientific and technological thinking，and improves users sensory experience with rich and natural interactive behavior feedback.

Keywords：Multimedia art design Interaction design User experience Artificial intelligence technology Technological thinking

引言

多媒體藝術設計誕生于20世紀70年代，是科學技術與藝術形態發展階段的必然歷史產物，其不同于傳統藝術最根本的特性是交互性。對于多媒體藝術設計最早的定義是通過計算機交互式綜合處理多媒體信息——文本、圖形、圖像、聲音、視頻、動畫等，使多種信息建立邏輯鏈接，為了傳遞知識創建和表達的交互式應用體系。而隨著時代的發展，新科技的不斷涌現和設計思維的革新，多媒體藝術設計也不斷融合新技術、新媒介，更新和豐富作品的概念外延和表現形式。

一、智能時代的多媒體作品類型

隨著人類科技發展，人工智能已經逐漸融入我們的生活，從智能手機到智能家居，從無人機到自動駕駛，從智能機器人到智能醫療等。但總的來說目前我們還處于弱智能時代，智能的主要功能體現在機器的速度、力度、存儲空間、運算速度、記憶能力和數據分析等方面，智能產品以軟硬一體化的智能終端為主。軟端主要是對用戶、產品、環境的數據回收和監測，再通過對數據的分析提供給用戶有效的信息，可以說軟端操作系統是一個可以交互的信息交流體系。

多媒體藝術設計在這些年的變遷中，隨著科技的進步，不斷在擴展其概念外延，打破了從前由技術限制的承載形式和發布形式，形成跨平臺、多媒體融合的數字化信息交流體系。廣義來說，如今多媒體藝術設計是各類具有交互性的數字化信息表達體系，但是以數字化信息系統的內容策劃、視覺表達和交互行為的設計效果構想和呈現為主，對于交互信息體系所涉及的計算機語言，發布平臺的技術實現等不是其專業內容。從這個角度來說，以“數字化交互性體系”為表現核心的多媒體藝術設計，只要是其具有交互性的信息交流和內容呈現，都屬于智能時代的多媒體作品。因此，按照作品的發布平臺和媒介手段可將智能時代的多媒體作品分為如圖1所示的各種類型。其中智能終端的軟端交互信息體系可以說就是多媒體藝術設計。

而智能時代的各種人工智能技術都是為了讓機器更“智能”地服務于人，人工智能技術使機器的交互行為更加類人化，回歸本真的交互行為使人、機、環境形成一個自然順暢的交流空間。多媒體藝術設計也在探索借助人工智能技術，使多媒體交互表現更加自然，從而提升作品的用戶體驗感。因此從技術角度劃分類型，多媒體作品又分為如圖2的各類型。

二、多媒體交互設計的發展演變和創作原則

從多媒體藝術設計這一行業誕生至今的40年里，多媒體藝術設計隨著媒體時代的發展經歷了四次的革新浪潮，從最早的線下以光盤為載體的時代，到第一次互聯網風暴，多媒體藝術與網絡結合的線上表現形式，再到移動互聯網時代的到來，多媒體藝術與移動媒介的結合，到如今人工智能時代的到來，多媒體藝術與各類終端、傳感器、交互技術的結合。但無論多媒體藝術的承載終端如何變化，發布形式是什么，表現方法是什么，多媒體藝術設計的核心始終是交互設計。人工智能時代設計的方向是回歸本真的交互方式，智能化的人機關系，和全空間自然一體的信息交流體系。而多媒體藝術要融合科技的力量，改進交互方式，增強其真正意義上的“多”融合性，朝著全智能化空間的交互設計方向前進。

作為國內最早開展多媒體藝術設計的學校，我們一直致力于多媒體藝術設計的研究和推廣，緊跟時代的發展擴展作品類型，探索多媒體作品交互設計的多種可能性。多媒體藝術設計關注用戶體驗研究，融合服務設計中用戶研究的方法來發掘用戶痛點；多媒體藝術設計關注交互技術的發展，例如虛擬現實、增強現實、體感捕捉、圖像識別、語音識別等，將其應用于作品創作中，以內容為先，設計適合內容的交互方式，使作品既有完整的內容表達，又具有時代性、科技前沿性的交互方式；多媒體藝術設計關注跨平臺的使用狀態和多媒介的融合，使作品充分借助硬件功能來表現作品內容。近幾年，我院自主創作了多部優秀的多媒體作品，借助人工智能技術使其更具交互體驗性和視覺觀賞性，在寓教于樂中傳達內容，使用戶更有效地理解作品內容和提升用戶體驗感。

三、智能時代多媒體作品的交互設計特點

多媒體交互設計過程可以分解為使用者發生行為，行為之后觸發變化，變化之后產生的心理感受這三部分。用戶交互行為是其設計重點，人機互動的設計本質是回歸本真的交互行為設計，智能時代的多媒體作品力求通過人工智能技術，使用戶發出自然的交互行為與作品互動，行為之后觸發的變化是用戶與作品之間承接行為的“界面”所產生的視覺、聽覺、觸覺等的反饋，而這些變化就是交互體驗，是可以讓用戶體會到愉悅、新奇、滿意的感官體驗。

人工智能技術有虛擬現實技術、增強現實技術、體感捕捉技術、語音識別技術、圖像識別技術等，技術是實現行為效果的手段，交互行為的設計首先要以作品內容為本，才能達到事半功倍的交互效果。交互行為要自然和貼近生活，空間化的交互場景、豐富多樣的交互反饋和多媒介融合的交互方式是可以提升用戶體驗感的。下文將結合案例分析智能時代多媒體作品的交互設計特點。

（一）以內容為先，交互行為要適合作品內容

20世紀90年代比爾·蓋茨提出“內容為王”，優質的內容是吸引用戶最本質的要素。一部優秀的多媒體作品，無論應用多么前沿、先進的交互技術，首先還是要以內容為本。內容是文化，是靈感的來源，“形式追隨內容”。交互設計是多媒體藝術的核心特點，但交互行為不能脫離作品內容，一定要從作品內容出發，設計適合內容的交互形式，這樣才能更好地傳遞作品信息。例如移動端交互游戲最常用形式是“找不同”“拼圖”“比大小”“接東西”等，一部介紹動植物的，面向兒童的科普類多媒體作品，應用“拼圖”游戲來熟悉和體驗作品內容是較為合適的。但不是任何主題、不同受眾人群都適合這樣的交互形式，如若是一部面向書畫愛好者的，介紹中國畫藝術的多媒體作品，以上的交互形式就不適合。人工智能技術的融入是為內容服務的，適合內容的交互表現才能起到提升作品用戶體驗的作用。

例如，我院多媒體藝術設計專業師生自主研發的移動端交互作品《小小折紙家》，這是一部面向兒童的介紹折紙藝術的作品。折紙藝術實操性極高，尤其一些造型復雜的折紙，傳統的圖文介紹方式要想將這個過程展示清楚是比較困難的，因此作品借助增強現實技術，“增強”數字端折紙影像顯示的真實性，在以Low Poly的復古未來派風格設計的折紙形象和三維場景中立體的顯示折紙視頻和三維形象（如圖3）。增強現實技術交互方式在這部作品中的應用是恰到好處的，讓用戶清晰、直觀、身臨其境地觀看到折紙的每一個步驟，這是符合并能提升作品內容表現力的交互方式。

又如我院作品《東巴之謎》，是一部介紹西藏面具的多媒體交互作品。在展示面具樣式板塊，為了讓用戶更真實地感受面具的形態，作品借助Leap Motion體感捕捉設備，用戶通過肢體動作與面具進行交互，放大、縮小并360°旋轉，查看面具的各個角度。作品還設計了體驗環節，利用攝像頭進行面部識別，通過屏幕顯示使用者佩戴面具的狀態，讓用戶親身體會佩戴面具的效果（見圖4），加深對西藏面具的理解。在本部作品中體感捕捉交互方式是非常適合展示和介紹西藏面具等版塊的，交互方式提升了用戶體驗感，同時加深用戶對作品內容的理解。

（二）結合媒介特點，設計適合的交互行為

從以智能手機為代表的移動終端的發展開始，多媒體藝術設計呈現出多媒介、跨平臺的表現狀態，多媒體作品擴展了移動端、大屏幕投影顯示、觸摸屏顯示等發布形式。多媒體交互設計創作要充分考慮媒介本身的特點，借助其優勢，使交互行為的表現自然而回歸本真。例如以智能手機為代表的移動端設備，以Multi—Touch技術的多點觸控交互方式，使移動端的交互行為基本表現是單指或多指點擊和雙擊、兩指放大、縮小、滑動、按壓、拖動、旋轉等。移動端多媒體交互行為設計要以這些為基礎，利用多點觸控的交互特點，最優化地展現作品內容。并且移動端硬件本身具有攝像頭、麥克風、陀螺儀、傳感器等硬件元件，具備圖像識別、語音識別、位置定位、重力感應、距離和溫度等感應識別的功能，是實現增強現實、虛擬現實、體感觸控、語音識別等交互方式的最佳硬件條件。

如我院自主研發的移動端交互作品《怪哉》，這是一部介紹中國志怪文化的作品，以唐代志怪小說《酉陽雜俎》為內容依托，以解密式游戲推動故事情節的展開。作品以Pad為發布平臺，充分利用移動端圖像識別的功能，結合增強現實技術，將數字端與實體空間表現相融合，在實景空間設置道具作為增強現實識別點，然后將虛擬影像顯示在真實場景中，空間式立體地解密游戲的每一個環節，讓用戶沉浸在志怪文化的氛圍中，真切地感受和體驗光怪陸離的鬼怪世界（見圖5）。

又如我院作品《鯨奇》，這是一部面對6-8歲兒童的介紹抹香鯨的科普移動端多媒體作品。作品中介紹“抹香鯨聲音系統”的板塊（見圖6），設計了語音交互環節，用戶發出聲音，系統識別聲量大小在反饋界面以動態視效展現聲音分貝變化，讓用戶來對比感受抹香鯨發聲體系的分貝大小。在展現“抹香鯨在大海中潛水技能”板塊（見圖7），借助移動端的重力感應功能，轉動屏幕，界面中海水深度隨之不斷下潛，并同時顯示對應在不同深度生存的海底生物，直到抹香鯨生存深度。這兩個交互環節設計得非常巧妙，充分利用媒介特點設計交互行為，讓用戶直觀、形象地了解抹香鯨的知識，也帶給用戶極為生動，如同親身體驗般的交互感受。

（三）行為之后觸發的反饋是提升交互體驗感最直觀的方式

用戶與作品進行交互之后，會觸發承接行為的“界面”產生變化，如視覺元素的動效變化，音效變化，肢體感受的觸覺變化等，這些變化代表這是一個互動的過程，通過感官傳遞給用戶，是作品完成本身功能以外帶給用戶的心理體驗，是可以讓用戶體會到愉悅、新奇、滿意的感官體驗，這就是用戶體驗。提升用戶體驗感是交互設計的目的，交互行為之后觸發的反饋就是提升交互體驗感最直觀的方式。因此，這個“觸發效果”要根據作品內容，綜合、恰當地設計視覺、聽覺、觸覺以及嗅覺等的效果變化，從而調動用戶的感官，讓用戶感受到深入、飽滿的感官體驗。

人工智能的各項技術，其回歸本真的交互行為本身就是為了帶給用戶更好的交互體驗，交互之后觸發的“界面”變化也是趨于自然化表現。例如增強現實技術，虛擬影像與真實空間的結合給用戶帶來更加真實的空間感受，讓用戶沉浸其中，視覺、聽覺、觸覺等多種感官感知功能被綜合調動，實現了用戶交互意圖與多通道感官體驗的結合。如我院作品《怪哉》，作品應用增強現實技術，在真實空間中每一個識別之后的視覺反饋都配合聲效，例如用低沉急促的音樂搭配如爆裂般的視效，渲染作品神秘、詭異的氣氛，使用戶沉浸在志怪文化的刺激和新奇之中。

又如我院作品《流光》，這是一部介紹光繪藝術的多媒體交互作品。光繪也叫光繪攝影，是以光的繪畫為創作手段的攝影作品，任何光源都可作為成像效果的一部分。光繪藝術的特點是現場即時性和空間性，于是作品以投影儀、電腦和體感捕捉設備，在三維空間中創建一個光繪互動空間，體感設備捕捉用戶的肢體動作，在投影儀投射的平面上反映出光繪隨人手部動作進行的形象創作和與原本的圖像互動的變化。而每次互動后的界面反饋都與用戶的肢體行為相對應，并搭配音樂變化，例如，當用戶手做出橫向切割的動作，畫面中的光繪圖形隨之被切斷，音樂隨之達到高潮或重音以示交互變化（見圖8）。這些交互反饋充分調動用戶的感官，交互行為引發的視覺和聽覺變化搭配表達，極好地讓用戶體驗到愉悅、興奮的交互感受。

（四）科技思維方式，技術為內容服務

社會生產力和科學技術是推動社會進步的力量，智能時代科學技術更是讓人們的生活發生著日新月異的變化。新時代的設計師必須具備科技思維模式，科技思維方式已經成為設計創意思維的一種方法，即從技術的角度思考如何更有效地解決問題和展現效果。利用技術的優勢，適配合適的內容，以達到最佳的展示效果。例如語音識別技術是通過語音進行交互，語音交互可以傳遞人的情緒，是最自然接近本能的交互方式，解放雙手和雙眼，在需要多感官協同的場景下效率更高。從技術特點出發，語音交互非常適合車載場景，通過語音指令與數字端導航進行路線溝通，同時完成點播音樂等多交互操作。并且面對弱勢群體、靜默群體，語音交互的親切性可以很快從情感上搭建人與產品、環境之間的理解度。還有VR/AR交互技術，在真實和虛擬之間搭建了一個橋梁，用虛擬世界的數字屬性增強、連接以及幫助解決真實世界的各類需求。例如增強現實類游戲，帶給用戶一種數字端自由、超能力的沉浸性體驗。而虛擬、增強現實的沉浸性交互體驗不僅是在游戲等娛樂項目方面發揮作用，更重要的應用是在醫療、軍事、教育等方面。

例如史上首款“游戲處方藥”設計，是一款用于醫療目的的視頻游戲—— EndeavorRx，這款特殊的“處方藥”用于治療 8 至 12 歲患有注意缺陷多動障礙（ADHD，以下簡稱 “多動癥”）的兒童。這款游戲與其他傳統游戲一樣，設置任務系統和貨幣體系，在任務系統設置了關卡、阻礙等，例如兒童玩家必須一邊躲開火坑和水下地雷等危險，一邊駕駛飛行器收集目標物來完成任務。兒童需要按照規定，每天只能玩 25到30分鐘，一周玩5天，連續玩4周。游戲的目的就是挑戰兒童的注意力，讓他們集中精力同時完成多個任務。研究人員對包括多動癥在內的多種適應癥進行了臨床研究，研究結果表明，經過一個月的游戲療法，兒童多動癥得到了緩解，兒童的注意力、學業成績和其他評估指標均有改善。雖然EndeavorRx不能治愈多動癥，但這一游戲療法可以與藥物治療、教育項目等其他多動癥療法共同使用，成為現有兒童多動癥藥物的輔助治療手段。這款數字療法在醫學史上創造了歷史，也開創了游戲設計的新意義，設計師需要用科學思維的方式賦予游戲新的功能，來服務和幫助人們解決問題。

又如我院作品《歸途》，是一部以垃圾污染為主題的虛擬現實交互游戲。作品結合虛擬現實技術構建了三維場景，讓用戶隨著小機器人的視角在被破壞的環境中游走和完成各項任務，切身體驗到生態被破壞后的窒息感，也感受到重新創建家園的艱難，從而喚醒人們對環境保護、合理處理垃圾的重視（見圖9）。從體驗經濟學中“甜蜜”地帶的理論來說，一個好的作品要具有娛樂、教育、審美和逃避現實4種體驗。當游戲作品可以發揮教育意義時，其用戶體驗性才是最優良的。本部作品正是讓用戶在娛樂的同時感受到教育意義的傳遞，這就是用科技思維進行作品創作的方式。

結論

數字化作品的呈現已經是這個時代的主流，各種智能技術的支持讓數字化的表現更加自然和無所不在，人們在原子和比特搭建的真實和虛擬空間中，自由游走和切換，更順暢地完成信息的交流。多媒體藝術設計以策劃內容為基礎，設計合理的交互邏輯框架，融合和借助人工智能技術，以科技思維的方式創新交互行為，以豐富、自然的行為反饋綜合調動用戶的感官體驗，提升作品用戶體驗感。多媒體藝術設計以內容為王，以交互性為本，以提升用戶體驗感為目的，尋求跨平臺、多媒介、自然交互的設計表現，這是順應時代發展的設計形式，在不久的將來，全智能化的交流空間中，多媒體藝術設計以其“數字化信息交流體系”的屬性勢必在智能時代發揮重要作用。

基金項目：北京印刷學院2023年課程思政與思政課程教學改革重點項目“講雙奧故事 立文化自信——《數字媒體創意思維》課程的思政教學設計研究與實踐”（項目編號22150223035）。

參考文獻

[1]李四達. 數字媒體藝術史[M].北京：清華大學出版社，2008.11.

[2]李四達，丁肇辰. 服務設計概論：創新實踐十二課[M]. 北京：清華大學出版社，2018.9

[3]黃蔚. 服務設計：用極致體驗贏得用戶追隨[M]. 北京：機械工業出版社，2020.11

[4]胡杰. 多媒體藝術設計[M]. 北京：北京航空航天大學出版社，2009.11

[5]張雯，付琳.多媒體交互設計的創新方法研究[J].南京藝術學院學報（美術與設計版），2010（02）：156-159.

[6]Dan Saffer著，陳軍亮譯. 交互設計指南[M]. 北京：機械工業出版社，2010.5.

[7]王珊. 體感交互技術在科普展示中的應用——以《萬物有靈》體感交互裝置為例[J].設計，2020，（33）：07.

[8]王一銘，鞏淼森.基于UACM模型的導引健身交互設計策略[J].設計，2023，36（11）：63-65.