新媒體交互影像的情感化表達研究

閆宇，郭飛，李四達（通訊作者）

（北京服裝學院 藝術設計學院，北京 100029）

交互影像是在20世紀早期的實驗電影的基礎上演變而來。《機械舞蹈》（圖1）就是早期最具代表性的實驗影像作品之一。1926年，法國立體主義畫家，導演費爾南德·萊熱（Fernand Léger，1881—1955）將鐘擺、蕩秋千的女孩、上樓梯的婦女、活動的木馬、機器零件、櫥窗模特、日用品、招貼畫和報紙的標題等加以并列，通過機械運動的不斷重復來不斷強化人們對機械的思考與反思。隨著技術的不斷發展，交互影像藝術越來越注重觀眾的體驗，作品也更加注重多元化與個性化，同時也在與各種新的體驗技術相結合。目前對于新媒體交互影像的研究多以交互性、行為性為主，但對這些作品的情感性、體驗性和社會性等問題的研究仍有待深入。本文希望通對交互影像的情感化研究來關注藝術家的創作動機以及這些作品對觀眾情感體驗的影響。符號美學代表人物蘇珊·朗格（Susanne K.Langer）曾經指出：“藝術，是人類情感的符號形式的創造。”即藝術是一種表現人類普遍情感的知覺方式。交互影像裝置的最大優勢就是在于讓觀眾通過與作品的嬉戲，不經意之間與作品產生了情感的聯系。例如，2018年《萬物有靈》新媒體藝術展上，由張宗惠、羅偉和王之綱創作的互動影像裝置作品《骷髏幻戲圖》（圖 2）便是作者與觀眾融合創作一個很好的典范。觀眾們通過點擊屏幕的虛擬團扇，并將自己代入到宋代李嵩的這幅名畫（圖 2，左上）的場景中。當觀眾觸摸大骷髏手中的提線，小骷髏便會開始賣藝表演。但如果觀眾持續撥動提線大骷髏便會散架，而小骷髏則會對觀眾埋怨并觸點觀眾的情感。該作品的主題是“生死相依，生死輪回”，表達了作者想要對生死情感的寄托與討論。通過觀眾與作品的融合創作，使作品的情感化內涵得以完美表達。

此外，2018年，由王之綱等人創作的交互影像裝置《射擊游戲》（圖3）也是一個充滿反思和哲理的作品。該裝置通過內外兩層沉浸式影像,筑建了一面看不見的“墻”。當體驗者戴上VR眼鏡時，看到的是輕松愉悅的射擊游戲，而在外面，其他觀眾在環繞著的投影屏幕上看到的，卻是殘忍的死亡殺戮，視覺上產生鮮明的對比。當“射擊者”摘下頭盔，看到他（她）在開心靶場所射擊的“靶子”變成了一個兒童殺戮的血腥場面時，感官體驗瞬間轉換，讓觀眾在交互的過程中深刻體驗到信息壁壘的存在，從而深入思考真實和虛擬之間的邊界。《射擊游戲》通過射擊者、旁觀者與作品的互動，使觀眾的體驗從感官的快樂上升到理性的反思，成為詮釋作品情感化設計的范例。

基于深度學習的人工智能也為藝術家創意提供了新的思路。中國留美藝術家韓旭（Xu Han）的《眼淚的語言》（The Language of Tears，2018）就是運用“機器學習”的手段，將眼淚定義為一種語言來構建人類和機器之間的情感溝通。為了訓練機器識別出“哭泣”的表情，藝術家自拍了2000 張哭泣的照片，隨后讓機器人識別電影《悲慘世界》中女主角唱歌《我夢到了一個夢》（I dreamed a dream）中的哭泣表情。通過一個由機器人控制的“眼淚”壓力感應裝置，這個機器裝置就會根據演員的表情而“傷心流淚”（圖 4）。該作品曾經獲得帕森斯（Parsons）設計學院最佳創意大獎，因為它成功地詮釋了情感與深度學習之間的聯系。

>圖1 費爾南德·萊熱的抽象實驗影像《機器舞蹈》

>圖2 《骷髏幻戲圖》（宋）畫作(左)和交互影像裝置《骷髏幻戲圖》（右）

>圖3 王之綱等人的交互影像裝置《射擊游戲》及內外的不同視角（右上）

>圖4 藝術家韓旭的影像交互裝置作品《眼淚的語言》（The Language of Tears，2018）

>圖5 由Moment Factory為世界各地公園打造的沉浸式夜游體驗

>圖6 基于混合體驗和情感化體驗的用戶模型

近年來，各種同步交互技術已經成為年輕藝術家們創意的利器。基于Touch Designer、Unity、VVVV和processing的軟件編程/控制技術在藝術現場交互/動態視覺效果設計中大顯身手。雷達交互、基于kinect的體感開發、虛擬/增強現實和Leapmotion手勢識別、聲音可視化以及arduino交互聲控技術等也讓新媒體藝術現場的表現性大大增強。這種全新體驗的交互影像不僅用于交互裝置，而且在舞臺藝術、交互劇場設計以及交互公園設計等領域展示了強大的生命力。例如，Moment Factory是一家位于蒙特利爾的數字藝術創意工作室。該團隊專注于將傳統公園結合視頻、燈光、建筑、聲音和互動效果來設計沉浸式體驗環境。由該團隊開發的“夜游LUMINA”就將公園實景文化與多媒體影像相結合，通過充滿幻想的燈光、音效、影像以及交互設計，讓美麗的自然風景和奇幻的虛擬互動影像融為一體，給游客帶來新的體驗、驚喜和感動（圖 5）。目前該團隊已經在東京、巴黎、倫敦、洛杉磯、紐約等地的公園訂制本地化的“夜游體驗”，并成為當地旅游的新熱點。

無論是更加注重觀眾情感體驗的互動公園，還是新一代藝術家所創作的互動體驗裝置，和過去10年的新媒體作品相比較，我們可以發現一個重要的現象：混合體驗和情感化已經成為當前數字媒體藝術裝置、數字燈光秀，媒體建筑、藝術體驗展和劇場舞臺設計的重點。可以看出：早期以視覺為主體的互動裝置作品已經逐步讓位于“沉浸式”的混合體驗為核心的情感化設計。這個用戶體驗模型的核心是以用戶的“五感體驗”為基礎，其媒體環境包括桌面媒體、移動媒體、可穿戴（手環或頭盔、眼鏡）、增強/虛擬現實體驗設備以及嵌入到環境、建筑中的各種傳感器和智能識別設備。媒體環境結合了以大數據為核心的數據云端資源，就能夠帶給用戶更豐富的情感互動體驗（圖 6）。在這個模型中，無論是現實環境還是虛擬環境，都不會是傳統的電腦或者3D影院，而是能夠讓用戶產生“超現實”混合體驗的“人造自然”環境。

綜上所述，通過對近年來交互影像的案例分析并結合技術發展的趨勢。我們可以看出，除了注重材料、技術、視覺、交互等方向的藝術創作外，越來越多的藝術家開始注重作品的情感化的表達。無論是從生命、社會、傳統文化，還是空間、自然等各個方面，藝術家們都希望能通過作品達到與觀眾共情并帶動觀眾情緒的效果。《情感與設計》一書的作者托夫·凡·戈普（Trevor van Gorp）曾經指出：“如果產品能夠表現出始終如一的個性，人們才會更喜歡、更信任它”。從未來趨勢上看，隨著5G時代的到來，更順暢、更自然的人機交互將成為新的生活與娛樂方式。帶有“情感”或“智能”的機器人、交互裝置、舞臺劇場、媒體建筑和互動公園將會越來越普遍。藝術家對作品的情感化與個性化的探索無疑會大幅提升作品的質量與吸引力，也會使未來的新媒體交互影像越來越豐富多彩，并成為5G時代文化與娛樂體驗的重要組成部分。