從交互裝置作品《飲畫》談互動藝術中的通感交互

王曼雪

（中國傳媒大學動畫與數字藝術學院，北京102208）

從交互裝置作品《飲畫》談互動藝術中的通感交互

王曼雪

（中國傳媒大學動畫與數字藝術學院，北京102208）

本文將聚焦于交互裝置的創作過程及通過對結果的分析感受繪畫中色彩使用的規律性及受眾對此交互裝置的感知及情感體驗。對互動藝術裝置的通感體驗與情感體驗進行新的探索。通過分析其對受眾心理及感知層面的影響以探索作品解讀的全新方式，并對新媒體這種賞析形式所帶來的情感傳達過程中的心理體驗誤差加以探索。

通感交互；交互裝置；新媒體藝術；色彩心理；傳感器；processing；arduino

一、互動電子裝置藝術的特性

（一）基于現代技術互動裝置的新媒體

互動裝置給受眾創造了一種全新的與機器、環境和時代互通情感的交流模式。以互動性為第一表現特性，依托科技，借助傳感器及多媒體參與，在人與機器及物理環境之間搭建交流橋梁。互動裝置可以高度調動參與者的多種感知覺神經，創造一種全方位的沉浸式體驗，從而達到人機交互的理想體驗。

（二）交互裝置藝術的跨學科應用特性

裝置可以由任何材料構成，擁有廣闊的包容性。在新媒體中通過嗅、味、溫等材料的應用，人們發覺更多的可能性與可實踐性。科技與材料的緊密結合，交互設計本身所涵蓋的社會學、心理學、認知科學等內容，以及在設計方面所涵蓋的平面設計、產品設計與商業美術等方面，使得交互裝置藝術有著強烈的跨學科性。

（三）交互裝置中“通感”的使用意義

無論之于生活或藝術創造，“通感”都是不可缺少的感官參與形式。通感包含了不止一種感官的參與，是一種由一種感官反應引起其他感官反應的多重反應的“連鎖機制”。在審美過程中，感官成為感知的橋梁，為審美流程打下基礎。在交互裝置這座參與者與交互對象間的橋梁建造時，通感的應用必不可少。

二、媒體藝術創作中的通感體驗

（一）互動媒體藝術創作中的感覺體驗

感覺由人的感官誕生。把握感覺的特性可以為媒體藝術創作提供啟示。在電影院欣賞一部電影作品時，給觀眾留下深刻印象的并非只有光影形象。聲效、環境與氛圍布置、觀眾座椅的舒適程度甚至爆米花與可樂的味道都會為觀眾體驗這一影片提供多樣的途徑。顯然，在媒體藝術創作的過程中，始終著眼于以一種特定的感覺方式并不能為體驗者提供完整的體驗。

（二）互動媒體藝術創作中的知覺體驗

知覺以感覺為基礎，本身又是后續思維活動的基礎。在知覺的影響下，人們做出判斷并進行后續的行為。在認知過程中，知覺受到多方面的心理因素影響。要設計一項有效率的交互裝置，應當將知覺體驗的選擇性、排他性、與個體差異性納入思考范圍內，創造便利的體驗條件與環境。

三、基于創作的實踐探索

（一）課題研究背景

1.基于微控制器的物理交互設計試驗

基于之前的心理學與傳播學的理論支持和現有的新媒體技術手段，作者以作品設計的方法對理論研究進行實踐支持。此作品運用微控制器Arduino和視覺軟件processing制作，設定了全新的畫作觀賞體驗場景，為體驗者提供了全新的作品解讀方式。

2.對藝術作品解讀的全新訴求

以往的藝術作品賞析形式往往比較單一，缺多感官聯動機制。而通過單方面感官體驗對復雜的藝術作品進行分析，并不能令沒有基礎的普通觀賞者有直觀而深層的理解。而人們也通常不再滿足與單一的觀賞形式。新媒體的時代背景為藝術品的解讀方式提供了全新的技術可能性與時代訴求。

3.印象派作品的特征及創作情感探索的可能性

印象派畫家依據光譜七色來調配顏色。由于光是瞬息萬變的，印象派畫家在繪畫中注重對外光的研究和表現。通過使用計算機對印象派畫家作品中光的表現進行色彩解構和分析，可對其色彩的運用和個人感情傾向進行一定的規律性探索，并將分析的結果以可量化及多感官體驗的形式反饋給受眾。

4.色彩心理的個性與共性的存在

色彩心理是客觀世界的主觀反映。人們對色彩的認知與多方面條件相關。人們對于色彩的心理認知，在很大程度上同時受到自身認知模式與社會的價值取向的影響與控制。另一方面，人類對于色彩的認知依然存有共性。色彩心理中的個性與共性的并存，為本設計提供了基礎條件。用戶對傳統名畫直觀的視覺解析，更多地體現了色彩心理中共性的部分；而經過對裝置調配后的“色彩飲料”的品嘗得出的感受，則更多地體現了個性體驗。

（二）課題研究目的

通過解構印象派作品中的色彩，對特定光譜中七種色彩的使用頻率的量化分析，將難于解讀的藝術品轉化成可量化的帶有苦辣酸甜的飲料。使用者將獲得全新的體驗方法與解讀渠道。

本文將聚焦于交互裝置的創作過程，對互動藝術裝置的通感體驗與情感體驗進行新的探索。通過分析其對受眾心理及感知層面的影響以探索作品解讀的全新方式，并對新媒體這種賞析形式所帶來的情感傳達過程中的心理體驗誤差加以探索。

（三）作品創作過程

作品采用processing，arduino，MakeyMakey制作完成了畫作分析，串口通信，物理端電機驅動。

1.畫作分析

上行串口使用processing程序對畫作的顏色數值（用光及色彩傾向）進行可視化分析，讓觀者對畫作中RGB三色的比重和亮度有更加直觀的了解。

2.鍵盤傳感器的數據傳輸

利用MakeyMakey這一電子板驅動的觸摸調色板在裝置中取代了鍵盤的角色。作為鏈接信息輸出與輸入的物理控制載體。

3.串口通信及物理端的電機控制

（1）顏色飲料的選擇。通過65份有效調查結果可以發現，紅色帶給人們的視覺感受是熱情，沖動，而感覺相似的紅色飲料則是西瓜汽水；黃色給人以燦爛輝煌的感覺，對應檸檬汁；綠色青春活力，對應綠茶飲料；藍色平靜包容，而對應運動功能飲料；紫色神秘莫測，而最代表其特點的飲料則是葡萄酒。

基于這份調查數據，我們得出了人們在日常生活中基于經驗對色彩感受的印象，和他們對味覺感受所形成的經驗性預判。

將紅綠藍黃青紫六色控制的六個水泵與對應的飲料用軟管鏈接。指定的飲料會在調色板上的顏色被觸發時按圖畫中對應顏色的色彩值輸出。

（2）通過arduino按照色彩數值對不同飲料的量化輸出。通過arduino對數據進行量化處理并將可被受眾直觀接受的量化信息反饋給受眾。將processing得出的各種色彩數值（0-255）通過串口傳輸數據給Arduino，由Arduino做為控制器，控制繼電器開關從而控制水泵運行的時間。每個水泵對應不同的飲料，每個顏色值數據控制不同水泵。而由于畫作的色彩數值不同，最后混合出的飲料也是完全不同的。

四、結語

借助傳感器及多媒體的交互形式，互動裝置為受眾創造了全新的與機器互動與空間互通情感的氛圍與環境，在人與機器及物理環境之間搭建可交流溝通的場域。隨著電子傳感器及媒體技術的發展與普及，可以相信，藝術家和設計者利用新媒體技術可以為大眾創造更多通感體驗。而同樣可以預見的是，在不遠的將來，信息的受眾會越發不滿足于形式單一、渠道單一的信息獲取模式。借助多媒體技術與電子傳感器尋求多感官的、多元化的信息交流模式，將會成為信息傳播中不可忽視的全新訴求。而當技術成熟與訴求擴大達到一致時，借助新媒體技術實現的通感交互方式將不可避免的成為傳播與交流的主流模式。

［1］張春興.現代心理學［M］.上海：上海人民出版社，2005.

［2］邵志芳.知心理學：理論、實驗和應用［M］.上海：上海教育出版社，2006.

［3］海姆，李學慶（譯）.和諧界面：交互設計基礎［M］.北京：電子工業出版社，2008.

［4］李萬軍.色彩：光與影的游戲［A］.色彩科學應用與發展——中國科協2005年學術年會論文集［C］.2005.

［5］柳喆俊.感覺、知覺與互動媒體藝術創作［A］.自主創新與持續增長第十一屆中國科協年會論文集［C］.中國重慶：中國科學家協會、重慶人民政府，2009.

［6］周娉.互動裝置的體驗設計研究［D］.武漢：武漢理工大學，2009.

［7］孫煜瓏.？感悟“真實的虛幻”［D］.北京：中央美術學院，2009.

［8］王丹.感知與回應［D］.北京：中央美術學院，2013.

J205

A

1005-5312（2016）08-0017-02