基于TouchDesigner的互動裝置藝術應用研究

朱洪萱 韓帆

摘要：傳播體驗的逐步升級讓大眾對媒體藝術的審美水平顯著提高。TouchDesigner（視覺設計工具）的出現(xiàn)迎合了目前大眾市場的需求，它的高互通性、高集成性等優(yōu)勢讓其成為目前最受歡迎的多媒體藝術編程創(chuàng)作工具之一。運用TouchDesigner生成互動裝置，給予了互動裝置藝術更多的創(chuàng)新形式與發(fā)展空間，有利于傳播新型交互式編程技術，讓我國在數(shù)字媒體與交互式編程設計領域的國際競爭力得到顯著提升。本文通過分析TouchDesigner生成的互動裝置案例，探討互動技術的進步為裝置藝術帶來的影響與意義。

關鍵詞：TouchDesigner;互動裝置藝術;創(chuàng)新應用

中圖分類號：G206 文獻標識碼：A 文章編號：1004-9436（2021）15-000-02

互動裝置藝術在數(shù)字媒體藝術范疇內(nèi)，順應了現(xiàn)代數(shù)字媒體藝術的發(fā)展趨勢。早期的裝置藝術在空間、材料、體驗感、受眾群體、創(chuàng)作者等多方面受限，而將互動性融入裝置藝術中，在拉近觀眾與作品距離的同時，也讓作品本身在藝術與情感的表達上發(fā)揮得淋漓盡致，藝術從原來的單向信息傳遞轉(zhuǎn)變?yōu)橛^眾與藝術家之間的雙向信息傳遞。互動裝置藝術的出現(xiàn)，突破了傳統(tǒng)藝術的靜態(tài)美學，觀眾可以親身體驗與觸摸作品，無論是從視覺上、體感上，還是情感上，都為人們帶來了全新的體驗[1]。而科技的疾速發(fā)展和大眾審美水平的大幅提高，使互動裝置藝術的實現(xiàn)方式成為我們需要探討的重要話題。

1 互動裝置藝術與TouchDesigner（視覺設計工具）

互動裝置藝術是跨界融合多媒體等現(xiàn)代技術的藝術表現(xiàn)形式，突破了傳統(tǒng)藝術的單一形式，結合生物學、光學、物理學、聲學、心理學、信息傳播學、美學等多門學科，并涵蓋計算機編程和動畫制作等[2]。同時為加強作品與觀者的互動，還涉及一些感應系統(tǒng)和輸出設備等。其中相關硬件設備及數(shù)字媒介材料不僅是創(chuàng)作的媒介材料，也是創(chuàng)作和傳播的工具。通過數(shù)字媒介和數(shù)字技術的介入，互動裝置藝術的交互性更強，其呈現(xiàn)方式也更多樣化。

TouchDesigner的誕生為互動裝置藝術提供了更加高效、便利的創(chuàng)作平臺，它是由加拿大Derivative（衍生物）公司在2001年開始打造的一款節(jié)點式可視化創(chuàng)作軟件。不同于傳統(tǒng)的復雜編程工具，TouchDesigner提供了一種利用可視化節(jié)點作為制作手段的全新創(chuàng)作方式，用戶通過COMP（Components，容器元件）、TOP（Texture Operators，圖像元件）、CHOP（Channel Operators，通道元件）、SOP（Surface Operators，形狀元件）、DAT（Data Operators，文本元件）、MAT（Material Operators，材質(zhì)元件）六種基本功能元件進行創(chuàng)作。整個編程過程中，軟件將代碼的結構和函數(shù)變成無數(shù)個模塊，通過連線的方式任意拖動控制器組合動作就能達到理想的創(chuàng)作效果[3]。創(chuàng)作者和設計師們無須擔心底層的編程開發(fā)，可以把更多的精力投入將不同的媒介裝置整合起來創(chuàng)造更有想象力的跨領域新媒體作品中。

2 TouchDesigner生成的互動裝置藝術

2.1 TouchDesigner技術分析模型

2.1.1 特點

作為計算機生成藝術的實現(xiàn)工具，TouchDesigner的隨機性是其最主要的特點之一，相同的程序并不能出現(xiàn)同樣的效果，觀眾包括作者都無法預測作品的最終效果，這賦予了創(chuàng)作本身無盡的可能。除此之外，TouchDesigner的高互通性、高集成性、實時性、數(shù)據(jù)可視化等特點讓越來越多的藝術家和設計師摒棄傳統(tǒng)的制式化制作工具，轉(zhuǎn)而利用TouchDesigner制作藝術作品、商業(yè)項目等。

2.1.2 功能

利用Python（計算機編程語言）作為內(nèi)嵌編程語言，與AI（Artificial Intelligence，人工智能）的結合讓人們對TouchDesigner創(chuàng)作的當下最熱門的人工智能有了更多的想象。TouchDesigner的實時控制界面功能讓它可運用在各個大型的商業(yè)項目和展演現(xiàn)場，行業(yè)內(nèi)高級別的穩(wěn)定性讓它被各個世界知名工作室和團隊采用。TouchDesigner軟件的內(nèi)置包括Kinect TOP（3D體感攝影機圖像元件）、Kinect Azure TOP（空間計算開發(fā)人員工具包圖像元件）、RealSense TOP（實感計算圖像元件）等硬件讀取元件，這讓它能夠與各種傳感器設備相結合，達到人機交互的效果。除了直接讀取外設數(shù)據(jù)進行通信外，豐富的協(xié)議接口也是讓TouchDesigner變得無所不能的一個重要原因，它可以根據(jù)不同硬件設施、超文本傳輸協(xié)議、全球廣域網(wǎng)系統(tǒng)以及軟件匹配操作選項，集成各種環(huán)境。

2.1.3 應用領域

面對目前變化多端的市場環(huán)境，TouchDesigner敏捷的部署及架構方式讓它擁有極強的適應能力，特別是在數(shù)據(jù)處理上能夠滿足現(xiàn)代數(shù)字媒體藝術作品種類繁多的需求，越來越多的設計師及藝術家運用TouchDesigner完成自己的項目，在交互式媒體系統(tǒng)、建筑投影、現(xiàn)場視覺及音樂表演、虛擬現(xiàn)實、機械硬件控制等多個領域都能看見它的身影。

2.1.4 感知體驗

應用TouchDesigner創(chuàng)作互動裝置藝術，在聽覺、視覺、味覺、觸覺、嗅覺五個方面充分調(diào)動觀眾獲取信息的感知體驗，觀眾與作品之間的互動達到了最佳效果，充分展現(xiàn)了觀眾與作者之間的雙向信息傳遞與交流。

TouchDesigner技術分析模型見下表，它分析與研究了TouchDesigner的特點與功能，以及目前市場上利用此軟件實現(xiàn)的專業(yè)領域，為利用TouchDesigner設計藝術作品提供參考。

2.2 應用TouchDesigner生成互動裝置藝術的優(yōu)勢與意義

互動裝置分為建立數(shù)據(jù)庫、信號采集、信號處理、成像處理以及其他輔助設備，而信號處理是互動裝置設計中的關鍵節(jié)點，作品信號的輸出、輸入以及轉(zhuǎn)換都需要編程來實現(xiàn)，編程軟件是實現(xiàn)互動裝置作品的必要手段[4]。相較于運用AS3（ActionScript 3.0，面向?qū)ο缶幊陶Z言）、C++（計算機編程語言）、Processing（圖形設計語言）等編程語言創(chuàng)作互動裝置藝術，TouchDesigner的可視化編程環(huán)境讓設計師們無須傳統(tǒng)的文本式代碼，高集成化的元件讓編程零基礎的用戶都能夠輕松使用[5]，在搭建好的初始模塊上延展出豐富的視覺創(chuàng)意效果。無論是實驗室級別的Arduino（開源電子原型平臺）、Kinect（3D體感攝影機）、Leap Motion（體感控制器），還是專業(yè)級別的舞臺燈光、雷達追蹤、人體捕捉系統(tǒng)，TouchDesigner強大的數(shù)據(jù)接口都能和它們無縫對接。清晰的界面、便捷的操作以及強大的API（Application Programming Interface，應用程序編程接口）接口讓TouchDesigner促使新媒體藝術工作者創(chuàng)作更多優(yōu)秀的互動裝置藝術作品。

3 TouchDesigner互動裝置藝術的創(chuàng)新應用

3.1 TouchDesigner在互動燈光裝置中的創(chuàng)新應用

隨著經(jīng)濟實力與文化建設的飛速進步，人們對于藝術的審美體驗要求不斷提升，互動燈光裝置藝術在這樣的背景下走進大眾視野。互動燈光裝置藝術利用光的語言進行創(chuàng)作，與基于純視覺感受的傳統(tǒng)藝術形式不同，互動燈光裝置藝術以新型交互技術為媒介，利用聲、光、電等元素給予觀者視覺與聽覺的雙重感知體驗[6]，讓作品與觀者間產(chǎn)生情感共鳴，增強大眾參與性，同時賦予藝術作品更高的社會價值。

WhiteVoid（白色空隙）是一家來自柏林的著名互動燈光雕塑設計工作室，其Kinetic lighting（動態(tài)照明）項目遍及全世界，是使用TouchDesigner的先驅(qū)團隊。同時其交互裝置與產(chǎn)品被廣泛運用于博物館、展覽會、展銷會及音樂會中。《SKALAR（斯克拉）》是由WhiteVoid（白色空隙）工作室的創(chuàng)作者Christopher Bauder（克里斯托弗·波特）和Kangding Ray（康定·雷）結合TouchDesigner制作設計的大型聲視互動燈光裝置，探索了聲音和光線對人類情緒的影響。Kraftwerk Berlin（柏林電廠）的漆黑工業(yè)空間內(nèi)，大量動力鏡面裝置運用TouchDesigner進行現(xiàn)場實時控制，通過對光的折射形成了絢麗奪目的迷人光線，結合多維聲音的試聽敘述，呈現(xiàn)出移動的燈光和復雜的多聲道音響系統(tǒng)。TouchDesigner的高穩(wěn)定性讓它可以在現(xiàn)場對燈光、聲效進行實時控制，當觀眾身處裝置中，在視覺、聽覺與觸覺的多重感官刺激下激發(fā)多樣的情緒，觀眾在融入作品的同時也能夠賦予作品本身更深層次的含義。

3.2 TouchDesigner在互動影像裝置中的創(chuàng)新應用

相較于傳統(tǒng)影像裝置，互動性是互動影像裝置區(qū)別于兩者的一大特點。將互動性融入影像裝置藝術，不僅完善了傳統(tǒng)影像裝置技術層面的缺陷，也在一定程度上改變了觀者與作品間的交流與表達方式[7]，觀者在欣賞作品的同時與作品互動，從而在情感上加深對藝術作品的認同。互動影像裝置在創(chuàng)作過程中需要運用特定的傳感器來進行信息采集，并及時傳輸?shù)綄O備。通過現(xiàn)有的電腦語言鏈接程序來判斷傳感器傳輸?shù)碾娦盘枺⑼瓿蓴?shù)據(jù)的處理，接著用指令的形式將其傳輸?shù)讲シ努F(xiàn)實終端，實時反饋特定的影像或圖像[8]。而TouchDesigner的高互通性為互動影像裝置的創(chuàng)作提供了更多的便利與藝術可能性，其出色的硬件交互性能讓其區(qū)別于其他類似的交互軟件，在創(chuàng)作互動影像裝置時可以直接利用TouchDesigner與傳感器相連接，并在TouchDesigner平臺編寫程序完成數(shù)據(jù)處理，從而反饋影像畫面。同時，可視化的節(jié)點式創(chuàng)作形式讓更多在編程方面零基礎的藝術家及設計師依然可以運用TouchDesigner設計出令人驚艷的互動影像裝置作品。

VolvoxLabs（團藻實驗室）設計團隊來自紐約，他們?yōu)槲④浰囆g長廊影劇院設計制作的互動屏幕墻就是由TouchDesigner生成，設計者在墻上安裝好可以移動的木板，并在木板后面固定攝像頭與燈光裝置，通過TouchDesigner進行相應的數(shù)據(jù)處理，并結合攝像頭實時捕捉人物動態(tài)，從而控制燈光的明暗與走向，每個觀眾通過自身運動的形態(tài)對屏幕上的影像進行控制，從而創(chuàng)造出獨特的感官體驗。

3.3 TouchDesigner在互動視聽裝置中的創(chuàng)新應用

互動視聽裝置是將聲音與畫面相結合，通過人機互動而產(chǎn)生的藝術表現(xiàn)形式。聲音是現(xiàn)代社會的重要媒介傳播方式，是增強人們感知體驗的重要部分。互動藝術作品在有形或無形的裝置空間實體內(nèi)，與聲音碰撞產(chǎn)生特定的藝術形態(tài)[9]。在設計互動視聽裝置作品時，作品與觀者互動時產(chǎn)生的生理、心理及精神感受是創(chuàng)作的重要組成部分，通過聽覺和視覺的雙重感官刺激，能夠引導觀者更為充分地理解作品的深意和內(nèi)涵，讓作品與觀者達到強烈的情感共鳴。

鄒麓陽的互動視聽裝置《聲子記憶》由TouchDesigner生成，體驗者進入一個密閉空間，整個空間通過投影裝置將視覺畫面投射到空間中的每個平面上，運用幾何形體將畫面營造出一種無邊界感，通過沉浸式視覺畫面以及音頻與觀眾互動，挑戰(zhàn)實際空間和感知空間的邊界，從而開放一個虛擬的記憶時間。作品只有在人的參與之下才會生成它獨特的意義，“聲子”是最小的聲粒子，而“聲子記憶”則是歌頌沉靜與緩慢的一個視聽景觀。相較于一滑動就會被忘記的具有消耗性的視聽信息，《聲子記憶》互動視聽裝置是通過參與者用自己的方式去體驗與感受這個環(huán)境。

4 結語

TouchDesigner的應用迎合了互動裝置藝術的傳播需求，在TouchDesigner平臺的支持下，互動裝置藝術的展示效果及互動體驗都得到了提高。TouchDesigner強大的功能需要被更多的設計師及藝術家熟知并掌握，它將作為未來使藝術和技術實現(xiàn)跨界融合的紐帶之一，引領藝術和各學科交叉發(fā)展新趨勢，并適用于其他新媒體領域，產(chǎn)生更高的社會價值。如今，TouchDesigner已經(jīng)開發(fā)到了第三代產(chǎn)品，眾多的新媒體團隊和藝術工作者在國際舞臺上創(chuàng)作出了不計其數(shù)的經(jīng)典作品。隨著國內(nèi)技術社區(qū)、論壇以及各類相關活動的興起，TouchDesigner的國內(nèi)用戶量呈爆發(fā)式增長，其強大的生命力和廣闊的發(fā)展前景為國家的經(jīng)濟、文化建設提供了強有力的支持，未來TouchDesigner將會為我國的新媒體領域創(chuàng)造更多的可能性。

參考文獻：

[1] 孫藝桐，史立新.裝置藝術創(chuàng)作中的交互體驗設計應用研究[J].藝術教育，2020（02）：215-218.

[2] 達妮莎，鄭海期.眼動技術在互動裝置藝術中的應用[J].藝術與設計（理論），2020，2（08）：108-110.

[3] 蘇鏡如. TouchDesigner在新媒體藝術中的運用[J].新媒體研究，2020，6（14）：9-10.

[4] 劉桂華，張梅芳，王盈舒.多媒體互動裝置作品特征及其影響分析——以米蘭世博會日本館《DIVERSITY》為例[J].設計，2018（22）：130-132.

[5] 郭開鶴.計算機生成藝術在圖形世界中的意義[J].美術觀察，2012（12）：124-129.

[6] 張澤方.試論可視化編程在數(shù)字媒體藝術中的運用——以TouchDesigner為例[J].時代報告，2019（06）：140-141.

[7] 方芳.互動裝置藝術在數(shù)字展示中的特性研究[J].美術大觀，2017（07）：136-137.

[8] 亓國梁.新媒體語境下互動影像裝置的藝術特征與類型辨析[J].視聽，2019（12）：82-83.

[9] 陳思洋.淺析在互動裝置藝術中聲音裝置交互的情感體驗[J].西部皮革，2019，41（12）：155-156.

作者簡介：朱洪萱（1998—），女，江蘇鹽城人，碩士在讀，研究方向：數(shù)字媒體藝術。

韓帆（1962—），女，江蘇南京人，博士，教授，系本文通訊作者，研究方向：計算機圖形學。