TouchDesigner在新媒體藝術中的運用

蘇鏡如

摘? 要? 近年來，來自加拿大Deriviative公司研發的一款基于節點編程語言的多媒體創意工具“TouchDesigner”在藝術領域的應用越來越頻繁。TouchDesigner憑借自身高互通性的優勢，在影像、燈光、音樂等諸多媒體藝術領域備受設計師的青睞，越來越多的創意可以通過TouchDesigner實現且應用，未來TouchDesigner產生的設計價值和商業價值不容小覷。

關鍵詞? TouchDesigner;新媒體藝術;應用領域

中圖分類號? G2? ? ? 文獻標識碼? A? ? ? 文章編號? 2096-0360（2020）14-0009-02

1? TouchDesigner概述

TouchDesigner是一款編程類的多媒體特效軟件，但TouchDesigner與Unity3D、UE4等編程類創作平臺卻大有不同，TouchDesigner向使用者提供了一個節點式的可視化編程環境，用戶通過COMP、TOP、CHOP、SOP、DAT、MAT六類基本功能元件以及每一類元件中近百種效果控制器創作，每一個節點或OP元件代表一個獨立具體的執行動作，設計師以“連線”的方式，可以任意拖動組合動作執行的順序和層級關系。整個編程創作過程中軟件將代碼的結構和函數變成無數個模塊，因此設計師無需傳統的文本式代碼。此外，TouchDesigner高集成化的元件有助于零基礎使用者快速上手，可以在已搭建好的初始模塊的基礎上延展出豐富的視覺創意效果，在能熟練使用基本元件及其功能后再探索更復雜的變化效果[1]。

2? TouchDesigner在新媒體藝術中的應用

作為目前世界上最受歡迎的多媒體藝術編程創作工具之一，TouchDesigner被越來越多的藝術家團隊和設計工作室選擇，涉獵領域廣泛。

2.1? 互動投影裝置

近年來，TouchDesigner被頻繁應用于各類互動投影項目，包括演出投影裝置，如：洛杉磯的視覺藝術制作工作室V Squared Labs為巴西音樂家Amon Tobin的歌曲ISAM打造的視聽盛宴;互動燈光裝置，如：來自上海的工作室Digital FUN為奧迪A8L發布會設計的現場燈光秀，與傳統的預渲染交互體驗不同的是，此發布會使用數控球實時交互控制系統和動力球視覺特效系統;互動屏幕裝置，如：來自紐約的設計團隊Volvox Lab為微軟藝術長廊影劇院制作的互動屏幕墻;室外屏幕投影，如：致力于設計數字媒體和互動的創意公司Leviathan設計制作的名為“150 Media Stream”的大型動態數字雕塑;多面空間投影，如：曹雨西工作室出品的大型聲音影像裝置《Oriens》;球幕投影，如：專注于沉浸式球幕投影的Omnispace公司為西雅圖國際電影節提供的沉浸式視圖;建筑投影，如：來自蒙特利爾的多媒體工作室Moment Factory通過運用聲光電元素揭開當地圣母大教堂神秘、莊嚴的面紗，賦予這座古老教堂全新的體驗和精神面貌;互動藝術裝置，如：日本Nor Lab團隊設計完成的圍繞色彩和聲音之間的聯覺開展的互動裝置項目，體驗者通過手持設備激活裝置的聲音系統并生成變幻莫測的色彩組合，手持設備的實質是調整色輪，它的水平維度代表飽和度，垂直維度代表亮度，因此手持設備會隨著體驗者的移動直接影響裝置的視覺效果。體驗者通過獲取空間的位置信息進行互動來生成聲音和圖像，這種視聽體驗能夠刺激體驗者的感官去理解、記憶聯覺現象。

TouchDesigner可以與照明設備、音頻系統、輸入和輸出設備進行通信，可以在各種類型的現場表演中使用表演控制組件。TouchDesigner將數據在不同類型間相互轉換，從而可以輕松的使用圖像或動畫紋理對LED等照明設備進行編程控制，實現可視化操作和預覽光束效果。

2.2? 虛擬現實體驗

TouchDesigner的多類功能均可與VR工具及設備無縫銜接，借助TouchDesigner和虛擬現實，使用者可以創建和播放全景環繞電影。“The Future of Music”是電影導演Greg Barth和Phenomena Labs工作室一同打造的一個沉浸式超現實主義音樂空間。在這個項目中，設計團隊使用預先可視化功能分析內部三維空間，他們將虛擬攝像機和虛擬NPC角色放置于空間內部以明確空間的尺寸、燈光位置以及道具的尺寸等。團隊將現場拍攝視頻與提前錄制的視頻實時拼接合成，設計者使用TouchDesigner來實時觀看全景攝像頭捕捉的影像并且進行后期調整，以創建完善VR設備內的全景環境。同時，這個項目展示了使用VR作為創作媒介對于傳統藝術空間形式的顛覆性改變和影響[2]。

2.3? 即興影像表演

許多音樂現場和世界級的音樂舞臺都選擇與TouchDesigner合作，VJ（Visual Jockey）即時的剪接影像、動畫等視覺元素并添加效果，聯合音樂與視覺打造一個沉浸式實時體驗環境，帶給受眾視覺和聽覺的雙重享受。2019年3月，音樂人Deadmau5在邁阿密完成舞臺的全新升級——Cube V3。團隊利用3D打印技術構建舞臺模型，舞臺底部安裝液壓動力系統，通過內置程序控制立方體舞臺的傾斜變化。Deadmau5在Touch Designers搭建視覺數據系統，并與舞臺內部的觸控組件建立連接，舞臺的燈光效果、視覺呈現、旋轉角度等都可以通過這個觸控裝置實現。

3? TouchDesigner的功能優勢

3.1? 多平臺互通性

TouchDesigner可以根據不同軟件、硬件設備、超文本傳輸協議、全球廣域網系統匹配操作選項，將TouchDesigner集成到任何環境中。例如：2013年發布的專業音序器Ableton Live;用于設計復雜交互程序的可視化編程語言MaxMSP;用于原型設計開發的圖形化編程軟件VVVV;以及目前正在開發的超過95%的AAA游戲項目都使用3D紋理制作軟件Substance Designer等。設計者可以借助TouchDesigner自定義不同視覺效果的運算符，呈現形狀轉化、緩動、景深、粗糙邊緣、噪波、回旋路徑、動態模糊、光斑、散射、紊亂置換、粒子效果、固層旋轉等動態視覺變換。TouchDesigner通過傳輸控制協議（TCP）和用戶數據報協議（UDP）與Web服務器、Web應用程序、Twitter和Instagram等社交應用程序編程接口進行交互。

在新媒體藝術創作中，TouchDesigner可以被視為一個實現不同格式的媒體文件整合統一的平臺，幫助設計者利用不同軟件和硬件的功能創造出更加接近完美的藝術作品。無論是PS等平面設計工具，還是AE等視頻剪輯工具、C4D等三維渲染插件都可以快速的接入TouchDesigner進行二次創作。通過TouchDesigner，設計者可以通過位置追蹤C4D模型，還可以實現音頻控制、時間控制等實時交互效果。對于媒體藝術創造者和設計師而言，可以較為輕松的學習并使用TouchDesigner，而對于程序員而言來說，TouchDesigner使用數據流的方法和可視化節點結構幫助他們在原型設計和開發環節更加高效，而且能夠輕松的幫助他們將藝術家制作完成的視覺部分與后臺程序運行部分結合，避免不同領域使用不同軟件造成的誤差，同時便于雙方人員的交流合作與二次調試修改，從而高效完成藝術項目落地及設計項目的精準投放。

3.2? 實時3D渲染及高分辨率合成

除了基礎的2D紋理陣列以及多層紋理，TouchDesigner將實時3D渲染與高分辨率合成相結合，在本地素材庫為設計者提供不同類型的物質材料，且線上社區還有官方和個人分享的可供使用的材質貼圖、環境光等文件素材。

除此之外，TouchDesigner提供多種高級視頻解碼器以保證視頻播放質量以及最大化的發揮硬件設備的潛力，以HEVC（H.265）為代表的預測加變換的混合編碼框架、用于Adobe CC應用程序的HAP編解碼器、適合高清剪輯的Gopro Cineform轉碼器等，都為設計項目中的高性能HD視頻和4K視頻的輸入和輸出提供更多的解決方案。在TouchDesigner的自定義配置中，設計者可以將作品任意組合同時輸出到不同的顯示器上，實現多個音頻源和視頻源的混合和相互觸發，還可以使用同步運算符和硬件框架為藝術作品創建大型的多機聯網基礎架構。

4? 結語

由于國內市場情況，TouchDesigner目前尚未在國內廣泛使用。但隨著傳播體驗的升級，未來大眾對媒體藝術審美水平的大幅提高，像TouchDesigner這樣的創意工具將會產生巨大的設計價值和商業價值。因此，筆者希望通過此文能引起國內設計從業者對TouchDesigner關注和重視。

參考文獻

[1]陳娛.可編程材料在數字藝術中的研究與應用[D].北京：中央美術學院，2019.

[2]韋艷麗.新媒體交互藝術[M].北京：化學工業出版社，2018.