基于Processing的新媒體生成藝術交互設計實驗研究

陳楨 陳媛媛

摘要：生成藝術是新媒體藝術中的一個分支，是先編好編程后由計算機自主運算呈現出圖形的過程，體現了人與計算機交互創意，Processing（編程語言）是創作生成藝術的良好工具。本文利用Processing開源編程進行實驗、創作，探究Processing在藝術創作上的表現，以及與其他硬件進行物聯后的效果，如Kinect（體感設備）、Arduino（開源電子原型平臺）、TouchOSC（物聯網控制器）等等，旨在使藝術創作具有更豐富的表現效果和多種交互的可能性。

關鍵詞：Processing;生成藝術;交互

中圖分類號：J05 文獻標識碼：A 文章編號：1004-9436（2021）10-000-03

0 引言

紐約大學Philip Galanter（菲利普·加蘭特爾）在其論文中給生成藝術下了定義：“藝術家應用計算機程序，或一系列自然語言規則……產生出一個具有一定自控性的過程，該過程的直接或間接結果是一個完整的藝術品。”[1]結合這一定義，本文認為，生成藝術指人運用計算機語言賦予計算機自主性進行藝術創作的過程，該過程中人機交互生成了獨一無二的動態或靜態圖形，最終產出的作品具有獨特藝術魅力。Processing（編程語言）就像一塊無邊界的畫布或速寫本，使用者可以以數字語言為畫筆，在畫布上隨意發揮，創作出美妙的圖形，其也因此被廣泛稱為“最美編程”。Processing是由美國麻省理工學院媒體實驗室旗下的美學與運算小組在Java語言的基礎上進行簡化創造出來的，配有大量的開源庫供使用者學習，其目的主要是服務于藝術設計師和藝術相關愛好者，憑借高度的開源性、易上手等特征，深受藝術設計師喜愛。

本文以Processing為基礎，對生成藝術進行探索嘗試，探索人與宇宙、物質與計算機語言這類非物質形式的關系。除了在平面的視覺表現形式上進行探索，本文還嘗試以交互的形式實現與更多媒介的結合，通過與不同媒介連接控制圖形，從而生成新的圖形，讓人不再只是從視覺上獲得觀感，讓觀眾也能親自參與藝術生成的過程中，獲得更好的用戶體驗，并引起共鳴和思考。

1 文獻綜述

綜合上文對本研究內容的概述，本文從以下兩方面進行文獻綜述。

首先是實證案例。以OpenProcessing（開源編程網站）上的生成藝術為例，生成藝術作品可以給觀眾帶來神秘感與新鮮感。創作者鄭越升的Messy Curve Draw（《混亂的曲線》）在OpenProcessing網站上獲得了9.8萬閱讀量及1700點贊量。該作品（圖1左）通過看似毫無章法地在畫布上亂畫線最終慢慢生成一幅人像，其中的算法原理是由Smile Mold（黏菌）轉變而來的;德國生成藝術家Diana Lange（戴安娜·蘭格）使用Processing創作的Generative portraits（《生成肖像》）將人的肖像以計算機語言重新結構，該作品（圖1右）近看似無數個粒子間混亂的連線組合，遠看卻組成了疏密有條理的人體肖像，給觀眾帶來了“人該是什么樣”的全新視角。

其次，生成藝術的靈感與代碼編寫往往源于自然并模仿自然。2010年，Rules For Biologically Inspired Adaptive Network Design（《生物啟發的自適應網絡設計規則》）一文中驗證了黏菌的智慧性。黏菌是一種最低等的真核生物，無中樞神經系統，卻能自主做出一些非常智慧的決策，如它會自發地向食物前進，且會分裂朝不同方向尋找更多食物。文章指出，在東京地鐵站相應的位置上擺上食物，黏菌就會自發地撲向食物，整體來看，這些黏菌具有明顯的軌道線，與現有的東京地鐵軌道線呈現出大概的一致性。鄭越升創作的混亂的曲線就運用了黏菌的屬性，先通過filter庫（濾鏡庫）將底片處理成黑白灰的效果，之后將保留下來的灰度當作食物，運用黏菌原理去吃這些食物，最終產生了如圖1所示的肖像效果。L-system是由匈牙利生物學與植物學家Aristid? Lindenmayer（林登邁爾）在1968年提出的關于在植物生長過程中細胞相互作用的數學模型，現多被藝術家運用于樹木樹枝的生長演變創作中。

上述案列在平面上都取得了不錯的視覺效果，但對于生成藝術來說，最大的趣味性在于人機交互的創意，這也是新媒體藝術的特征之一。連接、融入、互動、轉化、呈現是新媒體藝術創作必經的五個步驟[2]。藝術家通過藝術作品連接觀眾，使得觀眾融入其中，觀眾親自參與到藝術創作過程中而非進行單純的視覺上的體驗，最終轉化成全新的互動影像。本文的主要研究目的就在于初步探索Processing與其他硬件的交互嘗試，從而為之后的創作帶來更多思路。以OpenProcessing網站上的作者takawo制作的面部表情識別系統為例（圖2），該作品通過攝像頭捕捉面部動作，作者通過算法讓系統學習生氣、厭煩、害怕、傷心、驚訝、高興時面部表情的一些行為特征，最后通過面部骨骼綁定識別人臉微表情以判斷人的情緒變化。

2 設計和實驗部分：基于Processing 開源編程的平面圖形制作與交互實驗

2.1 計算機基本圖形的繪制

Processing與其他編程語言最大的不同點就在于學習思維的不同。其基礎學習是從圖形的繪制開始，先將頭腦中想象的幾何圖形轉換成數學語言，再用數字描繪圖形，從而實現圖形的繪制。其基本圖形都是由點線面組成的。在Processing建立的畫布中，創作者首先確定好圖形每個部分在畫布上具體的坐標值——（x，y），然后帶入函數ellipse（圓）、rect（方形）、vertex（點）等，即可輸出想要的圖案，如圖3的雪人和蒙德里安構成作品臨摹都是通過上述原理制作而成的。這里呈現圖形的方式是最基本和簡單的，但也是必需的。繼續深入探索，創作者還可以添加邏輯語句，建立自己需要的函數，添加按鈕、聲音等一系列庫，從而讓畫面動起來，其顏色也可以隨著創作者的點擊而發生變化。

2.2 Processing與其他設備互聯實驗

2.2.1 Arduino

Arduino分為Arduino IDE（編譯器）和單片機兩個部分。在IDE中編寫編程然后燒錄到連接著各種感應器的單片機中，就可以完成一件作品。本文通過Processing與Arduino的互聯，進行了兩次交互實驗。

第一個實驗為led燈的開關控制，基本的流程圖如圖4所示。

在Processing進行GUI設計中，本文運用了controlP5、PFont庫建立按鈕和字體，通過調用serial庫定義按鈕的數值并向Arduino發送傳輸協議。根據單片機串口與LED的線路連接情況，本文在Arduino IDE中接收Processing發來的傳輸信號，定義不同數值時led的效果，最后通過鼠標點擊按鈕實現led燈的亮和滅。

第二個實驗為飛機游戲交互嘗試[3]，工作流程示意圖如圖5所示。

與電腦游戲不同，此次試驗將游戲在屏幕上的操作控制提取出來，通過外接重力傳感器控制飛機的左右方向。重力傳感器被安置在箱子上，通過拍動箱子使重力傳感器數值變化，最終傳輸給Processing，從而控制左右方向。

2.2.2 TouchOSC

TouchOSC是簡易的物聯網控制器，允許遠程控制和接收來自軟件和硬件的反饋。其分為3個部分：第一，TouchOSC軟件，用于接收協議并發送反饋;第二，TouchOSC編輯器，用于編輯手機控制端的UI界面，并設定好每個UI的功能以及數值范圍;第三，TouchOSC網橋，用于連接電腦和手機。

借助TouchOSC的功能，本文嘗試以遠程端手機觸屏控制替代電腦端鼠標點擊按鈕或滑動滑輪的方式，最后的呈現結果表現出這種交互方式的改變使作品變得更加智能化。如圖6所示，在編寫好的粒子連線效果代碼中，在Processing中添加oscP5庫，之后通過協議連接到移動端的TouchOSC軟件，再在移動端滑動滑輪范圍反饋給電腦，從而控制粒子間的速度、連線距離、顏色變化、透明度等等數值。

2.2.3 Kincet

Kinect是一款體感硬件，擁有彩色攝像頭和深度攝像頭，可以用于捕捉識別人體動作，如今被廣泛應用于體感游戲制作中。此次實驗主要調用了Kinect的深度攝像頭。深度攝像頭可以識別鏡頭到人體之間的距離，呈現的影像為黑白色。試驗流程圖如圖6所示。本文在Processing中添加KinectPV2庫調用Kinect深度攝像頭，然后為識取到的畫面添加濾鏡，使屏幕上只出現最前方的手。如圖6所示，在讀取到過濾后的影像后，Processing可以重新調配影像的顏色，并計算出現在畫面上的體積的中心值，將中心值設值為圓球的坐標值，屏幕上就可以出現人在玩球的互動影像。

在此次實驗中，本文發現任何影像都可以分解成成千上萬個小像素。在計算機上，每個像素都有具體的坐標值，當改變坐標值的大小、空間關系后，觀眾在再次站在設備前就會看到全新的影像畫面。

3 結語

生成藝術的特征之一就是它是由計算機語言生成的，而編程代碼是數字化的符號語言，是理性的，每一層代碼都需要有嚴謹的邏輯關系，這對于藝術設計師來說有一定的困難。但如果藝術家能用畫畫時的流程思考如何進行編寫，則編程的難度可以相對降低，Processing就是這樣的開源編程。

藝術家利用Processing創作的作品可以是單一靜態的圖形，如平面海報。但創作者只需稍稍改動個別語言便能帶來全新的圖像，這使內容呈現出神秘性、未知性，使作品變成了動態多變的影像，與Arduino等多種傳感器設備連接后，人機交互賦予了作品新鮮活力。

本文綜合解讀了以Processing為工具進行的新媒體藝術創作，研究重點在于在新媒體藝術創作中嘗試不同媒介間交互的可能性。在藝術創作過程與最后的呈現效果上，多種媒介相互連接運作在改變了交互體驗的同時也極大地豐富了作品整體的趣味性，使得作者和觀眾可以更好地融入作品本身。

受限于編程難度，本文的研究實驗還處于初級階段。在內容的呈現上，本文是通過Processing開源編程進行創作，是將內容在腦海中構思好，再用數字化語言編寫，或在現有編程的基礎上進行改編，最后由計算機自動生成簡單圖像或動態影像;在表現的形式上，本文探索了重力感應器、TouchOSC、Kinect體感設備與Processing分別進行的簡單交互，可以在一定程度上幫助作品實現與觀眾更深入的連接。

本文基于Processing平臺進行的藝術創作實驗在內容和交互形式呈現出簡單化和單一化的特征，但本文想通過上述實驗為讀者提供新的創作思路、創作方法和靈感。無論是在內容表現還是交互形式上，作者若想要觀眾與新媒體藝術作品更深入地連接，就需要對編程進行更加深入的學習，這樣才能表現出更多變的內容。在交互媒介上，一件藝術作品需要多種感應器的配合，這樣才能產生更多元化的交互方式。

參考文獻：

[1] 王欣.基于Processing的計算機生成藝術應用研究[J].藝術與設計（理論），2019（Z1）：61-62.

[2] 王紅，劉怡琳.交互之美——teamLab新媒體藝術數字化沉浸體驗研究[J].藝術教育，2018（017）：130-131.

[3] 陳媛媛.淺析設計思維在新媒體藝術創作中的方法應用[J].創意設計源，2019（06）：12-16.

作者簡介：陳楨（1999—），男，江蘇句容人，碩士在讀，研究方向：信息產品設計。

陳媛媛（1986—），女，江蘇南京人，博士在讀，副教授，研究方向：新媒體藝術與理論、鄉村文化設計、動畫藝術創作。