基于Processing平臺(tái)的聲音可視化運(yùn)用

石鑫 李雪艷

〔摘 要〕計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的快速進(jìn)步帶動(dòng)了新媒體藝術(shù)的發(fā)展，藝術(shù)表達(dá)形式發(fā)生巨大變化，在藝術(shù)設(shè)計(jì)的各領(lǐng)域中，科技介入程度越來越高，科技與藝術(shù)的結(jié)合創(chuàng)造出許多新的藝術(shù)形式，如人機(jī)互動(dòng)裝置與圖像隨機(jī)生成等。本文將在Processing平臺(tái)的基礎(chǔ)上，探討聲音可視化的應(yīng)用實(shí)踐與相關(guān)作品的解讀與分析，進(jìn)而探究聲音可視化技術(shù)在藝術(shù)與設(shè)計(jì)中運(yùn)用的前景與方向，為實(shí)踐者提供有價(jià)值的參考。

〔關(guān)鍵詞〕聲音可視化；Processing；人機(jī)互動(dòng)；裝置藝術(shù)

一、聲音的處理

（一）信號(hào)處理

早在1680年，羅伯特·胡克（Robert Hooke）就開始了對(duì)聲音形態(tài)的觀察。1787年，律師、音樂家和物理學(xué)家恩斯特·克拉德尼（Ernst Chladni）關(guān)于音樂理論的著作《Entdeckungenüber die Theorie des Klangesor》《關(guān)于音樂的理論發(fā)現(xiàn)》， （ Discoveries Concerning the Theory of Sound）成為聲音可視化的開創(chuàng)性工作。在當(dāng)代藝術(shù)領(lǐng)域，已經(jīng)有越來越多的藝術(shù)工作者與設(shè)計(jì)師參與到代碼藝術(shù)的行列之中，代碼藝術(shù)的優(yōu)勢(shì)在于極高的創(chuàng)作自由度與多樣的聯(lián)結(jié)方式。數(shù)據(jù)可視化如今非常受歡迎，原因是人們能夠直觀地感受到數(shù)據(jù)的變化，看到的不再是枯燥的數(shù)字，在數(shù)據(jù)可視化過程中，枯燥的數(shù)字經(jīng)過處理成為動(dòng)態(tài)圖像。數(shù)據(jù)可視化轉(zhuǎn)變了數(shù)據(jù)的視覺形態(tài)而受到歡迎。在人類常識(shí)中，聲音是無(wú)形的，在Processing平臺(tái)上處理后可以生成圖像。在分析音頻時(shí)通常有兩種方式；其一是利用FFT傅里葉變化分析：其二為提取左右聲道。FFT在音頻處理方面能進(jìn)行實(shí)時(shí)高效的處理，利用FFT對(duì)音頻信號(hào)進(jìn)行分析，分析的結(jié)果用于圖像生成。

（二）聲音來源

在聲音可視化的范疇內(nèi)，聲音來源分為計(jì)算機(jī)內(nèi)MP3文件與計(jì)算機(jī)外部聲音。音頻在Processing經(jīng)過處理后聲音信號(hào)被量化，量化后的數(shù)據(jù)結(jié)果用于圖像生成，生成后的圖像會(huì)實(shí)時(shí)根據(jù)音樂節(jié)奏、音量變化，形成動(dòng)態(tài)圖像，圖像的形態(tài)可在Processing中自由編寫，也可以通過代碼改變圖像的色彩等等。第二種聲音來自計(jì)算機(jī)外部，在這個(gè)過程中需要借助Arduino來實(shí)現(xiàn)，Arduino與Processing聯(lián)動(dòng)在新媒體藝術(shù)與裝置藝術(shù)中的應(yīng)用非常廣泛。

二、圖像生成及藝術(shù)化表現(xiàn)

（一）圖像生成

在Processing平臺(tái)上，圖像生成是其最強(qiáng)大的功能之一。每個(gè)形狀都有自己獨(dú)有的代碼，如橢圓的代碼為“ellipse（x，y，width，height）；”，矩形為“rect（x，y，width，height）；”，色彩填充代碼為“fill（x，y，z）；”。在Processing中輸入代碼——“jingle = minim.loadFile（"xxx.mp3"， 1024）”加載音頻，此處的“1024”為加載頻率，在draw函數(shù)中輸入代碼將數(shù)值帶入到圖形代碼之中。

（二）基于Processing平臺(tái)的圖像藝術(shù)化表現(xiàn)

圖像生成是使圖像藝術(shù)化表現(xiàn)的重要環(huán)節(jié)，在這個(gè)過程中，軟件只是工具，圖像的藝術(shù)化表現(xiàn)需要使用者具備必要的藝術(shù)修養(yǎng)與設(shè)計(jì)能力。來自英國(guó)的藝術(shù)家尼爾·門多薩（Neil Mendoza）使用openFrameworks與Arduino互聯(lián)創(chuàng)作出了一個(gè)語(yǔ)音識(shí)別的聲音互動(dòng)裝置，人類的聲音通過喇叭收錄進(jìn)軟件中，軟件將音頻傳輸?shù)絎eb瀏覽器，Web瀏覽器上的語(yǔ)音識(shí)別系統(tǒng)開始分析音頻，處理后變成一串串的立體字母，經(jīng)過喇叭噴出，軟件中的力場(chǎng)程序施加了一些力的效果，模仿真實(shí)的環(huán)境，字母撞擊到畫面邊框后會(huì)反彈，聲音的大小對(duì)字母噴射的距離也有影響。畫面中有一只鞋子，當(dāng)字母經(jīng)過鞋子的時(shí)，激活A(yù)rduino，Arduino傳輸指令給鞋子，鞋子由機(jī)械臂控制，字母每觸動(dòng)到鞋子時(shí)，鞋子上彈一次。江南大學(xué)數(shù)字媒體學(xué)院的團(tuán)隊(duì)TRIE創(chuàng)作了一件聲音可視化裝置——《echo planet》，該作品生成的圖像為一根不斷生長(zhǎng)的樹枝，生長(zhǎng)的能量則來源于聲音，觀眾通過在被裝飾成海螺的麥克風(fēng)前發(fā)聲，音頻經(jīng)過分析轉(zhuǎn)化為數(shù)據(jù)成為影響圖像生成的數(shù)值，在此過程中，聲音扮演著最重要的角色。聲音作為人類、動(dòng)物表達(dá)情感的重要方式之一，每種聲音都帶有不同的信息與不同的情緒，不同的聲音信號(hào)生成的圖像也不同，將聲音可視化，也是將聲音所傳達(dá)的訊號(hào)以直觀的方式呈現(xiàn)出來。聲學(xué)工程師馬克·菲舍爾使用“小波變換”的數(shù)學(xué)方法可以將聲音分解成較短的離散的小波成分。馬克·菲舍爾使用此方法將鯨魚的聲音訊號(hào)轉(zhuǎn)化為圖像，不同鯨魚的叫聲生成不同的圖像，傳統(tǒng)的音頻是生成平直的圖像，菲舍爾將圖像變形、旋轉(zhuǎn)、疊加為圓形圖案，圖案表達(dá)出了鯨魚在深海的叫聲中蘊(yùn)含的情緒與來自深海的魔幻和靜謐。人聲也如此，在演唱會(huì)舞臺(tái)的大屏幕上，圖像的動(dòng)態(tài)是由歌手音聲的節(jié)奏、音量決定的，且每首歌都會(huì)配有不同的圖像，這些圖像與歌曲所傳達(dá)出的情感相匹配，達(dá)到情、景、聲交融。

三、聲音可視化應(yīng)用前景

（一）應(yīng)用于公共藝術(shù)

聲音可視化（圖像化）的實(shí)現(xiàn)將無(wú)形的聲音轉(zhuǎn)化為有形的圖像，人類可以看到圖像化的聲音了。公共藝術(shù)的宗旨之一是提升公眾生活質(zhì)量，實(shí)現(xiàn)公共藝術(shù)與公眾的互動(dòng)，是讓公眾體驗(yàn)到藝術(shù)價(jià)值的最好方式之一。公眾與藝術(shù)品互動(dòng)，成為整個(gè)公共藝術(shù)品的一部分，藝術(shù)品為本體，公眾是參與者，二者之間實(shí)現(xiàn)互動(dòng)，最終這件公共藝術(shù)才得以完成，也就是說，人的參與，是屬于這件作品的一部分。人的音色各不相同，借助Processing的圖像生成功能，不同的聲音生成不同的圖像，互動(dòng)后每個(gè)人得到了屬于自己專屬的圖像，代表著自己獨(dú)有的情感與性格，不同的人來到這里，得到不同的結(jié)果，體現(xiàn)不同的價(jià)值。

（二）應(yīng)用于商業(yè)空間

商業(yè)空間的藝術(shù)品旨在提升該空間的藝術(shù)氛圍與凝聚顧客。近年，互動(dòng)類藝術(shù)品在商業(yè)空間內(nèi)越來越受歡迎，其主要原因是互動(dòng)類藝術(shù)品能吸引大量顧客，為商場(chǎng)提高客流量。Processing與Arduino聯(lián)動(dòng)在實(shí)現(xiàn)藝術(shù)品與人的互動(dòng)上具有優(yōu)勢(shì)，營(yíng)造出一個(gè)聲、景并茂的藝術(shù)空間，人走到這里都可以與之產(chǎn)生互動(dòng)，每次互動(dòng)產(chǎn)生不一樣的結(jié)果，逢節(jié)日可以編寫與節(jié)日相契合的圖像，渲染節(jié)日氛圍。聲音是有溫度的，在Processing的幫助下，我們不僅可以感受溫度，也可以看見溫度。

結(jié) 語(yǔ)

基于Processing平臺(tái)的聲音可視化與互動(dòng)影像給創(chuàng)作者打開了一條新的創(chuàng)作思路，在此基礎(chǔ)上，聲音與Processing是創(chuàng)作者創(chuàng)作的工具與源泉。設(shè)計(jì)須根據(jù)市場(chǎng)需求做出改變，Processing就是在這樣的前提下誕生的，在藝術(shù)、設(shè)計(jì)與科技結(jié)合緊密的時(shí)代，創(chuàng)作者需要掌握前沿的創(chuàng)作手段，創(chuàng)作出符合時(shí)代要求的作品。

（責(zé)任編輯：張貴志）

參考文獻(xiàn)：

[1]高景帥.聲音的可視化研究[D].南京：東南大學(xué)，2018.

[2]趙沁暘.交互式電子音樂《無(wú)·箏》作品設(shè)計(jì)與創(chuàng)作解析[D].上海：上海師范大學(xué)，2017.

[3]譚亮.基于Processing的代碼藝術(shù)應(yīng)用研究[J].裝飾，2012，（02）：104-105.

[4]張冉.基于processing平臺(tái)實(shí)時(shí)互動(dòng)影像呈現(xiàn)[D].北京：北京工業(yè)大學(xué)，2013.

[5]孔晶晶. 基于Processing的互動(dòng)媒體設(shè)計(jì)研究[D].無(wú)錫：江南大學(xué)，2009.

[6]呂靜，魏一鳴.非遺制扇技藝與佛教文化創(chuàng)新融合設(shè)計(jì)[J].設(shè)計(jì)，2019，（19）：70-71.

[7]祝遵凌.讓可持續(xù)設(shè)計(jì)真正為人服務(wù)[J].設(shè)計(jì)，2019，32（16）：76-80.

[8]王穎，陳峰.博物館互動(dòng)游戲型文創(chuàng)探析——以南京博物院“竹林七賢”日歷設(shè)計(jì)為例[J].設(shè)計(jì)，2019，（19）：22-24.

[9]蘇同向，王浩.基于生態(tài)紅線劃定的城鄉(xiāng)綠地生態(tài)網(wǎng)絡(luò)構(gòu)建研究——以江蘇省揚(yáng)州市為例[J].現(xiàn)代城市研究，2019，（10）：20-27.

[10]李元媛，王浩.蘇南宗族型傳統(tǒng)村落建筑景觀研究[J].藝術(shù)百家，2019，35（05）：198-205.

[11]張榮杉，梁晶.商業(yè)空間中的植物造景藝術(shù)研究[J].大眾文藝，2019，（19）：62-63.