服務(wù)聽障人士的聲音可視化互動設(shè)計(jì)
——音詩

陶雨琦 上海工程技術(shù)大學(xué) 上海 201680

一、簡介

（一）項(xiàng)目背景及作品創(chuàng)意

眾所周知，聲音是由振動產(chǎn)生的。在傳統(tǒng)意義上，音樂屬于耳朵，是用聽覺體驗(yàn)美感的藝術(shù)。人們在欣賞音樂時(shí)，往往是在傾聽的基礎(chǔ)上，通過“音響感知與情緒感受”“形象聯(lián)想與理性感悟”以及“音樂美的體驗(yàn)與感悟”等階段，完成對音樂作品由感性到理性的審美體驗(yàn)過程。音樂具有形象思維的特點(diǎn)，在情感的伴隨下，通過想象聯(lián)想，獲得音樂形象、生活情景以及意境等形象，音樂可視化變?yōu)楝F(xiàn)實(shí)。

我們計(jì)劃塑造一個(gè)能將音樂可視化的產(chǎn)品，以更好地呈現(xiàn)音樂所帶來的情緒。同時(shí)，我們期望這款產(chǎn)品在未來的迭代過程中，實(shí)現(xiàn)能夠幫助聽障人士感受音樂的功能。

（二）作品功能

第一部分的作品包括My Song和麥克風(fēng)輸入。這兩者都是將音頻進(jìn)行圖像化處理的程序，這兩者是根據(jù)音頻的振幅變化來生成圖像，所以使用Processing自身創(chuàng)建amplitude對象。第二部分的作品包括鍵盤鋼琴與電子琴，這一部分的作品是對于圖像音頻化的詮釋。其中，電子琴一共有32個(gè)鍵位，鍵盤上的三排字母都可以成為按鍵。最低音是G3最高音到D8，因?yàn)镚3是揚(yáng)聲器所能發(fā)出的最低音；而最高音則是受限于鍵盤數(shù)所以只排到D8，實(shí)際最高音未知。電子琴的琴音是電腦自生成音，與鋼琴不同，不需要data文件夾來添加音頻文件。

圖1 系統(tǒng)功能框架圖

（三）系統(tǒng)開發(fā)平臺

開發(fā)工具與編程語言：Processing；源碼支持環(huán)境：Windows/Linux/MacOS，需在Processing Development Environment-processing.exe中運(yùn)行；開發(fā)使用的庫文件：Minim 2.2.2，Sound 2.2.3；音樂、視覺效果均為團(tuán)隊(duì)原創(chuàng)，使用工具有：Adobe Illustrator，Adobe Photoshop，庫樂隊(duì)，Adobe Audition?！?br>