可穿戴設(shè)備在交互音樂中的應(yīng)用

亓夢婕

（中央音樂學(xué)院，北京 100031）

可穿戴設(shè)備（wearable device）指的是能夠穿戴在人體作為一種輔助工具或植入在人體內(nèi)的智能電子設(shè)備①。隨著科學(xué)技術(shù)的飛速發(fā)展，可穿戴設(shè)備已經(jīng)被廣泛應(yīng)用于VR和AR等科技領(lǐng)域，在日常生活、教學(xué)、健康醫(yī)療、交通通信和社交娛樂領(lǐng)域發(fā)揮了重要作用，為人們的生活提供了更多的便利和智能化的服務(wù)。

可穿戴設(shè)備在數(shù)字媒體領(lǐng)域的應(yīng)用涉及多媒體播放控制、健康參數(shù)監(jiān)控、多媒體設(shè)備數(shù)據(jù)控制、新媒體藝術(shù)設(shè)計、VR游戲設(shè)計和娛樂以及智能纖維等，常見的Myo臂環(huán)，各式手套，VR、AR眼鏡和頭戴式設(shè)備等都是最典型的可穿戴設(shè)備。腦電波（Electroencephalography，EEG）傳感器、各類在不同功能的交互系統(tǒng)中特別設(shè)計的DIY傳感器和交互系統(tǒng)等技術(shù)的發(fā)展，為可穿戴設(shè)備提供了更豐富的功能。

在藝術(shù)創(chuàng)作領(lǐng)域中，可穿戴設(shè)備的應(yīng)用非常活躍。藝術(shù)家們試圖從創(chuàng)新科技中尋找全新的方式演繹其藝術(shù)理念和追求，體現(xiàn)藝術(shù)和技術(shù)的融合。筆者僅就交互音樂領(lǐng)域可穿戴設(shè)備的應(yīng)用，特別是近年來發(fā)展起來的利用腦電波傳感器進行藝術(shù)創(chuàng)作的應(yīng)用進行闡述。

1 交互音樂領(lǐng)域的可穿戴設(shè)備

可穿戴設(shè)備對交互音樂的藝術(shù)呈現(xiàn)能夠起到極大的輔助和推動作用，并受到越來越多的作曲家、音樂家、舞蹈家和視覺藝術(shù)家的關(guān)注。它能夠?qū)崟r拾取數(shù)據(jù)信息，與表演者融為一體，提供沉浸式的表演體驗，不僅為表演者和觀眾搭建主觀感受與精神感知的橋梁，也使得觀眾能夠更好地對藝術(shù)信息進行直接觀察[1]。不論是由廠家設(shè)計生產(chǎn)的傳感設(shè)備，或是藝術(shù)家根據(jù)作品和表演的需求進行特殊設(shè)計的DIY傳感器設(shè)備，它們都拾取表演者動作過程中產(chǎn)生的數(shù)據(jù)，并傳輸?shù)接嬎銠C程序。

可穿戴設(shè)備中“可穿戴”的特點，能夠為用戶提供沉浸式的體驗。對于交互音樂表演來說，人體的運動（movement）和姿態(tài)（gesture）信息的輸入數(shù)據(jù)非常重要。可穿戴設(shè)備在交互音樂中的數(shù)據(jù)應(yīng)用原理包括動作捕捉（motion capture）、動作追蹤（motion tracking）和數(shù)據(jù)映射（data mapping）等環(huán)節(jié)。一方面，傳感器被廣泛運用于交互音樂創(chuàng)作和表演，通過實時追蹤人體的動作和加速度等信息，把這些數(shù)據(jù)傳輸?shù)組ax、Pd或Processing等能夠進行實時數(shù)據(jù)處理的編程環(huán)境，將這些數(shù)據(jù)以聲音或圖像的形式輸出。表演者在舞臺上的一系列動作為觀眾提供了更好的交互感體驗，使觀眾能更好地理解表演者的動作及其藝術(shù)效果之間的對應(yīng)關(guān)系。有一些藝術(shù)家甚至歡迎觀眾使用作曲家提供的可穿戴設(shè)備，參與到作品的創(chuàng)作和呈現(xiàn)環(huán)節(jié)，這也是交互表演的另一種體現(xiàn)形式。由于用戶與傳感器融為一體，幾乎感覺不到它的存在，從而能把注意力集中在表演本身。另一方面，使用WiFi或藍牙連接的方式，不僅實現(xiàn)了數(shù)據(jù)的無線傳輸，還保證了表演者在舞臺上的自由度，增加了動作的靈活性，能夠?qū)⒈硌菡呱眢w的動作和音樂、視覺影像效果以及其他媒體融為更好的整體。

目前，基于手套設(shè)計的可穿戴設(shè)備和Myo臂環(huán)被廣泛應(yīng)用在交互音樂的創(chuàng)作和表演中，尤其是腦電波（EEG）傳感器能夠更好地傳達和表現(xiàn)表演者的內(nèi)心世界。

2 基于手套設(shè)計的可穿戴設(shè)備的應(yīng)用

手是人們?nèi)粘Ｉ钪凶钊菀捉佑|和感知到自然世界的器官，基于手套設(shè)計的可穿戴設(shè)備自誕生至今已有四十多年的時間。這種設(shè)備通過檢測手指彎曲度、手指間的壓力、手指間的相對距離、手掌的運動方向和加速度等數(shù)據(jù)作為交互系統(tǒng)的數(shù)據(jù)輸入，并且在佩戴它的同時，仍有可能演奏其他樂器。

1976年，伊利諾伊大學(xué)芝加哥分院的里奇·賽爾（Rich Sayre）、托馬斯·迪凡蒂（Thomas Defanti）和丹尼爾·桑丁（Daniel Sandin）設(shè)計了一款造價低而且重量輕的手套，被稱為Sayre Glove。光源放置在一種可以彎曲的電子管的一側(cè)，另一側(cè)連接了光電管。每一條電子管都延伸到手指的長度，電子管中會有光通過，當(dāng)它彎曲時，光的亮度會發(fā)生變化，每個光電管的電壓變化與手指的彎曲程度相關(guān)聯(lián)。他們使用這個手套進行多通道的聲音控制，模擬控制器推子的使用效果[2]。

20世紀(jì)80年代早期，麻省理工學(xué)院建筑機械組（Architecture Machine Group）和媒體實驗室（Media Lab）的研究人員利用帶有基于照相機的LED系統(tǒng)進行動作捕捉和追蹤，在他們設(shè)計的手套上鑲嵌了LED燈，通過把最終的信號集中在手部，得到手指的動作信息。這個LED手套在當(dāng)時只用來進行動作追蹤，并沒有作為控制設(shè)備使用。另外還有其他幾種不同的設(shè)計，例如由托馬斯·齊默爾曼（Thomas Zimmerman）和其他研究人員共同研發(fā)的DataGlove，可以檢測每一只手上的十個關(guān)節(jié)和手的位置及方向，它的重量更輕、穿戴更舒適，而且兼容性更強，之后由VPL 研究中心進行商業(yè)推廣，被廣泛應(yīng)用。

麥特爾·托伊思（Mattel Toys）受到DataGlove的啟發(fā)，在20世紀(jì)80年代中期發(fā)明了Power Glove作為游戲控制器。保羅·迪·馬林斯（Paul De Marinis）受此啟發(fā)，他將手套上的彎曲傳感器（ fi nger fl ex sensors）部分保留下來，使其在音樂表演中用手指控制音高、觸發(fā)開始和結(jié)束的時間點以及保存某一個音樂段落的數(shù)據(jù)等。1991年，蕾蒂西亞·索娜米（Laetitia Sonami）與迪·馬林斯在奧地利的林茨舉行的電子音樂節(jié)Ars Electronica Festiva演出作品《Mechanization Takes Command》時用到了索娜米設(shè)計的手套設(shè)備，在橡膠手套上放置磁性傳感器來觸發(fā)信號。一年后，索娜米又在此基礎(chǔ)上設(shè)計了帶有五個微動開關(guān)和磁傳感器的手套，這樣她的左手可以實施完全的控制，并空出右手來控制旋鈕。在荷蘭電子樂器音樂實驗室（Studio for Electro Instrumental Music，簡稱STEIM）駐地創(chuàng)作期間，索娜米設(shè)計了著名的“女士手套”（Lady’s Glove），指尖部分嵌入了微動開關(guān)，彎曲傳感器用來感應(yīng)手腕和中指的彎曲度，每個手指的感應(yīng)器都能接收兩組數(shù)值，用以辨別手指上兩個關(guān)節(jié)的彎曲程度。指尖部分裝有磁性感應(yīng)器，拇指部分裝有磁鐵，可以偵測到每個指尖與拇指的距離。這個設(shè)備在食指和拇指上裝有一個壓力墊，在手掌上還有一個超聲波發(fā)射器，與腰帶和鞋子里的接收器一起使用。這個設(shè)計使表演者能夠通過手腕和手指的彎曲、每個手指之間相對位置的移動、手指之間的按壓、開啟或關(guān)閉指尖的微動開關(guān)以及手指和身體的相對位置來控制音樂的參數(shù)。這個手套的設(shè)計使單一手指的運動改變了多種參數(shù)的變化，因此能夠?qū)β曇暨M行多次和多種參數(shù)的控制，進而能夠自如地對音樂表情進行控制[3]。

在托德·麥克弗（Tod Machover）的作品《bug-mudra》（1990）中，他使用Exos DHM②設(shè)備來控制交互音樂表演中的音樂參數(shù)，計算機系統(tǒng)拾取兩位吉他演奏家和一位打擊樂演奏家的聲音，并在表演中對這些聲音進行實時合成。指揮的左手佩戴了DHM，通過它在指揮時進行音色的混合、聲相變化以及多聲道聲音的比例調(diào)節(jié)。木村麻里（Mari Kimura）也是一位使用手套設(shè)備進行交互音樂表演和創(chuàng)作的音樂家。她利用“μgic”傳感器提取小提琴演奏中弓法和力度的變化，使用WiFi與計算機進行信號傳輸，并與實時的計算機音樂相結(jié)合，獲得了非常有效的演奏效果，這成為她在交互音樂表演中的標(biāo)志性創(chuàng)意設(shè)計。

3 基于肌電傳感器的Myo臂環(huán)

許多已經(jīng)在市面上可購買的可穿戴設(shè)備在設(shè)計之初并沒有以藝術(shù)設(shè)計和創(chuàng)作為目的，而是服務(wù)于醫(yī)學(xué)、科技和通信等專業(yè)領(lǐng)域，但它們獲取到的人體運動、動作、手勢，甚至一系列生物信息，如心跳、腦電波和肌肉緊張度的信號，都可以通過計算機將這些信息進行讀取、保存、處理，成為藝術(shù)創(chuàng)作的重要數(shù)據(jù)和素材，并實現(xiàn)交互表演。

Myo臂環(huán)是由Thalmic Labs設(shè)計的可穿戴的動作捕捉和數(shù)據(jù)控制設(shè)備，通過藍牙進行無線控制，與計算機、智能手機或其他電子設(shè)備進行數(shù)據(jù)傳輸[4]。Myo臂環(huán)由8個包含肌電圖（EMG）傳感器、加速度傳感器、陀螺儀和磁力計的九軸慣性測量單元（IMU）組成，通過識別手臂的運動方向、肌肉緊張度、手掌和手指的動作、加速度以及方向等得到大量的數(shù)據(jù)。它能夠通過OSC協(xié)議將獲取的數(shù)據(jù)傳輸至多種應(yīng)用程序中，同時為藝術(shù)家提供了在眾多編程環(huán)境下工作的可能。

由于佩戴方便而且不影響表演者的動作幅度，Myo臂環(huán)極大地優(yōu)化了表演者的沉浸式體驗效果，不僅對樂器演奏家來說非常便捷，對于舞蹈和戲劇演員等需要在舞臺上進行大幅度動作表演的藝術(shù)家來說，也非常方便。它的優(yōu)勢還體現(xiàn)在利用它進行人體運動追蹤的信號不受維度的限制，只要在藍牙信號覆蓋范圍內(nèi)，就可以穩(wěn)定地拾取并傳輸數(shù)據(jù)。

SALTO（全稱為Sensory Aerialist eLecTrOacoustic system）是為高空表演而設(shè)計的包括Myo臂環(huán)、數(shù)字聲音合成和電子音樂等模塊的交互式表演系統(tǒng)。克里斯蒂安娜·羅斯（Christiana Rose）及其創(chuàng)作團隊在2016年創(chuàng)作的《Splinter》是為高空舞蹈表演和SALTO系統(tǒng)創(chuàng)作的交互式電子音樂作品（圖1），通過Myo臂環(huán)采集數(shù)據(jù)將高空舞蹈表演者的身體語言轉(zhuǎn)譯成聲音素材。在這個作品中，盡管由于演員的動作變化和移動而產(chǎn)生動作信息確認(rèn)的不準(zhǔn)確和不穩(wěn)定的問題，但這種形式為作曲家提供了更多捕捉全方位動作信息的可能性，在技術(shù)領(lǐng)域仍然是一種突破。

圖1 《Splinter》高空表演

圖2 MyoSpat 系統(tǒng)工作原理[6]

就讀于伯明翰音樂學(xué)院的巴拉迪諾·迪·多納托（Balandino Di Donato）也是熱衷于探索動作追蹤與交互音樂的藝術(shù)家，尤其善于使用帶有Myo臂環(huán)的交互系統(tǒng)的應(yīng)用和研究。他與詹姆斯·杜利（James Dooley）共同設(shè)計的MyoSpat是一個交互聲音—視覺影像系統(tǒng)（圖2），旨在通過表演者用手勢和動作信息直接控制聲音和燈光效果，增強作品的藝術(shù)表現(xiàn)力[5]。MyoSpat 2是根據(jù)Myo動作控制作為數(shù)據(jù)輸入，在Pure Data編程環(huán)境進行動作數(shù)據(jù)識別和聲音—影像處理的更新版本系統(tǒng)。

在這個系統(tǒng)中，Myo Mapper③從Myo臂環(huán)提取并轉(zhuǎn)換數(shù)據(jù)，傳輸?shù)絆SC；使用ml-lib（機器學(xué)習(xí)庫）外部插件④在PD（Parallels Desktop）環(huán)境中進行動作識別和聲音—影像信號的處理和空間化呈現(xiàn)；用Arduino將序列數(shù)據(jù)傳輸至DMX來控制燈光的效果。在MyoSpat的資料庫中有六種動作識別設(shè)置，手臂的每一個動作都對應(yīng)一種聲音數(shù)據(jù)的處理方式，例如音高變化、振幅調(diào)制參數(shù)和3D空間變化等。埃莉諾·特納（Eleanor Turner）是豎琴演奏家和作曲家。特納在她的作品《The Wood and the Water》中也使用了MyoSpat交互音樂系統(tǒng)進行創(chuàng)作和即興表演，產(chǎn)生了豐富的藝術(shù)效果。MyoSpat在其他領(lǐng)域也得到了廣泛應(yīng)用，例如舞蹈表演和虛擬現(xiàn)實等。

4 腦電波傳感器的應(yīng)用

在過去的幾十年中，醫(yī)學(xué)、神經(jīng)學(xué)和心理學(xué)等領(lǐng)域的研究人員一直致力于腦電波的研究，并取得了顯著的成果。在此基礎(chǔ)上探索使用腦電波信號，成為藝術(shù)家進行創(chuàng)作的新技術(shù)手段。

截至目前，已有許多公司研發(fā)了基于腦電圖描記法（EMG）的生物傳感設(shè)備，用來獲取人體的生物信息數(shù)據(jù)，例如Emotiv、NeuroSky、iWinks、MUSE。通過獲取大腦活動中的腦電波，得到表演者在放松、冥想或思考等不同情緒狀態(tài)下的腦電波數(shù)據(jù)。

艾爾文·盧西埃（Alvin Lucier）被公認(rèn)是較早使用腦電波進行創(chuàng)作的作曲家[7]，他在1965年創(chuàng)作的作品《為一位表演者而作的音樂》（Music for Solo Performer）使用了EEG電極檢測表演者在冥想時的alpha腦波，這個腦波信號產(chǎn)生的聲音與舞臺上的打擊樂器產(chǎn)生共振，在舞臺空間中構(gòu)成極具戲劇性的效果。表演者的腦電波首先輸出到差分前置放大器，然后進入八組立體聲放大器。舞臺上共有16件樂器，包括鋼琴、鼓、吊镲、金屬垃圾桶和硬紙板等。這些樂器上都安裝了小型的揚聲器，能夠使alpha腦波傳輸?shù)綋P聲器時與聲學(xué)樂器產(chǎn)生共振，這在當(dāng)時的實驗音樂領(lǐng)域引起了轟動。圖3所示為2009年9月26日，艾爾文·盧西埃在倫斯勒表演藝術(shù)中心演出的海報。

圖3 盧西埃演出海報⑤

圖4 麗莎·樸在表演中⑥（圖片來源：Olivia Chow）

圖5 腦電波信號在編程軟件中的圖示（圖片來源： Olivia Chow）

麗莎·樸（Lisa Park）是一位交互裝置藝術(shù)家，她的作品多采用人體的生物信息作為交互系統(tǒng)的輸入數(shù)據(jù)，例如人的心跳和腦電波等。她的交互電子音樂作品《Eunoia》創(chuàng)作于2013年。這個標(biāo)題在希臘語中被譯為“美妙的思考”，表達對人類五種情感（喜、怒、哀、惡和欲）的思考，這五種情感構(gòu)成了一個無限的人類情感統(tǒng)一體，也從另一個側(cè)面體現(xiàn)了作者對采用腦電波進行藝術(shù)創(chuàng)作的追求，力圖使用最直接而美妙的方式體現(xiàn)大腦思考的美感。她使用NeuroSky公司設(shè)計的EEG頭戴式設(shè)備，獲取大腦的活動數(shù)據(jù)，包括delta、theta、alpha和beta腦波，同時監(jiān)測眼睛的活動。這些數(shù)據(jù)實時進入編程軟件，并以圖示的形式體現(xiàn)出來（圖4～圖5）。在這部作品中，麗莎·樸使用了一種更加清晰可見的方式為觀眾呈現(xiàn)這些腦電波信號所產(chǎn)生的效果。她在5個24英寸的金屬盤里覆蓋了一層水，并在金屬盤下方分別安裝了15英寸的揚聲器，通過揚聲器與金屬盤的共振，水面呈現(xiàn)出不同的波紋。麗莎·樸將腦電波信號傳輸至實時編程環(huán)境Max和Reaktor，生成帶有回聲效果的聲音。水在金屬盤里的波動取決于聲音的音量、聲相和頻率，這些參數(shù)隨著大腦活動和情緒的變化而產(chǎn)生變化。此外，她還創(chuàng)作了許多使用腦電波的交互式音樂和裝置作品，例如《Eunoia II》、《Eudaimonia》以及大型聲音裝置《NUE》等。

2013年，斯坦福大學(xué)教授克里斯·舍費（Chris Chafe）與致力于研究痙攣癥狀的約瑟夫·帕維茲（Josef Parvizi）教授合作，將病人的腦電波信號轉(zhuǎn)譯為音樂。舍費使用了一個接近于女聲的聲音素材，目的是為聽者提供一種更容易接受和理解神經(jīng)活動的聽覺體驗。他們后來設(shè)計了一種可以進行實時監(jiān)測病人腦電波的設(shè)備，能夠在任意時間獲取腦電波信號，他們把這個設(shè)備稱為“大腦聽診器”。帕維茲選擇了大腦中一百多個神經(jīng)元作為信號源，舍費從這些神經(jīng)元中選擇一部分信息來調(diào)制女聲的音高頻率，隨著腦波活動的逐漸頻繁使音高產(chǎn)生相應(yīng)的變化。與此同時，女聲的音調(diào)、音色也在發(fā)生改變，每個神經(jīng)元信號都成為一個演唱聲部，整個音樂呈現(xiàn)出高低起伏和律動的變化。

將腦電波用于音樂創(chuàng)作的這些藝術(shù)實踐活動，并不僅僅存在于嚴(yán)肅音樂或?qū)嶒炓魳奉I(lǐng)域。爵士鼓手威廉·胡克爾（William Hooker）和歌手羅拉·法耶（Lora Faye）把腦電波信號與爵士樂表演相結(jié)合，腦電波信號生成的聲音擔(dān)任音樂中的一個重要聲部，這成為獨具特色的爵士樂表演方式。

5 結(jié)語

托德·溫克勒（Todd Winkler）曾提到：“交互音樂系統(tǒng)使用軟件來控制音樂的各項參數(shù)，體現(xiàn)音樂的藝術(shù)表現(xiàn)力……人的動作作為輸入信號和數(shù)據(jù)，也已經(jīng)被頻繁地應(yīng)用在交互音樂系統(tǒng)中……將動作數(shù)據(jù)轉(zhuǎn)換為音樂信息的方法，為表演者提供了參與感和創(chuàng)造性……這種交互感取決于表演者的自由度和對產(chǎn)生的效果的感知，以及計算機程序?qū)τ诒硌菡邉幼餍畔⒌姆磻?yīng)和轉(zhuǎn)譯能力。”[8]使用可穿戴設(shè)備進行交互音樂表演，更突出地體現(xiàn)了溫克勒所說的交互音樂靈活性和創(chuàng)造性的特點。

近年來，交互音樂在科技不斷進步的大背景下得到持續(xù)的發(fā)展，可穿戴設(shè)備也在不同領(lǐng)域得到廣泛的應(yīng)用。可穿戴設(shè)備的靈活性和隱蔽性為表演者提供了更大的自由空間，在這種極具沉浸感的表演中，表演者能夠在表演空間內(nèi)對自身有更明確的感知，將交互音樂表演中的動作姿態(tài)與最終呈現(xiàn)的音樂表情融為一體。可穿戴設(shè)備在交互音樂中的應(yīng)用，縮小了表演者與觀眾以及表演者與自身的距離，增強了他們的參與感和沉浸感，極大地拓寬了藝術(shù)家的創(chuàng)作手段和工具的可選擇性。當(dāng)前，這種跨學(xué)科的新媒體藝術(shù)創(chuàng)作與多媒體形式的合作形式也在快速發(fā)展。以上提到的這些可穿戴設(shè)備為藝術(shù)家提供了探索聲音、畫面、文字和結(jié)構(gòu)等元素的多樣融合方式，并被廣泛應(yīng)用在交互電子音樂、裝置藝術(shù)、舞蹈和戲劇等領(lǐng)域，通過實時地將表演者或觀眾的身體動作信號和生物信息轉(zhuǎn)換為相對應(yīng)的輸出信息，極大地增強他們的參與感，并拓展了藝術(shù)的表現(xiàn)力。

注釋：

① 來源于https://en.wikipedia.org/wiki/Wearable_technology

② Exos DHM，全稱為Dexterous HandMaster，最早是由亞瑟·利特爾（Arthur Little）設(shè)計的，它應(yīng)用霍爾效應(yīng)傳感器作為電位器，準(zhǔn)確地測出每個手指的三個關(guān)節(jié)的彎曲程度、手指外展的位置和拇指復(fù)雜的動作。

③ Myo Mapper是由多納托研發(fā)的開源應(yīng)用程序，能夠?qū)yo臂環(huán)的數(shù)據(jù)映射到OSC信息，該項設(shè)計曾在2017年獲JUCE Award獎項。

④ ml-lib是在為Max和PureData編程環(huán)境設(shè)計的機器學(xué)習(xí)資料庫。

⑤ 來源于http://empac.rpi.edu/events/2009/fall/slowwave/music-solo-performer

⑥ 來源于https://creators.vice.com/en_us/article/vvygzm/eunoia-seeking-enlightenment-by-trackingbrainwaves

[1]Federico Visi et. al., Musical Instruments, Body Movement, Space, and Motion Data: Music as an Emergent Multimodal Choreography, human technology, Vol. 13(1), pp. 58-81, May 2017.

[2]David Sturman, David Zeltzer, A Survay of Glove-based Input, IEEE Computer Graphics & Applications,pp. 30-39, January, 1994.

[3]Joel Chadabe, Electronic Sound - the past and promise of electronic music, Prentice Hall, pp.229-230.

[4]Christiana Rose, SALTO: A System for Musical Expression in the Aerial Arts, NIME 17, Aalborg University Copenhagen, Denmark, May 15-19, 2017.

[5]Balandino Di Donato, James Dooley, Myospat: A System for Manipulating Sound and Light Through Hand Gestures, Proceedings of the 3rd Workshop on Intelligent Music Production, Salford, UK, 15 September, 2017.

[6]Balandino Di Donato, James Dooley, Myospat: A System for Manipulating Sound and Light Through Hand Gestures, Proceedings of the 3rd Workshop on Intelligent Music Production, Salford, UK, 15 September, 2017.

[7]Volker Straebel, Wilm Thoben, Alvin Lucier’s Music for Solo Performer: Experimental music beyond soni fi cation, Organised Sound, 2014, Vol. 19(1), pp. 17-29,Cambridge University Press.

[8]Todd Winkler, Making Motion Musical: Gesture Mapping Strategies for Interactive Computer Music,Proceedings of the 1995 ICMC.

[9]Federico Visi et. al, Musical Instruments, Body Movement, Space, and Motion Data: Music as an Emergent Multimodal Choreography, Human Technology, Vol. 13(1), pp. 58-81, May 2017.

[10]David Sturman, David Zeltzer, A Survay of Glovebased Input, IEEE Computer Graphics & Applications,pp. 30-39, January, 1994.

[11]Joel Chadabe, Electronic Sound - the past and promise of electronic music, Prentice Hall, pp.229-230.

[12]Todd Winkler, Making Motion Musical: Gesture Mapping Strategies for Interactive Computer Music,Proceedings of the ICMC, 1995.

[13]Christiana Rose, SALTO: A System for Musical Expression in the Aerial Arts, NIME 17, May 15-19,Aalborg University Copenhagen, Denmark, 2017.

[14]Balandino Di Donato, James Dooley, Myospat: A System for Manipulating Sound and Light Through Hand Gestures, Proceedings of the 3rd Workshop on Intelligent Music Production, Salford, UK, 15 September, 2017.

[15]Volker Straebel, Wilm Thoben, Alvin Lucier’s Music for Solo Performer: Experimental music beyond sonification, Organised Sound, Vol. 19(1), pp. 17-29,Cambridge University Press, 2014.

[16]https://www.datagarden.org/blog/richardlowenberg-interview

[17]https://www.musicmotionalliance.com/projects/2016/10/23/koto-japanese-and-electronicmusic-created-with-brainwaves

[18]https://creators.vice.com/en_us/article/nz4eez/thiseeg-helmet-makes-music-from-brainwaves

[19]http://www.balandinodidonato.com/myomapper/

[20]https://news.stanford.edu/news/2013/september/seizure-music-research-092413.html