基于光學多點觸摸技術的交互式電子音樂探究

任 瑞

基于光學多點觸摸技術的交互式電子音樂探究

任 瑞

（寶雞職業技術學院藝術體育系,陜西寶雞,721013）

本文采用光學多點觸摸技術和交互式電子裝置，設計了應用與電子音樂創作的應用實踐，并結合其中的技術，對其軟件編程等進行了著重的闡述。

多點觸摸；交互式；電子音樂

1 多點觸摸技術概述

1.1 多點觸摸定義

所謂的多點觸摸，其則是指允許用戶運用計算機裝置，通過手指來對圖形裝置進行控制的一門技術。熱多點觸摸設備由可觸摸設備或者是觸摸板來構成，并通過軟件來對觸摸點進行識別。

截止到現在，實現多點觸摸的技術其通常有很多，既可以選擇介質的觸摸技術，也可選擇無介質的觸摸的技術。而在有介質的觸摸技術當中，其同時又可被分為光學和電學兩個技術。使用電學的觸摸則包括電阻和電容所構成的觸摸裝置，該類型通常其體積都比較小。而基于光學的其觸摸板的體積在通常情況下都比較大。

1.2 多點觸摸技術介紹

（1）受抑全內反射技術

該技術最先是由JeffHan所提出的光學感應方法。其主要是借助光的全內發射，原理則為其當光從高折射率介質射入到另外介質當中的時候，其入射角在大于一定的特定角度的時候，其光束則會被全部反射到原來的介質當中，而不發生折射。該技術則是根據這個原來，是紅外線在亞克力板的內部產生全內反射，同時不讓光線逃出。當用戶在用手指接觸到該觸摸板的時候，其介質點內部的光纖則會被全部打破，而此時光線則會通過接觸的介質反射，并將這些光線向下進行傳播。而當光線在向下進行傳播的時候，其內部的紅外線傳感器則會感知，將出點信息進行捕捉，并作進一步的處理。

（2）散射光照明（DI）技術

該技術則主要包括兩種不同的形式：前置和背面散光。而這兩種技術其都源自于同樣的原理-圖像內容和觸摸表面上的手指間的對比度。其中所謂的前置散光則是通過周圍的環境所帶來的可見光，從觸摸表面的上方將所有的光線照射到平面鏡當中，而其中的漫射器則放在該觸摸表面的底部或者是頂部，而當其某個對象在觸摸到其表面的時候，接觸區就會產生陰影，而被攝像頭所感知。

所謂的背面散光則是從觸摸屏的下方將光線頭像屏幕，同理，在這其中，漫射器被放置在其中。當物體在觸摸到該表面的時候哦，其會反射出更多的光，從而被而外的攝像頭感知。其具體的原理圖如圖1所示。

圖1 RearDI原理圖

而該技術則被廣泛的應用，如在2007年的時候，美國微軟公司在發布其平板的多點觸控的時候，則采用了該種方法。而透過該技術，其除運用手和手指，還可通過其他數種物體進行識別，從而實現人和計算機的協作。而在該研究中則選擇RD技術。

2 交互式裝置

2.1 傳統交互裝置

傳統的交互裝置則包括電腦鼠標、減胖、控制器等在內的裝置，而這些裝置在交互式的電子音樂在開始誕生指出則開始被應用。這些傳統的交互式電子技術之所以如此的流傳，是因為其具備著很大的優勢，這主要體現在以下幾個方面：

第一，傳統裝置和計算機有著緊密的聯系，而通過該裝置，作曲家則可輕松的對作品進行編程；

第二，運用傳統的裝置在安全性方面比較可靠，并且其發生故障的頻率比較低；

第三，對演出的環境整體要求不高；

第四，從成本的角度來講，其不需要進行設備的開發，并且在價格方面去花費要遠低于現代的裝置；

但是，傳統平臺裝置也存在著缺點，如其交互性相對來說稍差。

2.2 基于體感游戲開發的交互裝置

所謂的體感干技術其實質就是動作感應控制技術，通過體感裝置對用戶的動作進行的識別額解析等，并結合相應的程序而做出反饋。體感設備其最大的特點則是通過肢體可進行動作的控制，并改變以往的單純通過手指所進行的控制。而現階段比較出名的則是任天堂公司開發的游戲手柄Wiimote和微軟開發的Kinect.Wiimote手柄利用陀螺儀加速度傳感器對來自三維坐標進行感知，從而獲取其位置、信息和速度等。而該裝置其最為典型的特點是非常有利于對演奏家在演奏的過程的展現，如美國俄勒閃大學的杰弗里斯托萊特教授的《用手指完成的藝術》作品則是通過該交互裝置實現的；Kinect的優點在于其精度高，并且對其控制不會受到任何的束縛，并可排除其他的干擾。在該系統中我們選擇Kinect裝置。

2.3 基于智能終端的交互裝置

智能手機成為當前交互式電子音樂的熱門，并有著眾多的開發團隊和廠家。而針對電子音樂作家來講，其想將智能終端改為交互電子音樂，其是十分容易的，并可通過各方面對其進行控制和選擇。

3 交互性裝置設置的流程

在對多點觸摸裝置進行設計的時候，其需要整個系統當中的硬件和軟件兩者之間的配合，也就是一方面需要對動作的捕捉，同時也需要相應的軟件對其進行解析，從而將其轉化成聲音或者是圖像。而其基本的步驟則為通過對多點觸摸板的設計，并和計算機的通信進行連接和音樂程序的編寫，再通過軟硬件的調試和最終的測試后進行使用。其具體設計的圖紙則如圖2所示。

圖2 散射光照明多點觸摸板設計原理圖紙

4 軟件編程

在對該系統進行設計的過程中，則采用Max/Msp軟件平臺對音樂編程進行開發。以《鏡像II》作為實例，四個揚聲器的聲音均來自新笛和小堂鼓的實時演奏，所以Max/MSP軟件其所起到的作用則是對來自麥克風的相關樂器的演奏信號進行拾取與儲存，并可隨時對相關的信息進行調取和播放；其次則是按照相關的指令，對其存儲的樂器演奏聲音信號以不同的時差分配至指定的揚聲器。而通過這樣的方式則形成了作曲家與演奏家、作曲家和Max/MSP，演奏者和揚聲器三者之間的交互。在譜例2中可以看到新笛和小堂鼓的聲音被依次分配到四個揚聲器中，形成對樂器聲部的模仿。

圖3 《鏡像II》開始片段

而要實現上述的步驟，則必須對其進行編程。而其步驟則分為兩個部分，其一是實現對數據的傳輸和映射。通過將構建的信息映射到Max/MSP當中，則需要實現對Java和Max/MSP兩者的信息交換。在這個步驟當中，Max/MSP本身則內置了UDP協議，因此，通過對兩者共同來使用。同時由于采用的是二進制的傳輸協議，因此，在其中還必須加入fromsymbol物件，實現將數據轉換為可識別的數字。

其次則是實現將坐標轉換成聲音。在確定不同的場景之后，其將不同的信息分發給不同的“打包的模塊”。其中，坐標的不同，其位置也就不同，而播放的音頻采樣也就不同。而聲音的變形部分，主要使用了“抽取采樣片段生成”的技術手段，該技術可以根據觸摸的參數來選擇抽取采樣的不同位置、不同長度的音頻，并釆用不同的音高將其轉化為。

通過上述的設計，由此形成了可利用交互式的電子音樂。從而使得形成了以信息技術與音樂創作為一體的音樂盛宴。

[1] 李鵬云.劉健交互式電子音樂《奉獻》中的創作思維與技術[J].黃鐘(中國.武漢音樂學院學報),2012,02:48-55.

[2] 楊揚.交互式電子音樂的原理與技術[D].上海音樂學院,2010.

[3] 王甜甜.混合型電子音樂中室內樂隊與電子音樂之創作理念及技法研究[D].上海音樂學院,2013.

任瑞，女，1977年4月，1999年畢業于西安音樂學院，講師，在讀碩士。

Interactive electronic music research on optical multi touch technology based on

Ren Rui
(The Baoji Vocational Technology College Art Department of physical education,Shaanxi,Baoji,721013)

In this paper,by using optical multi touch technology and interactiveelectronic device,designed for the application and the practical application ofelectronic music,combined with the technology,the software programming areexplained.

Multi touch；Interactive；Electronic music