碰撞與融合——電子音樂與影像結合作品《錯置》創作解析

宋 寧

（南京航空航天大學藝術學院，江蘇 南京，210000）

1 作品概述

《錯置》屬于電子音樂與影像結合類作品，其影像部分由南京藝術學院傳媒學院許翔老師帶領楊帆、徐以沫兩位同學共同拍攝制作；電子音樂部分則由筆者與南京藝術學院傳媒學院范翎老師合作完成。該作品創作意圖旨在探尋影像與聲音新的共存方式。在表達上，擺脫傳統藝術領域中音畫對位的思維模式，結合視覺與聽覺的接收規律及交互作用；在視覺與聽覺領域尋找更多的共同語言，以求更好地融合。此作品獲“多元”第七屆北京電子音樂節電子音樂作曲大賽江蘇賽區C組（MV及電子音樂與DV、Flash、動漫或數字影像結合作品）二等獎。

《錯置》的聲音素材完全采用電子合成音色，基于多種形態的聲音元素，通過多種變形處理及效果調制推動聲音不斷進行內在的發展，使聲音本身的感染力及張力更具效能，最終形成具有多重聲音表現特性的電子音樂作品。作品的影像部分是通過對一系列表面看似毫無邏輯關系的物體靜態以及運動的拍攝，利用不同景別、構圖、色彩、特效表現物體之間、物體與空間的共存、碰撞、錯位，闡釋物與物之間內在的關聯。

2 作品聲音素材、結構分析

2.1 聲音素材

整部作品的聲音素材可分為彌散狀、線狀、閃爍狀、顆粒狀四種形態。

（1）彌散狀音色多以無音頭形式淡入，常用來營造氛圍、鋪墊情緒，多與畫面中的慢速運動相配合。如全曲開始由一個低頻段彌散狀音色漸進，讓聲音以發散狀態彌漫在空間中，以蓄積內在的力。

（2）線狀音色通常是從點到點的快速運動過程，這個伴隨著相位轉移的過程有時會連帶多普勒效應，產生聲音頻率、音強、聲像等一系列相互作用的聲音特質急速運動變化的效果。線狀音色常與以一定速度有指向性的物體的運動相配合。如作品中物體由右向左勻速滾動的片段，與之相對應的是一個高頻的線狀音色做同樣聲像的位移。但有時也會根據創作者的意圖特意打破觀者慣有的生理接受特性，做完全反邏輯的處理。如作品0'39''，影像呈現兩物體撞擊畫面，而聲音卻為高頻線狀音色到低頻線狀音色的平滑銜接，一動一靜，造成視覺與聽覺的感受相矛盾，以制造不同常規的沖擊力。

（3）閃爍狀音色在一個較寬泛的區域中“星羅棋布”，同時，聲音在進行的過程中不斷變幻閃爍規律，營造出捉摸不定的氣氛。如作品1'14''是典型的閃爍狀素材，此點綴的閃爍狀音色，隨機跨越在高頻段和中頻段之間。

（4）顆粒狀音色與閃爍狀音色略有相近，類似無數細小、珍珠般圓潤的聲音散落在空間中，與其他音色配合時會使整體聲音狀態更加靈動、活躍或奇幻。同時，顆粒狀聲音通過有序組織、展開、推進，對聽者產生多重的感染力。

2.2 聲音素材變形、調制手法

這部作品的聲音制作基于MAC系統的LOGIC工作平臺，部分音色從EFM 1、ES 2、EVOC 20、Sculpture、Absynth中選取，通過FM調頻合成器里的多項參數旋鈕在聲音行進的過程中將音色逐漸變形。如0'43''出現的顆粒狀音色選用的是ES 2中的Mono Rhythm B，其音色原本已預置固定參數，為了通過音響出現的漸進變化表現聲音的延展性，創作者對其中Fliter的cut從0到1之間畫了線性包絡。同時，通過相位的移動配合畫面中物體的運動。

此外，運用LOGIC自帶效果器及Waves效果器中Doppler、Morphoder、Enigma、Metaflanger、Stereo Spread、EVOC 20 TrackOscillator及GRM tools對聲音進行實時調制。例如GRM tools就是調制顆粒狀音色很好的工具軟件，它把原本短小的聲音變形得更為細碎、豐富，再配合Doppler音高與距離的相對運動，使聲音在單獨存在時已經具有很強的畫面感。

2.3 作品層次結構

2.3.1 縱向層次

全曲高頻段的主要聲音素材為閃爍狀、顆粒狀和線狀，其中較為典型的有0'34''出現的一個線狀音色，此聲音略帶金屬質感、薄而透亮，給人以充滿理想與希望的暗示，同時通過相位、音量、音高無級線性變化，又使聲音始終處于不斷游離的狀態。

中頻段的主要聲音素材為閃爍狀、線狀、彌散狀。如0'43''出現的閃爍狀音色，此聲音跨越頻段較寬，常穿梭于各頻段之間，隨著調制的變化對情緒起到推動或緩和的作用。在此頻段出現的線狀音色多形成動態背景層，通過對濾波、鑲邊、顫音等變形手段進行動態調制起到沖擊或舒緩的作用。

低頻段以彌散狀音色為主，為整體聲音架構三維的立體空間，使整個空間有松散而穩固的低頻層承托。偶爾出現由中高頻段運動至中低頻段的閃爍狀、線狀音色，在運動的過程中充分發揮聲音素材在低頻段特有的特質，起到一定的情緒預示，通常一個音色在寬頻段中作較大幅度的運動會更易被聽者關注。

2.3.2 橫向層次

全曲分為引子、中部、尾聲三個部分。主要通過對電子音色的變形、調制讓音色實現內在發展以推動橫向進行。由于作者的創作意圖是對于聲音的變形進行嘗試，以及對視覺聯覺的探索，因此，全曲均為散板。

引子由彌散狀低頻淡入，試圖構建一個有承載力并有一定縱深度的聲場。隨著低頻在空間中的逐漸擴散、彌漫，引入一個新的高頻線狀素材，此素材從一個點到另一個點做勻速相位移動，配合畫面由虛到實，給觀者以強烈的不安的心理暗示。引子到中部是由彌散狀音色的淡出及閃爍狀音色的淡入作為銜接。中部推向高潮的段落主要由閃爍狀音色強度、密度及規律的漸變，彌散狀音色細膩的強度改變，線狀音色的穿梭共同推動。當所有聲音在即將沖到極限時戛然而止，此時微弱的氣息聲及線性音色存在于一個水底的聲場中，讓聽者在情緒即將伴隨聯覺到達頂峰時，突然沉入水底，毫無準備地給人以窒息之感。最終全曲再次出現引子部分的閃爍狀聲音素材，但此次素材在低頻層律動，最后向聲場的深遠處淡出。

3 作品影像分析

3.1 影像素材

《錯置》的影像部分采用實拍的手法，基本素材為靜物特寫及物體律動、碰撞。基于音視頻結合作品的基本要素，視覺影像與聽覺聲音之間必然有邏輯聯系，因此，影像素材的組織及節奏推進與音樂息息相關。在引子部分，主要為鑰匙等物體的靜態特寫，和鎖鏈來回自然擺動的律動，兩大靜與動的主體的陳述。在中部部分則圍繞這兩個脈絡展開動與靜關系的發展，在同一時間層、空間層通過聲音、影像自身以及聲音與影像之間的對立、統一來共同表現“錯置”這個主題。作品尾聲部分，原本靜態的物體在經過中部發展律動后最終回歸到靜止，在鏡頭的虛與實之間隨音樂淡出。

3.2 影像素材發展手法

3.2.1 靜態物體通過圖像的技術處理手段進行發展

（1）布光

創作者對于需要強調的物體或段落，運用具有高反差及高明暗對比的布光。通過這種手段來加強空間的三維特性，賦予畫面表現力，逐漸強化畫面對物體的指向性。如作品從0'12''開始，對鑰匙的布光逐漸由暗至明，形成與暗色背景越來越大的反差。

（2）色彩

通過改變色彩的飽和度來提升或衰減色彩能量。通常亮的、高度飽和的色彩更易強化高能量場景，例如鮮明的色彩表現激烈的畫面，而不飽和的色彩則更容易誘導觀眾透過外部畫面深度關注事件內部的發展。觀者也更愿意去實施心理完形，填充低飽和度與低清晰度畫面中缺失的成分。根據這一特性，創作者甚至在影像發展過程中適時地運用黑白處理，完全撇開色彩，使觀者專注于創作者希望強調的畫面深層信息，從而引導觀者在心理上向事件內部發展去感受，而非認知性地觀看畫面。如1'35''畫面從灰白背景的透明魚缸大特寫，逐漸過渡到同樣背景低飽和度色彩的筆的特寫，最終到高飽和度的整幅畫面，通過色彩起到能量推動作用。

（3）景深

為引起觀者對畫面內特定物體產生強指向的關注，而帶來心理沖擊，可以通過對鏡頭的深度進行變化。如1'27''畫面將鏡頭焦點瞬間從背景拉至物體，給觀者以強烈的視覺沖擊。

（4）特效

通過技術手段對于實拍物體做變形，使物體扭曲或不再清晰。如1'07''畫面運用瓦楞紙的效果，鎖鏈在這樣的效果下左右搖擺，給觀者造成一種不安定的心理暗示。

（5）虛化

創作者希望通過低清晰度畫面使觀者實施大量的心理完形，再通過由虛到實的過程，一步步引導觀者，從而獲得合適的格式塔，由此產生畫面磁力，在不知不覺中引導觀者努力參與畫面信息的詮釋。在這部作品中創作者較多地結合此手法對影像做深層次的發展，如1'13''隨著杯子的旋轉，杯身的圖案進入鏡頭，伴隨這個過程，圖案從模糊到逐漸清晰，給觀者以充分的時間伴隨聲音的推進而填充不足的畫面信息。

3.2.2 物體通過自身運動進行發展

在這部作品中這一類動態發展手法包括：物體的滾動、律動、碰撞。滾動是物體基于一個平面，從畫面的一側向另一側做勻速運動，如畫面中易拉罐的滾動。通常這一類運動力的強度不大，但具有很強的指向性，容易與聽覺上的相位移動相關聯。律動是物體基于一個中心點在中心點的兩側做均勻的往返運動，營造懸念、不安的氣氛，給觀者造成搖擺不定的心理暗示，如畫面中鎖鏈及老舊的鐵鎖的搖擺。碰撞是在瞬間物與物通過高速運動產生撞擊，這類運動會對畫面產生強大的沖擊力，如作品中板凳的碰撞。

3.3 建構靜態畫面的自然力作用

安定的平衡畫面：當畫面中靜態的物體幾乎處于對稱結構，在畫面兩側的圖像質量、磁力都幾乎相同時，意味著圖像處于安定的平衡狀態，此時觀者的心態也屬于平穩狀態。例如畫面中凳子最初的擺位是左右對稱的，此時為平衡畫面。但隨著撞擊改變了各自的位置，就是通過運動打破了原本畫面建構的平衡。

不安定的平衡畫面：當畫面中圖形不再對稱分布，畫面兩側不再相等，從而增加了畫面的動態能量時，意味著圖像處于不安定的平衡狀態。此時畫面具有一定的張力，物體的任何一點細微運動都能使畫面傳達出更強的傾向性。例如畫面中懸掛在把手上的鎖鏈，上端固定于把手、下端懸空垂直，就給觀者造成了一種向下的情緒指向。

3.4 動態畫面的連續矢量

屏幕內作用最強的自然力可能就是那些在畫面區域內部甚至外部將觀者的視線由一點引向另一點的指向性力了。這些力被稱為矢量（Vector），它們能夠與真正的物理力量一樣具有強迫性。為達到指向的必然性和力量，每一個矢量都載有一定量的大小和強度。因此，矢量是具有方向和強度的力。①畫面內物體運動速度越快，其矢量強度越大，例如畫面0'38''處起不斷碰撞的凳子，隨著時間的推進其碰撞逐漸猛烈，矢量強度也隨之逐漸增大；物體質量越大，其矢量強度也會相應的越大，例如畫面中瞬間掉落的鐵鎖，其強度就大于同樣高度掉落的塑料盒；此外，當物體以高速直指向攝像機運動或快速推進、拉遠鏡頭也會載有更高的矢量強度，例如畫面0'49''用虛化的鏡頭拍攝易拉罐從遠到近的快速滾動，其具有明確的方向指向——直指攝像機，因此，會比物體向別的方向運動具有更大的強度。

4 作品聲音與影像的組織、整合

4.1 聲音與影像的同步矢量

聲音與影像的同步矢量，即同一時間內各特性或主要特性遵循同一情緒指向，共同發展、共同收束，保持一致。聲音與畫面的矢量同步，是滿足人們感知需要的最基本、最常見的方式，是觀者接收音視頻信息的一般形態。聲畫同步使作品所要傳達的情緒更加容易被接受和理解。表1列出的是聲音與畫面各元素依據矢量強度由低到高的總結列舉。

表1 聲音與畫面各元素依據矢量強度由低到高的總結列舉

為了實現聲音與影像的同步矢量，創作人員要做到的就是運用這些音畫基本構成元素創造作品結構上的匹配和節奏上的重合，使聲音和畫面的情緒相輔相成地以相匹配的強度指向同一方向，從而使作品的矢量更為流暢。例如畫面1'42''處易拉罐的大特寫，易拉罐直指鏡頭方向運動，這種物體運動方向比二維畫面內物體從一側運動到另一側給予觀者的沖擊力和真實感更強。此時，聲音中音高的由低到高、音量的由弱到強，使這種沖擊力加劇。

4.2 聲音與影像的互補矢量

互補矢量，即聲畫特性不遵循同一情緒指向，而是以一種相互對比或相互補充的方式表現情緒。當觀者在一段時間內接受的都是音畫同步矢量時，感知會形成一種慣性，隨之音畫的張力便會逐漸削弱，這就需要在一定的時候通過新的手段打破原有的規律。例如畫面2'04''在聲音和畫面的矢量強度幾乎到達頂峰時，聲音驟然停止，畫面也迅速切換為大特寫鏡頭下左右搖擺的銹跡斑駁的鐵鎖，在時間定格的一刻感受空間中惟一物體的律動。

4.3 音畫組合的磨合方式

《錯置》這部作品首先構思的是聲音部分：確定主體聲音素材為四類形態的電子音色；通過調制、變形手段對聲音不斷進行內在發展；全曲分為三個部分，即引子、中部、尾聲；在對聲音做變化的過程中，主要從動態、時域和特殊效果等方面進行調制。聲音主創人員明確基本的聲音形態后與影像制作人員交流聲音的設計思路，探討畫面以物體的實拍為基本影像素材，將物體自身運動及圖像技術處理作為圖像發展的手法。

在基本完成聲音創作后，影像制作人員反復聆聽、琢磨聲音，同時觀看影像原始素材，分析聽覺矢量場建立相似特性的聽覺矢量場，思考如何最大限度地并發影像和聲音的矢量場，使它們交織成一個有序的整體單元。例如當聲音由一種原始的基本形態逐漸彌散變化時，聲音蘊含了一定的情緒指向，這種指向載有一定量的強度，此時畫面也配合聲音的情緒指向，通過影像的指向或暗示來支持和推動這一情緒，建構由畫面和聲音共同作用的矢量場。這一矢量場的效能決不是單一聲音與畫面相加的效能，而是同時作用于感官，并相互影響、滲透，甚至引起其他感官感覺的更大效能。例如在作品的引子部分，伴隨彌散狀音色聲音主體是線狀無級音高音色在作漸進上行，對情緒起到不安定指向。此時畫面為手持攝像機拍攝的放置在桌面的一串鑰匙，鏡頭對焦由虛到實，拍攝角度緩慢而不穩定移動，進一步強化不安定情緒的指向，此時聲音和畫面共同完成了這一情緒的矢量場。

在聲音和影像整體基本完成后，雙方人員共同探討音畫的契合程度，此時需要重點關注的是在作品整體的段落起伏中，音畫的矢量場是否一致，節奏是否吻合。如創作磨合中期，音樂發展到中部結束處，聲音戛然而止，此時第一稿畫面設計仍然停留在高光狀態，具有很強的能量。創作者將此時聲音的情緒狀態表達給影像制作人員，后改為現在2'06''處畫面突然轉為深色暗光。

最后是對點，將影像和聲音緊密同步，視頻標準為幀，音頻則是通過波形大小變化來和畫面對應。這點需要兩方創作人員共同細致地從頭到尾過濾，為音畫同步進行某一方時間上的伸縮調整，具體哪一方做改動取決于該段落音畫誰為主體。這部作品較多地方是畫面適應聲音，但也有部分段落是聲音依據畫面做出調整。例如其中有一個畫面是畫筆從畫面的左側滾至右側，最初音樂在畫筆滾動到畫面中間時已經有明顯的氣口，為配合畫面的完整性將音樂拉伸出一秒鐘。

5 結語

電子音樂與數字影像的結合日漸密切，這兩類有著強大的技術手段和獨特的創作觀念支撐的藝術分支共同發展、相互交融，為藝術創作提供了更多創新的空間。作品《錯置》就是在積極探尋電子音樂與數字實驗影像結合過程中的共通語匯，并藉此引發更多關于聲音與影像互補、融合的思考。

注釋：

① [美]赫伯特·則特爾著.趙淼淼譯. 圖像 聲音 運動——實用媒體美學[M]. 北京：北京廣播學院出版社，2003，106

[1] [美]赫伯特·則特爾著.趙淼淼譯. 圖像 聲音 運動——實用媒體美學[M]. 北京：北京廣播學院出版社，2003.

[2] 莊曜.范翎. 數字音頻應用藝術[M]. 南京：江蘇科學技術出版社，2010.

[3] 程伊兵.自己動手做聲音——聲音合成與制作基礎[M]. 北京：中央音樂學院出版社，2004.

[4] 彭志敏. 新音樂作品分析教程[M]. 長沙：湖南文藝出版社，2004.