虛擬現實技術在古典歌劇藝術傳播中的應用

洪達未

（作者單位：南京藝術學院）

虛擬現實技術在古典歌劇藝術傳播中的應用

洪達未

（作者單位：南京藝術學院）

古典歌劇藝術因其舞臺表達方式的特點，使傳播的范圍小效率低，基于攝影術的電影電視等傳播方式無法提供客觀地，沉浸式的體驗，而虛擬現實VR技術，有望以前所未有的真實體驗，將原汁原味的舞臺表演藝術帶給觀眾。

舞臺藝術；古典歌劇；虛擬現實

古典歌劇是在劇院這個特定時間，特定空間的環境中，由專業歌者進行二次創作的舞臺表演藝術。觀眾進入劇院觀賞，近距離地觀賞藝術家們的表演，獲得美的享受。這種藝術形式經久不息，但由于傳播方式的掣肘，使欣賞和品味真正的古典歌劇藝術一直以來都僅在有限的范圍內流行。

1　古典歌劇藝術的傳播

古典歌劇是舞臺表演藝術的集大成者，是應用音樂、舞蹈、文學、戲劇和美術等多種藝術的綜合表演藝術，其所承載的音樂文化與審美體系代表了西方音樂表演藝術發展的輝煌歷程，在世界范圍內都具有廣泛和深遠的影響。16世紀誕生之初，歌劇多服務于特權階層，歐洲宮廷貴族是主要的欣賞群體，籠罩著高雅藝術的光環。隨著社會經濟的發展，文化教育的普及，歌劇藝術逐漸成為西方社會的主流音樂表演形式。19世紀末的第二次工業革命使世界進入電氣化時代，隨攝影術誕生的電影等影像藝術，可以工業化式的生產和批量復制，而之后廣播電視技術的出現更是極大地壓縮了傳播的成本。技術的進步改變了藝術傳播的形態，促進了高雅藝術的審美普及。

現代信息技術的發展，使觀眾可經由歌舞片、電視節目乃至互聯網等媒介接觸到古典歌劇，但舞臺藝術的魅力不僅是流動的音樂和情境，而且場面調度、抽象化的表達方式、演員的二次創作和劇場內沉浸式的感官體驗等都具有其獨特性和藝術性。由于傳播技術的局限，且傳播過程中無法控制的二次加工，觀眾很難獲得原汁原味的舞臺藝術體驗。英國國家劇院自2009年起推出的NT Live項目，將劇院內上演的劇目用高清規格攝制，實時傳送到各地的電影院，讓身處世界各地的愛好者可以同時欣賞。雖然攝影和線性剪輯并不能承載完整的舞臺藝術體驗，但該項目還是獲得了觀眾的追捧，除了英國國家劇院的品牌效應，更因為在探索劇場沉浸式觀賞和客觀影像方面，該項目已經是當下比較成熟的解決方案。

2　虛擬現實技術真正使舞臺藝術可以跨越時間與空間的限制

電影、電視和互聯網視頻網站等視聽傳播媒介都是建立在攝影術的基礎之上，鏡頭中所呈現出的視覺畫面，是將景物投影在一個寬度和高度都被固定的封閉平面中。觀眾可以觀賞到畫面和音樂，但視覺中心和情緒會受構圖，景別等攝影手法的主觀引導，是導演“二次創作”的產物。

虛擬現實（Virtual Reality，VR）是由計算機建立一個與現實世界相似的模擬環境，通過各種技術手段“欺騙”使用者的感官，讓使用者獲得身臨其境的感覺。理論上，從虛擬現實使用者的角度來看，模擬環境是和真實環境別無二致，視覺、聽覺、嗅覺甚至觸覺都能夠自然感知的空間。基于虛擬現實系統的360°全景采集-數字化傳播-360°全景再現的體驗形式，可以將劇場、舞臺等特定時空中的所有細節捕捉并客觀地再現給觀眾，舞臺藝術傳播將不再受空間與時間距離的桎梏，觀眾是在街角的咖啡廳，抑或是萬米高空飛行的航班，都可以沉浸在古典歌劇音樂會的藝術享受中。這種新媒體技術的出現使客觀的傳達古典歌劇這類舞臺藝術成為可能。

2.1模擬環境的構建

真實的模擬環境需要在演奏廳中假定一個視點位置，從這個位置向外觀察，就會發現如果不停地自由旋轉，觀察平面會在空間中組成一個水平方向（經度）360°，垂直方向（緯度）180°的球形封閉空間。將這個球體上所有的影像細節記錄下來，就可以生成一個包圍著視點位置的，真實的模擬場景。理論上，如果在視點位置架設朝向前、后、左、右、上、下6個不同方向的攝像機，即可通過立方體投影的方式獲得球形模擬空間的影像信息。但當平面圖像投影到一個彎曲的表面時就會發生扭曲失真，反之亦然。此外，因為任何影像設備都無可避免的會在視場邊緣有光學失真，且裝配也不可能達到理論上的精度，為此，在實際拍攝中，以觀察頻率最高的水平面為基礎，環形布設多個Gopro攝像機，同時在上下兩個方向各垂直放置一臺，組成拍攝陣列。Gopro攝像機機身小巧，在采用4∶3畫幅時水平和垂直視場角約為122°和94°，這樣記錄下來各個方向上的影像內容在邊緣位置都留有足夠多的冗余，相互之間保證一定的交疊關系，進行邊緣融合的操作后，即可獲得完整、無縫的球形視覺空間信息。

獲得完整視覺空間信息只是構建模擬環境的第一步，第二步就是獲得完整的聽覺空間信息。通過和獲取視覺空間信息相同的方式，在視點位置上，朝著空間中各個方向安置指向性拾音器就可以獲得一個基礎的三維聽覺信息。但這些還遠遠不夠，由于聲音傳播和人耳聽覺的獨特性，僅靠單一位置的采樣難以得到真實的聲場信息，更因為古典歌劇音樂會最重要的元素恰恰是聲音的表演。為了能夠獲得盡可能多的細節和均衡合理的聲場信息，我們使用傳統的音樂會錄制方式，對表演者的人聲、樂器的演奏單獨進行采集，結合放置在演奏廳中不同定點采集得到的音軌，與視點位置的基礎三維聽覺信息進行混合，獲得完整的聽覺空間信息。

2.2視覺體驗的模擬再現

正常人眼的視場角范圍是因人而異的。經過統計研究發現，大部分人在頭部和眼球靜止不動時，雙眼的最大視場角有180°，擴展的視角甚至能到達190°，但只有在視線中軸左右各10～20°的范圍是能夠有效分辨輪廓和細節，這個范圍叫做“分辨視域”。視線中軸左右各60°范圍能夠分辨色彩，當超出到60°之外人眼就僅能感知，但無法準確分辨形狀和色彩了。所以在日常觀察事物時，我們能夠感知到視野前方大范圍的區域，但如果要精確分辨某個方向上的物體，就需要轉動眼球，或是轉動頭部，讓目標物體進入分辨視域。當我們在模擬環境與頭部的運動之間建立交互，觀眾能通過轉頭這種自然運動來改變視野，觀賞球形模擬空間中的全景，觀眾視覺上的感受將會和身處在視點位置上一樣，從而獲得沉浸式的視覺體驗。

在這里使用的是VR頭戴式顯示器來實現交互性的視覺投射。通過頭戴式設備中的九軸慣性傳感器測量數據，使我們可以實時地跟蹤觀眾轉頭時的角速度和加速度等參數，根據實時數據，調整球形模擬空間的顯示內容，再由頭戴式顯示設備將影像反饋給觀眾，使觀眾的視覺感知和運動感知保持統一。

2.3聽覺體驗的模擬再現

聽覺與視覺不同，是一種空間型的感知，雖然不能如視覺一般精確的感知事物，但卻可以對立體空間中聲源進行概略定位，分辨出聲源來自于前、后、左、右、上、下哪個方向、距離遠近、大小，甚至通過音色辨別出發聲物體的質地。聽覺的這些能力，來自于人耳的特殊構造和大腦的處理。例如，我們在分辨聲源方位時，從聲源發出的聲音到人的兩只耳朵的距離不同，兩耳間接受到聲音的時間也就不相同，大腦通過耳間時延可以分辨出聲源的方位；對音色和兩耳間音量的分辨，又能讓大腦分辨出聲源和回聲，進而對空間位置產生整體的感知；與頭部運動相結合時，由于耳朵外形與耳廓的朝向導致從頭部后方傳來的聲音相比前方傳來的消音要多一些，讓我們能夠以此來追蹤聲源的位置。

對聽覺的模擬再現也就是對人耳特性的模擬，通過HRTF（Head Related Transfer Function，與頭部有關的聲音傳播方式）算法的研究，近年來諸如“A3D”“EAX”“SRS”等3D音效解決方案層出不窮。我們可以僅利用一副耳機就能模擬出聽覺空間中沉浸式的體驗效果，同時根據頭戴式設備中九軸慣性傳感器的測量數據實時改變聽覺空間信息，使觀眾的聽覺感知和運動感知保持統一。

3　虛擬現實技術在古典歌劇藝術傳播中的前景

古典歌劇藝術因其表達方式，時效性和不可復制的特點，使傳播的范圍小效率低，虛擬現實VR技術，能夠突破時間和空間的限制，提供客觀地，沉浸式的舞臺表演藝術體驗，必會受到古典歌劇藝術愛好者的追捧。同時，受現階段技術與制作水平的限制，虛擬現實平臺和硬件雖廣受追捧，但內容開發的速度卻差強人意，舞臺表演VR內容的制作周期相對較短，且時效性強，也會受到廣大VR愛好者的青睞。

虛擬現實技術立體沉浸式的體驗環境，使以往對古典音樂可視化的研究，又增加了一個緯度，視覺元素不再受制于攝影理念的限制，新技術促進新觀念、新手法的誕生，虛擬現實技術和古典歌劇藝術在未來一定會相輔相成，煥發新的活力。

[1]劉芬芳.歌劇藝術的大眾化審美闡釋[J].文藝評論,2012(9).

[2]楊媚.現代的通俗與傳統的高雅——現代音樂劇與歌劇之比較[J].美與時代月刊,2007(1).

[3]周前祥,姜國華,曲戰勝,等.視場角設置對虛擬環境中目標判斷的影響[J].航天醫學與醫學工程,2003,16(4).

[4]周前祥,姜國華,曲戰勝,等.虛擬環境中最佳觀察視場角的實驗研究[J].人類工效學,2002,8(2).

[5]孔銀昌.虛擬場景中的3D音頻的分析與實現[J].電子與電腦,2010(1).

[6]周燕,金偉其,劉廣榮,等.基于人眼視覺的光電成像系統性能評價方法研究[D].北京:北京理工大學,2003.

南京藝術學院校級項目，項目批準號：DG2JJG13。

洪達未（1983-），男，江蘇徐州人，南京藝術學院，碩士，工程師，研究方向：戲劇與影視