張哲 冀翔
【摘? ?要】 以“E音之夜”多媒體原創電子音樂會為樣本,分析現場演出同步與觸發系統的設計思路與注意事項。
【關鍵詞】 現場演出;同步;觸發;時間碼;音視頻同步;自動化;演出控制系統;備份
文章編號: 10.3969/j.issn.1674-8239.2018.12.004
2018年6月,中國傳媒大學“E音之夜”多媒體原創電子音樂會(以下簡稱“E音之夜”音樂會)成功舉辦。“E音之夜”音樂會以別具一格的原創電子音樂作品為基礎,輔以創新高科技多媒體手段,呈現出視覺與聽覺雙管齊下的饕餮盛宴。
筆者在演出中負責音頻播放系統的設計和現場操作,針對音頻、視頻與燈光部門對于同步操作的需求,引入基于時間碼的同步和觸發控制系統,力求做到:(1)以音頻播放觸發視頻播放;(2)音視頻素材同步播放;(3)調光臺在特定時間點上自動做出Cue點切換。在設計和執行過程中,筆者針對時間碼信號類型的選擇、時間碼發生源、備份、各工種工作方式的協調和方案靈活性等問題進行了較為深入的思考和嘗試,并獲得了不錯的效果。因此,筆者以“E音之夜”音樂會為樣本,分析現場演出同步與觸發系統的設計思路與注意事項,力求對從業者提供有益的幫助。
1? 概述
“同步”是一個廣義的概念,字面意思為“相同的步調”。它所對應的英文術語“Synchronization”指一個系統內部各個組成部分協同工作。在涉及多媒體呈現的現場演出中引入演出控制(Show Control)的“同步”概念,即以自動化的方式統籌多個工種的控制系統(子系統)進行協同工作。這些子系統包括音頻控制系統(調音臺、播放器)、視頻控制系統(切換器、播放器)、燈光控制系統(調光臺、霧機)、舞臺機械控制系統和焰火控制系統等。
演出控制通常以時間為參考,對于子系統的控制體現為兩種形式:(1)在初始指令發出后,各個子系統能夠在特定時間點上同時完成某種自動操作。例如調光臺能夠在音樂的特定時間點上自動做出Cue點切換;(2)在初始指令發出后,各子系統能夠完全根據時間參考進行自動操作,例如舞臺機械根據音樂的進行發生連續的變化、視頻素材的播放始終與音頻素材的播放保持“幀對幀”的同步等。
這兩種控制形式包含了“同步”和“觸發”的概念,在實際應用中往往通過時間碼(Time Code)和觸發信號(Trigger)予以實施。“初始指令”指時間碼開始播放或發出觸發信號。時間碼同步適用于固定時長的節目,它能夠在特定時間點上“告知”各子系統根據相關設置做出動作;而觸發信號則由人來進行手動觸發,適用于非固定時長的節目。
如圖1所示,演出控制系統對于子系統的同步和觸發通常可以分為三種工作模式。
第一種是“固定時長節目,各子系統全程同步”。它需要將各個子系統的從屬設備與時間碼完全綁定,當時間碼開始,從屬設備開始,時間碼停止,從屬設備也會停止。這種工作模式通常用于音視頻后期制作。音視頻素材會跟隨時間碼播放,工作站、調音臺等設備也會根據時間碼進行混音操作的自動化記錄或者回放,它們的每一幀都和時間碼的每一幀相對應。當時間碼停止時,素材播放和設備的自動化記錄/回放也會停止。這種工作模式通常不適用于現場演出,因為時間碼的停止會導致音視頻素材播放的停止,這無疑增加了演出所面臨的風險。
第二種方式 “固定時長節目,特定時間點自動觸發”的工作模式。它可以讓音視頻播放系統根據“時間碼開始播放”或“時間碼到達特定時間點”指令同時開始播放,隨后便不再受到時間碼的控制。這樣即使時間碼發生器由于某種原因停止工作,音視頻素材也會繼續同步播放下去,避免了出現時間碼的停止會導致音視頻素材播放的停止這種風險。除此之外,這種工作模式還能夠用于燈光Cue點切換、霧機系統、煙火系統和舞臺機械系統的協同工作,當“時間碼到達特定時間點”時,上述子系統可以根據預先編輯好的程序自行工作。例如,音樂素材在某一時刻有焰火音效,在音樂播放到這一時刻時,燈光、焰火系統都會根據這一音效做出相應的響應。
第三種方式為“非固定時長節目,人為手動觸發”。它針對演出中非精確時間點上出現的事件,通過人為的一次觸發,同時讓多個子系統做出同步響應。例如,圖2所示的音樂劇《一步登天①》中,男主角會多次給出一個標志性的Cue點,此時聲音和燈光效果需要隨著男主角的動作做出同步響應,但聲音的播放或者燈光效果的操作②則是現場工作人員通過觀察演員的表演做出的。
2? 同步和觸發系統的設計考量
在一場演出中使用同步或觸發需要考慮以下幾方面問題:(1)各工種使用的設備能夠接收何種類型的同步/觸發信號;(2)如何選擇同步/觸發信號源及信號類型;(3)時間碼/觸發信號傳輸系統如何備份;(4)同步和觸發系統的靈活性。
這些問題雖然各有側重,但是緊密相關。各工種對設備的選型決定了它們能夠接收同步/觸發信號的類型。在此基礎上選擇信號發生源和信號類型,構建備份系統,同時將系統靈活性作為重要考量。
2.1? 各工種使用的設備能夠接收何種類型的同步/觸發信號
對于時間碼來說,使用頻率最高的是MTC(MIDI接口)和LTC(XLR接口);對于觸發信號來說,基于MIDI協議的各類信號則根據不同的子系統有著較大的不同。目前,絕大多數調音臺都能夠同時支持MTC和LTC;基于個人計算機的音頻和視頻播放系統由于使用專業音頻接口,也同時支持MTC和LTC;部分燈光控制臺僅配備MIDI接口,支持MTC或通用MIDI觸發,無法接收LTC。
2.2? 如何選擇同步/觸發信號源及信號類型
時間碼(TimeCode)的格式為:xxHxxMxxSxxF,即xx小時xx分鐘xx秒xx幀。MTC和LTC(Linear/LongitudinalTimecode)這兩種時間碼均采用SMPTE標準,只是表現形式不同,應用于不同的載體。LTC是一種經過編碼后,表現形式為音頻信號的時間碼格式,它能夠通過模擬音頻信號線進行傳輸。MTC(MIDI Timecode)是經過編碼之后,轉換成MIDI信號的時間碼格式,通過MIDI線傳輸。相較于MTC,LTC不僅可以實時生成時間碼,還能夠生成WAV格式的LTC時間碼音頻文件。
時間碼信號源種類繁多,有硬件時間碼發生器(如調音臺或專用時間碼設備等),也有基于軟件的、具有時間碼生成功能的數字音頻工作站、播放器及演出控制軟件。對于時間碼發生器的選擇應綜合考慮演出需求、備份機制和系統靈活性等問題。
在“E音之夜”音樂會演出中使用的是WAV格式的LTC時間碼音頻文件,見圖3。在音頻播放器中,時間碼音頻文件與節目所使用的音頻文件同步播放。
對于觸發信號來說,MIDI信號是最為常用的。例如,調音臺或燈光控制臺在切換快照(Cue)時可以發出MIDI信號,音視頻播放器接收信號后可以根據預先編輯的內容進行播放。需要說明的是,發出MIDI指令的既可以是調音臺/燈光控制臺,也可以是任何形式的MIDI鍵盤(合成器、打擊板等),還可以是音視頻播放器,且觸發控制的實現是雙向的,即一個設備既可以作為觸發信號的發出者,也可以作為接收者來執行某種操作。在一套實際系統中,為了保證備份系統簡潔有效,往往指定某一設備作為觸發信號的發出者,其他設備作為接收者。
2.3? 時間碼/觸發信號傳輸系統的備份及注意事項
對于采用時間碼/觸發信號進行控制的演出系統來說,備份是不可或缺的重要環節,這其中包括時間碼/觸發信號發生源的備份、音視頻播放器的備份以及合并/分配/切換設備三個部分。
“E音之夜”音樂會上使用了典型的時間碼控制音視頻播放設備進行同步工作的系統。設計此類系統時應做到以下幾個方面:(1)時間碼的主備系統能夠同時開始和停止;(2)音視頻播放設備的主備系統能夠交叉接收時間碼主備系統發出的信號;(3)盡可能保證作為單點的合并/分配/切換設備簡單穩定。
一個系統中只能存在一個時間碼,所有的時間碼接收設備都無法同時使用多個輸入的時間碼,但可以采取合并的方式將主備系統送出的時間碼信號合二為一。如使用LTC,將兩個完全相同的LTC信號源同時輸出至調音臺或聲卡的虛擬調音臺,混合之后輸出給接收設備。當其中一個時鐘源崩潰,另一個時鐘源仍能持續輸出完全相同的LTC,調音臺的輸出電平會相應小6 dB,但是LTC完全不會中斷。如果使用的是MTC,可使用MIDI Merger或同類型設備來實現MIDI信號的合并③。
需要注意的是,在48 kHz采樣率下,如果兩條完全相同的LTC的播放時間差大于7個采樣(約等于0.14 ms),合并后的LTC就會紊亂,導致時間碼同步系統崩潰。因此,保證時間碼主備發生器的同時開始就顯得尤為重要,為此可使用Q-Widget等同步器來進行播放控制。除此之外,還需要注意兩臺電腦使用的不同聲卡的不同時鐘基準所帶來的時間差,即主備聲卡在同一時間段內計算出來的時間長度是否一致,這與聲卡的時基晶振有關。通常在播放了一定的時間之后,兩臺時間碼的相對延時會越來越大,直至影響系統的穩定性。
嚴格來說,在演出前應對主備聲卡進行測試,找到時間碼錯開7個采樣所需要的時間臨界值。一般來說,當時長超過30 min之后才會出現時間碼錯亂的問題。因此,應盡可能使用完全相同的兩塊聲卡,為每個節目(而不是整場演出)單獨設定時間碼,將每段時間碼的長度控制在30 min之內④。
對于音視頻素材的備份可以通過兩組播放器來完成,調音臺將混合后的LTC再一次進行路由分配,同時送往主備播放器;通過MIDIMerger進行混合的MTC則需要MIDISplitter再次分配給主備播放設備。
在此基礎上,音頻素材的主備切換需要通過調音臺來完成,視頻素材的主備切換需要通過視頻切換器來完成。在該系統中,所有的混合、切換和分配設備均為單點,無法進行備份⑤,因此,應保證這些環節盡可能簡單且穩定。
在有條件的情況下,建議在主備系統之外設計一套獨立于時間碼/觸發系統之外的,完全由人進行手動控制的音視頻播放系統,作為突發情況的應急解決方案。
2.4? 同步和觸發系統的靈活度
LTC、MTC和內容為LTC的WAV音頻文件作為時間碼信號來說幾乎是完全一樣的,但是在實際系統的搭建和使用過程中,這三種時間碼格式之間則存在較大的差異。
從系統搭建的角度來說,LTC(或內容為LTC的WAV音頻文件)相對更加便捷,利用專業調音臺、音頻接口都能夠完成LTC的輸入、輸出、分配和接收工作;但是,所有音頻接口都只有一組MIDI輸入和輸出接口,在使用MTC時需要借助獨立的合并及分配設備。值得一提的是,WAV音頻文件承載的LTC實際上已經替換了“時間碼發生器”的概念,將時間碼通過音頻播放器來進行播放,這在某種程度上簡化了系統,提升了穩定性。但它的問題在于不夠靈活,尤其是節目時間長度或者節目之間的順序發生改變時,對時間碼做出修改就變得比較困難。
3? 具體實施
對于演出控制系統來說,音響部門需要負責提供時間碼、搭建時間碼/觸發信號的傳輸和備份系統。“E音之夜”音樂會中用到的這類由時間碼控制音視頻播放器的系統,提出基本的工作步驟如下:
(1)了解節目形式,確定節目需求,與各工種的前期協調,包括音視頻是分開播放還是統一播放、燈光控臺能夠接收的時間碼/觸發信號類型等;
(2)設計時間碼/觸發信號系統,確定設備型號及數量;
(3)根據節目列表,為每個節目制作時間碼;
(4)收集音視頻素材,對時間碼信號源及音視頻播放器進行編程。
“E音之夜”音樂會上使用的燈光控臺為GRAND MA2,能接收MTC和LTC,視頻播放系統為ProVideoPlayer2(PVP2),僅能接收LTC,為便于管理,所有設備統一使用LTC。音頻播放系統使用QLab,它既能夠直接播放內容為LTC的WAV文件,也能夠通過Time Code Cue生成MTC和LTC。權衡后,筆者選擇內容為LTC的WAV音頻文件,將其和編組音頻素材(伴奏、低音聲部、效果人聲等StemMix)同步播放,觸發視頻播放系統和燈光控臺進行工作。
經協調統計,此次演出中共使用4套筆記本電腦,其中音頻播放系統2套、視頻播放系統2套,每套播放系統配備1個音頻接口,LTC全部采用模擬平衡信號線進行連接,見圖4。
本次演出的25個節目均由時間碼來進行控制,筆者以15 min為間隔制作了25條時間碼。出于對各個從屬設備響應速度和系統穩定性的考慮,預先讓時間碼播放3 s,再讓各系統同步播放;出于同樣的原因,在音視頻系統播放結束2 s后,再讓時間碼停止。為了完成上述功能,在QLab中涉及的具體設置包含以下幾個方面:(1)Group Cue;(2)Pre-Wait/Auto-Continue/Auto-Follow;(3)Stop Cue;見圖5。
Group Cue(圖5中①)能夠將任意類型的Cue編組,實現統一的播放和管理,本場音樂會上,將每一個節目的Stem音頻文件⑥編為一組,包含LTC的WAV文件⑦則位于Group Cue之前,Stop Cue位于Group Cue之后。圖6給出了Group Cue的四種觸發模式,本場音樂會使用第二種:Start first child and go to next cue,即Group Cue被觸發后,Group之后的Cue(Stop Cue)會進入準備狀態。
Group Cue內部Stem Cue的同步播放需要通過Auto-Continue(圖5中④)功能來實現。它指一個Cue被觸發后,與它相鄰的下一個Cue會同時被觸發,即兩者同時播放。通過這一功能,GroupCue內部的Stem Cue得以同步播放。Auto-Follow(圖5中⑤)則是在某一個Cue播放結束后自動播放下一個Cue。
Pre-Wait功能則是在Auto-Continue和Auto-Follow的基礎上,為下一個Cue的觸發加入了一個等待時間。筆者通過這一功能將TC Cue、Group Cue和Stop Cue關聯起來:Group Cue中的第一個Stem Cue與TC Cue是Auto-Continue關系,但是加入了3 s的Pre-Wait時間,因此,在TC Cue觸發3 s后,第一個Stem Cue開始觸發,通過編組內的Auto-Continue,所有Stem Cue同步觸發播放。最后一個Stem Cue與Stop Cue之間為Auto-Follow關系,即最后一個Stem Cue結束后,Stop Cue會被執行,但此時為Stop Cue加入了2 s的Pre-Wait時間,因此,在Stem Cue播放結束2 s后,TC Cue才會被停止。
4? 總結與思考
在一套演出控制系統中,時間碼適用于固定時長節目中各個子系統的同步運行,而觸發信號則需要人根據現場情況手動發出,進而讓各個子系統之間協同工作。往往在一場演出當中,時間碼和觸發信號均會得到使用。例如,“E音之夜”音樂會的案例,節目和節目之間停頓的時長是隨機的,因此,每個節目TC Cue的觸發必須是手動的,這一操作可以通過Q-widget的播放按鈕,也可以通過電腦鍵盤的空格鍵,也可以通過MIDI鍵盤等MIDI設備來完成。“觸發”本身就是一個非常寬泛的概念,不必過于糾結在文字表述層面。
在時間碼/觸發信號的設計過程中,務必將“簡化”和“務實”放在首位,確保系統架構清晰、備份環節盡可能完備、系統單點盡可能少、系統搭建盡可能簡單高效。在此基礎上,應提前預估導演在排練過程中可能對節目做出的調整,為時間碼/觸發系統的靈活性和可調整性留出余地。
致謝:本文是第五屆“E音之夜”音樂會上音響團隊的經驗整合。在此感謝楊杰、路程、劉博、饒奕和楊明聰老師在演出前期準備和排練過程中給予的指導和幫助。初涉現場演出的同步和觸發問題,文章內容難免稚嫩,請各位讀者包涵并提出寶貴意見。