Krotos Dehumaniser 2生物/怪物語音特效制作原理淺析

夏 田

北京電影學院聲音學院,北京 100088

1 引言

生物/怪物語音特效制作一直以來都是影視、游戲聲音制作中充滿挑戰的問題,通常要根據制作項目的具體需求,綜合運用配音、編輯、聲音合成、效果處理等多種手段完成制作。英國Krotos公司推出的語音特效制作插件Dehumaniser 2通過模塊化方式讓用戶在該插件內部自行搭建效果處理鏈,提供10種專門面向生物/怪物語音特效制作的處理模塊及200多種預置,為生物、怪物、外星人、機器人等特效聲音設計構建了一種便捷的解決方案,并在《復仇者聯盟2:奧創紀元》 《驚奇隊長》 《星際迷航》《攻殼機動隊》等影片中得到了運用。

本文將對Krotos Dehumaniser 2提供的粒子合成、延時音高平移、磁帶摩擦卷積處理模塊的工作原理進行分析,并統計原廠預置對各種模塊的組合及使用頻次,初步歸納生物、怪物等語音特效制作的常用聲音處理手段,同時在Native Instruments公司推出的通用聲音合成平臺REAKTOR 上進行簡單仿真驗證。

2 KrotosDehumaniser2 簡介

Dehumaniser是Krotos公司推出的第一款聲音設計工具產品,源自該公司創始人奧菲斯·博蒂斯(Orfeas Boteas)在英國愛丁堡大學攻讀碩士學位時進行的研究項目。博蒂斯在Max/MSP 環境下編寫了程序,能夠讓聲音制作者運用自己的語音實時進行怪物、機器人、生物聲音特效制作。在傳統聲音制作方式中,制作這類聲音特效需要綜合運用多種效果處理方式以及大量的動物聲音素材,既費時又費力。博蒂斯通過編寫這個程序,簡化了制作流程,同時實時表演的方式也能更好地激發聲音制作人員的創造力。在愛丁堡大學的支持下,2013 年9 月,博蒂斯與他人聯合創辦了Krotos公司,并于同年11月發布了經過商業化改造和增強的獨立軟件Dehumaniser專業版。2016年5月,Krotos公司發布了升級后的Dehumaniser 2,對內部算法進行了改進優化,加入了新的處理模塊和聲音素材庫,并引入了基于節點的模塊化信號處理方式,為聲音制作者提供了更大的創作空間。

3 Dehumaniser2 部分模塊工作原理分析

Dehumaniser 2 并非一個簡單的效果器插件,而是一個模塊化的聲音處理平臺。它提供了10種效果/功能模塊,允許用戶在該插件內部自主選擇使用哪個或哪些模塊,并允許用戶自由搭建各個模塊之間的信號路由,從而能夠產生出千奇百怪的聲音特效。遺憾的是,Dehumaniser 2 的官方文檔并未詳盡介紹這些模塊的工作原理和使用方法,本節將通過實驗的方式,對其中部分模塊進行工作原理分析。

3.1 Granular模塊

粒子合成模塊Granular通過把聲音切割成若干粒子(片段)來產生一些新奇的效果,它可以改變音高以及聲音的質感,產生低聲細語或是粗糲聲音的效果。此外,Granular模塊還可以只重現輸入聲音的某些部分,并在這些部分之間插入靜音,從而產生奇異的效果,非常適合制作異星語言。該模塊包含6個參數:Grain Pitch、Grain Pitch Variation、Grain Size、Density、Density Variation 和 Max Voices。

3.1.1 Grain Pitch與Grain Pitch Variation

Grain Pitch參數控制聲音粒子的變調程度,該參數的含義是頻率比,即當Grain Pitch為2.0時,音高升高一個八度;為0.5時,音高降低一個八度。實驗表明,Granular模塊采用類似于重采樣的方式進行變調,即粒子時長會跟隨音高變化同步變化:音高升高導致時長縮短,音高降低導致時長伸長。通過實驗發現兩個需要注意的問題: (1) 當音高降低過多(即參數接近0時),音高會在兩個音調之間來回擺動; (2) 參數最小值為0,但實際上,小于0.1的參數不會帶來音高的進一步變化。Grain Pitch Variation 參數令每個聲音粒子的音高以Grain Pitch設置的音高為中心隨機變化,變動范圍為±Grain Pitch Variation個半音。

3.1.2 Grain Size

該參數名義上設置的是每個聲音粒子的長度,但以恒定幅度的單頻正弦波作為輸入信號進行測試后發現,該參數的實際效果是設置了聲音粒子的最小長度。從圖1中可以看出,若假設Grain Size設置為GS毫秒,則粒子長度大致在 [GS,GS+60]毫秒之間均勻分布。此時,Granular模塊其他參數設置為Grain Pitch=1.00,Density=0,Variation=0,Max Voices=1。

圖1 Grain Size分別為30、50、100、140毫秒時,對Granular模塊產生的1000個聲音粒子的時長進行統計后繪制的直方圖

圖2 為Grain Size 分別設置為30、50、100、140毫秒時,Granular 模塊對輸入的單頻正弦波(振蕩頻率為375 Hz)的輸出波形。從圖2中可以看出:每個聲音粒子的長度是隨機變化的,但粒子與粒子之間的時間間隔是恒定的 (即當前聲音粒子的起始點與下一個聲音粒子的起始點之間的時間間隔始終為200毫秒,由下文可知,這是因為Density設置為0);每個聲音粒子的淡入和淡出包絡呈對數線性變化。

圖2 Grain Size分別為30、50、100、140毫秒時,7個相繼的聲音粒子的波形圖

3.1.3 Density與Density Variation

Dehumaniser 2的操作手冊中僅僅提到 “Density參數能影響相繼聲音粒子之間的時間間隔”。通過測試可知,該參數影響相鄰兩個聲音粒子的起始點之間的時間間隔:Density=0 時,時間間隔為200毫秒;Density=10 時,時間間隔為180 毫秒;Density=20時,時間間隔為160毫秒。以此類推,即時間間隔大約為200-Density×2毫秒。

由于Granular模塊的每個聲音粒子長度實際是在[GS,GS+60]毫秒之間均勻分布的,因此,即使Grain Size設置為最小值GS=1,該模塊實際產生的聲音粒子的時長仍然有可能達到60 毫秒左右,所以,當Density≥(200-GS-60)/2時,相繼聲音粒子就有可能出現重疊。

Density Variation參數控制了添加到Density的隨機量,數值越高,各個粒子之間時間間隔的變動越明顯,這將產生更加分散的抖動輸出。通過測試可知,若Density Variation參數的數值設置為DV,則相鄰兩個聲音粒子的起始點之間的時間間隔在[d,d+DV]之間均勻分布,其中d=200-Density×2。所以,需要注意的是,DV 值越大,實際的聲音粒子的密度越低。

3.1.4 Max Voices

該參數用于控制同時發聲的聲音粒子數。當聲音粒子之間的時間間隔小于聲音粒子本身的時長時,就會出現多個聲音粒子同時發聲的情況,如圖3所示。

圖3 Max Voices分別為0和2時的波形圖(Grain Size=20,Density=80)

(1) 若Max Voices為0,則不會出現多個聲音粒子同時發聲的情況,此時,前一個聲音粒子播放完畢之后,才會播放下一個粒子,并且中間不會有間隔。

(2) 若Max Voices為1,可能會與設置為0時相同,也可能能夠同時播放兩個聲音粒子。這可能是因為Dehumaniser 2對旋鈕的數值顯示進行了四舍五入,導致顯示數值與實際進行運算的數值不一致。

3.1.5 REAKTOR 仿真

通用聲音合成平臺REAKTOR 在Primary Level中提供了Grain Resynth、Grain Pitchformer、Grain Cloud、Grain Delay、Grain Cloud Delay等模塊進行粒子合成。在這些模塊中,Grain Resynth、Grain Pitchformer和Grain Cloud對事先導入的音頻文件進行粒子重合成,無法處理實時輸入的音頻信號。Grain Delay和Grain Cloud Delay則是對延時緩沖區中緩存的音頻輸入進行粒子重合成,因此當延時時間設置得很小時,可將其近似看成對輸入音頻信號進行實時粒子重合成。這里選用了與Dehumaniser 2 中Granular模塊功能最接近的Grain Cloud Delay模塊進行仿真,實現了Granular模塊的大部分功能,如圖4 所示。Grain Pitch、Grain Pitch Variation (GPV)、Grain Size、Density、Density Variation都可以通過面板上的旋鈕實現,Max Voices功能需要在Grain Cloud Delay模塊的屬性頁中單獨設置。

圖4 在REAKTOR 中使用Grain Cloud Delay模塊模仿Dehumaniser 2中Granular模塊的大部分功能

3.2 Delay Pitch Shifting模塊

Delay Pitch Shifting (延時音高平移)模塊能夠對輸入信號進行延時,并同時進行音高平移。實驗表明,對于單頻正弦波,該模塊的輸出存在弧形幅度包絡。通過觀察輸出信號頻譜可以發現,即便在沒有進行音高平移的情況下,該模塊對于單頻正弦波輸入信號所產生的輸出仍然含有多個頻率分量,如圖5所示。通過測量可知,這些多出來的頻率分量之間的頻率間隔幾乎相等,并且隨著音高平移量的增大,該頻率間隔也逐漸增大。這些頻率分量在輸入頻率成分兩側對稱分布,類似于幅度調制或頻率調制的頻譜。從圖6可以看出,這些頻率分量使輸出信號波形的包絡產生了周期性波動。

圖5 Delay Pitch Shifting模塊的音高偏移量為0時,輸入997Hz、0dB的正弦波所產生輸出信號的頻譜

圖6 Delay Pitch Shifting模塊的音高偏移量為-1時,輸入不同頻率正弦波產生的輸出波形

從圖5中可以看出,在該模塊的輸出中,輸入正弦波的幅度降低了12dB,同時出現了大量額外的頻率成分。

Dehumaniser 2 的官方文檔中沒有說明Delay Pitch Shifting模塊的工作原理。但我們知道,基于粒子重合成技術的延時器對延時緩沖區內的音頻信號進行粒子化處理,即對音頻信號進行切片并施加幅度包絡,形成聲音粒子,同時可以對這些聲音粒子進行音高平移。為使處理后的聲音聽起來連貫平滑,切片(或聲音粒子)的時間長度應該不大于人耳的時間分辨率,即時長在幾毫秒到幾十毫秒之間。此類延時器實現音高平移的最簡單方法就是對各個聲音粒子進行變采樣率處理,這將令每個聲音粒子的時長發生變化,從而需要對各聲音粒子之間的間距進行相應的反向調整,以使輸出聲音總體時長保持不變。聲音粒子間距的這種調整使得相鄰聲音粒子之間的交疊淡化難以實現完美的平滑過渡,從而在聲音中產生了周期性的不平滑點,在頻譜上就會表現為類似于圖5的頻譜。REAKTOR 中的Grain Cloud Delay及Grain Delay模塊即采用此類工作方式產生音高被平移的延時信號,其頻譜如圖7 所示。據此推測,Dehumaniser 2的Delay Pitch Shift模塊可能采用了類似于粒子重合成的技術對延時信號進行音高平移。

圖7 在REAKTOR 中使用Grain Cloud Delay模塊輸入997Hz、0d B的正弦波所產生輸出信號的頻譜

在圖7中,聲音粒子長度為24.6毫秒,粒子間距為17.3毫秒,包絡平滑系數為0.21。

3.3 Scrubbing Convolution模塊

Scrub一詞來自于模擬磁帶,在這里意味著對音頻文件進行 “摩擦”式的播放。Scrubbing Convolution (磁帶摩擦卷積)模塊通過使用粒子合成方式,產生類似于模擬磁帶摩擦還音的播放效果。該模塊根據輸入信號A 的幅度以及用戶在模塊圖示上繪制的映射曲線,對用戶選擇的音頻樣本B進行粒子重合成。

根據Dehumaniser 2 操作手冊的描述,映射曲線的橫軸方向表示輸入信號A 的電平大小,縱軸方向表示被選中的音頻樣本B 的播放位置 (低位置表示樣本的開頭,高位置表示樣本的結尾)。但通過實際測量發現,縱軸方向并非與播放位置呈直接的線性對應關系(參見3.3.2映射曲線一節)。

Mix可以在粒子合成引擎和卷積引擎之間進行混合。默認情況下,混合設置為50%卷積和50%粒子合成的混合。當Mix設為0時,只會聽到輸入音頻信號與樣本的卷積結果。當Mix為1時,將僅聽到粒子合成引擎的輸出,即根據輸入音頻信號的振幅,在選定文件中進行“磁帶摩擦”播放。

3.3.1輸入信號幅度與音頻樣本播放位置的映射關系

通過實驗發現,在當前版本的Dehumaniser 2中,Scrubbing Convolution 模塊 (以下簡稱SC 模塊)對輸入信號幅度的響應并非線性。為準確測量輸入信號幅度與SC 模塊音頻樣本播放位置的映射關系,專門構造了一個特殊的音頻文件。該音頻文件為一系列首尾相接、相位連續且振蕩頻率不斷階躍升高的單頻正弦波(從1000 Hz開始),每個正弦波的振幅均為1,持續時間均為100毫秒,每個相鄰正弦波的振蕩頻率相差100Hz。因此,0～100毫秒為1000 Hz的正弦波,100～200毫秒為1100 Hz的正弦波,200～300毫秒為1200 Hz的正弦波,以此類推,4900～5000毫秒為5900 Hz的正弦波。這樣可以通過測量輸出信號的頻率來間接測量被播放的音頻片段在原音頻樣本中的時間位置。

當輸入信號為單頻正弦波時 (振蕩頻率不能過低,否則容易因為振幅變化較為緩慢而導致被測量出來的輸出電平發生波動),若SC 模塊選取上述特制音頻文件作為其音頻樣本,并將Mix設定為1、利用Reset Envelope按鈕將映射曲線重置為對角線(圖8),則能觀察到:

圖8 利用Reset Envelope按鈕將映射曲線重置為對角線

(1) 當輸入信號峰值從-∞上升到-24 dB 附近時,SC模塊開始輸出幅度相近、頻率為1000Hz和1100Hz的兩個正弦波,根據專門構造的音頻樣本文件可知,這表明SC 模塊當前正在讀取的是位于音頻樣本最開始的200毫秒之內的部分。

(2) 當輸入信號峰值上升到-16.8 dB 時,SC模塊的輸出信號為1100 Hz的正弦波 (同時伴有其它不太明顯的頻率成分,在波形上體現為振幅在不斷變化)。

(3) 當輸入信號峰值上升到-13.2 dB 時,SC模塊的輸出信號為1200 Hz的正弦波 (同時伴有其它不太明顯的頻率成分,在波形上體現為振幅在不斷變化)。

(4) 以此類推,具體數據如圖9所示。

圖9 輸入信號幅度與SC模塊 “磁帶摩擦”輸出的樣點時間位置的對應關系

從圖9 中可以看出,SC 模塊在進行 “磁帶摩擦”輸出時,其輸出的樣點所在時間百分比位置①與輸入信號的線性幅度存在單調變化關系,但并非在輸入信號的全部幅度范圍內均保持線性關系。通過后面的進一步測量可知,這個對應關系實際上是一條二次曲線。

當輸入信號為幅度發生跳變的正弦波時,通過觀察SC的輸出波形可以看到,在輸入信號發生幅度跳變時(跳變前幅度與跳變后幅度均在前述能夠引起SC輸出信號發生時間位置變化的范圍之內),SC輸出信號將會經過100毫秒左右的過渡時間,從輸入信號跳變前幅度所對應的音頻樣本時間位置,漸變過渡到跳變后幅度所對應的音頻樣本時間位置,如圖10所示。

圖10 SC模塊 “磁帶摩擦”輸出信號在輸入信號幅度發生跳變時,會出現100毫秒左右的過渡時間

圖10中左側部分是輸入信號幅度為-4 d B 時SC模塊的“磁帶摩擦”輸出,右側部分是輸入信號幅度為-16 dB時SC模塊的“磁帶摩擦”輸出,中間被高亮選中的區域是過渡部分。被 “磁帶摩擦”的音頻樣本為前述測試信號,即幅度恒定、頻率從1000Hz開始、每100毫秒上升100Hz的單頻正弦波。

3.3.2映射曲線

SC模塊的映射曲線有5個控制點(兩個端點和三個中間拐點),通過使用類似于圖11所示映射曲線進行測量,可以得出這些控制點的默認橫縱坐標位置如表1所示。

圖11 測量第一個中間拐點橫坐標及最低縱坐標 (時間百分比位置)和最高縱坐標 (時間百分比位置)所用的映射曲線

對于所有點縱坐標位置均相等的情況,即所有拐點的縱坐標分別全為0、0.25、0.5、0.75、1(圖12),進行進一步測量,可以得到如圖13所示結果。從圖13 可以看出,映射曲線的縱坐標位置決定的是圖中輸入輸出轉移函數曲線的變化率,映射曲線縱坐標數值越大,轉移函數曲線的變化率越大,且映射曲線縱坐標數值與轉移函數曲線變化率基本呈線性對應關系,如圖14 所示。由此推斷,當映射曲線縱坐標為a 、輸入信號線性幅度為xin時,SC模塊輸出的樣點時間位置(%)≈ (ka+b)xin,其中k、b為常數(根據圖14所示的初步擬合結果,k≈77,b≈7)。

圖12 將映射曲線所有拐點設置為縱坐標均相等

圖13 在映射曲線所有拐點的縱坐標位置均相等時,輸入信號線性幅度與SC 模塊輸出的樣點時間位置之間的關系

圖14 映射曲線縱坐標數值與轉移函數曲線變化率基本呈線性對應關系

因此,為了得到SC 輸出模塊的樣點時間位置(%),需要先在映射曲線上找到橫坐標為當前輸入信號線性幅度xin的點,以該點的縱坐標作為轉換曲線斜率a,再根據該斜率計算出當前輸入信號線性幅度xin在該條轉換曲線上對應的樣點時間位置(%)。例如,當映射曲線被重置為自左下角至右上角的對角線時,其縱坐標a本身就與輸入信號線性幅度xin呈線性關系(即a=kTxin,kT為常數),所以,此時SC模塊輸出樣點的時間位置≈ (k·kTxin+b)xin=77kT+7xin,即圖15中△標記的 “Reset”線所示的拋物線形態。

圖15 在映射曲線如下兩圖所示 (兩段線1-2、兩段線2-3)及被初始化為對角線 (Reset)的情況下,輸入信號線性幅度與SC模塊輸出的樣點時間位置之間的關系

綜上所述,在實際使用中需要合理設置SC 模塊的映射曲線:映射曲線的縱坐標并非直接代表音頻樣本被輸出的時間位置;輸入信號的線性幅度與映射曲線在該幅度的高度共同決定了音頻樣本中能被輸出的最遠時間位置;音頻樣本的最后部分較難被輸出,需要輸入音頻信號的線性幅度較高且映射曲線的右半段盡量高;默認的Reset映射曲線總體偏向輸出音頻樣本的前半部分。

3.3.3 REAKTOR 仿真

REAKTOR 在Primary Level中提供的Sample Lookup和Grain Cloud模塊,允許用戶實時設置被導入音頻文件的當前播放位置,從而實現自定義播放。Sample Lookup模塊僅輸出當前播放位置的樣點幅度,而Grain Cloud模塊則能在播放位置不變時,反復輸出位于播放位置處的聲音粒子。因此在這里選用了運行維護成本更低的Grain Cloud模塊進行仿真,通過Peak Detect模塊對輸入音頻信號的幅度進行包絡跟蹤,并以此作為Grain Cloud模塊產生的聲音粒子在導入音頻文件中的位置,從而實現了Scrubbing Convolution的基本功能,如圖16所示。

圖16 在REAKTOR 中使用Grain Cloud模塊模仿Dehumaniser 2中Scrubbing C onvolution的基本功能

4 Dehumaniser2 原廠預置中各模塊使用頻次統計

通過對Dehumaniser 2 當前版本 (ver 1.3.3)自帶的208個原廠預置進行統計,可以得出各個模塊在各類預置中的使用頻次,如表2 所示。表中IP、DP、FC、GR、NG、PS、RM、ST、SC、SS、VC 分別為模塊Input、Delay Pitch Shifting、Flanger/Chorus、 Granular、 Noise Generator、Pitch Shifting、Ring Modulation、Sample Trigger、Scrubbing Convolution、Spectral Shifting、Vocoder的縮寫。在Dehumaniser 2當前版本中,每個模塊最多可以使用兩次 (IP、OP和NG 模塊除外),因此表2中用DP1和DP2分別表示第一個和第二個Delay Pitch Shifting模塊,其他模塊以此類推。

表2 Dehumaniser 2當前版本 (ver 1.3.3)原廠預置中各個模塊的使用頻次統計

從表2中可以看出,在與生物/怪物語音特效制作關系最密切的第一類 “咆哮與吼叫 (Growls And Roars)”預置和第二類 “對白 (Dialogue)”預置中,使用頻次最高的模塊是與音高平移相關的模塊(DP和PS),使用比例超過了50%;其次是粒子合成模塊 (GR),使用比例在第一類預置 “咆哮與吼叫”中超過了50%。此外,在科幻類語音制作中(“對白”大類下的 “機器人 (Robots)”和“科幻 (SciFi)”兩個子類)中,鑲邊/合唱模塊(FC)的使用比例也超過了50%。Dehumaniser 2的特色模塊Scrubbing Convolution (SC)和Spectral Shifting (SS)在這兩大類預置中都有一定程度的使用,但占比并不高。另外,進行樣本播放的Sample Trigger模塊在與生物/怪物語音特效制作關聯緊密的 “野獸 (Beasts)” “怪物 (Monsters)”子類預置中的使用比例明顯高于在其他子類中的使用比例。

5 總結

通過研究Krotos Dehumaniser 2 中各功能/效果模塊的工作原理可以發現,Dehumaniser 2攜帶的處理模塊各具特色,提供了生物/怪物語音特效制作中最常用、效果最明顯的各種處理手法,對于研究總結生物/怪物語音特效以及其他相關聲音特效的制作手法具有很好的參考意義。Dehumaniser 2 為語音特效制作提供了多樣的聲音效果,從小動物的聲音到巨人、獸人的聲音,再到機器人的聲音,都可以通過Dehumaniser 2內置的各種模塊的靈活組合而實現。與傳統的語音特效制作手段相比,Dehumaniser 2最重要的特點是它在一個單一的插件中實時完成了整套特效處理,既簡化了效果處理鏈路的設置,又能在錄制素材時直接聽到配音或擬音表演經過效果處理后的結果,從而能夠更快捷、更有針對性地調整配音或擬音表演,錄制出更貼合畫面、更符合后期制作需要的聲音素材。

近年來,針對某一特定類型聲音特效而推出的專用制作軟件日益增多,逐漸成為了聲音效果處理軟件的一個新發展方向。除了本文介紹的制作語音特效的Dehumaniser 2以外,還有制作運載工具音效的Boom Library Turbine、Boom Library Grip、Krotos Igniter,制作武器音效的Krotos Weaponiser,制作Whoosh 音效的UVI Whoosh FX 等。這些軟件插件借鑒了特定類型聲音特效的已有制作經驗,在素材庫選取、信號處理模塊選取、信號處理流程設計、多參數協同調制等方面進行了大量有針對性的優化,為使用者提供了方便快捷的一體化制作工具,大大提升了制作效率。這類軟件插件也并不局限于專門類型的聲音特效制作,使用Dehumaniser 2可以把一些Whoosh聲變形為全新的特殊效果或氛圍聲,可以讓聲音素材庫中的很多普通素材變得更為新鮮有趣,還可以用在音樂中,為吉他、打擊樂等聲部增添黑暗元素或空靈氣氛。

通過實驗也發現,Dehumaniser 2在面板顯示、操作手冊說明、預置存取等方面還有諸多不明確、不完善,甚至錯誤的地方,需要在具體使用過程中注意甄別。此外,對此類一體化專用制作工具的使用也要適度,不宜完全依賴某一款軟件制作所有同類型聲音,否則制作出來的聲音特效容易出現較為明顯的同質化現象。為了達到更為精致的制作效果,更為可取的方法是把經過Dehumaniser 2處理的結果作為一個聲音元素或層次,加入到整個生物/怪物聲音效果中。?

注釋

①時間百分比位置=輸出樣點所在時間÷音頻樣本總時長×100%。