基于深度神經(jīng)網(wǎng)絡(luò)的電子音樂音質(zhì)評估研究

劉穎

(咸陽師范學(xué)院， 音樂學(xué)院， 陜西， 咸陽 712000)

0 引言

電子音樂是當(dāng)前音樂領(lǐng)域中的一個主要音樂體系，隨著電子樂器與播放器等設(shè)備的快速發(fā)展，電子音樂內(nèi)樂器數(shù)量顯著提升。電子音樂音質(zhì)評估是判斷電子音樂制作水平的主要評價指標(biāo)[1]。

關(guān)于音質(zhì)評估的研究有:李子晉等[2]以主觀感知得分為基礎(chǔ)提取出了表征音色的客觀音頻特征，并對其差值進(jìn)行計算，得出音色相似性矩陣，實現(xiàn)了音質(zhì)檢測與評估。趙志成等[3]以音樂小節(jié)為依據(jù)劃分了音樂信號,通過音樂信號的部分特征推斷整體特征,基于李雅普諾夫指數(shù)驗證音樂信號中的混沌特性通過檢測到的音樂信號特征評估其音質(zhì)?，F(xiàn)有的音質(zhì)評估方法在使用過程中存在音質(zhì)評估精度較差的問題[2-3]。

為了改善這一問題，本研究提出基于深度神經(jīng)網(wǎng)絡(luò)的電子音樂音質(zhì)評估方法?？紤]電子音樂中最重要的要素為旋律[4]，因此在采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行音質(zhì)評估前，需先提取電子音樂主旋律，在電子音樂主旋律基礎(chǔ)上分析影響電子音樂音質(zhì)的各項因子，基于這些影響因子構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，提升最終評估精度。

1 基于深度神經(jīng)網(wǎng)絡(luò)的電子音樂音質(zhì)評估方法

1.1 電子音樂預(yù)處理

電子音樂預(yù)處理過程由音頻采樣、歸一化、分幀以及時頻與變換等過程共同組成。一般情況下，電子音樂高于5 kHz的諧波分量占比較低[5]，因此在對電子音樂實施降采樣處理時設(shè)定采樣率為10 kHz，以此降低后續(xù)運算復(fù)雜度。電子音樂內(nèi)音頻信號具有短時平穩(wěn)特性，需選取漢明窗對電子音樂音頻信號實施分幀加窗處理，設(shè)定每幀信號取樣點數(shù)量為320個。電子音樂信號時頻轉(zhuǎn)換采用短時傅里葉變換。

電子音樂由各個具有一定時值的音符組成，各音符的主要特性表現(xiàn)為具有相對穩(wěn)定的頻譜。這說明電子音樂內(nèi)各音符在語譜圖上為一系列以段間差異顯著、段內(nèi)差異微弱為特征的頻譜段。基于此，可選用度量距離算法實施音符分割處理。作為綜合數(shù)據(jù)段間均值與方法的距離度量方法，利用度量距離算法能夠確定電子音樂音頻段落間的差距。設(shè)定數(shù)據(jù)窗長為5幀，利用式(1)可描述度量距離算法DIS表達(dá)式：

(1)

式中，μ1表示前一段電子音樂音頻特征的均值矢量，μ2表示后一段電子音樂音頻特征的均值矢量，tr(∑1)表示前一段電子音樂音頻特征協(xié)方差矩陣的跡，tr(∑2)表示后一段電子音樂音頻特征協(xié)方差矩陣的跡。在2段電子音樂音頻間特征均值差異較為顯著、段內(nèi)特征方差較為微弱的條件下，度量距離可描述2段電子音樂音頻間距離，兩者之間為正比例相關(guān)[6]。

采用短時幅度譜確定特征參數(shù)。經(jīng)由依幀滑動數(shù)據(jù)窗確定關(guān)于幀數(shù)t的度量距離函數(shù)DIS(t)：

(2)

計算DIS(t)內(nèi)全部的極大值點，設(shè)置DIS(t)均值的閾值為T1，刪除

考慮電子音樂中既包含濁音段，也包含非濁音段，因此在切分后需利用濁音段檢測算法判斷濁音段與非濁音段。濁音段的頻譜方差顯著大于非濁音段，因此在確定電子音樂中濁音段時可采用頻譜方差作為特征參數(shù)。

通過上述電子音樂預(yù)處理過程可有效降低電子音樂旋律定位虛警率，利用度量距離算法實現(xiàn)音符切分，通過方差法確定電子音樂濁音段。在此基礎(chǔ)上,利用維特比算法跟蹤濁音段主導(dǎo)基頻軌跡，同時利用基頻辨別模型確定電子音樂主旋律。

1.2 主旋律提取

在確定電子音樂內(nèi)各濁音段主導(dǎo)基頻軌跡后，利用基頻辨別模型判斷當(dāng)前主導(dǎo)基頻軌跡為主電子音樂還是伴奏，將不屬于主電子音樂的基頻軌跡刪除。

不同的電子樂器有不同的音色與音質(zhì)，這主要是由電子樂器聲音的頻譜決定的，也就是由聲音基因與不同次諧波的相對強(qiáng)度決定的。

考慮人類聽覺特性的梅爾頻率倒譜系數(shù)是可體現(xiàn)聲音譜包絡(luò)特征的參數(shù)[8]，利用神經(jīng)網(wǎng)絡(luò)構(gòu)建基頻辨別模型。同時電子音樂聲頻均包含諧波結(jié)構(gòu)，因此電子音樂頻譜具有近似稀疏性，以某段電子音樂為樣本，提取其中的主導(dǎo)基頻F0，并通過梳齒濾波器采集對應(yīng)聲源的諧波譜，將提取信號的梅爾頻率倒譜系數(shù)輸入基頻辨別模型確定對應(yīng)基頻是否為電子音樂聲。電子音樂主旋律提取的詳細(xì)過程如下。

(1) 利用主導(dǎo)基頻F0構(gòu)造出式(3)所示的梳齒濾波器：

(3)

其中,梳齒濾波器頻率單位為0～5 kHz，式(3)中K和b(f)分別表示0～5 kHz范圍內(nèi)諧波數(shù)量和梳齒濾波器基本波形。

(2) 利用梳齒濾波器對信號幅度實施濾波處理，獲取F0對應(yīng)的諧波譜，并采集其對應(yīng)的梅爾頻率倒譜系數(shù)參數(shù)。

(3) 將梅爾頻率倒譜系數(shù)輸入基頻辨別模型，確定F0是否為電子音樂聲基頻。

(4) 統(tǒng)計各濁音段內(nèi)電子音樂基頻的幀數(shù)，若統(tǒng)計結(jié)果大于此濁音段總幀數(shù)的1/2，即可確定此濁音段的主導(dǎo)基頻軌跡為電子音樂主旋律。

1.3 因子提取

一般情況下，與電子音樂音質(zhì)具有緊密相關(guān)性的因子主要有聲源特性、音響器材的信號特性、聲場特性、聽覺特性、立體感等類型。梁惠恩[9]采用層次分析法分析了電子音樂音質(zhì)的多種影響因素，計算了不同影響因子的權(quán)重，基于該研究結(jié)果，確定了電子音樂音質(zhì)的15個影響因子，在提取出的電子音樂主旋律中選取圖1所示的15個影響因子作為電子音樂音質(zhì)評估模型的建模基礎(chǔ)。

圖1 影響因子

以確保評估因子間不具有線性相關(guān)性為目的，選取方差膨脹因子對圖1所示的各項評估因子實施多重共線性檢驗。通常情況下，在方差膨脹因子高于15的條件下，不同因子對應(yīng)的方差膨脹因子均低于15，由此充分表現(xiàn)出圖1內(nèi)所選的15個因子間不具有明顯的線性相關(guān)性，因此可用于電子音樂的音質(zhì)評估。

以保障深度神經(jīng)網(wǎng)絡(luò)正常訓(xùn)練為目的，需引入對照樣本。生成與主旋律中樣本點一致的隨機(jī)對照點，將不同因子層內(nèi)各樣本點與對照點的屬性值錄入數(shù)據(jù)表內(nèi)，生成樣本集，樣本集內(nèi)各數(shù)據(jù)均包含圖1內(nèi)的15個因子屬性值，將樣本集內(nèi)數(shù)據(jù)作為深度神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。

1.4 深度神經(jīng)網(wǎng)絡(luò)評估模型構(gòu)建

深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建以開源項目Keras人工神經(jīng)網(wǎng)絡(luò)庫為基礎(chǔ)[10]。由于樣本數(shù)量較少，因此選取包含4層全連接層、總計14層的深度神經(jīng)網(wǎng)絡(luò)模型。

圖2 深度神經(jīng)網(wǎng)絡(luò)模型

圖2的全連接層能夠與人工神經(jīng)網(wǎng)絡(luò)內(nèi)隱藏層的功能一致，4層全連接層的單元數(shù)(輸出維度)分別為30、15、7和1。由于訓(xùn)練集內(nèi)樣本數(shù)量較少，維度較低，為了提升深度神經(jīng)網(wǎng)絡(luò)模型對電子音樂音質(zhì)影響因子的表達(dá)能力，在第1層全連接層內(nèi)擴(kuò)展維度，經(jīng)過3層全連接層后將輸出收縮至一個單元的全連接層，輸入電子音樂音質(zhì)評估結(jié)果。

歸一化層位于2個全連接層間，利用歸一化方法對數(shù)據(jù)實施歸一化處理的核心為一致化處理神經(jīng)網(wǎng)絡(luò)各層的輸出與輸入分布，確保各層間數(shù)據(jù)的分布固定化，防止出現(xiàn)訓(xùn)練速度過慢或過擬合的問題，詳細(xì)操作過程如下：

激活層的主要功能為利用激活函數(shù)激活全連接輸出結(jié)果。作為非線性的變換函數(shù)，激活函數(shù)可模擬腦神經(jīng)元閾值激活特性，將非線性特征引入深度神經(jīng)網(wǎng)絡(luò)內(nèi)，提升模型表達(dá)能力。激活層內(nèi)包含ReLU函數(shù)和Sigmoid函數(shù)。前者為分段函數(shù)，可提升模型收斂速度與網(wǎng)絡(luò)稀疏性;后者可將回歸層的輸入映射至[0,1]，主要應(yīng)用在模型最后一層完成類別評估。經(jīng)過Sigmoid函數(shù)處理后，深度神經(jīng)網(wǎng)絡(luò)輸出值即電子音樂音質(zhì)評估值。2個函數(shù)的表達(dá)式分別如下：

2 實驗結(jié)果與分析

驗證本研究所提方法的實際應(yīng)用效果，進(jìn)行實驗分析。在互聯(lián)網(wǎng)內(nèi)選取500段電子音樂作為測試數(shù)據(jù)，該數(shù)據(jù)選自酷我電子音樂排行榜中的前500首電子音樂，該音樂集中的電子音樂的發(fā)表時間較新，且具有一定程度的代表性。從該音樂集的每首音樂中截取音樂特征較為明顯的部分進(jìn)行實驗。從選取的電子音樂主旋律提取與深度神經(jīng)網(wǎng)絡(luò)建模效果兩方面分別進(jìn)行分析，所得結(jié)果如下。

2.1 電子音樂主旋律提取

設(shè)定電子音樂主旋律提取實驗環(huán)境：信干比分別為0 dB和10 dB。信干比S/R計算公式如下：

(10)

式中，E1和E2分別表示電子音樂中電子樂器聲音的能量和噪音的能量。

以旋律定位查全率、旋律定位虛警率、原始音高準(zhǔn)確率、原始色度準(zhǔn)確率和整體準(zhǔn)確率為評價指標(biāo)。將文獻(xiàn)[2]和文獻(xiàn)[3]方法分別定義為對比方法1和對比方法2。對比信干比分別為0 dB和10 dB的條件下本研究所提方法與2種對比方法的各項評價指標(biāo)，結(jié)果如圖3所示。分析圖3得到，本研究所提方法在信干比分別為0 dB和10 dB的條件下的占比分別為0.09%和0.24%，與2種對比方法相比占比略低。由于本研究所提方法中判斷電子音樂主旋律過程中有較低概率將電子音樂旋律判斷為噪音，因此本研究所提方法的旋律定位查全率略低于對比方法1。但這種誤判概率較低，因此本研究所提方法的旋律定位虛警率明顯低于2種對比方法。整體準(zhǔn)確率是最主要的評價指標(biāo)，本研究所提方法在不同信干比的條件下整體準(zhǔn)確率分別達(dá)到了87.33%和78.5%，高于2種對比方法。綜合對比之下，本研究所提方法提取電子音樂主旋律的性能優(yōu)于2種對比方法。

2.2 深度神經(jīng)網(wǎng)絡(luò)建模效果

為驗證本研究所提方法中深度神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建效果，對比本研究所提方法和2種對比方法的建模效果。選取AUC值作為不同評估方法建模效果的評價指標(biāo)。AUC值的取值范圍為[0,1]，其值越大表示評估效果越好，其值≤0.5表示模型無法實現(xiàn)分類。

考慮到建模樣本較少，因此采用k-fold交叉驗證，具體過程如下：將樣本集內(nèi)全部樣本任意劃分為k份，同時實施k次循環(huán)，每次選擇第k份樣本用于檢驗，其余樣本用于訓(xùn)練。大量研究資料顯示10-fold交叉驗證可獲取更優(yōu)的效果，因此本研究所提方法采用10-fold交叉驗證。不同方法內(nèi)模型10-fold交叉驗證結(jié)果如圖4所示。圖4中，虛線為10-fold交叉驗證內(nèi)各次檢驗對應(yīng)的受試者工作特征曲線(ROC曲線)，實線所描述的是10次交叉驗證的平均ROC曲線。

圖3 電子音樂主旋律提取結(jié)果

分析圖4得到，本研究所提方法、對比方法1和對比方法2建模的平均AUC值分別為0.918 7、0.8718和0.867 6。本研究所提方法的平均AUC值顯著高于2種對比方法，由此說明本研究所提方法建模效果更好。

(a) 本研究所提方法

3 總結(jié)

本研究提出了基于深度神經(jīng)網(wǎng)絡(luò)的電子音樂音質(zhì)評估方法，在電子音樂主旋律基礎(chǔ)上分析電子音樂音質(zhì)影響因子，將其作為電子音樂音質(zhì)評估模型的建?；A(chǔ)，構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型評估電子音樂音質(zhì)。實驗結(jié)果顯示,本研究所提方法中深度神經(jīng)網(wǎng)絡(luò)具有較好的建模效果，可提升模型應(yīng)用效果。但本研究仍存在一定的局限性，未考慮到不同音樂類型音質(zhì)評估的因子，后續(xù)研究中可以針對多種音樂類型音質(zhì)的影響因子進(jìn)行研究，以進(jìn)一步提升音質(zhì)評估技術(shù)的全面性。