基于雙路徑遞歸網絡與Conv-TasNet的多頭注意力機制視聽語音分離

蘭朝鳳 蔣朋威 陳 歡 趙世龍 郭小霞 韓玉蘭 韓 闖*

①(哈爾濱理工大學測控技術與通信工程學院 哈爾濱 150080)

②(哈爾濱工大衛星技術有限公司 哈爾濱 150023)

③(中國艦船研究設計中心 武漢 430064)

1 引言

語音作為一種信息交流和表達情感最方便和準確的方式而存在，為人類社會發展起到了重要推進作用。語音處理技術的發展，促進了語音人機交互技術的進步，進而提升了人類與智能終端進行交互的能力[1]。語音處理包括語音分離、語音增強、語音識別、自然語言理解等方面[2]，其中語言分離是語音技術的前端處理，語音分離的結果影響后續交互鏈路的質量，因此語音分離問題受到越來越多的學者關注。

語音分離來源于“雞尾酒會問題”，在復雜的噪聲環境下，人們可以聽到感興趣的聲音[3]。傳統的語音分離技術主要是基于信號處理和統計學方法，常見的單通道語音分離方法有獨立成分分析(Independent Component Analysis, ICA)[4]、非負矩陣分解(Non-negative Matrix Factorization,NMF)[5]和計算聽覺場景分析(Computational Auditory Scene Analysis, CASA)[6]。傳統的語音分離方法存在算法優化困難、訓練時間長的缺點，同時傳統語音分離方法需要語音的先驗信息，限制了分離性能的進一步提高。隨著深度學習的快速發展，通過數據去挖掘深度信息，促進了語音分離領域的技術更新，例如深度聚類(DeeP CLustering, DPCL)[7]、置換不變訓練(Permutation Invariant Training,PIT)[8]、話語級的置換不變訓練方法(utterancelevel Permutation Invariant Training, uPIT)[9]，基于深度學習的純語音分離輸入信息只含有音頻信息，面對更加復雜的現實場景，干擾信息增加，分離性能易受到影響。

在擁擠的餐廳和嘈雜的酒吧，人類可以只關注自己感興趣的聲音，忽略掉外部干擾，這種復雜場景下的語音感知能力不僅依賴人類聽覺系統，還得益于視覺系統，共同促進人類的多感官感知系統處理復雜環境[10,11]。心理學研究表明，說話人的面部表情或者嘴唇運動會影響人腦對聲音的處理，視覺信息在對話和交流中起著重要作用，因此觀察說話人嘴唇運動可以幫助人們在嘈雜的環境中理解說話人的意思。受此啟發，基于視聽融合的多模態主動說話者檢測[12]、視聽語音分離[13]、視聽同步[14]等研究被相繼提出，至此音視頻融合的語音分離方法成為新的研究熱點[15]。

針對多說話者語音分離，由于說話者的數量較多，圖像信息運算量大、模型復雜度高、易出現過擬合或欠擬合現象，同時在音視頻語音分離過程中，視覺信息僅起輔助作用，因此多說話者語音分離研究的重點依然為音頻信號。如果音頻信號能得到最大程度的利用，則分離效果將會有很大幅度的提升，因此端到端的語音分離方法被相繼提出。端到端的語音分離方法輸入與輸出都是時域語音信號，不需要進行短時傅里葉變換(Short Time Fourier Transform, STFT)將時域信號轉換至頻域，因此可以利用音頻信號的相位信息，提高語音分離效果。端到端的語音分離方法，最早適用于純語音分離，Luo等人[16]相繼提出時域分離網絡(Time-domain audio separation Network, TasNet)、卷積時域分離網絡(Convolutional Time-domain audio separation Network, Conv-TasNet)[17]和雙路徑遞歸神經網絡(Dual-Path Recurrent Neural Network,DPRNN)[18]，隨著多模態音視頻語音分離技術的發展，研究學者結合端到端方法和音視頻語音分離方法，實現了端到端的時域音視頻語音分離。

Wu等人[19]提出了時域音視頻語音分離模型，對于音頻部分采用Conv-TasNet網絡結構，利用編碼器獲得音頻特征，對于視頻部分采用殘差網絡(Residual neural Network, ResNet)提取視覺特征，采用CNN提取視覺特征中唇部圖像，由于唇部圖像含有與音頻無關的視覺信息，導致運算量稍大。范存航等人[20]利用混合語音與網絡輸出信號的差值，實現了多路語音的解算。徐亮等人[21]提出了多特征融合音視頻的語音分離模型，視覺部分采用多次特征提取的方法，獲得更多包含語音信息的視覺特征，音視頻融合部分采用了多次融合的方法，該模型分離網絡采用TCN網絡，面對超長語音序列時，受卷積感受野的限制。Gao等人[22]提出了多任務建模策略，該策略利用膨脹卷積網絡(Inflated 3D convnet, I3D)模型獲取唇部運動光流信息，通過學習跨模態的嵌入來建立人臉和聲音的匹配，通過人臉和聲音的相互關聯，有效解決了視聽不一致問題。Xiong等人[23]將多任務建模基礎應用于視聽融合，利用輕量級網絡ShuffleNet v2提取唇部特征，同時基于自注意力機制，提出了基于跨模態注意力的聯合特征表示的視聽語音分離，提高了視覺信息利用率。Zhang等人[24]提出了對抗性糾纏視覺表征的音視頻語音分離網絡，該網絡采用對抗性糾纏的方法從視覺輸入中提取與語音相關的視覺特征，并將其用于輔助語音分離，該方法雖有效地減少了圖像數據的輸入，但在視聽融合部分，是在卷積層進行的特征拼接，未能充分利用到視覺特征。Wu等人[25]又提出了低質量時域音視頻語音分離模型，針對低質量的視頻，利用注意力機制選擇與音頻特征相關的視覺特征，并基于Conv-TasNet模型與多模態融合相結合，當使用低質量數據進行訓練時，得到了較好的分離結果。

上述時域視聽語音分離，雖取了不錯的語音分離性能，但在視聽特征融合或者分離網絡上，存在視聽融合簡單或面對長語音序列無法進行完整的序列提取的問題。因此針對上述問題，本文采用注意力機制的跨模態融合策略，解決音視頻融合單一問題，同時嘗試使用DPRNN作為模型的分離網絡，使得模型面對超長語音序列可以進行建模和優化，力求解決多說話者的語音分離問題。

2 時域視聽跨模態融合語音分離模型

2.1 語音分離模型的構建

人機語音交互中，常常會遇到視頻中出現多個說話者圖像的情況，為分離每位說話者，需對多說話者進行語音分離。端到端的語音分離網絡模型，可以更好地利用音頻信號的相位信息，提取更為準確的音頻特征。因此，本文基于純語音分離Conv-TasNet網絡架構，構建語音分離模型。Conv-Tas-Net網絡主要由編碼器、時間卷積分離網絡和解碼器組成，如圖1所示。

圖1 Conv-TasNet語音分離結構框架

圖1中，Conv-TasNet利用編碼器代替了STFT獲得音頻特征，由于編碼器輸入直接為混合語音波形，不需要進行時頻轉換，因此可以利用到音頻信號的相位信息。時間卷積分離網絡是通過編碼器輸出的音頻特征，計算各個說話者的掩蔽，時間卷積分離網絡輸出的掩蔽與編碼器輸出的音頻特征相乘，再通過解碼器得到分離后的語音，解碼器的作用類似于ISTFT。

本文對Conv-TasNet網絡進行了改進，增加視覺編碼器，結合基于注意力機制的跨模態融合方法和DPRNN分離網絡，提出多頭注意力機制時域視聽語音分離(Multi-Head Attention Time Domain AudioVisual Speech Separation, MHATD-AVSS)模型，MHATD-AVSS模型結構如圖2所示。

圖2 基于多頭注意力機制時域視聽跨模態融合語音分離模型

圖2的語音分離模型主要由4部分組成：分別是視覺編碼器、音頻編碼器/解碼器、多說話者跨模態融合模塊和分離網絡。視覺編碼器由唇部嵌入提取器和時間卷積塊組成，其中唇部嵌入提取器由3D卷積層和18層的殘差網絡組成，時間卷積塊由1個時間卷積、ReLU激活函數和BN組成。視覺編碼器通過唇部嵌入提取器和時間卷積塊，生成維度為kv的唇部特征向量fv， v表示唇部圖像。音頻編碼器由1維卷積組成，利用1維卷積代替STFT，生成維度為ka的音頻特征向量fa， a表示輸入音頻。

為了充分考慮各個模態之間的相關性，實現不同模態之間的聯合表示，本文提出基于注意力機制的跨模態融合模塊，多說話者跨模態融合模塊首先對視覺編碼器輸出的不同說話者的視覺特征進行拼接，然后將拼接后的視覺特征與音頻特征進行跨模態融合，最后輸出維度為kav的視聽特征fav， av表示音頻和視覺融合。

分離網絡采用DPRNN網絡，DPRNN在深層模型中對RNN網絡進行優化，使其面對長序列時也可以高效處理。DPRNN分離網絡首先將輸入的視聽特征fav進行分割，得到分割后的視聽融合塊，然后將視聽融合塊輸入到BiLSTM網絡進行塊間處理，再對處理后的視聽融合模塊進行疊加還原，輸出各個說話者的預測掩碼Mi,i=1,2,...,n,n為說話者的個數，預測掩碼Mi的維度與音頻特征向量fa維度相同，最后將復合掩碼Mi與音頻編碼器的輸出fa相乘，輸入到解碼器，通過解碼器還原出預測的說話者音頻。

2.2 音視頻特征提取及跨模態融合

2.2.1 視覺編碼器

由于唇部圖像包含語音信息和上下文信息，因此本文設計視覺編碼器提取視覺特征作為說話者的唇部視覺特征，其內部結構如圖3所示。

圖3 視覺編碼器結構

在圖3中，視覺編碼器由唇部嵌入提取器和時間卷積塊組成，唇部嵌入提取器由3D卷積層和18層ResNet組成，采用CNN可以從輸入的混合視覺信息中，更好地提取到唇部特征。同時，為避免隨網絡層數的增加而出現網絡退化問題，增加了ResNet網絡。ResNet由17層卷積層和1個全連接層組成，網絡的輸入為視頻幀，輸出為256維特征向量lv，lv表示唇部圖像。

本文的時間卷積塊由1個時間卷積、BN, ReLU激活函數和下采樣組成，輸入的256維特征向量lv，經過ReLU激活函數和BN處理，抑制梯度爆炸和梯度消失問題，下采樣對特征向量lv進行降維處理，時間卷積的卷積核大小為3，通道數為512，步幅大小為1。輸入的視頻圖像經視覺編碼器處理后的唇部特征向量為

其中， Conv1D(·) 表示卷積操作， v表示唇部圖像，Lv表示卷積核大小，Sv表示卷積步長，F(·)表示ReLU函數。

2.2.2 音頻編碼器/解碼器

由于使用STFT方式進行音頻特征提取，沒有考慮相位信息，且時頻域信息與視覺信息相關性較小，由此本文設計了音頻編碼器，從輸入混合語音信號中提取音頻特征，音頻編碼器采用1維卷積直接對混合語音進行音頻特征提取。首先是音頻編碼器對輸入的混合語音先進行1維卷積運算，卷積核大小為40，步長為20，然后再將混合語音an轉換成 ka維表示的W ∈R1×ka。此時，用矩陣乘法表示可寫為

其中，W表示卷積計算結果，U表示編碼器基函數，F(·)表示ReLU函數。

在進行1維卷積后，增加了整流線性單元ReLU函數，從而保證了卷積后矩陣W ∈R1×ka非負性。輸入的混合語音經音頻編碼器，可得

其中， Conv1D(·) 表示卷積操作，an表示輸入混合音頻，La表示卷積核大小，Sa表示卷積步長。

解碼器使用1維轉置卷積運算，從W ∈R1×ka表示形式重建出波形，用矩陣乘法表示為

2.2.3 多說話者跨模態融合模塊

為充分考慮各個模態之間相關性，實現不同模態之間的聯合表示，本文在Xiong等人[23]跨模態融合策略的基礎上，采用多頭注意力機制，提出基于注意力機制的跨模態融合模塊。注意力機制可以獲取局部和全局的關系，同時參數少、模型復雜度低。因此，本文在所構建的模型中利用注意力機制從視覺特征中獲得與音頻特征相關的部分，從而減少視覺特征中無關信息的干擾，提高視覺信息的利用率，注意力機制的表達公式為

其中，Q,K,V分別表示查詢、鍵、值，dk表示K的維度大小。

受Transformer[26]多頭注意力啟發，跨模態融合模塊將采用跨模態注意力融合(Cross-Modal Attention, CMA)策略，在式(5)中加入可學習參數λ，這樣不僅能自適應地調整注意力權重，還能作為殘差連接I(fm)，加快模型收斂速度。由式(5)可得自注意力跨模態融合(Scaled dot-product Cross-Modal Attention, SCMA)機制，表示為

其中，視覺特征fvm經過2維卷積得到Qvm和Kvm，音頻特征fa經過2維卷積得到Va，d是Qvm,Kvm和Va的維度，輸出為視聽融合特征。

多頭注意力的特點是利用多個子空間讓模型去關注更多的視覺信息，為了進一步增強模型擬合性能，充分利用不同模態的相互關系，在SCMA基礎上，采用多頭注意力跨模態融合(multiple Head Cross-Modal Attention, HCMA)，利用多個子空間讓模型去關注不同方面的信息。HCMA可根據式(7)-式(9)來計算

其中，i表示多頭注意力頭數，WiQ,WiK和WiV表示權重訓練矩陣，Qvmi,Kvmi,Vai分別表示不同子空間下Qvm,Kvm,Va, headi表示自注意力的融合結果。

2.2.4 語音分離網絡

DPRNN網絡是在深層模型中對RNN進行了優化，在對音頻信號分離過程中可將較長的音頻分割成小塊，并迭代地應用塊內和塊間操作，使其面對長序列時也可以高效處理。因此，本文基于DPRNN網絡[18]，并結合Wu等人[19]的研究成果，提出MHATDAVSS的語音分離模型。

本文的DPRNN分為3個階段：分段、塊處理和重疊相加。輸入為音視頻特征fav，首先進行分段處理，將fav分割成重疊的塊，分割的第1塊和最后一塊用零填充，保證各個分割后的塊等長，然后將分割后的音視頻特征塊連接在一起，形成一個3D張量。

2.3 分離性能評價

在語音分離領域，常用以下指標衡量分離效果：客觀語音質量評估(Perceptual Evaluation of Speech Quality, PESQ)指標，衡量語音的感知能力；短時客觀可懂度(Short-Time Objective Intelligibility, STOI)指標，衡量分離語音的可懂度；源失真比(Signal-to-Distortion Ratio, SDR)指標，衡量語音的分離能力。本文所用的3種評價指標，計算過程為：

(1)PESQ。PESQ是衡量語音質量的常用指標之一，算法過程是首先對源信號和分離出來的語音信號進行電平調整，然后對調整后的標準電平進行濾波處理，并使用聽覺轉換，再通過認知操作計算PESQ的值。PESQ的計算表達式為

其中，dSYM為對稱干擾，dASYM為非對稱干擾。

(2)STOI。STOI是衡量語音可懂度指標，對于語音信號中的某段內容，人們只有懂或者不懂兩種情況。從這個角度考慮，可以將“懂”量化為1，“不懂”量化為0。計算STOI的表達式為

其中，J為頻帶數，N為幀數，dj,n為分離后語音與原始語音之間的短時譜向量的相關系數。

(3)SDR。SDR可以說明信號之間的失真比，是語音分離常用評價指標，計算表達式為

其中，Starget為分離出來的語音信號；einterf為干擾信號；enoise為加性噪聲；eartif為算法構件所產生的干擾信號。

本文利用上述3種評價方法，對提出的語音分離模型進行性能評估。

3 實驗結果與分析

3.1 數據集

VoxCeleb2是由牛津大學Chung等人[27]收集YouTube錄像資料制作的音視頻數據集，數據集共有100萬條視頻片段。這些視頻片段來自全球6 000多名發言者視頻。VoxCeleb2數據集包含了140多個不同民族、不同語言，并且口音、說話者年齡、說話者性別比較均衡。該數據集主要由演講和采訪視頻組成，其中每個片段只有一個人的圖像，視頻片段時間由4 ～20 s不等，這些錄像都經過了人臉識別和人臉跟蹤處理，保證了說話人的臉是在圖片里的，并且唇部是在圖片中間的。

從VoxCeleb2數據集下載40 000個視頻片段。首先利用FFmpeg對40 000個視頻片段進行裁剪，使得每個視頻片段長度為3 s。然后將40 000個視頻片段隨機分成4等份，每份有10 000個視頻片段，分別作為說話者1、說話者2、說話者3和說話者4的數據來源。最后對各個說話者的視頻片段進行編號。

針對兩個說話者情況，將說話者1和說話者2進行對應編號混合，獲得10 000個混合語音，隨機選取9 000個視頻片段作為模型的訓練集，剩余的1 000個作為測試集。

針對3個說話者情況，將說話者1、說話者2和說話者3進行對應編號混合，獲得10 000個混合語音，隨機選取9 000個視頻片段作為模型的訓練集，剩余的1 000個作為測試集。

針對4個說話者情況，將說話者1、說話者2、說話者3和說話者4進行對應編號混合，獲得10 000個混合語音，隨機選取9 000個視頻片段作為模型的訓練集，剩余的1 000個作為測試集。

3.2 實驗配置

本文提出的跨模態融合MHATD-AVSS網絡，是用Pytorch工具包實現的。唇部數據和音頻數據的處理基于文獻[19]，并對訓練數據進行預處理。使用權重衰減為 10-2的AdamW作為網絡優化器，在本次訓練過程中，設置的batch size為10，共進行了500個周期，設置的初始學習率(learning rate)為 1×10-4。如果連續5個周期損失沒有降低，則學習率會變為原來的1/10。實驗設備采用處理器Intel(R)Core(TM) i7-9700 CPU @ 3.00 GHz，安裝內存32，操作系統64位Windows10，GPU型號GEFORCE RTX2080 Ti，實驗在GPU模式下運行。

3.3 結果分析

(1)為了分析跨模態融合的MHATD-AVSS網絡性能，以兩個說話者分離情況為例，利用SDR, PESQ及STOI評價語音分離效果，結果如表1所示。表中，TCN+“特征拼接”表示分離網絡使用TCN，視聽融合采用特征拼接方法的AV基線；DPRNN+“特征拼接”表示分離網絡使用DPRNN，視聽融合采用特征拼接方法的網絡結構；TCN+SCMA表示分離網絡使用TCN，視聽融合采用自注意力跨模態融合的網絡結構；TCN+HCMA表示分離網絡使用TCN，視聽融合采用多頭注意力跨模態融合的網絡結構；DPRNN+SCMA表示分離網絡使用DPRNN，視聽融合采用自注意力跨模態融合的網絡結構。

表1 MHATD-AVSS模型的消融實驗

由表1可知，DPRNN+特征拼接的SDR值為9.53 dB，相比較AV基線未采用DPRNN分離網絡的SDR提升了0.38 dB，說明使用DPRNN分離網絡，可以更好地進行建模，有效提高視聽語音分離性能。DPRNN+SCMA, MHATD-AVSS的SDR值分別為10.31 dB, 11.02 dB，相比DPRNN+“特征拼接”，SDR分別提高了0.78 dB, 1.49 dB，說明采用模態注意力，相比特征拼接，能更好地利用不同模態之間的相互關系，得到更理想的視聽特征。MHATDAVSS的SDR值為11.02 dB，相比DPRNN+SCMA, SDR提高了0.71 dB，說明采用多頭注意力跨模態融合，相比自注意力跨模特融合，可以利用多個學習的權重矩陣，可以獲得更多與音頻特征關聯性強的視覺信息，獲得更好的分離性能。

(2)由于測試集、服務器配置等不同，評價結果也不同。為了提高對比的準確性，針對不同說話者情況，利用本實驗室服務器的配置環境，在本文測試集下對時域純語音分離網絡Conv-TasNet[17]、時域視聽分離網絡AV模型[19]和文獻[24]進行了復現，并與MHATD-AVSS模型進行對比，結果如表2所示。

表2 同一數據集、服務器下不同模型多說話者分離結果

由表2可知，在兩個說話者語音混合情況下，采用多頭注意力跨模態融合MHATD-AVSS，相比較時域純語音分離網絡Conv-TasNet、文獻[19]時域視聽分離模型和文獻[24]對抗性視聽語音分離網絡，SDR分別提高了2.09 dB, 1.87 dB, 1.18 dB；3個說話者語音混合情況下，SDR分別提高了2.29 dB,2.05 dB, 1.17 dB；4個說話者語音混合情況下，SDR分別提高了2.14 dB, 1.93 dB, 1.06 dB。說明時域視聽跨模態融合語音分離網絡與時域純語音分離網絡相比，利用視覺信息輔助音頻信息，能具有更好的抗干擾能力，獲得更好的分離效果；相比較文獻[19]時域視聽分離模型和文獻[24]對抗性視聽語音分離網絡，采用了跨模態融合的方案，相比較音頻特征與視覺特征拼接的方法，能更好地利用視覺信息與音頻信息的相關性。

由表2還可知，隨著說話者人數的增多，各個網絡的分離效果都有所下降，相對于2個說話人混合的分離結果，3個說話人混合的分離結果略微下降，4個說話人混合的分離結果則有明顯下降。由此可見，當4個說話人或者更多說話者混合是處在一個極度嘈雜環境中時，對網絡模型的分離能力將提出更高要求。

4 結論

本文針對單通道多說話者語音分離，提出一種基于Conv-TasNet模型和跨模態注意力融合的時域視聽語音分離模型。采用DPRNN分離網絡，在深層模型中對RNN網絡進行優化，使其面對長序列時也可以高效處理。采用注意力機制進行跨模態視聽特征融合，可以充分利用音頻流和視頻流之間的相關性。實驗結果表明，本文提出的基于Conv-TasNet時域視聽跨模態融合語音分離網絡在SDR, PESQ和STOI 3個指標上，都優于純語音分離和采用特征拼接的視聽語音分離網絡。