基于聯合失真控制的子空間語音增強算法

葉琪，陶亮，周健，王華彬

?

基于聯合失真控制的子空間語音增強算法

葉琪1,2，陶亮1，周健1,2，王華彬1

(1. 安徽大學計算智能與信號處理教育部重點實驗室，安徽合肥230031；2. 安徽大學媒體計算研究所，安徽合肥230601)

為提高低信噪比環境下的語音可懂度，提出了一種基于聯合失真控制的子空間語音增強算法。由于誤差信號中的語音失真和殘余噪聲分量不能被同時最小化，同時，由語音估計器引起的語音放大失真超過6.02 dB時會嚴重損害語音可懂度。為此分別對語音失真和殘余噪聲進行最小化處理，最小化時把語音放大失真控制在6.02 dB以下作為約束條件，通過求解兩個約束最優化問題得到兩個不同的估計器，再對這兩個估計器進行加權求和，得到一種基于聯合失真控制的語音估計器。實驗結果表明，相比于傳統的子空間增強方法，在低信噪比環境下所提出的算法能更有效提高增強后語音的可懂度。

語音可懂度；失真控制；子空間增強

0 引言

自語音增強技術被提出以來，該技術被廣泛地應用到助聽器、通訊設備以及自動識別等系統中。現有的增強技術主要分為四類，譜減法類[1]、維納濾波類[2]、統計模型類[3]和子空間類[4-7]。子空間方法將估計誤差分為語音失真和殘余噪聲兩部分，并在這兩部分之間進行權衡控制。相比于其他方法，經子空間法處理后的語音受到音樂噪聲的影響較小。Ephraim等[4]假設背景噪聲為白噪聲，利用卡胡南-洛夫變換(Karhunen-Loeve Transform，KLT)變換將含噪語音空間分解為相正交的信號子空間和噪聲子空間，最后將噪聲子空間置零，從信號子空間中估計出語音信號。為了處理有色噪聲的情況，Mittal等[5]將含噪語音幀按噪聲幀和語音幀分類，并分別處理。Rezayee等[6]則利用語音信號特征向量近似對角化噪聲協方差矩陣，得到次優估計方法。Yi Hu等[7]提出了基于廣義特征值分解的方法，獲得了有色噪聲下的最優估計器。

傳統算法的主要目的是改善語音質量，并不一定能提高語音可懂度。Yi Hu等[8]對4類不同的增強算法是否能提高語音可懂度進行了研究。研究發現，傳統算法并不能提高語音可懂度，低信噪比的情況下甚至會降低可懂度。Loizou等[9]分析了傳統算法不能提高語音可懂度的因素。研究發現，由增益函數引起的語音放大失真和語音衰減失真對可懂度的影響不同，超過6.02 dB的放大失真會嚴重損害可懂度，衰減失真對可懂度的影響卻很小。為提高語音可懂度，有不少研究人員在增強算法的設計中引入了失真控制，直接或間接地找出對可懂度有害的放大失真區域，再將增強后語音的放大失真約束在6.02 dB以下[10-13]。也有學者利用非對稱代價函數對衰減失真和放大失真給予不同的懲罰力度[14]，以削弱放大失真的影響。

傳統子空間增強方法在增強過程中只考慮最小化誤差信號中的語音失真分量，也沒有對衰減失真和放大失真進行分類控制。本文對基于廣義特征值分解算法的估計器推導進行改進，由于語音失真和殘余噪聲不能被同時最小化，本文通過分別最小化語音失真和殘余噪聲，同時引入失真控制，將語音放大失真控制在6.02 dB以下作為約束條件，對求解出的兩個語音估計器進行加權求和，得到最終的語音估計器。

1 基于廣義特征值分解的子空間語音增強

在單通道子空間語音增強算法中，假設干凈語音信號和加性噪聲不相關，含噪語音表示如下：

其中，、、分別是維的含噪語音、干凈語音、干擾噪聲。令是干凈語音的線性估計，是的線性估計器，由估計產生的誤差信號為

(2)

(4)

(6)

2 基于聯合失真控制的子空間語音增強算法

經估計器處理得到的估計語音和干凈語音間會存有誤差，當誤差為負值時，說明由估計器引起了衰減失真，相反，則是放大失真。文獻[9]研究發現，設和分別是干凈語音和估計語音的幅度譜，則當，即放大失真超過6.02 dB時，語音可懂度損失嚴重。為提高可懂度，將放大失真控制在6.02 dB以下，即需使，將其轉化為下式：

轉化式(8)得到下式：

(9)

(11)

由式(11)解得的估計器為：

將式(6)代入式(12)，可將估計器化簡為

(13)

其中，設

上述估計器在最小化語音失真的基礎上推出，由于語音失真和殘余噪聲不能被同時最小化[4]，但在增強后語音中，兩者同時存在，并共同影響增強后語音的質量和可懂度。為減小兩種失真對增強后語音可懂度的影響，本文通過最小化殘余噪聲推出另外一個估計器，最后利用和加權求和，得到基于聯合控制的估計器。

(15)

其中，設

(17)

(19)

(20)

根據上述思路，本文改進算法實施步驟如下：

3 實驗仿真及結果分析

為驗證本文算法對語音可懂度增強的有效性，使用Matlab進行實驗仿真。采用選自IEEE句子語音庫中的50句語音作為干凈語料。噪聲數據選用Noisex92數據庫[16]中的White高斯白噪聲、m109坦克噪聲和Babble噪聲。實驗中，干凈語料和噪聲數據使用的采樣率為8 kHz，幀長設為32 ms，幀間重疊率為50%。

首先，在50句干凈語音中選一句加入0 dB的m109噪聲作為帶噪語音，語音內容為“A rod is used to catch pink salmon.”，共8個單詞，采用傳統子空間算法和本文算法得到的增強后語音的波形圖和語譜圖如圖1、2所示。從圖1、2可以看到，增強語音的圖形與干凈語音非常接近，本文算法可以保留更多語音信息，在提高可懂度的同時，也能有效去除背景噪聲。

采樣點數/(×104)

(a) 干凈語音

采樣點數/(×104)

(b) 含噪聲語音(0 dB m109噪聲)

采樣點數/(×104)

(c) 傳統子空間算法

其次，用4種信噪比將干凈語音和噪聲進行混合，信噪比分別為：-6、-3、0、3 dB。采用4種處理方式：加噪未處理、文獻[7]時域估計器TDC(Time Domain Contraints)、文獻[7]頻域估計器SDC(Spectrum Domain Contraints) 和本文算法去噪處理。實驗取50個測試語音評測值的平均值作為語音增強后可懂度的評價值。使用可懂度衡量指標信噪比損失值SNRLoss[17]和STOI(Short-Time Objective Intelligibility)[18]對4種不同處理方式處理后語音可懂度性能進行評價。SNRLoss算法通過比較增強前后語音的各子帶激勵譜信噪比丟失的方法進行可懂度測試，信噪比損失值越大，語音的可懂度越小。STOI算法給出一個(0,1)范圍內的值，STOI值越大，表示增強后的語音可懂度越高。SNRLoss評測結果見圖3，STOI評測結果見圖4。

(a) 干凈語音

(b) 含噪聲語音(0 dB m109噪聲)

(c) 傳統子空間算法

(d) 本文點數

圖2 語譜圖

Fig.2 Speech spectrograms

從圖3中可以看到，在不同噪聲的不同信噪比下，本文算法的SNRLoss評測值要明顯低于加噪未處理和文獻[7]中TDC和SDC的評測值，即便輸入信噪比為-6 dB情況下，SNRLoss值遠小于其他三種處理方式。信噪比丟失值越小，說明語音的可懂度效果越好。圖4顯示的本文算法的STOI值要明顯高于其他三種處理方式。本文算法通過將放大失真控制在6.02 dB以下，在信噪比較低時，以更多地抑制誤差信號中的殘余噪聲成分，降低由估計器引起的放大失真，在信噪比比較高時，語音能量能對噪聲能量起掩蔽作用，以抑制誤差信號中的語音失真成分為主。SNRLoss和STOI的評測結果表明，本文算法可取得更好和更穩定的可懂度效果。

最后，為進行主觀聽辨實驗，挑選2男2女共4名聽力正常測試者進行詞語聽辨測試，被試聽的語音包括加噪未處理和經TDC估計器、SDC估計器和本文算法去噪處理后的增強語音，其中UN表示加噪未處理的情況。分別在上述4種信噪比和3種背景噪聲下進行聽辨實驗。表1給出了不同算法增強后語音聽辨實驗中的平均詞語識別率。從表1中可以看出，在三種不同噪聲背景下，本文算法的詞語識別率明顯高于改進前的算法，進一步證實了本文算法可懂度增強效果的有效性。

(a) 高斯白噪聲

(b)m109坦克噪聲

(a) 高斯白噪聲

(b) m109坦克噪聲

表1 不同背景噪聲下不同算法的詞語識別率比較

4 結論

本文提出了一種基于聯合失真控制的子空間語音增強算法。將對超過6.02 dB的放大失真的控制結合到約束最優化問題中，即在最小化語音失真的同時，將語音失真和殘余噪聲同時進行約束，得到基于語音失真的估計器。另外，由于誤差信號中存在的語音失真和殘余噪聲不能被同時最小化，在信噪比不同區域，語音失真和殘余噪聲的含量又各不相同，所以推出基于殘余噪聲的估計器，即最小化殘余噪聲，并同時約束語音失真和殘余噪聲。最后將上述兩個不同的估計器加權求和得到新的估計器，信噪比低時，以最小化殘余噪聲為主，信噪比高時，以最小化語音失真為主。本文算法通過對放大失真的控制，減少由放大失真對語音可懂的損害。實驗結果表明，相比于加噪未處理和YiHu提出的子空間算法，本文算法有更有效、更穩定的可懂度增強效果。

[1] Boll S. Suppression of acoustic noise in speech using spectral subtraction[J]. Acoustics Speech & Signal Processing IEEE Transactions on, 1979, 27(2): 113-120.

[2] Scalart P, Filho J V. Speech enhancement based on a priori signal to noise estimation[C]//IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), Atlanta, 1996, 2: 629-632.

[3] Ephraim Y, Malah D. Speech enhancement using a minimum-mean square error short-time spectral amplitude estimator[J]. Acoustics, Speech and Signal Processing, IEEE Transactions on, 1984, 32(6): 1109-1121.

[4] Ephraim Y, Van Trees H L. A signal subspace approach for speech enhancement[J]. Speech and Audio Processing, IEEE Transactions on, 1995, 3(4): 251-266.

[5] Mittal U, Phamdo N. Signal/noise KLT based approach for enhancing speech degraded by colored noise[J]. Speech & Audio Processing IEEE Transactions on, 2000, 8(2):1847-1850.

[6] Rezayee A, Gazor S. An adaptive KLT approach for speech enhancement[J]. Speech & Audio Processing IEEE Transactions on, 2001, 9(2): 87-95.

[7] Hu Y, Loizou P C. A generalized subspace approach for enhancing speech corrupted by colored noise[J]. Speech and Audio Processing, IEEE Transactions on, 2003, 11(4): 334-341.

[8] Hu Y, Loizou P C. A comparative intelligibility study of single-microphone noise reduction algorithms[J]. The Journal of the Acoustical Society of America, 2007, 122(3): 1777-1786.

[9] Loizou P C, Kim G. Reasons why current speech-enhancement algorithms do not improve speech intelligibility and suggested solutions[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2011, 19(1): 47-56.

[10] Li N, Bao C C, Xia B Y, et al. Speech intelligibility improvement using the constraints on speech distortion and noise over-estimation[C]//IEEE International Conference on Intelligent Information Hiding and Multimedia Signal Processing, Beijing, 2013: 602-606.

[11] 郭利華, 馬建芬. 具有高可懂度的改進的維納濾波的語音增強算法[J]. 計算機應用與軟件, 2014, 31(11): 155-157.

GUO Lihua, MA Jianfen. An improved wiener filtering speech enhancement algorithm with high intelligibility[J]. Computer Applications and Software, 2014, 31(11):155-157.

[12] Yang Y X, Ma J F. Speech Intelligibility Enhancement Using Distortion Control[J]. Advanced Materials Research, 2014, 912-914: 1391-1394.

[13] Ma Y, Nishihara A. A modified Wiener filtering method combined with wavelet thresholding multitaper spectrum for speech enhancement[J]. EURASIP Journal on Audio, Speech, and Music Processing, 2014, 2014(1): 1-11.

[14] 周健, 鄭文明, 王青云等. 提高耳語音可懂度的非對稱壓縮語音增強方法[J]. 聲學學報, 2014, 39(4): 501-508.

ZHOU Jian, ZHENG Wenming, WANG Qingyun, et al. An asymmetric attenuated speech enhancement approach for improving intelligibility of noisy whisper[J]. Acta Acustica, 2014, 39(4): 501-508.

[15] Montazeri V, Khoubrouy S A, Panahi I M S. Evaluation of a new approach for speech enhancement algorithms in hearing aids[C]// IEEE International Conference on Engineering in Medicine and Biology Society (EMBC), 2012: 2857-2860.

[16] Varga A, Steeneken H J M. Assessment for automatic speech recognition: II. NOISEX-92: A database and an experiment to study the effect of additive noise on speech recognition systems[J]. Speech Communication, 1993, 12(93): 247-251.

[17] Ma J, Loizou P C. SNR loss: A new objective measure for predicting the intelligibility of noise-suppressed speech[J]. Speech Communication, 2011, 53(3): 340–354.

[18] Taal C, Hendriks R, Heusdens R, et al. An algorithm for intelligibility prediction of time-frequency weighted noisy speech[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2011, 49(7): 2125-2136.

A subspace speech enhancement algorithm based on combined distortion control

YE Qi1,2, TAO Liang1,ZHOU Jian1,2, WANG Hua-bin1

(1.Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education,Anhui University, Hefei 230031,Anhui, China;2.Institute of Media Computing, Anhui University, Hefei 230601,Anhui, China)

In order to improve speech intelligibility in low signal-to-noise ratio environment, a subspace speech enhancement algorithm combined with distortion control is proposed. Due to the facts that the components of speech distortion and residual noise in the error signal can not be simultaneously minimized and that the amplification distortion of speech in excess of 6.02dB caused by speech estimator will seriously damage the speech intelligibility, the speech distortion and the residual noise are minimized respectively, and meanwhile the speech amplification distortion is kept below 6.02dB as a constraint condition. By solving these two constraint optimization problems, two different estimators are obtained, and then a weighted sum of these two estimators is made to get the speech estimator based on combined distortion control. The results show that the proposed approach can improve enhanced speech intelligibility more effectively in low signal-to-noise ratio environment, compared with the traditional subspace enhancement method.

speech intelligibility; distortion control; subspace enhancement

TN912.35

A

1000-3630(2016)-03-0254-06

10.16300/j.cnki.1000-3630.2016.03.014

2015-05-23;

2015-08-23

國家自然科學基金(61301295, 61372137)、安徽省自然科學基金(1308085QF100)、安徽大學博士啟動資金資助項目.

葉琪(1990－), 女, 安徽宣城人, 碩士研究生, 研究方向為語音增強。

葉琪, E-mail:yeqi17@126.com