艦船噪聲環境下改進語音信號增強算法

李大衛,楊日杰,韓建輝

(海軍航空工程學院電子信息工程系,山東煙臺 264001)

艦船噪聲環境下改進語音信號增強算法

李大衛,楊日杰,韓建輝

(海軍航空工程學院電子信息工程系,山東煙臺 264001)

譜減法廣泛應用于語音增強,但在艦船噪聲環境下,噪聲的復雜多樣性給譜減法中信號的語音段與噪聲段的正確檢測帶來極大的困難,影響了譜減法的效果,為此,筆者在分析信號頻譜特性的基礎上,首先通過分幀信號相鄰幀間頻譜的相似性測度對信號段粗判斷,再利用幀間偏移方法進行精確判斷,實現語音段與背景噪聲段的精確辨別,進而利用譜減法實現艦船噪聲環境下語音信號的增強.經過大量實測數據的驗證,改進的譜減法能夠適應多種類型艦船噪聲環境下的語音增強,對語音段的判別準確度達到96%,對背景噪聲的判別準確度達98%.與傳統譜減法及其他相關改進算法相比,在低信噪比強背景噪聲下,文中改進譜減法仍能取得穩定的語音增強效果.

語音增強;譜減法;頻譜相似性;語音段檢測;幀間偏移

隨著海洋經濟效益的提高,艦船環境下語音交流和通訊越來越頻繁,但艦船自身各種設備工作時的巨大噪聲,嚴重干擾了工作者的正常交流和通訊,很多情況下,強烈的噪聲直接將語音掩蓋,給本就惡劣的工作環境帶來更多不適,為此,需要研究一種合適的方法在復雜多變的艦船強背景噪聲下對語音進行增強.

譜減法自Steven Boll提出后,被廣泛地應用于語音增強,其核心是利用無聲段信號功率譜來近似估計干擾噪聲的譜期望值,然后直接從含噪語音段的功率譜中減去噪聲功率譜的期望值.因此,正確分離出源信號中的語音段和無語音的噪聲段,是譜減法實現語音降噪增強的關鍵.為此,許多學者提出了各種語音段和噪聲段的檢測分離方法,包括時域和頻域特征處理方法,如基于短時能量[1],線性預測編碼(Linear Predictive Coding,LPC)參數分析與譜散度[2],倒譜分析與頻帶方差[3],多重線性回歸分析[4]及修正調制譜估計[5-6]等.

這些方法雖然取得一定的效果,但對艦船噪聲這種特殊噪聲環境,遇到了以下困難:首先,艦船種類繁多且狀態多變,從艦型、工況到航次,覆蓋范圍極廣,噪聲各不相同,同一類別艦船噪聲特征可千差萬別,背景噪聲的復雜多變,給語音段的正確檢測帶來困難;其次,艦船設備工作時噪聲巨大,可完全淹沒語音信號,同時,語音信號本身隨著說話人的年齡和性別等特征而差異很大.

為解決譜減法遇到的困難,筆者將算法改進的重點放在原始含噪信號的語音段與無語音的背景噪聲段的檢測上,通過提高分離的精度和準確度,解決譜減法在艦船背景噪聲下遇到的困難.改進譜減法首先利用分幀信號相鄰幀間頻譜的相似度(Similarity of the Frequency Spectral Distribution between adjacent frames,SFSD)及其方差(Vsfsd)對信號段進行粗判別,再通過噪聲片段向過度片段的幀偏移將檢測的精度進一步提高,實現噪聲段的精確判別,然后利用改進的譜減法實現艦船環境下語音信號的降噪增強.經大量實測數據的實驗驗證,改進的譜減法能夠適應不同類型艦船不同工況下的噪聲環境,能夠克服背景噪聲和語音的多變復雜性,在強背景噪聲信噪比下仍能取得較好的增強效果.

1　信號頻譜特征分析

艦船輻射噪聲與語音信號本身都為復雜多變的信號,無論從線譜、連續譜特征角度,還是從梅爾頻率倒譜系數(Mel-Frequency Cepstral Coefficients,MFCC)、LPC特征角度進行兩種信號的分離,特征都出現較大的重疊.為此,筆者從信號發聲機理角度探索兩種信號的特征差異,借助頻譜相似性實現信號的分離.

盡管不同類型不同工況的艦船,其噪聲之間復雜多變,但不論何種類型的艦船,其噪聲主要由機械運動、艦載設備的運行等影響產生,因而,艦船的形狀、工況等都會成為其噪聲特性的決定性因素[7-8],而根據艦船運行實際情況,這些決定因素在一個較短時間內,比如一秒鐘的時間間隔會保持在一個較穩定狀態,這使得其噪聲特性也會表現出較好的短時穩定性,表現在頻譜分布上即為短時頻譜變化趨勢保持一致,如圖1(a)所示情況,兩條曲線為相鄰兩幀噪聲數據的頻譜曲線,可以看出,曲線變化趨勢基本相同.

圖1 相鄰兩幀信號的頻譜分布曲線

圖1(b)為語音信號相鄰兩幀信號頻譜曲線,從圖中看出,兩條曲線表現出很大的不同.語音中有意義的最小單元是單詞,單詞由音素組成.所謂音素,是指語言發出各種聲音的最小單位,每個音素都有其獨立的各不相同的發音方法和發音部位,形成各自的頻譜分布特征,從而使不同的單詞也有各自的頻譜特征.一段語音信號中會選擇各種不同單詞來表達內容,這樣每個單詞中包含的不同音素會使語音信號的短時頻譜分布出現較大的變化,這形成圖1(b)中語音信號短時頻譜分布不穩定的特性.

綜上所述,在較短時間內語音與背景噪聲信號的相鄰幀間頻譜分布不同,這種差異可用短時頻譜分布相似性(SFSD)來衡量,語音信號短時頻譜分布變化較大,其幀間相似度較小,而背景噪聲相似度較大.為了精確描述頻譜分布的差異,文中采用相似度測量值的方差(Vsfsd)作為辨別特征,特征差異明顯.

2　基于頻譜相似性的改進譜減法

語音段與噪聲段的正確檢測,是文中算法的核心.首先,對時域信號分幀,并計算每幀信號頻譜趨勢;然后,以若干幀為一個片段,計算片段內的SFSD值;最后,計算一個片段內的Vsfsd值,作為期間分離特征.

由于Vsfsd的計算是在一個片段內的時間內,故算法的檢測分離精度只能精確到一個片段的時間長度.為此,文中在確定過渡片段的基礎上,通過幀偏移的方法將最終的期間分離精度提高到信號幀的時間長度.

2.1計算頻譜分布趨勢

實際信號難免受到各種噪聲的污染,直接表現在信號頻譜分布中出現較多的瞬時突變,直接使用頻譜分布曲線計算相似度,會嚴重影響辨別結果的魯棒性.為此,算法中使用頻譜分布曲線的趨勢來計算相似度.

對于待識別信號的頻譜分布曲線趨勢,用一組序號分別為w=1,2,…,N的N個鄰接的濾波器進行濾波,再作平方積分、歸一化為1 Hz分貝值處理,得到每幀信號的頻譜估計值f(w).

其中,f(w)′為位置標準化后的頻譜值.于是有f(w)′≥0.然后,進一步得到歸一化的頻譜值為

2.2提取期間分離特征

信號的語音段和無語音段的分離特征基于頻譜分布的短時相似性測量,這里使用基于概率密度函數測量的式(3)來計算相似性.

其中,p1(x),p2(x)為兩幀信號.

其中,w=1,2,…,N,其定義同式(1)中w的定義.根據方差定義,可計算片段內的SFSD方差.

圖2　語音信號與背景噪聲信號的Vsfsd值分布圖

圖2所示為計算得到的語音段與無語音段的Vsfsd值分布,語音數據取720 s,背景噪聲數據取255 s,可以看出,Vsfsd值分布有明顯的分界,可以作為含噪語音信號語音段與無語音段的檢測特征.

2.3過渡片段判別與幀間偏移

過渡片段與幀偏移都是為了提高信號語音段與噪聲段的分離精度,可以將檢測精度提高到一個信號幀的時間長度.因為當當前片段既含有語音段又含有無語音噪聲段時,其Vsfsd值會判斷為語音段,所以當t0+1片段與t0-1片段為不同的類型,而當前片段t0為語音片段時,則當前片段t0判定為過渡片段.

幀偏移操作在過渡片段與其最近的無語音噪聲片段之間,如圖3所示.噪聲片段Seg t0+1向過渡片段Seg t0偏移一幀,形成新的片段Seg tk+1,重新計算新片段的Vsfsd值,并進行判斷.如果仍為無語音的噪聲片段,則繼續再偏移一幀,直到當偏移第k+1幀時,新片段Seg tk+1+1被判斷為語音片段,則第k幀信號與k+1幀信號為語音與噪聲的精確分離幀,這樣,通過幀間偏移實現語音段與噪聲段的精確判別.

圖3　幀偏移方法示意圖

3　實驗驗證及分析

實驗中采用不同類別的艦船背景噪聲數據100 min,不同的說話人和錄制環境的語音數據100 min,實際艦艇背景噪聲環境下語音數據100 min,所有數據采樣率均為44.1 k Hz,采用海泰HTPXI1008數據采集設備搭配麥克風錄制,艦船背景噪聲數據及噪聲環境下語音數據借助南海試驗和演習錄制,包括多艘船舶及多位工作人員語音,純凈語音數據為實驗室環境下錄制,并結合文獻[9-11]中的部分數據.

3.1信號幀長確定實驗

由于算法以幀間頻譜相似性差異為出發點,故頻譜分辨率越高越好.頻譜分辨率計算公式為

其中,fs為采樣率,N為信號幀時長.當fs一定時,N越長Δf越高,算法的分離效果越好,但由于信號的非平穩非高斯性,幀過長將影響到算法的穩定.圖4為不同幀長平均Vsfsd的分布,圖中采用50幀的時間片段計算Vsfsd,并對結果歸一化.可以看出,N在15 ms、20 ms、25 ms和30 ms時,分離效果明顯,而自30 ms以后,出現較大的振蕩,分離效果不穩定,結合實際應用,文中采用20 ms的信號幀長.

3.2信號段與噪聲段檢測實驗

圖5為三次實驗結果.圖5(a)所示實驗采用不同類型及工況下的艦船背景噪聲數據,主要驗證算法對不同類型不同工況下艦船背景噪聲的適用性和判別效果;圖5(b)所示實驗全部采用語音信號,包括幾個年齡段的男聲、女聲,主要驗證算法對語音信號的判別效果;圖5 (c)所示試驗采用語音信號與噪聲信號隨機組合后的數據,驗證算法的最終檢測效果.從圖中可以看出,算法取得了較好的檢測效果.

圖4　信號不同分幀長度下平均Vsfsd分布情況

圖5　語音段與噪聲段檢測實驗結果

文中進一步通過計算正確檢測的信號時長與實驗使用的總信號時長的比值來衡量算法判別的效果,即

對所有實測信號數據處理后,背景噪聲信號判別精度為98%,語音信號為96%.經分析,語音信號精度相對低是因為其中含有靜音幀,一些靜音幀被判別為背景噪聲,但這并不影響實際的語音增強工作.

3.3改進譜減法語音增強試驗

為了對比文中算法與傳統譜減法及其他改進譜減法[2,5]在強背景噪聲下的語音增強效果,實驗中按式(7)以不同的分段信噪比將純凈語音信號與背景艦船噪聲信號混合.圖6為混合過程,將實驗室錄制的純凈語音按隨機間隔與背景艦船輻射噪聲混合,混合分段信噪比僅計算有語音段的部分,利用文中改進譜減法及其他改進的譜減法對混合后信號進行語音增強處理.如圖6第4幅子圖所示,方框內信號視為正確檢測的信號,而其他位置的信號則視為非正確語音信號,根據式(6)分別計算正確語音信號和非正確語音信號占原始語音信號時長的百分比.

圖6　語音信號與輻射噪聲混合示意圖

圖7　不同分段信噪比下檢測正確率

分段信噪比計算方法為

其中,M為語音段數,N為一段語音信號的長度,Nn為一段語音信號的起始點,x(n)為語音信號,y(n)為艦船輻射噪聲等背景噪聲.將式(7)所計算的分段信噪比約束在[-15 dB,35 dB]的范圍內,過高和過低的信噪比對主觀的語音質量沒有貢獻.圖7為在不同的分段信噪比下對語音信號檢測結果.可以看出,文中方法在小于-5 d B的低信噪比下仍能保持穩定的檢測準確性.

為了進一步比較文中提出的改進算法對語音信號的增強效果,采用對數譜失真測度(Log Spectral Distortion,LSD)對增強后的正確語音信號與原始語音信號進行對數譜失真測度,并與其他譜減法進行比較,比較結果如表1所示.譜失真測度與主觀語音質量的相關度較高[2-13].測度計算值越小,說明增強后語音信號和原始語音信號越接近,即主觀的語音質量越好.其中最常用的方法為LSD,其計算式為

表1　對數譜失真測度LSD結果

表1為以驅逐艦噪聲和登陸艦噪聲為實驗背景噪聲,混合分段信噪比為-5 dB、0 dB、5 dB和10 dB時的對數譜失真測度LSD測試結果.分析表1,對于分段噪聲比較高的情況下如10 d B以上,文中譜減法與其他[2,5]改進譜減法都得到較好的對數譜失真測度測試結果,但隨著分段信噪比的下降,其他改進算法的LSD測試值迅速變化,當為-5 dB及以下時,其LSD測試值已變得很大且不穩定,而文中譜減法仍可以保持較穩定的測試值.分析其主要原因是其他改進譜減法將背景艦船噪聲的處理方式與普通噪聲處理方式一樣,并沒有很好地利用艦船噪聲本身的頻譜特征,故當信噪比較低時,對背景噪聲和語音信號的檢測出現較多的不準確結果,導致增強效果不理想.通過對比分析可見,文中算法在強背景輻射噪聲下仍能取得較好的語音增強效果.

4　總 結

在分析語音信號與艦船背景噪聲信號頻譜特性的基礎上,筆者提出了一種基于頻譜分布相似性的改進譜減法語音增強方法,算法以提高信號語音段與背景噪聲段的檢測精度為核心,解決譜減法用于艦船背景噪聲下語音增強遇到的困難,實驗結果驗證了文中算法對不同艦船背景噪聲下的語音信號增強的有效性.盡管語音信號增強后“音樂噪聲”不可避免的存在,但語音段和無語音段的正確分割,是強背景噪聲下語音信號增強的關鍵,在此基礎上,算法可以進一步結合不同的語音增強算法對當前算法進行完善.

[1]張君昌,劉海鵬,樊養余.一種自適應時移與閾值的DCT語音增強算法[J].西安電子科技大學學報,2014,41(6): 155-159. ZHANG Junchang,LIU Haipeng,FAN Yangyu.Speech Enhancement Method Using Self-adaptive Time-shift and Threshold Discrete Cosine Transform[J].Journal of Xidian University,2014,41(6):155-159.

[2]RAMIREZ J,SEGURA J C,BENITEZ C,et al.Efficient Voice Activity Detection Algorithms Using Long-term Speech Information[J].Speech Communication,2004,42(3/4):271-287.

[3]MCCOWAN I,DEAN D,MCLAREN M,et al.The Delta-phase Spectrum with Application to Voice Activity Detection and Speaker Recognition[J].IEEE Transactions on Audio,Speech,and Language Processing,2011,19(7): 2026-2038.

[4]PARK J,KIM J W,CHANG J H,et al.Estimation of Speech Absence Uncertainty based on Multiple Linear Regression Analysis for Speech Enhancement[J].Applied Acoustics,2015,87:205-211.

[5]MOMENI H,ABUTALEBI H R,TADAION A.Joint Detection and Estimation of Speech Spectral Amplitude Using Noncontinuous Gain Functions[J].IEEE/ACM Transactions on Audio,Speech,and Language Processing,2015,23(8):1249-1258.

[6]張君昌,張丹,崔力.一種魯棒自適應閾值的語音端點檢測方法[J].西安電子科技大學學報,2015,42(5):115-119. ZHANG Junchang,ZHANG Dan,CUI Li.Robust Adaptive Threshold Speech Endpoint Detection Method[J].Journal of Xidian University,2015,42(5):115-119.

[7]KALAMANI M,VALARMATHY S,KRISHNAMOORTHI M.Speech Enhancement Using Modified Modulation Magnitude Estimation Based Spectral Subtraction Algorithm[J].Arabian Journal for Science and Engineering,2014,39 (12):8965-8978.

[8]ZHANG Y,ZHAO Y X.Real and Imaginary Modulation Spectral Subtraction for Speech Enhancement[J].Speech Communication,2013,55(4):509-522.

[9]BSS Eval:a Toolbox for Performance Measurement in(Blind)Source Separation[EB/OL].[2015-06-12].http://bassdb.gforge.inria.fr/bss_eval.

[10]Singing Voice Separation:Demo Clips[EB/OL].[2015-06-12].http://sites.google.com/site/unvoicedsoundseparation/ mir-1K.

[11]Music Information Retrieval Evaluation eXchange(MIREX)[EB/OL].[2015-06-12].http://www.music-ir.org/mires/ wiki/MIPEX_HOME.

[12]MAK M W,YU H B.A Study of Voice Activity Detection Techniques for NIST Speaker Recognition Evaluations[J]. Computer Speech and Language,2014,28(1):295-313.

[13]HSU C C,LIN T E,CHEN J H,et al.Voice Activity Detection Based on Frequency Modulation of Harmonics[C]// Proceedings of 2013 38th IEEE International Conference on Acoustics,Speech,and Signal Processing.Piscataway: IEEE,2013:6679-6683.

(編輯:李恩科)

Study of speech enhancement in the background of ship-radiated noise

LI Dawei,YANG Rijie,HAN Jianhui
(Dept.of Electronic and Information Engineering,Naval Aeronautical and Astronautical Univ.,Yantai 264001,China)

Spectral subtraction is wildly used in speech enhancement.But it is not always available in the ship working environment because of the fact that it is hard to discriminate the speech duration with the ship noise.So,in this paper,we propose a new approach,which first computes the frequency spectrum similarity and then discriminates the signal segments into speech or noise roughly.And then by the frame shifting method,we achieve a high discrimination precision.Finally,the improved algorithm is benchmarked on a large measured data and experimental results show that the proposed method can be used in various ship-radiated noise environments.The discrimination accuracy is 98%for ship-radiated noise and 96%for speech.

speech enhancement;spectral subtraction;spectrum similarity;speech detection; frame shifting

TN912.35

A

1001-2400(2016)05-0133-06

10.3969/j.issn.1001-2400.2016.05.024

2015-07-05 網絡出版時間:2015-12-10

國家自然科學基金資助項目(61271444);“泰山學者”建設工程專項經費資助項目(2011)

李大衛(1983-),男,工程師,海軍航空工程學院博士研究生,E-mail:latt68@sina.com.

網絡出版地址:http://www.cnki.net/kcms/detail/61.1076.TN.20151210.1529.048.html