一種新穎的混合語音檢索算法

摘要：提出了一種新穎的混合語音檢索算法。利用ICA的盲分離特性，將包含兩個人聲音的混合語音分離成只含一個人的單一語音，以分離出來的單一語音為新樣本建立新的語音庫，并與基于混合語音的語音庫建立鏈接關系。查詢時，利用DTW技術進行匹配檢索，實現了基于混合語音的檢索功能。實驗表明該方法能夠在混合語音中查詢到用戶所要求的記錄。

關鍵詞：混合語音； 語音檢索； 獨立分量分析； Mel頻率倒譜系數； 動態(tài)時間歸整

中圖分類號：TP301文獻標志碼：A

文章編號：1001-3695(2008)05-1349-03

常規(guī)的信息檢索（IR）研究主要是基于文本，如人們已經非常熟悉的諸如Yahoo和Google等搜索引擎[1，2]。基于文本的信息檢索技術經過多年的發(fā)展已成為較成熟的技術，將傳統(tǒng)文本檢索技術應用于多媒體信息的檢索當中，利用多媒體的外部特征在一定程度上可以滿足用戶的檢索要求[3~5]。但基于多媒體外部特征的檢索方法很難揭示多媒體信息的內在內容，并不能表達多媒體之間的語義關系。基于文本描述的方法雖然可以利用文字對多媒體信息的內容進行描述，但由于圖像和音頻具有豐富的內涵，并且每一種媒體數據還有些內容難以用字符來描述，如圖像的紋理、視頻中的運動、聲音中的音調等。另外，多媒體形式的多元化和特征的多維性，使不同的人因個人的知識、理解不同有所差異。在對多媒體數據進行索引時，往往帶有很大的人為主觀性，在許多情況下僅有幾個關鍵詞難以充分描述多媒體的特征。這樣就使得人們在對多媒體檢索的實際應用中，不僅要求檢索系統(tǒng)能對圖像、視頻和音頻等媒體進行基于關鍵字的檢索，還需要對媒體進行語義內容的分析和理解，以達到更深層次的檢索，滿足用戶檢索的需求。隨著多媒體信息技術和互聯網的迅速發(fā)展，基于內容的多媒體信息檢索技術已越來越受到人們的關注。音頻作為多媒體信息的一種，其檢索技術也必將成為今后研究的一個重點課題之一。

音頻的種類包含音樂、語音、噪聲，因此音頻檢索相應地可分為三種類型。由于數字語音信號處理的特殊性，語音檢索的相關研究成果相對較少。所謂混合語音，就是語音記錄中包含兩個或兩個以上說話人的聲音。目前，一般的語音檢索算法所涉及的語音記錄僅僅包含單一說話人的聲音。當語音為混合語音時，系統(tǒng)檢索效率很低，甚至無法完成檢索。這是因為無論是語音庫中的還是待檢索的語音，所提取的各種語音特征均為語音記錄中所有人特征的混合，與各自本身的特征存在很大的差異，按照混合語音的特征進行檢索，必會使檢索發(fā)生錯誤。在實際的環(huán)境情況下，要求做到采集純凈的單一說話人聲音是很困難的，要么夾雜著噪聲，要么有其他人說話的干擾。這也是限制語音檢索沒有得到進一步發(fā)展，并應用到實際中的一個重要原因[6]。本文算法包含兩個部分：檢索數據庫生成和查詢。數據庫生成階段，將采集到的混合語音信號利用ICA技術進行分離，得到單一語音信號；然后將單一語音信號分離，提取MFCC特征參數，建立特征庫。數據庫查詢階段，對樣本語音信號，即待檢索語音同樣提取MFCC特征參數，利用DTW算法實現檢索匹配，最終輸出查詢結果，返回給用戶，如圖1所示。

1混合語音的分離

盲源分離的幾種主要ICA算法包括：最大似然估計、最小互信息、最大負熵、信息最大化等。目前應用最為廣泛的實現ICA算法——FastICA算法，就是基于最大負熵理論實現的。

待檢索語音和語音庫中的所有語音實現匹配檢索后，均會得到一個累計匹配距離。根據累計匹配距離的不同，輸出查詢結果，最終返回給用戶。本文算法的實現過程用圖4概括。

4仿真實驗

為了衡量算法的性能，引入文本檢索中查全率、查準率和響應時間作為評價指標，各指標分別定義如下：

查全率=[檢出相關語音記錄/語音庫內相關語音記錄總量]×100%

查準率=[檢出相關語音記錄/檢出語音記錄總量]×100%

響應時間＝[語音庫中語音總數×一條語音的參數個數]

為了驗證本文算法的可行性，設計仿真實驗，步驟如下：

a)隨機選擇5位志愿者作為實驗對象，兩兩組合，用兩個麥克風同時采集兩個說話人的聲音，得到實驗所需的混合語音。這樣總共可以得到20條混合語音。

b)對5個實驗對象單獨采集一條語音記錄作為待檢索語音用于查詢，最終輸出系統(tǒng)認為最匹配的8條混合語音記錄。

實驗中設置語音信號經過分幀處理后的總幀數為100幀。每幀提取12階的MFCC系數，因此，語音特征庫可以用一個20×100×12的三維向量表示。由于采集的語音信號時間長度為2 s左右，由此可知：每一幀的時間長度約為20 ms。實驗結果如表1所示。

依實驗結果：五次查詢中，有四次的查全率和查準率做到了100%；惟一一次出現錯誤的情況，查全率和查準率也達到了75％。

對于傳統(tǒng)的語音檢索算法，在查詢階段，大多采用各種距離函數用于匹配檢索。為更加客觀地評價本文算法的各項性能指標，利用ICA技術實現混合語音的分離，提取MFCC參數之后，以最簡單的幾何距離函數代替DTW算法用于特征向量的比較，實現匹配檢索。實驗結果如表2所示。

比較上述兩種算法的實驗結果：本文算法在冗余記錄的減少、查全率和查準率的提高方面取得了很大的改進，但在響應時間上，本文算法劣于傳統(tǒng)的語音檢索算法。可見，冗余記錄的減少、查全率和查準率的提高是以犧牲響應時間作為代價的。但是，隨著計算機硬件技術的發(fā)展，計算機的處理能力得到了很大的提高，響應時間的增加已不是語音檢索所追求的最主要目標，完全可以由計算機本身處理能力的提高加以彌補。

5結束語

本文提出了一種新穎的混合語音檢索算法，實現了在混合語音中查詢特定人語音記錄的功能，但算法還可以從以下方面進行改進：a）由于匹配過程中限定了彎折的斜率，許多格點實際上是到達不了的，相關格點對應幀的匹配計算是不需要的；b）沒有必要保存所有的幀匹配距離矩陣和累積距離矩陣，因為每一列各格點上的匹配計算只用到了前一列的三個網格。另外，現有很多的語音盲分離(BBS)算法對于實際的語音信號分離效果不是很好，尤其是在環(huán)境空間比較大、回響時間比較長的情況，即存在一定數目的時延信號下，其分離效能就非常有限了。這說明環(huán)境的回響時間與算法的分離性能有著密切的關系。

目前，語音盲分離算法的研究多數還是針對有限條件的情況下進行的，如在無噪聲環(huán)境中，說話人的位置固定，麥克風的間距不是很大，說話人與各個麥克風之間的距離不是等距的，環(huán)境空間不能很大，且環(huán)境中沒有大于實際說話人聲音的揚聲器存在，這些都是對分離算法的一些人為假設。混合語音檢索技術要想真正實際應用，還有很長的一段路要走。

參考文獻：

[1]李國輝， 李恒峰. 基于內容的音頻檢索：概念和方法[J]. 計算機工程， 2000，21(11):1173－1177.

[2]朱愛紅， 李連. 基于內容的音頻檢索綜述[J].微機發(fā)展， 2003，13(12):58-61.

[3]FOOTE J.An overview of audio information retrieval[J].Multimedia Systems， 1999，7(11):2－10.

[4]LU Guo－jun. Indexing and retrieval of audio: a survey[J]. Multimedia Tools and Applications， 2001，15(10):269-290.

[5]LIE Wen－nong， SU Chen－kang. Content－based retrieval of mp3 songs based on query by singing[C]//Proc of IEEE International Con-ference on Acoustics，Speech and Signal Processing.2004:1073－1076.

[6]BYRD D， CRAWFORD T. Problems of music information retrieval in the real world[J]. Information Processing and Management， 2002，38(11):249-272.

[7]HYVARINEN A， OIA E. Independent component analysis: algorithms and applications[J]. Neural Networks， 2000，13(4-5):411-430.

[8]FENG Ya－zhong， ZHUANG Yue－ting， PAN Yun－h(huán)e. Popular song retrieval based singing matching[C]//Proc of IEEEPacific Rim Conference on Multimedia. 2002:639-646.

[9]LI Ying， HOU Yi－bin. Search audio date with the wavelet pyramidal algorithm[J]. Information Processing Letters， 2004，13(11):49-55.

[10]LI G， KHOKHAR A. Content－based indexing and retrieval of audio data using wavelets[C]//Proc of IEEE International Conference on Multimedia and Expo. 2000:885－888.

[11]LIU Jing－wei， CHENG Qian－sheng， ZHENG Zhong－guo， et al. A DTW－based probability model for speaker feature analysis and data mining[J]. Pattern Recognition Letters， 2002，23(11):1271－1276.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”