一種魯棒的雙耳聲源方位角定位方法

陳國良，趙祥瑞

(武漢理工大學 機電工程學院，武漢 430070)

0 引言

機器人的聽覺系統是機器人與外部環境互動的一種重要方式。與視覺相比，機器人聽覺系統受障礙物影響較小，且具有360度的識別范圍。機器人聽覺系統包括許多方面，例如聲源定位、語音識別、講話者識別、情感識別和語音降噪等[1]。其中，機器人聲源定位(SSL, sound source localization)作為聽覺系統的前端處理模塊之一，在機器人導航、人機交互、視頻會議等領域發揮著重要作用[2-5]。

目前的聲源定位研究主要分為兩類：基于雙耳SSL算法研究和基于傳聲器陣列的SSL算法研究。與基于傳聲器陣列的SSL相比，雙耳SSL具有陣列結構簡單，計算復雜度小，定位線索較少的特點。雙耳SSL的線索主要有：雙耳時間差(ITD，interaural time difference)、雙耳強度差(IID，interaural intensity difference)和雙耳相位差(IPD，binaural phase difference)[6-7]。ITD是指聲波從聲源到左右耳之間的時間間隔，IID是指兩耳接收到的聲波之間的強度差，IPD 是ITD在頻域內的表現。在中低頻(小于1.5 kHz)的情況下，ITD其主要作用，利用該時延差可以很好地進行方位的評估，但在噪聲和混響的干擾下，ITD的性能會嚴重下降。因此本文主要討論在噪聲和混響環境下基于ITD的雙耳聲源定位。

在正常情況下，假設聲音從聲源到麥克風是一個簡單的直線傳輸。然而，在混響的室內環境中，麥克風接收到的信號是聲源信號與墻壁、地面、家具等物體反射產生的反射信號的疊加。這使得每個麥克風之間的信號不服從理想的時間延遲關系，最終使得麥克風之間的ITD難以判斷。此外，環境噪聲是SSL無法避免的一個重要問題。當環境噪聲較強時，目標信號與雙耳麥克風之間的時間差常常被抑制[8]。

針對混響和噪聲的定位環境，基于ITD的雙耳聲源定位性能會嚴重下降問題，文獻[9]對基于互相關函數的ITD算法進行改進，提出一種基于PHAH加權的廣義互相關算法和可控波束算法融合的聲源定位算法，實驗證明該方法可提高在噪聲環境中的定位準確性。文獻[10]提出一種基于過零率(ZC，zero crossing)的ITD估計方法，該算法首先根據過零點獲取各幀的ITD，然后通過信噪比估計進行各幀ITD的加權，從而獲取最后的ITD。文獻[11]提出一種基于混響加權的聲源定位算法，該算法通過信道的混響權重分別降低早期混響和晚期混響的影響，從而獲取更加準確的雙耳定位線索，提高了在混響環境中的聲源定位性能。因此，降低噪聲和混響的干擾是雙耳聲源方位角定位技術的關鍵。

近年來，模式識別和機器學習技術在雙耳聲源定位中運用，文獻[12]提出一種模板匹配的方法，對環境中的不同方位角建立不同的模板，基于特征和頻率加權進行模板匹配。針對低信噪比的雙耳SSL問題，文獻[13]基于深度學習建立雙耳定位線索和方位角的映射關系，進行定位。文獻[14]將基于模型的聲源頻譜特征信息與深度神經網絡相結合，解決各種噪聲和混響條件下雙耳SSL問題。這些方法在噪聲和混響的環境中可取得較好的定位效果，但需要訓練不同聲學環境下的ITD和IID模型，通用性差，且計算量較大。

基于以上算法的不足之處，本文提出一種信號子頻帶選擇結合具有噪聲的基于密度的聚類方法(DBSCAN，density-based spatial clustering of applications with noise)的聲源定位方法。首先對采集到的雙耳語音信號進行Gammatone濾波，分頻為不同的子頻帶；其次進行數據壓縮，減少無關子帶數量，降低計算復雜度；然后基于譜減算法進行各個子頻帶信噪比(SNR，signal-to-noise ratio)估計，選出最優的子頻帶；最后對子帶信號進行分幀，基于互相關(CC，cross correlation)時延估計算法，獲取每一幀互相關函數峰值對應的數據點，再根據DBSCAN聚類算法消除異常幀的影響，獲取最優點，從而根據時延和ITD定位模型得到方位角。本文提出的算法不僅適用不同的SSL環境，而且提高SSL的魯棒性。所提算法的框圖如圖1所示。

圖1 雙耳聲源定位算法框圖

1 基于Gammatone濾波器的數據壓縮和子帶選擇

1.1 基于Gammatone濾波器組的分頻

Gammatone濾波器組可以模擬耳蝸基底膜對于語音信號的處理機制，耳蝸基底膜可以將信號分解為不同頻率的頻帶信號進行處理，Gammatone濾波器組將其組中的各個濾波器的帶寬參數從低頻到高頻由窄到寬設置，可以將含噪語音按頻率高低范圍進行分頻處理。

假設s(n)為聲源語音信號，左右耳接收到的語音信號為xL(n)和xR(n)，則信號模型為:

(1)

式中，hL(n)和hR(n)分別為聲源信號到達左右耳的傳遞響應函數，nL(n)和nR(n)分別為左右耳的噪聲信號，包含加性噪聲和混響。

Gammatone濾波器組的響應函數gi(n,fi)為:

gi(n,fi)=

cos(2πfinTs+φ)·exp(-2πBnTs)·BJ·nJ-1·U(n)

(2)

式中，fi為第i個子頻帶的中心頻率，Ts為采樣周期，φ為濾波器的初始相位，J為濾波器的階數，設置J=4以模擬人類聽力，U(n)為單位階躍函數，B為帶寬，B的計算公式為:

B=b·ERB(fi)

(3)

式中，b=1.019為衰減系數，ERB(fi)為濾波器等效矩形帶寬，根據大量實驗[15]，可得ERB(fi)的計算公式為:

ERB(fi)=24.7+0.108fi

(4)

將左右耳信號xL(n)和xR(n)進行分頻，第i個左右耳子頻帶信號為Gi,L(n,fi)和Gi,R(n,fi)，:即:

(5)

1.2 數據壓縮

語音信號經過分頻之后，不同的頻帶具有的能量不同，所包含的信息量也不同，將分頻后的數據進行數據壓縮，壓縮后的左右語音信號數據yL(n)和yR(n)為:

(6)

式中，yL(n)=[y1,L(n),y2,L(n),…，yi,L(n)]T，yR(n)=[y1,R(n),y2,R(n),…，yi,R(n)]T，其中yi,L(n)和yi,R(n)分別是加權之后第i個左右子帶信號。W是基于子帶能量的加權矩陣，W=diag(w1,w2,…，wi)。GL和GR是分別是分頻后的左右子帶信號矩陣，即加權之后第i個左右子帶信號：

(7)

式中，Gi,L(n,fi)和Gi,R(n,fi)是經過Gammatone濾波器組處理的左右耳第i個子帶的信號。

由于語音信號的能量和信息主要集中在前2/3部分的子頻帶中[16]，所以將w1,w2,…，w|2i/3|的權重設置為1，其余的權重設置為0。通過該數據壓縮，可以提取信號中的重要子帶信息，消除次要信息的干擾，降低計算復雜度。

1.3 基于SNR估計的子帶選擇

語音信號是一種非平穩的隨機信號，考慮到人類發聲器官在發聲過程中的變化速度具有一定限度而且遠小于語音信號的變化速度，因此可以假定語音信號是短時平穩的。噪聲分為加性噪聲和非加性噪聲，加性噪聲通常分為沖擊噪聲，周期噪聲，寬帶噪聲，語音干擾噪聲等；非加性噪聲主要是殘響及傳送網絡的電路噪聲等[17]。

采用譜減法對子帶信號進行SNR估計，譜減法是語音增強的有效方法之一，其基本思想是假定加性噪聲與短時平穩的語音信號相互獨立的條件下，從帶噪語音的功率譜中減去噪聲功率譜，將語音信號和噪聲信號分離，從而進行SNR估計[18]。假定第i個左右子帶信號yi,L(n)和yi,R(n)中，si,L(n)和si,R(n)分別為左右子帶信號中的純凈語音信號，ni,L(n)和ni,R(n)分別為左右子帶信號中的噪聲信號，則有:

(8)

用Yi,L(w)，Si,L(w)，Ni,L(w)分別表示左通道的yi,L(n)，si,L(n)，ni,L(n)的傅里葉變換，Yi,R(w)，Si,R(w)，Ni,R(w)分別表示右通道的yi,R(n)，si,R(n)，ni,R(n)的傅里葉變換，則可得下式:

(9)

用Yi,L,angle(w)，Yi,R,angle(w)分別表示相位譜，保留相角，則:

(10)

由于假定語音信號與加性噪聲是相互獨立的，因此有:

(11)

用Pi,L,y(w)，Pi,L,s(w)，Pi,L,n(w)分別表示yi,L(n)，si,L(n)，ni,L(n)的功率譜，用Pi,R,y(w)，Pi,R,s(w)，Pi,R,n(w)分別表示yi,R(n)，si,R(n)，ni,R(n)的功率譜，則有:

(12)

由于平穩噪聲的功率譜在發聲前和發聲期間可以認為基本沒有變化，因此可以通過發聲前的所謂“寂靜段”來估計噪聲的功率譜，從而有:

(13)

(14)

因此根據第i個左右子帶信號yi,L(n)和yi,R(n)以及式(14)，可得第i個左右子帶的信噪比SNRi,L，SNRi,R，即:

(15)

根據子帶SNR估計，當左右子頻帶信號SNR的均值最大值時，為最優左右子頻帶Y=[yL(n),yR(n)]T，其選擇計算公式為:

(16)

1.4 基于子帶選擇方法的定位對比實驗

為了評估本文所提出的子帶選擇方法的性能，將本文所提出的基于最優子帶選擇的SSL算法(SS-SSL)與文獻[19]的基于通道求和的子帶選擇定位算法(GT-PHAT-SSL)進行比較，實驗設置和性能評估標準如3.1節所示。將采集到的雙耳信號添加信噪比為-5 dB,0 dB，5 dB，10 dB，15 dB，20 dB的全局白噪聲，如圖2～3展示了不同SNR下的兩種算法定位的準確率和RMSE。為了評估算法的運算復雜度，本文使用Matlab 計算兩種子帶選擇算法的運算時間，如表1展示了兩種算法的運算時間對比。

圖2 不同信噪比下的準確率

圖3 不同信噪比下的RMSE

表1 運算時間對比

圖2顯示了不同SNR情況下基于最優子帶選擇的SS-SSL算法的準確率高于基于通道求和的子帶選擇的GT-PHAT-SSL算法，圖3顯示了不同SNR情況下基于最優子帶選擇的SS-SSL算法的RMSE低于基于通道求和的子帶選擇的GT-PHAT-SSL算法，這說明SS-SSL的定位性能優于GT-PHAT-SSL。表1顯示了SS-SSL的運算時間低于GT-PHAT-SSL，這說明與GT-PHAT-SSL算法相比，采用最優子帶選擇的SS-SSL可以降低運算復雜度，提高機器人聲源方位角定位的實時性。

2 基于互相關的ITD估計和基于DBSCAN的SSL

2.1 基于互相關的ITD估計

ITD估計算法的方法有很多，基于互相關的ITD算法(CC-ITD)具有原理簡單，運算量小的特點。CC-ITD通過求左右耳兩信號yL(n)與yR(n)之間的互功率譜，并在頻域內給予一定的加權ΦyLyR，再反變換到時域得到兩信號之間的互相關函數，互相關函數的峰值處就是兩信號之間的相對時延[20]。CC-ITD基本流程如圖4所示。

圖4 CC-ITD基本流程

yL(n)與yR(n)是左右兩耳的最優子頻帶信號，其傅里葉變換分別為YL(w)和YR(w)，兩路濾波器的系統函數分別為FL(w)和FR(w)，則兩信號之間的互相關函數RyLyR(τ)可表示為:

(17)

式中，φyLyR(w)為互相關函數的加權函數，針對不同的噪聲和混響環境可以選擇不同的加權函數，其計算公式為:

(18)

當φyLyR(w)=1時表示基本廣義互相關法的加權函數。RyLyR(τ)的峰值處是兩信號yL(n)與yR(n)的相對時延τyLyR，即:

(19)

根據τyLyR可以通過ITD定位模型求得所需的方位角θ，ITD定位模型如圖5所示，圖中A,B是左右雙耳麥克風用于接收聲源信號，以O為圓心的圓半徑為r，θ為聲源的水平方位角。

圖5 ITD定位模型

假定聲速傳播速度為c，τyLyR與θ的關系式可以表示為:

(20)

對于不同的信號頻率，ITD模型有一定的變化規律，其參數化形式表示為:

(21)

式中，αf是與fi相關的尺度因子。反轉模型就可以得到水平方位角θ為:

(22)

式中，g-1為g(θ)=sinθ+θ的反轉函數，g-1近似表示為:

(23)

2.2 基于DBSCAN的SSL

圖6 不同幀的雙耳時間差

引入DBSCAN算法解決CC-ITD的噪聲問題，DBSCAN算法使用基于密度的方法來計算數據中任意形狀的簇和離群值(噪聲)，并且不需要事先知道簇的數量[21-22]，所以引入DBSCAN用來解決異常問題，消除噪聲的干擾。

1)核對象 一個樣本p以Eps為半徑的圓內的有超過一定數目(≥MinPts)的樣本，則樣本p稱為核對象。

2)Eps鄰域 領域內的點定義為NEps(p)={q∈D,dist(p,q)≤Eps}，其中dist(p,q)為p,q之間的距離。

3)密度直達對象p為核對象，并且q為p的Eps鄰域，則稱對象q從對象p密度直達。

4)密度相連 若存在一個對象o，使得對象p和q都從o密度可達，則稱對象p和對象q密度相連。

DBSCAN算法的處理流程如表2所示。

表2 DBSCAN算法處理流程

2.3 基于DBSCAN的SSL定位性能分析

為了評估本文提出的基于DBSCAN的聲源定位算法(DBS-SSL)的定位性能，將DBS-SSL與基于均值互相關的聲源定位算法(MEAN-SSL)進行對比實驗，實驗條件和定位性能標準如3.1節所示。將采集到的雙耳信號添加信噪比為-5 dB,0 dB，5 dB，10 dB，15 dB，20 dB的全局白噪聲，如圖7～8展示了不同SNR下的兩種算法定位的準確率和RMSE。

圖8 不同信噪比下的RMSE

由圖7可知，不同信噪比的情況下DBS-SSL定位準確率都高于MEAN-SSL算法，由圖8可知，不同信噪比的情況下DBS-SSL的RMSE都要低于MEAN-SSL算法，這說明引入DNSCAN算法可以降低基于GCC-ITD法獲取τyLyR時的噪聲影響，提高定位魯棒性。

3 實驗與結果分析

3.1 聲源定位實驗

聲源定位系統主要包括麥克風模塊，數據采集模塊，計算機處理模塊等。兩個麥克風陣列搭載在3D打印的平臺上，兩個麥克風之間的距離為15 cm，麥克風傳感器連接到信號數據采集卡上，通過數據線將計算機和信號數據采集卡進行連接，使用LabView對聲源信號進行采集，使用MatLab對采集到的左右耳聲源信號進行數據分析和處理，聲源定位實驗平臺如圖9所示。

圖9 實驗平臺

本文選用的聲音傳感器型號為HJ-386，該型號麥克風具有全指向性、靈敏度高、抗干擾能力強以及阻抗值低等特點。數據采集卡型號為NI USB-6009，其技術參數如表3所示。

表3 數據采集卡技術參數

實驗在5 m×4 m×3.5 m和6 m×8 m×3.5 m的室內環境中進行，混響時間T60分別為0.3 s和0.6 s，室內噪聲主要來自計算機散熱和室外車輛行駛噪聲。聲源采用CHAINS Speech Corpus語音庫SOLO中的單聲道女聲、男聲信號。噪聲采用Noisex-92和Nonspeech噪聲庫的噪聲語音。采樣率為44.1 kHz，濾波器的頻率范圍為[0，8 000]Hz，最大的中心頻率為 8 000 Hz，根據聽覺閾值范圍內的臨界帶[23]，選擇濾波器個數為 22個，所以子帶數量為 22 條，由于語音信號的能量和信息主要集中在前 15個子頻帶中，所以將w1,w2, …,w15的權重設置為 1，其余的權重設置為 0。幀長為20 ms，幀移為10 ms，規定聲源在雙耳麥克風右側時方位角為0°，與雙耳麥克風垂直時且垂直點為雙耳麥克風中點時方位角為90，在雙耳麥克風左側時方位角為180°。

為了評估基于SNR估計的子帶選擇和DBSCAN算法對聲源定位性能的影響，本文采用4種不同算法做對比聲源定位實驗，分別是本文所提出的基于子帶選擇和DBSCAN的SSL算法(SS-DBS-SLL)，基于互相關函數的SSL算法(CC-SSL),基于最優子帶選擇的SSL算法(SS-SSL)和基于DBSCAN的SSL算法(DBS-SSL)。算法性能由定位準確率和均方根誤差(RMSE)評估，其中定位準確率定義為估計方位角和實際方位角之間的誤差在±5°之內。

3.2 不同信噪比下的聲源定位性能研究

為了評估算法在不同噪聲環境中的聲源定位性能，本實驗將采集之后的左右耳語音信號添加信噪比為-5 dB,0 dB，5 dB，10 dB，15 dB，20 dB的全局白噪聲，測試算法性能。如圖10～11展示了不同SNR下的算法定位性能。

圖10表明，不同信噪比的情況下，本文所提的SS-DBS-SSL算法的定位準確率都要優于CC-SSL算法，并且SS-SSL和DBS-SSL算法的準確率也都要優于CC-SSL，這說明子帶選擇和DBSCAN都可以有效提高定位準確率，其中子帶選擇對于提高SSL的準確率有更積極作用。在不同信噪比的情況下，4種算法的定位性能都隨SNR的提高而提高。圖11顯示了SS-DBS-SSL的RMSE在各個信噪比條件下也是最好的，并且隨著信噪比的增大RMSE越來越小，定位性能越來越好。

圖10和圖11說明子帶選擇和DBSCAN都可以提高定位性能，其中子帶選擇的作用更大。分析其原因，基于子帶選擇可以消除噪聲頻帶的影響，保留主要信號能量，引入DBSCAN可以消除在信號處理引入的異常幀，以及最優子帶中殘留的部分噪聲的影響，從而從兩個方面提高了定位性能。

圖10 不同信噪比下的定位準確率

圖11 不同信噪比下的RMSE

3.3 不同噪聲環境下的聲源定位性能研究

為了評估算法在不同噪聲環境下的定位性能，將采集到的雙耳信號添加SNR為的15 dB不同背景噪聲，選擇了12種不同的背景噪聲類型，其如表4所示。

表5和表6顯示了不同噪聲環境下的定位準確率和RMSE。從表5可以看出，N2和N11的定位準確率較低，表6也可以看出，N2和N11的RMSE較高，定位性能較低，這說明算法在babble和Crowd noise的背景噪聲下影響較大，分析其原因主要是該噪聲的主要頻率與信號中的主要頻率相似，通過子帶選擇無法有效消除噪聲干擾，從而影響定位性能。在不同的噪聲環境下，SS-DBS-SSL的定位性能最好，這也說明了SS-DBS-SSL具有較高的魯棒性。

3.4 不同混響條件下聲源定位性能研究

為了評估算法在不同混響環境下的定位性能，分別在混響參數T60為0.3 s和0.6 s的房間中進行方位角定位實驗。如圖12展示了算法在不同混響條件下的定位性能。

表4 背景噪聲類型

表5 不同噪聲環境下的定位準確率

表6 不同噪聲環境下的RMSE

圖12 不同混響條件下的定位性能

圖12顯示了4種算法在不同混響條件下的定位準確率和RMSE。由圖12可知，4種算法在低T60的混響條件下的定位準確率表現更好，并且RMSE也更低。這T60說明越大，定位性能越低。在不同的混響條件下，SS-DBS-SSL的表現優于其它算法。這也說明了本文所提算法在混響環境中具有一定的魯棒性。

3.5 不同距離和角度下的聲源定位性能研究

為了評估算法在不同角度下的定位性能，將聲源放置在實驗平臺的前半面，聲源與雙耳麥克風的中點距離為1 m，角度依次為0°，30°，60°，90°，120°，150°，180°。圖13展示了不同角度的情況下定位的準確率和RMSE。從圖13可以看到，不同角度的情況下，各個算法的定位性能沒有明顯的變化趨勢，基本保持穩定，其中SS-DBS-SSL的定位性能最好。

圖13 不同角度下的定位性能

為了評估算法在不同距離下的定位性能，將聲源放置在距離實驗平臺1 m，1.5 m，2 m，2.5 m，3 m，3.5 m處，角度為90°。圖14展示了不同距離的情況下定位的準確率和RMSE。從圖14可以看到，算法的定位性能隨著距離的增大而降低。分析其原因，隨著距離的增大，采集到的信號中的噪聲能量越來越高，聲源信號能量越來越低，從而導致SNR越來越低，所以定位性能下降。

圖14 不同距離下的定位性能

在不同角度和距離的情況下，SS-DBS-SSL的定位性能都要優于其它算法，這也體現了本文算法具有較高的魯棒性和穩定性。

3.6 不同聲源下的聲源定位性能研究

為了評估不同聲源對定位性能的影響，采用男聲、女聲作為不同的聲源，分析男聲和女聲情況下的定位性能。圖15顯示了男聲和女聲的情況下的定位準確率和RMSE。從圖15可以看到，在聲源為女聲的情況下的定位準確率要優于聲源為男聲的情況，在聲源為女聲的情況下，RMSE也較小，并且本文所提算法的表現優于其它算法。這說明聲源為女聲的定位性能要優于男聲，在不同的聲源條件下，SS-DBS-SSL的定位性能也更好。分析其原因可知，女聲信號的能量大，在相同的實驗環境中，其定位性能也越好。

圖15 不同聲源下的定位性能

4 結束語

本文基于Gammatone 濾波原理對雙耳語音信號進行分頻，并通過數據壓縮降低計算復雜度，然后基于譜減法的SNR估計選擇最優子帶，減少無關子頻帶影響，并引入DBSCAN算法減少噪聲點，降低異常幀對定位結果的干擾。從實驗結果和分析可以看出，本文提出的算法通用性強，與基于互相關的傳統算法相比，可以有效改善在混響和噪聲的復雜環境中雙耳聲源的定位精度，提高聲源定位的魯棒性。進一步，該實驗平臺可與移動機器人結合，研究機器人與聲源相對運動時的雙耳聲源定位問題。