用于視頻監控的特定聲實時定位系統

張 勇，曾春燕，竇維蓓

（清華大學 電子工程系，北京 100084）

1 引言

聲音定位技術有廣闊的應用前景，比如多媒體安全監控[1-2]。在多媒體安全監控系統中，聲音定位系統可以估算出聲源方向，以此控制攝像頭的方向，可以提高攝像鏡頭對異常事件的捕捉能力，對室內外環境進行有效監控。

常用的聲音定位技術主要有：基于TDoA的聲音定位技術[3-5]，基于高分辨力的空間譜估計的聲音定位技術[6-7]，基于神經網絡的定位技術，基于頭相關傳遞函數的聲音定位技術[8-10]。在這些定位技術中，后3種技術的復雜度相對比較高，而基于TDoA的聲音定位技術相對來說比較簡單，適合于低成本的實時系統，而且性能能夠滿足大多數應用場合的要求，所以應用得比較多。

基于TDoA的定位算法的現有研究中，大多在努力提高定位的精度。但是，在實際的應用中，除了希望提高定位精度，更希望系統只對特定的聲音進行定位，忽略其他類型的聲音。這可以大大提高系統的抗干擾能力，提高系統的實用性。

為此，筆者提出了一種對特定聲定位的系統，它利用廣義互相關（GCC）方法估算聲音到達傳聲器（即麥克風）的時間差TDoA，以此確定聲源的方向；同時利用特定聲檢測技術，只有檢測到特定聲時，才輸出定位結果。特定聲定位系統框圖如圖1所示。

圖1 基于DSP的特定聲定位系統

在本系統中，首先對傳聲器的采集信號進行預處理，然后對聲源方向進行定位并且檢測聲音類型，最后根據當前幀的聲音類別決定是否輸出定位結果。

2 基于TDoA的定位

基于TDoA的聲源定位如圖2所示，S表示聲源，m1和m2分別表示2個傳聲器，聲源相對于傳聲器連接線的方向角是θ，從S傳來的聲音到達這2個傳聲器的距離差是△d，這將帶來時間差△t。而且這個時間差△t和方向角θ密切相關，不同的θ對應不同的時間差，當方向角θ是0°或者180°的時候，時間差最大。當θ角是90°的時候，時間差是0。

2.1 廣義互相關計算TDoA

在圖2所示的模型中，可以用式（1）表示2個傳聲器的接收信號

圖2 基于TDoA的聲源定位

式中： s（t）表示聲源信號；m1（t）和 m2（t）表示 2 個傳聲器接收的信號；n1（t）和 n2（t）表示 2 個傳聲器上獨立的噪聲，比如電噪聲；t0表示信號到達兩個傳聲器的時間延遲；α表示2個信號在幅度上的差別，假如傳聲器的距離不大，聲源到達2個傳聲器的路徑差別不是很大的時候，可以假定α=1。估算t0的簡單有效方法就是互相關。一個信號的自相關函數在0點達到最大值，假如把一個信號延時t0后與原信號做互相關，它的峰值將會延時t0。所以在式（1）中，估算出 m1（t）和 m2（t）的互相關函數的峰值點，就知道了它們的延時t0。

然而，考慮到噪聲 n1（t）和 n2（t）或者室內混響的影響，這種方法的定位性能不穩定。為了提高各種復雜環境下聲音定位的性能，人們研究出了各種廣義互相關算法。

廣義互相關先對傳聲器接收信號 m1（t），m2（t）進行處理，然后再做相關，如圖3所示。

圖3 廣義互相關算法的示意圖[11]

圖3中的H1，H2表示2個濾波器的傳遞函數。濾波后的2個信號求互相關函數，最后，進行峰值檢測，找到峰值點，這就是 m1（t）和 m2（t）之間的相對延時。

不同的濾波器就對應了不同的廣義互相關算法。文獻中，有的互相關算法是適用于噪聲環境下的定位，比如最大似然法（HT）[12]，也有的算法適用于混響環境的定位，比如相位變換方法（PHAT）[11]。也有利用聲源本身的特點對聲源定位，比如利用人聲的基音[5]或者是線性預測誤差[13]。在混響環境中，人聲的頻譜會產生畸變，但是基音的頻率和線性預測誤差的時間規律不會改變，所以這些算法適合于混響環境。

在本文的系統中，要對室內和室內的特定聲方向進行定位，分別采用PHAT和HT方法。PHAT方法的原理推導在文獻[11]中有詳細推導，這里只給出計算公式

2.2 根據時間差確定聲源方向

根據TDoA和傳聲器排列的幾何位置定位方法主要有最大似然算法和閉式表達式法。閉式表達式法算法復雜度低，其性能在實際應用中也能滿足要求，所以得到了廣泛的應用。閉式表達式法主要有交叉雙曲線、球插值算法等。假定聲音是遠場信號，還可以用簡單的方法得到聲源的方向角。遠場信號示意圖如圖4所示。

圖4 系統實現框架圖

圖4中，L，R代表2個傳聲器，dm是2個傳聲器的距離，ds是到達距離差（TDoA乘以聲波速度）。方向角θ為

計算出每一幀的角度后，還需要對異常結果進行處理。在筆者提出的特定聲定位系統中，計算出了聲源的方向角，就可以控制攝像機轉向聲源方向，對該方向的場景進行監控。

3 特定聲的檢測

特定聲是指在特定的應用場合中需要特別關注的聲音。比如在安全監控中，槍聲的出現意味著有異常事件的發生，所以槍聲就是特定聲。

為了檢測特定聲，對現場采錄的信號進行特征提取和分析，把當前聲音進行分類。在本系統中，采用如圖5所示的二級分類樹。

在第一級分類中，以過零率作為特征，把聲音分為噪聲和非噪聲。在第二級分類中，利用子帶能量等特征把非噪聲分為槍聲和人聲。過零率和子帶能量等特征的提取過程都不復雜，適合在DSP中實現。

圖5 特定聲檢測用的分類樹

4 DSP實時系統的構建和試驗結果

為了驗證特定聲定位系統的精度以及特定聲檢測模塊對槍聲檢測的準確性，構建了一個基于ADI公司的Blackfin 16位定點處理器ADSP-BF561的特定聲定位實時系統。

4.1 實時定位系統的組成

實時定位系統由3個子系統組成，如圖1所示，聲音采集放大、數據處理和輸出結果的圖形顯示等子系統。

在聲音采集放大子系統中，使用2個型號是SMM310的硅微傳聲器，它們的間距是12.75 cm。硅微傳聲器的對稱性比較好，信噪比64.5 dB，靈敏度-42 dB。由于傳聲器信號的輸出電壓范圍是微伏級，而后級的AD轉換器輸入的動態范圍是0～1 V，所以設計了一個用運放組成的負反饋放大電路，它的放大倍數是100倍。

數據處理子系統中，采用ADI公司的ADSP-BF561 EZkit Lite，它有AD1836作為AD轉換器，采樣頻率可以高達96 kHz。其DSP處理器是ADI公司的Blackfin系列中的雙核16位定點處理器，2個獨立的DSP核，可以工作到750 MHz。系統中，一個核做輸出結果的圖形化顯示，另外一個核做聲音定位和特定聲檢測計算。

輸出結果的圖形化顯示是由東方迪碼公司的SSK-561完成，這是ADSP-BF561 EZkit Lite的接口擴展板，板上的TFT顯示器是TopSun公司的TS35ND1501， 24位真彩色，分辨力是240×320。

圖6是筆者設計的定位結果輸出圖形界面，圖中半圓表示聲源定位的有效范圍，本系統只對傳聲器前方180°范圍的聲源定位。圓上的小球指示了當前聲源的大致方向，下面的數字表示聲源的角度。左下方的圖標表示當前聲音類別是槍聲，右下方圖標表示當前聲音是人聲。

4.2 誤差計算方法

本測試中，為了驗證定位系統的估算角度與實際角度的偏差，測量了音箱相對于傳聲器的實際角度。但是，由于直接測量音箱到傳聲器陣列的絕對角度比較困難，筆者測試的是相對角度。把傳聲器固定后，音箱先后在2個不同的方位角播放聲音，系統估算出2個角度，它們之間的角度差就是相對角度。最大誤差是指定位系統估算出聲源角度，經過排除孤立的異常結果后，各幀結果與均值的最大差值。

4.3 室內測試結果

在室內測試中，混響場空間參數為：長7 m，寬4 m，高2.9 m。測試場中有很多矮隔板和電腦，混響時間約為120～180 ms。聲源是漫步者電腦音箱R1900T-Ⅲ，它在不同的方位角上不斷播放槍聲、人聲和其他聲音，調整音量，使信噪比在10 dB以上。音箱距離傳聲器陣列約4 m。表1是室內槍聲的定位結果。特定聲檢測模塊對槍聲的檢出率是89.7%，準確率是78.2%。

圖6 聲音定位系統的界面

表1 室內槍聲定位的誤差均值和方差

4.4 室外測試結果

室外測試中，選擇校園內一個交通路口旁邊一小塊空曠地作為測試場地，測試場中有汽車行駛的噪聲、大功率空調主機噪聲、輕軌和火車行駛噪聲，以及一些自然風聲等。調整音箱的音量大小，使信噪比達到10 dB。測試方法和4.2節一樣，數據處理幀長是1 000個采樣點。定位結果見表2。

表2 室外槍聲的定位結果

從表2看出，在室外的聲音定位中，當聲源偏離傳聲器正前方±30°以內，定位偏差在5°以內。如果聲源偏離角度增大，這個偏差也會增大。特定聲檢測模塊對槍聲的檢出率是90%，好于室內測試結果，而準確率是75%，略差于室內的測試結果。這是因為室外干擾聲比較大，有時候會有很多干擾聲被識別成槍聲。

5 小結

筆者提出的結合基于TDoA的聲音定位和特定聲檢測的特定聲方向定位系統可以實時地進行特定聲的檢測和定位，它的抗干擾能力也較強。當它的輸出設備是TFT顯示器的時候，可以直觀顯示聲源的方向；如果用本定位系統的輸出角度控制攝像機云臺，攝像機就能夠及時轉向并跟蹤特定聲聲源方向，有效提高視頻監控的有效性。在沒有檢測到特定聲的時候，如果該系統關閉攝像機，就可以在很大程度上降低視頻監控系統的能耗。

：

[1]YITENG H，BENESTY J，ELKO G W.Passive acoustic source localization for video camera steering[C]//Proc.2002 IEEE International Conference on Acoustics， Speech， and Signal.[S.l.]:IEEE Press，2000：909-912.

[2]CLAVEL C，EHRETTE T，RICHARD G.Events detection for an audio-based surveillance system [C]//IEEE Conference on Multimedia and Expo 2005.[S.l.]:IEEE Press，2005:1308-1309.

[3]CHAN Y， RILEY J， PLANT J.A parameter estimation approach to time-delay estimation and signal detection[J].IEEE Transactions on Acoustics， Speech， and Signal Processing， 1980， 28（1）:8-16.

[4]STEPHENNE A，CHAMPAGNE B.Cepstral prefiltering for time delay estimation in reverberant environments[EB/OL].[2009-06-02].http://eprints.kfupm.edu.sa/29439.

[5]BRANDSTEIN，M S.A pitch-based approach to time-delay estimation of reverberant speech[EB/OL].[2009-06-02].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=625637.

[6]ARGENTRERI S，DANES P.Broadband variations of the MUSIC highresolution method for sound source localization in robotics[EB/OL].[2009-06-02].http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4399422.

[7]LEON D F A，MARCIANO J J S.Source localization using music in a multipath environment[EB/OL].[2009-06-02].http://d.wanfangdata.com.cn/NSTLHY_NSTL_HY14773667.aspx.

[8]KEYROUZ F，MAIER W，DIEPOLD K.A novel humanoid binaural 3D sound localization and separation algorithm[EB/OL].[2009-06-02].http://d.wanfangdata.com.cn/NSTLHY_NSTL_HY17814078.aspx.

[9]ROMAN N，DELIANG W，BROWN G J.Speech segregation based on sound localization[EB/OL].[2009-06-02].http://www.cse.ohio-state.edu/～dwang/papers/RWB.jasa03.pdf.

[10]FAKHEREDINE K，KLAUS D.An enhanced binaural 3D sound localization algorithm[EB/OL].[2009-06-02].http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4042325.

[11]KNAPP C，CARTER G.The generalized correlation method for estimation of time delay[J].IEEE Trans.Signal Acoustics， Speech， and Signal Processing， 1976,24（4）:320-327.

[12]VALENZISE G，GEROSA L，TAQLIASACCHI M，et al.Scream and gunshot detection and localization for audio-surveillance systems[EB/OL].[2009-06-02].http://www.citeulike.org/user/tiboeret/article/5095282.

[13]CHENG E， BURNETT I， RITZ C.Using spatial audio cues from speech excitation for meeting speech segmentation[EB/OL].[2009-06-02].http://ieeexplore.ieee.org/iel5/4128765/4129618/04129778.pdf?arnumber=4129778.