移動機器人聲源定位與跟蹤攝錄系統開發

王一群，李興旭，楊鴻波，劉 瓊，陳雯柏

（北京信息科技大學自動化學院，北京 100096）

0 引 言

機器人聽覺系統是一種利用聲學傳感器采集聲音信號與外界環境完成感知與交互的方式。聲源定位是指利用聲音信號，經過處理和計算獲得聲源位置的技術。由于聲音信號和光信號存在著本質上的區別，機器人聽覺系統在障礙物遮擋、能見度低等不利于視覺系統的工況下仍可有效工作，常獨立或輔助機器人視覺系統完成定位、導航、避障等工作［1］。

對于發聲目標檢測應用，基于聲音信號相比圖像方法，有著先天優勢，常用于軍事、工業和日常生活。如對汽車違法鳴笛抓拍［2-4］，車輛與飛機等通過噪聲來源定位［5-7］，工業異常工件檢查［8-9］，管道氣體泄漏點檢測［10］，智能監控［11］。上述聲源定位應用中的傳感器陣列多為固定安放，傳感器位置移動中追蹤聲源的研究較少。

本文將設計一種通過聲音信號實現跟蹤拍攝的輪式機器人，并在室內室外進行機器人追蹤聲源功能試驗，分析性能與抗干擾能力，為機器人聽覺系統相關研究提供參考。

1 系統整體設計

1.1 研究背景

圖1 所示為常用目標跟隨拍攝方式，而目前市面上支持目標跟隨拍攝的智能設備主要分固定式［見圖1（a）］和手持式［見圖1（b）］2 種。固定式云臺因位置固定，限制被拍攝者僅能在小范圍內移動。手持式云臺需要借助人力完成跟隨。近年來無人機航拍（圖1（c）成為攝影師們的新寵，但仍存在著無法室內使用、成本高昂、續航時間短和噪音大等問題。因此，成本低廉的輪式跟隨拍攝機器人存在一定市場。

圖1 常用目標跟隨拍攝方式

1.2 系統架構

本文提出的移動機器人聲源定位與跟蹤攝錄系統主要分為音視頻采集、目標檢測和控制跟隨3 個部分。音視頻采集部分調用硬件設備（麥克風陣列、攝像頭）獲取并保存音頻和數字圖像信號，以供后續算法使用。目標檢測通過基于到達時間差的聲源定位方法（Time Difference of Arrival，TDOA）實現，完成對發聲目標位置的解算，包含2 個步驟：①估計目標所發出聲音到不同麥克風之間的時間差，再根據時間差和幾何關系解算出發聲目標相對于麥克風陣列的位置；②控制跟隨部分將利用解算出的位置信息，控制舵機與電動機工作使小車靠近且跟隨目標移動。

2 聲源定位算法

常見的聲源定位算法有基于最大輸出功率的可控波束形成定位方法（Steered Beamforming，BS）、基于高分辨率估計的定位方法（High Resolution Spectral Estimation，HRSE）和TDOA。

本文考慮到機器人跟蹤發聲目標屬于近場模型，且硬件計算能力有限，因此選擇使用TDOA。

2.1 基于到達時間差的聲源定位算法

處于不同位置的2 個麥克風接收到來自聲源的聲音信號，如圖2 所示。各麥克風接收到的音頻信號x1（t）和x2（t）由下式表示：

圖2 聲源與各麥克風空間位置關系示意圖

式中：S為聲源信號；m1與m2為在不同時刻到達各麥克風且帶有加性噪聲；t為傳播時間；τ1和τ2分別為聲源到達2 個麥克風的延遲時間。由式（1）可得麥克風之間的時延

通過測量獲得傳感器間距L，結合τ 與t，可計算出聲音在空氣中傳播的方向：

式中：c為聲音在空氣中的傳播，本文取c＝340 m／s；β為智能車作極坐標中心面對兩個聲源的中心線的夾角，正值表示聲源在車左側，反之則在右側。

TDOA算法將聲源定位的問題轉化為求不同麥克風接收時延的問題，時延估計的精度將直接影響到聲源定位的精度。

2.2 時延估計

時延估計（Time delay estimation，TDE）方法中得到最廣泛應用的是廣義互相關算法（Generalized Cross Correlation，GCC）和自適應最小均方法（Least Mean Square，LMS）［12-13］。考慮到機器人對實時性的要求，本文選擇了計算量較小且能保證一定精度的GCC 方法。廣義GCC表達式如下：

式中：Ψ12（ω）為加權函數；Gx1x2（ω）為信號互功率譜。

2.3 語音端點檢測

端點檢測是指從一段音頻信號中確定目標聲音信號的起始點和結束點位置，利用語音端點檢測只對有目標聲音的信號片段進行處理，可以減少數據輸入及系統的運行時間，并抑制噪聲對系統的干擾。

端點檢測常用方法有短時能量法、譜質心和頻譜擴展度法等［14］。其中，短時能量法是在時域層面進行端點檢測，有著運算量小、簡單易理解的優點，適合本次實驗。

采集N幀語音信號，計算第i幀語音信號yi（n）的短時能量

式中，yi（n）為當前時刻采樣的數值，其中n＝1，2，…，l，l為幀長。

當前音頻信號短時能量大于所設定的閾值時即可認為環境中存在目標，閾值的選擇直接影響到靜音檢測的效果。圖3 中藍色區域是由算法判斷存在語音的區間。若閾值設定過低，算法易受噪聲干擾產生誤判，如圖3（a）多數片段被判定為存在語音；若閾值設置過高，部分音量較小的語音信號片段會被漏判。

圖3 不同閾值的語音端點檢測效果比較

3 實驗部分

3.1 平臺搭建

（1）主控板。本文搭建的設備主控板采用德州儀器公司的工業派（見圖4），包含AM5708 處理器、C66x系列數字信號處理器（DSP）和豐富的接口，適合作為本次設計的實驗平臺進行算法驗證、功能測試、應用開發等環節。

圖4 主控板

（2）麥克風陣列。選擇T型四聲道麥克風陣列采集聲音信號，該麥克風陣列頂部有3個麥克風處在同一水平線上、間距6 cm，底部有1 個麥克風，如圖5 所示。頂部3 個麥克風也可在實驗中單獨作為線型麥克風陣列使用，以簡化實驗實現流程［15-16］。麥克風信噪比為59 dB（A），靈敏度為－22 dBV／Pa，最大輸出阻抗為400 Ω。實驗背景的短視頻錄制、主直播等應用場景一般要求距離攝錄設備8 m內、移動緩慢和持續發聲、T型麥克風陣列的精度能夠滿足設計需求。

圖5 基于麥克風陣列的跟隨攝錄設備實物

（3）運動底盤。系統使用TI-RSLK 機器人套件，運動底盤結構為前輪舵機轉向-后輪電動機驅動形式，輪徑68 mm。直流電動機采用脈沖寬度調制（Pulse Width Modulation，PWM）波調整轉速，帶有AB 相編碼器，減速比1∶20。電池組由18 650 節鋰電池及充放控制板組成，額定電壓12 V，額定容量10 000 mAh，能夠滿足長時間的供電要求。

3.2 軟件設計

使用多線程技術、（ARM＋DSP）異構架構完成程序設計，程序交叉編譯后以應用的形式運行在板卡上的Linux-Rt系統中。主任務循環中對輸入數據進行靜音檢測、聲源定位運算，并根據解算方位結果通過比例導數（Proportional Derivative，PD）控制算法控制運動底盤向目標移動。程序結構如圖6 所示。

圖6 程序結構框圖

（1）聲源定位實現。TDOA算法的程序實現主要分2 步：①TDE，即用互相關算法估計聲源信號到達麥克風陣列中各麥克風的時間差；②根據τ，按照幾何關系解算出聲源目標關于麥克風陣列的方位信息。

主進程中創建一個線程調用Linux pcm模塊完成對多聲道音頻信號的采集，將連續的模擬信號轉為離散數字信號存儲在緩沖區，等待運算線程讀取作為后續算法輸入并保存為WAV 格式音頻文件。針對語音信號頻率特點和對硬件性能的綜合考慮，設置采樣頻率f為44.1 kHz，取2 048 個采樣點為一幀，即幀長l＝2 048。

互相關算法的程序實現流程如圖7 所示，將2 個含有各時間點音頻信號幅值的數組通過離散傅里葉變換轉換至頻域進行共軛運算再加權求和得到中間結果，通過傅里葉反變換獲得結果數組H（j），j＝1，2，…，2l。通過程序查找，獲得結果數組中峰值Hmax及自變量j的值a：

圖7 互相關算法軟件實現流程

以s為單位的時延τ的計算式如下：

式中：r為算法獲得的時延結果值；f為采樣率。

算法計算獲得時延數值結果r＝－5 時，經計算時延τ 約為－11.338 μs，表明聲音先到達右側麥克風。根據（3）式，2 個麥克風間距L為6 cm，可獲得目標β＝－18.737 9°（右側）。

為了更好地利用硬件資源、提升實時性，將端點檢測算法放在DSP 核心中進行，并將最終結果回傳到ARM端。

（2）控制跟隨。由于舵機硬件特性，控制過程中不存在累積誤差，所以本實驗中簡化PID 控制算法中的積分項，采用PD 控制器控制舵機轉角實現跟隨任務，即：

式中，out 為控制器的輸出值；Kp與Kd分別為控制器的比例與微分系數；err為本次角度誤差；err＿last 為上次計算周期所得誤差。

在控制中，目標值將一直設置為0（即期望控制車體始終正對前方的發聲目標）。out 通過線性變化后為當前時刻舵機的控制量即PWM 占空比值，用于控制舵機和電動機。

4 驗證與分析

4.1 時延估計對比測試與分析

實驗中選擇經典GCC 算法（即Ψ12（ω）＝1）與GCC-PHAT算法作對比。在聲源位置固定相距麥克風陣列右側15°距離3.5 m、室內環境下，經典GCC 和GCC-PHAT實測計算結果見表1 所列。

表1 經典GCC和GCC-PHAT實測計算部分結果

由表1 可見，GCC-PHAT的計算結果穩定，數值主要集中在-4 附近；而經典GCC 的r值在－650～1 697之間浮動，無法表征目標的準確位置，其結果誤差大。主要是經典GCC算法對噪聲敏感，在低信噪比條件下的互相關結果會出現峰值不集中且相對真實值偏移的現象。而GCC-PHAT 算法的誤差主要來源于環境中其他噪聲的干擾，當目標聲源并未發聲時（例如人說話過程中會有間斷），將不含語音音頻信息的環境聲作為聲源定位系統的輸入，導致無法獲得正確的目標聲源定位結果，這也體現了增加語音端點檢測處理環節的必要性。

4.2 場景測試與分析

在多個場景中用自然人聲和藍牙音箱（型號coowoobs100）播放說書音頻作為聲源，距離小車2～6.5 m 情況下測試，如圖8 和9 所示。環境中存在的噪聲類型有：大型空調外機運行噪聲、人群活動聲、汽車駛過的噪聲還有來自自身通過固體傳導形式到達麥克風陣列的舵機電動機噪聲。系統測試結果見表2 所示。測試得出，基于TODA 和GCC-PHAT 算法的聲源定位方案具有一定的抗干擾能力。

表2 測試結果總結

圖8 多場景測試實拍

圖9 小車視角畫面

5 結 語

本文提出的移動機器人聲源定位與跟蹤攝錄系統設計能夠多個場景下根據聲音信號完成跟隨和拍攝，并經實驗測試。結果表明，該實驗系統支持720p（30f／s），480p（60f／s）錄像及48K 四聲道音頻；能在8 m遠進行跟隨；平均單次采集時間僅為8.5 ms。可滿足短視頻博主等對低成本、可移動的跟隨攝錄設備的需求，具有一定的實用價值，可為基于機器聽覺的各種機器人環境感知和交互研究提供參考。

同時，實驗可作為教學設計，有助于提升自動化類專業學生對“信號與系統”“數字信號處理”“自動控制原理”等專業知識的綜合應用能力、獨立解決工程問題的能力和創新實踐能力，為面向多學科融合的自動化類人才的培養奠定基礎。