基于動態競爭的實時多媒體會議混音算法

王立煒, 廖延娜

(1.西安郵電大學 電子工程學院, 陜西 西安 710121； 2.西安郵電大學 理學院， 陜西 西安 710121)

基于動態競爭的實時多媒體會議混音算法

王立煒, 廖延娜

(1.西安郵電大學 電子工程學院, 陜西 西安 710121； 2.西安郵電大學 理學院， 陜西 西安 710121)

為了解決大規模會議中的混音噪聲問題，提出語音短時累積能量的概念，并據此設計基于動態競爭模式的實時多媒體會議混音算法。該算法依據會議所有成員的語音短時累積能量，通過動態競爭、自我淘汰、強制淘汰三個過程，實時從會議所有成員中選擇當前的發言者，并進行混音。仿真結果顯示，該算法可解決大規模會議中混音質量與會議人數成反比的問題。

大規模多媒體會議；短時累積能量；動態競爭；混音

近年來,多媒體會議成為多媒體通信發展的熱點之一；ITU-T在H.323中建議了集中控制的會議模式，使用多點控制單元(Multipoint Control Unit, MCU)對全體會議成員輸入的音頻、視頻及數據信號進行集中處理[1]。在多媒體會議中,實時音頻交流最為重要，MCU對多路音頻信號進行混音處理，再將混音后的音頻信號輸出傳送到每個成員，使其能夠同時聽到多個發言者的聲音。

混音算法的基本原理是對多路輸入音頻信號的采樣數據進行疊加，如平均權重混音算法、對齊法、非均勻波形收縮算法[2]、鉗位算法[3]等。這些算法的共同點是：利用不同的算法得到不同的權系數后，將所有會議成員的多路音頻輸入信號進行加權，然后疊加得到混音輸出。隨著會議成員數目的增加，混音后的音頻信號的噪聲必然也隨之增加。在大規模會議中，上述的混音算法的噪聲均超出人耳的承受范圍，影響多媒體會議質量和用戶體驗[4]；因此，在大規模會議中，一般使用“申請—授權—發言”的會議方式，控制實際發言人數，以保證會議混音效果。這種方式控制復雜，且與會者發言不自由。為了解決上述問題，本文研究了基于動態競爭模式的實時快速混音方案，自動從所有與會者中選取當前的發言者。

1 動態競爭混音原理

動態競爭混音算法的原理如圖1所示。當前時間單元ΔT內，根據會議電話各個成員的語音能量，進行競爭和淘汰，動態更新當前發言者的名單，然后將發言者的語音信號進行混音合成，作為當前時間單元內的語音輸出。

實時動態競爭選擇淘汰算法主要由兩個部分組成：語音短時累積能量計算，實時動態競爭和淘汰。

圖1 實時動態競爭模式的混音原理

2 語音短時累積能量

每個時間單元ΔT內的語音信號記為一幀，設幀長度為n，則當前語音幀信號x(i)的能量計算公式為

考慮到聽覺效果的實時性和延續性，提出語音短時累積能量的概念：設定一個時間窗Tw，對應窗長度為Nw；Tw>ΔT，即Nw>n。時間窗Tw以ΔT為單位向前推進，計算時間窗Tw內語音信號x(i)的加權平方和，作為Tw內最后一幀語音的短時累積能量，即

其中窗函數w(i)可以是簡單的矩形窗函數，或取正單調遞增函數，如線性單調遞增窗函數或四分之一正弦窗[5]。使用矩形窗函數即是將時間窗Tw的語音信號能量無差別累加；使用單調遞增形式的窗函數則在Eaccu中更多地體現了臨近當前時刻的語音信號能量。使用四分之一正弦窗，則有

如時間窗長度Nw為幀長度為n的整數K倍，從提高計算效率的角度出發，可以用Nw內的每幀能量Eframe的加權和代替當前幀的短時累積能量，即

多媒體會議系統中的音頻信號一般采用壓縮編碼傳送[6]，常見的有G.729協議和G.723協議語音壓縮算法，其中G.729采用的語音幀長度為10 ms， G.723采用的語音幀長度為30 ms。本算法中的語音幀時間單元ΔT的選取兼顧G.729和G.723協議，取ΔT等于10 ms；PSTN規定電話質量的語音信號采樣率為8 000 Hz，即幀長度n=80。短時累積能量時間窗Tw的長度建議為ΔT的8～15倍，本文取短時累積能量時間長度Tw為100 ms，即Nw=800。

3 實時動態競爭淘汰算法

在實時動態競爭選擇淘汰算法中，將會議成員M分為三個集合：主發言者集合，成員數為X；次發言者集合，允許最大成員數為Y；其他會議成員則屬于靜默者集合。X+Y為最終參與混音的成員數，從人耳聽覺有效分辨的角度考慮，一般建議[7]

(X+Y)<8。

首先在會議電話開始的第一個時間單元ΔT，根據會議電話各個成員第一幀語音信號的能量Eframe，選擇能量最大的X個成員作為主發言者，其余為靜默者。在其后的每個時間單元，根據每個成員在當前幀的語音信號短時累積能量Eaccu，通過動態競爭、自我淘汰和強制淘汰，動態更新三個集合的成員。

3.1 動態競爭

競爭過程如圖2所示，主要包括4個步驟。

步驟1 選擇主發言者集合中Eaccu最小的成員，標記為A；選擇次發言者集合和靜默者中Eaccu最大的成員，標記為B。

步驟2 如果A、B滿足競爭條件

Eaccu(B)>Eaccu(A)，

則記錄A和B為一對競爭對手，并開啟競爭計時器T1。

步驟3 在下一個時間單元，若成員A和B依然滿足競爭條件，競爭計時器T1遞增；否則，競爭失敗，清除A、B標記，同時計時器T1清零。

步驟4 設置競爭時間門限Th1；如果T1>Th1，則競爭成功，成員B轉入主發言者集合，成員A轉入次發言者集合。

競爭時間門限Th1的大小影響競爭成功的頻率。Th1過小將導致競爭過于頻繁，最終混音合成的語音連續性較差，Th1過大將導致競爭成功困難。建議Th1取值在500～1 500 ms之間[8]。

圖2 動態競爭過程

3.2 自我淘汰

顯然，在上述競爭過程中，競爭成功將導致次發言者集合中的成員數增加，最終會超過集合允許的最大成員數Y，故必須對次發言者集合中的成員進行控制，即自我淘汰。自我淘汰過程如圖3所示，其主要步驟可描述如下。

針對次發言者集合中的每個成員，對比當前時間單元的短時累積能量的Eaccu_current與上一時間單元的短時累積能量的Eaccu_last，如果

Eaccu_current<αEaccu_last，

則該成員進入預淘汰狀態，標記為C，啟動預淘汰計時器T2，并定義對應的預淘汰能量門限

ETh=αEaccu_last。

參數α的取值范圍為0～1，建議取α=0.5。

在下一個時間單元，如果成員C滿足

Eaccu_current

計時器T2遞增；否則，該成員退出預淘汰狀態，對應的計時器T2清零。

設置預淘汰時間門限Th2；如果成員C的預淘汰計時器T2>Th2,則認為成員C的發言結束，將成員C更新為靜默者，即該成員被自我淘汰。

預淘汰時間門限Th2的取值可參考競爭時間門限Th2的的取值建議。

圖3 自我淘汰過程

3.3 強制淘汰

上述自我淘汰過程可以減小次發言者集合中的成員數，但是邏輯上，依然無法摒除次發言者集合的“超員”現象。當出現“超員”時，可將預淘汰成員C直接強制淘汰；如果沒有預淘汰成員，則淘汰次發言者集合中當前累積能量最小的一位。

通過動態競爭、自我淘汰和強制淘汰，在每個時間單元，主發言者集合和次發言者集合內的成員可實時動態更新。適當設置主發言者集合成員數X和次發言者集合成員數Y，即可有效控制最終進行混音的語音信號路數，避免大規模會議中成員數目過多導致的混音噪聲增加現象。

4 算法仿真

本文使用Matlab進行了競爭淘汰算法仿真。設置會議成員數為20，主發言者集合成員數X=2，次發言者集合成員數Y=4；設置競爭時間門限Th1為500 ms，預淘汰時間門限Th2為800 ms。

圖4和圖5對比了CoolEdit軟件[9]呈現的時長為26 s的會議混音結果。圖4為直接使用平均加權將20路語音進行混音合成，圖5為使用競爭淘汰算法，將每個時間單元動態更新的發言者的語音信號進行平均加權混音合成輸出。從波形上可以明顯看出，競爭淘汰算法有效減小了混音合成的噪聲。從主觀聽覺效果上，20路直接平均加權合成的輸出噪聲大，語音幾乎無法分辨，競爭淘汰后合成的輸出，能夠分清楚不同與會者的語音信號，語音清晰連貫。隨著會議成員數增加，仿真結果的對比更加明顯。

圖4 平均加權算法混音輸出

圖5 動態競爭算法混音輸出

5 結論

使用語音短時累積能量作為依據，動態競爭淘汰算法可有效選取當前的發言成員，合成輸出的語音清晰連貫，噪聲不隨會議成員總數的增加而增加。該算法計算量小，可有效使用于大規模多媒體會議的實時混音。動態競爭淘汰的結果還可以與其它混音算法結合，如在競爭淘汰的基礎上，結合文獻[3]中的非均勻波形收縮算法，對發言者的語音信號進行混音，以得到更佳的混音效果。

[1] 周敬利，馬志龍，范曄斌，等. 一種新的多媒體會議實時混音方案[J].小型微型計算機系統，2009，30(1)：169-172.

[2] 李宇，郭雷勇，陳建銘，等. 一種多媒體會議系統的實時同步混音轉發算法[J]. 中山大學學報:自然科學版，2010，49(2)：31-36.

[3] 張海峰，白騁宇. 多媒體會議系統音頻多點處理器的軟件設計[J]. 機電工程，2010，27(6)：104-107.

[4] 吳冀衍，喬秀全，程渤，等. 延遲敏感的移動多媒體會議端到端服務質量保障[J]. 計算機學報， 2013，36(7)：1399-1412.

[5] 李杭生，陳丹. 頻譜分析中窗函數的研究[J].微計算機信息，2008，24(4-1)：272-273.

[6] 胡建洲，田裕鵬. 基于FreeSwitch和DSP的多媒體會議系統的設計與實現[J]. 計算機應用與軟件，2013，30(8)：264-266.

[7] 靳鵬飛.基于DSP的自適應會議電話算法設計與實現[J].西安郵電學院學報，2010，15(3)：30-33.

[8] 李衛華，廖延娜，戴明，等. 會議電話語音選擇合成的方法：中國，200410073391.6[P].2005-05-25.

[9] 徐洊學，徐秀珍. 利用CoolEdit Pro及其效果器插件搭建簡易錄音棚的方法[J].內蒙古民族大學學報:自然科學版，2009，24(6)：629-631.

[責任編輯:王輝]

Real-time audio mixing algorithm based on dynamic competition used in multimedia conference

WANG Liwei1, LIAO Yanna2

(1. School of Electronic Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China；2.School of Science, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

In order to solve the problem of mixing noise in large scale multimedia conference, a concept of short-term cumulative energy of speech signal is put forward, and a real-time audio mixing algorithm based on dynamic competition is given in this paper. In this algorithm, three processes: dynamic competition, self-obsolescing and forcible obsolescing are gone through according to short-term cumulative energy of speech signal which come from each member of the conference. Current spokesmen are selected, and their speech signals are mixed as output. Simulation results show that this algorithm can solve the problem that the audio mixing quality has an inverse relationship with membership of large scale multimedia conference.

Large-scale multimedia conference, short-term cumulative energy, dynamic competition, audio mixing

10.13682/j.issn.2095-6533.2014.05.010

2014-05-04

陜西省教育廳科學研究計劃基金資助項目(12JK0559)

王立煒(1968-)，男，講師，從事電路與系統研究。E-mail:wlw@xupt.edu.cn 廖延娜(1974-)，女，碩士，副教授，從事電路與系統、信號與信息處理研究。E-mail:liaoyn@xupt.edu.cn

TN912

A

2095-6533(2014)05-0051-05