新的全參考音視頻同步感知質量評價模型

魏耀都，謝湘，匡鏡明，韓辛璐

（北京理工大學 信息與電子學院，北京 100081）

1 引言

進入 21世紀，多媒體通信的蓬勃發展使溝通和交流變得更加輕松方便，然而多媒體業務的質量卻參差不齊，在信道不穩定時常常無法提供讓人滿意的質量。對多媒體質量進行準確的評價能夠規范多媒體服務水平，促進行業健康發展。現有的多媒體質量評價方法集中在單獨對視頻或者音頻的評價上，然而在大多數多媒體業務中用戶都會同時使用音頻和視頻，因此對音視頻質量進行綜合評價能夠更準確地描述用戶感知體驗。

目前，國際上對音視頻質量綜合評價已經有一些研究，Andrew Rimell等分析了音視頻質量間的相互影響[1]，Hands提出了一種基本的音視頻質量評價模型[2]，該模型在音視頻同步的假設下提出，當音視頻不同步時沒有給出評價方法。對音視頻同步感知質量的研究可以完善現有音視頻質量評價模型。

在對音視頻同步的研究方面，Steinmetz定義了同步、失步和暫態區間，用于描述感知質量在不同同步誤差范圍內的性質[3]。隨后針對幾種音視頻研究了同步區間的寬度，結果表明同步區間的寬度受到音視頻內容的影響。但 Steinmetz沒有指出如何在內容和感知質量之間建立聯系。Nishibori等利用格式塔心理學中的同時性和同向性作為判斷音頻與視頻事件是否出自同一事件的準則[4]。Bredin等總結了音頻和視頻相關性的衡量方法[5]。在音視頻相關性的基礎上，Gillet和Liu等分別提出了自動恢復音視頻同步的方法[6,7]。Enrique等利用隱馬爾科夫模型和協慣量分析(CoIA, co-inertia analysis)對失步的音視頻進行自動同步[8]。Eveno等通過對同步的檢測設計了一種活性評分機制，用以檢測語音是否由視頻中的人物實時說出[9]。Kumar等研究了臉部正面圖像與語音的同步檢測方法[10]。雖然目前已經有多種自動恢復同步的方法，但實際業務中仍然常會出現音視頻同步誤差，所以仍然需要在質量評價模型中加入同步質量評價指標。然而目前對音視頻同步的研究并沒有對同步誤差與感知質量之間的關系進行分析。

本文針對QVGA分辨率的視頻進行研究。首先將待測序列的音視頻分別與參考序列進行對齊，利用對齊結果得到待測序列的同步誤差。由于感知質量受到音視頻內容的影響，所以根據音頻內容將音視頻分為純凈語音、無語音和有背景語音3類，純凈語音類進一步劃分為視頻中出現說話人和不出現說話人2個子類。對各類分別提取不同的特征。利用CoIA尋找使音頻和視頻特征協方差最大的映射，并將該映射結果的協方差系數作為相關程度參數。將參考序列的音頻進行小范圍的移位，每次移位后均進行CoIA計算，從而得到相關程度參數曲線。利用該曲線估計同步誤差與感知質量之間的映射關系，從而在主觀質量與同步誤差之間建立質量評價模型。模型中各參數由主觀實驗結果確定。為驗證模型有效性，選擇不同類型的序列進行了驗證實驗，驗證結果表明本模型與主觀質量有較好相關性。

2 評價模型

人類對音視頻是否同步的判斷主要依靠視頻事件和對應的音頻事件是否同時發生，因此本模型通過計算音頻和視頻特征在時間上的關聯對感知質量進行估計。評價模型包括2部分，第1部分獲得同步誤差，第2部分通過對音視頻內容的分析獲得同步誤差與感知質量之間的映射關系，從而通過同步誤差對感知質量進行估計。

計算音視頻的同步誤差需要使用參考序列。假設參考序列的音視頻完全同步，根據 ITU-T P.931標準建議的方法將待測序列的視音頻分別與參考序列進行對齊，從而得到視頻延遲的幀數fvideo和音頻延遲的幀數faudio。若相鄰視頻幀間隔時間為tvideo，音頻幀長度為taudio，則待測序列的音視頻同步誤差tskew為

其中，tskew為負值時表示音頻的播放領先于視頻，為正值時表示視頻的播放領先于音頻。

感知質量通常采用平均意見分(MOS，mean opinion score)進行定量描述。MOS的評分范圍一般為5等級。然而主觀評價中測試人對評分表兩端的使用較為慎重，導致實際評分的可區分度不高。因此本評價模型采用9等級評分，在獲得評價數據之后對 MOS分值進行去除隱含參考條件操作(HRR,hidden reference removal)，得到ACR-HRR分值。ACR-HRR分值能夠提供與使用失真等級評定（DCR，differential category rating）方法進行實驗相同的信息，同時使測試時間僅為 DCR實驗的一半[11]。

音視頻的特征通常為多維異構特征，對多維異構特征的關聯性計算方法有典型相關方法(CANCOR, canonical correlation)和 CoIA 方法。CANCOR方法可以從多維特征中找到相關系數最大的映射，CoIA可以找到協方差最大的映射，二者都可以分析音頻與視頻的關聯。CoIA由Doledec和 Chessel在關于物種與環境關系的研究中提出，但直到近年才被引入到多媒體分析中[12]。CoIA能夠對2個具有不同維數的多元隨機變量X、Y尋找到矩陣A和B，使得X和Y分別在A和B上的投影具有最大的協方差。Enrique等人給出了CoIA的詳細計算過程，隨后比較了CANCOR與CoIA 2種方法在音視頻同步分析中的效果，結果表明 CoIA更適于分析音視頻之間的關聯性[8]。另一方面，CANCOR的計算中需要多次對音視頻特征的協方差矩陣求逆，在協方差矩陣不可逆的情況下無法求得結果。而CoIA則不需要求逆矩陣，適用性更好。因此本模型采用CoIA進行音視頻關聯性的計算。

由于音視頻內容對同步感知質量有明顯的影響，所以需要對內容進行分類，根據各類的性質分別構建評價模型[3]，分類方法如圖1所示。視頻的內容非常靈活，分類方法和所分類別眾多；對視頻內容進行自動識別和歸類所需要的計算資源較多，同時可識別的種類很少，因此很難根據視頻內容對音視頻進行有效的分類。然而音頻信號的分析、識別與歸類則較為容易。同時，語音在人類感知中有著特殊的作用，人類對語音和唇型的同步感知比其他內容更為敏感。因此根據音頻內容將音視頻分為3類：純凈語音類、無語音類和有背景語音類，其中純凈語音類根據視頻內容中是否出現與語音對應的嘴進一步分為有說話人和無說話人2個子類。

圖1 音視頻內容分類

2.1 無說話人子類

由于語音只能由嘴的運動發出，嘴部視頻與其所發出的語音具有很強的關聯性，所以唇型與語音的不同步很容易被察覺。而當視頻中沒有出現與語音對應的唇型時，語音與視頻內容的關聯性則較弱，用戶對同步誤差也較為不敏感。因此純凈語音類根據視頻中是否出現與語音相對應的嘴分為2個子類：有說話人和無說話人。由于視頻鏡頭切換可能會造成視頻中人物的變化，所以對純凈語音類的評價以一個視頻鏡頭為單位進行。

造成視頻中沒有說話人的原因有2種：①視頻中的人物在聽鏡頭外其他人說的話，例如正在聽記者問題的被采訪對象；②視頻中不存在人物或者沒有清晰可辨的嘴，例如視頻為風光或者體育節目中的遠景鏡頭。在這2種情況下語音與視頻內容都不存在嚴格的時間關聯，音視頻同步誤差tskew的增大對主觀質量分值(ACR_HRR)的影響較小。所以無說話人子類的評價模型采用一條較為平坦的高斯曲線來進行描述。

其中，σ為高斯曲線的標準差。

2.2 有說話人子類

嘴部特征可以分為形狀特征和整體特征，形狀特征包括嘴的高度、寬度、面積和輪廓等，整體特征包括DCT系數等。Bredin等比較了2種特征與音頻的相關性，結果表明采用整體特征優于形狀特征[5]。因此對于有說話人子類，首先進行嘴部檢測找到視頻中嘴部的位置。對每個鏡頭分別用一個包含嘴部的固定尺寸矩形作為嘴部范圍，對嘴部矩形范圍內的亮度圖形進行二維8×8 DCT變換后按照Z字型掃描順序選取前30個DCT系數，這30個系數和它們的一、二階差分一起作為視頻特征。

音頻按照 20ms的長度進行分幀，幀間疊接10ms。對每個音頻幀計算短時能量和梅爾倒譜系數(MFCC, mel-frequency cepstral coefficients)，采用短時能量和MFCC前12個系數及其一、二階倒數作為音頻特征。由于音頻幀和視頻幀的長度不同，所以對每個視頻幀長度范圍內的音頻特征求平均，使得音頻特征與視頻特征的長度相同。

將縮短后的音頻特征在±20視頻幀范圍內進行逐幀移位。每次移位后均對視頻特征與移位后的音頻特征進行協慣量分析。協慣量分析的2個第一維特征為使音頻與視頻特征協方差最大的映射結果，將2個第一維特征的協方差作為音視頻的相關程度參數。通過音頻的移位可以得到相關程度參數曲線，對該曲線進行歸一化。如果音頻與視頻內容存在關聯，相關程度曲線會在靠近中心的位置出現凸起，在兩側逐漸下降；而當音視頻內容不存在關聯時則不會出現明顯的凸起[9]。因此本模型通過相關程度曲線的凸起程度估計主觀質量隨tskew的上升程度。為描述相關程度曲線，采用高斯曲線對其進行擬合，擬合公式為

其中，β為相關程度曲線峰值位置，σobj為標準差，描述了相關程度曲線的凸起程度。隨后再次利用高斯曲線對主觀質量與 tskew之間的映射關系進行建模，高斯曲線為

其中，σsub由σobj通過線性或者非線性映射得到。最后通過待測序列的音視頻同步誤差tskew得到該序列的感知質量ACR-HRR評分。模型中各參數通過主觀實驗結果確定。

2.3 無語音類

無語音類的評價以一個或數個無語音類鏡頭為單位進行。評價模型的構造方法與有說話人子類的方法在音視頻特征選取上有明顯的區別，其余部分完全相同。

在無語音類音視頻當中，用戶通常只在出現鏡頭切換、沖擊音、節奏變換等音頻或者視頻內容有顯著變化的時刻才會感受到音視頻的不同步。所以在視頻特征的選取中需要選取能夠反映視頻運動狀態變化的特征。運動矢量的統計量可以較好地反映視頻內容的狀態[13]。光流法可以提供與運動矢量類似的結果，同時能夠反映視頻中光線的變化，利用光流矢量的統計結果可以更全面地描述視頻中的運動狀態。因此本模型對于待測序列首先進行鏡頭切換檢測，得到鏡頭切換時刻。隨后通過Horn & Schunck方法得到每幀視頻的光流矢量圖。最后統計光流幅度的方差、光流幅度非零塊的個數、非零光流的幅度方差、光流幅度最大2個塊間的距離。將光流的統計量與鏡頭切換點一起作為視頻特征。

在音頻中引入Gillet等提出的段落相似程度指標[6]。該指標比較當前時刻的前后 2段音頻，將 2段音頻的各種特征映射到再生核希爾伯特空間中，在該空間中各特征均可被認為服從正態分布。隨后計算2段音頻特征分布的Kullback-Leibler距離作為2段音頻的段落相似程度。該指標在音頻中旋律和段落變化的時刻會出現峰值，從而反映音頻性質的改變情況。得到段落相似程度指標后進行能量檢測，獲得沖擊音發生的時刻，同時進行基音檢測以提取旋律特征。最后計算音頻響度。將段落指標、沖擊音發生時刻、基音以及響度作為音頻特征。

2.4 有背景語音類

在有背景語音類中同時存在著純凈語音和非語音的背景，因此音頻與視頻的相關性既可以存在于語音與圖像之間又可以存在于非語音的音頻和圖像之間。即有背景語音類可以看作純凈語音類與非語音類的疊加，2種類別的音頻與視頻之間的相關都可以使有背景語音類的音頻和視頻之間產生相關性。因此，有背景語音類可以利用純凈語音類與無語音類的評價模型進行評價。

首先對待測序列的視頻內容進行判斷，根據判斷結果分別使用不同的評價模型。如果待測序列中沒有出現清晰的嘴，則采用無語音類的方法進行評價；如果待測序列存在清晰的嘴，但嘴沒有說話，則使用純凈語音類中無說話人子類的方法；如果序列中存在說話的嘴則使用純凈語音類中有說話人子類的方法。

各類評價模型的流程如圖2所示。

圖2 評價模型流程

3 確定模型參數的主觀實驗

3.1 實驗設計

主觀實驗的測試環境符合ITU-T P.911標準的規定。實驗采用4臺三星T220P（1920×1200）液晶顯示器進行視頻播放。音頻播放使用 4個Sennhesier HD25耳機進行。視頻序列采用QVGA分辨率在顯示器中央進行顯示，顯示器其余部分顯示中灰色作為背景。每組測試由4名測試人同時進行，對各組分別使用不同的隨機播放順序。根據ITU-T P.911的建議，測試人可以在視頻高度的1～8倍距離內自行調節觀看距離。對純凈語音類的測試使用32名測試人，對無語音類的測試使用20名測試人，男女測試人員各占測試人數的一半。測試人年齡在22～29歲之間，全部具有正常聽力、視力或矯正視力且均不是音頻或視頻方面的專家。由于實驗規模較大，測試分為3階段進行，階段之間均間隔兩周以上。

實驗采用ITU-T P.911建議的9等級絕對等級評分(ACR, absolute category rating)獲得平均意見分，評分準則如圖3所示。在獲得評價數據之后對MOS分值進行去除隱含參考條件操作得到ACR-HRR分值。

圖3 ACR評分準則

測試序列均由高質量源視頻通過雙3次插值轉換為320×240的無壓縮avi格式視頻。音頻轉換為48kHz采樣，16比特量化的PCM單聲道音頻。實驗采用10條有說話人序列、3條無說話人序列以及5條無語音序列。測試序列名稱及內容在表1中詳細列出。有背景語音類由于可以利用純凈語音類與無語音類的評價模型，故在本階段實驗中沒有進行測試，只在驗證實驗中進行測試。

將測試序列的音頻進行移位，對移位后的序列進行主觀質量的評分，音頻的移位時間量分別為±1 000ms、±800ms、±720ms、±640ms、±560ms、±480ms、±400ms、±320ms、±240ms、±160ms、±80ms和0ms。

3.2 實驗結果與評價模型參數的確定

各序列的ACR-HRR實驗結果如圖4所示。從圖4可以看出，當同步誤差增加時，所有序列的主觀質量均下降，下降趨勢與高斯曲線基本吻合，但下降的速度各不相同，表明內容對評價結果有明顯的影響。所以主觀質量曲線可以利用具有不同標準差的高斯函數進行擬合，擬合方法采用非線性最小均方誤差法。擬合結果在表2中列出，擬合為式（4）。純凈語音類擬合的R2＞0.8，無語音類R2＞0.7。同時可以看出“對話節目”、“鑒寶節目”與“足球2”3條序列曲線都非常平坦，如果將3條曲線通過平移使得中心一致的話，3條曲線的變化趨勢非常接近，可以用一條固定的高斯曲線對它們進行統一描述。

表1 測試序列

圖4 測試結果

對有說話人子類和無語音類，分別對各測試序列進行移位和協慣量分析，得到相關程度曲線，百家講壇、交響樂會1和大河之舞3條序列的相關程度曲線如圖5所示。由于測試使用的參考序列本身的音視頻并不是完全準確同步，所以相關程度曲線的凸起中心有一定偏移。隨后用式（3）對相關程度曲線中的凸起部分進行擬合。純凈語音類與無語音類的σobj與σsub的映射關系如圖6所示，對2類分別進行映射關系的曲線擬合，純凈語音類的擬合式為

無語音類的擬合公式為

圖5 相關程度曲線

圖 6 σobj與 σsub的映射關系

無說話人子類各序列的主觀質量曲線非常接近，因此采用同樣的高斯曲線對其進行回歸分析，并將擬合得到的曲線直接作為同步誤差與主觀質量間的映射曲線。擬合結果為回歸分析的R2＞0.9。

表2 驗證實驗測試序列

圖7 驗證實驗結果

因此，對于待測的音視頻序列，可以首先計算其相關程度曲線，然后通過相關程度曲線得到 σobj對σsub進行估計，從而得到主觀質量與同步誤差時間之間的映射關系。

4 模型性能驗證

為了驗證所提出模型的性能，另外選擇了5條有背景語音序列、3條無語音序列以及3條純凈語音序列使用同樣的測試人員進行了驗證實驗。驗證實驗的實驗設計除測試序列外與上一次實驗相同。驗證實驗的測試序列內容如表 2所示。

圖7顯示了部分序列的高斯曲線擬合結果，可以看出高斯曲線可以較好地描述主觀測試結果。分別利用有說話人子類、無說話人類和無說話人子類對驗證實驗各序列的主觀質量曲線進行客觀估計，估計結果如圖7所示。在有背景語音類型序列中，演唱會片斷1和演唱會片斷2按照有說話人子類方法處理，紀錄片和武打片斷按照無語音類方法處理，閱兵式按照無說話人子類方法處理。由圖7可以看出估計結果與主觀曲線本身的擬合結果很接近，也能較好地描述主觀質量曲線。

為了比較評價模型的結果與主觀實驗結果，分別計算主觀質量擬和曲線與評價模型擬和曲線對主觀質量曲線之間的均方根誤差。各序列的均方根誤差比較結果如表3所示。

表3 均方根誤差比較

從表3可以看出，用高斯曲線對主觀評價結果進行擬和可以獲得較小的均方根誤差，說明高斯曲線可以較好地擬和主觀質量隨同步誤差時間增加而下降的趨勢。客觀擬和曲線與主觀實驗結果的均方根誤差與主觀擬和曲線非常接近，表明所提出的模型可以較好地對各種類型的音視頻序列進行同步質量估計。

5 結束語

對音視頻質量進行評價需要對各種導致質量下降的因素進行定量分析。音視頻不同步作為當前音視頻業務常見的失真方式之一，將導致用戶的感知體驗受到損傷，從而降低音視頻質量。已有的研究集中在如何對音視頻質量進行融合上，對同步帶來的損傷沒有進行定量的分析與描述。

本文提出一種利用協慣量分析進行的全參考音視頻同步質量感知評價模型，模型通過對齊算法獲得音視頻同步的時間誤差，隨后針對不同類型音視頻內容，通過協慣量分析獲得同步誤差與主觀質量之間的映射關系從而得到質量評分。實驗結果表明，采用9等級評分制時，11條測試序列中的9條序列由本模型獲得的評價結果與主觀實驗結果的均方根誤差小于 1，其余 2條序列的均方根誤差略大于 1，說明本模型的評價結果與主觀結果的偏離程度較小，可以較好地描述主觀感知質量。

由于采用高斯曲線對同步誤差與主觀質量的映射關系進行建模，本模型對音頻和視頻存在周期性的音視頻內容尚無法給出較準確的質量估計結果。另外，如果音視頻分類出現錯誤，會在質量估計結果中引入很大的誤差，因此對于音視頻的自動分類方法還需要進行進一步的研究。為實現本模型，還需要引入有效的嘴部區域檢測算法以支持純凈語音類和有背景語音類中的特征提取方法。

[1] RIMELL A, OWEN A. The effect of focused attention on audio-visual quality perception with applications in multi-model codec design[A].ICASSP 2000[C]. Istanbul, Turkey, 2000. 2377-2380.

[2] HANDS D S. A basic multimedia quality model[J]. IEEE Transactions on Multimedia,2004 ,12 (6): 806-816.

[3] STEINMETZ R. Human perception of jitter and media synchronization[J]. IEEE Journal on Selected Areas in Communications, 1996,14(1): 61-72.

[4] NISHIBORI K, TAKEUCHI Y, MATSUMOTO T, et al. Finding the correspondence of audiovisual events by object manipulation[J]. Electronics and Communications, 2009, 92(5): 1-13.

[5] BREDIN H, CHOLLET G. Audiovisual speech synchrony measure:application to biometrics[J]. Eurasip Journal on Advances in Signal Processing, 2007, (3): 1-11.

[6] GILLET O, ESSID S, RICHARD G. On the correlation of automatic audio and visual segmentations of music videos[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2007,3(17): 347-355.

[7] LIU Y Y, SATO Y. Recovery of audio-to-video synchronization through analysis of cross-modality correlation[J]. Pattern Recognition Letters, 2010 ,31 (8): 696-701.

[8] ENRIQUE A R, BREDIN H, GARCIA M C, et al. Audio-visual speech asynchrony detection using co-inertia analysis and coupled hidden markov models[J]. Pattern Analysis & Applications,2009,9(12):271-284.

[9] EVENO N, BESACIER L. Co-inertia analysis for “liveness” test in audio-visual biometrics[A]. Proceedings of the 4th International Symposium on Image and Signal Processing and Analysis[C]. Zagreb,Croatia, 2005. 257-261.

[10] KUMAR K, NAVEATIL J, MARCHERET E, et al. Audio-visual speech synchronization detection using a bimodal linear prediction model[A]. 2009 IEEE Conference on Computer Vision and Pattern Recognition[C]. 2009. 53-59.

[11] QUAN H T, GHANBARI M. A comparison of subjective video quality assessment methods for low-bit rate and low-resolution video[A]. The 7th IASTED International Conference on Signal & Image Processing[C].2005.70-76.

[12] DOLEDEC S, CHESSEL D. Co-inertia analysis: an alternative method for studying pecies-environment relationships[J]. Freshwater-Biology, 1994,31: 277-294.

[13] JEANNIN S, DIVAKARAN A. MPEG-7 visual motion descriptors[J].IEEE Transactions on Circuits and Systems for Video Technology,2001, 6(11):720-724.