基于相關運動矢量外推的視頻通信錯誤掩蓋算法

黃治華，蔡全旺

(中國船舶重工集團公司第七二二研究所，湖北 武漢 430079)

0 引 言

壓縮視頻數據在視頻通信過程中由于受信道帶寬限制、無線信道不穩定性[1]以及IP網絡“盡力而為”影響，不可避免地會發生丟包或誤碼。與此同時，視頻編碼標準大多采用幀內預測、幀間預測和可變長編碼等技術去除視頻圖像在空域、時域和統計域的冗余度以達到數據壓縮的目的[2]，這些技術在提高編碼效率提升的同時也使得視頻數據之間存在較強的關聯性。當視頻數據發生丟包或誤碼時，解碼錯誤會在空域或時域迅速擴散，導致解碼的視頻質量急劇下降。因此，為提高解碼的視頻質量，需要在解碼端采用錯誤掩蓋技術，在不改變編解碼結構、不增加傳輸帶寬的情況下，根據視頻信號的相關性，對丟包或誤碼的視頻數據進行恢復。

當幀間編碼幀發生丟包或誤碼時，常采用時域錯誤掩蓋算法，即根據視頻的運動相關性，估算受損圖像塊的運動矢量，然后在前續幀中查找圖像塊替代受損圖像塊。因此，時域錯誤掩蓋算法的核心在于如何估算受損的運動矢量。時域替換算法[3]是時域錯誤掩蓋最基本的算法，通過假定受損運動矢量為0，直接用前續圖像塊替代受損圖像塊，該算法易于實現，但在運動劇烈區域很容易產生錯位感。邊界匹配算法[4]以候選圖像塊與相鄰圖像塊的邊界像素差值為準則，從候選圖像塊中選取使得差值最小的圖像塊作為最佳替代圖像塊，該算法已被H.264參考軟件JM選作時域錯誤掩蓋算法，但對于物體邊界處的受損圖像塊，掩蓋時會選擇出錯誤的替代圖像塊。文獻[5]根據相鄰圖像塊運動矢量構造拉格朗日插值多項式，進而根據插值多項式恢復受損圖像塊的運動矢量。該算法利用了運動的空域相關性，但當受損圖像塊與相鄰區域運動趨勢不同時，掩蓋效果較差。文獻[6]采用時空結合邊界匹配法，以保持圖像平滑性和結構相似性。文獻[7]采用物體檢測、邊界匹配和參考幀相關圖像塊的運動矢量來恢復不同尺寸的受損圖像。文獻[8]首先采用邊界匹配算法估算運動矢量，然后通過粒子濾波器對運動矢量進行去噪處理。文獻[9]將張量模型引入到視頻通信中，提出了基于張量模型的錯誤掩蓋算法。這些算法利用相鄰圖像塊或前續圖像塊的運動信息對受損圖像塊的運動矢量進行估算，但存在一個共同的不足，即缺少對運動區域的分析，沒有選取與受損圖像塊運動相關性最強的相鄰圖像塊對受損圖像塊進行錯誤掩蓋，因此恢復的運動矢量存在一定偏差，解碼的視頻質量有待提升。

為此，本文根據運動的空域相關性和時域相關性，提出一種基于相關運動矢量外推的錯誤掩蓋算法。對于受損圖像塊，首先構造經過前續相鄰圖像塊的一階平面集，然后計算前續圖像塊與1階平面集距離，選取使得距離最短的1階平面所代表的前續相鄰圖像塊為相關最強前續相鄰圖像塊，最后將相關最強前續相鄰圖像塊外推到當前幀，通過外推圖像塊與受損圖像塊重疊區域加權估算受損運動矢量，并采用邊界匹配算法對運動矢量進行優化，進而恢復受損圖像塊。

1 相關最強前續相鄰圖像塊確定

前續圖像塊、前續相鄰圖像塊、受損圖像塊位置關系如圖1所示。

圖1 圖像塊位置關系示意圖Fig. 1 Position relation of image blocks

以 B′0中心點為原點， B′1～ B′8的中心點與原點的橫向 距離 為 X 軸 、 B′1～ B′8的 中 心 點 與 原點 的縱 向 距 離 為Y 軸、運動矢量的水平分量為 Z軸建立三維坐標系。前續相鄰圖像塊橫向距離和縱向距離如表1所示。

表1 前續相鄰圖像塊橫向距離和縱向距離Tab. 1 Lateral and longitudinal distances of previous adjacent image blocks

求解方程組，得到：

求得所有的1階平面后，通過比較 B′0(0,0,x′0)與所有1階平面的距離大小可衡量 B′0(0,0,x′0)與1階平面所代表的前續相鄰圖像塊的相關程度，即與 B′0(0,0,x′0)距離最近的一階平面所代表的前續相鄰圖像塊為運動矢量相關最強前續相鄰圖像塊。 B′0(0,0,x′0)與 S中1階平面的距離如圖2所示。

圖2 前續圖像塊與1階平面距離Fig. 2 Distance between preceding image blocks and first-order plane

B′0(0,0,x′0)與 S中 一 階 平 面 （ 以 下 以 一 階 平 面為例描述）的距離計算公式為：

2 相關運動矢量外推的錯誤掩蓋

2.1 運動矢量外推

根據運動的時域相關性可知，相鄰視頻幀的運動趨勢大多具有連續性，即可以將前續相鄰圖像塊的運動矢量根據其運動趨勢外推到當前幀中以估算受損圖像塊的運動矢量。

得到相關最強前續相鄰圖像塊 B′α， B′β和 B′γ后，分別根據其自身運動矢量外推到當前幀中，如圖3所示。

圖3 運動矢量外推示意圖Fig. 3 Diagram of motion vector extrapolation

圖中，虛線框為外推圖像塊。 B′α， B′β， B′γ的外推圖像塊與受損圖像塊 B0重疊區域大小分別標記為

重疊區域大小反映了前續圖像塊與受損圖像塊的運動相關程度：重疊區域越大的前續圖像塊，越有可能運動到受損圖像塊的位置。因此，受損圖像塊的運動矢量可根據外推圖像塊與受損圖像塊重疊區域加權得到，即

式中， (mvx,mvy)即為根據運動矢量外推估算的 B0的運動矢量。

2.2 運動矢量優化

通過上述運動矢量外推方法，初步估算了受損圖像塊的運動矢量，但在上述運動矢量估算過程中，只考慮了運動的時域相關性，因此恢復的圖像塊可能存在塊邊界效應。因此，本文對已初步估算的運動矢量進行優化，在初步估算的運動矢量相鄰區域內尋找一個最優邊界匹配的運動矢量作為受損圖像塊最終掩蓋的運動矢量。

邊界匹配算法以圖像塊邊界亮度失真作為度量，通過計算候選圖像塊的內部邊界像素值與受損圖像塊的外部邊界像素值的亮度差值之和大小衡量邊界匹配程度，邊界匹配程度越高，則圖像塊邊界差值越小。因此，在已初步估算的運動矢量相鄰區域內，查找使得圖像塊邊界差值最小的圖像塊恢復受損圖像塊。由于圖像塊的解碼或掩蓋的次序為從上至下，從左至右，當對受損圖像塊進行錯誤掩蓋時，只有其上邊界圖像塊和左邊界圖像塊可用，因此在計算邊界差值時，只計算上邊界圖像塊和左邊界圖像塊的差值。最優運動矢量查找過程如圖4所示。

圖4 最優運動矢量查找過程示意圖Fig. 4 Searching process for optimal motion vector

對于 (mvx,mvy)相鄰區域，即 ?x∈ [mvx?δ,mvx+δ]，?y∈[mvy?δ,mvy+δ]內的候選圖像塊，其內部邊界像素值與受損圖像塊的外部邊界像素值的亮度差值之和計算公式 diff(?x,?y)為：

式中：xstart和ystart為受損圖像塊在當前幀Fn中的起始像素坐標，pixn(x,y)為 Fn中像素(x,y)的亮度值，pixn?1(x,y)為前續幀 Fn?1中像素 (x,y)的亮度值。根據邊界匹配算法的原則，使得式（8）值最小時的(?x,?y)即為優選后的運動矢量，即

3 仿真結果

選取QCIF格式的Foreman，Carphone和Suzie序列進行仿真實驗。仿真實驗采用H.264的參考軟件JM[10]作為測試平臺，視頻序列編碼檔次為Baseline，關鍵幀間隔為40，量化參數為26?？紤]到運動的空間相關性及運算復雜度，選取=3。本文主要驗證幀間編碼幀的錯誤掩蓋，因此仿真實驗通信環境丟包模型為：幀內編碼幀不丟包，幀間編碼幀丟包率為10%，20%和30%。

采用時域替換算法、邊界匹配算法、拉格朗日算法和本文提出的算法進行比較。視頻客觀質量通過亮度分量的峰值信噪比（PSNR）進行衡量，實驗結果如表2所示。

表2 不同掩蓋算法的性能比較Tab. 2 Performance comparison of different concealment algorithms

仿真實驗中，Foreman序列人物和鏡頭均在運動，而且還存在場景的切換；Carphone序列中等速度的運動；Suzie序列運動方向隨機。由表2可見，對于不同運動類型的視頻序列和不同的數據丟包率，本文算法PSNR均高于時域替換算法、邊界匹配算法和拉格朗日算法。相比時域替換算法提高2.3～2.7dB，相比邊界匹配算法提高1.3～2dB，相比拉格朗日算法提高0.5～1.1dB，是一種魯棒性較強的算法。3個測試序列中圖像的不同區域具有不同的運動趨勢，本文算法分析了相鄰圖像塊運動趨勢，并選取運動相關最強相鄰圖像塊進行錯誤掩蓋，從而更好地重建了受損的圖像。此外，隨著丟失率的增大，更多的受損圖像塊采用本文算法恢復受損的運動矢量，本文算法的優勢更加明顯。

從解碼視頻質量比較各算法的主觀視覺效果，圖5給出了Foreman序列第82幀解碼視頻質量。

由圖可見，時域替換算法解碼圖像效果較差，在人物眼睛、鼻梁、嘴巴和脖子處存在割裂痕跡；邊界匹配算法解碼圖像在人物鼻梁、脖子處存在錯位痕跡；拉格朗日算法解碼圖像在人物鼻子下方存在切線；本文算法在一定程度上克服了上述不足，解碼的視頻質量相對較好。

圖5 各算法解碼視頻主觀視覺效果Fig. 5 Decoded visual effects of various algorithms

4 結 語

本文利用運動空域相關性得到相關最強前續相鄰圖像塊，然后利用運動時域相關性將相關最強前續相鄰圖像塊外推到當前幀，根據外推圖像塊與受損圖像塊重疊區域大小估算受損的運動矢量。在此基礎上，依據邊界匹配算法對估算的運動矢量進行優化，從而完成受損圖像塊的錯誤掩蓋。仿真結果表明，對于不同運動特征的視頻序列和不同的數據丟包率，本文算法相比傳統時域錯誤掩蓋算法可獲得更高的客觀質量和主觀視覺效果。