一種適用于無線視頻通信的時域錯誤掩蓋算法*

程 宇 黃治華 袁林鋒

(1.海軍駐武漢地區通信軍事代表室 武漢 430079)(2.中船重工集團公司第七二二研究所 武漢 430079)

?

一種適用于無線視頻通信的時域錯誤掩蓋算法*

程 宇1黃治華2袁林鋒2

(1.海軍駐武漢地區通信軍事代表室 武漢 430079)(2.中船重工集團公司第七二二研究所 武漢 430079)

針對無線視頻通信中因視頻數據丟失或誤碼導致重建圖像質量急劇下降的問題,提出了一種基于空間坐標位置關系的時域錯誤掩蓋算法。對于受損4×4子塊,將與其直接相鄰子塊的運動矢量定義為三維坐標點,并構建經過坐標點的平面以表征受損子塊鄰域內運動矢量的變化趨勢,據此通過計算受損子塊的空間坐標恢復受損的運動矢量,從而實現受損數據的錯誤掩蓋。仿真結果表明,對不同視頻序列和不同宏塊丟失率,該算法均可比傳統算法獲得更好的重建圖像質量。

無線視頻通信; 錯誤掩蓋; 時域替換; 邊界匹配算法; 運動矢量恢復

Class Number TN92

1 引言

在無線視頻通信中,由于無線信道的多徑時延擴展、多普勒頻移、衰落以及環境噪聲等特性[1],使得無線信道隨時域和空域的變化而變化,表現出較大的不穩定性,導致視頻傳輸時數據容易產生丟包或誤碼。當接收的碼流存在丟包或誤碼時,解碼端重建的視頻信號會產生失真,特別是在基于塊的混合編碼框架[2]中,由于使用了幀間、幀內預測以及熵編碼技術,解碼錯誤會在時間和空間上擴散,嚴重降低視覺效果。因此,在解碼端引入錯誤掩蓋技術[3],利用視頻信號的相關性,對丟失或誤碼的信號進行恢復,以提高受損圖像的重建質量。

由于利用了圖像的時域相關性,幀間編碼能夠獲得較高的壓縮效率,但同時幀間編碼數據的丟失或誤碼對重建圖像的影響也將更大。當幀間數據受損時,一般使用時域錯誤掩蓋算法,其關鍵是運動矢量的恢復。基本的運動矢量恢復算法包括: 1) 運動矢量置零,即時域替換(Temporal Replacement,TR)算法[4]; 2) 使用前一幀對應塊的運動矢量; 3) 使用鄰域塊運動矢量的中值。這些算法適用于運動平滑的視頻序列,但在物體運動劇烈處會帶來明顯的掩蓋痕跡。文獻[5]提出的邊界匹配算法(Boundary Matching Algorithm,BMA)以邊界失真最小為準則,從多個候選運動矢量中選擇最佳運動矢量,該算法已被H.264參考軟件JM所采用。文獻[6]根據鄰域塊運動信息構造拉格朗日插值多項式,以此多項式恢復受損的運動矢量。文獻[7]通過建立基于運動矢量變化趨勢的二次多項式來恢復運動矢量,文獻[8]通過比較與插值的方法恢復受損的運動矢量。這些算法利用了運動矢量的空域相關性,但當受損塊與鄰域塊具有不同的運動趨勢時,掩蓋效果較差。文獻[9]提出的基于錯誤跟蹤的掩蓋算法由于運算復雜,不適合實時應用的要求。文獻[10]提出的運動域插值算法由于要恢復每個受損像素的運動適量,運算量較大,也不適合實時應用的要求。

為此,本文針對H.264的編碼特點,提出一種基于空間坐標位置關系的運動矢量估算方法。該方法將與受損子塊直接相鄰子塊的運動矢量定義為三維空間點,并構建空間平面以表征受損子塊鄰域內運動矢量的變化趨勢,據此通過計算受損子塊的空間坐標恢復其運動矢量,從而實現受損數據的錯誤掩蓋。

2 基于空間坐標位置關系的運動矢量估算法

H.264相比于以往視頻壓縮標準的一個重要特性是改進的運動估計過程,在其運動估計中,一個幀間編碼宏塊可被劃分為16×16、16×8、8×16、8×8、8×4、4×8以及4×4子塊,具有1～16個運動矢量[11]。由于子塊的尺寸更小和1/4像素矢量精度,相鄰子塊的相關性更強,運動矢量更接近,且分塊越細,小范圍內的塊運動矢量相似性越強,因此本文以4×4子塊為單位恢復受損的運動矢量。

受損宏塊與鄰域宏塊的位置關系如圖1所示。

圖1中,MB為受損宏塊,MBdir為其鄰域宏塊,dir∈{LT、T、RT、L、R、LB、B、RB}。相應的4×4子塊標記為MBdir(m,n),其中,m和n指示4×4子塊在宏塊中的位置,m,n∈{0,1,2,3}。

對于受損4×4子塊,當對其進行錯誤掩蓋時,其LT、T、L方向的鄰域子塊已完成解碼,如對于MB(0,0),其LT、T、L方向的鄰域子塊分別為MBLT(3,3)、MBT(0,3)和MBL(3,0),對于MB(2,2),其LT、T、L方向的鄰域子塊分別為MB(1,1)、MB(2,1)和MB(1,2)。因此,本文根據受損子塊LT、T、L方向鄰域子塊的運動矢量進行錯誤掩蓋。

圖1 受損宏塊與鄰域宏塊位置關系示意圖

以受損宏塊的中心為原點,子塊與原點間的橫向距離(以4×4子塊為單位)為X軸,子塊與原點間的縱向距離(以4×4子塊為單位)為Y軸,子塊運動矢量的水平分量為Z軸建立三維坐標系,將受損子塊LT、T、L方向鄰域子塊對應到此三維坐標系中。假定受損子塊與原點間橫向距離、縱向距離以及運動矢量水平分量分別為xa、ya,zax,則受損子塊在三維空間中有一坐標點A(xa,ya,zax)與之對應。同理,對于受損子塊LT、T、L方向鄰域子塊,它們在坐標系中的坐標點分別為B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)。坐標點空間位置關系如圖2所示。

圖2 坐標點空間位置關系示意圖

由圖可見,B、C和D將構成一個平面P,此平面表征了受損鄰域內運動矢量的變化趨勢,根據受損區域運動矢量具有相似性的特點,受損子塊對應坐標點A應落在此平面上。根據此原理,可通過B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)得到平面P的表達式,然后依據xa和ya計算得到zax。

令待求的平面P的表達式為

z=ax+by+c

(1)

將B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)代入式(1),可得如下關于a、b和c的方程組:

(2)

求解上述方程組,可得a、b和c。a、b和c的計算公式為

(3)

將xa、ya代入式(1)可得zax。

此外,以受損宏塊的中心為原點,子塊與原點間的橫向距離(以4×4子塊為單位)為X軸,子塊與原點間的縱向距離(以4×4子塊為單位)為Y軸,子塊運動矢量的垂直分量為Z軸建立三維坐標系。將受損子塊以及其LT、T、L方向鄰域子塊對應到此坐標系中,得到對應坐標點A′(xa,ya,zay)、B′(xb,yb,zby)、C′(xc,yc,zcy)、D′(xd,yd,zdy)以及經過點B′(xb,yb,zby)、C′(xc,yc,zcy)和D′(xd,yd,zdy)的平面P′。同理可求得zay,(zax,zay)即為恢復的的運動矢量。

得到4×4子塊運動矢量后,在參考幀中尋找相應的數據進行補償替代,從而完成受損數據的錯誤掩蓋。

3 仿真結果

本文選取Foreman、Suzie和Tempete作為測試序列,序列長度均為120幀,圖像尺寸為QCIF。在仿真試驗中,采用H.264參考軟件JM作為測試平臺,幀結構為“IPP…IPP…IPP…”,關鍵幀間隔為40。I幀和P幀的量化參數為28,參考幀數目為1,最大搜索窗口為16,1/4像素運動矢量精度,使用全部七種不同大小的塊進行運動估計。I幀沒有宏塊丟失,P幀的宏塊丟失率分別為10%和20%。

采用四種算法進行性能比較:本文提出的算法、TR算法、BMA算法和拉格朗日插值法(簡稱為LGRG算法)。所比較的均為亮度分量(Y分量)的峰值信噪比YPSNR,比較結果如表1～表3所示。

表1 Foreman序列在不同宏塊丟失率下的峰值信噪比

表2 Suzie序列在不同宏塊丟失率下的峰值信噪比

表3 Tempete序列在不同宏塊丟失率下的峰值信噪比

三個序列具有不同的運動特性,其中Foreman序列存在背景的抖動和變化,Suzie序列具有中等程度的運動,Tempete序列運動較為劇烈。仿真結果表明,對于不同運動特性的序列和不同的宏塊丟失率,本文算法均優于TR算法、BMA算法和LGRG算法,重建圖像的PSNR相比TR算法提升3.1dB～4.8dB,相比BMA算法提升0.8dB～2.9dB,相比LGRG算法提升0.7～1.2dB,是一種魯棒性較強的算法。

下面以Foreman序列第42幀為例,從主觀視覺效果對本文算法、TR算法、BMA算法和LGRG算法進行比較,重建圖像如圖3所示。

圖3 Foreman序列在10%宏塊丟失率下,各算法重建的第42幀圖像效果

從圖3中可見,TR算法重建的圖像在人物的脖子和下巴處存在切線、人物面部存在方塊效應;BMA算法重建的圖像在人物鼻梁處存在陰影、在人物脖子處存在割裂痕跡;LGRG算法重建的圖像在人物的鼻梁處存在陰影;本文算法消除了上述不足,掩蓋后的視覺效果較好。

4 結語

本文根據運動的空域相關性,提出了一種基于空間坐標位置關系的運動矢量恢復算法。具體為,將鄰域子塊的運動矢量對應到三維坐標系中,并構建經過運動矢量坐標點的平面以表征鄰域運動矢量的變化趨勢,據此恢復受損的運動矢量。仿真結果表明,與TR算法、BMA算法和LGRG算法相比,本文算法對不同視頻序列和不同宏塊丟失率均能恢復出更高質量的圖像,具有較強的魯棒性。

[1] 蔡躍明,吳啟暉,田華等.現代移動通信[M].北京:機械工業出版社,2007:14-15.

[2] 王瑤,奧斯特曼,張亞琴.視頻信號處理與通信[M].北京:清華大學出版社,2003:227-228.

[3] Wang Y, Zhu Q F. Error Control and Concealment for Video Communication: A Review[J]. Proceedings of the IEEE,1998,86(5):974-997.

[4] 馬宇峰,魏維,楊科利.視頻通信中的錯誤隱藏技術[M].北京:國防工業出版社,2007:96-97.

[5] Wang Y K, Hannuksela M M, Varsa V, et al. The Error Concealment Feature in the H.26L Test Model[C]//Proc ICIP. Rochester, NY: IEEE,2002:729-732.

[6] Zheng J H, Chau L P. A Motion Vector Recovery Algorithm for Digital Video Using Lagrange Interpolation[J]. IEEE Trans on Broadcasting,2003,49(4):383-389.

[7] Zheng J H, Chau L P. Efficient Motion Vector Recovery Algorithm for H.264 Based on a Polynomial Model[J]. IEEE Trans on Multimedia,2005,7(3):507-513.

[8] 周杰.視頻傳輸的錯誤隱藏技術研究[D].上海:復旦大學,2012.

[9] Kung W Y, Kim C S, Kuo C C. Spatial and Temporal Error Concealment Techniques for Video Transmission over Noisy Channels[J]. IEEE Trans on Circuits Systems Video Technology,2006,16(7):789-802.

[10] Chen B N, Lin Y. Temporal Error Concealment Using Selective Motion Field Interpolation[J]. Electronics Letters,2006,42(24):1390-1391.

[11] 陳靖,劉京,曹喜信.深入理解視頻編解碼技術:基于H.264標準及參考模型[M].北京:北京航空航天大學出版社,2012:89-92.

An Efficient Error Concealment Algorithm in Wireless Video Communication

CHEN Yu1HUANG Zhihua2YUAN Linfeng2

(1. Navy Representative Office of Communication in Wuhan, Wuhan 430079) (2. No. 722 Research Institute of CSIC, Wuhan 430079)

To overcome the degradation of video quality caused by compressed data loss or error in wireless video communication, a novel temporal error concealment algorithm based on location relationship of coordinate is proposed. For a lost 4×4 block, the blocks surrounding the lost block are first projected to points in 3D space. Then, according to these points a plane is constituted which presents the motion vector changing tendency. Finally, the recovery motion vector is obtained by calculating the coordinate of the lost block in the plane. The simulation results show that compared with the traditional algorithms, the proposed algorithm can obtain better reconstruction quality in different video sequences and different rates of lost block.

wireless video communication, error concealment, temporal replacement, boundary matching algorithm, motion vector recovery

2015年2月3日,

2015年3月27日

程宇,男,工程師,研究方向:無線通信、信號處理。黃治華,男,博士,高級工程師,研究方向:通信網絡、信號處理。袁林鋒,男,博士,高級工程師,研究方向:通信網絡、信號處理。

TN92

10.3969/j.issn1672-9730.2015.08.011