視頻錯誤掩蓋技術進展

.艾 達，楊 珍

(西安郵電大學 通信與信息工程學院，陜西 西安 710121)

視頻錯誤掩蓋技術進展

.艾 達，楊 珍

(西安郵電大學 通信與信息工程學院，陜西 西安 710121)

針對2005年到2015年基于H.264/AVC編碼標準下的圖像錯誤掩蓋技術的發展狀況，根據不同類型的編碼幀采用的不同掩蓋技術，歸納分類了當前已有算法，分析總結了基于傳統的錯誤掩蓋技術，即時域掩蓋、空域掩蓋和時空域結合的掩蓋，包括基于場交織的錯誤掩蓋與數字水印技術相結合的錯誤掩蓋，以及基于三維視頻的錯誤掩蓋，比較了各算法的優勢和局限性，并討論了其未來發展趨勢。關鍵詞: 錯誤掩蓋；立體視頻；場交織；數字水印

由于壓縮后的視頻很大程度上降低了其數據之間的關聯性。數據流在不可靠的信道中傳輸易出錯或丟失，使得接收端不能正確解壓出原視頻圖像。因此，針對受損視頻圖像質量的恢復，必須有一定的差錯控制機制來保證視頻圖像的質量。

差錯控制包括各種抗誤碼技術和檢錯糾錯技術，通常從編碼端、信道和解碼端展開研究。其中，從解碼端展開研究的錯誤掩蓋技術是對出現了錯誤或丟失的視頻數據進行恢復的一種方法。利用視頻本身的冗余信息，不改變原始碼流結構，不額外增加開銷，有效彌補傳輸中圖像的錯誤，使其在視覺效果上被人眼所接受。

文獻[1]中從時域、空域和頻域三個角度分析歸納了錯誤掩蓋技術，指出當時已有的各種算法優點和存在的缺點，而且對錯誤掩蓋技術的未來研究方向進行探討。本文將在文獻[1]的基礎上，將近十年來開發的一些典型的二維視頻和立體視頻的錯誤掩蓋算法進行歸納分類和分析比較，并對此進行展望。

1 國內外研究現狀及分析

目前，錯誤掩蓋技術在國內外的主流研究方向有3個：傳統錯誤掩蓋技術的改進[2]、基于模板匹配的錯誤掩蓋[3]、發送端與接收端結合的錯誤掩蓋[4]。

傳統錯誤掩蓋致力于在接收端對受損圖像的數據進行各類不同插值算法的恢復，充分利用圖像本身的冗余信息對其進行錯誤掩蓋。最常用的插值算法有雙線性插值[5]、方向插值算法、多方向插值算法[6]以及加權方向插值算法[7]。

文獻[3]中提出的基于模板匹配的錯誤掩蓋方法中，利用主成分分析法為目標或感興趣區域訓練出一個基于內容的模型，從而建立一個先驗，捕捉到目標的統計變化，進而用于錯誤掩蓋，修復目標。這種掩蓋技術掩蓋的質量依賴于訓練樣本和模型的準確度，修復計算度高，不適用于突發的即時通信。

收發端結合的錯誤掩蓋，是在發送端增加一些冗余數據，使接收端在恢復出錯圖像時有更多可用數據。各種不同冗余數據均能嵌入到發送端，例如，文獻[8]把視頻每幀圖像的抖動色版本通過數字水印技術嵌入到原始信息中；文獻[9]在圖像分塊后，通過量化離散小波變換后的系數，得到圖像塊的塊描述信息，隨后利用最低有效位信息嵌入技術嵌入到圖像本身中；文獻[10]在編碼端把圖像重要區域內宏塊的運動矢量(Motion Vector,MV)嵌入到該幀圖像的背景區域中；之后，文獻[11]提出了自適應水印的嵌入。交織編碼技術即靈活的宏塊排序，將空間相鄰的宏塊分別排成兩個Slice組，這兩個組中的數據可用來對其中出錯或丟失的一組進行錯誤掩蓋[12]。基于場交織的錯誤掩蓋，大多從發送端入手，直接對圖像和視頻作分場、分序列的操作[13]。

目前立體視頻技術發展極其迅速，對其視頻信息進行壓縮的技術越來越成熟。立體視頻的高效視頻編碼(High Efficiency Video Code, HEVC)[14-18]近年來已成為研究熱點。因此，對立體視頻的出錯和丟失信息也需進行掩蓋。

2 傳統錯誤掩蓋的改進技術

傳統錯誤掩蓋致力于在接收端對受損圖像的數據進行各類不同插值算法的恢復。文獻[7]提出的加權平均插值掩蓋算法，根據宏塊狀態來決定該塊是否需要錯誤掩蓋。該算法簡單易用，但對圖像空間冗余信息利用率并不高，對圖像內容處理方式單一，缺少對周圍像素更多的分析利用，導致修復后的圖像有模糊感，對圖像紋理、內容邊緣等發生錯誤時的修復效果不理想。

文獻[19]提出了邊緣檢測和方向插值算法。邊緣檢測算法多用Sobel算子，得到圖像錯誤像素周圍的邊緣后，采用方向插值來近似恢復出錯部分。根據邊緣分區，計算出每個方向的邊緣強度，有設定的閾值選取合適的插值方法。

文獻[20]提出了一種基于塊內預測和塊內邊緣方向相關性的新型空間錯誤掩蓋算法。該算法利用邊緣方向和相鄰塊的高效估計，依次對丟失宏塊的每一個像素進行插值，保持了局部邊緣的連續性，從而獲得視覺上更加可接受的圖像。算法實現簡單，對恢復錯誤宏塊的細節有很強的可靠性。

文獻[21]提出的空間域自適應錯誤掩蓋算法，該算法的實現是基于圖像中出錯塊和周圍未出錯塊之間的紋理變化，選擇一個最恰當的紋理模型，然后利用該模型建立出錯塊的預測塊，該預測塊與未出錯塊之間存在一個最小均方差值，由此值即可確定可用像素塊的所處位置。

時間域錯誤掩蓋是利用圖像序列之間的冗余信息，通過該幀內錯誤塊的相鄰宏塊的MV來估計該錯誤塊的MV，然后通過運動補償，在正確接收的相鄰幀內尋找替補圖像塊。該算法在文獻[22]和文獻[23]提出并分析。其中，文獻[23]提出的絕對誤差和降低了傳統匹配準則的計算復雜度。

文獻[24]提出了一種新的基于塊和運動補償視頻編碼系統的自適應錯誤掩蓋算法。該方法采用一種無監督的人工神經網絡模式，即自組織映射(Self-organization Map，SOM)，作為預測來估算受損宏塊的MV。然后，估計的MV通過來自參考幀基于邊界匹配判據的空間信息來重建受損宏塊。由于SOM具有用于可視化和解釋高維數據集的大容量，該估計模型可以利用SOM的非線性特性，以更準確地估計丟失的MV。

對于H.264視頻編碼標準的多預測模式、多參考幀的特點，文獻[25]提出了混合非對稱交叉多六邊形網絡搜索算法,采用多模板進行形狀的宏塊匹配。文獻[26]對該算法進行了改進。

3 編解碼端結合的錯誤掩蓋

編解碼端結合的錯誤掩蓋通過編碼端對視頻數據進行重新排列或嵌入冗余，使得解碼端可利用的冗余信息更豐富。

文獻[27]提出的一種基于場交織的錯誤掩蓋算法，將圖像分場傳輸后，在接收端利用丟失場的上下行數據進行加權平均插值恢復。后有學者提出將視頻序列分為兩個序列，一奇一偶，然后對其中的每一幀圖像進行分場，從而一個視頻得到4個場描述，最后對其獨立編碼傳輸。若圖像經分場交織傳輸過程，丟失了全部奇場描述，在編碼端用插值算法來實現錯誤掩蓋。

在解碼端進行基于場交織時空域結合的錯誤掩蓋算法中，文獻[28]提出根據接收到的描述是odd1、even1還是odd2、even2來選擇空域掩蓋或時間域掩蓋。“odd”表示奇場描述，“even”表示偶場描述，“1”表示奇幀，“2”表示偶幀。

文獻[29]提出了基于場交織的新算法，將多向插值引入到該算法中進行恢復，所以，首先對方向進行分區，不同于基于塊交織的錯誤掩蓋，本算法并不分為7個方向區，而是分為3個方向區，只利用最可能的像素進行掩蓋恢復；其次，完成邊界像素的處理，以便于后續掩蓋方便；然后通過正確接收的間隔行的像素與改良的Sobel算子進行卷積運算，尋找到兩個重要方向，一個稱之為主方向，一個稱之為次主方向。其中，卷積用到的圖像像素包括丟失行的上3行正確像素和下3行正確像素，以避免誤差傳播。假設丟失像素在通過所有數據方向分類，劃分到3個方向區中，對每個方向區計算出邊緣強度和一個空間方向向量(Space Directional Vector, SDV)，對比SDV，得到主方向和次主方向，進而利用加權插值對錯誤像素插值掩蓋。

文獻[8]提出的水印算法中，嵌入到視頻每幀圖像的背景區域的水印信息為其感興趣區的宏塊MV。

文獻[9]提出的基于最低有效位的數字水印算法，當嵌入錯誤塊中水印信息的塊也發生錯誤，可以利用相鄰像素的插值來進行錯誤塊的重建。該技術較利用DCT進行最低有效位嵌入掩蓋方法而言，由于利用DWT系數，其嵌入容量增大，方便隱蔽嵌入更多可利用數據，從而恢復出較DCT進行LSB掩蓋更高視覺質量的圖像。

綜上，所提出的平面視頻圖像的錯誤掩蓋算法如表1所示，將其分為三大類，即基于插值、基于數字水印和基于場交織的算法，分別在應用條件、恢復效果和存在的問題進行分析比較。

4 立體視頻的錯誤掩蓋

最初對于立體視頻進行的錯誤掩蓋是對丟失或出錯的宏塊進行操作，如文獻[30]中的重疊塊運動視差補償技術，選擇候選矢量來構造候選替代塊，該候選塊中的像素的加權平均可得到新的替代塊的像素。這種算法簡單易操作，但是其時域相關性沒有得到充分利用，當視頻的整幀丟失時，該算法易造成嚴重的錯誤繁衍。

文獻[31]中在時域與幀間結合的而錯誤掩蓋將視點分為奇偶視點，分別以其相鄰的幀作為參考幀進行錯誤掩蓋，其中偶視點的第一幀用其左邊的幀作為參考幀，奇視點的第一幀用其右邊的幀作為參考幀。

表1 平面視頻的錯誤掩蓋算法的對比總結

算法應用條件恢復效果存在問題加權平均插值錯誤塊的相鄰像素有模糊感,邊緣處不平滑空間域的冗余信息利用率不高,周圍像素的利用不充分邊緣檢測和方向插值邊緣算子優于單一的加權平均插值,邊緣處較平滑不易操作實現,會引起虛假邊緣基于數字水印信源中嵌入水印信息優于僅在解碼端進行的基于插值算法,但丟包率增大時,恢復質量急劇下降信源輕微降級,編碼和解碼需要同時進行,算法復雜度高基于場交織高丟包率,圖像質量嚴重受損優于其他算法掩蓋數據時局限于加權平均插值或雙線性插值

文獻[32]根據不同的光照視點變化對立體視頻的錯誤性能產生影響，從而提出了一種基于光照補償的錯誤掩蓋方法。該方法首先利用立體匹配獲得精確的視差向量，在光照變化時，從鄰近的宏塊進行光照補償的復制。

文獻[33]與文獻[34]提出了顏色加深度信息流的立體視頻的錯誤掩蓋。其中文獻[33]是針對彩色/紋理圖像利用深度信息和彩色信息進行錯誤掩蓋,為了掩蓋一個錯誤的左色彩幀，推斷出運動矢量進行時域掩蓋；利用相應的左色彩幀對出錯的左深度幀進行掩蓋；對于右色彩幀，采用立體圖像變形技術來確定像素匹配以及運動矢量的重建進行錯誤掩蓋；對于右深度幀的錯誤，使用右色彩幀和左色彩幀的MV進行掩蓋。文獻[34]對其有所改進，利用深度信息的相關性，接收到的彩色/紋理信息來恢復丟失另一彩色/紋理信息。

分析比較立體視頻的錯誤掩蓋算法，將近年來的各種算法在應用條件、恢復效果和存在的問題進行對比總結，如表2所示。

5 總結

本文主要分析了二維視頻和立體視頻在錯誤掩蓋方面的主要算法，并將其算法的優缺點進行比較。現有的錯誤掩蓋算法面臨著很多問題，如方向插值算法雖然對邊緣的恢復較理想，但會引起虛假邊緣[35]。

表2 立體視頻的錯誤掩蓋算法的對比總結

算法應用條件恢復效果存在問題傳統時域掩蓋時間相關性對于靜止或運動小的圖像恢復效果較好涉及到之前的幀,不易操作實現,會出現方塊效應傳統空域掩蓋空間相關性良好,一般優于時域算法高丟包率下掩蓋效果差重疊快運動視差補償視點間相關性若無整幀丟失情況,效果較理想易造成嚴重的錯誤繁衍基于彩色/紋理信息深度信息和彩色信息一般優于其他算法對深度信息要求較高,在深度信息不準確或有錯誤的情況下完成錯誤掩蓋需進一步研究基于光照補償光照視點的變化良好復雜度高,應用較少

文獻[29]的新算法中對于恢復錯誤圖像有較好的效果，但其在解碼端的插值算法仍局限于已有的加權平均插值或雙線性插值。

對于平面視頻，可將已有的數字水印技術結合場交織圖像的特征，使當前基于場交織圖像的錯誤掩蓋技術的掩蓋質量得到進一步提高。

立體視頻在錯誤掩蓋方面頗具挑戰性，因此有幾個問題值得注意：參考幀的選取在錯誤掩蓋過程中對于圖像的恢復質量起決定性作用，因此選取更有效的參考圖像至關重要；進行錯誤掩蓋時算法的復雜度可由預測錯誤塊的方式決定，并且大部分圖像都選取多幀參考，因此也應該考慮參考幀中的預測模式信息的有效利用。

[1] GUO Y，CHEN Y，WANG Y，et al. Error resilient coding and error concealment in scalable video coding[J]. IEEE transactions on circuits and systems for video technology, 2009, 19(6): 781-795.

[2] SEILER J, SCHOBERI M, KAUP A. Spatio-temporal error concealment in video by denoised temporal extrapolation refinement[C]//Proc. IEEE International Conference on Image Processing. [S.l.]：IEEE, 2013: 1613-1616.

[3] TRISTA P, MAURICE G B. Fast DCT-based spatial domain interpolation of blacks in images[J]. IEEE transactions on image processing, 2002(9)：729-732.

[4] SUPERIORI L, NEMETHOVA O, RUPP M. Error concealment analysis for H.264/advanced video coding encoded video sequences[J]. E & i elektrotechnik and informationstechnik, 2012, 129(6)：387-399.

[5] 王昊京，王建立，王鳴浩，等. 采用雙線性插值收縮的圖像修復方法[J].光學精密工程，2010, 18(5):1234-1241.

[6] KUNG W Y, KIM C S, KUO C C J. Spatial and temporal error concealment techniques for video transmission over noisy channels[J]. IEEE transactions on circuits and systems for video technology,2006，16(7):789-802.

[7] 王威, 楊靜, 劉西振. 一種基于H.264后處理空域錯誤隱藏方法[J]. 計算機與現代化, 2011(6): 1-4.

[8] FREITAS P G, RIGONI R, FARIAS M C Q, et al. Error concealment using a halftone watermarking technique[C]//Proc. IEEE SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI). Ouro Preto：IEEE, 2012:308-315.

[9] KIM K S, LEE H Y, LEE H K. Spatial error concealment technique for losslessly compressed images using data hiding in error-prone channels[J]. Journal of communications and networks, 2010, 12(2):168-173.

[10] YAO Y Z, ZHANG W M, YU N H. Adaptive video error concealment using reversible data haiding[C]//Proc. IEEE International Conference on Multimedia Information Networking and Security(MINES). Nanjing：IEEE, 2012:658-661.

[11] 劉志博，范九倫. 基于小波提升的公有水印算法[J].西安郵電大學學報，2004, 15(3)：53-58.

[12] LI D, WU J Q. The test and analysis of fmo model in error concealment based on H.264[C]//Proc. ICCSE International Conference on Computer Science and Education, Final Program and Proceedings. [S.l.]：ICCSE，2011: 330-332.

[13] 趙志剛，陳姝，王國棟，等. 基于運動估計的模糊圖像盲復原[J]. 光電子·激光，2012, 23(10): 2010-2016.

[14] SULLIVAN G J , OHM J R , HAN W J , et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE transactions on circuits and systems for video technology, 2012, 22(12): 1649-1668.

[15] NIGHTINGALE J. WANG Q, GRECOS C. HEVStream: a framework for streaming and evaluation of high efficiency video coding (HEVC) content in loss-prone networks[J]. IEEE transactions on consumer electronics, 2012, 58(2):404-412.

[16] MULLER K, SCHWARZ H, MARPE D, et al. 3D high-efficiency video coding for multi-view video and depth data[J]. IEEE transactions on image processing, 2013, 22(9): 3366-3378. [17] DOMANSKI M，STANKIEWICZ O，WEGNER K，et al. High efficiency 3D video coding using new tools based on view synthesis[J]. IEEE transactions on image processing, 2013, 22(9):3517-3527.

[18] VAN W G, Van L S, DE C J. 3D video compression based on high efficiency video coding[J]. IEEE transactions on consumer electronics, 2012, 58(1): 137-145.

[19] BEHEIRY E N, MOHAMED E S, MONA L, et al. An adaptive fast and efficient spatial error concealment technique for block-based video coding systems[C]//Proc. IEEE International Midwest Symposium on Circuits and Systems. [S.l.]：IEEE, 2009: 663-668.

[20] KIM M, LEE H, SULL S. Spatial error concealment for H.264 using sequential directional interpolation[J]. IEEE transactions on consumer electronics, 2008，54(4):1811-1818.

[21] NANGAM P, KUMWILAISISAK W, KEAWKUMNERD S. New spatial error concealment with texture modeling and adaptive directional recovery[C]//Proc. IEEE International Conference on Electrical Engineering/Electronics Computer Telecommunications and Technology (ECTI-CON). Chiang Mai：IEEE, 2010: 703-707.

[22] XU Y L, ZHOU Y H. Adaptive temporal error concealment scheme for H.264/AVC video decoder[J]. IEEE transactions on consumer electronics, 2008, 54(4):1846-1851.

[23] GARCIA V M S, GARCIA R A F, RAMIREZ A A A. Image processing for error concealment[C]//Proc. 10th Mexican International Conference on Artificial Intelligence: Advances in Artificial Intelligence and Applications. [S.l.]：MICAI，2011: 133-138.

[24] HUANG Y L , LIEN H Y. Temporal error concealment for MPEG coded video using a self-organizing map[J]. IEEE transactions on consumer electronics, 2006,52(2): 676-681.

[25] YUE W Y, ZHANG N, YIN B. A novel parallel fast motion estimation algorithm[C]//Proc. International Conference on Intelligent Sensing and Information. [S.l.]：ICISIP, 2005: 378-381.

[26] 曹瑞.一種用于H.264的改進UMHexagonS算法[J].電視技術, 2015, 39(9): 28-31.

[27] 艾達, 常義林. 一種新的空間域圖像錯誤掩蓋方法[J].光子學報，2008, 37(2): 388-390.

[28] ASHERI H, RABIEE H R, POURDAMGHANI N, et al. A Gaussian process regression framework for spatial error concealment with adaptive Kernels[C]//Proc. IEEE International Conference on Pattern Recognition (ICPR). Istanbul：[s.n.]：2010: 4541-4544.

[29] 艾達，周志慧. 一種新的圖像分場描述編碼錯誤掩蓋算法[J]. 計算機應用研究，2015，32(8):2558-2560.

[30] XIANG X, ZHAO D, WANG Q, et al. A novel error concealment method for stereoscopic video coding[C]//IEEE International Conference on Image Processing. [S.l.]：IEEE, 2007:101-104.

[31] SHAFAI W E，HRUSOVSKY B， MOSTAFA E K， et al. Joint space-time-view error concealment algorithms for 3D multi-view video[C]//IEEE International Conference on Image Processing. [S.l.]：IEEE， 2011: 2201-2204.

[32] YANG S, ZHAO Y, WANG S G, et al. Error concealment for stereoscopic video using illumination compensation[J]. IEEE transactions on consumer electronics, 2011,57(4): 181-182.

[33] CHUNG T Y，SULL S H，KIM C S. Frame loss concealment for stereoscopic video plus depth sequences[J]. IEEE transactions on consumer electronics, 2012,57(3): 1336-1344.

[34] LIE W N，LIN G H. Error concealment for 3D video transmission[C]//Proc. IEEE International Symposium on Circuits and Systems. [S.l.]：IEEE, 2013: 2856-2859.

[35] AGRAFIOTIS D, BULL D R. Spatial error concealment with edge related perceptual considerations[J]. Signal Processing: Image Communication， 2006, 21(2): 130-142.

Survey of error concealment techniques in video and image

AI Da,YANG Zhen

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostandTelecommunications,Xi’an710121,China)

According to different types of coded frames used by different techniques, traditional Error Concealment (EC) techniques are divided into spatial, temporal or the combination of both types of information to recover the data lost in transmitted video. In this paper, existing EC techniques are reviewed in decade years based on H.264/AVC coding standard, which include traditional EC, based on field interlaced and digital watermarking EC, as well as based on 3D video EC. The paper discusses the advantages and limitations of these algorithms. At the end, the development prospects in the future are proposed.

error concealment; three-dimensional video; field interlaced; digital watermarking

艾達，楊珍.視頻錯誤掩蓋技術進展[J]. 電視技術，2017,41(2)：1-5. AI D, YANG Z.Survey of error concealment techniques in video and image[J]. Video engineering，2017,41(2)：1-5.

TN911.73

A

10.16280/j.videoe.2017.02.001

2016-04-26

艾 達(1975— )，博士，高級工程師，碩士生導師，主研數字圖像處理研究、多媒體通信；

楊 珍(1992— )，女，碩士生，主研刑偵圖像處理。

責任編輯：薛 京