HEVC中基于前后景區域的錯誤隱藏

劉 暢，馬 然，劉德陽，張兆楊

(1.上海大學通信與信息工程學院，上海200072;2.新型顯示技術及應用集成教育部重點實驗室，上海200072)

隨著高清電視、多媒體應用技術的快速發展，原先的視頻壓縮標準已不能滿足用戶對高清晰度視頻的要求。為此，ITU-T VCEG和ISO/IEC MPEG共同成立了一個工作小組JCT-VC，提出了新一代視頻編碼標準HEVC(High Efficiency Video Coding)［1］，與 H.264/AVC 相比，旨在保證相同解碼質量的情況下壓縮效率提高一倍。傳統的H.264/AVC最大支持16×16宏塊，HEVC測試模型(HM)仍沿用H.264/AVC的混合編碼框架，但其塊尺寸可以從8×8擴展到64×64的編碼塊(Code Unit，CU)。HEVC采用四叉樹編碼結構，并且支持靈活的塊分割，進而實現了對不同尺寸CU的編碼，不再局限于H.264/AVC的16×16宏塊范圍內。然而，由于干擾、噪聲和信道擁塞等原因導致信道不可避免會有誤碼或丟包等現象發生，使得視頻碼流受損。而且，由于HEVC支持多種不同尺寸塊，其碼流在網絡傳輸中遭遇信道錯誤會導致視頻序列出現各種不同尺寸的錯誤塊，因此，有必要研究如何對這些不同尺寸錯誤塊進行有效的隱藏。

1 編碼塊的特性分析

對于高清視頻而言，如果仍然利用H.264/AVC進行16×16宏塊分割，則會影響壓縮效率，因此HEVC通過靈活的塊分割能夠有效地改善編碼效率。對于平坦區域(紋理簡單、靜止區域)可以進行較大塊分割，而對于紋理復雜區域(比如邊界區域)可以進行小尺寸分割。在高清視頻中，較大的運動變換塊能夠更高效地去除空間上的冗余，這樣就突破了H.264/AVC固定尺寸分割的束縛，進而大大提高了壓縮效率。

HEVC的編碼特性決定了不同尺寸塊在不同區域的分布情況呈現一定的規律性，一般情況下，對于一些靜止的后景區域或者一些紋理較簡單的運動物體，直接采用64×64塊編碼，無需進一步分割，同樣這些區域也可采用32×32編碼塊;對于8×8塊以及16×16塊而言，其在圖像邊緣處(包括前景、背景交界處)或者紋理很復雜的區域出現的概率較大。因此，在有誤網絡傳輸中，受損的較大尺寸編碼塊(64×64，32×32)一般出現在紋理簡單處，多為后景區域;而小尺寸編碼塊(16×16，8×8)的丟失主要集中在邊界區域附近。

2 基于前、后景的錯誤隱藏

由于不同尺寸的編碼塊的特性的不同，其所適用的錯誤隱藏的具體方法也是不同的。而且編碼塊尺寸的大小與前、后景區域有關，因此，本文首先對當前圖像的前景區域和背景區域進行了判別［2］，然后對前景區域、背景區域以及邊界區域的錯誤塊分別進行隱藏，其中著重研究分析了邊界處錯誤塊的隱藏。

2.1 判別前后景區域

對于一般的視頻序列而言，后景區域是保持靜止的，而屬于前景區域(包括邊界處)的宏塊之間變化較大、時域活躍性較強。本文利用錯誤塊周圍正確接收塊的時域活躍性來判斷錯誤塊屬于前景還是后景。

錯誤塊可能會是各種不同尺寸的CU。由于錯誤塊周圍同樣會出現不同尺寸的CU，而這些鄰近塊也有可能正確或錯誤。因此，確定鄰近正確塊和鄰近錯誤塊的分布情況是不易的。為了充分利用周圍塊信息，本文對錯誤塊周圍所有不同尺寸的CU進行8×8塊分割，然后對每個8×8塊是否正確進行標記，如果該8×8塊為錯誤塊，則舍棄不用，這樣可以最大程度上利用周圍塊的正確信息。圖1是以64×64塊為例說明了其周圍的鄰近塊的分布情況，其中灰色區域代表該64×64塊錯誤塊。

圖1 錯誤塊周圍不同尺寸的CU

時域活躍性主要是利用錯誤塊周圍的正確塊在空間上最鄰近錯誤塊的2行及2列的像素進行判斷，如圖2所示。具體的時域活躍性TAVG可以根據式(1)～式(5)計算得到。式(1)～式(4)分別求得上、左、下、右4個方向的鄰近 SAD(Sum of Absolute Difference)。其中，Bt(x，y)表示當前幀中的錯誤塊，Bt-1(x，y)表示參考幀中對應位置塊，(x，y)表示錯誤塊左上角的空間像素坐標，M表示用于匹配的行數或者列數，考慮到相鄰像素的強相關性以及算法本身的復雜度，這里M取值為2，N表示周圍塊的實際可用像素寬度(錯誤像素不參與運算)，T，L，B，R代表上、左、下、右4個方向。公式如下

圖2 前景、后景判別方法

錯誤塊的時域活躍性與鄰近4個SADi密切相關，同時也要考慮到錯誤塊周圍參與計算的8×8塊(鄰近正確塊)的個數Num8×8Block，因此，時域活躍性TAVG可由式(5)求得

如果TAVG＜T1，那么認為錯誤塊屬于后景區域，這里T1作為一個后景判斷的閾值，其值接近于零。通過對不同尺寸CU自身特性統計分析得出，當TAVG較大且大于某一閾值T2時，當前錯誤塊出現在邊界處的概率較大。當T1＜TAVG＜T2時，錯誤塊一般出現在運動的前景區域。

2.2 后景區域錯誤隱藏

通常情況下后景區域都是靜止的，屬于該區域的編碼塊的運動矢量(Motion Vector，MV)基本為零。如果當前幀中的錯誤塊處于后景區域，且HEVC對其通常采用較大塊編碼，錯誤塊的尺寸基本集中為64×64，只要利用參考幀中對應位置上的塊進行時域替代即可。這種隱藏方法簡單、快速。

2.3 前景區域錯誤隱藏

對于前景區域而言，由于其保持了良好的運動一致性，因此前后幀具有較強的時域相關性。運動物體的部分紋理信息(平坦區域)較為簡單，一般采用64×64或32×32編碼塊，對于較復雜的紋理信息(如邊緣處)，需要進行更小尺寸的分割，因此，前景區域可能會出現各種不同尺寸的錯誤塊。但是由于前景區域保持了運動一致性，可以通過利用周圍像素塊的運動矢量即可在參考幀中找到最佳匹配塊，然后進行時域替代。本文首先通過候選運動矢量獲得匹配塊，然后利用外邊界匹配算法(Outer Boundary Matching Algorithm，OBMA)算法［3］計算 SADAVG，如果SADAVG小于給定閾值T3，直接選取使得SADAVG最小的運動矢量進行錯誤隱藏，否則對當前CU進行分割，分成4個小塊，然后對每個小塊重復上述操作，最后達到隱藏的目的。這種隱藏算法過程也比較簡單。

2.4 邊界區域錯誤隱藏

圖像自身的紋理特性決定了出現在邊界區域的錯誤塊尺寸主要集中在8×8塊或16×16塊。通過式(5)可以判決出出現在前景與后景的交界處附近的錯誤塊(即邊界塊)。更進一步，錯誤的邊界塊可能會出現在不同區域內：1)錯誤塊出現在背景區域，但在參考幀中并未出現，即為新出現的信息，那么認為該錯誤塊為I(Intra)塊，不宜采用時域法進行隱藏，本文主要利用周圍像素的信息進行空域插值計算得出;2)錯誤塊剛好出現在邊界處，既包含前景又包含背景，這屬于較復雜的情況。針對以上兩種情況，本文主要通過以下步驟進行處理：

1)首先通過OBMA算法利用周圍塊的多個候選運動矢量計算SAD。

2)SAD小于預定義的閾值T4，直接選取使得SAD最小的運動矢量進行錯誤隱藏，否則跳到步驟3)。

3)對當前CU進行分割，分成4個小塊，對每個分割塊重復步驟1)和2)，此時若SAD值仍然較大，則認為當前塊為幀內塊，采用雙線性插值法進行錯誤隱藏。

3 算法的實現

根據上述的分析與探究，本文提出的算法流程圖如圖3所示。

3.1 OBMA算法

本文主要采用OBMA算法計算錯誤塊的匹配代價，如圖3所示，圖中斜線塊代表鄰近錯誤塊，在計算SAD時舍棄不算。根據運動一致性原理，利用式(6)～式(10)計算錯誤塊外邊界的2行(或2列)像素與參考幀中對應候選塊外邊界的2行(或2列)像素的SAD值

圖3 算法流程圖

式中：Bt(x，y)表示當前幀中的錯誤塊;Bt-1(x，y)表示參考幀中對應的運動補償塊;MVx和MVy分別表示候選運動矢量的水平分量和垂直分量，類似于式(5)，可以得到

本文通過計算SADAVG的相對大小來判斷當前錯誤塊是否需要進行進一步的分割。

3.2 雙線性插值法

本算法中同時提到有關幀內插值的方法，為減少計算復雜度，本文對于幀內錯誤塊主要采用JM代碼中常用的雙線性插值法［4］，該算法對于受損區域利用水平方向和垂直方向相鄰像素進行插值，其權值與受損像素到正確圖像邊界的距離成反比。

3.3 候選運動矢量集

對于需要進行時域隱藏的錯誤塊，關鍵是要獲取當前錯誤塊的最佳運動矢量MV。如圖4所示，本文首先確定分別與錯誤塊4個頂角最鄰近的2個CU，然后將其正確的運動矢量(MV0～MV7，周圍錯誤塊的MV不參與計算)以及參考幀中對應位置塊的運動矢量和零運動矢量作為錯誤塊的候選運動矢量集，通過SADAVG計算來確定最佳MV進行時域恢復。

圖4 運動矢量候選集

4 實驗結果分析

4.1 閾值分析

本實驗是在HEVC測試模型HM3.3環境下實現的，算法所涉及到的4個閾值T1～T4，其中，T1主要用于背景和前景區域判斷，由于背景區域的時域活躍度基本接近于0，在本實驗中取值為5;T2主要用于判斷邊界處的錯誤塊，對于此類錯誤塊，前后幀中相同位置塊的差異較大，因此其SAD值也相對較大，實驗中T2取值為850;T3主要是對前景區域的判斷，從鄰近塊的運動矢量集中尋求參考幀中的最佳匹配塊，計算出的SAD值也應較小，這里取值為120;T4是對分割塊進行匹配精度判斷，對于一些只屬于前景或者背景的分割塊匹配精度較高，SAD值很小，T4取值為50。本文設定的這些閾值是經過對不同序列大量測試統計后綜合得出的。

4.2 實驗結果

本實驗分別對Cafe序列、Dog序列和Breakdancers序列進行了測試。為了體現本文方法的優越性，在相同的實驗條件下，還對各種不同尺寸塊采用同一種隱藏方法：直接從候選運動矢量集中獲取使得SAD最小的MV進行時域隱藏，即OBMA算法。表1列出了Dog序列在不同丟包率下采用兩種不同方法的實驗結果。從表1中可以看出，與簡單的OBMA算法相比，本文方法能夠提高2 dB左右的PSNR。表2列出了不同尺寸序列(均選取57幀進行實驗)在同一丟包率下采用本文方法和OBMA算法的PSNR以及相對整個解碼時間的隱藏錯誤塊所占用時間的百分比，可以看到，本文算法在保持較高PSNR的情況下，其耗時只占正確解碼時的2%左右，基本能保證實時重建高清視頻。結合表1、表2可以得出，本文方法在保證了較低復雜度的同時獲得了較高的重構質量。

表1 Dog序列不同丟包率下PSNR比較

表2 不同序列10%丟包率下PSNR以及復雜度的比較

然而，本算法仍需改善的是對幀內丟失塊的錯誤隱藏，圖5為Cafe序列在10%丟包率情況下第26幀出錯圖像中的某一區域，圖6為恢復后的圖像。從圖中可以直觀地看出，如果錯誤塊出現在紋理復雜區域，只采用簡單的雙線性插值效果并不好，因此如何進行更高效的幀內插值也是今后研究的主要問題。筆者希望通過最鄰近邊界塊的預測模式作為當前錯誤塊的一種預測模式進行錯誤隱藏。

5 結束語

本文主要是針對HEVC碼流在傳輸過程中可能出現的各種不同尺寸的錯誤塊，給出了一種基于前后景的差錯隱藏算法。本文利用邊界分割以及閾值判斷的思想對錯誤塊進行了有效的恢復，實驗數據表明采用本文方法能夠獲得較好的隱藏效果。

［1］High efficiency video coding［EB/OL］.［2011-11-20］.http：//en.wikipedia.org/wiki/High_Efficiency_Video_Coding.［1］

［2］JUNG B，JEON B，KIM M D，et al.Selective temporal error concealment algorithm for H.264/AVC［C］//Proc.2004 IEEE International Conference on Multimedia and Expo.Taipei：IEEE Press，2004：411-414.

［3］THAIPANICH T，WU P H，KUO C C J.Video error concealment with outer and inner boundary matching algorithms［C］//Proc.SPIE Optics and Photonics Conference on Applications of Digital Image Processing.San Diego，CA，USA：［s.n.］，2007：26-30.

［4］SALAMA P，SHROFF N B，DELP E J.Error concealment in encoded video streams［EB/OL］.［2011-11-20］.http：//citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.159.866.