基于3DRS的邊信息外推技術

摘 要： 為了滿足實時性要求嚴格的應用場合，分布式視頻編碼系統中通常采用外推技術生成邊信息。提出了一種基于自適應三維遞歸搜索（3D Recursive Search，3DRS）運動估計的邊信息外推方法，采用自適應3DRS算法生成運動矢量場。最后，對不同的邊信息生成方法進行仿真，仿真結果表明，所提出的方法提高了邊信息的質量。

關鍵詞： 分布式視頻編碼； 邊信息； 外推； 3DRS

中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2014）09-21-03

Side information extrapolation based on 3DRS

Di Jinhong1， Liu Yi2

（1. Department of Electronic and Communication Engineering， Zhengzhou Institute of Aeronautical Industry Management， Zhengzhou， Henan 450015， China； 2. School of Information Engineering， Beijing Institute of Fashion Technology）

Abstract： To meet the demand of low-delay and real-time in some applications， side information extrapolation is adopted in distributed video coding. A side information extrapolation algorithm based on self-adaptive 3D recursive search motion estimation is presented in this paper. A self-adaptive 3D recursive search motion estimation algorithm is used to estimate motion field between two reference frames. The computer simulations are implemented for different side information generation methods. The results demonstrate that the proposed method can significantly improve the quality of side information.

Key words： distributed video coding； side information； extrapolation； 3DRS

0 引言

隨著網絡技術、無線通信技術和計算機技術的飛速發展，近年來涌現出許多具有嶄新特點的多媒體應用設備，如無線視頻傳感器監控網絡、移動攝像手機和便攜式攝像機等[1]。它們在存儲容量、計算能力和功率資源等方面都受到很大的限制，這些應用場景的視頻編碼具有不同于傳統視頻壓縮編碼的特點[2]：編碼設備簡單并且能量受限，而解碼設備一般無能量限制并且具有較強的計算能力。因此編碼復雜度較高的傳統混合編碼技術H.264及HEVC不再適用新應用的需求。一種新的視頻編碼框架——分布式視頻編碼（Distributed Video Coding，DVC）引起人們的廣泛關注，它為以上應用場合提供了很好的解決方案。DVC突破了傳統視頻編碼的束縛，將耗時耗功率的運動估計/補償從編碼端移到解碼端，采用“幀內編碼+幀間解碼”技術，有效降低了編碼復雜度。此外DVC系統結構還具有抗傳輸誤碼的優點。

分布式視頻編碼系統中，邊信息是關鍵技術之一。邊信息可以看作是原始WZ幀的信息與虛擬信道噪聲的疊加。邊信息的質量越高，解碼所需的校驗位就越少，解碼出的WZ幀質量就越好。因此邊信息的質量是影響DVC系統的率失真性能的重要因素之一。文獻[3]提出發送Hash碼到解碼端用于輔助生成邊信息，以提高邊信息的質量。但是需要通過信道傳輸額外的數據，增加了編碼端的復雜度。J. Ascenso等[4]提出了基于去噪濾波器的邊信息迭代算法。在解碼端產生多個邊信息，去噪濾波器采用統計學習的方法，自適應地選擇已經生成的邊信息幀，進而得到新的邊信息的增強幀。M. O. Akinola等[5]提出了一種高階分段軌跡的時域內插算法（Higher-Order Piecewise Temporal Trajectory Interpolation， HOPTTI）產生邊信息。仿真結果表明，與現有的時域內插算法相比，新算法取得了較好的邊信息質量，特別是對于非線性運動的視頻序列，改善更為明顯。在隨后的研究中，又將自適應重疊塊運動補償（Adaptive overlapped block motion compensation， AOBMC）算法與HOPTTI相結合，進一步提高邊信息的質量，PSNR值改善高達3.6dB[6]。以上邊信息生成技術都是基于運動補償的內插算法，但是內插的方法是非順序解碼，會造成結構上的延遲。同時，對于時延要求比較嚴格的應用場合，這類方法都受到限制。運動補償外推法用已經解碼的關鍵幀進行運動估計，沒有用到當前WZ幀之后的視頻幀，因此降低了時延。本文提出了一種基于自適應3DRS的邊信息外推方法，有效地提升邊信息外推的質量的同時也保證了低延遲特性。

1 邊信息外推技術

本文提出一種基于自適應3DRS運動估計的邊信息外推生成方法。如圖1所示，邊信息產生模型分為四個子模塊：自適應3DRS運動估計，運動域平滑、運動投影、處理重疊和未覆蓋區域。

邊信息生成過程：首先利用前兩個已解碼的幀Xn-1和Xn-2，通過3DRS運動估計構建一個運動矢量場，具體算法后面將給出；其次，進行運動矢量場平滑，其目的是對上一步生成運動矢量場施加光滑性約束，來增加運動預測的魯棒性，這里采用加權中值濾波器實現；然后，使用從參考幀得到的運動矢量預測當前幀的運動場；最后利用當前幀的運動矢量場來產生邊信息。這種情況下運動補償后會出現重疊區域和未覆蓋區域，需要做進一步的處理。重疊區域意味著對于一幀的同一位置有多個估計值，因此，需要確定一個惟一值。這里取多個預測值的平均值作為最后的估計值。對于未覆蓋區域，取周圍預測像素的平均值來填充未覆蓋區域。

本文提出的自適應3DRS運動估計算法，與全搜索運動估計相比，可以得到一個更接近于真實運動場的運動矢量。3DRS算法也屬于塊匹配運動估計算法[7]，與一般的塊匹配算法不同，3DRS算法認為運動矢量在時間和空間上存在一致性。3DRS基于以下兩個假設：①物體的尺寸大于宏塊的尺寸；②物體運動的連續性。這里采用的自適應3DRS運動估計算法，是將原來的7個預測矢量減少到5個（即將初始預測集中塊的個數減少為5），并且這5個預測矢量與當前塊的運動更為接近。從而在不降低運動估計質量的前提下，減少了計算復雜度。

在已解碼的幀Xn-1和Xn-2之間進行前向遞歸搜索，具有最小SAD值的參考塊對應的運動矢量即為當前預測塊的前向運動矢量Vf。在進行遞歸搜索時，設Xn-1為當前預測幀，Xn-2為參考幀，F1和F2為參考幀Xn-2中的初始參考塊。F3、F4、F5和F6為當前幀Xn-1中的初始參考塊。此6個候選預測參考塊的位置如圖2所示，其具體遞歸搜索過程如下。

⑴ 計算初始參考塊F1以及4個鄰塊與當前預測塊的絕對誤差和（SAD），計算公式如下：

將SAD值最小的塊作為新的參考塊并標為F1，重復上述過程直到F1位置不變。

⑵ 對其他5個候選參考塊F2、F3、F4、F5和F6分別如⑴中所述，進行SAD值計算，找到新的參考塊位置，此時認為6個候選預測分支都已聚合。

⑶ 在所有的分支都收斂后，獲得6個分支的最小SAD值的塊的運動矢量，此時，編碼端只需要計算一個來自解碼端的候選運動矢量，具有最小SAD值的參考塊對應的運動矢量即為當前預測塊的前向運動矢量Vf。

2 仿真結果及分析

仿真測試序列為QCIF格式的Hall、Mother-daughter、Carphone和Foreman序列；選取100幀進行實驗；每組圖片（GOP）的數目是2，偶數幀為關鍵幀，奇數幀為WZ幀。實驗過程中，只有每一幀的亮度分量被用來計算峰值信噪比PSNR。在DVC系統中，影響系統性能的因素有很多，為了考察算法本身的性能，這里假定外推用到的參考幀關鍵幀都能無失真重建。將本文提出的算法與Natario等[8]提出的算法以及文獻[9]的內插算法作了比較。表1給出了三種算法的PSNR值。

從表1可以看出，使用3DRS算法進行運動估計，對所有測試序列，邊信息的PSNR值都有了不同程度的提高；相比普通外推生成的邊信息，這種方法進一步縮小了與內插的差距，提升了邊信息質量。

從原理上講，3DRS算法可以更好地利用空時域相關性進行遞歸搜索尋找匹配塊。由于它在兩個方向上收斂，可以更好地適應快速運動的物體，提高運動估計的精度，同時也能保證良好的魯棒性。它每一次預測都會利用前面已經得到的空時域預測值，從而使生成的矢量場在外推后不容易產生塊效應。對于運動相對靜止的序列Hall，使用3DRS算法的對邊信息質量的提升較小，這是由于靜止或均勻物體特征不容易捕捉造成的；對于細節豐富、局部小運動多的序列Foreman和Carphone，使用3DRS外推的效果仍然好于一般的外推，這說明3DRS算法對局部小運動的估計精度要比Natario算法高。

選用Carphone第38幀的邊信息進行直觀分析，如圖3所示。如圖3（c）所示，3DRS算法生成的邊信息幀對人的五官等細節部位的恢復效果欠佳，有種模糊感。對于圖3（b）Natario算法得到的邊信息幀，不僅人的五官不清晰，在人的衣服、車后窗等地方甚至出現了明顯的塊效應。因此在直觀效果上，使用3DRS算法生成的邊信息幀更優。

3 結束語

邊信息在分布式視頻編碼中起著非常重要的作用，邊信息的質量直接影響DVC系統的率失真性能。本文提出了基于3DRS算法的邊信息外推方法，采用自適應3DRS運動估計算法提高運動矢量的準確度，進而提高了邊信息的質量。因此，運動估計算法本身也是DVC技術的一個研究重點。

參考文獻：

[1] F. Pereira， L. Torres， C. Gullemot， et al. Distributed video coding：

selecting the most promising application scenarios. Elsevier Journal Signal Processing： Image Communication，2008.23（1）：339-352

[2] 宗曉飛.信源網絡聯合編碼關鍵技術研究及應用[D].北京郵電大學，

2009.

[3] N. Deligiannis， M. Jacobs， F. Verbist， et al. Efficient hash-driven

Wyner-Ziv video coding for visual sensors. IEEE International Conference on Distributed Smart Cameras， ICDSC2011，2011：1-6

[4] J. Ascenso， C. Brites， and F. Pereira. A denoising approach for

iterative side information creation in distributed video coding. IEEE International Conference on Image Processing， ICIP2011， Brussels， Belgium，2011：3513-3516

[5] M. O. Akinola， L. S. Dooley， and P. K. C. Wong. Wyner-Ziv side

information generation using a higher order piecewise trajectory temporal interpolation algorithm. International Conference on Graphic and Image Processing， Manila， Philippines， Dec，2010.

[6] M. O. Akinola， L. S. Dooley， P. K. C. Wong. Improved side

information generation using adaptive overlapped block motion compensation and higher-order interpolation. International Conference on Systems. Signals and Image Processing，2011：1-4

[7] W. J. Chien， J. K. Lina， and P. A. Glen. Distributed video coding

with 3-D recursive search block matching. IEEE International Symposium on Circuits and Systems， Puerto Rico， August 2006.

[8] L. Natario， C. Brites， J. Ascenso， et al. Extrapolating side

information for low-delay pixel-domain distributed video coding. International Workshop on Very Low Bit rate Video Coding， Sardinia， Italy， Sept. 2005：16-21

[9] A. Aaron， S. Rane， E. Setton， et al. Transform-domain

Wyner-Ziv codec for video. SPIE Conference on Visual Communications and Image Processing，2004：520-528