分布式視頻編碼中基于量化噪聲因素的虛擬相關信道模型

尹明，蔡述庭，謝云，章云

(廣東工業大學 自動化學院，廣東 廣州 510006)

1 引言

傳統的視頻編碼技術(如H.26x，MPEG等面向廣播視頻應用類的技術)依賴于基于塊的運動搜索和運動補償混合編碼架構，其編碼復雜度是解碼復雜度的 5～10倍，非常適合視頻廣播類的應用。然而，以無線多媒體傳感器網絡(WMSN, wireless multimedia sensor network)為代表的應用，迫切需要低編碼復雜度的編碼方法，而傳統視頻編碼方法不適用此類應用[1～3]。近年來，基于分布式信源編碼理論的分布式視頻編碼(DVC, distributed video coding) 方法，以其良好編碼效率、較低編碼復雜度，滿足了資源受限型網絡應用需求，諸如，WMSN、多源圖像捕獲系統等[4,5]。目前，最具代表性的實用DVC方案采用Wyner-Ziv(WZ)視頻編解碼架構[5,6]。

根據Wyner-Ziv編碼原理，解碼端邊信息被視為待編碼WZ幀的預測版本，稱為待編碼WZ幀經虛擬相關信道傳輸后的噪聲版本[5]，如圖1所示。解碼器是利用源WZ幀與邊信息(SI, side information)間的相關性，結合信道糾錯碼來消除相關噪聲(CN, correlation noise),從而獲得對原始圖像的編碼效率[6]。正如通信系統的性能在很大程度上受到信道影響，對虛擬信道特性的掌握同樣密切關系到分布式視頻編碼性能的優劣。如果對虛擬信道的特性越了解，則所描述的統計相關性就越真實，解碼端所需校驗比特數量則越少，從而編碼壓縮效率改善。

原始WZ幀信息和邊信息(SI, side information)分別出現在編、解碼端，無法在解碼端獲知原始信息，而編碼端也只能以離線方式重構邊信息或通過反向信道從解碼端傳輸，進而增加系統計算復雜度及時延等諸多不利，與實際應用需求不符。且編碼視頻內容是不斷變化的，所生成邊信息幀在空域和時域上隨機變化，故相關噪聲表現出非平穩隨機性，尤其對于運動較復雜的序列邊信息質量變化劇烈，因此對虛擬信道精確建模變得非常困難。目前，國內外的研究文獻通常利用邊信息的前后運動補償幀差數據研究虛擬信道模型，且認為模型近似服從Laplacian分布[6～12]，具體研究大多集中在如何精確估計信道參數。文獻[6]對像素域DVC的編碼碼流進行分析，指出相關噪聲的分布與邊信息的改變密切相關。Catarina Brites[7]針對像素域和變換域的DVC分別提出了幀、塊及像素三級模型參數估計的算法，通過精確的相關噪聲統計模型來改善了系統整體編碼效率。X. Huang[10]等提出利用交叉頻帶信息來估計DCT域DVC的相關模型參數，實驗表明能有效改善率失真性能。國內學者房勝[11]等對影響時域相關噪聲的因素進行了研究，提出了一種基于小波變換域的相關噪聲模型VCMDWT，提高DVC系統的率失真性能達到2.6dB以上。王鳳琴等發現其殘差變換后直流系數帶統計分布相比零均值Laplacian分布存在一定偏差，提出了一種基于變換域的相關噪聲分布模型及自適應參數估計算法，有效提高了編碼效率[12]。

然而，視頻信息的時移特性以及解碼端不能獲取原始幀信息等現象，導致采用 Laplacian模型描述虛擬信道并不十分精確，表現為不能有效反映視頻真實運動情況，從而重構WZ幀需要較多校驗數據，這是引起 DVC率失真性能難以達到基于運動補償的幀間編碼方案性能的關鍵之一。現有建模方法[6～12]常常忽略量化器對邊信息分布影響，當量化噪聲變大時，采用補償幀差作為樣本數據則不能反映相關噪聲的真實分布情況，表征的虛擬信道特性不夠準確，進而影響圖像幀重構質量。

通過深入探討量化噪聲因素對邊信息概率分布的影響，本文發現現有 Laplacian虛擬信道模型不夠精確，引入量化噪聲因素修正模型[13]，提出一種新的像素域分布式視頻編碼系統的幀級虛擬信道估計方法，且利用原始圖像相關信息實現參數動態調整。具體內容安排如下，本文第2節分析了量化噪聲對邊信息影響，改進虛擬信道模型，給出了模型參數估計方法；第3節驗證了改進模型的準確性；第4節給出實驗結果并分析；最后是本文的結束語。

2 虛擬信道模型分析

2.1 問題描述

圖1表示像素域Wyner-Ziv 視頻編碼框架，輸入圖像序列被分作2類：WZ幀和關鍵幀(Key幀)。采用Wyner-Ziv編碼對WZ幀，而采用傳統幀內編碼方法對Key幀進行編解碼。一般，WZ幀編解碼處理是：首先，編碼端采用2M級均勻量化器將圖像 WZ幀量化成 Bit-Stream(符號流)，然后由Slepian-Wolf編碼器處理上述量化位平面獲得奇偶校驗信息。解碼端則對接收的Key幀信息幀內解碼，利用已解碼幀信息進行 ME(運動估計)、Interpolation(插值)得到邊 SI幀，聯合由 Slepian-Wolf解碼器產生的校驗比特一起重構出WZ幀。一般，虛擬信道模型表征源WZ幀信息與SI幀之間的統計相關性，常用CN信息描述虛擬信道模型。

假設X為源信息，Y為邊信息，則相關噪聲為N=X－Y，其統計概率由式(1)表述：

相關噪聲分布與邊信息密切相關，如式(2)所示，其概率分布近似服從Laplacian分布[6]，即：

其中，2σ表示方差，μ表示均值。

解碼端邊信息估計常用運動補償內插 (MCI,motion compensation interpolation)算法[14]。首先，用于生成邊信息的參考幀（即前向參考幀和后向參考幀）及相應運動矢量信息通過運動搜索獲得，然后幀間插值獲取邊信息。采用雙向對稱運動估計求解最佳運動矢量(MV)，如式(3)所示。

圖1 像素域Wyner-Ziv視頻編碼

其中，N(i,j)表示相關噪聲。

由式(3)發現，如果前后運動補償幀相差越小，邊信息質量越好，則相關噪聲越小。反之，補償幀差越大，所生成的邊信息質量越差，則相關噪聲越大。因此，前后補償幀差間接反映了相關噪聲的統計特性情況。實際上，由于解碼端無法獲知源WZ幀信息，通常采用前后運動補償幀差R(i,j)代替式(2)中邊信息來對虛擬信道建模[6,7]，其中，R(i,j)如式(5)所示。

但是，前后向運動補償幀往往會受到量化噪聲影響，邊信息亦將受到影響，進而影響相關噪聲N的分布特性。目前研究[4～8]在虛擬信道建模過程中，常常假設Key幀為無損重建，從而忽略了量化噪聲對邊信息影響。盡管，邊信息的估計會因為運動搜索可能比較準確，前后向運動補償幀差所受量化噪聲影響有限，但R(i, j)與N的概率分布不再匹配。

為了驗證這種現象，本文利用文獻[15]的平臺分析不同量化步長下，R(i, j)和N數據的概率分布情況。其中，針對Key幀設定量化步長。測試序列選用foreman序列作為實驗對象，其分辨率為QCIF格式，幀率為15Hz，共編碼 100幀。圖 2和圖3給出了不同量化參數(QP)下，foreman序列中R和N直流分量的概率分布情況。通常，直流分量占到圖像幀的大部分能量，文中采用R和N直流分量的概率分布來說明不匹配現象。由圖觀察，粗量化（即低碼率）下，N和R分布情況差異較大，此時若采用R數據對相關噪聲建模，則模型不能準確反映虛擬信道特性。為此，精確建模虛擬信道必須分析量化器對邊信息的影響，才能使模型更符合實際情況。

2.2 改進的虛擬信道模型

基于邊信息受到量化器影響，分別采用 QF、QB表示前向和后向參考幀的量化噪聲，?( i, j)為量化噪聲影響的邊信息，由式(4)計算出相關噪聲( i, j)：

由式(6)可看出，量化噪聲越大(對應低碼率時)，量化器對相關噪聲的影響越大。反之，量化噪聲越小(對應高碼率時)，量化器對相關噪聲的影響越小。即，量化噪聲通過影響邊信息，進而影響相關噪聲。因此，根據式(2)建模虛擬信道時，必須考慮量化噪聲因素，模型才能精確反映相關特性。

圖2 QP= 25時foreman序列的R和N的概率分布

圖3 QP= 40時foreman序列的R和N的概率分布

在圖 1編碼框架中，Key幀采用 H.264/AVC Intra編碼，進行率失真優化和模式選擇運算。通過相關數據計算，同時可獲得編碼端Key幀的量化噪聲，并將該量化噪聲傳輸至解碼端。在運算復雜度方面，與幀內編碼的計算復雜度相比，量化噪聲的計算量可忽略不計。一般，Intra編碼器采用均勻量化器，假設量化步長為 d，則量化噪聲的范圍為。為保持DVC視頻質量平穩，采用逐步迭代選擇Key幀QP，可獲得與相鄰WZ幀近似的PSNR。因此，一般假設Key幀和WZ幀的量化誤差接近，可將邊信息的量化噪聲視為等同于Key幀。

通過上述分析，本文提出基于量化噪聲因素的虛擬信道模型，如式(7)所示。為量化噪聲，可取前向和后向參考幀的量化噪聲的平均，該參量可由編碼端計算后發送至解碼端。由于殘差信息隨圖像幀變化而改變，根據式(7)，所提出的相關噪聲模型的參數實現了動態調整。

其中，Rσ為幀差系數的均方根，μ為幀差系數的均值，ρ為量化噪聲影響因子，σf,σb分別為前向和后向參考幀的量化噪聲均方根。

2.3 輔助相關性的虛擬信道模型

盡管在過去的幾年中，DVC的編碼性能有了較大提高，但與傳統的視頻編解碼H.264/AVC相比，仍存在較大差距[4～16]。其中主要原因在于為降低編碼端復雜度而過分減少相關信息傳遞，導致邊信息質量較差，解碼端的邊信息僅依賴已解碼的前后相鄰關鍵幀獲得，缺少原始WZ幀的相關信息[17]。因此，本文為了精確預測改進模型的參數，引入原始圖像的相關性作為參數估計的輔助信息。

編碼端計算每一個WZ幀與前后2關鍵幀圖像之間的對應塊的相關性MSE，如式(8)所示。其中，M×N為生成邊信息MCI過程中塊的尺寸，XWZ和Xk分別為 WZ幀和相鄰關鍵幀的像素值。將 WZ幀與前后相鄰幀的相關性MSEf和MSEb量化處理后傳送至解碼端。

在解碼端，計算虛擬信道模型參數時，先判斷當前WZ幀的相關性。如果MSEf≥MSEb，則表明當前 WZ幀的塊與后向關鍵幀中對應塊相關性較強，進而選擇后向關鍵幀的量化噪聲σb作為σQ。反之，當MSEb≥MSEf時，則表明當前 WZ幀的塊與前向關鍵幀中對應塊相關性較強，進而選擇后向關鍵幀的量化噪聲σf替代σQ。最終由各個塊的σQ計算出當前邊信息幀的量化噪聲。

3 模型精度評估

KL（Kullback-Leibler）散度常用來評價2個概率分布的相似性[18]，p(·)和 q(·) 分別對應觀測數據的真實概率分布和模型的分布，其計算如式(9)所示：

本文采用對稱KL散度來評估模型的準確性，如式(10)所示，值越小表明模型精確度越高。

實驗測試了典型視頻carphone和football序列的部分幀，其中包含沖突區域較多的WZ幀。在仿真實驗中，量化參數QP的選取盡量滿足于使每一Key幀和WZ幀的PSNR值近似相等，保證重構出的圖像近似平滑。實驗以離線方式獲取相關噪聲(CN)信息，使得樣本數據更真實。對不同序列的對稱KL散度計算結果見表1和表2所示。

表1 carphone序列2種模型下的KL散度比較

表2 football 序列2 種模型下的KL 散度比較

由表1、表2可知，改進的虛擬信道模型準確度要優于 Laplacian模型。圖 4、圖 5給出分別用Laplacian模型和改進模型擬合相關噪聲的情況。由于篇幅有限，僅給出carphone和football序列部分結果，其中carphone第182幀和football第82幀均為運動程度較高的圖像。

圖4 carphone 序列第182幀圖像及其殘差的概率分布情況

圖5 football 序列第82幀圖像及其殘差的概率分布情況

由圖4和5可看出，采用Laplacian擬合虛擬信道會在尾部出現較嚴重拖尾，曲線下降較慢。而模型尾部擬合精確與否對于LDPC解碼非常關鍵。如果尾部下降過慢，LDPC解碼器就需較多校驗數據來糾正虛擬信道的誤碼，導致系統整體編碼效率下降。而基于量化噪聲因素的模型能更好地擬合相關噪聲的真實分布，尾部收斂較快，解決了Laplacian模型尾部下降較慢的問題，且在零值附近的擬合更精確。

4 實驗分析

為了驗證改進模型對DVC RD性能改善，在圖1所示框架下，采用改進模型RD性能測試，并與采用Laplacian模型方法[7]比較。實驗選用4種具有典型代表性的測試序列：foreman和 soccer、coastguard、hall monitor，分別對應高、中及低運動程度的視頻序列，分辨率為 QCIF格式，幀率為15Hz，編碼前160幀。測試序列既包含運動平緩部分又包含運動劇烈部分，使得結果更具普遍性。Key幀采用H.264/AVC Intra編碼(main profile)，GOP長度為2，即偶數幀采用WZ幀編碼，奇數幀采用Key幀編碼。解碼端利用幀間內插方法估計邊信息[19]，取前后向運動估計搜索范圍為±32個像素，運用交疊塊運動補償(OBMC, overlapped block motion compensation)方法。根據大多數文獻測試方法，實驗僅評估亮度分量的率失真結果。通過調整Key幀的量化級數2M∈{2,4,8,16,32,64,128}，輸出4個不同的WZ幀比特面，從而獲得不同的碼率及相應PSNR。改進的虛擬信道模型參數根據如下方法計算，首先在編碼端計算WZ幀與相鄰Key幀的相關性MSEf和MSEb，同時根據Key幀的量化情況計算Key幀各塊的σf、σb，一起經量化處理后傳送至解碼端。然后，解碼端根據殘差計算出σR和μ以及輔助相關信息得到σQ，進而求得其他相關參數。

如圖6～圖8所示，相比Laplacian模型[7]方案，實驗結果表明本文改進模型實現了參數動態調整，率失真性能得到改善。對于 3種序列而言，hall monitor 序列所獲平均增益最大，為 0.81dB；coastguard、foreman序列的平均增益分別為0.44dB和0.31dB。

由結果可知改進模型是有效的，但對于不同運動特征的視頻，其增益不同。一般對于運動程度較低的平穩序列，獲得的增益較大；對于運動劇烈的序列，所改進模型帶來的增益較小。這主要是量化噪聲對邊信息的影響程度不同造成的。對于運動平穩序列，邊信息質量較高，殘差R較小，量化噪聲的影響較大，而改進模型更符合實際情況，由此獲得的增益也較大。對于運動劇烈的序列來說，R較大，量化噪聲的影響較小，對模型參數影響很有限，所以改進模型的增益較小。此外，在不同的碼率下，量化噪聲對邊信息的影響程度也不同。低碼率情況下，量化噪聲的影響較大，所獲增益較高；隨著編碼碼率增加，量化噪聲的影響逐漸變減小，增益相對減少。

另外，實驗還比較了改進編碼方案與3種標準編碼方法 H.264/AVC Intra、H.264/AVC Inter No Motion(即IBIB) 、H.263+ Intra的率失真性能。圖9給出了soccer 序列RD性能，圖像運動特征非常劇烈，可以看到其性能只是略優于 H.263+Intra，從而也驗證了上述模型性能分析情況。由于 foreman序列中出現了快速的相機移動，造成圖像邊界上劇烈運動，導致相關噪聲信息的方差較大，量化噪聲的影響相對較小。欲獲取所需圖像重構質量，編碼端需傳輸較多校驗信息糾正相關噪聲，導致其率失真性能劣于H.264/AVC Inter No Motion方案，但改進模型縮小了與H.264/AVC Intra的性能差距。而coastguard序列，其場景較簡單，全局運動規則，邊信息質量較高，虛擬信道模型的置信度亦高，RD增益更為顯著。上述實驗結果，不約而同地反映出Wyner-Ziv 編碼方法性能與H.264/AVC Inter No Motion方法相比還存在不少差距。因此，Wyner-Ziv 編碼的率失真性能仍待提高，才能滿足無線多媒體傳感器等應用的實際需求。

圖6 foreman 序列率失真性能比較

圖7 coastguard 序列率失真性能比較

圖8 hall monitor 序列率失真性能比較

圖9 soccer 序列率失真性能比較

5 結束語

針對現有 Laplacian模型對虛擬信道特性的描述并不精確，本文考慮了量化處理對邊信息的影響，改進了虛擬信道模型，實現了動態參數估計。實驗結果表明，在不明顯增加編碼端計算量情況下，改進模型獲得的率失真性能整體優于基于Laplacian模型的 PDWZ方案。但與標準的H.264/AVC Inter No Motion編碼方法相比，Wyner-Ziv 編碼的率失真性能仍存在較大改善空間，才能滿足實際應用的需求。

[1] ZHUO X, LOO K K, COSMAS J, et al. Distributed video coding in wireless multimedia sensor network for multimedia broadcasting[J].WSEAS Trans on Communication, 2008, 7(5):418-427.

[2] 羅武勝, 翟永平, 魯琴. 無線多媒體傳感器網絡研究[J]. 電子與信息學報,2008,30(6):1511-1516.LUO W S, ZHAI Y P, LU Q. Study on wireless multimedia sensor networks[J]. Journal of Electronics & Information Technology, 2008,30(6):1511-1516.

[3] 孫巖, 馬華東. 無線多媒體傳感器網絡QoS保障問題[J]. 電子學報,2008, 30(6): 1412-1420.SUN Y, MA H D. The QoS guarantee problem for wireless multimedia sensor networks[J]. Acta Electronica Sinica, 2008, 30(6):1412-1420.

[4] GIROD B, AARON A, RANE S, et al. Distributed video coding[A].Proc IEEE Special Issue on Advances in Video Coding and Delivery[C]. 2005.71-83.

[5] AARON A, RANE S, SETTON E, et al, Transform-domain Wyner-Ziv codec for video[A]. Proc of SPIE, Visual Communications and Image Processing[C]. San Joe, California, USA, 2004. 520-528.

[6] DELIGIANNIS N, MUNTEANU A, CLERCKX T, et al. Correlation channel estimation in pixel-domain distributed video coding[A].WIAMIS 2009[C]. Londun, United Kingdom, 2009.93-96.

[7] BRITES C, PEREIRA F. Correlation noise modeling for efficient pixel and transform domain Wyner-Ziv video coding[J]. IEEE Trans Circuits Syst Video Technol, 2008, 18(9):1117-1190.

[8] BRITES C, ASCENSO J, PEREIRA F. Studying temporal correlation noise modeling for pixel based wyner-ziv video coding[A]. ICIP[C].Atlanta, GA, USA, 2006.273-276.

[9] CHEUNG N M, WANG H, ORTEGA A, et al. Sampling-based correlation estimation for distributed source coding under rate and complexity constraints[J]. IEEE Transactions on Image Processing, 2008,17(11): 2122-2137.

[10] HUANG X, FORCHHAMMER S. Improved virtual channel noise model for transform domain wyner-ziv video coding [A]. ICASSP 2009[C]. Taipei, 2009.921-924.

[11] 房勝, 李哲, 梁永全等. 分布式視頻編碼虛擬依賴信道模型研究[J].計算機學報, 2009, 32(7): 1404-1412.FANG S, LI Z, LIANG Y, ZHONG Y Z. Research of the virtual dependency channel in distributed video coding[J]. Chinese Journal of Computers, 2009, 32(7): 1404-1412.

[12] 王鳳琴, 樊養余, 趙炯等. 基于變換域 Wyner-Ziv視頻編碼的相關噪聲模型[J]. 數據采集與處理, 2009, 24(5): 609-614.Wang F Q, FAN Y Y, ZHAO J, et al. Correlation noise model for transform domain Wyner-Ziv video coding[J]. Journal of Data Acquisition＆ Processing, 2009, 24(5): 609-614.

[13] 尹明, 蔡述庭, 章云等. 像素域 Wyner-Ziv視頻解碼端的相關噪聲建模研究[A]. 第十五屆全國圖象圖形學學術會議論文集[C].2010.70-73 YIN M, CAI S T, ZHANG Y, et al. Correlation noise model at the decoder for pixel domain Wyner-Ziv video coding[A]. The 15th National Conference on Image and Graphics[C]. 2010.70-73.

[14] YE S, OUARET M, DUFAUX F, et al. Improved side information generation for distributed video coding by exploiting spatial and temporal correlations[J]. EURASIP Journal on Image and Video Processing, 2009, 1-15, doi:10.1155/2009/683510.

[15] CHEN D, VARODAYAN D. Unsupervised learning motion for distributed video coding [EB/OL]. http://www.stanford.edu/～dmchen/dvc.html, 2008.

[16] MARTINS R, BRITES C, ASCENSO J, et al. Statistical motion learning for improved transform domain Wyner-Ziv video coding[J]. IET Image Processing, 2010, 4(1):28-41.

[17] 宋彬, 賀紅, 劉海華等. Wyner-Ziv視頻編碼中邊信息生成算法研究[J]. 通信學報, 2010,31(12):97-103.SONG B, HE H, LIU H H, et al. Research on side information generation algorithm for Wyner-Ziv video coding[J]. Journal on Communications, 2010,31(12):97-103.

[18] KULLBACK S, LEIBLER R A. On information and sufficiency[J].Annals of Mathematical Statistics, 1951,22:79-86.

[19] 尹明, 章云, 程良倫等. Wyner-Ziv視頻編碼中邊信息估計算法改進[J]. 計算機應用研究, 2009, 26(12): 4818-4820.YIN M, ZHANG Y, CHENG L L, et al. Improving on side information estimation for Wyner-Ziv video coding[J]. Application Research of Computers, 2009, 26(12): 4818-4820.