基于分層細化的Wyner-Ziv視頻解碼算法

楊 佳

(成都信息工程大學通信工程學院,四川 成都 610225)

0 引言

傳統的視頻編碼如H.264/AVC和HEVC采用基于分塊的混合預測視頻編碼方式,在編碼端深度挖掘視頻冗余,以此實現高性能的視頻壓縮。高復雜度編碼和低復雜度解碼的特點使傳統視頻編碼被廣泛應用于廣播和視頻點播等一對多通信架構的多媒體傳輸系統當中。然而,在工農業生產監測、野外勘探、應急救援等多媒體應用中,數據采集節點往往分散在一個大的區域內,采集周邊的多媒體數據上傳到服務器端。由于環境和成本的限制,數據采集節點通常為輕量級終端設備,有限的計算能力和存儲容量是此類終端設備的共同特點。與此相反,服務器則具有強大的處理能力和穩定的能耗供應。傳統視頻編碼標準由于高復雜度的編碼方式,不能很好地適應此類輕量級終端設備的低功耗視頻通信需求。在此背景下,以Slepian-Wolf[1]和Wyner-Ziv[2](WZ)定理為指導的分布式視頻編碼(distributed video coding,DVC)通過在解碼端挖掘利用信源相關性的方式,將繁重的計算負荷從編碼端轉移到了解碼端。DVC為輕量級多媒體通信應用提供了一種高效的視頻編碼技術。盡管如此,與傳統視頻編碼相比,DVC在壓縮性能方面還有待提高。

邊信息和虛擬信道模型是影響DVC壓縮性能的兩大核心因素。邊信息是當前待解碼WZ幀的帶噪估計,邊信息質量越高,則能提供更準確的幀間信源相關性。目前利用已解碼WZ幀信息優化邊信息質量[3-10]是其主流的研究思想。虛擬信道模型的主要功能是挖掘和統計信源相關性,特別是邊信息所提供的相關性信息,計算當前待解碼幀的條件概率,為信道解碼提供軟輸入。軟輸入的準確性決定了信道解碼所需校驗信息的數量,從而影響DVC的壓縮性能。相比典型的虛擬信道模型——拉普拉斯(laplace)分布[11-15],高階統計模型[16-18]憑借更高效的信源相關性挖掘性能為DVC壓縮性能的提升開拓了一條新的研究思路。

目前已知先進的高階統計模型和部分邊信息優化算法都是以離散小波變換(discrete wavelet transform,DWT)域DVC系統為基本的編解碼框架。與離散余弦變換(discrete cosine transform)相比,離散小波變換DWT可靈活控制DWT分解層數,從而獲得不同分辨率圖像。每一分解層子帶之間,層間父子結點都具有較強的幀內信源相關性[17],有利于DVC壓縮性能的提升。針對DWT域的DVC系統,高階統計模型方面,Qing等[16-17]借鑒了JPEG2000的思想,采用啟發式方式選擇上下文特征(context features),提出了精細的自適應上下文模型及其改進算法。Yang等[18]利用決策樹充分挖掘和利用幀間和幀內信源相關性,提出了更高效的高階統計模型。針對DWT域DVC的邊信息,Di等[7]將自適應卡爾曼濾波器融入基于塊的運動估計當中獲取光學運動矢量,再通過加權向量中值濾波器對其細化,從而優化邊信息。Fang等[8]則通過融合多種運動估計策略來優化超完備DWT中DVC的邊信息質量。Liu等[9]充分挖掘小波分解子帶間信源相關性,利用每一分解層已解碼的低頻子帶信息更新運動矢量場,從而使邊信息質量得到更有效的提升。Yang等[10]在文獻[9]的基礎上,通過挖掘高頻子帶已解碼信息,進一步優化了邊信息質量。

綜上所述,針對DWT域DVC,高階統計模型和邊信息優化研究已取得了良好的進展,然而將高階統計模型和邊信息優化相融合的WZ解碼算法還鮮有報道。因此,本文提出了基于分層細化的WZ解碼算法,在比特層面上,利用小波多尺度和多分辨率的特性,融合前期虛擬信息模型[18]和邊信息優化[10]的研究成果實現DVC壓縮性能的進一步提升。

1 基于邊信息優化的DVC系統

DWT小波多尺度和多分辨率的特性有助于挖掘更豐富的幀內信源相關性。文獻[10]針對DWT域DVC,在多分辨率運動細化(multi-resolution motion refinement,MRMR)[9]編碼算法的基礎上,實現了邊信息質量的優化。基于邊信息優化的MRMR-DVC系統[10]如圖1所示。

圖1 基于邊信息優化的MRMR-DVC系統

邊信息優化的基本思想是,在第n(n=1,2,…,N)小波分解層,首先利用參考幀的低頻子帶LLn(t-1)經WZ解碼重建當前待解碼WZ幀的LLn(t),接著進行LLn(t-1)與LLn(t)之間的運動估計,細化第n小波分解層運動矢量場,并生成高頻子帶LHn(t)、HLn(t)、HHn(t)的初始邊信息,然后按照最高比特面(most significant bit-plane,MSB)到最低比特面(last significant bit-plane,LSB)的順序,利用初始邊信息解碼高頻子帶信息,當解碼的比特面包含的當前高頻子帶信息足夠多時,則利用式(1)。

2 基于分層細化的Wyner-Ziv解碼算法

2.1 邊信息優化與高階統計模型的融合

邊信息優化算法和基于決策樹的高階統計模型都是基于比特層面的,因此,兩者的融合具有結構上的優勢。高階統計模型的初始特征集如表1所示,與邊信息相關的特征有邊信息質量分類QCSI和邊信息在比特面Bi(i=1,2,…,M,序號從低到高以次表示MSB到LSB比特面)上的重要性狀態SSI。SSI按照JPEG2000重要性傳播過程中的方法進行判定,QCSI則由文獻[18]中提出的比特面層面的邊信息質量分類BQCSI(bit-plane-level quality classification of side information)算法計算所得。BQCSI基本思想是以當前WZ幀已解碼比特面B={B1,B2,…,Bi-1}與其邊信息之間對應比特面的差異作為WZ幀第i個比特面Bi的邊信息質量分類,BQCSI計算如式(2)所示。

表1 高階統計模型初始特征

DBj代表WZ幀與其邊信息在第j個比特面上的差異。當融合高階統計模型和邊信息優化算法時,關鍵步驟是確定在哪個比特面開始啟動邊信息優化算法,然后將優化的邊信息替換掉初始邊信息,按照高階統計模型中的計算方法,計算得到更新后的QCSI和SSI。

2.2 基于分層細化的Wyner-Ziv解碼

經大量測試分析,在解碼得到LSB-2比特面,即BM-2后,利用當前WZ幀已解碼信息帶入式(1)所得結果能對初始邊信息的質量作較精確判斷,因此在解碼LSB-1即BM-1時啟動邊信息優化,并按優化后的邊信息計算得到更準確的QCSI和SSI。因QCSI和SSI是影響高階統計模型的兩大重要特征,更準確的QCSI和SSI能進一步提高高階統計模型的性能,從而提升DVC壓縮性能。根據上述分析,在MRMR-DVC基礎上,基于分層細化的WZ解碼算法如圖2所示,過程描述如下:

圖2 基于分層細化的Wyner-Ziv解碼示意圖

(1)設置n=N,直接將LLn(t-1)作為LLn(t)的邊信息,經WZ解碼得到LLn(t);(2)對LLn(t-1)與LLn(t)實施運動估計,更新n分解層運動矢量場;(3)利用更新后的運動矢量場,生成n分解層中HLn(t)、LHn(t)和HHn(t)的初始邊信息;(4)利用初始邊信息,對當前高頻子帶進行WZ逐比特面解碼;(5)在成功解碼LSB-2比特面后,啟動邊信息優化算法;(6)從解碼第LSB-1比特面開始,融合高階統計模型和優化后的邊信息;(7)HLn(t)、LHn(t)和HHn(t)的WZ解碼成功后,重建3個高頻子帶,n=N時,重建LLn(t)子帶;(8)對LLn(t)、HLn(t)、LHn(t)和HHn(t)實施小波逆變換,重建n-1分解層低頻子帶LLn-1(t);(9)設置n=n-1,n>0,跳轉到步驟(2),開始新一輪解碼,當n=0,解碼完畢。

值得注意的是,步驟(7)采用最小均方誤差(minimum mean square error)[19]逐層重建每一分解層高頻子帶,即能得到質量更好的低頻子帶LLn-1(t),通過LLn-1(t-1)與LLn-1(t)之間的運動補償預測,可獲得更細化的運動矢量場,有助于優化n-1層高頻子帶邊信息,而優化后的邊信息能提升高階統計模型的性能,并且也有利于改善n-1層高頻子帶的重建質量。因此,基于分層細化的WZ解碼算法充分利用了小波多尺度和多分辨率的特性,充分挖掘幀內和幀間信源相關性,提升DVC壓縮性能。

3 系統總體率失真性能仿真與結果分析

為測試算法性能,在MRMR-DVC框架下,將基于本文算法的DVC系統與僅基于決策樹的高階統計模型的DVC系統[18]、基于邊信息優化算法的DVC系統[10]以及基于上下文的高階統計模型的 DVC系統[17]進行總體率失真(rate distortion,RD)性能比較。實驗在邊信息運動搜索的初始參數和信道編碼參數的設置方面與文獻[10]保持一致。除選取了CIF格式(352×288)的視頻序列外,為更進一步展示算法性能,還選取了較高分辨率832×480和1280×7203的視頻序列,每個視頻序列100幀進行測試。所選視頻覆蓋了低速、中速和快速視頻運動場景。視頻序列按圖像組(group of pictures,GOP)大小為8進行分組。GOP8表示1個關鍵幀后緊跟7個 WZ幀。WZ幀采用2∧(QPWZ)的量化步長,量化參數 QPWZ∈{3,4,5,6},關鍵幀采用HEVC幀內編碼(HM16.5版本,profile為main-RExt,僅編碼亮度信息)進行編碼,關鍵幀量化參數為{18,22,26,30}。RD性能采用Bj?ntegaard度量方法[20]的BD-PSNR和BD-BR進行評價。

表2以BD-PSNR和BD-BR兩種方式展示了基于本文算法與基于參考文獻算法的MRMR-DVC系統總體RD性能比較結果。正的BD-PSNR和負的BD-BR數值表示相較于參考系統,本文DVC系統PSNR的提升幅度和碼率的下降幅度。

表2 本文系統與參考系統的總體RD性能比較

表2的測試結果表明,本文算法性能明顯優于參考文獻算法性能。相同碼率下,與文獻[18]、文獻[10]和文獻[17]算法相比,BD-PSNR最高分別能達到0.97 dB(Football序列)、1.19 dB(BQMall序列)和2.38(BQMall序列)。對于運動場景較為劇烈的視頻序列,如Football和BasketballDrill,本文算法也能取得良好的壓縮性能。此種測試結果主要歸功于結合了邊信息優化算法和高階統計模型兩者的優勢。利用小波多尺度和多分辨率的特性能有助于高效挖掘已解碼WZ幀信息,特別是高頻子帶信息促使邊信息優化算法和高階統計模型的深度融合。隨著逐層解碼,漸進優化的邊信息能提供更精確的信源幀間相關性,有助于提升高階統計模型的邊信息質量分類QCSI和邊信息在比特面Bi上的重要性狀態SSI兩大特征的準確性,從而提升高階統計模型的性能,得到更準確的信道解碼軟輸入,以此降低校驗碼率,進一步提升DVC壓縮性能。

4 結論

本文針對MRMR-DVC框架,提出基于分層細化的Wyner-Ziv解碼算法,利用邊信息優化算法和高階統計模型在算法作用域層面上的一致性,利用小波多尺度和多分辨率的特性,對兩者進行深度融合。以邊信息優化作為基礎,逐層優化高頻子帶初始邊信息,以此提升高階統計模型與邊信息相關的特征的準確性,從而增強高階統計模型的性能,得到更準確的信道解碼軟輸入,最終達到提升DVC壓縮性能的目的。