基于提升方案小波的幀差圖像質量可分級編碼研究

劉丹，宋傳鳴

?

基于提升方案小波的幀差圖像質量可分級編碼研究

劉丹，宋傳鳴

摘要：隨著數字電視和網上會議的出現，越來越多的視頻信息需要在網上進行傳輸，而視頻壓縮效率的提高在很大程度上取決于如何減少用于傳輸運動補償預測誤差的信息量，即如何使視頻幀差圖像滿足漸進傳輸、多質量服務以及圖像數據庫瀏覽等一系列的要求。首先，結合視頻幀差圖像的統計特性，提出了一種幀差圖像小波系數的雙重量化方法，在此基礎上提出了一種基于位平面的幀差圖像質量可分級編碼方案，在解碼時能夠根據給定解碼的數率對位平面進行重構，并實現幀差圖像的質量可分級解碼。實驗結果證明，提出的方法編碼效果優于傳統的SPIHT編碼算法，特別在低比特率下具有很好的編碼效果。

關鍵詞：幀差圖像；統計特性；可分級編碼；提升方案小波

0　引言

隨著網絡和多媒體技術的不斷發展，人們對視頻編碼技術的要求越來越高，不僅要求其具有較好的壓縮效果，而且還要滿足視頻圖像漸進傳輸、多質量服務以及圖像數據庫瀏覽等多分辨率環境下的多媒體應用需求，因此，近年來，視頻的可分級編碼技術便成為視頻編碼領域的一個研究熱點[1-4]。目前的視頻可分級編碼方案大都采用變換編碼來消除幀內的空間冗余，同時采用運動估計技術來減少幀間冗余，因而編碼效率的提高在很大程度上取決于對幀內預測幀和幀差圖像的編碼技術。目前，大多數的視頻可分級編碼器對幀差圖像的編碼一般都采用傳統的圖像編碼方法，比如采用基于分塊的DCT變換或者基于小波變換的零樹結構算法等，然而由于幀差圖像的統計特性與一般的自然圖像存在著很大的相同，盡管這些算法對于一般的自然圖像具有很好的編碼效果[5]，但對于幀差圖像效率卻不是很高，特別對于低碼率的情況，這種幀差圖像編碼的低效性通常會帶來誤差的“漂移”[6]，將直接影響到整個GOP的編碼效率。

本文首先對幀差圖像的統計特性進行了分析，在此基礎上，提出一種基于提升方案小波變換的幀差圖像雙重量化方案，進一步給出了基于所提出量化方案和位平面技術的的幀差圖像質量可分級編碼方案，通過大量的仿真試驗對所提出方案與SPIHT編碼效率進行了對比，實驗結果表明，在相同的解碼率下，所提出方案的編碼效率高于SPIHT的編碼效率，特別是低碼率情況，并且解碼圖像的視覺效果也得到了明顯的改進。

1　幀差圖像的統計特性

幀差圖像和自然圖像的統計特性和能量分布存在著很大的不同，幀差圖像通常只在運動邊界和運動比較劇烈等區域才會出現較大的幅值，而相同或沒有運動的區域相對平滑或者接近于零，而且幀差圖像的能量主要集中在運動物體的邊緣上，這樣從能量角度上看，幀差圖像直方圖的幾何圖形分布在0值兩側非常小的區域，而且在0值處有一個高且窄的峰值。Foreman視頻流的第27幀原始圖像和以第26幀為預測幀，經過空域全局運動估計、補償后得到的第27幀的幀差圖像以及二者的直方圖，如圖1所示：

圖1　Foreman視頻流的幀內原始圖像、幀差圖像及直方圖

幀差圖像直方圖分布的形狀取決于幀內運動內容的多少。如果運動較為平緩則會在0值處有一個又高又窄的頂峰，并且像素值在0值周圍的聚集度較高，而運動激烈的視頻流在0值周圍的聚集度較低。圖1（a）、（b）為Akiyo視頻流和Football視頻流的幀差圖像直方圖。從二者直方圖形狀可見Akiyo視頻流的運動較為平緩，Football視頻流的運動較為激烈。

圖1中兩個圖像進行5/3小波三級變換后各子帶的方差值比較，如表1所示：

從表1中可以發現二者在小波變換后的能量分布特點：幀內原始圖像的能量主要集中在小波變換后的低頻部分，而幀差圖像因為主要反映前后兩幀運動邊界的信息，所以該圖像具有較多的邊緣信息，這樣其小波變換系數的高頻子帶具有較多的能量。

表1　圖1（a）、（b）經過三級小波變換后的各子帶方差

2　提升方案小波變換及小波塊概念

2.1提升方案小波變換

提升方案小波由W.Sweldens等于1995年提出的，其特點是所有的運算都在空間域進行并且速度快。提升方案小波的正向提升過程包含3個基本步驟：切分、預測和更新。切分是指把原始信號X切分成不相交的兩個子集，實際應用中通常將原始信號切分成偶數樣本和奇數樣本；預測是指采用預測算子，根據預測，其誤差稱為小波系數；更新是指對小波系數施加更新算子，然后加上得到相應的尺度系數，從而得出在較低分辨率上對原始信號的一種逼近。類似于傳統小波變換，對反復進行正向提升過程即可得到離散小波變換尺度系數和小波系數的完備集合。正向提升算法和逆向提升算法過程圖，如圖2、圖3所示：

圖2　正向提升算法過程

圖3　逆向提升算法過程

更詳細的討論參見文獻[7]。

2.2小波樹與小波塊

對輸入圖像進行小波分解后，把圖像分解成具有水平、豎直、對角方向的3類小波樹。樹根在低頻帶，對應于同一空間位置的相同方向、不同尺度的小波系數成為它的孩子。把所有具有相同樹根的3個不同方向的4叉小波樹組織在一起形成具有固定大小的塊，即為小波塊。小波塊把空間域同一位置不同尺度、不同方向的小波系數組織在一起，從而把小波系數和它所代表的空間域聯系在一起。這樣的組織形式可以提供基于內容的量化，便于碼率分配。小波樹和小波塊的對應關系如圖4所示：

圖4　小波樹與小波塊的對應關系

判斷一個小波塊是否重要，依據如下兩個準則，如公式（1）：

即同時滿足（1）、（2）兩個條件的小波塊為重要小波塊，其中表示幀差場，表示對集合內元素個數的統計，、和為3個閾值，在下面所提出的編碼算法中，將小波樹轉換成小波塊之后，對每個8×8的小波塊進行了重要性判斷，并用一個標志位來標識，該標志位稱為“傳送標志”，編碼時，僅當所處理的小波塊是“重要的”時候才傳送其編碼。

3　幀差圖像小波子帶的雙重量化方案

根據幀差圖像的統計特性，本文提出了一種幀差圖像的各層子帶量化和高頻子帶細量化的雙層量化方案，具體過程如下。

3.1各層子帶量化

3.1.1采用曲線逼近方式模擬真實率失真情況

Kasner通過使用不同的量化器步長分別量化100000個Laplacian信源和高斯信源的數據，推導給出了適合標量量化器的率失真函數與碼率以及量化步長的對應關系曲線[8]，如圖5所示：

圖5　率失真函數與碼率以及量化步長的關系圖

圖6　模擬率失真曲線示意圖

（1）在高碼率情況下，采用簡單的線性模式模擬率失真曲線。在真實率失真函數曲線上個采樣點，分別為，，……，。定義逼近的線性函數方程為，其中，、分別為直線的斜率和截距，直線與縱坐標軸相交于點，點坐標為（0，）。根據最小二乘法的要求，將上述采樣點代入線性逼近方程中可計算得到關于和的方程組如公式（2）：

（2）在低位率情況下，利用單支雙曲線模擬率失真曲線。在真實率失真曲線的低碼率部分取m個采樣點，分別為，，……，。定義雙曲線的表達式為：。將雙曲線的中心點移至，并取雙曲線的右上支。其中，、分別是該子帶雙曲線逼近函數的標準方程系數。同樣根據最小二乘法可以計算出參數、、和的值,代入雙曲線表達式可得到低位率下的逼近曲線。

3.1.2分層量化方案

分層量化方案的具體過程如下：

Step1. 計算各個子帶所對應的廣義高斯密度函數的形狀參數，其中為子帶序號（下同）。

由于廣義高斯分布能很好的擬合小波子帶的概率密度函數[9]，所以利用廣義高斯概率密度函數中的形狀參數可以來確定不同子帶小波系數的概率密度分布。形狀參數通過計算樣本的峰度值（Kurtosis）來求解，第個子帶的與其峰度值的關系如公式（3）：

Step3.通過下式計算高碼率下第個子帶率失真函數的線性逼近函數：

Step4. 通過下式計算低碼率下第個子帶率失真函數的雙曲線逼近函數如公式（4）：

給出Akiyo視頻流中第2幀幀差圖像經過三級5/3小波分解后，使用上述量化方法確定的各子帶量化步長如表2所示：

表2　Akiyo視頻流中第2幀幀差圖像的各子帶量化步長值

3.2高頻子帶細量化

根據幀差圖像小波變換高頻子帶的統計特性，對高頻子帶進行分類，并根據其類型采用不同的量化因子，勢必會得到更好的編碼效果。為此，我們針對不同分辨率的各高頻子帶提出了如下的量化方案：

圖7　小波塊在不同分辨率下的子塊

實驗中我們選擇Football和Akiyo兩個視頻流的從第2幀開始的前50幅幀差圖像作為激烈運動圖像和平緩運動圖像的代表統計了圖像中方差值的大小，如表3所示：

表3　兩類圖像根據統計得到的方差閾值、

表3　兩類圖像根據統計得到的方差閾值、

由此確定劃分邊緣塊、平滑塊和紋理塊的閾值。

（3）確定激烈運動圖像和平緩運動圖像這兩種圖像內不同類子塊的視覺權值Weight 。Football和Akiyo兩個不同類型視頻流的不同分辨率下高頻子帶中邊緣塊、平滑塊和紋理塊內小波系數的不同視覺權值如表4所示：

表4　各尺度下高頻子帶內小波系數的不同視覺權值Weight

最后，綜合3.1節和3.2節所述方法對小波變換后的各個子帶進行量化，量化因子為。

4　幀差圖像質量可分級編碼方案

本文所提出的幀差圖像質量可分級編、解碼方案的總體結構如圖8、圖9所示：

圖8　提出方案的編碼總體結構

圖9　提出方案的解碼總體結構

4.1位平面的分解與重構

4.1.1位平面的分解

假設編碼圖像共需要N個位平面，對于某個小波系數，若當前已經編碼到第n個位平面，則將該系數右移n位，并與1相與，即分解出第n個位平面的值。對上述兩種位平面編碼方案中的每個系數都重復上面的操作，即可實現位平面的分解。具體位平面分解的偽代碼如下：

For（n=N-1;n>0;n--）//記錄編碼到第幾個位平面

For（i=0;i

For（j=0;j

plane[(N-n)*Width*Height+i*Width+j]=(Origin[i ][j]>>n) & 1;

其中Origin[][]表示量化后的小波系數，plane存儲各位平面中的信息，Height和Width表示圖像的高和寬。

4.1.2位平面重構

將位平面數據按位依次讀入，對于某個小波系數，若當前已經解碼到第n個位平面，則將讀入的0或者1左移n位，即得到該系數第n個位平面的值。然后，再將這個值與該系數已經解碼出的值相或，進而重構出系數前（N-n）個位平面的值。按照位平面遞減的順序重復以上操作，即可漸進而精確地重構出位平面分解前的系數。具體實現的偽代碼如下：

for(int n= N-1;n>0;n--)

for(i=0;i

for(j=0;j

Origin[i][j]|=(tempbyte << n);

其中tempbyte表示讀入碼流的緩沖區。

4.2 質量可分級編、解碼的實現

4.2.1編碼算法

step1. 對幀差圖像進行提升方案小波分解；

step2. 將變換后的小波樹轉換為小波塊；

step3. 對小波塊進行重要性判斷，即對小波塊按照（1）、（2）準則進行重要性判斷。對于重要小波塊，按照第4節的量化方案，首先對塊內各層子帶的系數進行量化，之后對高頻子帶系數進行細量化；對不重要的小波塊將其系數置為零；

step4. 對所有小波系數進行位平面分解；

step5. 對分解后的位平面信息進行算術編碼，并生成編碼碼流。

Step6. 算法結束。

4.2.2解碼算法

step1. 根據給定的碼率R，確定解碼圖像所需要的比特數B，二者的關系為：B=R×H×W,其中H、W分別為視頻幀的高和寬；

step2. 利用算術解碼器，按照由高至低的順序，解碼出一個位平面；

step3. 計算當前已經解碼出的比特位數，并計算已解碼比特數與目標位數B的差D；

step4. 將D與某一閾值T進行比較，若D大于T，則轉入step 2；否則執行step 5。在實際解碼過程中，有時根據所給定的碼率所計算出的目標比特位數B不會恰好等于位平面的整數倍，這樣在解碼過程中就需要根據閾值T來決定是否有必要多解出一部分數據，或者丟棄一些數據，以使得解出的比特數為位平面的整數倍，當然前一種情況的解碼數率可能會較給定的數率R有一些超出，但會相對提高一些解碼圖像質量，而后一種情況不會超出給定的碼率R,但可能會犧牲一些解碼質量。閾值T可以根據實際應用中對解碼質量和網絡傳輸帶寬的需求來進行折衷選取。

step5. 對解碼系數進行逆量化；

step6. 將逆量化后的小波塊轉換成小波樹；step7. 對圖像進行逆提升方案小波變換；step8. 算法結束。

5　實驗結果與分析

為了對所提出算法的有效性進行驗證，我們對Akiyo和Football兩個標準測試視頻流的幀差圖像進行了大量的實驗，對所提方案在低碼率下的解碼質量進行了測試，采用了峰值信噪比作以評價。

Akiyo和Football兩個視頻流的從第2幀開始的50幅幀差圖像在碼率為0.05bpp時采用SPIHT算法和本文算法壓縮的對比，如圖10所示：

圖10　SPIHT算法和本文算法編碼效果對比

可見，在相同的壓縮比下本文算法的壓縮性能要優于SPIHT算法。

Akiyo視頻流的第2幀幀差圖像和Football視頻流的第8幀幀差圖像在碼率為0.05bpp和0.1bpp時采用本文算法和SPIHT算法的解碼圖像，如圖11所示：

圖11　SPIHT算法和本文算法解碼圖像

由于本文對高頻部分的小波系數進行了不同類型的細量化，所以解碼圖像的主觀效果要優于SPIHT算法。

6　總結

本文在對幀差圖像的統計特性進行分析的基礎上提出了一種幀差圖像提升方案小波變換的雙重量化方案——各層子帶量化和高頻子帶細量化，該方案在總體考慮小波各子帶重要性的同時，根據幀差圖像高頻信息豐富的特點對高頻部分的小波系數進行了不同類型的細量化，從而保證了幀差圖像高頻信息的解碼質量，在此基礎上提出了一種基于位平面技術的幀差圖像質量可分級編碼方案。大量的仿真實驗對所提出方案與SPIHT對幀差圖像的編碼效率進行了對比，實驗結果表明，在相同的解碼率下，所提出方案解碼圖像的PSNR和視覺效果均好于SPIHT算法，特別是低碼率情況。所提出的編碼方案在一定程度上可以滿足可分級視頻編碼方案中對幀差圖像編碼的需求。

參考文獻

[1] W.Li. Overview of fine granularity scalability in MPEG-4 video standard.[J] IEEE Transactions on Circuits and Systems for Video Technology. 2001,11(3):301-317.

[2] 王相海.基于小波的圖像和視頻可分級編碼研究[D].南京:南京大學,2001,6.

[3] 孫曉艷,高文,吳楓,等.基于宏塊的具有時域和SNR精細可伸縮的視頻編碼[J].計算機學報,2003.26 (3):345-352.

[4] Reichel, J. Schwarz H,Wien(eds.) M, Scalable Video Coding – Working Draft 1, ,Joint Video Team(JVT), Doc. JVT-N020[M], Hong Kong,CN,Jan.2005.

[5] 王相海.圖像可分級編碼研究進展[J].中國圖象圖形學報,2006,11(8):1051-1061.

[6] 宋傳鳴,王相海.小波域視頻運動估計研究進展[J].計算機學報, 2005, 28(10): 1716-1727.

[7] Sweldens W. The lifting Scheme: A Construction of Second Generation Wavelets. Technical Report. Industrial Mathematics Initiative [M]. Department of mathematics, University of South Carolina, 1995.

[8] Mallat S.G., theory A for multiresolution signal decompos -ition: The wavelet representation [J]. IEEE Trans. Pattern Analysis and Machine Intell, 1989,11(7):674-693

[9] Kasner J.H.,.Marcellin M.W.Universal trellis coded quantization [J].IEEE Trans. Image Pro., 1999,8(12):1677 -1678.

[10] Stephane G.Mallat, A Theory for Multiresolution Signal Decomposition:The Wavelet Representation[J]. IEEE Transactions on Pattern Analysis And Machine Intelligence,1989,7(2):674-693.

收稿日期：（2015.03.17）

作者簡介：劉丹（1981-），女，遼寧師范大學，計算機與信息技術學院，講師，博士研究生，研究方向：圖像編碼、多媒體信息處理，大連，116029宋傳鳴（1980-），男，遼寧師范大學計算機與信息技術學院，南京大學計算機軟件新技術國家重點實驗室，副教授，博士，研究方向：多媒體信息處理，南京，210093

基金項目：遼寧省教育廳科學研究一般項目（L2011192）；大連市科學技術基金計劃項目（2013J21DW027）

文章編號：1007-757X(2015)12-0005-06

中圖分類號：TP391

文獻標志碼：A