基于低頻預測的圖像多描述編碼及其差錯隱藏

王紅艷，金煒東

1.西南交通大學 信息科學與技術學院，成都 610031

2.西南交通大學 電氣工程學院，成都 610031

基于低頻預測的圖像多描述編碼及其差錯隱藏

王紅艷1，金煒東2

1.西南交通大學 信息科學與技術學院，成都 610031

2.西南交通大學 電氣工程學院，成都 610031

圖像、視頻等多媒體信息的網絡傳輸應用越來越廣泛，由于網絡帶寬資源有限，且多媒體數據量龐大，因此，高效的壓縮技術是必需的。然而高效壓縮的碼流對誤碼非常敏感，一旦傳輸中出現誤碼，不僅影響該誤碼數據的恢復，還會影響與之相關的其他數據的恢復，所以不適應在傳輸條件惡劣的信道中傳輸。

多描述編碼（Multiple Description Coding，MDC）[1]和后差錯隱藏處理[2]是差錯復原的兩種主要技術。多描述編碼通過產生多個相互獨立但又具有一定相關性的碼流（描述）來表達同一信號。其中各個描述可以分別獨立解碼來獲得可接受的重建質量；而如果多個信道同時收到，則可得到更好的重建質量，且重建效果會隨著接收到的描述的數量相應提高；當所有描述全部接收時，重建質量達到最佳。MDC是在編碼端采取的一種抗誤碼措施，而差隱藏是解碼端的一種補救方法，它利用人類視覺特性和圖像信號中的冗余信息來掩蓋出錯的圖像數據，試圖重構主觀可接受近似原始質量的圖像。

差錯隱藏技術利用了圖像信號在空間上的相關性，可在一定程度上恢復丟失的圖像信息。但通常這些算法都假設一幅圖像的大部分信息被成功接收到，只有少量數據信息丟失，因此它不能真正解決整幅圖像丟失的問題。為了減少可伸縮性編碼中的誤差傳遞，Creusere[3]最早提出將小波系數劃分成獨立子塊的概念，隨后Cho和Pearlman提出了一種多描述編碼和差錯隱藏聯合應用的方法，將系數按照Spatio-Temporal Tree Preserving 3D-SPIHT（STTPSPIHT）[4]的結構劃分為多個塊狀時-空小波樹，分別進行編碼傳輸。但是這種分組方法，當某組丟失時，很難通過其他區域的圖像信息估計丟失信息。隨后文獻[5]提出基于小波域的圖像壓縮分組編碼及其差錯隱藏，將所有小波系數按照空間位置保持相同間隔均勻地分成多組，這種分組方法對小波系數同一圖像區域各個子帶之間的相似性利用降低，從而降低了壓縮效率。

圖1 算法框圖

本文提出了基于低頻預測的圖像多描述編碼方案，根據小波系數的獨特特點將原始圖像小波變換后的系數分為低頻、次高頻和高頻三部分，然后對低頻部分進行相應預處理，這樣能根據網絡狀況的不同進行靈活的冗余調節。此外，為了提高傳輸的魯棒性，針對只收到部分描述的情況，本文也提出了相應的差錯隱藏方案，仿真結果表明了該方案的有效性。

1 基于低頻預測的圖像多描述編碼

本文提出的這種基于低頻預測的多描述編碼方法，算法框架如圖1所示。在編碼端，首先對原始圖像進行多級小波變換得到其小波域上的表示，并將小波系數矩陣按照下述第2章中分組方法分為多個獨立的描述。然后對小波系數進行相應預處理，預處理和相應后處理方案將分別在下述第3章和4.1節中介紹。接著將每個描述按照閾值進行SPIHT（Set Partitioning In Hierarchical Trees）編碼，并把每組碼流序列號和預處理后的額外信息作為頭文件附加到輸出碼流的頭部，最后輸出到信道。

解碼是編碼的逆過程。在解碼端，先解碼收到的頭文件，得其碼流序列號和后處理所需的額外信息，然后對收到的各描述獨立解碼，并在小波域內重組。接著根據解碼得到的額外信息進行與預處理相應的后處理。此后如果有描述丟失，也要進行相應的差錯隱藏，差錯隱藏方案如第4章所述。最后對得到的小波系數進行小波反變換得到輸出圖像。

2 分組編碼方法

小波的變換系數所具有的獨特特點使其在編碼方面得到廣泛應用[6]。小波變換將圖像劃分為一個低頻數據和多個高頻數據。小波系數的高頻部分顯示出了原始圖像的邊緣信息，低頻部分顯示的則像原始圖像的縮略圖。文獻[4]中當某組丟失時，很難通過其他區域的圖像信息估計丟失信息，而文獻[5]的分組方法降低了壓縮效率。本文為了充分利用小波樹的高效性，首先將原始圖像小波變換后的系數分為低頻，次高頻，高頻三部分，如圖2所示。以下給出兩描述的分組方法。

圖2 空間方向樹結構

低頻系數(LL2)對于恢復圖像重建質量最為關鍵，影響到圖像平均亮度。對這部分信息采用按行或列的多相下抽樣方法，使奇偶行/列分別分配到兩個描述中，實驗比較后本文選取按行抽樣。

次高頻系數中不同方向上的小波信息表現出不同的相關性，所以對次高頻系數做基于方向性的奇偶分級[7]。對水平方向(HL2)上的信息，表現出很強的水平相關性，對這部分信息采取按列的奇偶分裂法；對于垂直方向(HL2)上的信息，它表現出很強的水平相關性，此處采用按行的奇偶分裂法；而對角線方向的信息(HH2)并沒有明顯的水平垂直相關性表現，所以對它們可采取按行、列或錯位分裂法進行信息分裂，本文實驗比較了三種分裂的效果，選取了列分裂方法。

在空間方向樹結構中可以看出，高頻系數和次高頻系數有很強的相關性。此處采用四叉樹抽樣[8]的方法，根據次高頻的分裂結果，在高頻部分將其對應于同一空間區域的不同子帶系數組合成小波塊，然后再對小波塊進行抽樣。

3 基于低頻預測的預處理方案

上章中的多描述分組編碼方法是通過小波域上的抽樣方法實現的，并不能實現描述間冗余的控制調節，而多描述編碼應能動態調整描述間的冗余度，以適應網絡環境和服務質量的要求。為解決這個問題，文獻[9-10]提出了基于預測的多描述圖像/視頻編碼冗余方案，在此把這種方法推廣到本文的預處理方案中。

低頻系數對于恢復圖像重建質量最為關鍵，顯示的像原始圖像的縮略圖，因此本文預處理方案主要針對低頻部分。其基本思想是為了在兩描述中插入一定的冗余，在低頻系數按行或列下采樣時，每個描述的低頻系數中插入額外的行或列，為了有效增加描述間的冗余，額外行或列的選取原則：假設只收到一個描述，另一個描述采用差值估計后所得值與它原先值的誤差盡量小。

其預處理方法，如圖3所示，首先把按行（列的方法相似）下采樣后的低頻系數f0(x，y)（大小為W×H）拆分為兩組，其中奇數行f1(x，y)作為組1，偶數行f2(x，y)作為組2，用插值方法由f1(x，y)估計出f2(x，y)的預測值，同樣也由f2(x，y)預測估計出組1的值，然后對f1(x，y)與以及f2(x，y)與分別進行比較，計算出每行的絕對差C1(x)和C2(x)，其中：

圖3 低頻系數的預處理過程

接著對所有的C1(x)和C2(x)分別進行排序得出S1(x)和S2(x)（其中x∈[0，W/2]）。假如要額外插入N行冗余，可由C1(x)和S1(x)結合得到組1中額外增加的行號信息Insert1(N)，用類似的方法得到Insert2(N)。此時，描述1的低頻部分可由原低頻的奇數行以及Insert1(N)中指定奇行形成，描述2中的低頻部分也由同樣的方法產生。在每個描述中，額外插入的這些信息在傳輸時作為頭文件攜帶在每個描述的數據包中。

4 差錯隱藏

上述MDC方法產生的多個描述通過不同信道傳輸，到達接收端可能有描述丟失；此外因各個信道相互獨立，同時發生傳輸失敗的可能性很小，即最少有一個描述成功傳送。只要接收端有描述收到，即能重建出不同視覺效果的圖像。分析上述描述產生方法可知，描述丟失即描述所代表的小波系數丟失。因此，從丟失的描述序列號即可知道哪些系數已經丟失，進行差錯隱藏的目的就是要恢復丟失的小波系數。

在接收端，首先解碼收到的頭文件，然后根據解壓后的頭文件分情況進行多描述解碼和差錯隱藏。由于上述多描述編碼中分別使用不同的方法對低頻，次高頻，高頻三部分進行分組，相應在解碼端也實施不同的差錯隱藏方案。

4.1 低頻系數

如果只收到一個描述（假設描述1），多描述解碼后得其小波系數，然后用這個描述的頭文件信息Insert1(N)把那些不存在的低頻系數值由鄰近的低頻系數進行差值估計。如果兩個描述都收到，那么在兩個描述中共同存在的低頻系數取其平均值，其他的行按序進行合并，這樣就能得到所有的低頻信息。

4.2 次高頻系數

如果兩個都收到，直接將兩個描述中的次高頻系數按序合并即可。如果有描述丟失，可以利用簡單的方法對其進行一定程度的恢復，公式如下：

其中h，v和d分別代表水平（horizontal）、垂直（vertical）和對角線（diagonal）方向的信息。

4.3 高頻系數

其中，ak是與Xn-k相關的權值。為了使的均方誤差（MSE）最小，最佳權值向量a=[a1a2…an]應為Yule-Walker方程的解。

其中，RXX為矩陣X的相關矩陣，在實際應用中，假設隨機序列是平穩序列，則RXX和rYX的Μ階近似值為

對于丟失的HL1，LH1，HH1等其他高頻小波分解子帶系數，其周圍有大面積的小波系數缺失，故很難用4.2節中的方案恢復，但可以利用小波系數之間的非平凡相關性，通過正確接收的和已經恢復的小波系數線性內插進行恢復[11]。

假設丟失系數Yn的估計是N個觀測值X={Xn-N，Xn-N+1，…，Xn-1}的線性組合：

在式（7）和式（8）中，Yn-1，Yn-2，…，Yn-Μ是Μ個有效采樣值，H的第i行表示與Yn-i相關的觀測值，如同{Xn-1，Xn-2，…，Xn-N}相對于Yn。

同一子帶內和不同子帶間的小波系數都存在相關性，因而用來恢復丟失小波系數的觀測值可以從其父節點中選取，也可以從其位于同一子帶的鄰域節點中選取。由于父子節點系數之間具有更強的相關性，因而利用父節點的相關系數作為觀測值通常可以獲得更好的效果，這種稱為子帶間（inter-subband）內插。丟失的小波系數Yn可以從其父節點Xn-1作如下預測：

5 仿真實驗結果及分析

為了驗證本文編碼方案的有效性，用標準Lena（512× 512，8 bit/pixel）圖像進行仿真實驗。本文中采用的是3級Daubechies9/7小波分解和SPIHT圖像壓縮編碼方法，圖像恢復質量由峰值信噪比PSNR(PSNR=10lg(2552/ΜSE)dB)表示。以下從差錯隱藏和冗余控制兩方面來驗證該算法。

表1 不同碼率下三種方案的比較

圖4 1.0 bit/pixel時三種方法下邊沿通道的恢復圖像結果

圖5 恢復圖像的PSNR

5.1 差錯隱藏

表1給出了兩描述編碼中無冗余（低頻插入行數N=0）時，不同碼率（0.2，0.4，0.6，0.8，1.0 bit/pixel）下本文方法和文獻[5]、文獻[4]圖像解碼后無差錯隱藏和經過相應差錯隱藏后恢復圖像的PSNR比較。以下表中和圖中出現的“邊沿通道”是指接收端只收到一個描述時恢復圖像的PSNR；“中央通道”為同時接收兩個描述時恢復圖像的PSNR。為了更好地說明本文差錯隱藏方案的有效性，表1中本文算法中的差錯隱藏分開三部分逐步測試，其中，“低頻”表示只有低頻部分實施差錯隱藏，而次高頻和高頻無差錯隱藏；“低+次高頻”表示低頻和次高頻部分都實施差錯隱藏，高頻部分無差錯隱藏；“低+次+高頻”表示低頻、次高頻和高頻三部分都實施了差錯隱藏。

從表1可以看出，在無差錯隱藏時，本文算法明顯好于另外兩組算法，這是因為本文算法在分組中充分利用了不同方向上的小波信息的相關性，并利用了小波樹結構中小波系數同一圖像區域各個子帶之間的相似性。加入差錯隱藏后，在上述碼率下本文圖像的PSNR值略高于文獻[5]明顯高于文獻[4]，證明了本文差錯隱藏方案的有效性。而在兩個描述同時收到時本文算法與文獻[4]相等而高于文獻[5]，這是由于這兩者都沒有改變原始SPIHT算法中小波樹的父母子女關系，使壓縮效率沒有下降。

從表1看出本文算法的優越性，圖4有更加直觀的結果，給出了碼率1.0 bit/pixel時文獻[4]、文獻[5]和本文差錯隱藏這三種方法下的邊沿通道圖像恢復質量。

5.2 冗余控制

本節的實驗結果在上述本文差錯隱藏的基礎上進行。圖5（a）和圖5（b）都是對Lena圖像在碼率為0.6 bit/pixel和1.0 bit/pixel兩種情況下，插入不同的低頻冗余行數N后，邊沿通道和中央通道得到的恢復圖像PSNR。從圖5可以看出，隨著插入的低頻系數的行數的增加，邊沿通道的編碼效率提高了，這也說明多描述編碼器抗干擾性能提高了。而且這種編碼方法能在編碼的有效性和傳輸魯棒性之間折衷控制，隨著插入行數的增加，中央信道的編碼效率略微降低，但邊沿通道的編碼效率提高，即傳輸的魯棒性提高了。因此這種多描述方法可以根據網絡狀況的不同進行冗余的靈活調節：如果帶寬比較大、信道的丟包率較高，可插入較多的冗余以提高傳輸的魯棒性；反之，若帶寬較小、信道的丟包率較低就插入較小的冗余以保證編碼效率。

6 結束語

針對圖像傳輸中存在的誤碼問題，本文提出了基于低頻預測的多描述編碼方案，把小波變換后的圖像分為低頻、次高頻和高頻三部分，并對次高頻部分做基于方向性的奇偶分解。同時為了適應網絡環境和服務質量要求的變化，使這種多描述編碼能動態調整描述間的冗余，系統采用低頻預測的預處理和后處理方案實現了描述間冗余的靈活插入。此外，針對只收到部分圖像信息的情況，解碼器實現了有效的差錯隱藏，提高了傳輸的魯棒性。

[1]Goyal V K.Multiple description coding：compression meets

the network[J].Signal Processing Magazine，2001，18（5）：74-93. [2]Liu Y Q，Wang J，Zhang H H.Depth image-based temporal

error concealment for 3-D video transmission[J].IEEE Trans

actions on Circuits and Systems for Video Technology，2010， 20（4）：600-604.

[3]Creusere C D.A new method of robust image compression based on the embedded zerotree wavelet algorithm[J].IEEE Trans on Image Processing，1997，6（10）：1436-1442.

[4]Cho S，Pearlman W A.A full featured，error-resilient，scalable wavelet video codec based on the Set Partitioning In Hierarchical Trees（SPIHT）algorithm[J].IEEE Trans on CSVT，2002，12（3）：157-171.

[5]高佳，胡波.基于小波域的圖像壓縮分組編碼及其差錯隱藏[J].復旦學報：自然科學版，2007，46（1）：54-58.

[6]Choupany R，Wong S，Tolun M.Scalable video transmission over unreliable networks using multiple description wavelet coding[C]//Digital Content，Multimedia Technology and Its Applications（IDCTA），Delft，Netherlands，2011：5-10.

[7]Tang L L，Lu Z M.SPIHT and odd-even estimation based MDC algorithm[J].International Journal of Innovative Computing，Information and Control（IJICIC），2010，6（3）：1079-1088.

[8]Lin C，Zhao Y，Zhu C.Two-stage diversity-based multiple description image coding[J].IEEE Signal Processing Letters，2008，15：837-840.

[9]楊任爾，陳懇，何加銘.基于預測的多描述圖像編碼冗余插入的研究[J].光電工程，2007，34（10）：108-113.

[10]勵金祥，鄭淑紅，楊任爾，等.基于幀的多描述視頻編碼及其差錯隱藏[J].光子學報，2010，39（5）：935-940.

[11]丁學文，楊兆選，曹繼華，等.SPIHT編碼圖像傳輸的錯誤保護技術[J].中國圖象圖形學報，2007，12（10）：1802-1805.

WANG Hongyan1,JIN Weidong2

1.School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China
2.School of Electrical Engineering,Southwest Jiaotong University,Chengdu 610031,China

To improve the transmission performance of images or video in the environment of packet loss or bit error,multiple description image coding method based on low-frequency prediction is proposed.By the unique characteristics of wavelet coefficient,wavelet transform coefficients of the original image are divided into three-part of low-frequency,minor-high frequency, high frequency,and these sections are grouped in different ways.Pre-processing and post-processing program of low frequency prediction are used to achieve redundant insertion.Error concealment algorithm to improve the robustness of transmission is realized.Simulation results have shown that this new algorithm greatly improves systems-resilience capabilities,provides flexible redundant insertion to adapt to network conditions.

image coding;multiple description coding;wavelet coefficients;pre-processing;error concealment

為了提高圖像、視頻在丟包或誤碼環境下的傳輸性能，提出了基于低頻預測的圖像多描述編碼方法。根據小波系數的獨特特點將原始圖像小波變換后的系數分為低頻，次高頻，高頻三部分，對各部分進行不同方式的分組；采用低頻預測的預處理和后處理方案，實現描述間的冗余插入；實現了差錯隱藏算法以提高傳輸的魯棒性。仿真結果表明，系統的抗誤碼能力大為提高，且可提供靈活冗余插入以適應各種網絡傳輸狀況。

圖像編碼；多描述編碼；小波系數；預處理；差錯隱藏

A

TN919.81

10.3778/j.issn.1002-8331.1112-0361

WANG Hongyan,JIN Weidong.Low frequency prediction-based multiple description image coding and error concealment.Computer Engineering and Applications,2013,49（18）：159-163.

國家自然科學基金（No.60971103）。

王紅艷（1986—），女，碩士研究生，主要研究領域為圖像壓縮編碼與傳輸；金煒東（1959—），男，教授，博導。E-mail：why_19860826@163.com

2011-12-19

2012-01-31

1002-8331（2013）18-0159-05

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1141.039.html