立體元圖像陣列的分布式預測編碼

呂源治，王世剛，金福壽，趙 巖

（1.吉林大學通信工程學院，130012 長春;2.吉林大學 計算機科學與技術學院，130012 長春）

立體元圖像陣列的分布式預測編碼

呂源治1，王世剛1，金福壽2，趙 巖1

（1.吉林大學通信工程學院，130012 長春;2.吉林大學 計算機科學與技術學院，130012 長春）

為解決組合立體成像系統中立體元圖像陣列的存儲和傳輸問題，采用分布式預測編碼的方法對立體元圖像陣列進行壓縮.利用立體元圖像間的像素關系，將立體元圖像陣列變換成子圖像陣列;根據子圖像陣列的規律性變化，采用最優位移預測結合PRISM分布式編碼結構對子圖像陣列進行分級編碼.實驗結果表明，所提算法的率失真性能明顯優于JPEG編碼標準;在立體元圖像陣列分辨率一定的情況下，組合立體成像系統的顯示分辨率越高，本方法的壓縮性能越好，對未來高分辨率顯示的組合立體成像系統具有更好的適應能力.

組合立體成像;立體元圖像陣列;子圖像陣列;分布式編碼

組合立體顯示技術［1－2］使顯示器在一個廣泛的視野空間內呈現出連續視差的全彩色圖像，實現了裸眼真實立體顯示，成為新一代立體顯示技術的重要組成部分之一.圖1為組合立體成像系統示意圖，組合立體成像系統主要包括采集和顯示兩部分，在采集過程中(如圖1(a)所示)，當實際物體發出的光線通過透鏡陣列而被記錄在記錄媒體上時，采集設備中便獲得了一個立體元圖像陣列，陣列中的每個立體元圖像分別記錄了被拍攝物體不同位置的圖像信息.在顯示過程中(如圖1(b)所示)，將一幅立體元圖像陣列放在具有相同參數的透鏡陣列前面，根據光路可逆原理，透鏡陣列將從立體元圖像陣列上發出的光線匯聚成空間中真實存在的立體景象.

由于立體元圖像陣列所包含的信息量遠遠大于普通圖像，因此，給存儲和傳輸帶來很大困難.目前，已有很多針對立體元圖像陣列壓縮方面的論文發表.從是否進行預處理的角度進行分類，主要包括:直接對立體元圖像陣列進行壓縮［3－7］以及先進行預處理，再對生成的子圖像陣列進行壓縮［8－11］，由于后者較前者能夠更加充分的利用像素間的相關性，因此，這種預處理結構被廣泛應用于各種編碼方法中.然而，目前比較有效的壓縮算法都是將經過預處理后的子圖像陣列轉換成視頻序列，然后，按照運動圖像的編碼方法進行壓縮，這種編碼方法與靜止圖像的壓縮算法相比，雖然提高了壓縮效率，但同時引入了運動估計和運動補償，當編碼端的運算量或耗能受限時，這些算法并不適用.

圖1 組合立體成像系統

在本文的壓縮算法中，首先將立體元圖像陣列預處理成多視點子圖像陣列，然后，針對子圖像陣列的特點，采用最優位移預測結合PRISM［12］分布式編碼結構對子圖像陣列進行分級編碼.實驗結果表明，本文所提算法優于JPEG編碼標準，同時，本算法的編碼復雜度遠遠小于運動圖像編碼，因此，特別適用于耗能受限的編碼設備.

1 立體元圖像陣列變換成子圖像陣列

圖2所示為一幅立體元圖像陣列，在變換過程中，將每幅立體元圖像同一位置的像素提取出來組成一幅子圖像，將得到的所有子圖像按照組成該子圖像的像素在立體元圖像中的位置排列起來，即得到子圖像陣列［13］.

具體方法為:定義一個大小為M×N個像素的立體元圖像陣列為 II(m，n).其中，m=0，1，…，M －1;n=0，1，…，N －1為像素點在立體元圖像陣列中的位置坐標.位于第k行、第l列的一幅立體元圖像定義為

其中:u=0，1，…，U － 1;v=0，1，…，V － 1.二者分別為像素點在該立體元圖像中垂直和水平方向的位置坐標.

子圖像陣列中，第u行、第v列的一幅子圖像定義為

其中，k=0，1，…，K －1和l=0，1，…，L － 1分別為像素點在該子圖像中垂直和水平方向的位置坐標.因此，在U×V個子圖像中，每幅子圖像的分辨率為K×L.

圖3所示為變換后的子圖像陣列，從圖中可以看出相鄰子圖像間具有很強的相關性，這種相關性成為壓縮編碼的理論依據.

圖2 立體元圖像陣列

圖3 子圖像陣列

2 子圖像陣列壓縮編碼

2.1 編碼結構

本文提出一種分級編碼結構，如圖4所示.將子圖像分為3類:K、C1和C2.由于子圖像陣列中的所有子圖像間都具有很強的相關性，因此，本文只選擇其中一幅子圖像作為關鍵子圖像，該子圖像位于子圖像陣列的第一行、第一列，稱為K類子圖像，K類子圖像采用H.264的幀內編碼模式進行壓縮;C1類子圖像為陣列中除K類子圖像以外的第一行和第一列子圖像，在編碼過程中C1類子圖像只使用一個參考圖像進行編碼;C2類子圖像為陣列中除K類和C1類子圖像外的其他子圖像，C2類子圖像在編碼過程中使用兩個參考圖像進行編碼.

圖4 子圖像陣列分級編碼結構

在對子圖像陣列進行編碼時，本文采用從上至下、從左至右的逐行編碼模式.首先，對K類子圖像進行編碼;然后，分別利用各自左側相鄰的參考圖像，對第一行的C1類子圖像進行編碼，參考圖像為已編碼子圖像在編碼端的解碼圖像;在對第一行以外的其他子圖像進行編碼時，每行的第一個子圖像利用其上方相鄰的參考圖像進行編碼，該行的其他子圖像為C2類子圖像，C2類子圖像在編碼時同時使用來自左側和上方的參考圖像.

2.2 最優位移預測

圖5(a)和圖5(b)中分別示出了兩幅水平相鄰的子圖像，其中，左側為已編碼子圖像在編碼端的解碼圖像，本文將其作為右側編碼子圖像的參考圖像，從圖3和圖5中可以看出，隨著子圖像在子圖像陣列中位置的右移，拍攝對象的成像位置逐漸左移，同時，成像角度也向左偏轉.

圖5 參考圖像、編碼圖像及預測圖像

針對子圖像陣列的以上特點，本文提出一種簡單有效的最優位移預測方法.水平相鄰圖像間的預測方法為:首先，將參考圖像逐像素的向左平移，分別計算平移后圖像與編碼圖像重合部分的峰值信噪比(PSNR)，在完成指定范圍的移動后，取PSNR最大時對應的移動距離作為最優位移;然后，將參考圖像中的像素按照最優位移進行移動，并舍掉超出圖像范圍的部分，例如，由圖5(a)和圖5(b)計算得到的最優位移為2，在進行左移操作時，舍掉圖像左側移出的2列像素(如圖5(c)所示).對于移位后圖像右側出現的空隙，采用水平相鄰的像素進行填充，生成的預測圖像如圖5(d)所示.比較圖5(b)和圖5(d)可以看出，經過簡單的預測后，預測圖像與編碼圖像之間達到了很高的相似度.

垂直相鄰圖像間進行預測時，先將兩幅圖像進行轉置，然后，按照水平相鄰圖像間的預測方法進行預測.

C1和C2類子圖像均采用上述方法進行預測，不同之處在于，C1類子圖像只使用相鄰的一幅(左側的或上方的)參考圖像進行預測;而C2類子圖像分別使用相鄰的兩幅(左側的和上方的)參考圖像進行預測，比較生成的兩幅預測圖像與編碼圖像的PSNR，取PSNR較大者作為該編碼圖像的預測圖像.

2.3 K、C1和C2類子圖像編解碼

K類子圖像采用H.264的幀內編解碼結構進行編碼，為了保證在C1和C2類子圖像的預測過程中，編碼端和解碼端能夠使用相同的參考圖像，本文所設計的編碼器中都包含一個解碼器.

圖6所示為本文所提的C1和C2類子圖像的編解碼流程圖.在編碼端，首先，根據子圖像在圖像陣列中的位置判斷子圖像的類別，并為子圖像選擇對應的參考圖像，然后，采用最優位移預測方法生成編碼子圖像的預測圖像，并將計算得到的最優位移發送到解碼端，接著，將編碼圖像與其對應的預測圖像做差得到殘差圖像，計算殘差圖像中每個16×16塊的絕對值的均值，計算方法為

其中，b表示殘差塊中的一個子塊，abs(·)表示取括號內數值的絕對值，sum(·)表示對括號內的所有數值求和，nb為b中數值的數目.

本文采用文獻［10］中提到的分類方法:預先設定兩個閾值t1和t2(t2＞t1)，對于殘差圖像中某個位置的圖像塊，如果＜t1，則表明編碼圖像中該位置的圖像塊與預測圖像中相同位置的圖像塊的差異很小，編碼時，對該塊不進行編碼操作，只發送一個Skip標志，解碼端識別Skip標志后，直接將預測圖像中對應位置的塊作為解碼圖像中的塊;如果＞t2，則表明編碼圖像塊與預測圖像塊的差異很大，對該圖像塊進行與K類子圖像相同的幀內編碼;如果t1≤≤t2，則對該圖像塊進行幀間編碼，幀間編碼的具體方法將在下節中進行敘述.

在解碼端，首先，根據解碼子圖像在子圖像陣列中的位置判斷子圖像的類別并選擇對應的參考圖像，然后，根據編碼端發送來的最優位移生成預測圖像，最后，結合預測圖像對編碼碼流進行解碼，重建出解碼后的子圖像.

圖6 C1和C2類子圖像編解碼流程圖

2.4 幀間編碼

首先，將編碼圖像塊以及對應的預測圖像塊轉換成4∶2∶0的YUV格式，這樣，1個16×16的彩色圖像塊便轉換成了4個8×8的亮度子塊和2個8×8的色度子塊.然后，以8×8的子塊作為基本編碼單元，對每個編碼子塊及其對應的預測子塊分別進行DCT變換、量化及zigzag掃描，組成兩個64×1的一維數組，將兩個數組中相同位置上的系數逐對送入聯合編碼模塊中進行編碼.

在聯合編碼中，本文提出 Sign、Run、Depth、Path、Last的編碼結構.對于輸入的兩個不同系數，Sign表示這兩個系數是否同號;Run表示該對系數前相同系數的數目，Depth表示兩個系數的絕對值經過二進制轉換后，不同二進制位的最高位的位置，例如，設輸入的兩個系數分別為15和13，其中，15來自于編碼塊，其二進制表示為1111，13來自于預測塊，其二進制表示為1101，則，Depth的取值為2;Path表示不同二進制位的具體取值，上例中Path的取值為11;Last用來標記該對系數是否為數組中的最后一對不同系數.

在解碼端，首先對預測子塊進行與編碼端相同的操作，得到zigzag掃描后的量化DCT系數.然后，根據接收碼流，對預測子塊的系數進行修正，并進行反zigzag掃描、反量化和反DCT變換得到解碼后的子塊.

2.5 碼流結構

圖7所示為每幅子圖像的碼流結構.首先，發送最優位移預測方法計算得到的位移，如果該子圖像屬于C2類子圖像，則需要發送所使用的參考圖像的標志，結構中為該標志分配1bit的存儲空間，其中，0表示左側圖像，1表示上方圖像;然后，發送幀間編碼中DCT系數的量化步長;最后逐個發送16×16彩色圖像塊的編碼碼流.在發送彩色圖像塊的碼流時，首先發送該塊的編碼類型，結構中為編碼類型分配2bit的存儲空間，其中:00表示Skip類型，01表示幀內編碼，11表示幀間編碼.對于幀間編碼模式，每個子塊的碼流結構中需要發送一個 Skip標志，即，如果該子塊的量化DCT系數與對應的預測子塊的量化DCT系數完全相同，則無需進行編碼，直接跳過該塊.

圖7 子圖像的碼流結構

3 實驗結果

實驗中，分別采用本文所提算法與JPEG壓縮標準對圖2進行壓縮，圖2中包含128×80個立體元圖像，每個立體元圖像的分辨率為10×10，兩種壓縮算法的率失真性能曲線如圖8所示.從圖8中可以看出，本文所提算法的率失真性能明顯優于JPEG壓縮標準，其原因在于:首先，本文所提算法對立體元圖像陣列進行了預處理，變換后的子圖像陣列中相鄰像素間的相關性大大增強，在進行離散余弦變換時能夠更好地將圖像的能量集中在低頻部分;其次，在編碼過程中，本文設計了一種簡單有效的最優位移預測方法，對子圖像陣列進行預測編碼，這種編碼結構將靜止圖像編碼轉換成了一種類似于運動圖像的編碼方式，實現了低復雜度的立體元圖像陣列預測編碼.

圖8 本文所提算法與JPEG標準的率失真性能比較

顯示分辨率的不斷提高是圖像顯示技術發展的普遍規律，組合立體成像系統的顯示分辨率取決于立體元圖像陣列中立體元圖像的數量，圖9所示為一幅與圖2的拍攝對象相同的立體元圖像陣列，不同的是圖9中包含160×100個立體元圖像，每個立體元圖像的分辨率為8×8，也就是說圖9的顯示分辨率為160×100，而圖2的顯示分辨率為128×80.

圖9 顯示分辨率為160×100的立體元圖像陣列

實驗中，使用本文所提方法對圖9中的立體元圖像陣列進行編碼，并與圖8中的結果進行比較，比較結果如圖10所示，從圖中可以看出，本文所提算法對高分辨率顯示的立體元圖像陣列具有更好的率失真性能，其原因在于，隨著顯示分辨率的提高，每個子圖像中拍攝對象的像素分布更加柔和，相鄰子圖像間的相關性更強，從而提高了預測精度，減少了編碼碼流.

圖10 本文所提算法在不同顯示分辨率下的性能比較

4 結論

1)本文在PRISM分布式編碼結構的基礎上提出了一種適合于立體元圖像的編碼方法.首先，對立體元圖像陣列進行預處理，將其轉換成子圖像陣列;然后，根據子圖像陣列中每個子圖像間的高度相關性，提出一種簡單有效的最優位移預測方法，實現了低復雜度的立體元圖像預測編碼.

2)仿真結果表明:本文所提算法的編碼性能優于JPEG標準，同時，隨著組合立體成像系統顯示分辨率的提高，本方法表現出了更好的率失真性能，對未來組合立體成像系統的發展具有很好的適應能力.

［1］LVES H E.Optical properties of a lippmann lenticulated sheet［J］.Journal of the Optical Society of America，1931，21(3):171－176.

［2］PARK J H，HONG K，LEE B.Recent progress in threedimensional information processing based on integral imaging［J］.Applied Optics，2009，48(34):H77 － H94.

［3］FORMAN M C，AGGOUN A，MCCORMICK M.A novel coding scheme for full parallax 3D－TV pictures［C］//Proceedings of the IEEE International Conference on Acoustics，Speech，and Signal Processing.Munich，Germany:IEEE，1997:2945－2947.

［4］AGGOUN A.A 3D DCT compression algorithm for omnidirectional integral images［C］//Proceedings of the IEEE International Conference on Acoustics，Speech，and Signal Processing.Toulouse，France:IEEE，2006:II－517－II－520.

［5］JEON Ju－II，KANG Hyun－Soo.Enhanced three－dimensional discrete cosine transform based compression method for integral images by adaptive three－dimensional block construction［J］.Journal of Applied Optics，2010，49(30):5728－5735.

［6］ELHARAR E，STERN A，HADAR O，et al.A hybrid compression method for integral images using discrete wavelet transform and discrete cosine transform［J］.Journal of Display Technol，2007，3(3):321 －325.

［7］YAN P，XIANYUAN Y.Integral image compression based on optical characteristic［J］.Journal of IET Computer Vision，2011，5(3):164－168.

［8］AGGOUN A，MAZRI M.Wavelet－based compression algorithm for still omnidirectional 3D integral images［J］.Journal of Signal Image and Video Process，2008，2(2):141－153.

［9］AGGOUN A.Compression of 3D integral images using 3D wavelet transform［J］.Journal of Display Technology，2011，7(11):586－592.

［10］KANG H H，SHIN D H，KIM E S.Compression scheme of sub－images using Karhunen－loeve transform in three－dimensional integral imaging［J］.Journal of Optics Communications，2008，281(14):3640－3647.

［11］YOO C H，KANG H H，KIM E S.Enhanced compression of integral images by combined use of residual images and MPEG － 4 algorithm in three－dimensional integral imaging［J］.Journal of Optics Communications，2011，284(20):4884－4893.

［12］PURI R，MAJUMDAR A，RAMCHANDRAN K.PRISM:A video coding paradigm with motion estimation at the decoder［J］.Journal of Image Processing，2007，16(10):2436－2448.

［13］PARK J H，KIM J，LEE B.Three－dimensional optical correlator using a sub－image array［J］.Journal of Optics Express，2005，13(13):5116－5126.

Distributed prediction coding for elemental image array

LU Yuan-zhi1，WANG Shi-gang1，JIN Fu-shou2，ZHAO Yan1

(1.School of Communication Engineering，Jilin University，130012 Changchun，China;2.School of Computer Science and Technology，Jilin University，130012 Changchun，China)

To solve the problem of storage and transmission of elemental image array in the integral imaging，the distributed prediction coding method is used to compress the elemental image array.First，the elemental image array is transformed to sub-image array according to the pixel relationship between the elemental images，then the hierarchical coding of the sub-image array is performed via the optimal displacement prediction combined with PRISM distributed coding structure in line with the regular changes of the sub-image arrays.The experiment results indicate that the method is obviously prior to the JPEG in the rate distortion property，and when the resolution of the elemental image array is fixed，the higher the display resolution of the integral imaging，the better the compression performance of the method，which will make it have better adaptability in the high display resolution integral imaging in the future.

integral imaging;elemental image array;sub-image array;distributed coding

TN919.81

A

0367－6234(2012)11－0087－05

2012－04－06.

國家自然科學基金資助項目(U0935001);吉林省科技發展計劃基礎研究項目(20090506);吉林省科技發展計劃項目(20100306).

呂源治(1986—)，男，博士研究生;

王世剛(1962—)，男，教授，博士生導師.

呂源治，lyz123489@163.com.

(編輯 楊 波)