多視角分布式視頻編碼中基于置信度的時空邊信息融合

黃碧波　唐振華,2,3*　覃團發,2,3

1(廣西大學計算機與電子信息學院　廣西 南寧 530004)2(廣西多媒體通信與網絡技術重點實驗室培育基地　廣西 南寧 530004)3(廣西高校多媒體通信與信息處理重點實驗室　廣西 南寧 530004)

?

多視角分布式視頻編碼中基于置信度的時空邊信息融合

黃碧波1唐振華1,2,3*覃團發1,2,3

1(廣西大學計算機與電子信息學院廣西 南寧 530004)2(廣西多媒體通信與網絡技術重點實驗室培育基地廣西 南寧 530004)3(廣西高校多媒體通信與信息處理重點實驗室廣西 南寧 530004)

在現有的多視角分布式視頻編碼MDVC(Multi-view Distributed Video Coding)邊信息SI(side information)生成方法中，時間與空間邊信息的融合未能有效地選擇和提取兩種邊信息的可靠部分。針對這個問題，提出一種基于置信度的時空邊信息的融合方法。利用時間和空間邊信息的可靠性模版以及時空置信度的模版，獲得時空融合模版；然后，利用時空融合模版從時間邊信息與空間邊信息中選擇出最優的像素組成最終的融合邊信息。實驗結果表明，在相同碼率的條件下，獲得的峰值信噪比PSNR(Peak Signal to Noise Ratio)相比于時間主導融合方法最高有0.79 dB的提升，相比于時空補償融合模板最高有0.58 dB的提升。此外，獲得的重構幀能有效地保留原始圖像的細節部分。

多視角分布式視頻編碼邊信息融合置信度

0　引　言

多視角分布式視頻編碼MDVC[1]是將分布式視頻編碼DVC(Distributed Video Coding)[2]與多視角視頻編碼MVC(Multi-view Video Coding)[3]相結合的視頻編碼方法。MDVC有機地融合了DVC將編碼端復雜度轉移到解碼端的特點以及MVC中的視差預測技術，適合于由多個資源受限的終端設備組成的無線視頻應用，如無線視頻監控和無線視頻傳感器網絡等。MDVC采用Wyner-Ziv(WZ)編碼方式[4]時，由于WZ幀經編碼之后僅將校驗位傳遞到解碼端，解碼端需利用已解碼的信息生成一個WZ幀的估計，即邊信息SI來輔助解碼。在相同的重構視頻質量的條件下，邊信息的質量越好，解碼所需要的校驗位就越少，所需要的編碼碼率越小。MDVC解碼過程中將生成兩種邊信息：時間邊信息與空間邊信息。一般而言，時間邊信息能較好地保留背景部分，空間邊信息能較好地保留前景部分，利用融合模版將時間邊信息與空間邊信息相融合能有效地提高最終邊信息的質量[5]。

目前，針對時間邊信息與空間邊信息的融合方法主要有三類。第一類是在像素層面上生成針對時間邊信息可靠程度的模版，并以此為基準生成最終的融合模版，稱為時間主導融合模版，空間邊信息在融合過程中只是起輔助作用。文獻[6]首先提出該類邊信息融合方法，在編碼端得到二進制的時間像素轉移模版；然后在解碼端利用這個模版與已經解碼的WZ幀的前后兩幀來生成一個相關幀；最終的融合邊信息的像素采用時間邊信息與空間邊信息中更接近相關幀的像素值。然而，該方法存在三個缺點：1) 實際生成時間邊信息或者空間邊信息要經過像素內插，相關幀的參考價值下降；2) 融合模版的生成過程中沒有判斷空間邊信息可靠性，最終融合的效果也會下降；3) 需要編碼端生成像素轉移模版，會增加編碼端的計算與傳輸的開銷，違背了分布式視頻編碼中編碼盡量簡單的原則。

第二類方法是在像素層面上生成針對空間邊信息可靠程度的模版，對空間邊信息中不可靠的位置采用時間邊信息對應位置的像素值，稱為空間補償融合模版。代表方法是Maugey等人提出基于密集視差的邊信息融合模板生成方法[7]。該方法利用計算機視覺中相關技術生成左右視角的視差圖，然后對視差圖中顯著的位置采用空間邊信息，其余位置選用時間邊信息。由于目前生成視差圖的方法在精確度上都有所欠缺，不能在像素層面上有效地實現前景與背景的區分。Zhang等人提出基于運動矢量映射與3D曲線的邊信息融合模板生成方法[8]。該方法利用左右視角在3D曲面上的差異，以左右視角為基準生成兩個空間像素轉移模板，相互異或得到最終的像素轉移模板。該方法充分考慮了同一個物體在左右視角中成像的輪廓的差異，能夠極為準確地獲得空間邊信息的可靠程度。但是，由于沒有分析時間邊信息的可靠程度，若空間邊信息的生成質量不高時，融合的效果很差。

第三類方法是在像素層面上分別得到時間邊信息與空間邊信息的可靠性模版，綜合分析得到最終的融合模版，稱為時空補償融合模版。代表技術為Brites等人在文獻[9]中提出的時空轉移融合TVDF(Time-View Driven Fusion)技術。在解碼端對時間上WZ幀的前后兩幀與時間邊信息兩兩做殘差運算，對得到的殘差圖像進行處理得到三個像素可靠性模版，綜合分析得到時間邊信息的可靠性模版。利用計算機視覺中投影矩陣得到左右視角向中間視角的投影圖像，分別結合WZ幀的前一幀，按照時間殘差幀的生成辦法得到兩個投影圖像的可靠性模版，綜合分析得到空間邊信息的可靠性模版。綜合分析時間邊信息與空間邊信息的可靠性模版，得到最終的時空融合模版。相比于前兩種方法，TVDF方法能有效地提高最終的時空融合邊信息的效果，不受時間邊信息與空間邊信息質量的影響。但是該方法主要存在兩個缺點：1) 空間像素轉移模版的生成方法需要使用攝像機參數中的投射矩陣，而如今的攝像機大部分都是變焦的，焦距的改變會改變投射矩陣，在現實環境中很難實現；2) 沒有區分時間與空間邊信息在相同位置上的置信度。只是認為在時間邊信息不可靠而空間邊信息可靠時，選用空間邊信息對應位置的像素值，沒有分析更多的情況。

為了解決上述時空邊信息融合方法中存在的問題，本文提出一種基于置信度的時空邊信息融合方法。該方法利用時間邊信息生成階段得到的運動矢量與空間邊信息生成階段得到的視差向量，得到時間與空間邊信息之間的置信度；再結合時間像素轉移模版與空間像素轉移模版，得到最終的時空融合模版，進而獲得最終的時空融合邊信息。

1　多視角分布式視頻編碼框架

本文采用文獻[9]中的多視角分布式視頻編碼框架。如圖1所示，以三個視角聯合編碼為例，對左右視角與中間視角的關鍵幀(K幀)采用傳統的幀內編碼，中間視角的WZ幀采用Wyner-Ziv編碼，具體流程如下：在編碼端對WZ幀進行DCT變換和量化，對量化系數進行低密度校驗編碼LDPC(Low Density Parity Code)，將得到的校驗位存放在緩存器中；在解碼端利用中間視角的前后幀生成時間邊信息，左右視角相同時刻已經解碼的幀生成空間邊信息，經過視角融合得到最終的邊信息；將邊信息傳遞到相關噪聲建模CNM(Correlation Noise Model)模塊，得到相關噪聲系數；LDPC解碼器利用邊信息、相關噪聲系數與從緩存器中得到的校驗位得到解碼后的碼流；經過重構與反DCT變換得到最終解碼后的視頻幀。

圖1　多視角分布式視頻編碼框架

2　基于置信度的時空邊信息融合方法

現有時空邊信息融合方法中主要存在兩個問題：1) 在生成時空融合模版時，只單獨確認了時間邊信息或空間邊信息的可靠程度，沒有對兩種邊信息地可靠程度進行區分；2) 沒有充分分析所有可能的情況，簡單地在時間邊信息不可靠時采用空間邊信息或空間邊信息不可靠時采用時間邊信息，沒有提出當時間邊信息與空間邊信息都可靠或都不可靠時的處理辦法。針對這兩個問題，本文提出了一種基于置信度的時空邊信息融合方法，具體實現框架如圖2所示。

圖2　時空邊信息融合模版生成框架

2.1時間邊信息可靠性模版生成

(1)

其中，D(x,y)代表殘差圖像的像素值，x為水平方向坐標，y為垂直方向的坐標。

(2) 直方圖均衡化。原始的殘差圖在很多區域的值過于集中，無法準確進行可靠性區分。為了獲得更加明顯的差異，需要對其進行直方圖均衡化處理[11]。計算殘差圖像中像素的累計歸一化直方圖Dc，并記錄殘差圖像中的最大值PMAX與最小值PMIN。最終均衡化的結果為DE，其計算公式為：

DE(x,y)=Dc[D(x,y)]×(PMAX-PMIN)+PMIN

(2)

θ=(μ0+μ1)×0.5

(3)

直到θ的值趨向穩定，最后得到歸一化圖像S：

(4)

(5)

其中，FT的值為0代表時間邊信息中的像素值是可靠的，對應原始WZ幀中背景的部分；1代表時間邊信息中該位置的像素值不可靠，對應原始WZ幀中前景的部分。

2.2空間邊信息可靠性模版生成

(2) 空間邊信息可靠性模版生成。由于左右視角存在邊界或遮蓋等情況，空間邊信息不完全是由左右視角相同物體的像素取均值得到，實際操作中可能單獨使用了左視角或者右視角的像素值。為了更好地表示空間上左右視角之間像素的差異性，空間像素模版FS采用三種值表示不同的可靠程度。

(6)

其中，如果FS的值為2，表示空間邊信息中該位置是可靠的，對應原始WZ幀的前景部分；如果為0，則代表空間邊信息中該位置完全不可靠，對應原始WZ幀的背景部分；1則代表該空間邊信息在該位置的可靠性未知。

2.3時空置信度模版生成

雖然時間與空間可靠性模版FT與FS能較好地體現時間邊信息SIT、空間邊信息SIS與原始WZ幀的相似程度，但是當FT與FS所代表的位置都可靠或者都不可靠時無法進行可靠程度區分，即無法判斷此時SIT與SIS誰更接近原始的WZ幀。為了解決這個問題，本文提出一種基于像素的時空置信度模版FT&S的生成方法。

Dufaux在文獻[13]提出用像素差異表示置信度的篩選原則。在邊信息的生成過程中大部分區域都是采用像素內插的方法，若WZ幀在時間上前后兩幀對應的映射塊的差異越大，說明時間邊信息在該映射塊位置與原始WZ幀的差異越大，空間邊信息也遵循這個原則。本文采用絕對差值和SAD(sum of absolute difference)表示塊之間差異，若WZ幀的基準塊在空間上左右視角中的映射塊之間的差異值SADS小于在時間上前后兩幀的映射塊之間的差異值SADT，說明空間邊信息在這個基準塊的位置上更接近原始的WZ幀，反之則時間邊信息更接近。

直接使用塊進行操作會降低最終結果的精確度，即使時間邊信息對應塊的置信度更高，也可能存在空間邊信息對應塊中部分像素更接近原始的WZ幀的情況。為了解決這個問題，本文對塊內像素按照該塊的運動矢量和視差向量的映射分別計算差的絕對值并進行對比。實際操作中運動矢量和視差向量存在很多錯誤，需要對對應塊之間的SAD值和像素之間的差異值進行限定，具體步驟如下：

步驟1越界判斷。以像素為單位，代入該像素所屬塊的時間運動矢量MV與空間視差向量DV，并判斷對應的像素的位置是否越界。如果代入MV后沒有越界而DV越界，表示時間邊信息更可靠，將該像素位置的FT&S的值設為0；如果代入DV后沒有越界而MV越界，則表示空間邊信息更可靠，將其設為1；如果代入DV與MV都越界，表示時間邊信息與空間邊信息可靠性未知，將其設為2。通過越界判斷可以確保MV與DV對應的位置存在。

步驟2塊可靠性判斷。計算待處理像素所屬的塊代入MV后在時間上前后幀中對應塊之間的絕對差值和SADT，與代入DV后空間上左右視角在當前時刻的幀中對應塊之間的絕對差值和SADS。設置閾值TB，當SADT小于TB而SADS大于該閾值時，該像素位置FT&S的值設置為0；當SADT大于TB而SADS小于該閾值時設為1；當SADT與SADS都大于TB時設為2；當SADT與SADS都小于TB時進行下一步操作。

步驟3像素可靠性判斷。計算待處理像素位置代入MV后在時間上前后幀對應位置像素值之間的差異PixelT，代入DV后在空間上左右視角在相同時刻的幀對應位置像素值之間的差異PixelS。設置閾值TP，當PixelT小于TP而PixelS大于該閾值時，該像素位置FT&S的值設置為0；當PixelT大于TP而PixelS小于該閾值時設為1；當PixelT與PixelS都大于TP時設為2；當PixelT與PixelS都小于TP時進行下一步操作。

步驟4最終置信度模板生成。經過步驟1-步驟3的操作后可以認為PixelT與PixelS分別代表時間與空間邊信息在該像素位置的置信度。當PixelT小于PixelS時，該像素位置FT&S的值設置為0；當PixelT大于PixelS時設為1；當PixelT等于PixelS時設為2。

2.4時空融合模版生成

通過2.1節、2.2節和2.3節可以分別得到生成過程不相關的三個模板，最終時空融合模板的生成需要確定不同模板之間的權重。當時間邊信息質量遠超空間邊信息時，以時間邊信息可靠性模板為主，用空間邊信息可靠性模板與時空置信度模板進行輔助糾正；當空間邊信息效果超過時間邊信息時，以空間邊信息可靠性模板為主；當時間運動矢量與空間視差向量準確度較高時，時空置信度模板最為接近理想狀況。

目前，時間邊信息的生成方法較為成熟，而空間邊信息的生成方法對不同景深、視差的序列的結果存在較大差異[14]。為了克服上述問題，本文采用以時間像素轉移模板與空間像素轉移模板為主，用時空置信度模板輔助生成時空融合模板F(x,y)，具體步驟如下：

(1) 當FT(x,y)值為0以及FS(x,y)值為0或1時，說明圖像中(x,y)位置上的時間邊信息可靠而空間邊信息不可靠。此時，F(x,y)的值設為0，表示時空融合邊信息在該位置采用時間邊信息中對應位置的像素值。

(2) 當FT(x,y)值為1而FS(x,y)值為2時，圖像中(x,y)位置上時間邊信息不可靠而空間邊信息可靠。F(x,y)的值設為1，表示時空融合邊信息在該位置采用空間邊信息中對應位置的像素值。

(3) 當FT(x,y)值為0而FS(x,y)值為2時，圖像中(x,y)位置上時間邊信息與空間邊信息都可靠，需要利用時空置信度模板進行進一步區分。若FT&S在(x,y)位置的值為0，則F(x,y)的值為0；若FT&S為1，則F(x,y)的值設為1；如果FT&S值為2，表明時間上前后幀的差異要小于空間上左右幀的差異，可將F(x,y)的值設為0。若序列在時間上變化遠大于空間上的差異，則F(x,y)的值設為1。

(4) 當FT(x,y)值為1而FS(x,y)的值為0時，圖像中(x,y)位置上時間邊信息與空間邊信息都不可靠，與(3)相同。

(5) 當FT(x,y)值為1而FS(x,y)的值為1時，時間邊信息不可靠而空間邊信息可靠性未知。若FT&S在(x,y)位置的值為0，則F(x,y)的值設為0；若FT&S值為1或者2，則F(x,y)的值為1。

由于利用了時空置信度模板，并考慮了各種可能情況，故本文提出的時空融合模版生成方法得到的融合邊信息更加接近實際的WZ幀。

3　實驗結果及分析

本文的仿真實驗平臺采用以基于LDPC碼的DCT域的Wyner-Ziv編碼系統[2]為基礎的多視角分布式視頻編解碼系統。實驗采用ballroom、vassar與exit這三個序列，視頻序列的分辨率為176×144，格式為YUV420，長度為50幀。實驗中，編碼結構設為IPIPIPIP，幀率為20幀/秒。采用JPEG的幀內編碼方式對左右視角與中間視角的K幀進行編碼，WZ幀與K幀都采用JPEG量化碼表。本實驗中出現的參數設為TB=500，TP=25。時間邊信息生成方法采用傳統的時間運動內插補償[9]，空間邊信息生成方法采用傳統的視角預測視差補償[5]，對比算法采用在線的以時間主導融合方法[5]與時空補償融合方法[8]。

圖3給出了在三個算法在三個序列中的率失真(R-D)曲線。從圖中可以看出，本文的時空融合方法在不同序列、量化級別下都有一定程度的提升。在vassar序列中碼率為177.41 kbps時相比于時間主導融合方法，峰值信噪比的提升最大為0.79 dB。這主要是由于這個序列中空間邊信息的結果相對較好，而時間主導融合方法對空間邊信息利用較差。在exit序列中碼率為324.40 kbps時相比于時空補償融合模板，峰值信噪比提升最大為0.58 dB。這主要是由于這個序列的景物深度差異很大，時間邊信息與空間邊信息的結果都不太好，而時空補償融合模板沒有對時間邊信息與空間邊信息的可靠程度進行區分。在ballroom序列中，三個算法效果相當，本文的算法略優。出現這種情況主要是由于該序列中時間邊信息與空間邊信息的結果都較為優秀，不論采用哪種邊信息，結果差異不大，由于本文綜合分析了所有可能情況，因此效果相對最優。

圖3　三種序列的R-D曲線

為了更加詳細比較上述三種融合方法的性能，表1給出了ballroom、vassar和exit視頻序列在不同量化系數和不同時空邊信息融合方法下WZ系統的平均PSNR與平均碼率。從表1可以看出，本文提出的基于置信度的時空邊信息融合方法在不同的量化系數下達到相同PSNR所需的平均碼率均小于時間主導融合方法與時空補償融合方法。這主要是由于本文的方法對時間邊信息與空間邊信息的可靠程度進行了區分，并分析了所有可能性。在計算復雜度沒有明顯增加的情況下，能夠有效地降低MDVC系統的碼率，提高壓縮性能。

表1　ballroom、vassar和exit對應的平均PSNR值和平均碼率

圖4給出了vassar序列的第二幀在量化參數Q=0.5的情況下采用不同融合模板得到的融合邊信息的視覺效果。可以看出，本文算法能最好地保留圖像中汽車和門的邊框部分。時間主導融合方法沒有分析空間邊信息的可靠性，無法剔除空間邊信息中不可靠的部分。時空補償融合方法由于沒有引入對時間邊信息與空間邊信息可靠程度的分級，沒有選擇出時間邊信息與空間邊信息中最優的部分。

圖4　vassar序列中第二幀在不同實驗下視覺對比圖

4　結　語

本文針對現有時空邊信息融合中存在的問題，提出了一種基于置信度的時空邊信息融合方法。該方法利用邊信息生成階段得到的時間上的運動矢量與空間上的視差向量得到時空置信度模板，再結合時間邊信息可靠性模板與空間邊信息可靠性模板，得到最終的時空融合模板。在相同碼率下，相比于時間主導融合方法最高有0.79 dB的提升，相比于時空補償融合模板最高有0.58 dB的提升。此外，本文的算法能較好地保留圖像中的細節部分，主觀效果更加優秀。

[1] Guo X,Lu Y,Wu F,et al.Distributed multi-view video coding[C]//Visual Communications and Image Processing,Florida,United States,April 17-21,Bellingham:SPIE,2006.

[2] Girod B,Aaron A M,Rane S,et al.Distributed video coding[J].Proceedings of the IEEE,2005,93(1):71-83.

[3] Hannuksela M M,Rusanovskyy D,Su W,et al.Multiview-video-plus-depth coding based on the advanced video coding standard[J].IEEE Transactions on Image Processing,2013,22(9):3449-3458.

[4] Xu Q,Xiong Z.Layered wyner-ziv video coding[J].IEEE Transactions on Image Processing,2006,15(12):3791-3803.

[5] Brites C,Pereira F.Multiview side information creation for efficient Wyner-Ziv video coding:Classifying and reviewing[J].Signal Processing:Image Communication,2015,30(1):1-36.

[6] Ouaret M,Dufaux F,Ebrahimi T.Multiview Distributed Video Coding with Encoder Driven Fusion[C]//European Conference on Signal Processing,Poznan,Poland September 3-7,Poznan:Eusipco Proceedings,2007:2100-2104.

[7] Maugey T,Miled W,Pesquet-Popescu B.Dense disparity estimation in a multi-view distributed video coding system[C]//IEEE International Conference on Acoustics,Speech and Signal Processing,Taipei,Taiwan,April 19-24,New York:IEEE,2009:2001-2004.

[8] Zhang Q,Liu Q,Li H.Distributed residual coding for multi-view video with joint motion vector projection and 3-D warping[C]//IEEE International Symposium on Circuits and Systems,Rio de Janeiro,May 15-18,New York:IEEE,2011:2905-2908.

[9] Brites C,Pereira F.Epipolar Geometry-based Side Information Creation for Multiview Wyner-Ziv Video Coding[J].IEEE Transactions on Circuits & Systems for Video Technology,2014,24(10):1771-1786.

[10] Abou-Elailah A,Dufaux F,Farah J,et al.Fusion of global and local motion estimation for distributed video coding[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(1):158-172.

[11] Lee C,Lee C,Lee Y Y,et al.Power-constrained contrast enhancement for emissive displays based on histogram equalization[J].IEEE Transactions on Image Processing,2012,21(1):80-93.

[12] Ascenso J,Brites C,Pereira F.Content adaptive Wyner-Ziv video coding driven by motion activity[C]//IEEE International Conference on Image Processing,Atlanta,New York:IEEE,2006:605-608.

[13] Dufaux F.Support vector machine based fusion for multi-view distributed video coding[C]//17th International Conference on Digital Signal Processing,Corfu,July 6-8 2011.New York:IEEE,2011:1-7.

[14] Fu X,Liu J,Guo J,et al.Novel Side Information Generation Algorithm of Multiview Distributed Video Coding for Multimedia Sensor Networks[J].International Journal of Distributed Sensor Networks,2012,143(4):869-876.

TEMPORAL AND SPATIAL SIDE INFORMATION FUSION BASED ON CONFIDENCE LEVEL IN MULTI-VIEW DISTRIBUTED VIDEO CODING

Huang Bibo1Tang Zhenhua1,2,3*Qin Tuanfa1,2,3

1(School of Computer and Electronic Information,Guangxi University,Nanning 530004,Guangxi,China)2(GuangxiKeyLaboratoryofMultimediaCommunicationsandNetworkTechnology(CultivatingBase),GuangxiUniversity,Nanning530004,Guangxi,China)3(GuangxiCollegesandUniversitiesKeyLaboratoryofMultimediaCommunicationsandInformationProcessing,GuangxiUniversity,Nanning530004,Guangxi,China)

In current side information (SI) generation methods for multi-view distributed video coding (MDVC), the fusion of temporal and spatial SI fails to effectively select and extract the reliable parts of two SI. To address this issue, we propose a confidence level-based temporal and spatial SI fusion method. The method utilises the reliability mask of temporal and the spatial SI as well as spatiotemporal confidence mask to obtain the temporal and spatial fusion mask; then it uses fusion mask to select the optimal pixels from temporal and spatial SI for generating final fusion SI. Experimental results show that, under the condition of same bit rate, the peak signal to noise ratio (PSNR) obtained by this fusion method gains the improvement up to 0.79 dB than the temporal-leading fusion method, and the improvement up to 0.58 dB compared with the temporal-spatial compensating fusion mask. In addition, the reconstructed frame obtained can effectively preserve the details of the original image.

Multi-view distributed video codingSide information fusionConfidence level

2015-05-26。國家自然科學基金項目(61461006，6126 1023)；廣西自然科學基金項目(2013GXNSFBA019271)；廣西高校科學技術研究項目(YB2014322)。黃碧波，碩士生，主研領域：多視角分布式視頻編碼。唐振華，副教授。覃團發，教授。

TP919.8

A

10.3969/j.issn.1000-386x.2016.09.032