多陣列攝像圖像調節的MVC顏色補償方法

羅桂娥，劉 毅

中南大學 電子科學與技術研究所，長沙 410083

多陣列攝像圖像調節的MVC顏色補償方法

羅桂娥，劉 毅

中南大學 電子科學與技術研究所，長沙 410083

1 引言

隨著圖像處理技術的飛速發展，多視點視頻編碼如今有了很廣泛的應用，包括自由視點視頻、3D電視和視頻監控等方面。在國際視頻組織下多視點視頻編碼標準得到了較快的發展，這種標準是對H.264/AVC編碼標準的延伸[1]。H.264/AVC編碼標準中的時間預測和幀間預測方式也應用于多視點視頻編碼中以便提高編碼效率。然而，在多視點視頻編碼中，由于各個攝像機的性能參數很難做到完全一致，視點之間存在顏色的誤匹配，這會影響在多視點視頻編碼中的幀間預測。現有的方案一般都是利用直方圖匹配的模式或者通過加性補償模式來進行顏色補償[2]。直方圖匹配模式的一個最大缺點就是不可靠性，尤其是當視點之間有很大的重合部分時；經過補償后的圖像能夠在解碼過程中獲得，所以要獲得和原始圖像差不多的視覺圖像質量也并不需要傳輸經過顏色補償后的圖像信息。現如今已有了一些方法用來提高編碼效率。如參照亮度補償（IC）方法，可以消除不同視點之間的亮度差異和累加誤差。

也有人提出了通過聯合使用亮度補和色度補償來消除采用Y、Cb、Cr通道的誤差[3]；Yamamoto等人提出了一種基于RGB空間非線性模型的顏色補償方法，該方法對每個像素進行兩次轉換，首先從YUV到RGB模式，然后從RGB到YUV模式，但這樣計算復雜度將非常高。上面這些方法都需要在編碼端找到最佳的參考圖像并且需要傳輸一些額外的信息到解碼端。

然而視點間的差異主要是由于攝像機內部參數不一致引起的。在本文中，提出了一種顏色補償方法，該方法是在RGB顏色空間上建立顏色補償模型[4]，并進一步擴展到YCbCr顏色空間。這是因為在攝像機內部采用RGB顏色空間來表示顏色信息，而所使用的H.264/AVC編解碼視頻標準中只支持YCbCr格式的視頻。在時間域上相鄰視點間的顏色由于有些細微的變化而產生誤匹配，但是基于顏色補償的信息能夠從解碼的圖像中得到。也就是說，本文所提出的顏色補償方法不需要傳輸額外的信息。

2 顏色補償模塊

要記錄一個彩色圖像，每個攝像機必須要有3個傳感器才能捕獲每個顏色信息。現在最通用的方法就是用RGB模式來記錄每個顏色的信息。因此，每個顏色信息都需要轉換成RGB模式。為了不失一般性，本文以兩臺攝像機為例來探討顏色不匹配的情況。如圖1所示，其中一臺攝像機中的視頻信息用來編碼[5]，稱之為編碼視頻。相應的另一臺攝像機作為參照相機，其視頻稱為參考視頻。這里用fcod表示當前編碼圖像，用fref表示視點間參考圖像。假設場景中一點ο在fref中對應的點為p，在fcod中對應的點為q。把p點和q點稱為一組對應點（Corresponding points）。

圖1 視點間參考圖像和當前編碼圖像的對應點

建立顏色補償模型的主要目的是在fref基礎上構造一個經過補償處理的視點[6]間參考圖像（記為），使得與fcod的相關性大于fref和fcod的相關性，提高視點間相關性的可利用性，從而提高fcod的編碼效率。對于圖像中任意一個像素點p在參考圖像中為p′，其RGB分量可表示為Rp、Gp和Bp，YCbCr分量可分別表示為Yp、Cbp和Crp。假設參考攝像機和編碼攝像機的發射系數差異可忽略不計，且兩臺攝像機的光電轉換屬性基本相同，這樣場景中某一點入射到兩個攝像機的光信號是相同的[7]，則輸出的數字信號p和q可近似表示為：

其中，視點ο經過轉換后得到的模擬RGB信號記為r，g，b。kr，cod，kg，cod和kb，cod與kr，ref，kg，ref和kb，ref分別表示編碼攝像機和參考攝像機的RGB通道增益因子，FR(·)、FG(·)和FB(·)分別表示RGB分量的A/D轉換的特性函數。

其中，KR、KG和KB分別稱為R、G、B分量的顏色補償因子，則值可以通過式（3）計算得到：

式（2）也可以表示如下的矩陣形式：

已知YCbCr顏色空間與RGB顏色空間的關系為：

經過顏色補償后的視點間參考圖像f′ref中p′的YCbCr值可推導如下：

簡潔起見，顏色補償模式等式（7）可以改寫為：

其中，[Φ]是顏色空間轉換矩陣，可由KR、KG和KB計算得到。

3 顏色補償模式的實現

圖2給出了一個MVC預測結構的示意圖[8]。該預測結構在時間方向上，每個視點采用分層B幀預測結構以有效去除時間冗余。在視點方向上，各視點之間采用幀內預測結構以去除視點間冗余。為了不失一般性，圖2中給出了3個視點的MVC參考預測結構示意圖，其中V0是基本視點，V1和V2是非基本視點。對于每個視點，各GOP（圖像組）的最后一幅圖像只采用其他視點同時刻的圖像做參考，這些圖像稱為Anchor圖像（如I0、P0）。GOP內其他時刻的圖像稱為Non-Anchor圖像。Anchor圖像有利于提高隨機訪問性能和同步性能。Non-Anchor圖像的預測結構由其所在視點決定，P視點的Non-Anchor圖像僅采用時間預測，B視點的Non-Anchor圖像既可以采用時間預測，也可以采用視點間預測[9]。

圖2 3個視點的MVC預測結構示意圖

由式（3）可知，如果相關的像素值可得，則可以很容易得到顏色補償后的參數。但是，要得到這些相關的像素值，其計算復雜度較高。本文所提出的方法計算復雜度較低。在編碼過程中每個宏塊要找到最好的塊匹配其運動估計是一個必不可少的過程。如果相鄰視點的圖像被選做最佳匹配塊的話，則當前宏塊和匹配塊的像素值可以作為相關的像素值來計算顏色補償參數。

為了進一步降低復雜度，且根據攝像機RGB通道增益近似恒定或隨著時間變化緩慢的特性，本文提出對于一個GOP，僅在其Anchor圖像中利用解碼恢復塊及其最佳匹配塊計算KR、KG和KB。Non-Anchor圖像使用本GOP內Anchor圖像計算得到的顏色補償因子。圖3給出了顏色補償方法的實現流程圖，其具體步驟如下：

第一步：RGB的顏色補償因子KR、KG和KB初始化。編碼視點中第一幅圖像時將KR、KG和KB置1。

第二步：Anchor圖像視點間參考圖像顏色補償。對于每個GOP，在對Anchor圖像編碼之前對其視點間參考圖像采用式（8）進行顏色補償。此時Anchor圖像的顏色補償因子采用上一GOP中計算得到的值。如果當前為第一個GOP，顏色補償因子采用初始值。

第三步：Anchor圖像編碼。利用補償后的視點間參考圖像對當前Anchor圖像進行編碼。

第四步：KR、KG和KB的計算和更新。Anchor圖像完成編碼后，提取其滿足對應點選取條件的MB及其最佳匹配塊參與KR、KG和KB的計算，計算方法如下：

其中，N表示滿足對應點選取條件的像素點數，表示解碼恢復塊的RGB分量，Rref，Gref，Bref表示參考圖像中最佳匹配塊的RGB分量。

第五步：Non-Anchor圖像的視點間參考圖像顏色補償。對于GOP其他時刻的Non-Anchor圖像編碼之前，根據第四步中式（9）計算得到的KR、KG和KB對其視點間參考圖像進行顏色補償。

第六步：循環第二步到第五步，直至該視點所有的圖像編碼結束。

圖3 顏色補償方法流程圖

4 實驗結果與性能分析

為了驗證顏色補償方法的有效性，在JMVC8.3平臺上實現該方法，將它與由國際視頻編碼標準組織制定的多視點視頻編碼方案JMVM進行比較。JMVM是在第77次MPEG會議上正式發布的MVC軟件參考模型，并將該模型作為后續技術提案的公共測試平臺來衡量各技術提案的編碼增益。該方法主要是使用分層B幀預測結構獨立編碼各個視點。本實驗使用的測試序列分別為Race1，Ballroom。

首先為了驗證經過顏色補償方法補償后的視點間參考圖像與當前編碼圖像的相關性加強，圖4給出了Reac1與Ballroom序列的當前編碼圖像、原始視點間參考圖像和補償后視點間參考圖像的主觀效果。由圖4可以看出，補償后的視點間參考圖像和當前編碼圖像的相似性強于原始視點間參考圖像和當前編碼圖像的相似性。本文提出的顏色補償方法是將視點間參考圖像調節至與當前編碼圖像一致的狀態，當前編碼圖像可以不作調整。

圖4 補償后視點間參考圖像、原始參考圖像與當前編碼圖像主觀效果比較

圖5 顏色補償模式方法率失真曲線比較

本實驗還將測試序列分別使用顏色補償模式方法與原有JMVM方法，并對兩種方法進行比較，以驗證顏色補償方法對JMVC編碼效率的貢獻。圖5、圖6給出了上述測試序列的率失真曲線。本方法對YUV分量都有不同程度的增益，本文用式（10）計算總體的PSNR，并使用Bjontegaard提出的計算平均DPSNR/Dbitrate的方法進行評價，比較結果見表1，表中的值為提出方法得到的結果與JMVM方法得到的結果進行差值而得到的。DPSNR為正值表明所提出方法得到的視頻質量有了提高，Dbitrate為負值表明所提出方法編碼比特數較JMVM有所減少。

圖6 JMVM方法率失真曲線比較

表1 顏色補償模式方法與JMVM方法率失真性能比較

5 小結

多視點視頻是由一組攝像機拍攝得到的視頻序列。通常情況下，各個攝像機的性能參數很難做到完全一致，從而引起不同視點的視頻圖像之間的顏色差異。與單視點視頻編碼標準不同，在去除時間冗余和幀內冗余的同時，MVC還使用視點間參考圖像去除視點間冗余以提高編碼效率。然而，視點間參考圖像與當前編碼圖像之間存在顏色差異，降低了MVC視點間預測的效率。因此，需要對視點間參考圖像進行調節，提高視點間相關性的可利用性，從而有利于提高編碼效率。

本文提出了一種基于顏色空間轉換矩陣的MVC顏色補償方法。該方法在RGB顏色空間上建立顏色補償模型。考慮到現有視頻編碼標準只支持YCbCr顏色空間，因此該方法進一步將顏色補償模型擴展到YCbCr顏色空間。實驗結果表明，與原始視點間參考圖像相比，經過補償后的視點間參考圖像與當前編碼圖像更為相似，從而提高了MVC的編碼效率。此外，顏色補償模型參數可以分別從編碼端和解碼端推導得出，不需要將其寫入碼流進行傳輸，節省了傳輸比特數。

[1]Bjontegaard G.Calculation of average PSNR differences between RD-curves（VCEG-M33）[EB/OL].[2011-10-20].http：// ftp1.itu.ch/av-arch/video-site/0104_Aus/.

[2]Chen Y，Chen J，Cai C.Luminance and chrominance correction for multi-view video using simplified color error model[C]// Proc Picture Coding Symp，Beijing，2006.

[3]姚慶棟，畢厚杰，王兆華.圖像編碼基礎[M].3版.北京：清華大學出版社，2006.

[4]Huo J，Yang H，Chang Y，et al.Weighted prediction for MVC using color compensation（JVT-X055）[EB/OL].[2011-10-20]. http：//ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/.

[5]Lee Y，Hur J，Kim D，et al.CE11：illumination compensation（JVT-U052）[EB/OL].[2011-10-20].http：//ftp3.itu.ch/av-arch/ jvt-site/2006_10_Hangzhou/.

[6]Merkle P，Smolic A，Mueller K，et al.Efficient prediction structures for multi-view video coding[J].IEEE Trans on Circuits Syst Video Technol，2007，17（11）：1461-1473.

[7]MPEG Video.Request for amendment 14496-10：2006 Amd.4 multiview video coding[C]//76th MPEG Meeting，2006.

[8]Pandit P，Vetro A，Chen Y.JMVM 4 software（JVT-W208）[EB/OL].[2011-10-20].http：//ftp3.itu.ch/av-arch/jvt-site/2007_ 04_SanJose/.

[9]王瓊華.3D顯示技術與器件[M].北京：科學出版社，2011.

LUO Gui’e,LIU Yi

Institute of Electronic Science and Technology,Central South University,Changsha 410083,China

Multi-view video is a kind of video sequence taken by a set of cameras.Generally,it is difficult for the performance parameter of each camera to totally agree with each other,which consequently causes color differences among video images of different viewpoints.A new color compensation model is proposed for the Multi-View Video Coding（MVC）,which can efficiently use information of inter-view of mutual independent coding to reduce the color mismatch caused by multi-arrays of camera shooting.This method can establish color compensation model in RGB color space and furthermore can extend it to YCbCr color space to suit for present video code standard.Compared to the previous inter-view reference images,the modified inter-view reference pictures are more similar to the present code image which consequently improves the coding efficiency of MVC.Moreover,the color compensation parameter can be derived in both encoder and decoder,therefore no additional data need to be transmitted to the decoder.The experimental results also show that the proposed method improves the coding efficiency of MVC and obtains a better video quality.

Multi-View Video Coding（MVC）;H.264/AVC;color compensation;diversity of cameras

多視點視頻是由一組攝像機拍攝得到的視頻序列。通常情況下，各個攝像機的性能參數很難做到完全一致，從而引起不同視點的視頻圖像之間產生顏色差異。提出了在多視點視頻編碼中使用一種新的顏色補償模式，這種模式能夠有效利用相互獨立編碼的幀間視頻的信息，從而減少由多陣列攝像而帶來的顏色誤匹配。該方法在RGB顏色空間上建立顏色補償模型，并進一步將顏色補償模型擴展到YCbCr顏色空間以適用現有視頻編碼標準。與原始視點間參考圖像相比，經過補償后的視點間參考圖像與當前編碼圖像更為相似，從而提高了MVC的編碼效率。此外，顏色補償模型參數可以分別從編碼端和解碼端推導得出，不需要將其寫入碼流。實驗結果也表明提出的方法能夠提高編碼的效率和得到更好的視頻質量。

多視點視頻編碼（MVC）；H.264/AVC；顏色補償；分布式攝像

A

TP391

10.3778/j.issn.1002-8331.1112-0414

LUO Gui’e,LIU Yi.Color compensation for Multi-Video Coding based on diversity of cameras.Computer Engineering and Applications,2013,49（18）：187-190.

羅桂娥（1962—），女，教授，主要研究方向為信息融合技術，數字圖像處理，智能儀器開發；劉毅（1984—），男，碩士研究生，主要研究方向為多視點視頻編碼。E-mail：254096973@qq.com

2011-12-20

2012-03-21

1002-8331（2013）18-0187-04

CNKI出版日期：2012-05-22 http://www.cnki.net/kcms/detail/11.2127.TP.20120522.1108.005.html