面向移動立體電視的高容錯編碼方案設計*

周 洋 ，彭宗舉 ，張 云

（1.杭州電子科技大學 通信工程學院，浙江 杭州 310018；2.寧波大學 信息科學與工程學院，浙江 寧波 315211）

1 引言

隨著立體顯示技術的不斷發展，立體視頻服務已越來越貼近廣大消費者，應用在手機立體電視等移動終端中[1]。與傳統的單通道視頻相比，立體視頻需兩路信號，要處理的數據量成倍增加，僅僅依靠網絡帶寬的提高和存儲容量的提升是無法從根本上解決這個問題的，需要采用高效的視頻壓縮技術，才能對立體視頻數據進行有效的存儲和傳輸。但是視頻信號在傳輸中，尤其是在無線網絡中傳輸，傳輸差錯是不可避免的，應在編碼中考慮壓縮后視頻流傳輸的穩健性。

早期的立體視頻編碼是以MPEG-2編碼標準為基礎，文獻[2]在MPEG-2標準上提出了3種編碼方案，其中聯合運動補償預測 （Motion Compensation Prediction，MCP）和視差補償預測（Disparity Compensation Prediction，DCP）的編碼方案最佳。目前的立體視頻編碼大多是基于H.264編碼標準來實現的，典型的立體編碼方法有 Simulcast編碼法[3]、運動補償預測加視差補償預測（MCP+DCP）的編碼法[4]和單視點圖像加對應深度圖的編碼法[5]。

以上立體視頻編碼主要以獲得更高的壓縮效率為目的，并未考慮壓縮后視頻流的抗差錯能力。另外，H.264等視頻壓縮標準都使用了預測編碼和可變長編碼，使得經過壓縮的數據流對于傳輸差錯特別敏感。因此，為了提高移動立體視頻編碼的抗差錯性能，筆者引入靈活宏塊排序技術（Flexible Macroblock Order，FMO），將左右視點圖像進行交織，從而使壓縮數據流的容錯性得到改善，同時也具有良好的率失真性能。

2 高容錯立體視頻編碼

圖1為本文立體視頻編碼方案的預測結構，左視點圖像存放在頂場中，右視點圖像存放在底場中，將左右圖像以宏塊為單位進行交織后合成如圖2所示的棋盤形分布圖。為了與單視點視頻服務保持兼容，立體視頻編碼預測結構中的左視點圖像（圖2中白色區域）采用基于H.264編碼標準進行獨立壓縮編碼，預測結構采用IPPP。右視點圖像（圖2中黑色區域）除了參考先前時刻的相鄰幀進行運動補償預測外，還利用視點間相關性，參考左視點相鄰幀進行視差補償預測，提高編碼的率失真性能。

新的H.264/AVC標準[6]定義了立體視頻信息的補充增強信息 （Supplemental Enhancement Information，SEI），用來表示立體視頻編碼中的一些輔助信息。因此可通過修改SEI語法元素來實現立體視頻編碼，同時由于只修改SEI內容，還能使碼流保持良好的前向兼容性。立體視頻編碼程序的具體實現步驟為：

1）將SEI中的field_views_flag設置為1，表示采用場編碼方式。并將top_field_is_left_view_flag設置為1，使頂場存放左視點圖像，底場存放右視點圖像。這樣，一幀圖像的頂場和底場分別對應立體視頻序列的左、右視點圖像。

2）為使用戶能自由選擇觀看立體視頻或單通道視頻，同時與傳統的單通道視頻服務保持兼容，這便要求立體視頻流既能完全解碼成2個通道的數據，也能只解碼1個通道的數據。因此，將語法元素left_view_self_contained_flag設置為1，將left_view_self_contained_flag設置為0，即左通道視頻只采用運動補償預測，而右通道視頻采用運動補償加視差補償的聯合預測方法。

3）采用H.264標準中FMO模式中的棋盤型模式，將各片通過宏塊分配映射表，將左右視點圖像交織成如圖2所示的宏塊位置分布圖，其中白色區域為頂場，黑色區域為底場。最后，頂場和底場合成一幀通過H.264/AVC編碼器實現立體視頻壓縮編碼。

整個具有高容錯性的棋盤式立體視頻編碼的實現框圖如圖3所示。

圖3 棋盤式立體視頻編碼實現框圖

3 實驗分析

3.1 率失真性能

為了測試本文方法的優劣，實驗仿真了Simulcast法[3]，DCP+MCP法[4]及本文方法的率失真性能。測試序列選用韓國ETRI研究所的標準立體視頻序列Puppy（見圖4）,其分辨力為720×480，具體的仿真參數設置見表1。

圖4 Puppy序列的左右視點圖像

表1 實驗仿真參數設定表

圖5為各編碼算法的率失真性能曲線。由圖5可知，本文算法性能優于單通道獨立編碼的Simulcast法，由于采用了聯合運動補償預測和視差補償預測，能實現與MCP+DCP法相似的率失真性能，但是本文算法是在SEI中改寫語法元素代碼實現的，比傳統的MCP+DCP法具有更好的與H.264標準的兼容性。

圖5 Puppy序列率失真性能曲線

3.2 抗差錯性能

壓縮后的視頻流在傳輸中，尤其是在無線傳輸中，由于信道擾動或網絡擁塞常常會出現數據包丟失，從而導致解碼出錯且錯誤不斷傳遞，影響觀看質量。對此，本方案采用了上下場宏塊交織的棋盤形排列片組編碼方式，當圖像中的某片丟失時，由于交織的作用，其周邊相關性大的相鄰塊并未丟失，有利于丟失區域的恢復。為了分析本文算法的抗差錯性能，將本文算法與具有良好率失真性能的MCP+DCP法的錯誤恢復性能進行了比較。仿真中編碼碼流的QP值為28，設右視點某幀圖像的片丟失率為10%。

圖6為出錯的右視點第6幀圖像，其中圖6a為普通出錯類型，圖6b為經棋盤形交織后的出錯類型，出錯幀經H.264校驗軟件JM10.2中的差錯隱藏程序[7]進行錯誤恢復。圖7a和圖7b分別為MCP+DCP法和本文算法編碼后碼流的差錯恢復結果，本文算法解碼后圖像的PSNR值比MCP+DCP法提高0.59 dB。

為了進一步驗證本文方法的抗差錯性能，對編碼QP值分別為22，28，34，40的碼流在傳輸中出錯的差錯恢復性能進行仿真。設片丟失率為10%，出錯區域分別位于視頻序列的不同幀、不同位置，通過重復實驗獲得平均PSNR值。表2為不同QP值下本文方法與MCP+DCP法的容錯性比較結果。它表明相比于采用傳統MCP+DCP編碼框架，在QP值為28時，本文方法的容錯性能提高0.51 dB，并隨著QP值的減小，平均PSNR增益更顯著。

表2 不同QP值下的平均PSNR增益/dB

4 小結

通過H.264/AVC標準中的立體視頻SEI來實現立體視頻編碼，直接與H.264兼容，無須改寫現有的視頻編解碼器。同時針對移動無線視頻流傳輸易出錯的問題，在編碼中利用FMO技術，將左右視點圖像宏塊交織成棋盤形分布的排列形式，提高了傳輸的容錯性。此外，采用聯合視差補償預測和運動補償預測的編碼結構，具有良好的率失真性能。

[1]TECH G，SMOLIC A，WIEGAND T,et al.Optimization and comparison of coding algorithms for mobile 3DTV[C/OL]//Proc.3DTV Conference,2009.Potsdam， Germany：3DTV-CON， 2009[2009-09-01].http：//sp.cs.tut.fi/mobile3dtv/results/conference/16_Tech%20et%20al_May09.pdf.

[2]張勇東，李桂苓.基于MPEG-2的3DTV視頻編碼方案的研究[J].電視技術，2000，24（9）：15-16.

[3]SMOLIC A， MULLER K， OSTERMANN J， et al.Coding algorithms for 3DTV－a survey[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1606-1621.

[4]李世平，蔣剛毅，郁梅.基于H.264的立體視頻編碼方法[J].計算機工程與應用，2005，41（1）：77-79.

[5]METKLE P， WANG Y， MULLER K，et al.Video plus depth compression for mobile 3D services[C/OL]//Proc.3DTV Conference，2009.Potsdam,Germany： 3DTV-CON， 2009.[2009-09-01].http：//sp.cs.tut.fi/mobile3dtv/results/conference/13_MerkleBrust20et%20al_May09.pdf.

[6]ITU-T Recommendation H.264.Advanced video coding for generic audiovisual services[S].2007.

[7]JVT reference software[EB/OL].[2009-03-07].http：//iphome.hhi.de/suehring/tml/download/old_jm/.