一種基于H.264的立體視頻數(shù)據(jù)嵌入方法

高民芳，季曉勇

（南京大學(xué) 電子科學(xué)與工程系，江蘇 南京 210093）

1 引言

目前研究立體圖像的方法很多，如有關(guān)對(duì)象的搜索匹配方法、資源最小化方法、參照物方法、圖像移動(dòng)旋轉(zhuǎn)等方法從單目圖像獲取三維信息。隨著算法復(fù)雜化，不少人致力于從單目圖像獲取三維信息，其優(yōu)點(diǎn)在于傳輸圖像時(shí)僅需傳輸一路圖像，而可以從解碼端進(jìn)行立體解碼，這方面的例子很多，如Fang-Hsuan Cheng分析了普通單目視頻序列的深度信息[1]，無(wú)需額外信息從背景中鑒別出前景，并通過移動(dòng)前景的像素點(diǎn)來(lái)得到雙目的圖像。文獻(xiàn)[2]提出一種加強(qiáng)型算法，它是將圖像重建算法與圖像匹配算法相結(jié)合，通過改進(jìn)的SFS算法[3]重構(gòu)3D形狀,在所有改進(jìn)的SFS算法中，Yaohui Hu等選擇了最簡(jiǎn)單快速的線性估計(jì)方法[4]、模擬人眼視覺模型、互相關(guān)信息算法MI[5]、及l(fā)ika的算法[6]來(lái)實(shí)現(xiàn)，也可利用PV插值等來(lái)提高算法的速度和準(zhǔn)確度。文獻(xiàn)[7]則指出，Horn和他的工作伙伴在20世紀(jì)70年代就開始致力于從2D圖形中陰影的形狀構(gòu)造出3D圖像表面形狀的深度信息的工作，他們將實(shí)現(xiàn)的方法劃分為直接和間接兩種情況，前者通過測(cè)量或者光照結(jié)構(gòu)來(lái)恢復(fù)深度信息，后者則通過觀察灰度圖中可視物體所顯示出來(lái)的線索來(lái)判斷其相對(duì)深度信息。W.M.Sheta等人也提出了一種基于基因遺傳算法的優(yōu)化方法[8]，打破了只通過改進(jìn)算法來(lái)提高計(jì)算效率的瓶頸問題，從有效開發(fā)整個(gè)搜索空間的效率著手，實(shí)現(xiàn)在準(zhǔn)確性以及高效性上的優(yōu)化。但只通過不同塊之間的對(duì)比或者清晰度來(lái)判斷不同塊的相對(duì)遠(yuǎn)近,不可能從二維圖像獲得精確的深度信息。現(xiàn)在雙目攝像頭普遍存在，利用雙目攝像頭獲取的雙路視頻圖像編碼，可以更精確地恢復(fù)立體圖像原有的信息，播放時(shí)給人一種更為真實(shí)的立體場(chǎng)景，也可以簡(jiǎn)化解碼器的復(fù)雜度。

2 算法分析及其流程控制

筆者提出一種全新的研究方向，在對(duì)立體視頻圖像進(jìn)行編碼[9]過程中，將運(yùn)動(dòng)矢量或者視差矢量嵌入到參考圖像中，實(shí)現(xiàn)立體視頻圖像的單路傳輸。

根據(jù)視差矢量的特性，視差矢量的搜索范圍可以限制在以右圖像塊在左圖像中相同位置為起點(diǎn)的帶狀區(qū)域內(nèi)，如圖1所示。匹配后得到的視差矢量只有一個(gè)水平方向的位移，每個(gè)塊中所要嵌入的像素值僅為一個(gè)，此處引入視差矢量的線形變換。通過式（1）求出對(duì)應(yīng)不同圖像的變換系數(shù)n，從而使變換后得到的視差矢量在嵌入后，對(duì)圖像質(zhì)量的影響降低，也大大提高信噪比。

圖1 視差矢量搜索示意圖

編碼流程圖如圖2所示。

圖2 系統(tǒng)編碼流程圖

為便于統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果及查看嵌入數(shù)據(jù)對(duì)圖像質(zhì)量影響的大小，將對(duì)左路圖像分塊模式進(jìn)行固定，分為H.264編碼器使用的 7 種模式：16×16，16×8，8×16，8×8，8×4，4×8，4×4。

方案一：直接嵌入視差數(shù)據(jù)。

將運(yùn)動(dòng)或視差矢量直接嵌入到對(duì)應(yīng)塊的某一固定處，然后對(duì)該塊進(jìn)行H.264編碼，包括DCT變換，量化，編碼等。解碼時(shí)將該矢量提取出來(lái)與對(duì)應(yīng)參考圖像一起恢復(fù)圖像信息。

方案二：嵌入到DCT系數(shù)中，直接解碼。

由于直接嵌入數(shù)據(jù)對(duì)圖像質(zhì)量影響較大，筆者將數(shù)據(jù)嵌入放置于DCT變換后，根據(jù)宏塊DCT變換后系數(shù)的變化規(guī)律，將矢量數(shù)據(jù)嵌入到最后兩位，不僅實(shí)現(xiàn)了數(shù)據(jù)嵌入，而且將對(duì)原圖像的質(zhì)量影響減小到最小，恢復(fù)時(shí)直接對(duì)塊進(jìn)行IDCT變換，其余步驟均不變。

方案三：嵌入到DCT系數(shù)中，變換解碼。

相對(duì)于方案二，僅在解碼時(shí)將嵌入數(shù)據(jù)位恢復(fù)為0后再進(jìn)行IDCT變換，其余步驟均不變。

注：由于左圖像嵌入運(yùn)動(dòng)矢量與右圖像嵌入運(yùn)動(dòng)矢量或者視差矢量類似，這里沒有對(duì)左路圖像進(jìn)行討論。

3 實(shí)驗(yàn)結(jié)果

下面就以Soccer，Puppy，IU這3個(gè)序列進(jìn)行測(cè)試，測(cè)試原始圖像如圖3所示，其中Soccer和Puppy為720×480，IU 圖像為 320×240。

圖3 原始測(cè)試圖像

1）恢復(fù)的圖像對(duì)比見圖 4～6（以 16×16，8×8，4×4 這3種模式恢復(fù)的圖像為例）。

圖4 Soccer圖像的3種模式采用不同方案恢復(fù)的圖像

圖5 Puppy圖像的3種模式采用不同方案恢復(fù)的圖像

圖6 IU圖像的3種模式采用不同方案恢復(fù)的圖像

2）信噪比的對(duì)比見表1～3。

表1 Soccer圖像進(jìn)行測(cè)試所的信噪比dB

表2 Puppy圖像進(jìn)行測(cè)試所的信噪比dB

表3 IU圖像進(jìn)行測(cè)試所的信噪比dB

從測(cè)試結(jié)果可以看出，方案一恢復(fù)圖像的信噪比明顯低于方案二、三恢復(fù)圖像的信噪比，而且在模塊劃分比較小時(shí)，比如 8×4，4×8，4×4，方案一恢復(fù)圖像上有明顯的噪聲點(diǎn)存在，故此方案不可取，而方案二、方案三則看不出與原圖像的區(qū)別。在圖像質(zhì)量相對(duì)要求不高的情況下，可以使用方案二，以降低解碼器的復(fù)雜度和解碼的效率。解碼端為立體視頻解碼器則選用方案三，以獲取質(zhì)量較高的解碼，或者實(shí)現(xiàn)立體解碼。

4 小結(jié)

這種方法簡(jiǎn)單，運(yùn)行速度快，在實(shí)時(shí)性要求比較高的領(lǐng)域，如視頻會(huì)議、可視電話等具有很強(qiáng)的實(shí)用性。另外，該方法不僅可以在通用的H.264解碼器上實(shí)現(xiàn)（方案二），實(shí)現(xiàn)單路視頻圖像解碼，如果接收端為立體圖像解碼器，還可以根據(jù)方案三實(shí)現(xiàn)立體視頻圖像的解碼。

[1]CHENG F-H，CHEN C-C.3D stereo imaging technology from 2D image sequence[C]//Proc.IEEE 3rd International Conference on Innovative Computing Information and Control.[S.l.]：IEEE Press，2008：436.

[2]HU Yaohui，LV Guoqiang，SHI Jun.A stereoscopic enhancement algorithm based on monocular image[C]//Proc.IEEE International Conference on Audio,Language and Image Processing.[S.l.]：IEEE Press，2008：1569-1572.

[3]HORN B K P.Height and gradient from shading[J].International Journal of Computer Vision，1990，5（1）：37-75.

[4]TSAI P S，SHAH M.Shape from shading using linear approximation[J].Image and Vision Computing J.， 1994，12（8）：487-498.

[5]俞亞青，田學(xué)隆，閆春紅.醫(yī)學(xué)圖像配準(zhǔn)方法分類及現(xiàn)狀[J].重慶大學(xué)學(xué)報(bào)：自然科學(xué)版，2003，26（8）：114-118.

[6]LIKAR B，PERMUS F.A hierarchical approach to elastic registration based on mutual information[J].Image and Vision Computing，2001，19（1）：33-44.

[7]IKEUCHI K，HORN B K P.Numerical shape from shading and occluding boundaries[J].Artif.Intell.，1981，17（3）：141-184.

[8]SHETA W M，MAHMOUD M F，ATTA E，H.Evolutionary computation approach for shape from shading[J].IJICIS，2005，5（1）：59-67.

[9]李劼偉，季曉勇.基于聯(lián)合預(yù)測(cè)的立體視頻壓縮編解碼系統(tǒng)[J].電視技術(shù)，2009，33（4）：19-21.