離軸平行立體成像中視差圖像失真及觀看舒適性研究

劉霜　閃明才　孔祥杰

摘 要：視差立體成像系統(tǒng)中的圖像失真是系統(tǒng)本身結(jié)構(gòu)造成的，不可能完全消除，但可以通過對拍攝和播放參數(shù)的控制盡量減小。攝像機的構(gòu)造不同產(chǎn)生的失真也會有差別，離軸平行攝像機產(chǎn)生的典型失真有深度非線性化、木偶劇效應、紙板效應及剪切失真等。每種失真都是立體成像系統(tǒng)中存在的成像缺陷，通過推導立體成像及顯示系統(tǒng)的幾何關系，可以找到失真原因；通過對公式分析，可以得到那些參數(shù)對失真產(chǎn)生起關鍵作用。用離軸平行攝像機在室內(nèi)和室外拍攝并實時觀察，通過改變拍攝參數(shù)來觀察失真結(jié)果，可以找到如何在拍攝時通過拍攝參數(shù)的調(diào)節(jié)來控制失真，失真的減少可以大大地提高觀看舒適性。

關鍵詞：雙目視差；離軸平行成像；圖像失真；觀看舒適性

引言

立體（3D）的顯示相對于平面（2D）的顯示增加了深度信息，給觀看者帶來視覺享受和更加震撼的視覺體驗[1]。然而，雙目視差立體顯示時再現(xiàn)物體場景并不同于真實世界中的物體，由于拍攝時攝像機的擺放結(jié)構(gòu)不同以及攝像方法的原因，立體圖像會有各種畸變或者說失真，如深度水平彎曲、深度非線性化、木偶劇效應、剪切失真、梯度失真等[2]，另外一種典型失真現(xiàn)象是紙板效應[3]。失真和拍攝時攝像機的擺放結(jié)構(gòu)有很大的關系，常見的擺放結(jié)構(gòu)有：平行式（如圖1-a所示）、匯聚式（如圖1-b所示）、離軸平行式（CCD中心和成像中心不重合，如圖1-c所示）[4]。

圖中點畫線為匯聚面，平行式結(jié)構(gòu)中沒有匯聚面，只有負視差，較明顯的失真有：紙板效應、部分區(qū)域非立體化、木偶劇效應、深度缺失等。匯聚式結(jié)構(gòu)可獲得較大的視差圖像公共場景區(qū)，同時存在正視差、零視差和負視差，但容易造成梯度失真、深度非線性化、剪切失真等。離軸平行式結(jié)構(gòu)結(jié)合了平行式結(jié)構(gòu)和匯聚式結(jié)構(gòu)的優(yōu)點，公共場景區(qū)域大，沒有梯度失真，有正視差、零視差和負視差，但是仍然存在失真。接下來將重點討論離軸平行立體成像中視差圖像失真和系統(tǒng)中參數(shù)的關系，以及如何將失真控制在最小范圍內(nèi)，提高觀看舒適性。

1 離軸平行立體成像中的失真分析

1.1 離軸平行立體成像系統(tǒng)的坐標分析

離軸平行立體成像系統(tǒng)實現(xiàn)立體觀看要經(jīng)過三次獨立的坐標變換，首先是由實物的拍攝坐標轉(zhuǎn)換成立體攝像機的CCD成像坐標，接下來把CCD的坐標轉(zhuǎn)換成屏幕坐標，以左右視差圖的形式展示在屏幕上；最后視差圖經(jīng)過雙眼在大腦融合，融合的對象會根據(jù)視差的多少形成感知物體坐標，產(chǎn)生立體感覺。為了更好地理解三次坐標轉(zhuǎn)換，把三次坐標轉(zhuǎn)換的信息畫在同一張圖中，如圖2所示，CCD成像坐標如圖3所示。

圖2、3中各參數(shù)說明如下：（xO，yO，zO）為某對象上參考點在世界坐標系的坐標，B為左右鏡頭間距；f為焦距；C為匯聚距離；E為觀察者的眼距，一般平均為65mm；由于拍攝時的匯聚面的圖像在放映時視差為零，所以可認為兩者統(tǒng)一為一個面，即為圖2中的屏幕，在拍攝時參考點在CCD上形成視差坐標為CL（xCL，yC）、CR（xCR，yC），由于平行結(jié)構(gòu)垂直方向不存在視差所以只有yC，xCL和xCR是以CCD屏幕中心作為原點來計算的；h為離軸距離，通過改變h可調(diào)節(jié)匯聚距離C；（xSL，yS）、（xSR，yS）表示參考點的屏幕坐標；WC為CCD寬度，WS為屏幕寬度，設拍攝時的高寬比和播放時一樣，這樣圖像水平放大率和豎直放大率一樣都為Mf，統(tǒng)一稱為幀放大率Mf=WS/WC；V（xV，yV，zV）為觀察者雙目連線中心的世界坐標系的坐標；β為匯聚角，tanβ=h/f=（B/2）/C；拍攝時原點位于左右攝像機光心連線的中點，X0軸平行于光心連線方向，Z0軸平行于相機光軸方向。

由圖3可知，實物參考點（xO，yO，zO）在CCD上的成像坐標為：

1.2 離軸平行立體成像系統(tǒng)的失真分析

首先，分析觀察者觀看到的感知物體深度是否能還原真實物體深度，如果zI=zO那么感知物體和實物的深度是一致的，但從（6）可知，感知物體深度跟播放時的屏幕大小、實物深度zO以及觀察者的位置zV有關，所以，zI=zO只是各個參數(shù)協(xié)調(diào)后的偶然事件。假定觀察者在某點觀察，而且播放屏幕不變，這時zI是zO的函數(shù)，對（6）求zO的偏導數(shù)，可以得到感知物體各點相對于實際物體各點在深度方向的變化率，定義為深度放大率Md，有：

可以看到，感知物體深度zI與實際物體深度zO并不是線性關系，當zO值變化越大時，zI相對于zO的變化量越小，這種情況稱為深度非線性化。

接著，分析觀察者觀察到的感知物體大小是否能還原真實物體大小，同理，對（4）求xO的偏導數(shù)，對（5）求yO的偏導數(shù)，可以得到感知物體各點相對于實際物體各點在尺寸上的變化率，定義為尺寸放大率Ms，有：

由（8）可知，不同深度的物體在再現(xiàn)時具有不同的尺寸放大率，當zO等于0時， Ms=1（E≈B=65mm），也就是說，在匯聚面上的物體，尺寸失真最小接近于不失真，在正水平視差時，zO為負值越大，Ms越小（Ms<1），在負水平視差時，zO為正值越大，Ms越大（Ms>1），而遠離匯聚面的背景尺寸會比真實的背景偏小，這種情況稱為木偶劇效應。

最后，定義深度放大率與尺寸放大率的比值為放大因子[5]，即：

由（9）可知，在正水平視差時，當zO為負值越大，M越小，這時深度方向上的變化變小，也就是說物體看上去更扁了，象紙板做的一樣，稱這種失真為紙板效應。

2 實驗

對立體失真的實驗可以采用主觀評價方法來進行，先將立體失真分為三個等級，并列出各等級的表現(xiàn)特征，然后讓觀察者說出觀看后立體的失真程度，如表1所示。

實驗設備攝像機采用Panasonic AG-3DA1MC，顯示器采用Panasonic BT-3DL2550MC，幀放大率Mf為110，拍攝對象分為室內(nèi)和室外兩種場景，在室內(nèi)拍攝3米內(nèi)近距離物體，在本實驗中觀看的對象是前后兩個立方體。在室外可拍攝大于3米較遠的物體，觀察對象為風景圖像，讓觀察者分別觀察拍攝到的物體，在不同的參數(shù)選擇下，統(tǒng)計觀察者的感受等級。在室內(nèi)時，取C=2420mm通過調(diào)節(jié)焦距f和被拍攝物體到鏡頭的距離C-zO來觀察，觀察到的失真統(tǒng)計后，□代表狀態(tài)3有失真，○代表狀態(tài)2有點失真但不太明顯，×代表狀態(tài)1沒有失真，得到如圖4所示的結(jié)果。endprint

在室外，取C=5000mm通過調(diào)節(jié)焦距f和被拍攝物體到鏡頭的距離C-zO來觀察，得到如圖5所示的結(jié)果，當焦距取太大時容易產(chǎn)生紙板效應。

3 結(jié)束語

從圖4可以看出，在室內(nèi)拍攝時，隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，所以在室內(nèi)拍攝時，焦距f不易調(diào)的過大，太大了近的和遠的物體會失真，另外，在物體離鏡頭太近時，左右圖的視差會超出人眼的瞳距，這時圖像不能正確匯聚，如在小于1.3m時，左右圖像已經(jīng)不能形成立體了，變得模糊不清；圖5是室外拍攝的情況，同樣隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，另外，因為室外多以風景作為背景拍攝，背景表現(xiàn)為無限遠，所以想要背景不失真，要設置焦距f在20mm以下為好，否則會產(chǎn)生明顯的木偶劇和紙板效應，甚至會產(chǎn)生背景圖像不能正確匯聚。

參考文獻

[1]劉然，朱慶生，等.基于監(jiān)視器的雙目立體視覺的立體效果[J].同濟大學學報，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，F(xiàn)ebruary 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者簡介：劉霜（1971-），男，河北保定人，博士，主要從事3D視覺控制研究。endprint

在室外，取C=5000mm通過調(diào)節(jié)焦距f和被拍攝物體到鏡頭的距離C-zO來觀察，得到如圖5所示的結(jié)果，當焦距取太大時容易產(chǎn)生紙板效應。

3 結(jié)束語

從圖4可以看出，在室內(nèi)拍攝時，隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，所以在室內(nèi)拍攝時，焦距f不易調(diào)的過大，太大了近的和遠的物體會失真，另外，在物體離鏡頭太近時，左右圖的視差會超出人眼的瞳距，這時圖像不能正確匯聚，如在小于1.3m時，左右圖像已經(jīng)不能形成立體了，變得模糊不清；圖5是室外拍攝的情況，同樣隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，另外，因為室外多以風景作為背景拍攝，背景表現(xiàn)為無限遠，所以想要背景不失真，要設置焦距f在20mm以下為好，否則會產(chǎn)生明顯的木偶劇和紙板效應，甚至會產(chǎn)生背景圖像不能正確匯聚。

參考文獻

[1]劉然，朱慶生，等.基于監(jiān)視器的雙目立體視覺的立體效果[J].同濟大學學報，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，F(xiàn)ebruary 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者簡介：劉霜（1971-），男，河北保定人，博士，主要從事3D視覺控制研究。endprint

在室外，取C=5000mm通過調(diào)節(jié)焦距f和被拍攝物體到鏡頭的距離C-zO來觀察，得到如圖5所示的結(jié)果，當焦距取太大時容易產(chǎn)生紙板效應。

3 結(jié)束語

從圖4可以看出，在室內(nèi)拍攝時，隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，所以在室內(nèi)拍攝時，焦距f不易調(diào)的過大，太大了近的和遠的物體會失真，另外，在物體離鏡頭太近時，左右圖的視差會超出人眼的瞳距，這時圖像不能正確匯聚，如在小于1.3m時，左右圖像已經(jīng)不能形成立體了，變得模糊不清；圖5是室外拍攝的情況，同樣隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，另外，因為室外多以風景作為背景拍攝，背景表現(xiàn)為無限遠，所以想要背景不失真，要設置焦距f在20mm以下為好，否則會產(chǎn)生明顯的木偶劇和紙板效應，甚至會產(chǎn)生背景圖像不能正確匯聚。

參考文獻

[1]劉然，朱慶生，等.基于監(jiān)視器的雙目立體視覺的立體效果[J].同濟大學學報，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，F(xiàn)ebruary 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者簡介：劉霜（1971-），男，河北保定人，博士，主要從事3D視覺控制研究。endprint