一種單鏡頭立體成像方法的研究

摘要：分析了當(dāng)今主流商用立體攝像方法的原理和優(yōu)缺點(diǎn)，特別針對(duì)雙目立體攝像機(jī)標(biāo)定難的缺點(diǎn)，提出了一種單鏡頭雙孔立體成像方法。該方法只需一個(gè)鏡頭，通過在鏡頭前加裝2個(gè)小孔，控制2個(gè)小孔分時(shí)開合，即可攝取場(chǎng)景的不同側(cè)面，由此便得到了一幅雙目立體圖像對(duì)。實(shí)驗(yàn)結(jié)果表明，該立體成像方法可以在避免復(fù)雜的多攝像機(jī)標(biāo)定的情況下取得較好的雙目立體成像效果。該方法的創(chuàng)新點(diǎn)在于只需一臺(tái)攝像機(jī)、一個(gè)鏡頭在固定位置就可以拍攝雙目立體圖像，避免了對(duì)多個(gè)攝像機(jī)進(jìn)行標(biāo)定，減輕了立體成像中攝像機(jī)標(biāo)定的難度。

關(guān)鍵詞：單鏡頭立體成像； 小孔成像； 雙目立體； 攝像機(jī)標(biāo)定

中圖分類號(hào)：TN91934； TB81文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1004373X(2012)04009503

Research of stereo imaging method by using single lens

LI Ning1， QIAN Shengyou1， CHEN Yihui2， LI Caiyun1

(1. College of Physics and Information Technology， Hunan Normal University， Changsha 410081， China;

2. Changsha Tianye Electronic Technology Co.， Ltd.， Changsha 410208， China)

Abstract： The principles， advantages and shortcomings of stereo imaging methods widely used in business are introduced. In allusion to the difficulty of camera calibration， a stereo imaging method by using single lens and two pinholes are proposed. In this way， only single lens is needed and two pinholes are installed in front of the lens. Furthermore， these two pinholes should be alternately opened and closed， The different profiles of a scene can be captured， which can be used as a pair of binocular stereo images. The experimental result shows that the effective binocular stereo images can be obtained in this way， which avoids the complex multicamera calibration. The innovation is that only single lens is needed to get a binocular stereo vision in a fixed position. It reduces the complexity of stereo camera calibration.

Keywords： stereo imaging with single lens; pinhole imaging; binocular stereo vision; camera calibration

收稿日期：20110915

基金項(xiàng)目：湖南省自然科學(xué)基金資助項(xiàng)目（11JJ3079)立體成像的根據(jù)是人的雙眼視差原理，即人的左眼視域和右眼視域有一定部分的疊加，疊加區(qū)域中的場(chǎng)景在左、右眼視網(wǎng)膜上成的是有差別的2幅圖像。該兩幅圖像經(jīng)大腦融合，再通過經(jīng)驗(yàn)和心理作用的暗示［1］，使人感覺雙眼看到的場(chǎng)景是多面立體的。立體攝像就是對(duì)同一場(chǎng)景攝取多個(gè)角度的圖像，在顯示時(shí)控制不同角度的圖像分別進(jìn)入左、右眼，使人產(chǎn)生一種立體感覺。按照成像的視點(diǎn)數(shù)多少，一般可分為雙目立體、多視點(diǎn)立體和全景立體［2］。目前，全景立體技術(shù)還處于實(shí)驗(yàn)室探索階段，成像視點(diǎn)數(shù)雖多，但分辨率低［3］，景深小［4］，視角窄［5］，立體感依然不強(qiáng)烈；多視點(diǎn)立體技術(shù)礙于自由立體顯示器的光柵方向控制不夠精準(zhǔn)，使多個(gè)視點(diǎn)圖像易出現(xiàn)相互串?dāng)_［6］，造成圖像模糊、虛影重重。市場(chǎng)上的自由立體顯示器尚處于產(chǎn)品的初期試水階段。現(xiàn)階段比較成熟的是雙目立體技術(shù)，它包括紅藍(lán)分色立體技術(shù)、偏振立體技術(shù)和時(shí)分立體技術(shù)。其中，紅藍(lán)分色立體技術(shù)由于彩色失真嚴(yán)重，已被淘汰，真正在電影院得到廣泛應(yīng)用的是偏振立體技術(shù)和時(shí)分立體技術(shù)。

雙目立體技術(shù)一般都使用2架攝像機(jī)模仿人的2只眼睛來攝取左右2個(gè)不同角度的圖像。為了使從2架攝像機(jī)分別獲得的2幅圖像的曝光量、色溫等參數(shù)一致，必須要求2架攝像機(jī)具有完全一致的機(jī)械特性和光學(xué)特性［7］，而實(shí)際中兩架攝像機(jī)的各種特性幾乎不可能做到完全一致，因此必須對(duì)兩架攝像機(jī)的參數(shù)進(jìn)行標(biāo)定。標(biāo)定是一項(xiàng)很復(fù)雜、計(jì)算量很大的工作，不僅不利于立體攝像的實(shí)時(shí)回顯，而且標(biāo)定后的結(jié)果也并不十分準(zhǔn)確。此外，在實(shí)際拍攝過程中，需要兩架攝像機(jī)在變焦、變光圈、變位置時(shí)做到同步一致，在技術(shù)實(shí)現(xiàn)上也比較困難。

1單鏡頭雙孔立體成像原理

為了降低雙目立體攝像技術(shù)標(biāo)定的難度，設(shè)計(jì)了一種單鏡頭雙孔立體成像方法，該方法通過在現(xiàn)有相機(jī)的鏡頭前面加一塊遮光板，在遮光板上左右各開2個(gè)小孔來實(shí)現(xiàn)，其中遮光板與鏡頭之間的空間必須是全封閉不透光的，小孔的孔徑大約為1 mm，2個(gè)小孔必須在同一水平線上，以避免垂直視差。這樣2個(gè)小孔就可以模仿人的2只眼睛，利用小孔成像原理，即用左、右小孔可以分別從左、右側(cè)面對(duì)同一場(chǎng)景成有差別的2幅圖像。但是，與人的雙目不同的是，從左、右小孔入射的光線共用一片光電傳感器，而人的左、右眼睛各有一個(gè)感光視網(wǎng)膜，所以必須用機(jī)械裝置控制左、右小孔分時(shí)開啟，如果左、右小孔同時(shí)開啟，則2個(gè)小孔成的兩幅圖像在同一片光電傳感器上疊加，會(huì)導(dǎo)致圖像模糊不清。

可以用電機(jī)或電磁裝置控制左、右小孔分時(shí)開啟，控制原理同相機(jī)連拍的實(shí)現(xiàn)原理相似［8］。示意圖如圖1所示，微控制器的P0口不斷輸出鍵掃描信號(hào)，當(dāng)按鍵開關(guān)按下后，P1口檢測(cè)到信號(hào)，經(jīng)過延時(shí)一段時(shí)間后，微控制器由P2口向小孔電機(jī)發(fā)出控制信號(hào)，使相應(yīng)的小孔開啟或關(guān)閉。

圖1小孔開關(guān)控制示意圖圖2是單鏡頭雙孔立體成像的示意圖。圖中區(qū)域Ⅰ為小孔Q1的單視區(qū)域，區(qū)域Ⅱ?yàn)樾】譗2的單視區(qū)域，區(qū)域Ⅲ為兩個(gè)小孔的交叉視域。

設(shè)透鏡直徑為L，雙孔間距為d，小孔與透鏡的距離為h，點(diǎn)O到線段Q1Q2的垂線段長為x，β為2個(gè)小孔的視域交角。根據(jù)相似三角形原理，tanβ2=d/2x=L/2x+h

tanβ2=L－d2h（1）設(shè)交叉視域中的場(chǎng)景到雙孔的距離為u，場(chǎng)景處交叉視域的高度為H，則：H=2tanβ2(u－x)

H=L－dhu－d（2）由2個(gè)小孔分別攝得的E點(diǎn)圖像在豎直平面GH處的視差量可記為線段GH。根據(jù)相似三角形原理：GHQ1Q2=EGEQ1

GH=d(EQ1-GQ1)EQ1（3）由式（1）可知，當(dāng)透鏡直徑越大，雙孔間距越小，小孔與透鏡距離越小時(shí)，雙孔的交叉視野范圍越大；但是雙孔間距不能過小，否則由式（3）得到的視差量會(huì)變小，這樣造成立體感減弱，而且小孔與透鏡距離也不能過小，否則由小孔入射的光線不能覆蓋到透鏡的全表面上。

圖2單鏡頭雙孔立體成像示意圖2單鏡頭雙孔立體成像效果

2.1雙孔圖像的視差效果

圖3和圖4是一盆花分別經(jīng)由鏡頭前左側(cè)小孔（如圖2中Q1）和鏡頭前右側(cè)小孔（如圖2中Q2）在單鏡頭照相機(jī)上成的像。觀察這兩幅圖像，不難發(fā)現(xiàn)它們之間的一些區(qū)別。兩圖的成像視角明顯不一樣，圖3中花枝整體朝右邊傾斜，面向左展開的葉瓣多于面向右展開的葉瓣；圖4中花枝整體朝左邊傾斜，面向右展開的葉瓣多于面向左展開的葉瓣。由此可見，鏡頭前2個(gè)小孔所成圖像有一定的水平視差，該兩幅圖像在用分時(shí)立體顯示時(shí)，分別送入左右眼，可獲得比較滿意的立體效果。

照相過程中使花的成像只占據(jù)照相機(jī)視野的一部分，這是為了說明小孔成像的特征。通過調(diào)整小孔到鏡頭的距離或鏡頭的焦距可使所成的像布滿相機(jī)的整個(gè)視野。

圖3鏡頭左側(cè)小孔成像圖4鏡頭右側(cè)小孔成像

為了使單鏡頭雙孔立體成像取得更好的效果，在對(duì)設(shè)備體積要求不嚴(yán)的場(chǎng)合，可以適當(dāng)做大鏡頭的尺寸，使雙孔間距接近人類雙眼的間距［9］（大約65 mm），這樣既可以擴(kuò)大雙孔的交叉視域，又可以獲得更大的視差。

在單鏡頭雙孔成像過程中會(huì)遇到這樣的現(xiàn)象：同一景物與2個(gè)小孔的距離很多時(shí)候不相等，與景物靠得更近的小孔成的像更大一些，當(dāng)景物與2個(gè)小孔距離偏差很大時(shí)，2副圖像中的物像大小相差也特別大。這會(huì)不會(huì)影響2幅圖像經(jīng)雙眼融合后的立體感呢，顯然是不會(huì)的，人在自然視物時(shí)，也具有這種特性。試著把自己的手指放在靠近左眼的地方，然后分別用左、右眼觀察手指，會(huì)發(fā)現(xiàn)手指大小變化較大。

對(duì)于在鏡頭前加裝暗盒，僅開2個(gè)小孔會(huì)不會(huì)對(duì)圖像亮度造成很大影響的疑問也無需顧慮太多，因?yàn)楝F(xiàn)在的攝像機(jī)制造技術(shù)可以做到很高的感光靈敏度，即使在月光的照度下，也能成清晰的像，而且應(yīng)用很廣泛的針孔攝像頭也只有米粒大小［10］。上述2幅圖像是通過1 mm小孔在室內(nèi)拍攝的，其亮度并不太低，而且還可以通過調(diào)整光圈、曝光時(shí)間，以及利用數(shù)字圖像處理技術(shù)提高圖像的亮度。

2.2雙孔圖像的融合效果

圖5和圖6是分別由圖3，圖4分割出來的中心景物圖，圖7是由圖5和圖6隔列嵌套合成的圖像，它們都經(jīng)過了數(shù)字圖像均衡化處理，增強(qiáng)了對(duì)比度。左右融合視圖的行寬為左視圖（或右視圖）的2倍，它們的列寬相等。

圖5左視圖圖6右視圖

圖7左右融合視圖觀察左右融合視圖，其層次感比較明顯，有深淺2種層次。當(dāng)把該圖像送往光柵顯示屏顯示時(shí)，圖像中屬于左視圖的像素發(fā)出的光線會(huì)進(jìn)入人左眼，圖像中屬于右視圖的像素發(fā)出的光線會(huì)進(jìn)入人右眼，大腦將左右眼視網(wǎng)膜上得到的圖像融合，便產(chǎn)生一個(gè)完整的層次感很強(qiáng)的立體景象。在左右融合視圖中可能會(huì)觀察到一些細(xì)微的豎直條紋，其原因有二：一是因?yàn)殡p目立體成像方法只使用了2個(gè)視點(diǎn)的圖像合成，相鄰兩個(gè)視點(diǎn)的圖像在灰度上過渡不平滑、不自然；二是因?yàn)槠胀@示器物理分辨率不是很高，單個(gè)像素點(diǎn)大小肉眼可辨，以致像素顆粒感很強(qiáng)。將左、右視圖融合成一副完整圖像的主要Matlab程序：

通過在單鏡頭前加裝雙孔裝置，可以成有視差的2幅圖像，由于只使用了一個(gè)鏡頭、一臺(tái)攝像機(jī)，這樣的雙目立體視覺技術(shù)降低了攝像機(jī)標(biāo)定的難度，而且節(jié)省了成本。不過由于雙孔只能分時(shí)開啟，所以不能用于拍攝高速運(yùn)動(dòng)物體的立體圖像，這是后續(xù)工作需要研究的問題。

參考文獻(xiàn)

［1］鄭竺英.雙眼立體視覺的信息加工［M］.北京：科學(xué)出版社，1998.

［2］SON J Y， JAVIDI B， KWACK K D. Methods for displaying threedimensional images \\[J\\]. Proceedings of the IEEE， 2006， 94 (3): 502520.

［3］KIM Y， JUNG J H， KANG J M， et al. Resolutionenhanced threedimensional integral imaging using double display devices \\[C\\]// Proceedings of The IEEE 20th Annual Meeting of LEOS. Orlando， USA: IEEE， 2007: 356357.

［4］PARK J H， KIM H R， KIM Y， et al. Depthenhanced threedimensionaltwodimensional convertible display based on modified integral imaging \\[J\\]. Optics Letters， 2004， 29 (23): 27342736.

［5］KIM Y， PARK J H， MIN S W， et al. Wideviewingangle integral threedimensional imaging system by curving a screen and a lens array \\[J\\]. Applied Optics， 2005， 44 (4): 546552.

［6］王愛紅，王瓊?cè)A.光柵式自由立體顯示器概述［J］.現(xiàn)代顯示，2009（10）：1217.

［7］王瓊?cè)A.3D顯示技術(shù)與器件［M］.北京：科學(xué)出版社，2011.

［8］張志鵬.數(shù)碼相機(jī)維修技能實(shí)訓(xùn)［M］.北京：科學(xué)出版社，2008.

［9］張兆楊.二維和三維視頻處理及立體顯示技術(shù)［M］.北京：科學(xué)出版社，2010.

［10］楊磊.閉路電視監(jiān)控系統(tǒng)［M］.北京:機(jī)械工業(yè)出版社，2003.