立體視覺與立體成像

李桂苓，潘 榕，許樹檀

（天津大學 電子信息工程學院，天津 300072）

自然界存在于三維空間，人類觀看自然景物時，不僅能看到其高度和寬度，而且能辨別遠近，產生深度感，形成立體視覺。

受種種條件限制，目前電視系統播出二維畫面。有經驗的攝影師或經計算機處理，借助人們的經驗和學習能力等，雖可制作帶有一定立體感的電視節目，但十分受限。

對形成立體視覺的機制至今不甚清楚，有客觀因素也有生理和心理因素，又因人群及年齡而異。客觀因素主要包括畫面構圖、邊界、紋理、遮擋、陰影、顏色、對比、背景、透視、空氣透視和運動等。客觀因素加上人們的理解能力和先驗知識，使得單眼看物體，單鏡頭攝像，也能誘發或增強一定的立體感。生理因素主要體現為調節、輻輳和融合，而人們的學習、記憶、聯想和經驗積累，所處環境、視野和心情等，則屬心理因素。這些因素相互作用，但普遍認為立體視覺主要靠雙眼獲取雙目立體信息，經大腦融合而得，這是目前構建較實用的立體圖像或視頻系統的基礎[1-3]。

制作、播出和收視立體電視節目，構建三維電視（3DTV）系統，是人類多年的追求，數十年間，曾幾度興起高潮。近來，立體電影《阿凡達》成功上演，推動了3DTV。目前，偏振光式和開關式電視顯示屏和藍光光盤已商品化，今年NAB2011有眾多廠商展示3DTV攝像機和3DTV節目制作平臺，國內外在試播或籌辦3DTV廣播。為此，本文簡要介紹建立立體視覺主要靠哪些因素，有哪些主要要求等，旨在促進3DTV發展。

1 雙目立體視覺

人類兩眼的瞳孔距約58～72 mm，這使兩眼看同一物體時，左右視角略有差別，成像于視網膜亦不盡相同。這種雙眼視覺差異稱雙目視差。雙鏡頭3DTV攝像機即模擬兩眼攝取圖像。

雙目視差分為水平和垂直兩種。水平視差如圖1所示，較易在大腦中融合，制作3DTV節目應盡量利用。垂直視差是兩眼視網膜成像相關點在垂直方向上的差異，大腦難以融合，并易引起視覺不適，制作3DTV節目應予避免。

視覺分辨雙目水平視差的能力用立體視覺銳度表示，單位為秒（"）。立體視覺正常的人，立體視覺銳度約5"～10"。由圖2所示幾何關系，可導出立體視覺銳度的弧度值近似為

式中：d為瞳孔距；Δz為遠近兩點P2與P1的距離差；z為觀看距離。

雙目視差的存在會引起兩眼睫狀肌等進行復雜的調整，這些生理信息經視神經送到大腦，可感知物體距離，形成深度感，加上人的經驗和知識等，便形成源自雙目視差的立體視覺。因3DTV攝像機和計算機難以模擬這一復雜過程，其建立的立體感必不完善，加之更難反映所有人雙眼的調整能力，致使同一3DTV節目對某些觀眾可能更加不適應。

圖3示出了視覺對帶有視差的左右眼圖像進行變形移位，形成整體雙目圖像，產生立體感的視覺現象，并稱之為視覺移位現象。該圖表明，視覺會將字母F移位到E和H的中間，并感知F浮在E和H的前面。不戴眼鏡觀看需戴眼鏡觀看的立體電視圖像時，會看到左右錯開的不重疊圖像，戴上眼鏡使二重像對應成像于雙眼，才能形成深度感，也說明了視覺移位現象。

2 融合與立體視覺

融合是大腦將同時成像于兩眼視網膜略有差異的一對影像綜合為完整而有縱深感印象的過程。

融合功能分為感覺融合（靜態融合）和運動融合（動態融合）兩種。感覺融合指大腦把落在兩眼視網膜對應點上的物像綜合為一個完整印象的機制。運動融合是一種通過大腦視覺中樞神經所支配的反射性眼球運動，使兩眼偏離對應點的物像重新回到對應點，即調整眼睛的狀態，來維持感覺融合的能力。

能維持融合的一對圖像差異之限界為融合范圍，其值因人而異，差異超過這個界限的物像對將感知為雙像。

3 雙目立體視覺的工程實現

工程上，雙目立體視覺可基于幾何光學，由立體攝像機模擬。目前較常用的這類模型有平行式立體視覺模型和會聚式立體視覺模型兩種。前者是后者的特例。

平行式立體視覺模型原理上由兩臺平行放置的攝像機組成，按較簡單的幾何關系，可較好地模擬基于雙目視差的雙目立體視覺。會聚式立體視覺模型的會聚距離有限，更接近兩臺攝像機光軸難以真正平行的真實情況，用來攝取立體圖像或視頻較為方便，如圖4所示。

圖4a是一平行光軸雙目立體成像系統模型。它由左（L）、右（R）兩臺光軸平行、具相同線性特性的攝像機組成。物體上的P點在左（L）攝像機成像于PL，它位于P點與透鏡中心CL連線同圖像平面的交點。若知圖像平面上的點PL和透鏡中心CL，則可確定一條射線PLCL，所有可成像在PL點的物體點必在此射線上。同一物體點P在右（R）攝像機的成像點為PR，PR與相應透鏡中心CR決定射線PRCR，PRCR與PLCL的交點即P點的空間位置。這意味若有按此模型攝取的一對圖像，則可以其一為基準，尋找同一物體點在兩圖像中的匹配點，它們與相應透鏡中心連線之交點即該點的空間位置，從而獲其深度信息。

如圖4b所示，對兩攝像機光軸平行、水平掃描線位于同一平面、焦距為f的理想平行視點模型，設P點在左、右圖像平面中成像點相對于坐標原點OL和OR（左、右攝像機透鏡光軸與圖像平面的交點）的距離分別為x1和x2，則P點在左、右圖像平面中成像點位置差x1-x2即雙目視差。

按幾何光學

式（4）表明，攝像機幾何參數固定時，視差x1-x2與距離z成反比，與P點離相機光軸距離無關。拉遠兩攝像機距離d，可加大視差，增強立體感，但其值難以模擬多種體征和年齡段受眾，致使所拍節目不能適應所有人群。為突出立體感而過分拉大兩鏡頭間距離，將引發觀看不適。

4 輻輳與立體視覺

雙眼觀看景物時，左右眼視網膜上成像的相對位置略有差異。使這種二重像成為單像，眼球需旋轉，稱之為輻輳。兩眼對一視點兩視線之夾角稱輻輳角。輻輳過程中，眼外肌做功，其張力感和兩眼狀況提供立體視覺信息，產生深度感。

如圖5所示，L，R分別為左右眼，d為兩眼間的瞳孔距，z為視距，P2和P1分別為兩個物體或同一物體上遠近不同的兩點，ΔZ為 P1和 P2間的深度距離，θ1和θ2分別為左右眼視角，α1和α2分別為 P1和 P2的輻輳角。P2和 P1兩點遠近的不同，輻輳角α2和α1不一樣，使眼球需做的旋轉程度不一，從而產生P2和P1兩點間的深度感。

雙目視差也可按圖5所示的兩眼視角差定義。在P1和P2間相對距離很近的情況下，由幾何關系可近似導出雙目視差

式（5）表明，雙目視差近似與深度成正比，而與視距的平方成反比。正常視力可分辨的雙目視差約5"～10"，雙目視差單獨起作用時，視距約超過250 m即失去立體感，如圖6所示。

式（1）、式（4）和式（5）均定量描述了水平方向的雙目視差。式（1）與式（5）相同，說明立體視覺銳度是按雙目視角差定義，而圖5和式（5）物理意義較明顯，但圖4和式（4）對立體成像和尋求左右圖像匹配點等工程問題更便捷。

5 運動視差與立體視覺

當觀看者與景物間或物體間相對運動時，對觀看者來說，景物、不同物體、同一物體不同部位或物體與背景間，對人眼的相對位置將發生變化。這些變化反映為視網膜成像位置、形狀或大小的差別。這些差別的變化方向、速度及大小的差異稱為運動視差。視覺通過比較視網膜圖像時間序列的變化信息，會產生深度感。

運動視差對立體視覺的貢獻與相對運動的速度有關，且因人而異，較敏感的角速度范圍約為每秒幾度。運動視差還與視距有關，如圖6所示，在百米和數百米以下的中距離內，運動視差和雙目視差是產生立體視覺的主要因素。

6 交叉視差及非交叉視差與立體視覺

雙眼同時注視某一目標時，雙眼視線交叉于一點，稱其為注視點。注視點分別成像于雙眼視網膜的中心凹，這兩個光點相對應，相應信息傳入大腦，由視中樞神經合成為一個完整像點。但視覺不僅能看清這一點，而且能辨別這一點與周圍物體間的距離、深度和凹凸等關系，視覺依靠這種立體視覺功能，形成立體像。

比注視點近的物體在注視眼黃斑顳側與非注視眼的顳側視網膜成像，這對成像間的差異形成交叉視差。尚能由大腦融合的交叉視差的極大值即融合范圍的前界。遠于注視點的物體在注視眼黃斑鼻側與非注視眼的鼻側視網膜成像，這對成像間的差異形成非交叉視差。尚能由大腦融合的非交叉視差的極大值即融合范圍的后界。

交叉視差和非交叉視差均屬雙目視差，視覺對前者更敏感些。融合范圍的前、后界限定整個視覺融合范圍。

7 繼時顯示與立體視覺

左右眼同時接受圖像刺激產生的視覺稱同時視覺，進入左右眼的圖像有先后則稱繼時顯示。繼時顯示形成立體視覺的規律與同時視覺有所不同，除與滯后時間的長短有關外，也與先行顯示圖像顯示時間的長短有關。若先行顯示圖像顯示時間約長20 ms，則繼時顯示滯后時間約短于20 ms時，繼時顯示的雙目視差圖像所產生的立體視覺與同時顯示產生的立體視覺大致相同；繼時滯后時間長于20 ms時，繼時顯示的立體視覺隨著滯后時間的增長而減弱，超過約100 ms后，則難以形成立體視覺；當圖像的亮度增高時，為形成立體視覺所允許的繼時顯示滯后時間縮短；先行顯示圖像的顯示時間接近400 ms時，繼時顯示不再能形成立體視覺。

現已實用化的開關眼鏡式立體電視顯示方式即繼時顯示技術的一種應用。目前，平板顯示屏刷新頻率可以提得較高，切換雙目視差圖像的技術也相當成熟。實際上選定開關眼鏡式平板電視的時間參數，還應考慮到閃爍和響應時間等因素。

8 立體視覺與觀看距離和運動速度的關系

人眼允許輻輳與調節在一定范圍內變化，但兩者的變化超過各自允許的范圍，就會在觀看三維景象時引起視覺疲勞、眩暈、惡心等各種不適。為避免或減小這種不適程度，制作立體圖像或立體視頻節目時，需力求符合視覺規律，不要為立體感強而一味人為地夸大，或嚴重破壞各立體視覺要素間的平衡。

各立體視覺因素各有對應的分辨精度和有效距離。圖6給出了深度靈敏度D/ΔD與視距D的關系。

圖6表明，在數米范圍的近距離，調節、輻輳，瞳孔反應等立體視覺因素起主要作用，屬動態立體視覺。對千米級遠距離，例如觀看遠處層疊起伏的山巒時，大視野和空氣透視等成為主要立體視覺因素，屬靜態立體視覺。在百米左右的中距離，雙目視差和運動視差是立體視覺的主要因素。其中，運動視差對立體視覺的貢獻還與相對運動的速度有關，且因人而異。

9 結束語

本文講述了立體視覺主要有哪些因素，分析了它們的形成機理，導出了雙目視差關系式，給出了相應參數的約略值或范圍。希望能對制作立體電視節目、編碼傳輸立體電視數據流和正確重顯立體視頻圖像有一定的參考價值。

隨著立體電視節目攝制、錄放、編輯、傳輸和顯示等技術的趨于成熟和相關設備的商品化，特別是高質量節目量的增加，會促進立體電視的發展。

[1]RUICHEK Y，ISSA H，POSTAIRE J G，et al.Towards real-time obsta?cle detection using a hierachical decomposition methodology for ste?reo matching with a genetic algorithm[C]//Proc.16th IEEE Internati?nal Conference.[S.l.]：IEEE Press，2004：138-147.

[2]GROSSBERG S，HOWE P D L.A laminar cortical model of stereopsis and three-dimensional surface perception[J].Vision Research，2003，43（7）：801-829.

[3]陳松.現代眼科檢查方法與進展[M].北京：中國協和醫科大學出版社，2000.