3D顯示中立體感知深度研究

權巍，張玉強，李華，韓成，周世奇

（長春理工大學計算機科學技術學院，長春 130022）

3D顯示中立體感知深度研究

權巍，張玉強，李華，韓成，周世奇

（長春理工大學計算機科學技術學院，長春 130022）

三維立體電視和電影的立體真實感能夠帶給人們震撼的視覺體驗，是數字時代的新寵。在這類三維顯示系統中，恰當的立體感知深度將產生好的觀賞體驗，反之，將導致視疲勞、甚至眩暈等不適感。因此，很有必要對立體感知深度進行預先解算。針對這一問題，對于3D顯示中立體感知深度的影響因素進行分析，提出基于特征點的視差計算方法，推導立體感知深度與視差等多個參數的定量關系。實驗驗證了立體感知深度定量計算方法的可行性，基于左右眼圖像，計算得到了感興趣點的立體感知深度。實驗表明：計算得到的立體深度與測試者主觀感受具有較好的一致性；研究結果可用于指導立體拍攝以及立體顯示以便達到最佳立體效果。

感知深度；3D顯示；視差圖；立體深度

現今，3D影像節目已成為了整個文化娛樂界的寵兒。3D電影大片在中國乃至全球引發了一股熱潮，3D電視節目不斷涌現，3D電視銷量大幅度增長。這些3D影像利用三維立體技術，在平面的圖像媒介中生成（或增強）三維縱深感。采用特定的方式使兩幅有少量透視視角偏移的圖像被分別顯示于觀看者的左眼和右眼，這兩幅偏移圖像分別通過左右眼的視網膜傳導入大腦并重新合成在一起，從而產生深度知覺，即三維立體的視覺感受。這種立體深度知覺是一種“假象”，由于同一物點在左右眼圖像中需具有視差，觀看該物點時雙眼的會聚點和對焦點的不一致，才能令觀看者感受到深度信息［1］。但是，當這種不一致達到一定程度時，將會造成眼睛不適、疲勞、甚至眩暈和惡心［2］。

現階段，在3D影像拍攝過程中，拍攝現場的監看環境和影院（電視等）的放映環境下的觀看效果存在差異，因此，往往只能憑經驗設置立體拍攝參數，可見對立體感知深度進行實時動態解算是必要的。Philip McNally等［3］指出目前缺乏對于立體拍攝和立體播放的指導方法，并針對3D動畫制作和播放開發了輔助工具。羅桂娥等［4，5］研究了基于雙目視覺的深度獲取方法，通過攝像機標定、特征匹配等獲取到拍攝場景中物點的真實深度值。在3D播放時，物點的立體感知深度并不等同于真實深度，很多時候往往設計夸張的、不真實的立體感知深度來獲得好的觀感體驗。Zhang等［6］研究了3D電視播放時場景真實深度信息對于立體感知深度的影響，但并未對立體感知深度進行定性或定量的研究。王愛紅等［7］研究了立體深度信息與視差圖獲取的關系，提出感知的立體深度與3D影像拍攝時的相機間距密切相關，通過調整相機間距實現立體深度的調節，該方法僅適用于拍攝階段，不適用于拍攝完成后的后續階段。Lin等［8］提出了5個法則，研究通過對左右眼圖像的水平剪裁等方式調節感知深度信息，降低立體觀賞的不適感。

本文研究3D顯示中立體深度感知原理、分析其影響因素，并進行定量的推導，提出基于特征點的視差和立體感知深度計算方法。實驗中計算特定物點的感知立體深度，通過左右眼圖像的水平剪裁進行立體感知深度調節，實驗結果表明：立體感知深度與測試者主觀感受具有較好的一致性。

1 立體深度定量關系推導

定義同一物點Q在左右眼兩幅圖像中的像素分別為LQ和RQ。定義像素點LQ和RQ的水平距離為物點Q的水平視差，簡稱視差，記為pQ，且pQ=RQ-LQ。當pQ=0時，觀察者會感覺到物點Q在屏幕上；當0＜pQ＜e時，會感覺到物點Q位于屏幕后方，其中，e為觀察者雙眼間距；當-e＜pQ＜0時，會感覺到物點Q位于屏幕前方；當pQ=±e時，會感覺到的物點Q位于無窮遠。這就是立體顯示中的立體深度感知原理。觀看立體影像時，觀眾的雙眼一方面需對銀幕表面的影像進行對焦，另一方面還要根據觀看景物深度的不斷改變而不斷改變雙眼的會聚點。

令d為人眼與顯示屏平面間的距離，pQ為某一物點Q在左右眼圖像中的視差，e為觀察者雙眼間距，則根據圖1所示，人眼感知的立體深度DQ可由下式計算得到：

圖1 水平視差和立體感知原理

對于特定的3D影像觀看環境（例如：影院或家中客廳），最佳的觀看距離d是可以獲得的，通常針對最佳觀看距離設計立體效果；且成年人的雙眼間距一般約為65mm；因此，計算感知的立體深度DQ的問題就轉換為計算視差pQ的問題。視差pQ可由下式計算得到：

其中，nQ為物點Q在左右眼圖像中水平方向的像素差值，lpixel為播放3D影像的顯示屏的單位像素長度；顯示屏的寬度記為Widthse，播放影像的水平分辨率記為Resh，則視差pQ為：

對于3D影片（或電視）來講，最終的播放環境中顯示屏的水平分辨率和寬度均可以獲得，因此，是否可以獲取物點Q在左右眼圖像中的水平方向的像素差值是計算視差及立體感知深度的關鍵問題。

2 基于特征點匹配的視差計算

尺度不變特征變換（Scale-invariant feature transform，SIFT）算法［9，10］是一種常用的特征點匹配算法，在一些場景部分遮擋、視角變化引起圖像變形等情況下，依然可實現快速、準確的匹配。

本文采用基于SIFT特征的匹配方法，將左右眼圖像作為輸入，尋找特征點，匹配得到同一物點在左右眼圖像中的像素點；進而計算得到該物點的像素差值，最終生成視差圖。

2.1 基于SIFT的特征點提取

2.1.1 尺度空間構建

尺度空間的表示可以理解為單尺度空間的動態集合，常見的單尺度空間表示為某一個連續函數或離散函數。仿照這種思想可以將單尺度空間中景物的函數通過卷積運算，使其投射到一個由卷積核來決定的一個空間上并作為該空間上景物圖像表達式。根據這種思想本文使用高斯函數（正態分布函數）作為模板與原圖像做卷積運算，以生成新尺度空間。尺度空間可定義為：

其中，I(x,y)為原圖像，G(x,y,σ)為尺度可變高斯函數。(x,y)為尺度坐標，σ為高斯分布的標準差，決定了尺度圖像的模糊程度，σ的值越大，模糊程度越高，分辨率越低。

根據尺度函數建立高斯金字塔，高斯金字塔的第一階的第一層是原始圖像。高斯金字塔有n階、m層，在同一階上的兩個相鄰層之間的尺度比例為k，例如第1階第2層的尺度因子為σ，則第1階第3層的尺度因子為kσ，并且每一階圖像是前一階圖像大小的1/2。

在高斯金字塔的基礎上，利用同一階上的兩個相鄰的兩層的尺度空間函數之差得到DOG高斯金字塔的一層。

2.1.2 極值點檢測和精確定位

為了檢測到極值點，每一個采樣點要和它所有的相鄰點比較。即每一個采樣點要與它同層的8個、上層和下層的各9個像素點進行比較，以確保在尺度空間和二維圖像空間都檢測到極值點。如果該檢測點為最大值或者最小值，則該點為圖像在該尺度下的一個候選關鍵點。

候選點并不是最終的極值點，其中，還需剔除低對比度的、噪聲敏感的點和邊緣點。根據文獻［11］的思想，采用函數擬合方法以及根據極值主曲率的不同確定這些點并剔除，在此不再贅述。

2.1.3 特征向量描述

SIFT特征向量描述是特征點經過高斯濾波后，鄰域內梯度方向數理統計結果的一種表示方式。其思想是對特征點周圍進行區域劃分并計算生成區域內直方圖，最后得出具有由三個參數（位置、尺度和梯度方向）作為向量元素的特征向量。

特征點需要一個基準方向來表達該點所在的景物所攜帶的一些細節信息。由于處在DOG金字塔中的特征點的本質是差分運算，因此可以提取特征點所在圖像中的某尺度高斯鄰域窗口內像素的梯度方向分布特征，便可確定關鍵點的方向，公式如下：

其中，特征點m(x,y)所處的尺度空間為L(x,y)，且θ(x,y)為特征點的梯度方向。梯度方向隨機分布在所有360度的角度上。本文將360度，平均分為8個扇面，并統計落在其扇面上的點的個數，并用梯度直方圖來顯示結果。如圖2所示，梯度直方圖的主峰值代表了該關鍵點的主方向，如圖中箭頭所示；如果存在相當于主峰值的80%大小的其他峰值，則為該關鍵點的輔方向。每一個關鍵點的方向就由一個主峰值方向和多個輔峰值的方向決定。這樣可以保證關鍵點匹配的穩定性。

圖2 關鍵點的方向

為了進一步描述關鍵點的信息，需確定關鍵點的鄰域范圍的大小。本文選取某關鍵點P的16*16像素的鄰域范圍作為采樣區域。如圖3所示，圖（a）中每一個小格代表一個像素；按4*4的窗口統計其在8個方向內的梯度方向；圖（a）中關鍵點P的16* 16鄰域可轉換為圖（b）的16個4*4窗口，用16個種子點來描述關鍵點的特征向量；整個圖（b）可由128維（4*4*8）的特征向量表示。因此，一個特征點包含4*4*8個數據，128個數據便可保存該特征點所能承載的所有景物細節信息。

圖3 128維特征向量描述

2.2 特征點匹配

將左右眼圖像中的一幅作為模板圖像，另一幅作為匹配圖像進行特征點匹配，尋找最近似的特征點向量。為了提高匹配效率，本文選用最優節點優先（BBF）搜索算法，它是一種KD樹算法的改進，對于搜索的最大次數和順序均做了限定。為圖像128維SIFT特征向量建立全局KD樹，限定最大的葉節點為200，在一定條件下，極大地提高了對于高維數據的搜索能力，減少了搜索時間。搜索速度相比于窮舉法有很大的提高。

特征點匹配后，對于某一物點Q，若其在左眼圖像和右眼圖像中對應的像素點坐標分別為(xl,yl)、(xr,yr)，則該物點的視差nQ可由下式計算得到：

3 實驗結果與分析

本文采用一臺寬度為41cm的19寸立體顯示器和主動立體眼鏡觀看立體圖像，并驗證上述方法的可行性及立體感知深度推導的準確性。對圖4所示的左右眼圖像進行處理，圖中標識了感興趣的目標點。基于SIFT的特征點匹配結果如圖5所示，圖中通過連線標明了一些匹配的關鍵點。根據匹配結果可計算得到特征點的視差，插值得到細密的視差圖如圖6所示。圖中的每一個點的顏色值代表了該點的視差值。

圖4 實驗采用的左右眼圖像及感興趣的目標點

圖5 特征點匹配結果

圖6 生成的視差圖

以圖4中標出的木頭玩具最前端點為目標點，其視差圖中的對應點如圖6所示，可得到其視差-19pixels。實驗所采用的播放環境具體參數如表1所示：

表1 實驗中立體播放環境的主要參數

根據公式（1）和公式（3），可計算得到該目標點的立體感知深度為0.214m，即觀察時應感到該點位于屏幕前0.214m處。

當3D播放環境具體參數確定的情況下，根據本文所推導的定量關系，可以通過調節視差調整立體感知深度，以得到更好的播放效果。例如：若希望上述目標點成像于顯示屏平面上，即：立體感知深度為0，則可令左右眼圖像相對移動并進行剪裁，使得nQ=0即可。

不同人的兩眼間距略有不同，不全是65mm；不同人的立體感也有所不同，所以立體感知深度值存在一定的誤差。并且，觀察者在實際觀看立體圖像時的立體感知深度無法定量測量得到，因此，為了驗證本文算法的正確性，分別令5名測試者觀看不同的3組立體圖像中特定的感興趣目標點，分別調節感興趣點的立體感知深度理論值為-0.3d、-0.15d、0、0.15d、0.3d，并記錄觀看者的觀看體驗。當DQ=0時，全部測試者能準確感受到物點位于顯示屏平面上；當DQ取值為0.15d和-0.15d時，能夠感受到物點位于顯示屏前和后的深度變化、且絕對深度值基本無差別；當DQ取值為0.15d和0.3d時，能感受到顯示屏前物點深度值的近一倍的改變。實驗表明：測試者感受的深度與設計的立體感知深度具有較好的一致性。

4 結論

在3D電影或電視觀看過程中，立體感知深度的大小是決定立體觀賞效果好壞的重要因素。本文推導了立體感知深度的定量關系，并提出了一系列完整的計算方法。在3D電影或電視播放之前，設置播放環境參數信息，可預估立體觀賞效果，以便據此調整以達到最佳效果。此外，在立體拍攝階段也可應用本方法，實時調整拍攝參數以調節立體效果。

［1］孫延祿.立體電影攝影的基本規律及立體電影攝影機（一）［J］.影視技術，2003（6）：41-46.

［2］金帥，邢麗冬，錢志余,等.3D影片中深度信息與觀看者疲勞度的關聯研究［J］.中國生物醫學工程學報，2014，33（3）：306-312.

［3］Mcnally P，Low M M.M.A.C.：an automatic stereoscopic calculator for animation pipelines：proceedings of the Digital Production Symposium［C］.Culver City，USA：ACM，2012.

［4］羅桂娥.雙目立體視覺深度感知與三維重建若干問題研究［D］.長沙：中南大學，2012.

［5］王欣，袁坤，于曉，等.基于運動恢復的雙目視覺三維重建系統設計［J］.光學精密工程，2014，22（5）：1379-1387.

［6］Zhang T，Hare L，Hibbard P B，et al.Depth of Field Affects Perceived Depth in Stereographs［J］. Acm Transactions on Applied Perception，2014，11（4）：1-18.

［7］王愛紅，王瓊華，李大海，等.立體顯示中立體深度與視差圖獲取的關系［J］.光學精密工程，2009，17（2）：433-438.

［8］Lin H S，Guan S H，Lee C T，et al.Stereoscopic 3Dexperienceoptimizationusingcroppingand warping：：proceedings of the Special Interest Group on Graphics and Interactive Techniques［C］.Hong Kong，China：Siggraph Asia Sketches，2011.

［9］傅衛平，秦川，劉佳，等.基于SIFT算法的圖像目標匹配與定位［J］.儀器儀表學報，2011，32（1）：163-169.

［10］宋華軍，李泉.基于SIFT的目標跟蹤算法研究［J］.長春理工大學學報：自然科學版，2010，33（3）：123-126.

［11］汪松.基于SIFT算法的圖像匹配方法研究［D］.西安：西安電子科技大學，2013.

Research on Calculating Perceived Stereo Depth in 3D Display

QUAN Wei，ZHANG Yuqiang，LI Hua，HAN Cheng，ZHOU Shiqi
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

Stereo television and movie are a revolution at this stage for their stunning visual experience.In this kind of three-dimensional display system，the appropriate perceived depth will produce a good viewing experience，on the contrary，it will lead to visual fatigue，and even dizziness and some other kinds of discomforts.Therefore，it is necessary to calculate perceived depth before display.In order to solve this problem，the factors that affect the perceived depth in 3D display are analyzed，and a method of parallax computation based on feature points is proposed.The feasibility of our method is verified by the experiment，and the stereo perceived depth of the interested point is calculated taking left and right eye images as input.The experimental results show that the calculated perceived depth is always consistent with the subjective perception of all testers，and our research can be used to guide the stereoscopic shooting and the stereoscopic display in order to achieve better results.

perceived depth；3D display；parallax image；stereo depth

TN141

A

1672-9870（2016）06-0110-05

2016-09-05

國家科技支撐計劃重大項目課題（2012BAF12B22）；吉林省重點科技攻關項目（20140204050GX）；吉林省重大科技攻關項目（2012ZDGG004）

權巍（1981-），女，博士，講師，E-mail：quanwei@cust.edu.cn

李華（1977-），女，博士研究生，副教授，E-mail：lihua@cust.edu.cn