基于深度圖的多視點裸眼3D立體視頻技術研究

李蓓

摘要：3D立體視頻技術正引起越來越多的關注，但是目前絕大多數3D視頻系統需要佩戴特殊眼鏡才能夠觀看立體效果，或者要求觀看者必須從某個固定角度進行觀看。而多視點裸眼3D立體視頻系統則可以避免以上兩點限制，得到最好的3D觀看體驗。目前國際上最前沿的3D立體視頻研究集中在基于深度圖的多視點3D立體視頻技術上面，本文對基于深度圖的多視點裸眼3D立體視頻系統的幾個關鍵技術環節，包括深度圖提取、虛擬視點合成、多視點視頻合成等進行了研究并進行了相應的仿真實驗，從實驗效果來看，基于深度圖的多視點裸眼3D立體視頻系統具有數據量小、傳輸效率高、顯示內容可自適應調節，用戶交互性好等優點。

關鍵詞：裸眼3D立體視頻；深度圖；3DTV

目前3D立體視頻技術正引起越來越多人的關注，其中主流的3D技術主要包括雙目立體視頻（包含2個視點的視頻數據）和多視點立體視頻（包含8個以上視點的視頻數據）。雙目立體視頻又可分為配戴眼鏡觀看和雙目裸眼立體顯示兩種，其中前者必須佩帶偏振眼鏡，為觀看帶來了不便，后者則要求觀看者必須從固定的角度進行觀看，當有多人同時觀看同一塊顯示器時，因為多數觀看者無法獲得最佳觀看位置從而大大影響觀看體驗。而對于多視點立體視頻技術而言，由于同一塊裸眼3D立體顯示器上可同時提供多個視點的內容，所以觀看者可以從任意自由的角度來觀看，極大地提升了觀看的便利性。所以多視點立體視頻已經成為當前技術研究的主流。但是，多視點立體視頻相對于雙目立體視頻而言數據量成倍增長，為存儲和傳輸帶來了不便，而基于深度圖的多視點立體視頻技術具有數據量小的優點，因而成為最有潛力的多視點立體視頻方案。本文深入研究了基于深度圖的多視點3D立體視頻技術中的若干關鍵技術環節，并進行了相應的仿真實驗。本文的章節內容安排如下：第2節介紹基于深度圖的多視點3D立體系統整體架構，第3節介紹深度圖提取，第4節介紹虛擬視點生成，第5節介紹多視點視頻合成，第6節總結全文。

一、基于深度圖的多視點3D立體視頻系統框架

基于深度圖的多視點3D立體視頻系統的技術框架如圖1所示。首先需要進行原始視頻序列的拍攝，雖然最終多視點裸眼立體顯示系統需要9個甚至更多的視點的視頻內容，但是實際的原始視頻序列拍攝階段只需要拍攝2-3個視點的視頻即可，這是因為基于深度圖的虛擬視點生成技術可以在解碼端通過2-3個視點的視頻生成多個視點（在本文中為9個視點）的虛擬視點視頻，所以基于深度圖的多視點立體視頻技術具有數據量小，易傳輸的優點，克服了多視點視頻數據量大的缺陷。

在原始視頻序列拍攝完成后需要進行深度圖的提取和相機參數的計算，該步驟中提取的深度圖的質量直接決定了后期生成虛擬視點視頻的質量。完成以上步驟后則需進行壓縮編碼并通過網絡傳輸到解碼端，解碼端對數據進行解碼后會進行基于深度圖的虛擬視點生成，將原始的2-3個視點的視頻數據變成9個視點的視頻數據，獲得的9個視點的視頻數據還不能直接在多視點裸眼3D立體顯示器上面播放，必須針對該顯示器所使用的3D光柵結構進行多視點視頻合成。

本文的后續章節將會對深度圖提取、虛擬視點生成、多視點視頻合成三個環節進行詳細介紹并進行相應的仿真實驗。

二、深度圖提取

2.1深度圖介紹

深度圖是一副灰度圖像（如圖2-b），灰度值的范圍為0-255。灰度值可結合場景的景深信息進行換算得到深度值，立體視頻系統的實際應用中使用的是深度值。

深度圖上的像素是0-255的灰度值，前文提到過深度圖主要用于虛擬視點生成，在該過程中，我們用到的是實際的深度值，所以需要建立一個轉換關系，將深度圖中的像素灰度值換算為實際的深度值：

公式（1）中ｚ就是我們在虛擬視點生成過程所需要的深度值，ｖ表示圖2-b中的深度圖像中像素的灰度值，Ｚｎｅａｒ和Ｚｆａｒ分別表示該視頻所拍攝的場景中的最近深度和最遠深度，這兩個值需要在原始視頻序列的拍攝過程中進行測定。

2.2基于塊匹配的深度圖提取

用并排平行排列的兩臺相機拍攝同一場景，獲得兩幅圖像，要獲得其中一幅圖像的深度圖，需要用另一幅圖像來與之進行像素配對，經過像素點的配對匹配之后就會獲得該幅圖像每個像素點在兩幅圖像中間的視差，而深度值與視差值之間的關系如下：

其中ｚ為我們要求的深度值，d為經過像素匹配后得到的視差值，f為相機的焦距，b為兩臺相機之間的基線距離。所以有了視差值d之后就可以很容易的獲得深度值ｚ。但是最關鍵的環節是獲得準確的視差值，所以需要進行精確的像素點匹配，但是實際上由于不同相機之間曝光參數的差異，即使拍攝的是同一場景，像素點之間依然存在亮度差異，所以我們采用了圖像塊匹配的辦法，在一定程度上提高了像素點匹配的魯棒性，在本文的試驗中所使用的是3×3大小的圖像塊，必須指出的是，本文默認拍攝原始視頻序列的是嚴格水平平行的兩臺相機，所以在進行圖像塊的匹配時只進行水平搜索而不進行垂直搜索。整個深度圖提取過程如圖3所示。

對國際視頻標準制定組織MPEG提供的多視點視頻序列進行實驗提取的深度圖如圖4所示。

三、虛擬視點生成

虛擬視點生成技術[2]可以將左右視點中的像素投影到兩視點中間的任意位置，從而生成原本沒有被相機拍攝到的虛擬視點的視頻圖像（如圖5所示），該生成過程需要用到左右兩個視點的深度圖以及相機參數。該技術主要用到了3D投影的算法，3D投影算法用于發現兩個圖像平面之間的對應點，具體過程為將一個圖像平面上的點投影到3D世界坐標系，然后再將該點從3D世界坐標系投影到另一個圖像坐標平面。

對于任一給定的點p0，坐標為（u0，v0），位于圖像平面V0。如果要找到改點在圖像平面V1的對應點P1的坐標（u1，v1），那么整個3D投影過程應按如下式所示進行計算：

在這里，z是3D世界坐標中的點沿著相機坐標系的到相機的Z軸到相機的距離，P是對應的投影矩陣。該投影矩陣P由相機的內部矩陣K，旋轉矩陣R和平移矩陣T組成，具體P的描述如下所示：

其中，K是3×3的上三角矩陣，由焦距f，傾斜參數？酌和虛擬相機位置上的理論點（u'，v'）組成。R和T描述了世界坐標空間下的相機位置。

經過以上步驟即可初步實現基于深度圖的視點合成。

四、多視點視頻合成

4.1裸眼3D立體顯示原理

要使觀看者體驗到3D立體效果，其核心的原理是使雙眼分別同時看到不同的畫面，從而獲得立體感，最簡單的方法就是目前最為常見的佩帶特殊眼鏡，這樣可以強制控制兩眼所看到的內容，但是該方案為觀看者帶來了極大的不便（特別是本身就戴眼鏡的觀眾）。本文使用的方案為裸眼3D立體顯示，主要實現途徑為在顯示器屏幕前增加視差柵欄，通過柵欄控制各像素光線的射出方向，使某些圖像僅射入左眼，某些圖像僅射入右眼，從而形成雙目視差，產生立體視覺（如圖6所示）。

4.2多視點視頻合成

本文中所使用的裸眼3D視差柵欄結構上更為復雜，可以通過其柵欄遮擋控制9個視點的圖像內容，從而實現了在同一塊顯示器上同時顯示9個視點的圖像，雖然觀看者在同一時刻雙眼只能分別看到其中兩個視點的圖像從而獲得立體感，但9個視點的圖像使得顯示器的可觀看角度大大增加。為了配合9視點光柵柵欄的顯示，我們需要對9個視點圖像的RGB像素進行重排列，重排列的順序如圖7所示。圖中的數字代表視點的編號，按圖中的順序將9個視點圖像的RGB值重新組合排列，會得到一幅分辨率為原先每個視點圖像9倍大小的立體圖像，立體圖像可用于在多視點裸眼3D顯示器上播放。由9個視點圖像合成的立體圖像如圖8所示（該圖像只有在9視點裸眼柵欄式立體顯示器上才可以看到立體效果）。

結論

基于深度圖的多視點立體視頻技術是當前3D立體視頻的研究熱點，該技術不需要佩帶特殊的3D立體視頻眼鏡，并且具有總數據量小、觀看可視角度大的優點。本文深入研究了基于深度圖的多視點裸眼3D立體視頻系統的幾個關鍵技術環節，包括深度圖提取、虛擬視點合成、多視點視頻合成等進行了研究并進行了相應的仿真實驗。

參考文獻

[1]Müller，K.；Merkle，P.；Wiegand，T.；，"3-DVideoRepresentationUsingDepthMaps，"ProceedingsoftheIEEE，vol.99，no.4，pp.643-656，April2011

[2]Ndjiki-Nya，P.；Koppel，M.；Doshkov，D.；Lakshman，H.；Merkle，P.；Muller，K.；Wiegand，T.；，"DepthImage-BasedRenderingWithAdvancedTextureSynthesisfor3-DVideo，"Multimedia，IEEETransactionson，vol.13，no.3，pp.453-465，June2011

[3]Muller，K.；Merkle，P.；，"Challengesin3Dvideostandardization，"VisualCommunicationsandImageProcessing（VCIP），2011IEEE，vol.，no.，pp.1-4，6-9Nov.2011

[4]Sourimant，G.；，"Asimpleandefficientwaytocomputedepthmapsformulti-viewvideos，"3DTV-Conference：TheTrueVision-Capture，TransmissionandDisplayof3DVideo（3DTV-CON），2010，vol.，no.，pp.1-4，7-9June2010

[5]Hopf，K.；，"Anautostereoscopicdisplayprovidingcomfortableviewingconditionsandahighdegreeoftelepresence，"CircuitsandSystemsforVideoTechnology，IEEETransactionson，vol.10，no.3，pp.359-365，Apr2000