基于深度信息虛擬視點生成

江雷

（四川大學計算機學院，成都 610065）

0 引言

三維電影是近年來興起的一種能夠增強觀賞效果的新型傳播媒體，它能給人更加真實的感覺與體驗。多視點視頻技術是三維電影的基礎上，通過某種算法獲得任意視點的圖像，從而讓我們可以全方位觀察我們想要看到的細節，這種技術加強了人與機器之間的交互。

現有的虛擬視點生成技術可以大致分為兩類，首先是基于模型的繪制技術（Model Based Rendering，MBR），其次是基于圖像的繪制技術（Image Based Rendering，IBR）。我們知道基于模型的繪制技術需要對真實場景建立一個準確的三維模型，一旦模型建立成功之后，我們可以很快得到任意視點的圖像。但是這種技術有一個很明顯的缺點就是，需要很深的計算機圖形學知識，并且要對現實場景建模不是一件容易的事情，計算量很大。因此我們有了基于圖像的繪制技術，基于圖像的繪制技術可以在參考了多個視點的圖像之后，利用重投影，插值等技術直接生成虛擬視點處的圖像。該方法的繪制速度很快，生成的虛擬圖像很真實，因此基于圖像的繪制技術應用更加廣泛。本文研究的目的，學習與研究多視點視頻技術的原理，提出一種有效的算法，幫助我們快速有效地生成虛擬視點處的圖像。

1 相機成像原理

在計算機視覺領域，相機幾何模型解決了實際三維空間坐標系到圖像二維空間坐標系的映射。在相機模型中，小孔成像模型是一個最經典的理想模型，它可以幫助我們快速有效地理解成像過程。但在實際應用中還有很多缺點，所以現實中，常常使用的不是線性幾何模型。攝像機成像可以看做是把三維空間的物體轉換到二維空間去表示，我們知道降維的過程往往伴隨著信息的丟失。那么如何把三維空間坐標系的物體轉到二維空間表示呢，最常用的方法是使用透視投影。經過透視投影之后，信息肯定存在一定的丟失，如角度；但也有一些信息會原封不動的被繼承，如原空間中的直線，經透視投影之后仍就是直線，不會變成曲線。

1.1 坐標系描述

在攝像機模型中一般存在著三種坐標系，世界坐標系、攝像機坐標系、圖像坐標系。成像的過程實際上是把世界坐標系中表示的物體，投影到圖像坐標系表示的過程。可以簡單的用下圖表示成像過程。

圖1 相機成像原理示意圖

可以用公式（1）表示其映射過程，期中f為焦距，R矩陣表示的試旋轉變換的過程，而t矩陣表示的是平移的過程，第一個矩陣表示是透視映射的過程。其中（U,V,W）代表物體在世界坐標系下的坐標，而（x,y）代表物體在圖像坐標系下的坐標。

1.2 針孔成像模型

小孔成像模型屬于線性模型，如圖1所示。三維空間的任意一點P在圖像中的成像位置均可以用小孔成像模型近似表示，即任意三維空間點P在圖像中的投影位置p’，為光心O與P點的連線OP與圖像平面的交點。這種關系也被稱為中心射影。通過觀察上面的小孔成像模型，我們可以得到關系式如下：

（x,y）為p點的圖像坐標；（U,V,W）為三維空間點P在攝像機坐標系下的坐標，f為XY平面與圖像平面的距離，也就是我們常說的焦距，上面的關系我們仍然可以用一個矩陣表示，也就成像公式如下（3）所示：

2 基于深度信息的視點生成算法

基于深度信息的虛擬視點生成需要經歷三個步驟，原始數據預處理、反向投影，以及重投影三個過程。可以利用左右視圖的紋理圖像以及深度圖像還有相機內參等信息合成中間虛擬視點的圖像。

2.1 數據預處理

本文所需的數據有原始圖像，深度圖像，以及每個相機的內參矩陣等。一般來說，其它數據我們都可以很容易得到，但是深度數據的獲取卻是一個難點問題。正常情況下，我們可以通過特有的深度相機獲取深度數據，但是由于深度相機價格高昂，無法滿足一般用戶的需求。其次我們可以通過某些深度估計算法進行數學計算獲得，這種方法不僅簡便且易用，因此成為當前最流行的方法，而且是當前研究的熱點之一。

不過用數學方法計算深度數據雖然簡便，卻存在一些問題，在圖像的特定區域上會存在錯誤的值，這是由于深度估計過程中的局部特性導致的。當我們在實驗中使用了這些錯誤的數據之后可能會在虛擬圖像上產生各種視覺偽影。為了解決這個問題，我們想到了預處理深度數據。我們使用一個中值濾波器代替均值濾波器因為均值濾波的結果是產生一個新的像素值，產生的這個像素值在原始的深度圖像上是不存在的，所以會降低繪制質量。

2.2 反向投影

前面我們說過相機成像原理，可以看做三維坐標向二維映射的過程。然而這時一個信息丟失的過程，我們成像的過程中會丟失一個維度。而所謂反向投影，則可以看做這個過程的逆過程。我們需要從二維的坐標加上圖像的深度信息，反投影到三維空間，求出圖像在三維空間下的實際坐標。對公式（3）我們可以記 R 為公式（4），A 為公式（5）。

所以成像過程可以簡化為(x y 1)T=P(U V W)T，所謂正向投影，是我們已知p和（U,V,W）從而得到（x,y）的過程。而反向投影則正好是反過來，現在我們已知（x,y）和p反向求出（U,V,W）。這可以看做一個數學求逆的過程，公式如下，其中d代表深度值。

2.3 重投影

經過反向投影我們求出了物體在三維空間的坐標，這樣我們只要再次正向投影一次就可以得到物體在虛擬視點處的坐標了。投影公式如下所示：

3 實驗結果及對比

4.1 實驗數據

本文使用的數據集來源于微軟亞洲研究院公開數據集，該數據集由8臺相機從8個角度拍攝的兩組照片，每組照片中每個角度相機均拍攝了100張連續動作的照片，并且每張照片的深度信息也有。并且微軟研究院提供給了我們8臺相機的基礎矩陣與旋轉矩陣等信息。

3.2 驗證方法

首先因為得到的結果是圖像，我們可以肉眼觀察改進后圖像與改進前圖像以及實際圖像的優劣，可以通過觀察空洞，偽影以及一些其他噪點的多少來判斷實際的實驗效果。

其次我們可以使用PSNR來（Peak Signal to Noise Ratio）峰值信噪比來作為圖像質量的衡量指標。

其中，MSE表示當前圖像X和參考圖像Y的均方誤差（Mean Square Error），H、W分別為圖像的高度和寬度；n為每像素的比特數，一般取8，即像素灰階數為256。PSNR的單位是dB，數值越大表示失真越小。

PSNR是一種基于誤差敏感的圖像質量評價，能夠在一定程度上反映出圖像的質量。但是其在使用過程中并未考慮到人眼的視覺特性，因此有可能出現人眼主觀感覺與PSNR評價結果不一致的情況。

最后SSIM（Structural Similarity）結構相似性，也是一種有效的圖像質量評價指標，它可以分別從結構、對比度、亮度三方面比較圖像的相似度。

其中uX、uY分別代表圖像X與圖像Y的平均值，σX、σY分別代表圖像X和Y的方差，σXY代表圖像X和Y的協方差，即：

C1、C2、C3為常數，為了避免分母為0的情況，通常取C1=(K1*L)^2，C2=(K2*L)^2，C3=C2/2，一般取K1=0.01、K2=0.03、L=255。SSIM取值范圍為[0,1]，其值越大，表示圖像失真越小，越小表示圖像失真越大。

在實際應用中，可以利用滑動窗將圖像分塊，令分塊總數為N，考慮到窗口形狀對分塊的影響，采用高斯加權計算每一窗口的均值，方差以及協方差，然后計算對應塊的結構相似度SSIM，最后將平均值作為兩圖像的結構相似性度量，即平均結構相似性MSSIM：

3.3 實驗結果

通過實驗我們可以得到我們使用本文中的算法得到的結果如圖4所示，以及原圖實際結果圖3所示，我們可以看到，從宏觀上來看兩者并無太大區別。然而我們各自放大它們，觀察它們的細節效果如圖5與圖6所示，可以看到我們虛擬出來的視點圖相比原始圖片確實存在一些空洞以及偽影的問題。

另外我們以原始圖像作為參考圖像，以我們使用算法得到的虛擬視點圖像作為目標圖像，分別進行PSNR與SSIM檢測得到的結果如圖7所示。可以看出與我們得到的圖像已經接近實際圖像了，但還有一定的差距。

3.4 實驗總結

從上面的實驗結果可以看出，我們的算法很好地得到了虛擬視點出的圖像，宏觀上看虛擬視點處的圖像與實際圖像并無太大區別。說明利用深度信息很好地彌補了了在相機成像過程中，導致的信息丟失的問題。但深度信息只能幫助我們解決大部分信息丟失的問題，還有一部分信息需要我們通過其他方法來解決。

圖3 原圖

圖4 結果圖

圖5 部分原圖

圖6 部分結果圖

圖7 PSNR與SSIM檢測結果

4 結語

本文利用深度信息很好地解決了從二維空間到三維空間的映射，虛擬點產生的效果較好，雖然還有一些細節問題，如存在空洞與偽影問題。但我們的算法基本上解決了虛擬視點產生，后期還需要其他方法幫助我們優化此算法。

[1]許士芳.多視點視頻編碼及虛擬視點生成[D].浙江大學,2009.

[2]劉丹.自由立體顯示中虛擬視點生成算法研究與實現[D].天津大學,2010.

[3]吳祖成.虛擬視點生成算法研究[D].浙江大學,2010.

[4]王莎.基于多視點的虛擬環境生成技術研究[D].解放軍信息工程大學,2007.

[5]劉海旭.面向多視點視頻的新視點合成技術研究[D].北京郵電大學,2014.

[6]陳佳僑.多視點立體視頻系統的研究與實現[D].北京交通大學,2016.

[7]Remco M.Dijkman,Dick A.C.Quartel,Marten J.Van Sinderen.Consistency in Multi-Viewpoint Design of Enterprise Information Systems[J].Information and Software Technology,2007,50（7）.