基于SPO 和立體匹配的深度估計算法

陳思宇

（四川大學計算機學院，成都 610065）

0 引言

光場成像與傳統成像相比，其主要優勢體現在：①任意深度的圖像都可以通過對光場數據進行計算來獲取，同樣的消除了孔徑大小對于景深的限制；②在積分成像之前對光福射的相位誤差進行校正，能夠解除幾何像差對于成像結果的影響；③由于光場圖像在收集過程中采集了光線的角度信息，所以蘊含了能夠計算成像物體的光譜圖像數據和三維形態信息。光場成像相比傳統成像是一種計算成像技術，其利用目前先進的數據分析和處理能力的優勢，不光降低了成像對于硬件性能的需求，而且還克服了許多傳統成像技術的局限性。

隨著商用光場相機的出現，光場圖像處理漸漸成為計算機視覺方向非常流行的研究主題。原始光場相機圖像可以解碼為子孔徑圖像的規則陣列，即從稍微不同的視點來看同一場景的多視角圖像。光場圖像也可以用于合成生成密集的焦點堆棧。在后期處理中，光場圖像可用于克服許多挑戰，例如場景結構推斷、圖像重聚焦和新的視圖合成，這些是傳統2D 或立體圖像難以解決的問題。深度估計作為光場處理的基本問題，成為了光場處理的研究熱點。

1 相關工作

深度估計可以應用于三維重建、圖像超分辨、抗遮擋和重聚焦等方面。光場圖像深度估計算法主要分為EPI、立體匹配、散焦及融合和機器學習等方法。目前，國內外對于光場圖像深度估計有了一些進展。

Jeon 等人的方法首先使用相移理論在頻域上進行位移，然后構建一個匹配代價函數，隨后對于該代價函數利用邊緣保持濾波器進行損失聚合，得到優化后的代價量。緊接著建立了一個多標簽優化模型以及迭代優化模型對深度圖進行優化。

Zhang 等人提出了一種旋轉平行四邊形算子（SPO），該算子主要提取EPI 直線并計算其斜率從而進行局部深度估計。旋轉平行四邊形算子最大化了平行四邊形窗口內兩個部分之間的分布距離，以提取深度信息。此方法對遮擋、噪聲、空間混疊和有限的角分辨率不敏感。

EPI 深度估計利用場景深度和EPI 圖極線斜率之間的比例關系從而獲取深度信息，能夠一定程度上消除深度不連續區域及鏡面反射光的負面影響，并且在被遮擋區域效果較為良好。但是這類方法計算量過于龐大，并且對于噪聲反應敏感。立體匹配深度估計方法利用多視角間的關系推出深度圖，能夠有效消除光場混疊效應以及視角串擾的影響，并且對于復雜的遮擋場景具有一定魯棒性。

2 深度估計算法

本算法主要分為三個步驟：①使用SPO 算法計算出深度估計結果。②使用基于相移理論的立體匹配算法計算出深度估計結果。③分別提取SPO 深度圖中的高頻信息和基于相移理論的立體匹配深度圖的低頻信息最后融合為新的深度圖。

2.1 SSPPOO算法

SPO 中文名為“旋轉平行四邊形算子”，通過SPO來計算深度圖的步驟：

（1）分別通過旋轉平行四邊形算子計算出EPI 水平和垂直圖像的直方圖距離。

（2）通過一個基于置信度的方法來融合兩個方向的直方圖距離x2。

（3）最后進行深度圖優化。

對于SPO 算子首先使用加權函數來定義平行四邊形算子的大小，窗口中的權重用于衡量每個像素對于距離的貢獻，并使用了高斯導數來創建加權函數。定義窗口中的相應像素的權重為：

然后選擇顏色直方圖的卡方檢驗來測量像素顏色分布之間的差異：

2.2 基于相移理論的立體匹配算法

基于相移理論的立體匹配方法來計算深度圖的步驟如下：

（1）根據相移的思想來實現亞像素的匹配。

（2）構建一個匹配代價函數進行子視圖之間的匹配。

（3）最后對深度圖進行優化和增強。

相移理論主要是空域的一個小的位移在頻域為原始信號的頻域表達與位移的指數的冪乘積，公式如下：

然后構建代價函數：

在公式（4）中的α?[0,1]用來調整 SAD 代價CA和GRAD 代價CG之間的權重。其中CA的定義為：

其中Rx是一個以x 為中心的小矩形區域；τ1是為了增加代價函數魯棒性的截斷值；V 表示除了中心視角sc之外的其余視角。公式（5）通過比較中心子孔徑圖像與其他子孔徑圖像的差異來構建損失量，具體而言就是通過不斷地在某個視角上x點的周圍移動一個小的距離并于中心視角做差；重復這個過程直到比較完所有的視角（i=1…視角數目N）為止。此時會用到上面提及的相移理論以得到移動后的像素強度，注意上面提到的小的距離實際上就是公式中的Δx，它被定義為如下形式：

其中k 表示深度/視差層的單位（像素），Δx 會隨著任意視角與中心視角之間距離的增大而線性增加。同理，可以構造出第二個匹配代價量GRAD，其基本形式如下所示：

至此，代價函數構建完畢。隨后對于該代價函數利用邊緣保持濾波器進行損失聚合，得到優化后的代價量。

2.3 濾波處理

兩種深度估計方法對于深度的推斷都具有一定的局限性。EPI 方法對于噪聲過于敏感，因此這種深度始終不夠準確。立體匹配方法無法為復雜的薄結構或非常大的無紋理區域恢復準確的深度。故本方法結合兩種深度估計方法的優點從而達到更好的效果。首先，采用高斯高頻濾波器在頻域上對SPO 算法的深度圖進行濾波，同時采用高斯低頻濾波器對立體匹配方法的深度圖進行濾波。然后將高頻部分和低頻部分結合到SPO 深度圖上。經實驗驗證，發現取得了較好的結果。

3 實驗結果與分析

為驗證本文改進算法的可行性和有效性，對多組HCI 數據集圖像進行實驗，得出結果采用HCI 的評價與SPO 方法和立體匹配方法進行比較。算法實現使用MATLAB 2014，運行環境為Window 10，計算機配置為Intel Core i5 3.2GHz 和 8GB RAM。

圖1 為HCI 數據集中sideboard 光場圖像分別采用SPO 算法、立體匹配算法和本文算法而獲取的深度估計結果。

圖1 sideboard光場圖像的深度估計結果

圖2 為HCI 數據集中boxes 光場圖像分別采用SPO 算法、立體匹配算法和本文算法而獲取的深度估計結果。

圖2 boxes光場圖像的深度估計結果

在HCI 數據集的一般采用MSE 來評價結果，通過計算得出的視差圖為d，地面真實視差圖gt 和評估掩膜M，則MSE定義為：

表1 為采用HCI 數據集評價標準MSE 來對三種算法評價的結果。

表1

由表1 可以看出本文算法在深度估計結果的精確度方面有了較好的提升，在紋理更復雜的boxes 光場圖像中的提升更加明顯。高頻濾波將SPO 算法中處理更好的紋理部分提取，低頻濾波將立體匹配算法中處理更好的非紋理區域進行提取，在紋理和非紋理部分都進行了加強，因此精確度才有了提高。

4 結語

本文針對光場圖像中深度估計結果的精確度問題展開研究，在現有深度估計方法上提出改了進。首先分別采用SPO 算法和立體匹配算法獲得深度估計結果，然后進行濾波處理，從而獲得更精確的深度估計結果。實驗表明，本文算法在精確度上有了良好的改進。但是，算法在時間效率上還是有些欠缺，在之后的研究中會努力改進。