基于單目二維圖像生成三維立體圖像的研究

談文堯 吳光曄 陳浩宇 王昊意

摘要：隨著影像媒體應用的廣泛普及，包含三維立體信息的圖像或影視已成為當今媒體娛樂的重要組成部分。本文基于單目二維圖像，通過生成虛擬視點圖像，在一定程度上解決了單張二維圖像生成包含三維立體信息圖像的問題。研究通過使用SGBM全局匹配（Semi-Global Block Matching） 算法還原三維世界的空間信息，獲取深度圖像。同時，通過高斯濾波函數填充虛擬視點中因深度信息偏移所產生的圖像缺失。實驗結果表明，對單張二維圖像進行獲取深度圖，生成虛擬視點，填補空洞而最終合成的三維圖像能在一定程度上滿足觀眾的三維體驗需求。

關鍵詞：SGBM全局立體匹配算法；深度圖像；填補空洞；三維立體圖像

中圖分類號：TP391 ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）28-0026-04

近年來，隨著三維電影行業的不斷發展，群眾對于高質量三維電影的需求不斷增加，對其所包含的“身臨其境感”要求不斷提高。傳統的三維視頻制作因其需要價格高昂的立體相機，同時，商業化的三維視頻轉制通常需要幾十到上百人的團隊運作，致使獲得三維圖像的方式非常有限。使用計算機模擬人眼所見的三維圖像，正漸漸被普通群眾所接受[1]。

三維圖像是基于人眼的立體視覺基礎來構建的[2]，因此其所包含的深度信息能夠被人所感知。采用二維圖像生成三維圖像的方法，首先對原始圖像進行深度信息的提取，獲得深度圖并生成虛擬視點，同時填充深度圖像中的空洞。結合原始圖像和深度圖像產生由虛擬視點觀察到的三維立體圖像。但因為一般電子設備所支持的二維圖像往往不含有深度信息，雙目相機視圖也僅是模擬人眼的雙眼視差，無法包含完整的人眼視覺信息，在現階段仍無法通過二維圖像轉換出完整的、理想的三維立體信息的三維立體圖像。

1 三維立體視覺形成原理

人類眼球的結構與現實世界中的照相機十分相似，其中晶狀體類似于照相機的鏡頭，它可以根據物體的遠近自動調節焦距，而瞳孔則類似于光圈，它根據周圍環境的亮度，調節進光量，視網膜則可以接受光影信息反饋給大腦[3]。但是，單憑眼球的這種生理特點，并不足以使人產生空間立體感。產生三維立體視覺主要是由于人類雙眼所看到的圖像雖相似但仍存在差異，而這種差異就稱之為雙眼視差，現代3D電影攝影系采用的雙機系統也是根據這個基本原理制作出逼真的3D電影。

人類雙眼從不同的角度和方向看向同一個物體，會產生兩個不同的視覺畫面，如圖1所示。左眼從A看向C，右眼從B看向C，雙眼所看到的圖像如圖1中的a、b所示，當大腦對這兩幅存在差異的圖像進行綜合處理后，就會產生明顯的立體感。顯然，僅憑借單眼圖像是無法做到這一點的，此時，A、C和B、C之間的連線稱為“基線”，AC與BC的夾角α稱為“視差角”，而由于雙眼視差而形成的三維空間立體感的效應稱之為“視覺位移”。

三維立體視覺的強弱與雙眼視差有著密切的聯系。由圖1可知，當物體越靠近雙眼A、B時，視差角α越大，在視網膜上呈現的a、b差異越大，則物體的立體感越強，很容易區分物體遠近的空間立體關系；而物體離A、B越遠，則夾角α越小。當物體無限遠時，α約等于0°，此時a、b幾乎沒有差異，相當于單眼觀看，就像觀察天上的星星時，它們仿佛都在同一個平面上一樣。總之，三維立體視覺依賴于雙眼視差[4]，它是人眼感知三維深度信息的重要因素。

2 ?三維圖像生成過程

三維圖像生成的過程可主要分為以下五個主要步驟，如圖2所示：

2.1 前期預處理

單目二維圖像作為網絡上普遍流行的圖像資料，其優點為：獲取方便、成本低廉，但作為重建三維圖像的原始圖像，存在著不包含相機參數，只包含單眼視圖信息等缺點。本文為后續使用SGBM算法提取深度圖，需對單目二維圖像做前期預處理。基于SGBM算法生成深度圖需以左、右眼視圖及相機參數為前提條件。對于單目二維圖像，可將原始圖像作為左視圖，將左視圖做右平移變換得到初始的右視圖來生成左、右眼視圖，顯然直接由此相同的左、右眼圖像是無法生成三維圖像的。需要在此基礎上，設置相機焦距f及兩相機間距T作為相機參數，進行深度圖提取工作。

2.2 提取深度圖

在生成三維立體圖像的過程中，深度圖提取質量的好壞直接影響著三維效果的呈現。如SAD（Sum of absolute differences） 算法[4]，該算法應用于圖像立體匹配中的塊匹配，其基本思想為求取每相鄰兩個像素塊像素值差的絕對值之和，算法運行快速，但并不精確；BM（Boyer-Moore） 算法[5]通過從后往前依次與目標字符串進行匹配，同時采用壞字符規則和好后綴規則來計算匹配不成功時的跳躍距離，該算法運行速度快，但只能對8位灰度圖像計算視差，深度圖像效果仍舊不好；GC算法[6]效果實現較好，不過時間開銷大。

SGBM算法作為一種全局匹配算法[7]，其算法實現的核心步驟分為四個階段：選取匹配基元；構建多方向的代價能量和函數；求取能量代價；求取函數最優解。經研究，該立體匹配算法的實驗結果明顯好于局部匹配算法的實驗結果，因此本文采用了SGBM立體匹配算法提取深度圖。

該算法的基本流程為：

1） 逐像素匹配。函數[dxi，yi，IL，IR]定義了兩點是同名像點可能性的大小。

[dxi，yi，IL，IR=minyi-12≤yi≤yi+12ILxi-IR（yi）] ?（1）

式中，[xi]和[yi]分別是左右掃描線上的像點。左掃描線上點x處的灰度定義為IL（x）；IR（x）則是通過右掃描線上的采樣點線性內插得到的。

2） 代價聚合[8]。在像素點P的周圍設置16條路徑，每條路徑相隔22.5°，通過16條路徑計算最小代價路徑Lr（p， d）。首先構建損失函數，使得在每個方向上進行能量累積，然后將各個方向上的聚合代價相加得到總的聚合代價。公式如下所示：

[E（D）=pCp，Dp+q∈NpP1T[Dp-Dq=1]+q∈NpP2T[Dp-Dq>1]] ? ?（2）

E（D）是能量函數，第一項是視差為D的所有像素匹配代價的總和，第二項為像素[p]所有鄰近像素q視差改變小于2的約束懲罰項P1，第三項為像素[p]所有鄰近像素q視差改變大于1的約束懲罰項P2。其中，P1是為了適應傾斜或彎曲的表面，P2則是為了保留不連續性。

3） 視差計算。因為損失函數中多了兩個懲罰項所以變成了全局或者半全局最優，因此需要先知道周圍像素的最優視差才能知道當前像素的最優視差，為了有效解決這個問題，提出一種路徑代價聚合的思路。單一方向路徑代價聚合[12]公式如下所示：

[Lrp，d=cp，d+minLrp-r，dLrp-r，d-1+P1Lrp-r，d+1+P1mini=dmin，…，dmaxLrp-r，i+P2-mini=dmin，…，dmaxLrp-r，i] ? ? （3）

其中，[Lrp，d]是像素[p]從方向[r]聚合過來的視差為[d]時的路徑聚合代價，[cp，d]是像素[p]在視差為[d]時的損失值。對各個方向上聚合完的聚合代價進行求和就得到了所有方向上的聚合代價，求得該像素聚合代價最小的那個視差就是該像素的視差。

4） 差錯匹配檢測。當左右兩幅圖像上的同名點匹配完成后，將右圖像上的點匹配左圖像上的同名點。若兩次匹配得到的視差不同，則視為差錯匹配并將其剔除。

2.3 基于深度圖像生成虛擬視點

基于深度圖像繪制虛擬視點（DIBR， Depth image-based rendering） 通過對深度信息與彩色圖像進行結合，完成二維空間中的像素到三維空間中的坐標的映射及三維空間中的坐標轉換到新的二維圖像空間，能夠大幅減少虛擬視點生成對參考圖像數量的依賴，降低了成本及運算量，因此本實驗使用基于深度圖像生成虛擬視點的繪制技術。

2.3.1 相機模型的坐標系描述

相機模型在計算機視覺中通常用來處理三維空間坐標系至二維圖像坐標系的映射問題[9]。該模型有四個坐標系，分別是世界坐標系、圖像坐標系（以圖像平面的中心為坐標原點）、像素坐標系（以圖像平面的左上角頂點為坐標原點）和相機坐標系，相機成像原理示意圖如圖3所示。一般圖像的成像原理為世界坐標系中的物體投影至像素坐標系，這種投影方式稱為正向投影，可用公式（4） 表示其映射過程。

[xy1=fu0u00fvv0001?f0000f000010?Rt01?UVW1] （4）

其中[fu]=1/[dx]，[fv]=1/[dy]，[dx]，[dy]分別是每個像素在圖像平面[x]和[y]方向上的物理尺寸，單位為毫米，[u0]，[v0]是圖像坐標系原點在像素坐標系中的坐標，[f]表示相機焦距，[R]表示旋轉矩陣，[t]表示平移矩陣，[U]，[V]，[W]表示像素在三維空間中的坐標。DIBR利用參考視點處的圖像及其每個像素對應的深度值，結合相機參數通過投影變化合成虛擬視點處的圖像，主要包括參考圖像到三維空間的投影和三維空間到虛擬視點的投影兩個步驟。

2.3.2 參考圖像到三維空間的投影

參考圖像到三維空間的投影指將圖像坐標系結合深度圖中所包含的深度信息，反向投影至三維空間的世界坐標系的過程。生成虛擬視點的過程可以理解為二維圖像坐標從圖像坐標系反向投影至世界坐標系，以獲得圖像在三維空間下的坐標。設M為公式（5） ，公式如下所示：

[M=f000f000f] ? ? ?（5）

反向投影公式如下：

[（U V W）T=RrefM-1refx y 1dx，y+tref] （6）

其中[Rref]、[tref]、[Mref]、[dx，y]分別表示參考視點處的旋轉矩陣、平移矩陣、M矩陣和深度值。

2.3.3 三維空間到虛擬視點的投影

圖像坐標系內的物體經過反向投影，可將二維坐標系內的物體重新映射至三維坐標系，此時再進行一次正向投影即可獲得物體在虛擬視點處的坐標。公式如下：

[lmnT=MvirR-1virUVWT-tvir] （7）

其中[lmn]表示虛擬視點的坐標，[Rvir]、[tvir]、[Mvir]分別表示參考視點處的旋轉矩陣、平移矩陣和M矩陣。

2.4 填補空洞

基于深度圖生成的虛擬視點得出的圖像在某些位置的像素上存在信息的缺失，這是由于前景位移與背景像素位移差距過大導致的，前景深度值比較大，所以像素平移量比背景平移量大，于是就在前景和背景之間產生了所謂的“空洞”。本文采取高斯濾波[10]的方法減少圖像噪點，其實質是對整幅圖像的像素進行一個加權平均處理，每一個像素點的值都為其本身及鄰近像素加權平均之后的結果。圖像被平滑的程度取決于標準差，離中心越近的像素權重越高，因此相對于均值濾波，高斯濾波的平滑效果更柔和且邊緣保留更好。具體使用到的二維高斯濾波函數如下，式中，σ為模板寬度，u、v為像的模板坐標，對應原點即為模板的中心位置：

[Gu，ν=12πσ2e-u2+v22σ2] （8）

本文采用了3×3的高斯卷積核、5×5的高斯卷積核和7×7的高斯卷積核，分別對得出的深度圖像進行濾波，濾波后的深度圖像如圖4。通過三種不同高斯過濾器的比較，3×3的卷積核過濾后的深度圖像噪點減少不明顯，7×7的卷積核過濾后的深度圖像造成了原圖的模糊，而5×5的卷積核過濾后的深度圖像能夠縮小空洞，且圖像較清晰，因此在實驗中使用的都是5×5的卷積核。

3 實驗結果及結論

本文從雙眼視差原理出發，研究了利用SGBM立體匹配算法生成深度圖，并基于深度圖像生成虛擬視點，同時對其進行空洞填補處理，獲得相應效果對比圖，最終得出紅藍圖像，通過佩戴紅藍眼鏡能夠看到具有一定立體效果的三維圖像。但是使用SGBM算法提取深度圖像具有嚴格的參數要求，并且針對不同的圖像均需要重新調節各項參數。同時，SGBM算法對于圖像的輸入要求也較為嚴格，對于使用單幅圖像進行平移操作而生成的圖像對，算法并不能很好地配對兩幅圖像之間的像素，噪聲影響大，后續仍有提升空間。

參考文獻：

[1] 陳樺.基于2D轉3D的深度圖生成技術研究[D].北京：北京郵電大學，2015.

[2] 徐萍.基于深度圖像繪制的二維轉三維視頻關鍵技術研究[D].南京：南京郵電大學，2011.

[3] 郝寬曉，周籽秀.立體視覺的形成機制及測量方法的相關研究[J].國際眼科雜志，2020，20（3）：500-503.

[4] 王楠.SAD與Census融合的雙目匹配算法研究及FPGA實現[D].西安：西安科技大學，2020.

[5] 李先祥，陳思琪，肖紅軍，等.基于SGBM算法與BM算法的三維重建分析[J].自動化與信息工程，2019，40（5）：6-12.

[6] MARTULL S，PERIS M，FUKUI K．Realistic CG Stereo Image Dataset with Ground Truth Disparity Maps[J]．電子情報通信學會技術研究報告，2012，111（430）： 117-118.

[7] 趙成星，張曉玲，楊宇.基于SGBM半全局立體匹配算法的三維重建[J].激光雜志，2021，42（4）：139-143.

[8] Hirschmuller H.Stereo processing by semiglobal matching and mutual information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（2）：328-341.

[9] 江雷.基于深度信息虛擬視點生成[J].現代計算機（專業版），2018（3）：45-49.

[10] 胡雄樓.2D轉3D中深度圖提取算法及實現[D].合肥：合肥工業大學，2018.

【通聯編輯：唐一東】