基于異形曲面擬合引導的深度信息修復算法

王 盛 王魏平 張 真

(長春理工大學 吉林 長春 130022)

0 引 言

異形投影曲面顯示系統給人們帶來了更佳的臨場沉浸感和增強現實感,而且異形投影曲面的空間顯示特性也極大地激發了視覺感受,其被廣泛應用于虛擬現實、藝術表演、文化展示、科技普及、創新創意等眾多領域。伴隨著投影顯示系統視覺表現力的提升,異形投影曲面顯示系統對深度信息的還原度依賴變得較為嚴苛,深度信息的獲取質量將直接影響到投影顯示畫面的呈現效果。如果將采集得到的原始深度信息直接應用于異形投影曲面顯示系統,則勢必會影響到后續幾何校正階段的可靠性。

借助于RGB-D深度相機可以實時地采集投影曲面的深度信息,但由于受到RGB-D深度相機自身缺陷、采集環境、采集距離、被測曲面固有屬性等因素影響,使得其采集得到的深度信息會出現表面區域丟失、深度值抖動、空間分辨率不足等重要問題。眾多研究學者已經針對空洞填充及深度優化等方面開展了大量工作,各種研究成果某種程度地提高了深度信息的可用性[1]。在基于濾波理論的深度信息修補算法中,主要利用待修補區域周圍的鄰域深度信息或結合彩色圖像來估計相關深度值[2-3]。當此類深度信息修補算法被使用時,如果待修補區域周圍的深度信息相似度較高,則會出現深度信息的過修補現象;如果待修補區域處于RGB-D深度相機采集的邊緣部分,則無法保證修補后深度信息的準確性。

Tomasi等[4]提出了基于非線性雙邊濾波的深度信息修補算法,結合使用空域信息和灰度相似性,實現了深度信息的平滑修補和保邊降噪。Petschnigg等[5]提出了基于聯合雙邊濾波的深度信息修補算法,借助彩色圖像引導深度信息的修補,某種程度上解決了深度信息修補過程中出現邊緣模糊的問題。Jung等[6]提出了基于聯合三邊濾波的深度信息修補算法,以深度信息與彩色圖像的區域相似度為切入點,實現了深度信息的修補和彩色圖像的增強。Esfahani等[7]充分考慮了待修補區域深度信息與像素信息之間的關系,結合雙邊濾波有效地實現了較小區域深度信息的修補處理。Deng等[8]結合使用像素濾波和中值濾波進行深度信息修補,達到了平滑深度信息和保邊降噪的目的。

異形投影曲面深度信息的三維形態直接影響著異形投影曲面顯示系統的畫面呈現效果,雖然多數深度信息修復算法都能做到對空洞填補、曲面平滑、深度插值等處理,但深度信息的修復結果往往會存在過修復、失真等問題[9-10]。由于深度信息的缺失和抖動將嚴重影響幾何形變的校正處理結果,而導致異形投影顯示畫面無法滿足人們的正常視覺觀感,因此對深度信息的修復可用性將對異形投影顯示畫面校正至關重要。圖1所示為基于異形曲面擬合引導的深度信息修復算法系統構成圖。

圖1 基于異形曲面擬合引導的深度信息修復 算法系統構成圖

基于異形曲面擬合引導的深度信息修復算法系統主要由計算機、RGB-D深度相機、投影機、異形投影曲面構成,其中:異形投影曲面用于接收投影機投射的格雷碼序列圖像;投影機用于投射格雷碼序列圖像;RGB-D深度相機用于采集異形投影曲面RGB-D空間的深度信息、異形投影曲面接收的格雷碼序列圖像;計算機用于獲取RGB-D深度相機采集的數據信息、傳輸格雷碼序列圖像給投影機。本文深度信息修復算法將被分解為兩個解算處理過程,即:異形曲面引導形態估計和曲面擬合引導深度信息修復。

1 異形曲面形態估計

為了更加合理地對異形曲面進行深度信息修復,本節將借助格雷碼序列圖像來體現異形曲面的形態變化情況。如果僅使用原始深度信息進行異形曲面的空間形態修復,則只能利用待修復區域周圍的已知深度信息對其進行處理,而且原始深度信息自身存在的不穩定性也會直接影響深度信息修復的優化結果。由于多數情況的異形投影曲面并不存在彩色紋理,因此無法利用彩色紋理圖像對深度信息的修復進行引導輔助。而本文將格雷碼序列圖像投射于異形投影曲面,這樣不僅有利于為深度信息修復過程提供擬合引導參照,還有利于根據條紋圖像的輔助作用確定有效投影區域范圍。首先,根據格雷碼編碼原理、所需條紋數量來確定格雷碼編碼圖像序列;然后,將格雷碼編碼圖像序列投射于異形投影曲面,利用相機采集受異形投影表面調制的格雷碼編碼形變圖像序列;再對編碼條紋中心線進行提取識別,并得到每個編碼條紋中心線的格雷碼碼值;最后,利用最小二乘曲線擬合方法對編碼條紋形成的邊界離散點進行劃分,從而達到進行異形曲面形態估計的目的。

1.1 異形曲面形態紋理圖像序列

由于任意兩個相鄰的格雷碼編碼值僅有1位二進制數不同,因此它具有錯誤最小化的編碼特性。圖2所示為格雷碼序列的像素化示意。異形投影曲面的接收表面往往缺少形態特征而無法為深度信息修復提供參考,故需要利用格雷碼編碼圖像序列對異形投影曲面進行三維形態的主動紋理映射。

圖2 格雷碼序列的像素化示意

根據格雷碼編碼序列的二進制數排列形式可知,格雷碼編碼圖像序列所包含的編碼圖像數量將由投影分辨率、編碼條紋寬度共同決定。如果投影分辨率保持不變,編碼條紋寬度越大則所需編碼圖像數量越少,編碼條紋寬度越小則所需編碼圖像數量越多,也就是說,投影分辨率不變的前提下,編碼條紋寬度與編碼圖像數量成反比。

根據式(1)即可計算得到格雷碼編碼圖像序列所含圖像數目為:

式中:n表示格雷碼編碼圖像序列所包含的編碼圖像數量;Sp表示投影機投射分辨率;Sn表示編碼條紋所占像素寬度值。

根據格雷碼編碼序列的二進制數排列形式,生成t幅格雷碼編碼圖像序列GCPs={GCPs1,GCPs2,…,GCPst}。通過投影機依次將格雷碼編碼圖像序列GCPs的每幅編碼圖像投射于異形曲面,同時使用RGB-D深度相機單元依次采集投射于異形投影曲面的每幅編碼圖像,得到RGB-D深度相機采集的t幅格雷碼編碼圖像序列CGCPs={CGCPs1,CGCPs2,…,CGCPst}、RGB-D深度相機采集的t組深度信息值序列DGCPs={DGCPs1,DGCPs2,…,DGCPst},編碼圖像序列CGCPs與深度信息值序列DGCPs具有對齊關系,且深度信息值序列DGCPs對齊于編碼圖像序列CGCPs。

1.2 序列編碼條紋提取識別

通過相機采集得到格雷碼編碼形變圖像序列后,需對編碼條紋進行提取及解碼以獲取各編碼條紋的格雷碼值。為了準確地對序列編碼條紋進行中心線提取與識別,需利用色彩空間轉換將格雷碼編碼圖像序列CGCPs={CGCPs1,CGCPs2,…,CGCPst}輸出為YUV色彩空間的Y通道編碼圖像序列YGCPs={YGCPs1,YGCPs2,…,YGCPst},其具體色彩空間的轉換過程可通過式(2)實現。正因亮度信息分量Y更好地表達了各像素點的亮度等級信息,所以對序列編碼條紋中心線的提取過程將使用亮度信息分量Y進行。

式中:Y(i,j)、U(i,j)、V(i,j)、R(i,j)、G(i,j)、B(i,j)分別表示某圖像中第i行第j列像素點的Y、U、V、R、G、B通道信息分量值。

由于序列編碼條紋中心線位于波形曲線的波峰和波谷處,因此需要使用線性平滑濾波器對Y通道編碼圖像序列YGCPs進行平滑處理,使對序列編碼條紋中心線的提取結果更加準確[11-12]。另外需要注意:對橫向序列編碼條紋進行平滑處理時,需使用縱向線性平滑濾波器;對縱向序列編碼條紋進行平滑處理時,需使用橫向線性平滑濾波器。

格雷碼編碼圖像序列所包含編碼條紋的碼值是由二進制值決定的,因此提取出序列編碼條紋中心線后還要對Y通道編碼圖像序列YGCPs進行二值化處理,再利用二值化圖像即可對各個序列編碼條紋進行解碼識別。本文算法的序列編碼條紋由橫條紋和縱條紋構成,根據格雷碼解碼原理對Y通道編碼圖像序列YGCPs進行解碼處理后,即可得到所有序列編碼條紋中心線各像素點的格雷碼值,并且每個中心線像素點均具有橫向和縱向兩個格雷碼值。根據解碼碼值與編碼碼值之間的關系,得到各中心線像素點之間的對應歸屬關系,從而為離散點曲線擬合過程提供基礎。

1.3 編碼條紋分段離散點曲線擬合

一般情況而言,網格曲面區域的平緩程度可通過其區域邊界曲線反映出來,即:異形曲面區域較平緩則其邊界曲線曲率較小、異形曲面區域起伏較大則其邊界曲線曲率較大。上述序列編碼條紋的提取識別過程相當于將異形曲面進行了網格劃分,由于異形曲面形態起伏未知且復雜多樣,為了能夠更好地表達異形曲面各網格區域形態變化趨勢,并為后續異形平緩曲面區域的合并劃分提供基礎,則預先對各異形曲面網格區域的邊界曲線進行離散點擬合[13-14]。

最小二乘法曲線擬合能夠使樣本回歸計算值與已知樣本數據值的總體誤差最小,而多項式函數曲線擬合形式也更加符合邊界曲線的函數表達,因此將使用多項式函數結合最小二乘法對邊界曲線進行擬合估計,該多項式函數可由式(3)表示。

y=lnxn+ln-1+…+l1x+l0

(3)

式中:ln表示多項式函數的第n個參數值。

因為異形曲面區域的邊界曲線應具有最簡曲線函數形式,為了確保多項式函數曲線擬合結果符合于曲面邊界曲線,并且能夠有效地降低曲線擬合算法復雜性和減少擬合過程累積誤差,對邊界曲線的擬合估計過程將使用二次多項式函數。利用離散點曲線擬合方式,即可得到所有異形曲面區域的邊界曲線方程。

2 曲面擬合引導深度信息修復

為了實現對異形投影曲面的深度信息修復,則需要合理地利用已采集到的原始深度信息和曲面形態特征,并使用異形投影曲面形態特征為原始深度信息的修復過程提供參照。利用三維曲面數理模型準確擬合出平緩曲面區域的異形曲面方程,再根據各異形曲面方程分別對其內部的所有坐標點進行深度信息重計算,進而實現利用曲面擬合引導的異形曲面深度信息修復處理[15]。

2.1 異形平緩曲面區域劃分

雖然序列編碼條紋已將異形投影曲面進行了網格劃分,但這些被網格劃分的單元曲面區域并不能很好地表達異形曲面形態變化趨勢[16],也就是說,局部曲面區域形態并不能合理地表示整體曲面形態變化趨勢,因此更為準確的計算過程便是:將具有相似邊界曲線方程的單元曲面區域劃歸為同一異形平緩曲面區域。

通過對各單元曲面區域邊界曲線的離散點曲線擬合,可以估計得到每個單元曲面區域的四個外部邊界曲線方程,上邊界曲線方程、下邊界曲線方程、左邊界曲線方程、右邊界曲線方程可分別表示為BCU、BCD、BCL、BCR。由于使用每個單元曲面區域的外圍邊界曲線方程作為平緩曲面區域劃分依據,因此各邊界曲線方程計算值的相似度對異形平緩曲面區域劃分極為關鍵。

兩個二次多項式邊界曲線方程的相似度可利用SPD距離進行評判,由式(4)可表示SPD距離的計算過程,其中:SPD(A,B)表示曲線方程A與曲線方程B的對應點對距離之和;ai表示曲線方程A的第i個坐標值、bi表示曲線方程B的第i個坐標值;d(ai,bi)表示坐標值ai與坐標值bi之間的歐氏距離。

假設存在SF1、SF2兩個單元曲面區域,如果在指定取值區間內SF1與SF2的各個邊界曲線方程都對應具備相似性,則可以認定二者屬于同一個異形平緩曲面區域,否則二者分屬不同異形平緩曲面區域。通過對整體異形投影曲面進行平緩曲面區域劃分,將使得各異形平緩曲面區域的曲面擬合方程更為有效和合理。

2.2 平緩區域離散點曲面擬合及深度信息修復

由于異形平緩曲面區域尋求的曲面過渡態勢要盡可能避免復雜形變,因此曲面擬合方程形式為最基本的二次曲面方程表達。當對每個異形平緩曲面區域進行二次方程擬合時,根據二次曲面擬合表達式(5)并利用最小二乘擬合法,估計得到與每個異形平緩曲面區域相對應的二次曲面方程擬合參數序列SFPVs,且SFPVs={{S01,S11,S21,S31,S41,S51},{S02,S12,S22,S32,S42,S52},{S0c-1,S1c-1,S2c-1,S3c-1,S4c-1,S5c-1},{S0c,S1c,S2c,S3c,S4c,S5c}},其中:{S0c,S1c,S2c,S3c,S4c,S5c}表示第c個異形平緩曲面區域的擬合參數值。

z=S0x2+S1y2+S3xy+S3x+S4y+S5

(5)

式中:x、y、z分別表示異形平緩曲面區域中各像素點對應的三維空間X軸坐標值、Y軸坐標值、Z軸坐標值。經過對原始異形平緩曲面區域進行離散點曲面擬合處理后,極可能會出現擬合曲面與三維空間離散點存在較大誤差等情況,此時則需要再次對出現異常擬合的異形平緩曲面區域進行重劃分[17]。對異形平緩曲面區域進行重劃分采用的規則為:如果某個單元曲面區域內各離散點Z軸坐標值與其所屬平緩區域曲面擬合計算得到的對應Z軸坐標值之間所有離散點的誤差之和均值大于設定的最大容差值,則將該單元曲面區域從其所屬平緩區域剔除,并再次對重劃分的平緩區域進行曲面擬合;而對于被剔除的單元曲面區域來說,將它與其周圍八個相鄰的單元曲面區域組合,再使用離散點曲面擬合方式得到該單元曲面區域的二次曲面方程。通過使用異形平緩曲面區域重劃分規則對全部曲面區域進行優化處理,直到每個被區域劃分的異形平緩區域離散點曲面擬合誤差均能達到合理范圍之內,進而擬合得到最優的二次曲面方程參數序列SWPVs,且SWPVs={{WS01,WS11,WS21,WS31,WS41,WS51},{WS02,WS12,WS22,WS32,WS42,WS52},…,{WS0c,WS1c,WS2c,WS3c,WS4c,WS5c}。

利用已擬合得到的二次曲面方程參數序列SWPVs和二次曲面擬合表達式,即可根據每個異形平緩曲面區域內所有像素點的三維空間x、y坐標值,計算得到各像素點對應的三維空間z坐標擬合優化值,從而實現對異形投影曲面的深度信息優化修復。

3 深度信息修復算法驗證

本文算法將格雷碼編碼圖像序列投射于異形曲面,通過主動引導的方式實現異形投影曲面的形態檢測、平緩曲面區域劃分、平緩曲面區域擬合以及區域深度信息修復等操作,從而達到異形曲面擬合引導的深度信息修復目的。

為了檢驗本文所提算法的可行性及有效性,在編碼序列圖像和深度信息采集階段,使用C++編程語言和RGB-D傳感器(Kinect v2.0)實現初始數據的采集存儲操作;在編碼條紋提取識別、分段離散點曲線擬合、平緩曲面區域劃分、區域離散點曲面擬合等處理階段,采用Python編程語言并結合Plotly、Numpy等類庫支持實現修復算法處理過程的具體操作。由于本文算法強調了異形曲面擬合對深度信息修復的引導性作用,故將以具有普適性的隨機異形投影曲面為算法驗證環境,而不是使用特殊布置的規則性投影表面為算法驗證環境。

分別將橫縱兩組格雷碼編碼圖像序列投射于異形投影曲面,從而使得異形曲面具有被動紋理特征,以達到對異形投影曲面進行幾何形態感知的目的。圖3所示為投射了橫向格雷碼編碼圖像的異形投影曲面。圖4所示為投射了縱向格雷碼編碼圖像的異形投影曲面。

圖3 投射橫向格雷碼圖像的異形投影曲面

然后使用RGB-D深度相機中彩色圖像傳感器采集到的橫縱格雷碼序列圖像,并根據格雷碼解碼原理即可得到所有序列編碼條紋對應像素點的格雷碼碼值,再結合序列編碼條紋對整體異形投影曲面的網格化分割關系,便可以得到每個單元曲面區域中四個邊界曲線的平面離散點坐標值。

在已知邊界曲線離散點集的確切歸屬前提下,即可利用多項式函數表達式(3)對各個邊界曲線離散點集進行多項式曲線函數擬合,從而得到每個單元曲面區域中四個邊界曲線的多項式函數描述,以確定各單元曲面區域的異形平緩曲面區域劃分歸屬目的。圖5所示為多項式邊界曲線函數擬合樣例。式(6)為圖5中多項式邊界曲線函數擬合方程。

圖5 多項式邊界曲線函數擬合樣例

y=0.000 671 4×x2-0.164 3×x2+156

(6)

利用所有單元曲面區域的多項式邊界曲線擬合方程結果,再根據邊界曲線的SPD相似度計算匹配關系,即可得到每個異形平緩曲面區域的劃分歸類及其包含的像素點集合。接著利用RGB-D深度相機中深度信息傳感器對各異形平緩曲面區域的所有像素點進行三維空間映射,便可以得到每個平緩曲面區域中各離散像素點的三維空間坐標值。

再結合使用二次曲面擬合表達式(5)對平緩曲面區域的離散空間點集進行最小二乘估計,計算得到每個異形平緩曲面區域的二次曲面方程,而后將離散空間點的X軸坐標值、Y軸坐標值傳入它對應的二次曲面方程,即可計算得到異形曲面擬合引導的深度信息修復值。圖6所示為異形平緩曲面區域的二次曲面擬合修復樣例1。式(7)為圖6中平緩曲面區域的二次曲面擬合方程。

(a) 原始樣例 (b) 修復后樣例圖6 異形平緩曲面區域的二次曲面擬合修復樣例1

z=.48×x2-0.81×xy+2.66×y2-

4.94×x-1.14×y+2.71

(7)

圖7所示為異形平緩曲面區域的二次曲面擬合修復樣例2。圖8所示為異形平緩曲面區域的二次曲面擬合修復樣例3。

(a) 原始樣例 (b) 修復后樣例圖7 異形平緩曲面區域的二次曲面擬合修復樣例2

(a) 原始樣例 (b) 修復后樣例圖8 異形平緩曲面區域的二次曲面擬合修復樣例3

圖9-圖10所示為本文算法與雙邊濾波算法修復結果的樣例對比。經過對修復后深度值與基準深度值之間的差異進行定量分析得到:誤差最大值約為1.463 6 cm,誤差最小值約為0.06 cm,誤差中值約為0.235 7 cm,誤差中位值約為0.152 5 cm。從異形平緩曲面區域的二次曲面擬合修復樣例結果可以看出,本文算法雖未使用過多復雜的數理計算模型,而只是使用了最基本的多項式函數、二次曲面函數進行擬合估計計算,但是卻得到了非常理想的深度信息擬合修復效果。

(a) 未修復樣例 (b) 本文算法修復樣例 (c) 雙邊濾波修復樣例圖10 算法修復對比樣例2

4 結 語

本文針對異形曲面的深度信息修復問題,提出了基于異形曲面擬合引導的深度信息修復算法。在進行異形曲面深度信息修復過程中,該算法不僅可以做到異形投影曲面幾何形態的變化趨勢表達,還可以做到異形投影曲面的平緩曲面區域劃分、異形投影曲面的三維曲面擬合等操作,從而達到異形曲面擬合引導的深度信息修復目的。本文算法通過格雷碼序列圖像的編碼條紋形變來表達異形曲面幾何變化趨勢,再根據異形曲面的幾何形態變化趨勢對平緩曲面區域進行劃分,最后利用三維曲面數理模型擬合出的曲面方程對原始深度信息進行平滑修復。本文深度信息修復算法根據異形曲面的形態擬合,能夠實現對深度信息的原始值優化和缺失區域填補,提高了異形曲面深度信息的可用性、保真度、合理性等,雖然如此,但關于此領域的研究仍有提升空間。