一種FIR頻率平面濾波器及其在光場(chǎng)濾波中的應(yīng)用

方力，葉龍，鐘微，張勤

(中國(guó)傳媒大學(xué) 媒介音視頻教育部重點(diǎn)實(shí)驗(yàn)室，北京 100024)

一種FIR頻率平面濾波器及其在光場(chǎng)濾波中的應(yīng)用

方力，葉龍，鐘微，張勤

(中國(guó)傳媒大學(xué) 媒介音視頻教育部重點(diǎn)實(shí)驗(yàn)室，北京 100024)

本文提出了一種FIR頻率平面濾波器，它具有近似4D平面的通帶形狀。該濾波器的設(shè)計(jì)基于窗函數(shù)法，設(shè)計(jì)簡(jiǎn)單，且具有線性相位特性，因此非常適合用于光場(chǎng)處理。理論分析和實(shí)驗(yàn)表明，由無遮擋朗伯表面構(gòu)成的光場(chǎng)可以使用該濾波器實(shí)現(xiàn)深度濾波。

4D濾波器；光場(chǎng)；場(chǎng)景分析；窗函數(shù)法；線性相位

1 引言

基于圖像渲染(Image-based Rendering)模擬場(chǎng)景中彌漫的光的行為，而不是采集場(chǎng)景的幾何形狀和紋理，能夠從預(yù)先采集的視圖中生成一個(gè)新的視圖，而不依賴于場(chǎng)景的幾何信息。光場(chǎng)(Light Field)渲染及其變種[1，2]模擬與場(chǎng)景相關(guān)聯(lián)的7D全光函數(shù)(Plenoptic Function)[3]的一個(gè)4D子集，是一種重要的基于圖像渲染技術(shù)。相比于基于模型渲染(Model-based Rendering)方法，它的復(fù)雜度不依賴于場(chǎng)景的復(fù)雜度，易于實(shí)現(xiàn)實(shí)時(shí)渲染，因此近些年來吸引了大量的研究興趣。

7D全光函數(shù)描述了光在時(shí)間(一維)、空間(三維)、方向(二維)和頻率(一維)一共七個(gè)維度的行為。在透明介質(zhì)的無遮擋靜態(tài)場(chǎng)景中，它可以被簡(jiǎn)化為一個(gè)4D函數(shù)[1]。4D光場(chǎng)通常使用兩平面參數(shù)化(Two-plane Parameterization，2PP)來表示光線，如圖1所示。每條光線由它與兩個(gè)參考平面的交點(diǎn)來描述：其中一個(gè)平面被稱作相機(jī)平面，用(s，t)表示，另一個(gè)是焦平面，用(u，v)表示。一個(gè)完整的光場(chǎng)可以包含多組這樣的平面。注意顏色通常不被算在光場(chǎng)的維度里，因?yàn)樗鼈兺ǔ１环殖杉t、綠、藍(lán)三個(gè)通道單獨(dú)處理。

圖1 四維光場(chǎng)的兩平面參數(shù)化

關(guān)于光場(chǎng)的濾波，許多人取得了許多研究成果。1996年Gortler和Szeliski等人提出了具有深度補(bǔ)償?shù)乃木€性插值濾波器[2]，證明了深度信息對(duì)于提高重光場(chǎng)建質(zhì)量是非常重要的。2000年Chai和Shum等人分析了光場(chǎng)的頻譜，給出了最優(yōu)恒定深度重建濾波器[3]。2004年Zhang使用特征濾波器的方法設(shè)計(jì)了一個(gè)蝶型濾波器用來重建光場(chǎng)[4]。2003年Dansereau和Bruton 提出了一個(gè)頻率平面IIR濾波器[5]，能夠?qū)崿F(xiàn)光場(chǎng)的深度濾波器。2007年他們又提出了一個(gè)雙扇形IIR濾波器[6]，能夠提取場(chǎng)景中一定深度范圍的光場(chǎng)。2013年Dansereau提出了一個(gè)頻域超扇形濾波器[7，8]，用于光場(chǎng)去噪和生成全景聚焦圖像。2015年Edussooriya等人提出了一組IIR深度-速度濾波器[9]，用于動(dòng)態(tài)光場(chǎng)處理。然而，上述這些濾波器中大部分都是IIR濾波器，需要級(jí)聯(lián)額外的網(wǎng)絡(luò)才能實(shí)現(xiàn)線性相位(Linear-phase，LP)特性或者零相位濾波，設(shè)計(jì)靈活性差。

針對(duì)這個(gè)問題，本文提出了一種具有線性相位特性的FIR頻率平面濾波器，可以實(shí)現(xiàn)光場(chǎng)的深度濾波。論文其余部分結(jié)構(gòu)安排如下：第二節(jié)展示了一個(gè)朗伯場(chǎng)景(Lambertian Scene)可以使用4D頻率平面濾波器實(shí)現(xiàn)深度濾波；第三節(jié)給出了這樣的濾波器的設(shè)計(jì)方法；第四節(jié)給出了實(shí)驗(yàn)結(jié)果；第五節(jié)討論了結(jié)論。

2 朗伯場(chǎng)景的頻譜特性

2.1 全向點(diǎn)光源的頻譜支撐域

為了分析場(chǎng)景的光場(chǎng)，首先需要理解不同類型場(chǎng)景的行為和光場(chǎng)中的場(chǎng)景元素。由于任何的復(fù)雜幾何模型都可以通過一系列點(diǎn)的疊加來模擬，因此我們首先分析空間中的一點(diǎn)。圖2給出了空間中一個(gè)點(diǎn)的頂視圖，點(diǎn)的坐標(biāo)為p=[px，py，pz]，從該點(diǎn)發(fā)出的一條光線穿過了兩個(gè)參考平面。

圖2 單一點(diǎn)光源的兩平面參數(shù)化頂視圖

從圖2中可以清楚地看出，光場(chǎng)中的光線只有一部分會(huì)與點(diǎn)p相交。從圖中的相似三角形中可以推導(dǎo)出與點(diǎn)p相交的所有光線的關(guān)系，s和u之間任意與點(diǎn)p相交的光線滿足

(1)

同樣，t和v也滿足類似的關(guān)系

(2)

請(qǐng)注意公式(1)和(2)分別描述了4D光場(chǎng)中的一個(gè)超平面[10]。只有這兩個(gè)方程同時(shí)滿足才能確定一條光線與空間的點(diǎn)相交。將這兩個(gè)方程改寫成矩陣的形式，則點(diǎn)p所占據(jù)的4D光線空間的子集可以描述成

(3)

公式(3)表示公式(1)和(2)所描述的兩個(gè)超平面的交集。正如3D空間中兩個(gè)平面的交集為一條線，4D空間中兩個(gè)超平面的交集是一個(gè)平面。因此，公式(3)是4D空間中一個(gè)平面的方程。

為了描述點(diǎn)光源在光場(chǎng)中所對(duì)應(yīng)平面中光線的值，我們首先假設(shè)場(chǎng)景中點(diǎn)p位置有一個(gè)全向點(diǎn)光源，該點(diǎn)發(fā)出的所有光都具有恒定值，因此該點(diǎn)在光場(chǎng)中對(duì)應(yīng)的平面也具有恒定值。令該全向點(diǎn)光源的光場(chǎng)為l(s，t，u，v)，那么它的連續(xù)傅里葉變換為

L()=l(s，t，u，v)

·e-j(ss+tt+uu+vv)dsdtdudv

(4)

由于場(chǎng)景中只包含一個(gè)點(diǎn)p且該點(diǎn)位于參考平面u-v上，其中pz=d，因此該光場(chǎng)只包含了一個(gè)平面u=px，v=py。注意該平面是對(duì)齊的，平行于s-t平面，垂直于u-v平面。如果點(diǎn)p位置有一個(gè)全向點(diǎn)光源，那么光場(chǎng)平面的值將會(huì)是一個(gè)恒定值，因此整個(gè)光場(chǎng)沿著s和t將具有恒定值。這意味著沿著s和t的積分只在頻域原點(diǎn)處有非零值，因此它的傅里葉變換可以改寫成

L()=δ(s)δ(t)
l(s，t，u，v)e-j(uu+vv)dudv

(5)

這種簡(jiǎn)化等同于觀察到的信號(hào)在s和t上是恒定的，因此它的頻譜支撐域必須存在于這些軸上的零頻率處。所得的頻域信號(hào)的支撐域由公式(5)中的兩個(gè)狄拉克函數(shù)定義。每個(gè)狄拉克函數(shù)定義了一個(gè)過原點(diǎn)的超平面，則它們的乘積定義了這兩個(gè)超平面相交的平面。因此，空間中點(diǎn)p(其中pz=d)位置的一個(gè)全向點(diǎn)光源的頻譜支撐域是一個(gè)過原點(diǎn)的平面。

上述觀察所得可以推廣到場(chǎng)景中任意深度處的一點(diǎn)，任意一個(gè)點(diǎn)光源對(duì)應(yīng)光場(chǎng)中的一個(gè)平面，無論光源的深度是多少。而平面的朝向則隨著光源深度變化而變化。這樣，光場(chǎng)的頻譜支撐域應(yīng)該是上述過原點(diǎn)平面旋轉(zhuǎn)后的版本。我們可以將新光場(chǎng)看作是pz=d的情況旋轉(zhuǎn)后的版本：

l′(s，t，u，v)=l(R[s，t，u，v]T)

(6)

其中R是一個(gè)依賴于光源深度pz的4D旋轉(zhuǎn)矩陣。傅里葉變換的性質(zhì)告訴我們，空間域的旋轉(zhuǎn)對(duì)應(yīng)于頻域的旋轉(zhuǎn)，公式(6)在頻域可以寫成

L′()=L(RT)

(7)

因此，頻域旋轉(zhuǎn)后的光場(chǎng)的頻譜支撐域是過原點(diǎn)平面旋轉(zhuǎn)后的版本。

我們可以利用平面頻譜支撐域的朝向和空間域光場(chǎng)平面的朝向之間的關(guān)系，從而避免了直接使用旋轉(zhuǎn)矩陣R。在s-u平面，平面頻譜支撐域垂直于空間域光場(chǎng)中的平面，即旋轉(zhuǎn)了90°。在t-v平面，這一現(xiàn)象同樣存在，兩者結(jié)合在一起完整地描述了頻譜支撐域的朝向。從公式(3)中可以發(fā)現(xiàn)，空間域平面在s-u和t-v坐標(biāo)下的斜率都是d/pz。將這個(gè)平面分別在s-u和t-v坐標(biāo)下旋轉(zhuǎn)90°，即

(8)

這個(gè)方程描述了場(chǎng)景中任意深度位置的一個(gè)全向點(diǎn)光源的頻譜支撐域，它的朝向只依賴于場(chǎng)景中點(diǎn)的深度pz。

2.2朗伯表面的頻譜支撐域

2.1節(jié)分析了全向點(diǎn)光源的頻譜支撐域，通過疊加的方法，可以將此結(jié)論擴(kuò)展到表面。這需要將一個(gè)表面表示成一組表面元素的集合，比如多邊形。當(dāng)表面元素的數(shù)量非常巨大時(shí)，每一個(gè)表面元素變得無窮小，它的行為接近于空間中的一個(gè)點(diǎn)。

(a)

(b) 圖3 平面頻譜支撐域在(a)s-u平面和(b)t-v平面的投影

將這種方法應(yīng)用于一個(gè)朗伯表面(Lambertian Surfaces)產(chǎn)生了一個(gè)特別簡(jiǎn)單的結(jié)果。一個(gè)朗伯表面的亮度與觀看角度是無關(guān)的，因此可以看做是由無數(shù)個(gè)全向點(diǎn)光源組成的。這種處理不是完美的，因?yàn)樗鼰o法模擬遮擋，因此需要假設(shè)是場(chǎng)景中的一個(gè)朗伯表面且沒有遮擋。在這個(gè)假設(shè)下，光場(chǎng)中朗伯表面的頻譜支撐域可以看作是無數(shù)個(gè)點(diǎn)光源的頻譜支撐域的疊加。

我們從最簡(jiǎn)單單一恒定深度表面開始，取一個(gè)平行于參考平面的表面，深度為pz。在該平面上所有的點(diǎn)光源都具有相同的深度，因此也具有相同的平面頻譜支撐域，由公式(8)給出。由這些平面疊加而成的頻譜支撐域本身就是個(gè)平面。這一觀察所得對(duì)于包含任意數(shù)目的朗伯表面都成立，只要它們都具有相同的深度pz。圖3(a)和(b)分別給出了場(chǎng)景中具有單一恒定深度的朗伯表面的頻譜支撐域在s-u平面和t-v平面的投影。

3.FIR頻率平面濾波器

在第二節(jié)我們證明了由位于單一恒定深度的朗伯表面組成的場(chǎng)景，它所產(chǎn)生的光場(chǎng)是由完全平行的、恒定值的平面組成。公式(8)描述了這樣的光場(chǎng)的頻譜支撐域，它是由兩個(gè)4D超平面相交得到的平面，且在s-u平面和t-v平面上的投影都是一條斜率為的直線，其中pz是朗伯表面所在的深度。類似的，對(duì)于一個(gè)包含若干個(gè)位于不同離散深度上的朗伯表面的場(chǎng)景，它的光場(chǎng)包含了一組組平行平面，每一組平行平面的朝向取決于對(duì)應(yīng)朗伯表面的深度。如果我們?cè)O(shè)計(jì)一個(gè)頻率平面濾波器，只允許位于深度pz的朗伯表面通過，而去除或者模糊所有其他的場(chǎng)景元素，那么就可以實(shí)現(xiàn)深度濾波。

為了獲得這樣的4D頻率平面通帶，首先需要設(shè)計(jì)4D超平面濾波器，它可以通過2D直線濾波器來實(shí)現(xiàn)。由于直線沒有寬度，理想的直線通帶是無法實(shí)現(xiàn)的。在實(shí)際應(yīng)用中，我們可以用寬度非常窄的頻域矩形窗來近似直線通帶，它的空間域表達(dá)式由公式(9)給出：

(9)

其中為直線的斜率，N為濾波器的階數(shù)。可以看出，這樣的2D直線濾波器具有偶對(duì)稱系數(shù)，也就是說，具有線性相位特性。圖4給出了這種2D直線濾波器的一個(gè)例子。

(a)頻率響應(yīng) (b)頻域頂視圖圖4 斜率為0的直線濾波器，階數(shù)N=32，使用矩形窗

4D頻率平面濾波器由兩個(gè)不同平面的2D直線濾波器的卷積得到

(10)

其中每個(gè)2D直線濾波器是由公式(9)得到的。這樣的濾波器具有接近圖3中所示的頻率平面通帶。由于兩個(gè)2D直線濾波器都具有線性相位特性，因此所得的4D頻率平面濾波器同樣具有線性相位特性。在第四節(jié)我們將通過實(shí)驗(yàn)來驗(yàn)證它的深度濾波性能。

4 實(shí)驗(yàn)與分析

第三節(jié)提出的頻率平面濾波器具有兩個(gè)可以調(diào)節(jié)的參數(shù)：濾波器階數(shù)和窗函數(shù)。具體的參數(shù)選擇可以參考一維濾波器的窗函數(shù)設(shè)計(jì)法。需要注意的是，當(dāng)光場(chǎng)規(guī)模較大時(shí)，濾波器的階數(shù)極大影響處理時(shí)間，因此濾波器的階數(shù)不宜過大。同時(shí)，還需要選擇合適的窗函數(shù)，以避免或減小振鈴效應(yīng)。

斯坦福大學(xué)光場(chǎng)存檔(StanfordLightFieldArchive)是一個(gè)公開的數(shù)據(jù)庫，適用于評(píng)估光場(chǎng)濾波技術(shù)。圖5展示了其中的“樂高騎士”(LegoKnights)光場(chǎng)的正視圖。它包含了一個(gè)17×17網(wǎng)格上個(gè)的289張視圖，每張視圖的分辨率為1024×1024。光圈位置足夠接近理想的網(wǎng)格，因此忽略其偏差導(dǎo)致的輸出圖像質(zhì)量降低可以忽略不計(jì)。“樂高騎士”包含了不同深度的相對(duì)簡(jiǎn)單的幾何物體，基面上由凸起組成的規(guī)律網(wǎng)格便于演示濾波器對(duì)于不同深度的選擇性。因此我們選擇“樂高騎士”光場(chǎng)作為實(shí)驗(yàn)對(duì)象。實(shí)驗(yàn)平臺(tái)是一臺(tái)筆記本電腦，使用了主頻為2.3GHz的Inteli7-3610QM處理器，內(nèi)存為8GBytes。測(cè)試程序運(yùn)行在Matlab上，沒有使用分塊或其他加速算法。為了降低存儲(chǔ)需求和處理時(shí)間，光場(chǎng)中的視圖被下采樣到512×512像素。

圖5 輸入光場(chǎng)“樂高騎士”的正視圖

為了驗(yàn)證頻率平面濾波器的深度濾波性能，我們?cè)O(shè)計(jì)了兩個(gè)尺寸為17×17×17×17的空間域頻率平面濾波器，斜率分別為0.6和2.5，使用了β=3的凱澤窗。分別將它們應(yīng)用到輸入光場(chǎng)，圖6給出了深度濾波的輸出光場(chǎng)的正視圖。可以看出，兩個(gè)頻率平面濾波器分別保留了中間小人和背景，而將其它深度范圍的場(chǎng)景元素模糊掉。大致的通帶范圍可以根據(jù)基面上凸起的清晰程度判斷。

值得注意的是，有一部分想要的信號(hào)也被輕微模糊了，比如圖6(a)中間小人頭盔的亮斑附近和(b)中背景。這是因?yàn)椤皹犯唑T士”中包含了輕微的鏡面反射，這會(huì)導(dǎo)致頻譜的“拉伸”[11]，并被濾波器衰減掉一部分。另一個(gè)可能的原因是，光場(chǎng)處理中假設(shè)相機(jī)是一個(gè)理想的針孔相機(jī)，從而導(dǎo)致光場(chǎng)測(cè)量出現(xiàn)誤差，引起不必要的模糊。

(a)斜率為0.6

(b)斜率為2.5圖6 空間域頻率平面濾波器輸出光場(chǎng)的正視圖

作為對(duì)比，圖7展示了文獻(xiàn)[12]中提出的頻率平面IIR濾波器的深度選擇性能，其中(a)中使用的濾波器斜率為0.6，(b)中使用的濾波器斜率為2.5，和前面例子相同。對(duì)比圖6和7，可以看出，本文所提出的頻域頻率平面濾波器的通帶要比文獻(xiàn)[12]中的方法要窄，而且沒有出現(xiàn)振鈴效應(yīng)，而7(b)中的背景上可以觀察到很明顯的振鈴效應(yīng)。因此，本文提出的方法整體上要優(yōu)于文獻(xiàn)[12]中的方法，而且本方法的設(shè)計(jì)可以借鑒設(shè)計(jì)一維濾波器的窗函數(shù)法來調(diào)整參數(shù)，設(shè)計(jì)簡(jiǎn)單靈活，同時(shí)具有線性相位特性。

(a)斜率為0.6

(b)斜率為2.5 圖7 文獻(xiàn)[12]中提出的頻率平面IIR濾波器輸出光場(chǎng)的正視圖

5 結(jié)論

本文提出了一種4DFIR頻率平面濾波器，它的通帶形狀近似一個(gè)過原點(diǎn)的平面，可以提取場(chǎng)景中具有單一恒定深度的表面。該濾波器簡(jiǎn)單地使用窗函數(shù)法實(shí)現(xiàn)，參數(shù)調(diào)整簡(jiǎn)單靈活，可以借鑒一維濾波器的設(shè)計(jì)方法。與文獻(xiàn)[12]中的頻域方法相比，不僅設(shè)計(jì)更加簡(jiǎn)單靈活，而且在窄過渡帶的情況下不會(huì)出現(xiàn)振鈴效應(yīng)。此外，本文提出的頻率平面濾波器具有線性相位特性，具有一定的應(yīng)用價(jià)值。

[1]MLevoy，PHanrahan.Lightfieldrendering[J].SIGGRAPH，ACM，1996，31-42.

[2]SJGortler，RGrzeszczuk，RSzeliski，MFCohen.Thelumigraph[J].ProcSIGGRAPH，1996，43-54.

[3]EHAdelson，JRBergen.Theplenopticfunctionandtheelementsofearlyvision[J].Computationalmodelsofvisualprocessing，1991，91(1)：3-20.

[4]CZhang.Onsamplingofimage-basedrenderingdata[D].PhDthesis，DepartmentofElectricalandComputerEngineering，CarnegieMellonUniversity，2004.

[5]DGDansereau，LTBruton.A4Dfrequency-planarIIRfilteranditsapplicationtolightfieldprocessing[J].IntlSymposiumonCircuitsandSystems(ISCAS)，IEEE，2003(4)：476-479.

[6]DGDansereau，LTBruton.A4-Ddual-fanfilterbankfordepthfilteringinlightfields[J].IEEETransactionsonSignalProcessing，2007，55(2)：542-549.

[7]DGDansereau，DLBongiorno，OPizarro，SBWilliams.Lightfieldimagedenoisingusingalinear4Dfrequency-hyperfanall-in-focusfilter[J].ProceedingsSPIEComputationalImagingXI，F(xiàn)eb，2013，86570P.

[8]DGDansereau，OPizarro，SBWilliams.LinearVolumetricFocusforLightFieldCameras[J].ACMTransGraph34，2(2015)：15-1.

[9]ChamiraUSEdussooriya，DonaldGDansereau，LenTBruton，PanajotisAgathoklis.Five-DimensionalDepth-VelocityFilteringforEnhancingMovingObjectsinLightFieldVideos[J].IEEETransSignalProcess，2015，63(8)：2151-2163.

[10]SLang.CalculusofSeveralVariables[J].SpringerVerlag，January，1995.

[11]CZhang，TChen.Lightfieldsampling[J].Synthesislecturesonimage，videoandmultimediaprocessing2，1(2006)：1-102.

[12]Dansereau，DonaldGilbert.Plenopticsignalprocessingforrobustvisioninfieldrobotics[D].PhDdissertation，TheUniversityofSydney，2014.

(責(zé)任編輯：宋金寶)

A Closed Form Sound Source Location Solution Using Range Differences of Arrival or Gain Ratios of Arrival Video Frames

FANG Li，YE Long，ZHONG Wei，ZHANG Qin

(Key Lab of Media Audio & Video of Ministry of Education，Communication University of China，Beijing 100024，China)

A 4D FIR frequency planar filter with a passband that approximated a 4D plane is proposed.The proposed filter is simply designed by window method，and possesses linear-phase property.Therefore，it is efficient to process light field.Theoretical deduction and experimental results show that a light field containing Lambertian surfaces with no occlusions can be selectively filtered for depth using the proposed filter.

four-dimensional filter；light field；scene analysis；window method；linear phase

2017-05-01

方力(1989-)，男(漢族)，河南西峽人，中國(guó)傳媒大學(xué)博士研究生.E-mail：lifang8902@gmail.com

TN

A

1673-4793(2017)04-0028-06