一種基于聯合雙邊濾波的全景圖像預處理方法

彭勇勝 馬晨翔 白澔樂 李春英

摘要：提出了一種基于聯合雙邊濾波的全景圖像預處理方法。相比較中值濾波和高斯濾波而言，聯合雙邊濾波既平滑了圖像，又保持了邊緣信息。通過模擬實驗取得了較好的效果，同時表明了結合采樣技術和聯合雙邊濾波進行計算優化的思路是可行的。

關鍵詞：全景圖像；聯合雙邊濾波；圖像平滑；預處理

0引言

三維全景是一種基于圖像的虛擬現實技術，它用拍攝到的真實照片經加工處理讓用戶產生三維真實的感覺，目前廣泛應用于數字三維校園、醫療、航空、房地產、旅游等領域。由于圖像在拍攝過程中受到成像設備和周圍環境的影響，會使拍攝到的圖像中含有噪聲，例如圖像在數字化過程中的量化噪聲等。為了使圖像更逼真，需要對圖像進行去噪。常用的中值濾波能夠很好地去除二值噪聲同時保持圖像的邊緣，但對高斯噪聲卻無能為力。高斯濾波對高斯噪聲非常有效，但會使圖像邊緣模糊掉。雙邊濾波器在進行圖像平滑時，不僅考慮像素點在空間上的相鄰性，還考慮到臨近像素點的強度值差異，這使得雙邊濾波器能夠在有效的進行圖像平滑、去除噪聲的同時，還能保證邊緣的銳利程度，從而保留了更多圖像細節信息。進一步，為了適用于輸入圖像無法提供準確邊緣信息的情況和提高一些耗時算法的速度，本文采用聯合雙邊濾波技術。

1預處理方法

通常全景圖像生成需要四個步驟：圖像預處理、圖像匹配、坐標轉換和圖像融合；前期預處理關系到后期圖像匹配和融合的質量[1]。本文圖像預處理主要進行圖像平滑。

1.1雙邊濾波器

雙邊濾波器是使圖像平滑的非線性濾波器，由C.Tomasi和R.Manduchi在1998年提出[2]。雙邊濾波由兩項計算因子組成，其中一項是基于空間幾何分布的因子，距離計算點越近的點，獲得的權重越大，距離較遠的像素值對待求點的影響較小，保證了圖像像素點在合適的范圍內進行模糊運算；另一項是基于值域差值的因子，像素點差值越小的點，與待求點的相似度較大，因而獲得的權重較高，差值較大的點，與待求點的差異性較大，賦予它的權重較小[3][4]。

圖像濾波可用式（1）表示：

g（i，j）=∑klf（k，l）w（i，j，k，l）∑k，lw（i，j，k，l）（1）

其中g（i，j）表示輸出圖像，f（k，l）表示輸入圖像，w（i，j，k，l）表示權重因子。

空間域核d（i，j，k，l），如式（2）所示：

d（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d）（2）

值域核r（i，j，k，l），如式（3）所示：

r（i，j，k，l）=exp（-‖f（i，j）-f（k，l）‖22σ2r）（3）

權重因子w由空間域核d 和值域核r共同組成，如式（4）所示：

w（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d

-‖（f（i，j）-f（k，l））‖22σ2r）（4）

其中σd，σr和都是高斯函數標準差。

當待求點處于景物邊緣時，同一側邊緣的點與待求點強度值較為接近，賦予其的權重較大，而對于邊緣另一側的點，其強度值與待求點相差較大，賦予的權重值較小，因此處理結果中邊緣信息得以保留，不會因為邊緣兩側的像素點的相互干擾而導致邊緣模糊。

1.2聯合雙邊濾波器

在雙邊濾波器的理論基礎上，Petschnigg和G.Agrawala等人提出了聯合雙邊濾波（Joint Bilateral Filter）理論

[5]。與雙邊濾波不同的是，聯合雙邊濾波器的參考圖像不是基于原始輸入圖像而是基于導向圖像進行計算的[6]。這種方法適用于輸入圖像無法提供準確邊緣信息的情況，例如閃光、無閃光去噪、圖像上采樣、圖像去卷積等。

設導向圖像為d（i，j），則值域核r將重寫為：

r（i，j，k，l）=exp（-‖d（i，j）-d（k，l）‖22σ2r）（5）

相應的權重因子w為：

w（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d

-‖d（i，j）-d（k，l）‖22σ2r）

（6）

1.3計算優化

上述濾波器的核函數直接使用了高斯函數，如果有大小是M×N的圖像，濾波器半徑為r的話，其算法復雜度為

O（（M×N×r）2），當圖像尺寸和濾波窗口很大時其計算時間是不能接受的[7]。以索尼A7R微單為例，一張拼接前的全景素材從相機里面取出時的RAW格式有三十兆左右，壓縮成JPG格式后也有七八兆大小，因此本文嘗試利用聯合雙邊濾波結合下采樣技術提高處理速度。具體步驟如下：

（1） 對原圖像I進行s倍下采樣，得到圖像Is；

（2） 對圖像圖像Is進行中值濾波，得到圖像Il；

（3） 將圖像Il按照鄰近插值方式放大到原圖像尺寸，得到圖像Ii；

（4） 將Ii和I進行聯合雙邊濾波處理，得到預處理圖像Io。

2實驗結果

本實驗用matlab工具對一張人物圖片進行預處理模擬。實驗環境為：Thinkpade531，Intel（R）Core（TM）i5-3230M CPU@2.60GHz，RAM 8G，MatlabR2014a。以下是中值濾波、高斯濾波、雙邊濾波和聯合雙邊濾波結果。

從實驗結果可以看出，相比較中值和高斯濾波而言，雙邊和聯合雙邊濾波既平滑了圖像，又保持了邊緣信息，取得了不錯的

效果，但是使用的時間卻遠高于前者。圖（f）使用了s=4的下采

樣，中值濾波后線性插值為原圖尺寸，再與原圖像進行雙邊聯合

濾波，耗時最長。上述實驗結果表明，如果對于大尺寸圖像，下采樣后做非常耗時的算法處理，本文提出的優化方法是可行的。

3結束語

本文提出了使用聯合雙邊濾波技術對全景圖像進行預處理

的方法，通過模擬實驗取得了較好的效果。我們嘗試結合采樣技術和聯合雙邊濾波進行計算的優化，實驗結果雖不理想但卻表明了我們思路是可行的，這也將成為我們接下來的研究方向。

[參考文獻]

[1]趙新躍. 快速拼接算法在智能手機全景圖的應用研究[D].天津：河北工業大學，2013：16-17

[2]Tomasi C，Manduchi R.Bilateral filtering for gray and color images[C].Computer Vision，1998.Sixth International Conference on.IEEE，1 998：839-846.

[3]Weiss B，Fast median and bilateral fltering.ACM Transactions on Graphics（TOG），ACM，vol 25，PP，519—526.

[4]Yang Q，Tan K，Ahuja N.Real-time o（1）bilateral fltering.CVPR 2009，IEEE，PP.557·564.

[5]Petschnigg G，Szeliski R，Agrawala M，et a1.Digital photography with flash and no-flashimage pairs[C]，ACM transactions on graphics（TOG）.ACM，2004，23（3）：664-672.

[6]Kopf J，Cohen M，Lischinski D，Uyttendaele M，Joint bilateral upsampling.ACM Transactions on Graphics.

[7]李知菲，陳源.基于聯合雙邊濾波器的Kinect深度圖像濾波算法[J].計算機應用，2014，34（8）：2231-2234，2242

項目名稱：2016年國家級大學生創新創業訓練計劃項目（201610616045）

（作者單位：1 成都理工大學信息科學與技術學院，四川 成都 610059；2 成都理工大學核技術與自動化工程學院，四川

成都 610059）