采用精確摳圖的單幅自然圖像背景虛化合成方法

李曉穎, 李思琪, 洪雪梅, 張海

(1. 華僑大學 信息科學與工程學院, 福建 廈門 361021;2. 福州大學 廈門工藝美術學院, 福建 廈門 361021)

對焦技術是一種重要的攝影方法[1-2].對焦的結果是前景對象被突出顯示,背景對象被虛化,這通常是由專業攝影師使用數碼單反相機實現的.單反相機配備了大光圈,方便對焦照片,然而,大光圈價格昂貴,使用不方便,且一般需要由專業攝影師來操作.由于尺寸和技術的限制,獲取具有背景虛化的圖像具有一定的挑戰性.

手機相機是一種小光圈鏡頭,在日常生活中應用廣泛.為了增強相機的功能,許多手機廠商設計了一些有關背景虛化的合成技術.這些技術主要依靠手機背后的多個雙攝像頭同時拍攝多張照片,利用立體匹配算法估計深度信息來幫助背景虛化的合成[3].在技術上,雙攝像頭比單攝像頭更容易合成背景虛化.但雙攝像頭增加了制造成本和功耗,且大多數智能手機只有一個前置攝像頭.因此,有必要提出單攝像頭合成背景虛化算法.肖進勝等[4]利用多聚焦完成單幅圖像的深度信息提取;蘇超然等[5]提出針對肖像的背景虛化處理,重點處理以人像為前景的圖像,但是缺乏對自然圖像背景虛化的考慮;Dutta[6]利用聯合強度估計和動態濾波合成的特定任務效能,實現空間感知模糊處理;劉成民等[7]提出基于深度學習的感知圖,實現圖像虛化處理.圖像背景虛化處理受到廣泛關注,但是其存在計算復雜、邊緣虛化敏感、背景虛化不明顯、對硬件要求高等問題,且當圖像中有多個物體位于同一景深區域時,突顯不出某個單獨的物體.

Rother等[8]首次提出GrabCut算法,用于分割單幅圖像中的前景對象和背景對象.然而,GrabCut算法只根據像素點的顏色差異建立模型,當前景對象和背景對象的顏色差異較大時,GrabCut算法能取得滿意的結果[9];但是當圖像的特征模糊或紋理復雜時,采用GrabCut算法可能會導致圖像分割結果不理想.考慮到圖像摳圖的精度要求,采用GrabCut算法完成初始分割后,再進行精確摳圖.精確的摳圖效果為背景虛化的合成奠定了良好的基礎.

在離焦渲染中,清晰的深度邊緣非常重要[10].基于局部二值模式算子(LBP)[11-12]的顏色恒常性(CCLBP)算法[13-14]是在原有顏色恒常性算法的基礎上加入了LBP算法,目的在于更好地實現圖像紋理的提取,以獲得良好的局部深度邊緣,進一步實現圖像摳圖的完整性,實現對初始摳圖的精確分割效果.雙邊濾波[15]用于虛化背景對象,它同時考慮了圖像的平滑處理和顏色邊緣信息,從而生成與大光圈相機拍攝的圖像相似效果的合成圖像.將經過精確摳圖處理的前景對象與模糊化的背景對象相結合,可以合成背景虛化的圖像.

綜上所述,本文選擇GrabCut算法完成單幅自然圖像的初始摳圖,并采用CCLBP算法對初始摳圖進行精確分割,提出一種有效的自然圖像合成背景虛化方案.

1 單幅圖像的背景虛化合成算法

提出一種基于精確摳圖的單幅自然圖像背景虛化合成方法,其流程圖,如圖1所示.輸入的原圖像首先經過GrabCut算法完成初始圖像摳圖,得到初步的前景區域和背景區域;然后,利用CCLBP算法完成精確摳圖,得到更為準確的前景和背景;接著,利用雙邊濾波對分割出來的背景區域進行濾波處理,實現背景部分的保邊虛化效果;最后,將清晰的前景與虛化后的背景合成一張圖像并輸出.

圖1 文中方法的流程圖

1.1 GrabCut算法

一幅圖像可以分為前景像素(Tf),中間像素(Tα)和背景像素(Tb)3部分,其公式表示為

I=Fα+B(1-α).

(1)

式(1)中:I為一幅圖像;F為前景像素(Tf);B為背景像素(Tb);α為中間像素(Tα)中的未知部分.

圖像區域分布示意圖,如圖2所示.

圖2 圖像區域分布示意圖

用戶通過矩形方框交互式標記出圖像中可能的前景像素.圖像上的某一點像素用p表示,當p在方框內時,它屬于可能的前景對象,標記為Rp(1);當p在方框外時,它屬于背景區域,標記為Rp(0).GrabCut算法建立了前景像素和背景像素的高斯混合模型(GMM),利用該模型將未被定義的像素標記為可能的前景區域或背景區域.

圖像中的每一個像素點都被認為是通過虛擬的邊界與周圍像素建立連接的.基于該像素點與周圍像素點顏色的相似度,每一條邊都有屬于前景區域或背景區域的概率.

GrabCut算法將像素映射到S-T網絡中進行分段,S為源點和前景像素,T為交會點和背景像素.當像素點之間的連接邊屬于不同終端時,則該邊界會被切斷.GrabCut算法計算模型,如圖3所示.GrabCut算法利用像素之間的相關性來確定邊界,綠色虛線為分隔線,分離出圖像的前景區域和背景區域.

圖3 GrabCut算法計算模型

1.2 CCLBP算法

基于局部二值模式算子的顏色恒常性算法是在原有顏色恒常性算法的基礎上加入LBP,能夠有效地提取圖像紋理,提供更清晰的邊緣信息,從而更好地完成精準圖像分割.

在計算機視覺和計算機圖形學中,廣泛用于描述普通圖像形成的模型[16-19]為

I(x)=J(x)t(x)+A(1-t(x)).

(2)

式(2)中:I(x)為原圖像;J(x)為經過處理的圖像;A為光估計信息[20];t(x)為介質透過率[21].

Lambert模型是圖像成像模型中大多數輻射測量方法的基礎,也是圖像照明轉換的計算模型[22].Lambert模型假設各個方向的反射光強度相同,不受入射角或觀測輻射變化的影響[23-25].在此假設下,原彩色圖像I(x)=(R,G,B)T,用公式表示為

(3)

式(3)中:λ為光譜的波長;ω為可見光的范圍;e(λ)為光源的光譜分布;S(λ)為光在物體表面的物理反射率;c(λ)為相機的光敏函數,其表達式為

c(λ)=(R(λ),G(λ),B(λ))T.

(4)

Codevilla等[20]利用最大遮蔽物像素差值tv(x)和最大局部對比度像素差值tc(x)這2個參數來計算t(x),其表達式為

t(x)=max(tv(x),tc(x)).

(5)

tc(x)用公式表示為

tc(x)=max(max(A)-min(I(x))).

(6)

通過比較圖像中像素值的差值,并把最大的差值賦予tc(x),作為圖像深度信息獲取的參數之一.

最大遮蔽物像素差值tv(x)的計算式為

(7)

為了提高圖像分割的精確度,在獲得t(x)后,利用LBP對其進行局部紋理特征提取.此時,t(x)從一張只有不同灰色深度的圖像深度信息圖變成了具有圖像局部輪廓的紋理信息圖,目的在于突出圖像輪廓.因此,LBP是以提取顏色恒常算法中的t(x)深度信息圖的紋理特征的方式,加入到顏色恒常算法中,這一處理可為進一步的圖像精確分割提供更好的分割依據.

Ojala等[11-12]首次提出LBP,用于提取圖像局部紋理特征[26],其窗口大小為3×3,以中間像素的灰度值作為閾值,與相鄰8個像素的灰度值進行比較.當鄰域像素值大于或等于中心像素值時,像素位置值標記為1;否則,標記為0.經過比較,生成一個8位的二進制數,生成的二進制模式轉換為十進制值,可用于標記區域的紋理信息.用LBP提取顏色恒常算法中的圖像深度信息圖的輪廓紋理.

在圖像背景虛化部分,不僅要考慮圖像背景模糊的自然效果,還要考慮對圖像邊緣的保護.因此,選擇雙邊濾波器[14]完成圖像背景虛化處理.雙邊濾波是一種保邊去噪的濾波器,可以起到模糊背景且保留圖像的邊緣和紋理的作用.

2 實驗結果與分析

2.1 圖像分割結果與背景虛化合成結果

不同算法的摳圖結果對比,如圖4所示.由圖4(b),(f)可知:一些不屬于前景的像素被誤認為是前景而被保留,如頭發、衣領和背景其他色塊(紅色方框標注),說明GrabCut算法的摳圖結果不夠準確.

為了提高圖像的摳圖精度,在GrabCut算法摳圖結果的基礎上,提出CCLBP算法,該算法計算過程中獲得的清晰的紋理,如圖4(c),(g)所示.文中算法精確摳圖的結果,如圖4(d),(h)所示.由圖4可知:相比于GrabCut算法,文中算法的摳圖效果更為準確.

輸入圖像和輸出圖像的對比,如圖5所示.圖5中:輸入圖像為處理前的原圖像;輸出圖像為經過文中算法處理后合成的背景虛化效果.由圖5可知:輸出圖像的背景部分的樹葉都有著明顯且自然的虛化效果,而前景的人像依然保持清晰的狀態.實驗結果表明,文中算法能夠實現較好的背景虛化效果.

(a) 輸入圖像1 (b) 輸出圖像1

2.2 摳圖結果比較

以人工摳圖作為摳圖效果的理想參考標準,比較GrabCut算法與文中算法的摳圖效果,結果如圖6所示.圖6(d)的背景的部分像素點被誤認為前景人像;圖6(e)的背景的部分像素點被誤認為前景的羊;圖6(f)的背景的少數像素點被誤認為前景的鴨子.這表明經過GrabCut算法完成的摳圖效果存在一定的誤差.相比較而言,文中算法的摳圖結果誤差較小,且前景保留完整,邊界清晰,摳圖效果更準確(圖6(g)～(i)).

(a) 人工1 (b) 人工2 (c) 人工3

為了更具體地展示圖像的摳圖效果,將GrabCut算法和文中算法的摳圖準確率與人工摳圖的準確率進行比較,結果如表1所示.表1中:η為摳圖準確率.由表1可知:相對于人工摳圖,Grabcut算法和文中算法的平均摳圖準確率分別為93.66%和96.96%,文中算法的平均實驗精度更高.

表1 不同算法的摳圖準確率對比

為了說明文中算法可適用于多場景情況的單幅自然圖像,對4組自然圖像進行虛化處理,得到的背景虛化效果,如圖7所示.圖7中:圖7(a),(e)以紅花作為前景,其余部分作為背景進行虛化;圖7(b),(f)以牛群作為前景,身后的草坪作為背景進行虛化;圖7(c),(g)以羊作為前景,花草作為背景;圖7(d),(h)以鴨子作為前景,草地作為背景,進行虛化處理.由圖7可知:經過虛化處理的圖像前景保持不變,背景產生了虛化效果,對比效果明顯且虛化效果自然.

(a) 虛化處理前1 (b) 虛化處理前2 (c) 虛化處理前3 (d) 虛化處理前4

將文中算法與其他相關文獻算法進行性能對比,結果如表2所示.由表2可知:文獻[4]算法是針對雙目圖像提出的圖像背景虛化方法,生成的圖像主體邊緣輪廓不清晰;文獻[5]算法處理的圖像類型是肖像,處理對象單一;文獻[6]算法可以實現單幅自然圖像的背景虛化,但是無法根據用戶需求進行交互式選擇主體部分;文獻[7]算法可實現單幅自然圖像的背景虛化效果,且可完成用戶的交互式選擇,但是輸出圖像中主體部分的邊緣輪廓不清晰,前景和背景交界處模糊.對比不同算法的性能可知,文中算法產生的背景虛化結果優于其他4種算法.

表2 文中算法與其他相關文獻算法的性能比較

3 結束語

針對單攝像頭下的自然圖像背景虛化問題,提出一種基于精確摳圖的單幅自然圖像背景虛化合成方法.該算法合成的圖像背景虛化效果明顯且自然.在圖像摳圖方面,文中算法得到的結果較為準確,且邊緣保留完整.