基于隨機(jī)紋理的代價(jià)濾波式摳圖

陳秋鳳 申群太 劉鵬飛②

?

基于隨機(jī)紋理的代價(jià)濾波式摳圖

陳秋鳳*①申群太①劉鵬飛①②

①(中南大學(xué)信息科學(xué)與工程學(xué)院 長(zhǎng)沙 410083)②(中國(guó)人民解放軍95856部隊(duì) 南京 210028)

該文針對(duì)摳圖中前背景顏色歧義這一難題，提出快速隨機(jī)紋理算法來(lái)對(duì)顏色信息進(jìn)行有效的補(bǔ)償，先對(duì)原始圖像進(jìn)行稠密抽取得到初始紋理，后經(jīng)隨機(jī)投影降維，再根據(jù)前背景交疊度選擇最優(yōu)通道生成隨機(jī)紋理圖。結(jié)合生成的紋理信息，設(shè)計(jì)了空間、顏色、紋理聯(lián)合樣本選擇指標(biāo)。接著，綜合考慮局部近鄰和非局部近鄰的作用，對(duì)樣本選擇代價(jià)進(jìn)行濾波。最后論證近鄰迭代濾波與全局能量方程平滑的關(guān)系，推導(dǎo)了后期迭代平滑公式。實(shí)驗(yàn)結(jié)果表明，基于隨機(jī)紋理的代價(jià)濾波式摳圖在前背景顏色分布近似時(shí)，能夠取得視覺(jué)和定量上更好的結(jié)果。

圖像處理；紋理?yè)笀D；隨機(jī)投影；代價(jià)濾波；迭代平滑

1 引言

計(jì)算機(jī)摳圖是一項(xiàng)準(zhǔn)確摳取前景的圖像軟分割技術(shù)，廣泛應(yīng)用于圖像視頻的編輯與合成中。尤其在多層次圖像分離，半透明物體的提取中更突顯其優(yōu)勢(shì)。摳圖的建模方程為

2 問(wèn)題描述

步驟1 設(shè)計(jì)采樣方式，采樣得到待篩選樣本集；

步驟2 設(shè)計(jì)樣本選擇指標(biāo)，計(jì)算樣本對(duì)選取代價(jià)；

步驟4 后期柔滑處理。本文旨在解決前背景歧義問(wèn)題，以下對(duì)傳統(tǒng)流程中存在的問(wèn)題進(jìn)行分析并提出解決方法，改進(jìn)部分如圖1中虛線框所示。

針對(duì)步驟1，本文采用文獻(xiàn)[9]的方法；針對(duì)步驟2，主要是在樣本集中，找到未知點(diǎn)的最優(yōu)樣本對(duì)。判斷樣本對(duì)優(yōu)劣的主要指標(biāo)有色度誤差、距離、紋理等。現(xiàn)有算法中主要采用色彩和位置信息，但圖像的局部統(tǒng)計(jì)信息可有效地補(bǔ)充色彩信息，在文獻(xiàn)[6]采用的紋理算法中，首先采用兩級(jí)Harr小波分解，并分別在兩個(gè)層次8個(gè)子圖中計(jì)算區(qū)間內(nèi)的梯度、平均值、方差等一共36維的紋理信息。最后用PCA和LDA兩級(jí)降維法得到3維紋理信息圖。可知文獻(xiàn)[6]算法過(guò)程復(fù)雜，運(yùn)算時(shí)間長(zhǎng)。文獻(xiàn)[11]的紋理分類(lèi)算法指出濾波器組對(duì)圖像局部塊的濾波操作，產(chǎn)生了一定的信息丟失，用圖像局部原始?jí)K特征來(lái)代替?zhèn)鹘y(tǒng)的濾波器組輸出更能有效地區(qū)分不同紋理的圖像；受文獻(xiàn)[12]紋理分類(lèi)算法的啟發(fā)，本文在HSV空間中，將該像素方形鄰域內(nèi)所有像素的特征集合作為紋理特征，首先對(duì)原始圖像進(jìn)行稠密抽取，再用隨機(jī)投影算法對(duì)原始紋理特征進(jìn)行降維，而后根據(jù)前背景交疊度選擇最優(yōu)通道產(chǎn)生3維紋理圖。

針對(duì)步驟3和步驟4，傳統(tǒng)算法采用最優(yōu)者勝出原則，即代價(jià)最小的組合作為最優(yōu)的樣本對(duì)來(lái)計(jì)算值，而后用估計(jì)出來(lái)的值作為數(shù)據(jù)項(xiàng)，拉普拉斯矩陣作為平滑項(xiàng)構(gòu)造能量函數(shù)，由于全局能量函數(shù)求解涉及高維線性方程，因而計(jì)算量大。并且當(dāng)估算的值存在誤差時(shí)，柔滑作用反而將錯(cuò)誤傳給鄰近的點(diǎn)。縱觀近幾年摳圖算法，對(duì)于最優(yōu)樣本對(duì)的選取策略中，代價(jià)函數(shù)的選擇中并沒(méi)有考慮空間連續(xù)性的指標(biāo)。一個(gè)問(wèn)題是：能否在最優(yōu)樣本的選擇過(guò)程中考慮空間連續(xù)性的指標(biāo)？對(duì)于近鄰點(diǎn)對(duì)樣本對(duì)的影響，文獻(xiàn)[9]只簡(jiǎn)單地將窗口內(nèi)的色度誤差相加，認(rèn)為窗口內(nèi)的近鄰的影響權(quán)重是一致的。實(shí)際上由于空間顏色信息的差別，影響值的近鄰點(diǎn)不再局限于窗口，權(quán)重選擇隨著圖像的變化而變化。受代價(jià)濾波式立體匹配算法[13]的啟發(fā)，本文首先對(duì)樣本對(duì)選擇代價(jià)進(jìn)行濾波，并據(jù)此選擇最優(yōu)樣本對(duì)，有別于基本的濾波算法，文中采用廣義上的近鄰(局部近鄰點(diǎn)和非局部近鄰點(diǎn))，并且證明代價(jià)濾波是全局優(yōu)化能量方程求解過(guò)程的單步迭代。

按照改進(jìn)的流程，論文安排為：3.1節(jié)論述塊紋理特征抽取及隨機(jī)投影降維，闡述隨機(jī)紋理圖求取過(guò)程及其對(duì)區(qū)分前背景的作用；3.2節(jié)設(shè)計(jì)樣本選擇指標(biāo)；3.3節(jié)論述代價(jià)濾波對(duì)值的影響，近鄰選擇方法及其權(quán)重計(jì)算方式；3.4節(jié)證明迭代濾波與全局能量方程的關(guān)系；第4節(jié)為實(shí)驗(yàn)；第5節(jié)為結(jié)論。

3 算法實(shí)現(xiàn)

3.1 基于隨機(jī)投影的紋理特征

圖像的原始特征塊能夠直接有效地表征圖像的紋理特征，借鑒文獻(xiàn)[12]的塊特征提取及隨機(jī)壓縮思想，首先對(duì)圖像進(jìn)行稠密抽取：圖像在點(diǎn)抽取大小為的特征塊，抽取公式為[12]

圖1 算法流程圖

由Johnson-Lindenstrauss (L-J)定理[14]可知，當(dāng)投影矩陣的元素是隨機(jī)抽取自某種概率分布模型時(shí)，信號(hào)能夠保持兩兩數(shù)據(jù)間的距離不變。這就確保了在隨機(jī)投影后，紋理特征能夠保持原有的內(nèi)在結(jié)構(gòu)，從理論上說(shuō)明了隨機(jī)投影壓縮對(duì)紋理提取的可行性。由于摳圖是提取感興趣的前景區(qū)域，提取的紋理特征應(yīng)該更加符合人的視覺(jué)特點(diǎn)[15]，因而首先將圖像轉(zhuǎn)換到HSV空間中，分別對(duì)H, S, V 3個(gè)通道進(jìn)行稠密提取。擴(kuò)充圖像的邊界區(qū)域，更換像素標(biāo)號(hào)為，圖像的紋理矩陣降維過(guò)程表示為

在圖2中，隨機(jī)算法產(chǎn)生的紋理圖前背景顏色視覺(jué)差更大，在圖3中，(a)的前背景區(qū)域顏色交疊嚴(yán)重(交疊度為0.64)，算法無(wú)法正確區(qū)分前背景，而文獻(xiàn)[6]算法和隨機(jī)算法前景和背景區(qū)分清楚(交疊度為0)。由此表明在根據(jù)顏色信息難以區(qū)分前背景時(shí)，紋理圖像能夠?qū)υ瓐D像進(jìn)行有效的補(bǔ)充，極大地提高前背景的區(qū)分性。雖然圖3(b)與圖3(c)的交疊度相同，但隨機(jī)投影法的紋理分布曲線相互更加分離。而隨機(jī)紋理產(chǎn)生過(guò)程計(jì)算簡(jiǎn)單，時(shí)間尺度為，速度比文獻(xiàn)[6]方法有了極大地提升。例如：圖2中的圖像大小為，圖2(b)和圖2(c)的計(jì)算時(shí)間為：54.32 s和0.79 s。

3.2 采樣方法與樣本選擇指標(biāo)

首先將已知區(qū)域的邊界向未知區(qū)域擴(kuò)展，再用射線式方法采集待選樣本集[9]，如圖2(a)所示。

圖2 輸入圖像及產(chǎn)生紋理圖比較

3.3 代價(jià)濾波

傳統(tǒng)的基于能量方程綜合考慮平滑作用、輸入限制、采樣估計(jì)輸入限制及其置信度的限制，形式為[9]

式(11)可采用圖割、置信傳播等方法來(lái)求解，但計(jì)算量大。在實(shí)際的摳圖算法中，由于取大值，使得數(shù)據(jù)項(xiàng)成為影響最優(yōu)解的主要部分，平滑項(xiàng)只實(shí)現(xiàn)了已知信息的小范圍傳播。在自然圖像中，在一定的局部區(qū)域內(nèi)，前背景的變化是緩慢和微小的，局部線性顏色的變化主要是由梯度的變化引起，因而用局部濾波方式代替全局能量方程的作用是可行的。代價(jià)濾波的意義在于近鄰點(diǎn)對(duì)樣本的共同適應(yīng)度：一個(gè)好的樣本不但要使得目標(biāo)點(diǎn)對(duì)其代價(jià)最低，同時(shí)也需要近鄰對(duì)其代價(jià)也低。

在圖4(a)中，由于局部近鄰點(diǎn)與背景點(diǎn)的顏色近似，代價(jià)濾波后計(jì)算的值趨向于0,有更高的概率取為背景；類(lèi)似地，在圖4(b)中，當(dāng)近鄰點(diǎn)與前景點(diǎn)的顏色近似時(shí)，值趨向于1,有更高的概率取為前景。在圖4(c)中，非局部近鄰點(diǎn)在空間上更靠近背景點(diǎn)，使得點(diǎn)的值趨向于0；同理，在圖4(d)中，近鄰點(diǎn)在空間上更靠近前景點(diǎn)，使得點(diǎn)的值趨向于1。在圖4(a), 4(b)中，當(dāng)未知點(diǎn)與近鄰點(diǎn)空間位置近但顏色差別卻很大時(shí)，即當(dāng)為噪聲時(shí)，局部近鄰能夠引導(dǎo)正確樣本對(duì)的選擇，降低噪聲的影響。在圖4(c), 4(d)中，當(dāng)未知點(diǎn)與近鄰點(diǎn)及樣本對(duì)的顏色都相近時(shí)，難以區(qū)分點(diǎn)是傾向于前景還是背景時(shí)，由非局部近鄰點(diǎn)的空間分布情況可以判定值的傾向性，有利于解決前背景顏色歧義問(wèn)題。

圖4 近鄰濾波對(duì)值的影響

在樣本選擇前的代價(jià)濾波操作，可以看成一個(gè)隱含的連續(xù)性指標(biāo)，即最優(yōu)樣本的選取不僅取決于目標(biāo)點(diǎn)，也受其近鄰點(diǎn)的影響，避免逐點(diǎn)孤立地估計(jì)值，能夠有效地抑制圖像中噪聲或是離群點(diǎn)的影響，從而使值更平滑。包含局部近鄰和非局部近鄰的代價(jià)濾波的公式為

3.4 后期平滑

時(shí)，式(17)可簡(jiǎn)化成：

以上形式正是濾波算法的基本形式，表明濾波算法實(shí)現(xiàn)的是雅可比算法的單步迭代。當(dāng)按式(18)取值時(shí)，輸入限制權(quán)重和采樣估計(jì)限制權(quán)重將發(fā)生變化，尤其是的值將大為減小，輸入限制作用減弱，受到松弛輸入限制。在摳圖中，允許物體邊緣值的改變，以獲得平滑過(guò)渡的效果。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)包含：(1)與文獻(xiàn)[6]對(duì)比，驗(yàn)證隨機(jī)紋理方法的快速性及有效性；(2)驗(yàn)證代價(jià)濾波方法的有效性；(3)標(biāo)準(zhǔn)數(shù)據(jù)集上的綜合測(cè)試，對(duì)比方法有：基于相似度擴(kuò)散的經(jīng)典算法Closed Formed Matting (CF)[1]，空間近鄰采樣算法Robust Matting[3]，射線式全局采樣算法Shared matting[9]。標(biāo)準(zhǔn)圖像數(shù)據(jù)來(lái)自文獻(xiàn)[17]。算法的運(yùn)行環(huán)境為：Intel Core i3雙核3.3 G CPU，編程環(huán)境為Matlab2014。

4.1 隨機(jī)投影算法的快速性及有效性

圖5為文獻(xiàn)[6]算法和隨機(jī)投影算法產(chǎn)生的紋理圖。Troll, Net, Plasticbag圖像分別為：前背景近似的圖像、許多孔洞的圖像、高透明度的圖像。與輸入圖像對(duì)比，紋理圖像各部分可區(qū)分性增大區(qū)域整體性增強(qiáng)，并且能保持圖像的各種細(xì)節(jié)信息，例如Troll圖像的中細(xì)小的毛發(fā)，Net圖像中的小洞，Plasticbag圖像中的塑料袋等信息。在兩種紋理圖像中，文獻(xiàn)[6]算法對(duì)邊緣效果更為明顯，而隨機(jī)算法紋理圖的區(qū)分性更大。由于紋理信息是取自圖像局部塊的信息，在摳圖中紋理信息只作為顏色的補(bǔ)充，在某些情況下，文獻(xiàn)[6]算法中過(guò)強(qiáng)的邊緣反而不利于信息的擴(kuò)散，而隨機(jī)紋理圖更能滿(mǎn)足顏色補(bǔ)償?shù)男枨蟆?/p>

圖6為兩種紋理算法運(yùn)行時(shí)間與前背景交疊系數(shù)的對(duì)比，橫坐標(biāo)為27張標(biāo)準(zhǔn)圖片的編號(hào)[17]。

圖5 復(fù)雜圖像兩種紋理算法視覺(jué)效果對(duì)比

圖6 文獻(xiàn)[6]紋理算法與隨機(jī)紋理算法性能對(duì)比

4.2 代價(jià)濾波的作用

在圖7中，圖7(a1), 7(b1)為傳統(tǒng)Shared[9]式采樣方法，圖7(a2), 7(b2)為非局部和局部近鄰代價(jià)濾波式方法。GT02圖像為有孔洞的對(duì)象，若要正確的扣取前景，需要提供非局部近鄰的信息將球外的背景信息傳遞到球內(nèi)部，在初始的摳圖結(jié)果中，傳統(tǒng)算法由于缺少非局部近鄰的作用，錯(cuò)誤摳取背景，背景部分較代價(jià)濾波方法大，在平滑后仍然存在較大誤差，而代價(jià)濾波算法在平滑后基本消除了誤差。在GT06圖像的摳圖中，鴨子的手腳部分與背景近似容易產(chǎn)生粘黏，傳統(tǒng)方法即使在后期平滑后仍存在較大的誤差，而代價(jià)濾波后的方法，在平滑后基本接近真實(shí)值。

4.3 算法綜合比較

在表1中，對(duì)比了3種基于采樣的算法在GT02,GT13, GT19, GT26圖像上的均方誤差及平均絕對(duì)誤差。表2為基于射線式采樣的3種算法的運(yùn)算時(shí)間對(duì)比。

圖7 代價(jià)濾波的作用

表1各算法誤差

輸入圖片RMSEMAE 文獻(xiàn)[3]文獻(xiàn)[9]本文算法文獻(xiàn)[3]文獻(xiàn)[9]本文算法 GT029.2e-29.2e-25.6e-23.2e-22.8e-21.9e-2 GT131.1e-11.1e-18.7e-25.0e-24.5e-23.7e-2 GT198.4e-28.4e-26.7e-23.7e-23.7e-22.4e-2 GT261.8e-11.8e-11.6e-11.0e-19.6e-27.8e-2

表2 27張標(biāo)準(zhǔn)圖像平均運(yùn)算時(shí)間對(duì)比

文獻(xiàn)[6]文獻(xiàn)[9]本文算法 運(yùn)行時(shí)間(s)121.459.0717.42

從表1中可以看出，本文算法的誤差最低。本文算法為了解決顏色歧義問(wèn)題增加了紋理圖像求取和代價(jià)濾波的計(jì)算，因而運(yùn)算時(shí)間比文獻(xiàn)[9]長(zhǎng)，但與同樣采用紋理特征的文獻(xiàn)[6]算法相比，運(yùn)算時(shí)間卻小了近一個(gè)數(shù)量級(jí)。

在標(biāo)準(zhǔn)集上的測(cè)試結(jié)果如圖8所示。對(duì)于文獻(xiàn)[1]算法，由于有空間近鄰的作用，摳取的結(jié)果連續(xù)性較好，但存在過(guò)平滑而產(chǎn)生的誤差，并因其為基于局部相似度擴(kuò)散的算法，無(wú)法進(jìn)行遠(yuǎn)端信息擴(kuò)散：如Plant圖像中葉子縫隙存在的模糊區(qū)域；對(duì)于文獻(xiàn)[3]算法和文獻(xiàn)[9]方法，利用采樣的方式雖然可以實(shí)現(xiàn)信息的遠(yuǎn)端擴(kuò)散，但仍然無(wú)法有效地區(qū)分前背景；因而本文算法中利用隨機(jī)紋理圖對(duì)顏色進(jìn)行補(bǔ)充，能夠更有效地區(qū)分前背景，而且代價(jià)濾波式的采樣方式比文獻(xiàn)[9]中方法得到的效果連續(xù)性更好。

綜合以上結(jié)果，基于隨機(jī)紋理特征的代價(jià)濾波式摳圖算法，在增加少量運(yùn)算時(shí)間的情況下，在處理復(fù)雜圖像的摳圖中，不但能取得更好的實(shí)際視覺(jué)效果，而且在誤差上也優(yōu)于其他兩種算法。

圖8 復(fù)雜圖像不同摳圖算法結(jié)果比較

5 結(jié)束語(yǔ)

本文分析了傳統(tǒng)摳圖算法存在的難點(diǎn)，針對(duì)前背景歧義這一公開(kāi)問(wèn)題，提出了基于隨機(jī)紋理的代價(jià)濾波式摳圖算法，該算法能夠快速有效地提取紋理特征，并且代價(jià)濾波式的樣本選擇策略能夠得到更為連續(xù)性的效果，用局部迭代平滑代替全局能量函數(shù)的求解降低了算法的復(fù)雜度，實(shí)驗(yàn)結(jié)果表明，與其他摳圖算法相比，本文算法連續(xù)性好，從直觀效果和誤差上都有更好的性能，能夠有效地區(qū)分復(fù)雜圖像的前背景。但本文計(jì)算采用統(tǒng)一的抽取通道數(shù)和降維數(shù)，忽略了投影矩陣的隨機(jī)性，發(fā)掘抽取通道數(shù)及降維數(shù)與精確紋理方法之間的關(guān)系，以及將隨機(jī)投影紋理算法應(yīng)用到其他領(lǐng)域?qū)⑹且院蟮倪M(jìn)一步工作。

[1] Levin A, Lischinski D, and Weiss Y. A closed form solution to natural image matting[J]., 2006, 30(2): 61-68.

[2] Shi Y, Au O C, Pang J,.. Color clustering matting[C]. IEEE International Conference on Multimedia and Expo, California, USA, 2013, 7: 1-6.

[3] Wang J and Cohen M F. Optimized color sampling for robust matting[C]. IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, USA, 2007, 6: 281-288.

[4] He B, Wang G J, and Zhang C. Iterative transductive learning for automatic image segmentation and matting with RGB-D data[J]., 2014, 25(5): 1031-1043.

[5] Shahrian E, Rajan D, Price B,.. Improving image matting using comprehensive sampling sets[C]. Conference on Computer Vision and Pattern Recognition, Oregon, Portland, USA, 2013, 6: 636-643.

[6] Shahrian E and Rajan D. Weighted color and texture sample selection for image matting[C]. IEEE Conference on Computer Vision and Pattern Recognition, Rhode Island, USA, 2012, 6: 718-725.

[7] Rhemann C, Rother C, and Gelautz M. Improving color modeling for alpha matting[C]. The British Machine Vision Conference, Leeds, UK, 2008, 9: 1155-1164.

[8] He K, Rhemann C, Rother C,.. A global sampling method for alpha matting[C]. IEEE Conference on Computer Vision and Pattern Recognition, Colorado, USA, 2011, 6: 2049-2056.

[9] Gastal E S and Oliveira M M. Shared sampling for real‐time alpha matting[J]., 2010, 29(2): 575-584.

[10] Jubin J, Deepu R, and Hisham C. Sparse codes as alpha mattes[C]. The British Machine Vision Conference, Nottingham, England, 2014, 9: 1-11.

[11] Varma M and Zisserman A. A statistical approach to material classification using image patches[J]., 2009, 31(11): 2032-2047.

[12] Liu L and Paul W. Texture classification from random features[J]., 2012, 34(3): 574-586.

[13] Hosini A, Bleyer M, Rother C,.. Fast cost-volume filtering for visual correspondence and beyond[J]., 2013, 35(2): 504-511.

[14] Dasgupta S and Gupta A. An elementary proof of a theorem of Johnson and Lindenstrauss[J]., 2003, 22(1): 60-65.

[15] Sural S, Qian G, and Pramanik S. Segmentation and histogram generation using the HSV color space for image retrieval[C]. International Conference on Image Processing, New York, USA, 2002, 2: 589-592.

[16] Marius M and David GL. Fast approximate nearest neighbors with automatic algorithm configuration[C]. International Conference on Computer Vision Theory and Applications, Lisbon, Portugal, 2009, 2: 331-340.

[17] Rhemann C, Rother C, Wang J,.. A perceptually motivated online benchmark for image matting[OL].http://www.alphamatting.com. 2009, 5.

Cost Filtered Matting with Radom Texture Features

Chen Qiu-feng①Shen Qun-tai①Liu Peng-fei①②

①(,,410083,)②(95856,210028,)

In order to deal with the color overlap problem in matting, a fast random projection method is proposed to complement the color information. First, the raw texture matrix is obtained through dense abstraction from color image. The random projection is performed and the best three texture channels are chosen by the foreground and background overlap factors. Combining the texture image, the new cost function takes into account texture, color, and spatial information. Second, the filtering process is carried out to the sample selection cost, including the effect of the local and nonlocal neighbors. Finally, the relationship between iterative filter and global energy smooth is proven, and the post filter formula is obtained. Experiments show that the cost filtered matting with random texture features produces both visually and quantitatively better results when the color distributions of the foreground and background are similar.

Image processing; Texture matting; Random projection; Cost filtering; Iterative smooth

TP391

A

1009-5896(2015)11-2578-09

10.11999/JEIT150143

2015-01-27；改回日期：2015-06-29；

2015-08-27

陳秋鳳 chenqiufeng0204@126.com

國(guó)家自然科學(xué)基金(61473318, 60974048)

陳秋鳳： 女，1983年生，博士生，研究方向?yàn)閳D像處理、智能信息控制等.

申群太： 男，1944年生，教授，博士生導(dǎo)師，研究方向?yàn)橹悄苄畔⑻幚怼⒐I(yè)控制等.

劉鵬飛： 男，1981年生，博士生，研究方向?yàn)橹茖?dǎo)武器識(shí)別與控制、武器裝備優(yōu)化保障等.

The National Natural Science Foundation of China (61473318, 60974048)