基于改進(jìn)LBE 特征的RGB-D顯著性檢測(cè)

袁 泉，張建峰，伍立志

(1．重慶郵電大學(xué)通信新技術(shù)應(yīng)用研究中心，重慶400065; 2．重慶信科設(shè)計(jì)有限公司，重慶400065)

(*通信作者電子郵箱214665129@qq．com)

0 引言

圖像的顯著性檢測(cè)，簡(jiǎn)單來(lái)說(shuō)是指將圖片中的顯著性區(qū)域(目標(biāo))從非顯著性區(qū)域(背景)中分離出來(lái)。它作為一種圖像預(yù)處理技術(shù)，能夠幫助人們將有限的圖像處理資源分配到最重要的圖像區(qū)域上，在目標(biāo)檢測(cè)［1］、圖像編碼［2］、圖像分類［3］、目標(biāo)識(shí)別［4］等領(lǐng)域有著廣泛的應(yīng)用。

過(guò)去十幾年里，國(guó)內(nèi)外學(xué)者們提出了大量顯著性檢測(cè)算法，其中，最主流的方法是基于對(duì)比度的方法，對(duì)比度的計(jì)算通常基于顏色、形狀、紋理等特征。根據(jù)對(duì)比度計(jì)算區(qū)域的不同可以分為局部對(duì)比度和全局對(duì)比度:基于局部對(duì)比度的方法計(jì)算圖像區(qū)域和其鄰域間的對(duì)比度來(lái)表征該區(qū)域的顯著值［5］;基于全局對(duì)比度［6］的方法則是計(jì)算圖像區(qū)域與整個(gè)圖像的對(duì)比度。此外，根據(jù)人類視覺(jué)感知特點(diǎn)得到的各種先驗(yàn)信息在顯著性檢測(cè)中也起著重要作用，主要有中心先驗(yàn)［7］、背景先驗(yàn)［8］和連通性先驗(yàn)［9］等。

隨著3D傳感技術(shù)的發(fā)展，顯著性檢測(cè)算法不再局限于二維圖像，最近的研究［10－15］表明，RGB-D圖像中的深度信息能夠有效提高顯著性檢測(cè)算法的性能，特別對(duì)區(qū)分具有相似外觀不同位置的目標(biāo)有很大作用。在基于深度先驗(yàn)的算法中，深度信息被作為一種先驗(yàn)信息直接對(duì)二維顯著圖加權(quán)［10］，此類算法只是粗略引入了深度信息，容易受到低深度背景區(qū)域的干擾。而基于深度對(duì)比度的算法受對(duì)比度在二維圖像顯著性檢測(cè)中的有效性啟發(fā)，通過(guò)計(jì)算圖像中的深度對(duì)比度并結(jié)合顏色、紋理等特征得到顯著圖［11－14］，此類方法能夠有效抑制近距離背景的干擾，但利用前景與背景間的深度對(duì)比度來(lái)計(jì)算顯著性，具有一個(gè)普遍的缺陷:在背景區(qū)域比顯著區(qū)域擁有更高的深度對(duì)比度時(shí)，算法容易產(chǎn)生誤檢，得到假陽(yáng)性結(jié)果。為解決這一問(wèn)題，F(xiàn)eng等［15］提出 LBE(Local Background Enclosure)特征，通過(guò)超像素分割將圖像分解為許多小區(qū)域，然后計(jì)算目標(biāo)區(qū)域的鄰域內(nèi)深度較大區(qū)域所占的比例來(lái)表征該區(qū)域的顯著性，有效地降低了誤檢率。但LBE特征單獨(dú)計(jì)算每個(gè)超像素區(qū)域的顯著性值，忽略了相鄰區(qū)域之間的相關(guān)性，導(dǎo)致一些結(jié)構(gòu)或形狀復(fù)雜的目標(biāo)難以被完整檢測(cè)出來(lái)。此外，LBE算法過(guò)度依賴深度信息，沒(méi)有充分利用圖像中的顏色信息，當(dāng)圖像中的深度信息較少時(shí)，算法無(wú)法準(zhǔn)確檢測(cè)顯著目標(biāo)。

本文針對(duì)以上問(wèn)題對(duì)LBE算法作出兩點(diǎn)改進(jìn):一是在計(jì)算特征之前對(duì)輸入圖像進(jìn)行多級(jí)分割處理，較精細(xì)分割圖中相鄰的兩個(gè)區(qū)域在較粗略分割圖中會(huì)被融合成一個(gè)區(qū)域，因此粗略分割圖上的LBE特征可以充分利用精細(xì)分割圖中的區(qū)域相關(guān)性。二是引入顏色信息和先驗(yàn)信息對(duì)深度顯著圖進(jìn)行矯正，在深度信息不能很好地表征出顯著目標(biāo)時(shí)，可以保證檢測(cè)結(jié)果的準(zhǔn)確性。

1 本文方法

原始LBE算法首先對(duì)圖像進(jìn)行超像素分割，然后在每個(gè)超像素上計(jì)算LBE特征，最后進(jìn)行后處理得到顯著圖。本文對(duì)LBE算法進(jìn)行改進(jìn)，用多級(jí)分割處理替代超像素分割并引入顏色信息和先驗(yàn)信息，改進(jìn)后的方法包括4個(gè)步驟:1)多級(jí)分割;2)LBE特征計(jì)算;3)多級(jí)顯著圖融合;4)顏色信息和先驗(yàn)信息引入。

1．1 多級(jí)分割

首先利用基于圖的分割方法［16］對(duì)輸入圖像I進(jìn)行精細(xì)分割得到分割圖S。構(gòu)造無(wú)向帶權(quán)圖G(V，E)，其中vi∈V為S的像素點(diǎn)，e∈E為相鄰像素間的連線，權(quán)重w(vi，vj)為像素間的顏色距離。定義區(qū)域RV的內(nèi)部差異度為其最小生成樹(shù)MST(R，E)的最大權(quán)值:

定義R1、R2V之間的差異度為連接兩區(qū)域最小邊的權(quán)值:

定義R1，R2V之間最小內(nèi)部差異度為:

當(dāng) Dif(R1，R2) ＞ MInt(R1，R2) 時(shí)，R1，R2應(yīng)當(dāng)合并為一個(gè)區(qū)域。將S上所有符合條件的區(qū)域合并得到下一級(jí)分割圖，重復(fù)此步驟完成多級(jí)分割。

將分割 I得到的一組分割圖記為 S={S1，S2，…，Sm}。其中:S1是最精細(xì)的分割圖，包含的區(qū)域最多;Sm為最粗略的分割圖，包含的區(qū)域最少。

1．2 LBE特征計(jì)算

計(jì)算各級(jí)分割圖的LBE特征。區(qū)域P的LBE特征由兩個(gè)分量組成(如圖1所示):一是P的局部背景在其鄰域中所占的比例，與顯著性值成正比;二是P的局部背景間的最大間隙，與顯著性值成反比。

圖1 LBE特征示意圖Fig．1 Schematic diagram of LBE features

1．2．1 局部背景在鄰域中所占的比例

對(duì)于一個(gè)區(qū)域P∈Sm，定義區(qū)域P的半徑為r的鄰域?yàn)镻

其中cp和cq分別為區(qū)域P和Q的形心。定義P的局部背景為B(P，t)，表示P的鄰域Np中，比區(qū)域P的平均深度大t的區(qū)域集合。

其中D(P)表示區(qū)域 P的平均深度。定義函數(shù)f(P，B(P，t))，表示P的局部背景B(P，t)在P的鄰域中所占的比例:

其中當(dāng)一條穿過(guò)P的形心且角度為θ的直線與B(P，t)相交時(shí)，I(θ，P，B(P，t)) 的值為 1，若不相交則為0。

因?yàn)椴煌瑘D像的閾值t的大小各不相同，難以確定一個(gè)固定閾值。為解決這一問(wèn)題，采用分布函數(shù)的形式來(lái)表示B(P，t)在P的鄰域中所占的比例:

其中σ是B(P，t)內(nèi)所有的區(qū)域平均深度的標(biāo)準(zhǔn)差:

1．2．2 局部背景間的最大間隙

定義最大間隙為g(P，Q)，當(dāng)兩個(gè)區(qū)域在各自鄰域中所占比例相同時(shí)，最大間隙較小的區(qū)域?qū)@得更大的顯著性值:

其中ψ表示所有不包含局部背景的邊界(θ1，θ2)的集合:

與局部背景所占比例分量相似，以分布函數(shù)的形式表示最大間隙分量G(P)，因g(P，Q)與顯著性成反比，本文計(jì)算1－g的分布函數(shù):

最終的深度特征記為S(P):

1．3 多級(jí)顯著圖融合

輸入圖像經(jīng)過(guò)多級(jí)分割和LBE特征計(jì)算得到多級(jí)顯著圖像{A1，A2，…，Am}，對(duì)應(yīng)的人工標(biāo)記圖為T(mén)。本文利用最小二乘估計(jì)［17］訓(xùn)練多級(jí)線性融合權(quán)重wm，得到融合函數(shù)如式(14)所示:

將多級(jí)顯著圖像融合得到深度顯著圖為:

1．4 引入顏色信息和先驗(yàn)信息

在一些深度變化較小的場(chǎng)景中(如圖2(b)所示)，單獨(dú)使用深度信息很難獲得準(zhǔn)確的檢測(cè)結(jié)果。因此，加入RGB圖像的顏色信息和先驗(yàn)信息來(lái)對(duì)深度顯著圖進(jìn)行矯正。

引入一個(gè)顏色相異圖。假定圖像邊界寬度為d的區(qū)域?yàn)楸尘埃瑢⒈尘皡^(qū)域的像素按Lab顏色空間的像素值分成k組，實(shí)驗(yàn)中參數(shù)取值參考文獻(xiàn)［9］，取k=3，d=10像素。計(jì)算第k組的像素個(gè)數(shù)記為nk，平均像素值記為μk，Ck為協(xié)方差矩陣。計(jì)算圖像中每個(gè)非背景像素I(i)到第k組背景像素的馬氏距離(Mahalanobis distance)得到第k個(gè)顏色相異圖:

對(duì)k個(gè)顏色相異圖加權(quán)求和并歸一化得到最終顏色相異圖:

引入中心先驗(yàn)信息。根據(jù)像素點(diǎn)到圖像中心的距離利用高斯函數(shù)G(x，y)來(lái)對(duì)顯著圖A進(jìn)行加權(quán)。

將顏色相異圖和中心先驗(yàn)函數(shù)融合到深度顯著圖A中，得到最終的顯著圖S為:

圖2是引入顏色信息和先驗(yàn)信息前后的對(duì)比，可以看出，在輸入圖像深度變化較小的情況下，引入的顏色信息和先驗(yàn)信息后的算法能夠得到更準(zhǔn)確的檢測(cè)結(jié)果。

圖2 引入顏色信息與先驗(yàn)信息前后對(duì)比Fig．2 Result of introduction of color and priori information

2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)的硬件環(huán)境為CPU 2．3 GHz，內(nèi)存8 GB的計(jì)算機(jī)。實(shí)驗(yàn)在Windows10操作系統(tǒng)下進(jìn)行，仿真平臺(tái)為Matlab R2014a。

本文實(shí)驗(yàn)在RGBD數(shù)據(jù)集［11］進(jìn)行，RGBD數(shù)據(jù)集共包含1000幅彩色圖片以及相應(yīng)的深度圖和真值圖，所有圖片均由Microsoft Kinect在自然場(chǎng)景下拍攝得到。

實(shí)驗(yàn)共選取5種當(dāng)下流行的顯著性檢測(cè)算法進(jìn)行對(duì)比。其中 LBE［15］、LMH(Low-level feature，Mid-level region，Highlevel priors)［11］、各向異性中心－周?chē)町?Anisotropic Center-Surround Difference，ACSD)［12］是針對(duì) RGB-D 圖像的顯著性檢測(cè)算法;最小生成樹(shù)(Minimum Spanning Tree，MST)［9］、分層顯著性(Hierarchical Saliency，HS)［7］是針對(duì)二維圖像的顯著性檢測(cè)算法。

實(shí)驗(yàn)采用準(zhǔn)確率－召回率(Precision-Recall，PR)曲線對(duì)本文算法的性能進(jìn)行評(píng)估。以閾值t對(duì)算法輸出的所有顯著圖進(jìn)行二值分割，t的取值范圍為［0，255］。將二值圖B與數(shù)據(jù)集中的真值圖T進(jìn)行如下計(jì)算得到準(zhǔn)確率(Precision)和召回率(Recall):

閾值t以10為步長(zhǎng)在［0，255］內(nèi)依次取值，分割出所有輸出顯著圖的二值圖，并計(jì)算每個(gè)t值下的平均召回率和平均準(zhǔn)確率。以平均準(zhǔn)確率為縱坐標(biāo)，平均召回率為橫坐標(biāo)，得到算法在整個(gè)數(shù)據(jù)集上的PR曲線。

圖3為本文算法與對(duì)比算法的PR曲線。可以看出圖中以虛線表示的二維圖像顯著性檢測(cè)算法性能明顯低于實(shí)線表示的RGB-D圖像顯著性檢測(cè)方法，表明深度信息能夠有效改善顯著性檢測(cè)的結(jié)果。本文算法與LMH算法、ACSD算法相比具有更高的準(zhǔn)確率和召回率。原因在于，相比于LMH算法和ACSD算法直接利用深度對(duì)比度表征顯著性，本文算法通過(guò)計(jì)算目標(biāo)區(qū)域在其鄰域中的突出程度來(lái)表征顯著性，能夠更充分地利用圖像中的深度信息;與LBE算法相比，本文算法的召回率較高，但準(zhǔn)確率略低，原因在于，本文算法的顯著性特征由多級(jí)分割圖的特征融合得到，檢測(cè)出的目標(biāo)輪廓比原始LBE算法更大，從而得到較高的召回率和較低的準(zhǔn)確率。

圖3 不同算法PR曲線對(duì)比Fig．3 Comparison of PR curves with different algorithms

圖4是本文算法和對(duì)比算法的檢測(cè)結(jié)果對(duì)比。

圖4 不同算法結(jié)果對(duì)比Fig．4 Results comparison of different algorithms

從圖4可以看出，本文算法得到的檢測(cè)結(jié)果相比另外5種算法更接近人工標(biāo)注圖。對(duì)比本文算法和LBE算法的檢測(cè)結(jié)果，在第四和第五行中，本文算法引入的顏色相異圖準(zhǔn)確地區(qū)分了深度相近顏色不同的目標(biāo)和背景。在第六和第七行，目標(biāo)形狀結(jié)構(gòu)復(fù)雜情況下，本文算法檢測(cè)出的目標(biāo)區(qū)域更加完整清晰，這是由于加入的多級(jí)分割處理提高了本文算法對(duì)結(jié)構(gòu)復(fù)雜目標(biāo)的檢測(cè)能力。

3 結(jié)語(yǔ)

本文在LBE算法基礎(chǔ)上進(jìn)行改進(jìn)，在計(jì)算顯著性特征前對(duì)輸入圖像進(jìn)行多級(jí)分割能充分利用相鄰區(qū)域間的相關(guān)性;引入顏色相異圖，與深度信息相互補(bǔ)充。改進(jìn)后的算法能夠很好地發(fā)揮深度信息和顏色信息的作用，提高了原始LBE算法的檢測(cè)效果。