基于異源圖像特征的顯著性融合檢測方法

李海波，曹云峰，丁 萌，莊麗葵

(1.南京航空航天大學 自動化學院，江蘇 南京 210016；2.南京航空航天大學 航天學院，江蘇 南京 210016;3.南京航空航天大學 民航學院，江蘇 南京 210016)

0 引 言

隨著計算機技術的發展，基于光學圖像特征的顯著性檢測成為了研究熱點，不斷有研究人員對現有的檢測方法進行改進，如文獻[1]基于貝葉斯模型提出一種改進的顯著性檢測算法，可以得到相對平滑、視覺效果較好的顯著性圖。為提高顯著性檢測的準確度，很多學者提出了不同的方法。例如，文獻[2]提出一種基于區域合并的顯著性檢測算法，采用不同合并策略將多個區域合并成顯著性區域和背景區域，提高了檢測的準確度；文獻[3]提出一種基于稀疏性表示與自信息的顯著性檢測方法，根據像素點的自信息值計算顯著性，在一定程度上提高了檢測的準確性；文獻[4]提出一種多尺度顯著性檢測方法，根據層次圖模型將多層顯著圖合并，減少了單一尺度檢測結果的不準確性；文獻[5-6]則分別提出了基于前景和背景特征及背景與中心先驗的檢測方法，提高了檢測的準確性。物體檢測廣泛應用于眾多領域，包括人臉識別、行人檢測等[7]。針對不同的應用場景，采用的檢測方法具有一定針對性，如文獻[8-10]針對人臉檢測提出了相對應的檢測方法。在一些特殊應用場景，如行星探測器著陸時對行星地表的檢測，由于光照條件易發生變化，單純依靠光學圖像的檢測方法容易受到影響，難以滿足檢測要求。針對這一問題，文中研究了一種基于光學圖像與深度圖的顯著性檢測方法，深度圖來源于激光雷達等距離測量設備，通過最近鄰插值等方法可以獲得。該方法可以提高檢測方法對環境的適應性，拓展了檢測方法的應用范圍。

1 光學圖像與深度圖的顯著性計算及融合

1.1 光學圖像特征提取及顯著性計算

對于光學圖像，利用高斯濾波器對圖像進行濾波和降采樣，形成高斯金子塔G(σ)，σ為尺度參數，σ∈[0,8]。對金子塔每一層分別提取顏色、亮度和方向特征。對于顏色特征提取，根據輸入圖像的r、g、b通道構造4個顏色通道：R、G、B、Y，構造方法如下：

(1)

對于亮度特征提取，計算方法如下：

(2)

方向特征利用Gabor濾波器提取，二維Garbor濾波器表達式如下：

(3)

其中，(x0,y0)為接受域中心；(ξ0,υ0)為峰值響應時的空域頻率；α和β分別是x軸與y軸方向上的橢圓高斯方差。取0°、45°、90°和135°四個方向的Garbor濾波器輸出作為方向特征圖。

為計算金子塔的不同尺度特征圖，對每種特征在金字塔的不同尺度間做差，采用中心圍繞機制計算特征圖。取金字塔的2、3、4層為中心層，即c∈{2,3,4}；圍繞層為s=c+δ,δ∈{3,4}。對每種特征在中心層與圍繞層之間做差，做差前先采用最近鄰插值法將圍繞層擴大到中心層尺寸。亮度特征圖計算方法如下：

D(c,s)=|D(c)ΘD(s)|

(4)

其中，Θ表示某一中心層與其圍繞層做差。

根據空間色彩對立原則[11]，顏色特征圖計算方法為：

RG(c,s)=|(r(c)-g(c))Θ(g(s)-r(s))|

(5)

BY(c,s)=|(b(c)-y(c))Θ(y(s)-b(s))|

(6)

方向特征圖計算方法為：

O(c,s,θ)=|O(c,s)ΘO(s,θ)|

(7)

經過計算，在2、3、4層共得到42幅特征圖，其中包括6幅亮度特征圖，12張顏色特征圖，24張方向特征圖(4個方向)。

設特征圖用M表示，(i,j)與(p,q)分別為特征圖上兩個不同像素點的坐標，M(i,j)與M(p,q)分別表示在 (i,j)、(p,q) 位置上的灰度值，則M(i,j)與M(p,q)的差異可通過下式計算：

(8)

構造權重圖GM，以特征圖M的像素點作為節點，兩節點之間邊的權重計算公式為：

w((i,j),(p,q))?d((i,j)‖(p,q))·F(i-

p,j-q)

(9)

(10)

其中，σ為自由參數，取值區間為特征圖寬度的1/10～1/5，區間內取不同值對輸出結果影響不大。

由式(9)可知，節點(i,j)和(p,q)之間邊的權重與節點之間差異及距離成正比，因此相反方向也擁有相同的權重，即

w((i,j),(p,q))=w((p,q),(i,j))

(11)

所以GM為無向圖。根據式(9)構造的矩陣為圖GM的鄰接矩陣，表示圖中任一節點與其他節點的聯系。將鄰接矩陣按列歸一化，使邊的權重在[0,1]之間。把節點定義為狀態，邊的權重定義為轉移概率，這樣的鄰接矩陣具有馬爾可夫性質。利用隨機游走的方法可以獲得節點的被訪頻率[12]。由于顯著性點與其他點差異較大，被訪頻率低，因此可以將其對應像素點賦予較大顯著值，從而得到顯著圖。

將每個特征通道不同尺度的顯著圖下采樣到第四層空間，計算公式如下：

(12)

(13)

(14)

其中，N()表示歸一化處理；⊕表示采樣到第四層相加。

式(13)中，兩個顏色特征顯著圖先進行同尺度相加，合并為一個顏色特征金子塔，然后再下采樣到第四層空間；式(14)中，四個方向特征顯著圖同樣也先進行同尺度相加，合并為一個方向特征金子塔，然后再下采樣到第四層空間。通過上述計算，可以得到三個特征通道的顯著圖。將每個通道的顯著圖歸一化，然后進行加權組合，如下所示：

(15)

其中，SM表示光學圖像最終的顯著圖。

1.2 深度圖分割及顯著性計算

(16)

然后，通過區域的顯著性計算像素點的顯著性值，計算方法如下：

S2(p)=

(17)

通過上述計算，可以得到一個初步的顯著圖，利用邊緣探測器[14]對顯著圖進行邊緣線段提取。由于提取到的線段是不連接的，為獲取顯著性目標的閉合輪廓，在提取到的線段端點之間添加可能的連接線段，形成閉合輪廓。對形成的閉合輪廓進行優化,方法如下：

(18)

利用輪廓比例算法[15]求出式(18)的最優解，即為優化后的輪廓。

最后，計算形狀先驗圖，方法如下：

S3(p)=1-e1-γd(p)

(19)

其中，d(p)為像素p到優化后輪廓C*的空間距離，通過距離轉換計算[16]；γ為形狀先驗的置信系數。

設與輸入圖像I對應的標簽集為L，其中元素lp∈{0,1}，當lp=0時表示對應像素為背景，lp=1時對應像素為顯著性目標，構建能量函數如下：

(20)

其中，p、q表示兩個不同像素；B表示圖像像素的集合；A表示四連通鄰域；數據項U定義如下：

(21)

平滑項定義如下：

V(p,q,I,S3)=αVα(p,q,I)+(1-α)Vs(p,q,S3)

(22)

(23)

最后，通過最大流最小割(min-cut/max- flow)方法對所構建的能量函數進行最小化處理[19]，從而完成對圖像的二值分割，求出顯著圖。

為獲得更準確的顯著目標區域，將計算獲得的顯著區域適當擴大[20]，擴大后以外的區域設置為背景，以內的區域設置為前景，即顯著性區域。在原始圖上分別建立前景區域和背景區域HSV(hue,saturation,value)直方圖HF、HB，顯著圖S2可通過下式重新獲得。

(24)

其中，bp為像素p的直方圖顏色區間。

前景和背景的重疊越少，顯著圖估計的越準確。基于新的顯著圖，重復迭代：利用式(19)對形狀先驗進行更新，然后利用式(20)重新分割圖像，利用式(24)求取新的顯著圖。當能量函數收斂時，停止迭代，獲得深度圖的最終顯著圖。

1.3 顯著性圖融合及確定顯著性區域

將光學圖像的顯著性圖與深度圖的顯著性圖以標準級像素相乘的方式進行融合，使共有的顯著性區域得以保留，單個顯著圖異常顯著區域被消除，從而得到更加準確的顯著性圖。根據顯著性圖，設定二值轉化閾值，將顯著性圖轉化為二值圖，確定顯著性目標所在區域，在光學圖像中尋找相同位置區域，即為顯著性目標所在區域。

2 實驗及分析

隨機選取一對經過配準的光學圖像與深度圖，如圖1所示，可以看出巖石為顯著性目標，即檢測對象。

圖1 經過配準的光學圖像與深度圖

分別采用1.1、1.2節所述方法計算圖1(a)、(b)的顯著性圖，其結果如圖2所示。

圖2 顯著性圖

對兩種顯著性圖利用1.3節所述方法進行融合并轉化為二值圖，其結果如圖3所示。根據融合檢測結果在光學圖像相同位置找出顯著性目標所在區域，其結果如圖4所示。

圖3 融合結果 圖4 檢測結果

從實驗可以看出，提出的算法可以有效檢測出巖石所在區域。此外還進行了多組實驗，實驗結果表明該算法是有效的。

3 與其他方法比較

將文中提出的方法與其他常用的顯著性檢測方法(如ITTI、GBVS等)進行比較。從樣本庫中隨機選取一對經過配準的光學圖像與深度圖像，分別如圖5(a)、(b)所示；手動標出理想的檢測結果，如圖5(c)所示；對圖5(a)分別使用基于ITTI和GBVS的顯著性檢測方法，檢測結果如圖5(d)、(e)所示；采用文中方法得出的檢測結果如圖5(f)所示。

從圖5可以看出，采用文中方法與理想檢測結果最為接近。為進一步分析，引入定量分析指標：準確率(P)，其定義為檢測結果與理想檢測結果之間重疊面積與檢測結果面積的比值，形式如下：

(25)

圖5 不同方法檢測結果對比

準確率越高，檢測越精確。根據式(25)對不同方法檢測結果進行定量比較，結果如表1所示。

從表1可以看出，采用文中方法的檢測準確率最高，效果最好。

表1 不同方法的檢測準確率 %

4 結束語

在一些特殊場景，如深空探測中的行星表面，單純依靠光學圖像特征的顯著性檢測易受光照變化影響，針對這一問題，研究了一種基于光學圖像與深度圖的顯著性融合檢測方法。對于配準后的光學圖像與深度圖，分別根據其圖像特征，計算光學圖像的顯著性與深度圖的顯著性；將計算得到的兩種顯著性圖進行融合，形成新的顯著圖；根據最終顯著圖，找出光學圖像中顯著性目標所在區域，從而完成檢測。實驗結果表明，該方法可以有效檢測出顯著性目標所在區域，與其他常用的顯著性檢測方法相比，具有較高的檢測準確率。

[1] 林 曉,王燕玲,朱恒亮,等.改進凸包的貝葉斯模型顯著性檢測算法[J].計算機輔助設計與圖形學學報,2017,29(2):221-228.

[2] 孫 豐,秦開懷,孫 偉,等.基于區域合并的圖像顯著性檢測[J].計算機輔助設計與圖形學學報,2016,28(10):1679-1687.

[3] 劉尚旺,趙勝杰,李元隆.基于稀疏性和自信息的顯著性檢測方法[J].計算機工程與設計,2016,37(8):2176-2180.

[4] 羅 斌,王慧玲.層次圖融合的顯著性檢測[J].計算機科學與探索,2016,10(12):1752-1762.

[5] 朱征宇,汪 梅.基于Manifold Ranking和結合前景背景特征的顯著性檢測[J].計算機應用,2016,36(9):2560-2565.

[6] 陳南而,陳 瑩.采用背景和中心先驗的圖像顯著性檢測[J].小型微型計算機系統,2016,37(10):2371-2374.

[7] 黃凱奇,任偉強,譚鐵牛.圖像物體分類與檢測算法綜述[J].計算機學報,2014,37(6):1225-1240.

[8] 陳 凡,童 瑩,曹雪虹.復雜環境下基于視覺顯著性的人臉目標檢測[J].計算機技術與發展,2017,27(1):48-52.

[9] 王 攀,李少波.基于膚色和FBLBP算法的人臉檢測[J].計算機技術與發展,2017,27(1):44-47.

[10] 邵 虹,耿 昊.基于膚色信息和模板匹配的人臉檢測與提取[J].計算機技術與發展,2016,26(11):49-53.

[11] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1998,20(11):1254-1259.

[12] SCH?LKOPF B,PLATT J,HOFMANN T.Graph-based visual saliency[C]//International conference on neural information processing systems.[s.l.]:IEEE,2006:545-552.

[13] FELZENSZWALB P F,HUTTENLOCHER D P.Efficient graph-based image segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[14] MARTIN D R,FOWLKES C C,MALIK J.Learning to detect natural image boundaries using local brightness,color,and texture cues[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(5):530-549.

[15] WANG S,KUBOTA T,SISKIND J M,et al.Salient closed boundary extraction with ratio contour[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2005,27(4):546-561.

[16] FELZENSZWALB P F,HUTTENLOCHER D P.Distance transforms of sampled functions[J].Theory of Computing,2004,8(19):415-428.

[17] LIU T,YUAN Z,SUN J,et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2007,33(2):353-367.

[18] ROTHER C,KOLMOGOROV V,BLAKE A."GrabCut":interactive foreground extraction using iterated graph cuts[J].ACM Transactions on Graphics,2004,23(3):309-314.

[19] BOYKOV Y,KOLMOGOROV V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(9):1124-1137.

[20] JIANG H,WANG J,YUAN Z,et al.Automatic salient object segmentation based on context and shape prior[C]//British machine vision conference.Dundee:BMVA Press,2011.