顯著中心先驗和顯著-深度概率矯正的RGB-D顯著目標檢測

劉政怡 黃子超 張志華

?

顯著中心先驗和顯著-深度概率矯正的RGB-D顯著目標檢測

劉政怡 黃子超*張志華

(安徽大學計算智能與信號處理教育部重點實驗室 合肥 230601)(安徽大學信息保障技術協同創新中心 合肥 230601)

隨著深度特征在圖像顯著檢測領域中發揮越來越重要的作用，傳統的RGB圖像顯著檢測模型由于未能充分利用深度信息已經不能適用于RGB-D圖像的顯著檢測。該文提出顯著中心先驗和顯著-深度(S-D)概率矯正的RGB-D顯著檢測模型，使得深度特征和RGB特征間相互指導，相互補充。首先，依據3維空間權重和深度先驗獲取深度圖像初步顯著圖；其次，采用特征融合的流形排序算法獲取RGB圖像的初步顯著圖。接著，計算基于深度的顯著中心先驗，并以該先驗作為顯著權重進一步提升RGB圖像的顯著檢測結果，獲取RGB圖像最終顯著圖；再次，計算顯著-深度矯正概率，并對深度圖的初步顯著檢測結果使用此概率進行矯正。接著，計算基于RGB的顯著中心先驗，并以該先驗作為顯著權重進一步提升深度圖像矯正后的顯著檢測結果，獲取深度圖像的最終顯著圖；最后，采用優化框架對深度圖像最終顯著圖進行優化得到RGB-D圖像最終的顯著圖。所有的對比實驗都是在公開的數據集NLPR RGBD-1000數據集上進行，實驗結果顯示該文算法較當前流行的算法有更好的性能。

3維空間權重；特征融合的流形排序算法；顯著中心先驗；顯著-深度概率矯正

1 引言

顯著目標檢測致力于區分圖像場景中的顯著目標和背景目標，被廣泛地應用在圖像分割[1]、目標識別[2]、圖像壓縮[3]、圖像分類[4]、圖像檢索[5]、視頻跟蹤[6]等領域。許多先前的顯著檢測工作都是集中研究2D圖像的顯著檢測模型。近來，越來越多的顯著檢測研究工作開始融合多模態的圖像數據以提高顯著檢測的性能，其中對RGB-D圖像的顯著檢測開始吸引越來越多的注意力，這不僅僅是因為諸如Microsoft Kinect和Velodyne Lidars等魯棒的測距傳感器的出現，同時也是因為RGB-D圖像的顯著檢測在航海和機器人操作中變得越來越重要[7]。

2 本文方法

本文所提出的顯著檢測算法的核心思想是深度特征和RGB特征間相互指導。方法的主要框架如 圖1所示。首先，分別對深度圖和RGB圖進行超像素分割構建圖模型，分別提取深度圖的深度特征和RGB圖的CIELab顏色特征，對RGB圖像采用特征融合的流形排序算法進行顯著檢測得到RGB圖的初步顯著圖，同時采用3維空間權重計算深度圖的初步顯著圖；其次，結合深度圖的初步顯著圖和深度特征信息計算基于深度的顯著中心先驗，以該先驗作為顯著權重進一步提升特征融合的流形排序方法的顯著檢測結果得到RGB圖的最終顯著圖；再次，使用RGB圖像的最終顯著檢測結果和深度特征計算顯著-深度矯正概率，使用顯著-深度矯正概率對深度圖的初步顯著圖進行矯正；接著，采用RGB圖像的顯著圖和CIELab顏色特征信息計算基于RGB的顯著中心先驗，以該先驗作為顯著權重進一步提升顯著-深度概率矯正方法的顯著檢測結果得到深度圖的最終顯著圖；最后，對深度圖經基于RGB的顯著中心先驗加強的最終顯著圖再次使用本文所提出的顯著優化框架進行優化，得到最終的RGB-D圖像顯著檢測結果。如圖2所示，本文方法每步顯著檢測結果分別為：圖2(a)為RGB圖，圖2(b)為深度圖，圖2(c)為特征融合的MR檢測結果，圖2(d)為特征融合的MR與基于深度的顯著中心先驗方法的檢測結果，圖2(e)為顯著-深度矯正前的檢測結果，圖2(f)為顯著-深度矯正后的檢測結果，圖2(g)為顯著-深度矯正與基于顏色的顯著中心先驗方法的檢測結果，圖2(h)為最終檢測結果，圖2(i)為真值圖。

圖1 基于特征融合與S-D概率矯正的RGB-D顯著檢測

2.1 構建圖

式中，表示頂點CIELab顏色特征的歐式距離。頂點的深度特征表示為，其歐式距離為

2.2 3維空間權重

無論從認知心理，還是視覺感知的角度，都有一個共同的深度先驗：一般認為距離觀察者越近的物體，會同時吸引觀察者更多的注意力，也就越有可能成為顯著目標[7]。啟發于此，采用式(4)來獲取深度圖的初步顯著圖。

考慮到當圖像中的場景有不同的景深[19]時顯著目標可能分布在不同的位置，為了減小景深的影響，將整副圖像的深度值置于[0,1]之間。

2.3 深度特征指導RGB圖像顯著檢測

2.3.1特征融合的流形排序 依據流形排序算法[13]，本文同時提取RGB圖像的CIELab顏色特征和深度圖像的深度特征來構建關聯矩陣，提出了特征融合的算法。則新的排序函數為

特征融合的流形排序以圖像的4個邊界為背景詢問節點，其他節點作為數據節點，計算圖中每個數據節點和所選定的查詢節點間的相關性排序，排序結果會得到4個顯著目標區域與背景區域的分布圖，接著將4個顯著圖進行線性融合，獲得RGB圖像初步顯著圖。

2.3.2基于深度的顯著中心先驗 盡管在RGB-D圖像中顯著目標相對于背景區域來說，通常位于距離拍攝圖像的相機更近的位置，但由于背景區域的深度分布范圍比較廣泛，有些背景區域往往相對顯著目標距離拍攝相機更近，而此時這些背景區域往往會被誤檢為顯著目標。因此，為了更有效地區分顯著目標和背景區域以及使得深度特征更好地指導RGB圖像的顯著檢測過程，本文采用基于深度的顯著中心先驗計算每個超像素的顯著權重OD，具體如式(9)所示。

2.3.3RGB圖最終顯著圖 為了使得深度特征更好地指導RGB圖像的顯著檢測，采用基于深度的顯著中心先驗方法計算每個超像素的顯著權重并以此權重進一步加強RGB圖像的初步顯著圖，得到RGB圖像的最終顯著圖，具體如式(14)所示。

2.4 RGB特征指導深度圖顯著檢測

2.4.2基于RGB的顯著中心先驗 雖然經過S-D概率矯正后，RGB顯著圖能夠有效地指導深度圖的顯著檢測結果，但是S-D矯正概率還是基于圖像場景中顯著目標總是距離拍攝圖像的相機更近這一假設，且其結果直接依賴于RGB圖像的顯著檢測結果。因此，為了使得RGB圖像顯著檢測結果更好地指導深度圖的顯著檢測結果，本文還提出了基于RGB的顯著中心先驗計算每個超像素的顯著權重OC，具體定義為

2.4.3深度圖的最終顯著圖 為了使得RGB特征更好地指導深度圖像的顯著檢測，采用基于RGB的顯著中心先驗方法，計算每個超像素的顯著權重，并以此權重進一步加強深度圖像經S-D概率矯正后的顯著圖，得到深度圖像的最終顯著圖。具體如式(22)所示。

2.5 顯著優化

3 實驗結果

3.1 數據集和實驗環境

本文提出的顯著檢測算法均在NLPR RGBD- 1000[20]這個國際公開的數據集上進行了測試。

實驗中同時與6種當下流行的顯著性檢測方法進行對比。其中，4種RGB-D圖像顯著性檢測方法分別如下：DOC[7], LMH[20], ACSD[21], CDS[22]，剩下的兩種2D的顯著性檢測方法分別是MR[13]和WCTR[19]。

實驗中所有的算法都是運行在Intel(R) Core(TM) i5-2320CPU 3.0 GHz內存4 GB的PC上，軟件主要包括MATLAB(R2013a)和Microsoft visual studio 2010，所有的對比算法程序均是由本文作者提供的公開代碼。

3.2 評價標準

在本次實驗中，采用了準確率P(Precision)、召回率R(Recall)兩個指標來對不同算法的性能進行評估，并且繪制了準確率P-查全率R(Precision- Recall)曲線。

3.3 實驗結果

首先，在選定數據集上對本文提出的特征融合的流形排序算法與傳統的流形排序算法進行評估，分別標記為CD-MR, C-MR。檢測結果的PR曲線如圖3(a)所示。通過曲線可以看出本文所提出的融合深度特征的流形排序算法(CD-MR)優于傳統的流形排序算法(C-MR)，這說明了深度特征能夠有效地指導RGB圖像的顯著檢測。

其次，對本文所使用的基于深度的顯著中心先驗方法進行評估。使用基于深度的顯著中心先驗方法和不使用基于深度的顯著中心先驗方法的結果分別標記為CD-MR+OD, CD-MR。檢測結果的PR曲線如圖3(b)所示。通過PR曲線可以看出本文所提出的基于深度的顯著中心先驗方法能夠進一步提升RGB圖像的顯著檢測結果，從而證明了本文提出的基于深度的顯著中心先驗方法能夠使得深度特征更好地指導RGB圖像的顯著檢測過程。

再次，對本文所提出的顯著-深度概率矯正方法進行評估。矯正前和矯正后的結果分別標記為SD和SD-R。檢測結果的PR曲線如圖3(c)所示。通過PR曲線可以看出經過矯正后的深度圖的顯著檢測結果有了很大的提升，這說明了RGB圖像的顯著檢測結果能夠有效地指導深度圖的顯著檢測結果，同時也說明了本文所提出的顯著-深度概率矯正算法是一種有效的矯正算法。

另外，本文還對所使用的基于顏色的顯著中心先驗方法進行評估。使用基于顏色的顯著中心先驗方法和不使用基于顏色的顯著中心先驗方法的結果分別標記為SD-R+OC, SD-R。檢測結果的PR曲線如圖3(d)所示。通過PR曲線可以看出本文所提出的基于顏色的顯著中心先驗方法能夠進一步提升深度圖像的顯著檢測結果，從而證明了本文提出的基于顏色的顯著中心先驗方法能夠使得RGB圖像的顯著檢測結果更好地指導深度圖像的顯著檢測過程。

圖3 實驗結果

接著，本文還對經過顯著-深度概率矯正與基于顏色的顯著中心先驗后的顯著圖使用顯著優化框架進行優化，并對優化后的結果進行評估。檢測結果的PR曲線如圖3(e)所示。通過PR曲線可以看出優化框架取得了較好的效果。

最后本文還選擇了其他6個當前流行的算法與本文算法作對比。分別是：DOC, LMH, ACSD, CDS, MR, WCTR。但是本文為了保證在進行算法評估時的公平性，將2D顯著檢測方法MR, WCTR用于RGB圖像顯著檢測，將檢測的結果與本文矯正前的深度圖顯著檢測結果進行融合作為最終的檢測結果。分別標記為MRD, WCTRD。檢測結果的PR曲線如圖3(f)所示。從曲線中可以看出本文算法曲線位于除DOC算法外的5個算法的曲線之上，與當前效果最好的DOC算法各有優勢，在R值大于0.6時本文算法具有更好的精度，低于0.6時則稍差，但從總體PR曲線來看本文算法仍舊優于DOC。這說明了本文所提出的方法能使得深度特征和顏色特征更好地融合、相互指導，從而有效地提升最終的顯著檢測結果。

3.4 質量比較

圖4是本文算法和其他當前流行算法的顯著檢測結果質量對比，所有算法的結果都是在所選定的NLPR RGBD-1000數據集上檢測所得。其中圖4(a)為輸入的RGB圖，圖4(b)為經過平滑處理后的深度圖，圖4(c)-圖4(h)為當前流行的算法的顯著檢測質量圖，圖4(i)為本文算法的顯著檢測質量圖，圖4(j)為模板。通過所選定的顯著檢測結果質量對比圖可以看出本文算法能夠更好地凸顯出顯著目標的完整輪廓，均勻地凸顯出顯著目標自身，并且能夠有效地抑制背景目標。通過第2行的結果可以看出當顯著目標和背景目標顏色相似時本文方法依然能夠取得較好的效果，通過第4行和第5行可以看出當背景較為復雜時本文方法也能取得較好的效果。

3.5 運行時間比較

將本文算法與MR, WCTR, LMH, ACSD, CDS算法在選定數據集上進行了運行時間的比較，每種算法的平均運行時間結果如表1所示。運行時間比較中，ACSD使用C++代碼，其余算法都使用Matlab代碼。本文算法處理單張圖片的總耗時約為3.859 s，運行時間在可接受范圍之內。其中，用于SLIC超像素分割的耗時約為0.745 s，約占單張圖片總耗時的19%；用于最后顯著優化的耗時約為1.373 s，約占單張圖片總耗時的36%；算法的主體部分耗時約為1.741 s，約占單張圖片總耗時的45%。

4 結束語

本文主要提出了特征間相互指導的思想。首先，采用3維空間權重的方法計算深度圖的初步顯著圖；其次，采用特征融合的流形排序和基于深度的顯著中心先驗使得深度特征兩次指導RGB圖像的顯著檢測；再次，使用顯著-深度概率矯正和基于顏色的顯著中心先驗使得RGB特征兩次指導深度圖像的顯著檢測；最后，對深度圖的最終檢測結果采用優化框架進行優化獲得RGB-D圖像最終的顯著檢測結果。實驗結果顯示本文的方法超越現有的方法或者持平，證明本文所提出的深度特征和RGB特征間相互指導的思想是正確可行的，依據此思想提出的方法是健壯有效的。

表1不同算法平均運行時間對比(s/幅)

方法MRDWCTRDLMHACSDCDS本文方法 時間3.5971.9865.8920.10217.4843.859

在未來的研究中可以考慮圖像的一些其他的特征更好地融合，提升RGB-D顯著檢測結果。

[1] DONOSER M, URSCHLER M, HIRZER M,. Saliency driven total variation segmentation[C]. IEEE International Conference on Computer Vision, Kyoto, 2009: 817-824. doi: 10.1109/ICCV.2009.5459296.

[2] DING Y Y, XIAO J, and YU J Y. Importance filtering for image retargeting[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 2011: 89-96. doi: 10.1109/CVPR.2011.5995445.

[3] SRIVASTAVA S, MUKHERJEE P, and LALL B. Adaptive image compression using saliency and KAZE features[C]. International Conference on Signal Processing and Communications, Bangalore, 2016:1-5. doi: 10.1109/ SPCOM.2016.7746680.

[4] SIAGIAN C and ITTI L. Rapid biologically-inspired scene classification using features shared with visual attention[J]., 2007, 29(2): 300-312. doi: 10.1109/TPAMI.2007. 40.

[5] WANG X J, MA W Y, and LI X. Data-driven approach for bridging the cognitive gap in image retrieval[C]. IEEE International Conference on Multimedia and Expo, Taipei, 2004, 3: 2231-2234. doi: 10.1109/ICME.2004.1394714.

[6] MAHADEVAN V and VASCONCELOS N. Saliency-based discriminant tracking[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, Florida, USA, 2009: 1007-1013. doi: 10.1109/CVPR. 2009.5206573.

[7] REN J, GONG X, YU L,Exploiting global priors for RGB-D saliency detection[C]. IEEE Conference on Computer Vision and Pattern Recognition Workshops, Boston, MA, 2015: 25-32. doi: 10.1109/CVPRW.2015.7301391.

[8] LI W, QIU J, and LI X. Visual saliency detection based on gradient contrast and color complexity[C]. International Conference on Internet Multimedia Computing and Service, Zhangjiajie, China, 2015: 1-5. doi: 10.1145/2808492.2808534.

[9] ZHU H, SHENG B, LIN X,Foreground object sensing for saliency detection[C]. ACM on International Conference on Multimedia Retrieval, New York, USA,2016: 111-118. doi: 10.1145/2911996.2912008.

[10] WANG T, ZHANG L, LU H,Kernelized subspace ranking for saliency detection[C]. European Conference on Computer Vision, Springer International Publishing, 2016: 450-466. doi: 10.1007/978-3-319-46484-8_27.

[11] QIN Y, LU H, XU Y,Saliency detection via cellular automata[C]. IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, 2015: 110-119. doi: 10.1109/CVPR.2015.7298606.

[12] LANG C, NGUYEN T V, KATTI H,. Depth matters: Influence of depth cues on visual saliency[J]., 2012(2): 101-115. doi: 10.1007/978-3-642- 33709-3_8.

[13] YANG C, ZHANG L, LU H,Saliency detection via graph-based Manifold Ranking[C]. IEEE Computer Vision and Pattern Recognition, Portland, OR, 2013: 3166-3173. doi: 10.1109/CVPR.2013.407.

[14] GUO J, REN T, BEI J,Salient object detection in RGB-D image based on saliency fusion and propagation[C]. ACM International Conference on Internet Multimedia Computing and Service, Zhangjiajie, China, 2015: 59-63.doi: 10.1145/2808492.2808551.

[15] DESINGH K, MADHAVA K K, RAJAN D,. Depth really matters: improving visual salient region detection with depth[C]. British Machine Vision Conference, Bristol, 2013: 98.1-98.11. doi: 10.5244/C.27.98.

[16] CHENG M M, MITRA N J, HUANG X,Global contrast based salient region detection[J].&, 2015, 37(3): 569-582. doi: 10.1109/TPAMI.2014.2345401.

[17] YANG C, ZHANG L, and LU H. Graph-regularized saliency detection with convex-hull-based center prior[J]., 2013, 20(7): 637-640. doi: 10.1109/LSP. 2013.2260737.

[18] HAREL J, KOCH C, and Perona P. Graph-based visual saliency[C]. Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2006: 545-552.

[19] ZHU W, LIANG S, Wei Y,. Saliency Optimization from robust background detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, 2014: 2814-2821. doi: 10.1109/CVPR.2014.360.

[20] PENG H, LI B, XIONG W,. RGBD salient object detection: A benchmark and algorithms[J]., 2014, 8691: 92-109. doi: 10.1007/978-3- 319-10578-9_7.

[21] JU R, LIU Y, REN T,Depth-aware salient object detection using anisotropic center-surround difference[J]., 2015, 38(C): 115-126. doi: 10.1016/ j.image.2015.07.002.

[22] CHENG Y, FU H, WEI X,. Depth enhanced saliency detection method[C]. Proceedings of International Conference on Internet Multimedia Computing and Service, Xiamen, 2014: 23-27. doi: 10.1145/2632856.2632866.

劉政怡： 女，1978年生，副教授，研究方向為計算機視覺、視頻跟蹤.

黃子超： 男，1992年生，碩士生，研究方向為計算機視覺.

張志華： 男，1994年生，碩士生，研究方向為計算機視覺.

RGB-D Saliency detection Based on Saliency Center Prior andSaliency-depth Probability Adjustment

LIU Zhengyi HUANG Zichao ZHANG Zhihua

(&,,,230601,)(&,,230601,)

Along with more and more important role of depth features played in computer saliency community, traditional RGB saliency models can not directly utilized for saliency detection on RGB-D domains. This paper proposes saliency center prior and Saliency-Depth (S-D) probability adjustment RGB-D saliency detection framework, making the depth and RGB features adaptively fuse and complementary to each other. First, the initial saliency maps of depth images are obtained according to three-dimension space weights and depth prior; second, the feature fused Manifold Ranking model with extracted depth features is utilized for RGB image saliency detection. Then, the saliency center prior based on depth is computed and this value is used as saliency weight to further improve the RGB image saliency detection results, obtaining the final RGB saliency map. After that, Saliency-Depth (S-D) rectify probability is also computed and the saliency results of depth images are corrected with this probability. Then the saliency center prior based on RGB is also computed and this value is used as saliency weights to further improve the depth image saliency detection results and to obtain the final depth saliency maps. Finally the optimization framework is utilized to optimize the depth image final saliency maps and to obtain the final RGB-D saliency map. All the experiments are executed on the public NLPR RGBD-1000 benchmark and extensive experiments demonstrate that the proposed algorithm achieves better performance compared with existing state-of-the-art approaches.

Three-dimension space weights; Feature fused driven manifold ranking; Saliency center prior; Saliency-Depth (S-D) probability adjustment

TP391

A

1009-5896(2017)12-2945-08

10.11999/JEIT170235

2017-03-20；

2017-07-04；

2017-08-28

通信作者：黃子超 1052041670@qq.com

國家科技支撐計劃(2015BAK24B00)，安徽高校省級自然科學研究項目(KJ2015A009)，安徽大學信息保障技術協同創新中心開放課題

: The National Key Technology R&D Program of the Ministry of Science and Technology of China (2015BAK24B00), The Key Program of Natural Science Project of Educational Commission of Anhui Province (KJ2015A009), The Open Issues on Co-Innovation Center for Information Supply & Assurance Technology, Anhui University