基于目標檢索的RGB-D協同顯著性研究

汪 蕊，劉政怡，李 煒

安徽大學 計算機科學與技術學院，合肥230601

1 引言

顯著性檢測一直是圖像中較為熱門的話題，目的是檢測出一幅圖像中最為突出的物體，這項研究在實際應用中也有廣泛的應用，如圖片檢索[1]、圖片分割[2-3]、圖片質量評估[4]。在過去的眾多年間顯著性檢測的模型[5-10]已經在很多公共數據集上達到了非常好的效果。協同顯著領域就此進入廣大科研者的研究的領域，和以往的單幅圖顯著性檢測不同，協同顯著檢測[11-13]意在檢測出一組圖片中都有且是顯著區域的部分。協同顯著區域具有兩種性質：（1）協同顯著區域在單幅圖中應該也是顯著的；（2）在一組圖內的所有協同顯著區域應該是相似的。和單幅圖顯著性檢測相比協同顯著檢測是一個更有挑戰性的研究。協同顯著性研究已經廣泛地應用于計算機視覺方面，譬如協同前景分割[14]、協同目標定位[15]、圖片檢索[16]。

目前現有的協同顯著檢測方法都是針對于RGB 圖片的，然而針對RGB-D 圖的協同顯著檢測還是很缺乏，深度信息沒有被很好地應用進協同顯著檢測的過程中，它能夠補足低層特征無法達到的優勢，由于深度圖片質量不能保證，因此在本論文中為了將深度特征更好地融入顯著檢測的過程中，引用了AIF[17]中的DSP[17]根據深度圖的好壞可適應地對深度信息加以利用。對于協同顯著檢測而言，找到協同顯著的物體部分很重要，目標檢索是計算機視覺的四大基本任務之一，目標檢索的任務是在一幅圖片中盡可能搜索出圖像中某一塊存在目標，BING[18]是一種優異的目標檢測方法，它提出了一種速度快且檢測準確的目標檢測算法，為每幅圖片產生1 000 個候選框，及每個框包含物體可能性的大小。目前還沒有人在RGBD 協同顯著檢測區域使用目標檢索方法來提高顯著分類準確率，使用目標檢索可以挑選出更為準確的顯著種子。

在過去的大多方法中，大部分算法都是利用低級特征進行協同顯著檢測，如Cong等人在AIF[17]中提出了利用顏色，深度等特征加上循環迭代來進行協同顯著；Fu等人在CB[19]提出聚類后利用各種低層特征對比得到最終顯著圖；這些方法都是利用低級特征且所有超像素都參與到協同顯著分類過程來進行協同性判斷，由于低級特征的局限性無法對物體邊緣進行細化，協同顯著的結果會受到影響。因此提出利用VGG-16[20]網絡第二層接出的64 維特征來進行協同性判斷，再加以優化得到最終結果。

2 方法

本文主要實現由四部分組成：預處理、目標檢索框的產生、協同顯著值的計算、協同傳播及優化。圖1 為算法的流程圖。單幅顯著圖做初始顯著圖作為輸入的一部分，再加入RGB 圖、深度圖一并輸入，通過DSP 得到更加準確的初始顯著圖加以融合。利用BING 中的目標檢索方法對RGB 圖產生目標物體候選框得到種子超像素，再通過協同顯著判斷方法得到協同顯著圖，最后進一步傳播優化得到最終的顯著圖。

2.1 預處理

為了更加精確地利用深度圖從而產生更準確的初始顯著圖，所以在進行處理之前，先利用AIF中的DSP將及Di有權值的結合產生更加優秀的顯著圖并和由OM 方法初始顯著圖進行平均融合產生顯著圖Sf再進行后續處理：

視覺對比圖如圖2所示。

2.2 目標檢索

圖1 算法流程圖

圖2 初始顯著優化視覺對比圖

BING方法通過訓練通用的對象估計方法來產生一組候選對象窗口，能夠加速傳統的滑動窗口目標檢索方法。為了找到圖像中的一般對象，掃描一個定義好的量化窗口（依據尺度或者是縱橫比）。每一個窗口通過一個線性模型w ∈R64獲得得分：

sl代表過濾器得分，gl代表NG特征，l 表示坐標，i表示尺度，(x,y)表示窗口位置。因此定義最終的窗口目標得分為：

vi,sl為不同尺寸i 的窗口，所得到不同的獨立學習系數，窗口目標得分即其包含物體可能性的大小。

在協同顯著檢測的任務中，協同顯著部分往往是一組圖內的每張圖都有且最為突出的一個物體。在本論文中，利用BING 中的目標檢索方法，能在較快速度內為每幅圖片產生可能包含所有突出物體的1 000 個窗口，且按窗口目標得分ol的大小順序排列，由于協同顯著檢測的目標往往只有一個，所以在這1 000 個窗口中挑選出前15 個最有可能包含目標區域的作為種子框，將包含在種子框中并且在顯著圖中的顯著值大于閾值T(T=0.45)的選為種子超像素，經過實驗發現，由種子框挑選出的超像素可以全面地涵蓋所有顯著區域及篩除一部分背景區域，閾值的篩選可以更準確地挑選出更加準確的協同顯著物體部分，利用本文的準則判斷被選中超像素之間的協同相似度，從而得到優質的協同顯著圖。

2.3 協同顯著值判斷

利用上個階段得到的超像素，可以挑選出每幅圖片中最有可能是顯著部分的種子超像素，但顯著部分不一定是協同顯著區域，所以需要相應的協同顯著判斷準則對顯著部分進行挑選從而得到協同顯著部分。

2.3.1 特征相似度

兩個超像素越傾向于為協同顯著區域，則超像素之間的特征也會越相似。因此引入特征衡量準則，超像素特征之間相似度的衡量為特征相似度。特征相似度定義如下：

以超像素64 維特征中的第一、二維特征為例，將兩個超像素對應的一、二維特征代入公式（2）得到特征相似度Sc。此處為超像素的64 維特征，α2經實驗所證取0.01。

2.3.2 深度相似度

在深度相似度衡量的部分，引用AIF 的深度相似度衡量方法，其中包含有深度值一致性，和深度對比一致性，定義如下：

其中，Wd是深度一致性度量：

而Wc是深度對比一致性：

Dc為：

2.3.3 顯著值相似度

若目標物體為一組圖片的顯著物體區域，則在一組圖片中該物體區域之間的顯著值差也不會大，由此引入了顯著相似度：

最終的協同顯著值計算如下：

由于進行的是協同顯著檢測，因此需要判斷一個超像素在每張圖片中都出現的可能性，這里也引用了AIF中的公共可能性Pc：

2.4 協同傳播及優化

由于在種子的選擇中，會盡可能選擇更有前景可能性的超像素，在此過程中一部分前景種子會被遺漏，因此利用傳播算法恢復部分前景種子，將每幅圖利用MR[24]得到的所有背景超像素的特征f 進行平均得到每張圖的平均背景值fb，再根據2.3 節中得到的協同顯著圖，求出所有前景超像素的特征平均值fa。

Sc為超像素之間的特征相似度，利用該方法進行傳播可以得到更加全面的協同顯著種子，從而得到精準的協同顯著圖。

為了得到更加優質的顯著結果，采用元胞自動機對協同顯著圖Sa進行進一步優化，將Sa與元胞自動機的結果進行平均融合得到最終的顯著圖，視覺對比圖如圖3所示。

圖3 協同傳播及優化視覺對比圖

3 實驗結果

本文提出的方法在一個RGB-D協同顯著集上被評估，與四種經典的協同顯著檢測方法進行對比。數據集、評價指標及四種經典方法的介紹將在這部分給出詳細說明。

3.1 實驗環境及數據集

本實驗使用Matlab（R2016a）編寫，所有程序均在配置參數為Intel i5-7500CPU（3.4 GHz）和16 GB RAM 臺式機上進行的。為了公平評價，所有對比的算法顯著結果均來自作者提供的公開顯著圖或代碼。本文在公開的一個RGB-D協同數據集上進行實驗，為RGBD Cosal150數據集。RGBD Coseg150數據集是從RGBD NJU-1985數據集中收集的21組圖片集包含一共150張圖片，數據集中的圖像有對應的手工標記真值圖以及相應的深度圖。

3.2 評價指標

本實驗采取兩個評價指標：分別是P-R曲線（Precision-Recall），F-度量值。查準率（Precision）表示正確檢測的顯著目標與完全顯著目標的百分比。查全率（Recall）表示正確檢測顯著目標的完整度與完全顯著目標的百分比。當Precision 和Recall 兩者值同時越大，表明算法的效果越好。但兩者之間存在制約關系，Precision 大時，Recall 通常較小，反之亦然。因此，采用F-Measure 權衡兩者之間的關系，其定義如下：

其中β2=0.3為常數，用來控制查準率和查全率的權值。

3.3 與各種經典算法的對比

本文與四種算法在RGBD Cosal150 數據集上進行比較，分別是CB、AIF、EMR[25]、MKB[26]、CB 是基于顏色特征聚類的方法，整合了對比、空間和一致性線索的顯著檢測方法；AIF 是基于加模式和減模式下的迭代優化協同顯著檢測方法；EMR 通過兩個階段的種子進行排序再加以融合；MKB 為多核集成算法，根據弱顯著圖生成強顯著圖。

數據集上的比較。圖4 為本文算法與其他經典算法的P-R 曲線。表1 中給出了本文方法及經典方法的F-Measure 值，可以看出本文方法無論是P-R 曲線還是F-Measure相比于經典算法都表現出更加優異的性能。

圖4 不同算法在RGBD Cosal150數據集上的對比結果

表1 本文方法與四種經典方法的F-Measure對比

3.4 模型分析

本文提出的RGB-D 協同用顯著檢測算法使用了分別由HCA 算法和OM 算法得到的單幅圖顯著圖，本文方法與初始顯著圖的優化對比如圖5，表2 中為所有初始顯著圖F-Measure 對比，最終得到的初始顯著圖F 值較HCA 與DSP 結合相比較低，但從P-R 曲線圖中可以看出最終顯著圖具有相對而言更高的查準率，因此依然選用平均融合方法得到初始顯著圖。再將目標檢索作用于每張圖片上，只選擇目標檢索結果框中的超像素作為候選超像素，能夠去除一部分背景超像素的影響，且在此過程中根據優化的初始顯著圖，在候選超像素中通過顯著圖大于T（T 經實驗證明選擇0.45）更新候選超像素選擇更加準確的協同顯著種子進行協同顯著值判斷。由于種子選擇過程中會丟失小部分前景超像素，本文方法添加協同傳播方法恢復該部分前景超像素，在視覺對比圖3 中可以看出其效果，再利用元胞優化進一步提升顯著質量。該部分被證明有效，各個部分的對比如圖6 所示，表3中給出了協同傳播部分及元胞優化部分對比的F值。本文方法和經典方法的視覺對比如圖7所示。

圖5 初始顯著圖優化對比結果

圖6 協同傳播及優化對比結果

表2 初始顯著圖優化的F-Measure對比

表3 協同傳播及優化的F-Measure對比

圖7 視覺對比圖

4 結束語

在本文中，DSP 的使用可以使得深度信息被更好地利用，加上利用目標檢索作用于選出協同顯著的種子，同時應用了高層特征，可以更好地反應超像素的信息來進行顯著檢測，加上協同傳播，這可以使得協同顯著檢測的結果更加精準。在RGBD Coseg150 數據集上與四種方法進行比較，結果顯示了本文算法的有效性和優越性。