基于元胞自動機的低秩加權協同顯著性檢測

吳作宏，徐 巖，李曉振，徐竟澤，曾建行

(山東科技大學 電子信息工程學院，山東 青島 266590)

E-mail：xuyan@sdust.edu.cn

1 引 言

顯著性檢測是計算機視覺領域中一項基本的且具有挑戰性的任務，模擬靈長類視覺系統的行為以捕獲場景中最顯著的前景區域，可以幫助人們快速有效地提取需要的信息.自Itti等人[1]提出顯著性概念以來，顯著性檢測已經應用廣泛，例如圖像分割和檢測，目標跟蹤和識別等.大多數現有的顯著性檢測模型側重于檢測單幅圖像中的顯著區域，并在公共數據集上取得了較好的效果.而在大數據和互聯網廣泛使用的時代背景下，越來越多的視覺處理任務不在僅僅局限于單幅圖像，這就帶來了針對一組相關圖像的顯著性檢測問題.協同顯著性檢測指的是在一組相關的圖像中發現共同顯著目標.協同顯著性檢測技術在許多圖像處理任務中發揮了重要的作用，例如協同分割，視頻前景提取[2]等，因而越來越引起人們的注意.

協同顯著性檢測與單個圖像的顯著性檢測有所不同，它既考慮了圖像內的視覺線索，又考慮了圖像間的視覺線索，從而彌補了單個圖像顯著性檢測中的不足.圖像內的視覺線索是基于單個圖像的對比度和空間線索，而圖像間的視覺線索依賴于一組圖像之間的對應關系.Jacobs等人[3]首次將協同顯著性檢測定義為在相似背景下的圖像中發現唯一目標，但是相似背景這個條件具有一定的局限性.Chen[4]提出了基于分布的表示來表征圖像中的稀疏特征，基于一對圖像的特征分布，采用漸進算法來增強預注意響應.Li[5]通過構造協同多層圖，將單圖像顯著性圖和多圖像顯著圖進行固定權重的線性組合.然而很難將Chen[4]和Li[5]的算法推廣到多個圖像檢測的情況.Fu[6]利用聚類的方法來學習多個圖像之間的全局對應信息，提出了三種顯著性線索(即對比度，空間和對應)，將三種線索通過固定權重進行組合，但是忽略了顯著性線索之間的內在聯系.Lin[7]等人提出了一種顯著目標完整性的檢測方法，其協同顯著性的完整檢測在簡單數據集上表現較好.Liu[10]提出了一種基于分層分割的協同顯著性模型，在精細分割上測量不同圖像的區域對比度和相似度，在粗糙分割上測量目標先驗，最后將兩者相結合得到最終的協同顯著性圖，但是忽略了顯著目標的結構特性，存在很多背景噪聲.Cao[12，13]提出了一個通用的顯著性框架，利用多個顯著性線索的關系來融合顯著圖，并獲得自適應權重，以生成最終的協同顯著性圖.由于要計算多個算法的顯著性圖，計算成本大，限制了模型的應用前景.

針對上述所存在的問題，本文提出了一種協同顯著性檢測方法，通過秩約束自適應地融和3個顯著性圖，然后利用元胞自動機更新顯著性區域，獲得最終的協同顯著性圖.

2 基礎理論和方法

利用CBCS[6]，MR[8]和RBD[9]生成顯著性圖，提取協同顯著性區域計算自適應權重；將顯著性圖與其對應的權重相乘得到融合圖，利用元胞自動機優化顯著圖.具體算法流程如圖1所示.

圖1 算法的流程圖

2.1 提取協同顯著區域

(1)

(2)

2.2 計算自適應權重

(3)

其中‖·‖*是核范數，‖·‖1是1范數，λ是控制稀疏部分的權重.求解上述問題得到矩陣E，E可看作矩陣H和低秩矩陣L的誤差矩陣，引入低秩能量來構造權重，計算如下：

(4)

上式是E的第(i-1)M+j行的2范數.自適應權重定義如下：

(5)

(6)

2.3 元胞自動機更新機制

元胞自動機[14]是一種結構簡單而組織行為復雜的網格動力學模型，其時間、空間和狀態都是離散的.根據相應的規則，元胞可以在離散時間里不斷更新自己的狀態.每個元胞下一時刻的狀態由其當前狀態和它鄰域中的元胞狀態決定.利用元胞自動機傳播機制來增強顯著性區域.

應用SLIC算法將一幅圖像分割成N個超像素，每個超像素點作為一個元胞，其顯著性值(取值范圍在0到1之間)作為元胞的狀態.元胞的鄰域包括與它相鄰的元胞以及和它相鄰的鄰域共有同一邊緣的元胞.元胞之間的影響力由它們在色彩空間的相似度決定.超像素之間的相似性由CIE LAB色彩空間的距離來衡量，超像素之間的影響因子矩陣F=[fij]N×N定義為：

(7)

其中dij表示超像素i和超像素j之間的卡方距離，σ是控制相似性力度的參數，σ2的取值為0.1，NB(i)是元胞i的鄰域.將影響因子矩陣歸一化為F*=D-1·F，其中D=diag{d1，d2，…dn}，d1=∑jfij.

決定元胞的狀態有兩個因素，即它自己當前狀態和它鄰域的狀態，當元胞下一時刻的狀態主要由自己當前的狀態決定時，說明一個超像素點和它的鄰域有很大的差異，當元胞下一時刻的狀態主要由它的鄰域元胞狀態決定時，說明超像素點和它的鄰域相似度較高.為了平衡這兩個因素，引入置信度矩陣C=diag{c1，c2，…cn}，每個元胞對自己當前狀態的置信度為：

(8)

為了保證ci∈[b,a+b]，使用下面公式計算置信度矩陣：

(9)

其中a和b為常數，分別取值為0.7和0.1.有了影響因子矩陣和置信度矩陣，所有的元胞根據更新原則同步更新它們的狀態，更新規則如下：

COSt+1=[C*+(1-C*)·F*]·COSt

(10)

其中COSt是顯著性圖，I是單位矩陣，經過N0個時間步，最終得到優化后的協同顯著性圖，如圖2所示.

圖2 元胞自動機優化后協同顯著圖對比

3 實驗結果與分析

3.1 實驗設置

實驗選擇廣泛使用的MSRC[16]和iCoseg[17]數據集.iCoseg數據集包含38個類別(人類、動物及自然景象等)，共有643幅圖片，其中每組包含一個或多個顯著目標.MSRC數據集包含14個類別，例如汽車、飛機和動物等等，每類大約有30幅圖像，共有418幅圖像；兩個數據集都有人工標注的像素級的真值圖.MSRC數據集的圖像組中出現的顯著目標允許使用不同的顏色和形狀，這使得協同顯著性檢測更具挑戰性.為了能較好地與其他算法作比較，采用了4個評估標準，包括準確率(Precision)與召回率曲線(Recall)，F-measure，MAE以及S-measure[18].準確率(Precision)、召回率(Recall)和F-measure的計算公式如下：

(11)

(12)

(13)

其中S={S1,S2,…,Sn}表示有算法生成的顯著圖，G={g1，g2,…,gn}表示人工標注的真值圖，β為常數，β是用來確定準確率對于召回率的重要性，β2>1表示召回率重要，β2<1表示準確率重要，一般設置β2的值為0.3，用來強調準確率的重要性.實驗所涉及到的超像素分割的數量均為200.與本實驗對比的算法包括CBCS，CSHS，SACS，MR和RBD.實驗環境是在Intel(R) Core(TM) i7-6700 3.40GHz，內存為16G的電腦上運行，Matlab版本為R2016a.

3.2 實驗結果及分析

圖3為本文的算法與其他5種算法在iCoseg數據集上的PR曲線圖，實線代表本文算法.

從圖可以看出本文算法要由于其他算法.MR算法和CBCS算法的PR曲線較低，因為其檢測到的顯著區域不明顯或者含有較多的背景噪聲，SACS算法采用自適應加權框架，PR曲線較高，但本文算法的顯著目標突出，背景干擾更少，實驗效果比SACS算法好.

圖4是本文算法與其他5種算法在MSRC數據集上PR曲線圖.MSRC數據集中的顯著目標的顏色和形狀不一樣，因此在某種程度上對算法要求更高，如果僅僅使用顏色特征來判別顯著區域的話，很顯然不能有效地突顯出顯著目標，同時可能存在很多背景干擾.從圖可以看出本文算法的PR曲線要高于其他5種算法.

圖3 6種算法在iCoseg數據集上的準確率與召回率曲線圖Fig.3 Precision-recall curves of six algorithms on iCoseg dataset圖4 6種算法在MSRC數據集上的準確率與召回率曲線圖Fig.4 Precision-recall curves of six algorithms on MSRC dataset

為了能更好地說明問題，本文計算了在iCoseg和MSRC數據集上的F-measure，S-measure和MAE值，結果如表1所示.

表1 6種算法在iCoseg和MSRC數據集上F-measure,S-measure 和MAE

從表中可以看出本文算法的F-measure和S-measure都要高于其他算法，MAE值都要低于其他算法.具體來說，前五種算法表現最好的是SACS算法，在iCoseg數據集上的F-measure，S-measure和MAE的值分別為0.759，0.741和0.168.本文算法的F-measure和S-measure比SACS分別高了2.1%，2.1%，MAE比SACS的低了2.7%.在MSRC數據集上，SACS的三個指標分別為0.771，0.671和0.247.本文算法的F-measure和S-measure比SACS分別高了1.4%，4.8%，MAE比SACS的低了5.3%.綜上所述，本文的算法總體上要優于其他算法.

圖5是6種算法在iCoseg數據集上的部分協同顯著圖的對比.前5種方法相比較，協同顯著圖效果較好的是MR算法，RBD算法和SACS算法.這三種算法顯著目標較為突出，但也存在很多背景干擾，可以看到單個圖像顯著性檢測方法MR根據圖的流形排序對圖像元素與前景線索或背景線索的相似性進行排序，默認圖像的邊界都是背景，所以在顯著目標位于邊界是檢測效果不佳，RBD算法過分強調了圖像內部和目標邊緣的連接，導致無法檢測到像鵝身體和頸部等重要物體的邊緣.CBCS算法僅使用顏色聚類方法進行協同顯性檢測，當目標外觀的顏色變化很大時，其表現不令人滿意.CSHS方法使用顏色直方圖來測量區域之間的相似性，但不考慮目標的結構特征，因此它產生更多的背景噪聲.而SACS算法采用加權融合框架，不僅要計算多個算法的顯著圖，且算法不夠優越，所以顯著圖仍然存在背景噪聲.本文算法的協同顯著圖的顯著區域比較突出，而且背景噪聲也更少，比較接近真值圖.

圖5 6種算法在iCoseg數據集上的部分協同顯著圖從上到下依次為原圖，真值圖，MR，RBD，CBCS，CSHS，SACS和本文算法

圖6是6種算法在MSRC數據集上的部分協同顯著圖的對比，輸入的圖片有單一的目標也有多目標且顏色形狀各不同.前5種算法結果相對較好的依然是MR算法，RBD算法和SACS算法，它們都能突顯出目標，相比較而言，MR算法背景噪聲較少，RBD算法的顯著目標更完整.結果較差的是CBCS和CSHS算法，CBCS算法整個區域不突出，顯著目標也不完整，相比之下，CSHS算法雖然將顯著目標突顯出來，但是同時也將背景噪聲放大，目標的邊緣信息無法觀察到.

圖6 6種算法在MSRC數據集上的部分協同顯著圖從上到下依次為原圖，真值圖，MR，RBD，CBCS，CSHS，SACS和本文算法

從圖中不難發現本文算法和其他5種方法相比效果比較好，目標比較明顯，背景噪聲也比較少.

4 總 結

本文提出了一種基于元胞自動機的自適應加權的協同顯著性檢測算法.該方法將3個顯著圖進行低秩加權后，利用元胞自動機更新顯著性區域.顯著提高了協同顯著性目標檢測的準確率.在iCoseg和MSRC數據集上的實驗結果表明，無論從主觀上還是客觀上分析，本文所提出的方法是簡潔有效的.由于本文是利用顏色和紋理特征提取顯著性區域，對于背景比較復雜的圖片存在顯著性區域難以提取的問題，顯著性區域檢測也不夠準確，仍有待提高.