基于稀疏表示的圖像顯著區域檢測算法

張 巧 榮

(河南財經政法大學計算機與信息工程學院　河南 鄭州 450002)

?

基于稀疏表示的圖像顯著區域檢測算法

張 巧 榮

(河南財經政法大學計算機與信息工程學院河南 鄭州 450002)

摘要針對圖像的顯著區域檢測問題，提出一種基于稀疏表示的顯著區域檢測算法。該算法首先利用稀疏編碼對圖像進行特征描述，然后根據圖像的稀疏編碼進行視覺顯著性的計算，而不是對原始圖像直接進行處理，提高計算的效率。最后，根據視覺顯著性的計算結果，進行顯著性區域分割。在公開的測試圖像集上進行實驗，并和目前幾種流行的算法進行實驗對比。實驗結果表明，該算法用于圖像的顯著區域檢測是正確有效的。

關鍵詞顯著區域檢測稀疏表示視覺顯著性顯著圖

0引言

隨著信息技術的發展，圖像已經成為人們獲取信息的主要來源。如何高效準確地進行圖像分析和處理成為人們研究的焦點。通過視覺注意機制，人類可以快速準確地檢測出圖像中的顯著區域，優先注意到圖像的重要部分，從而迅速地獲取有用的信息。通過檢測圖像中的顯著區域并優先分配計算資源，可以有效地提高圖像處理的效率和準確度。因此，顯著區域檢測技術被廣泛應用于目標檢測[1]、目標識別[2]、圖像分割[3]、圖像壓縮[4]以及圖像檢索[5]等應用領域。

檢測圖像中的顯著區域，首先需要計算圖像中各部分內容的視覺顯著性。到目前為止，已經有很多學者提出了視覺顯著性計算模型。生物視覺研究成果表明，顯著性源于視覺信息的獨特性、稀缺性以及奇異性，并由亮度、顏色、方向、邊緣等圖像特征所致[6]。因此，一些研究者通過計算圖像區域相對于其周圍鄰域的特征對比度來得到視覺顯著性。其中以Itti等提出的模型最具代表性[7]，得到各國研究者的廣泛關注。Itti等通過計算多個特征圖像的多尺度下的中央-四周特征差異來生成視覺顯著性。Ma等提出一種計算局部對比度并采用模糊增長的方法生成顯著圖[8]。基于局部對比度計算的方法容易在邊緣部分產生較高的顯著性值，而物體內部的顯著性值反而較低，出現“顯著性反轉”的現象。一些研究者通過計算全局對比度來解決這個問題[6]。還有一些研究者基于信息論的觀點，通過計算圖像特征的稀少性來生成顯著圖[9,10]。為了提高計算效率，一些學者提出基于頻域分析的視覺顯著性計算方法，例如Hou等提出的基于譜殘差的方法[11]，Guo等提出的基于相位譜的方法[12]，以及Hou等最近提出的利用DCT的“圖像簽名”算子的方法[13]等。這些方法計算速度快，適合實時監測。但是，通過實驗我們發現這些方法雖然運算速度較快，檢測的準確度卻不是很高。因此，如何在保持計算速度的情況下，提高檢測的準確度是需要解決的問題。

因此，基于以上的分析，本文提出一種利用稀疏表示的視覺顯著性計算方法。首先，計算圖像的稀疏編碼表示。然后，利用圖像的稀疏編碼計算視覺顯著性，提高計算效率。根據視覺顯著性計算結果，提取顯著區域。

1顯著區域檢測算法

本文提出的利用稀疏編碼的圖像顯著區域檢測算法如圖1所示，主要包括視覺顯著性計算和顯著區域檢測兩部分。

圖1　顯著區域檢測算法框圖

2視覺顯著性計算

2.1稀疏表示

生物視覺系統的研究發現，當視覺神經系統接收到某幅自然圖像時，大部分神經元對該圖像的響應很弱甚至為0，只有很少的神經元有較強的響應。當接收的自然圖像發生變化時，產生較強響應的神經元可能會改變，但這些神經元的個數仍然只占整體的少部分，這種特性叫作稀疏性[14]。為了模擬神經元響應的稀疏特性，人們提出了針對自然圖像的有效編碼方法，即稀疏編碼。

在稀疏編碼模型中，利用基函數的線性疊加表示輸入圖像，在最小均方差意義下使得線性疊加的結果盡可能地與原圖像相似。同時表示的特征盡可能地稀疏化，即基函數的權值盡可能多地為0或接近0。圖像的線性疊加可以表示為[15]：

X=AS

(1)

式中，X表示輸入圖像，表示為多個基函數的線性組合，A為基函數組成的矩陣，S為線性組合時基函數的權值向量。從神經生物學的角度，式(1)表示的稀疏編碼模型可以解釋為，人的視覺感知系統將輸入圖像刺激X通過感受野A的特征提取，將其表示為視覺細胞的活動狀態S。S即為輸入圖像的稀疏編碼。

對于式(1)表示的稀疏編碼模型，Olshausen提出的優化準則為：

(2)

式中，I(x,y)表示輸入圖像X中的像素值，φi(x,y)為基函數矩陣A中的第i個列向量，ai為向量S的第i個響應值。式(2)中的第1項用原始圖像與重構圖像之間的誤差平方和表示重構圖像的信息保持度，第2項反映了編碼的稀疏程度[15]。

根據式(1)表示的稀疏編碼模型及式(2)的優化準則，本文從自然圖像庫中選取10 000個8×8的圖像塊進行訓練得到字典A。則圖像的稀疏編碼可以通過式(3)求得：

S=DX

(3)

式中，D=A-1。

2.2生成顯著圖

通過上面的方法，我們得到了輸入圖像的圖像塊級別的稀疏編碼。為了計算視覺顯著性，我們需要像素級別的稀疏編碼。為此，本文通過計算包含某像素的所有圖像塊的稀疏編碼的均值來得到該像素的稀疏編碼。

位于(x,y)的像素的稀疏編碼記為PS(x,y)=[ps1(x,y),ps2(x,y), …]，psk(x,y)表示該像素在第k個子碼中的編碼值。圖像中所有像素在第k個子碼中的編碼值組成的矩陣Fk可以看作是對輸入圖像提取的第k個稀疏特征圖。

研究表明，視覺顯著性源于視覺信息的獨特性和稀缺性。本文通過計算圖像中各部分內容與其周圍環境所包含的視覺信息的差異來計算視覺顯著性。根據目前有效編碼理論中廣泛采用的貝葉斯決策理論，P(X)表示某數據集X的初始概率，即先驗概率，反映了根據已有知識斷定X是正確的可能程度；P(D|X)為似然函數，表示X為正確假設時，觀察到D的概率；P(D)表示D的先驗概率；P(X|D)是給定樣本D時，X的后驗概率。貝葉斯定理可以表示為：

防治方法：可用50%乙烯菌核利水分散粒劑(農利靈)(40～60克/畝)1 000～1 500倍液，或75%百菌清可濕性粉劑(75～100克/畝)600～800倍液，或45%特克多懸浮液(60毫升/畝)1 000倍液，或50%多菌靈可濕性粉劑(75～100克/畝)600～800倍液，或70%甲基硫菌靈可濕性粉劑(甲基托布津)(75～100克/畝)600～800倍液，或50%腐霉利可濕性粉劑(速克靈)(75～100克/畝)1 000～1 500倍液防治。

(4)

由式(4)可以看出，如果新的樣本數據D產生了信息差異，則先驗概率和后驗概率是不同的。為了衡量D引起的差異的程度，可以通過計算先驗概率分布與后驗概率分布之間的Kullback-Liebler(K-L)距離得到：

(5)

由此可知，將圖像中某位置的周邊環境劃分為兩個區域，即中央區域和周邊區域，周邊區域遠大于中央區域。周邊區域的信息分布看作是先驗概率，中央區域的信息分布為后驗概率。如果某位置引起了觀察者的注意，則其中央區域和周邊區域的信息分布是不同的，其差異程度即為其顯著程度[16]，可以通過式(6)得到：

(6)

SM(x,y)=∑SMi(x,y)

(7)

3顯著區域檢測

得到綜合顯著圖之后，選擇合適的閾值對顯著圖進行閾值分割，獲得二值圖像，其中白色區域對應位置即為圖像中的顯著區域。將二值圖像和原始圖像進行疊加，即可提取出顯著區域。閾值可以通過式(8)計算得到：

(8)

式中，L為顯著圖中像素最大的灰度值，pi為灰度值i出現的概率。

4實驗設計及結果分析

為了客觀地評估本文算法的正確性和有效性，我們在兩個公開的測試圖像庫上進行了實驗，并和目前比較流行的7種算法進行了實驗對比。本文算法的運行環境為Matlab7.0，硬件平臺為個人計算機(IntelCorei3/雙核2.53GHzCPU，內存為2GB) 。

4.1測試圖像集

本文選取的第一個測試圖像集為Bruce等人提供的人眼跟蹤圖像庫。庫中包含120幅測試圖像以及通過人眼跟蹤設備記錄的20個測試者在測試圖像上的人眼跟蹤數據(GroundTruth)。該數據集可以從http://www-sop.inria.fr/members/Neil.Bruce獲得。

第二個測試圖像集為Achanta等人提供的公開圖像測試集，該測試集包含有1000幅測試圖像，以及由人工精確標注的顯著性區域結果(GroundTruth)。該數據集可以從http://ivrgwww.epfl.ch/supplementary_material/RK_CVPR09/index.html獲得。

限于篇幅，本文從測試圖像集中選擇4幅圖像比較典型的圖片，在圖2中給出利用本文算法和目前大家關注度比較高的其他8種算法計算得到的顯著圖直觀的實驗對比結果。這8種算法分別為ITTI(Itti的引用最多的經典算法)、GBVS[17](Kouch等人的基于圖論的視覺顯著性計算方法，檢測準確度較高)、AIM[18](第一個測試圖像集的作者Bruce等人的基于信息最大化的算法)、FTSRD[19](第二個測試圖像集的作者Achanta等人的算法)、SUN[20](利用圖像統計信息的算法)以及SR(基于譜殘差的方法)、IS(基于DCT的圖像簽名的方法)、ICL[21](基于增量編碼長度的算法)這三種影響力比較大的基于頻域分析的算法。這幾種算法的作者都提供了源代碼，方便我們進行實驗比較。

圖2　實驗結果對比

圖2中的前兩幅圖片來自Bruce提供的測試集，其GroundTruth是對人眼跟蹤數據經過高斯模糊處理后的人眼關注圖。后兩幅圖片來自Achanta提供的測試集，其GroundTruth是以二值圖像表示的由人工精確標注的顯著區域結果。從圖2中可以看出，一些算法如FRSRD、SUN出現了顯著性反轉的情況，一些算法如ITTI、SR、ICL、IS計算出的顯著性結果更強調邊緣部分，而本文算法的結果與GroundTruth最接近。

為了客觀地評價本文算法的效果，本文采用目前本領域常用的ROC曲線、AUROC值對本文算法以及其他算法進行定量比較分析。

為了分割顯著區域并計算ROC曲線，本文參考文獻[19]，將各種方法得到的顯著圖中各像素的顯著值調整到[0,1]。然后從0到1每隔0.05取一個閾值，分別將各算法的顯著圖進行二值化，進行顯著區域和非顯著區域的分類，并與GroundTruth進行比較，計算相應的TPR(TruePositiveRate)和FPR(FalsePositiveRate)，分別得到21組TPR和FPR的對應值，畫出ROC曲線。圖3是各種算法的ROC曲線圖。表1為各種算法的AUROC值對比結果。從圖3和表1可以看出，本文算法的ROC曲線是最高的，AUROC值是最大的。

圖3　各種算法ROC曲線對比結果

方法 測試圖像集1測試圖像集2ITTI0.78190.8524GBVS0.81340.8840AIM0.69330.7057FTSRD0.55560.8026SUN0.67700.8050SR0.63950.7623IS0.64990.7714ICL0.69800.8362本文算法0.83180.8904

4.3時間復雜度評估

我們對本文算法和其他8種算法在兩個測試圖像集上單幅圖像的平均運行時間進行了測試，對比結果如表2所示。

表2　各種算法的運行時間對比

續表2

從表2中可以看出，ITTI、FTSRD、SR、IS等幾種算法的平均運行時間比本文算法的運行時間要短，其余幾種算法的平均運行時間高于本文算法。但是，本文算法的檢測準確度要高于ITTI、FTSRD、SR、IS等幾種算法。因此綜合考慮，本文算法相對于其他算法仍然具有一定優勢。

5結語

本文針對圖像中的顯著區域檢測問題進行了研究，提出一種利用稀疏編碼的顯著區域檢測算法。該算法首先對原始圖像提取稀疏特征，采用稀疏編碼對圖像進行表示，在此基礎上通過計算圖像中各部分內容之間的信息差異來得到視覺顯著性結果。結合視覺顯著性計算結果，提取顯著區域。本文在兩個國際上公開的測試圖像集上進行了實驗，并和8種目前大家關注度比較高的算法進行了對比，結果證明了本文算法的正確性和有效性。

本文算法還存在一些需要進一步改進的地方。一方面，本文算法只考慮了圖像的一些底層特征，沒有考慮目標輪廓、人臉等高層特征；另一方面，本文只對靜態圖像進行了研究，如何對算法進行改進使其適合視頻圖像也是下一步工作努力的方向。

參考文獻

[1]LiuT,YuanZ,SunJ,etal.Learningtodetectasalientobject[J].IEEETPAMI,2011,33(2):353-367.

[2]KarthikDesingh.VisualSaliencyandNextBestViewModelsforObjectRecognitionandSearch[R].InternationalInstituteofInformationTechnologyHyderabad,2013.

[3]AchantaR,EstradaF,WilsP,etal.Salientregiondetectionandsegmentation[C]//IEEEICVS,2008:66-75.

[4]ChristopoulosC,SkodrasA,EbrahimiT.TheJPEG2000stillimagecodingsystem:anoverview[J].IEEETrans.ConsumerElec.,2002,46(4):1103-1127.

[5]OlegMuratov.VisualSaliencyDetectionandItsApplicationtoImageRetrieval[D].PhDthesis,UniversityofTrento,2013.

[6]ChengMM,ZhangGX,MitraNJ,etal.GlobalContrastbasedSalientRegionDetection[C]//IEEEConferenceonComputerVisionandPatternRecognition,2011:409-416.

[7]IttiL,KouchC.Computationalmodelingofvisualattention[J].NatureReviewsNeuroscience,2001,2(3):194-230.

[8]MaYufei,ZhangHongjiang.Contrast-basedImageAttentionAnalysisbyUsingFuzzyGrowing[C]//Proceedingsofthe11thACMInternationalConferenceonMultimedia.NewYork,NY:AssociationforComputingMachinery,2003:374-381.

[9]BruceN,TsotososJ.SaliencyBasedonInformationMaximization[C]//ProceedingsofAdvancesinNeuralInformationProcessingSystems,2006:155-162.

[10]PanQK,TasgetirenMF,LiangYC.Adiscretedifferentialevolutionalgorithmforthepermutationflowshopschedulingproblem[J].Computers&IndustrialEngineering,2008,55(4):795-816.

[11]HouXiaodi,ZhangLiqing.SaliencyDetection:ASpectralResidualApproach[C]//Proceedingsof2007IEEEConferenceonComputerVisionandPatternRecognition.Florida,USA:IEEE,2007:1-8.

[12]GuoC,MaQ,ZhangL.Spatio-TemporalSaliencyDetectionUsingPhaseSpectrumofQuaternionFourierTransform[C]//IEEEConferenceonComputerVisionandPatternRecognition,2008:2908-2915.

[13]HouXiaodi,JonathanHarel,ChristofKoch.ImageSignature:HighlightingSparseSalientRegions[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(1):194-201.

[14] 羅四維.視覺感知系統信息處理理論[M].北京:電子工業出版社,2006.

[15] 李志清,施智平,李志欣.基于結構相似度的稀疏編碼模型[J].軟件學報,2010,21(10):2410-2419.

[16]HouWeilong,GaoXinbo,TaoDacheng,etal.VisualSaliencyDetectionUsingInformaitonDivergence[J].PatternRecognition,2013,46(10):2658-2669.

[17]HarelJ,KochC,PeronaP.Graph-BasedVisualSaliency[C]//ProceedingsofAdvancesinNeuralInformationProcessingSystems,2007:681-688.

[18]BruceN,TsotsosJ.Saliency,Attention,andVisualSearch:AnInformatonTheoreticApproach[J].JournalofVision,2009,9(3):1-24.

[19]AchantaR,HemamiS,EstradaF,etal.Frequency-tunedSalientRegionDetection[C]//ProceedingsofIEEEInternationalConferenceonComputerVisionandPatternRecognition.Florida,USA:IEEE,2009:1597-1604.

[20]ZhangL,TongM,MasksT,etal.SUN:ABayesianFrameworkforSaliencyUsingNaturalStatistics[J].JournalofVision,2008,8(7):1-20.

[21]HouXiaodi,ZhangLiqing.DynamicVisualAttention:SearchingforCodingLengthIncrements[C]//Nisp,2008:681-689.

AN ALGORITHM FOR IMAGES SALIENT REGION DETECTION BASEDONSPARSEREPRESENTATION

Zhang Qiaorong

(School of Computer and Information Engineering,Henan University of Economics and Law,Zhengzhou 450002,Henan,China)

AbstractFocusing on the problem of images salient region detection, we proposed a sparse representation-based salient region detection algorithm. First, the algorithm uses sparse coding to describe images feature. Then it calculates the visual saliency based on images sparse coding instead of directly processing raw image so as to improve the efficiency of computation. Finally, according to the computation result of visual saliency it segments salient regions. The proposed method was experimented on public test image datasets and the experiment was compared with some other current popular algorithms. Experimental results showed that this algorithm was correct and effective when applying in images salient region detection.

KeywordsSalient region detectionSparse representationVisual saliencySaliency map

收稿日期：2014-11-29。國家自然科學基金項目(61374079)；河南省基礎與前沿技術研究計劃項目(122300410379)；河南省教育廳科學技術重點研究項目(14A520025)。張巧榮，副教授，主研領域：圖像處理。

中圖分類號TP3

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.048