基于DCT塊特征與背景先驗的JPEG圖像顯著性檢測算法

孫小龍，劉漳輝，郭文忠,

(1. 福州大學數學與計算機科學學院，福建 福州 350116； 2. 福建省計算機網絡與智能信息處理重點實驗室，福建 福州 350116)

基于DCT塊特征與背景先驗的JPEG圖像顯著性檢測算法

孫小龍1，劉漳輝2，郭文忠1, 2

(1. 福州大學數學與計算機科學學院，福建 福州 350116； 2. 福建省計算機網絡與智能信息處理重點實驗室，福建 福州 350116)

提出一種新穎的基于最短路徑的JPEG圖像顯著性檢測算法. 算法在JPEG圖像的DCT系數塊中直接提取出灰度、紋理和顏色3種低層次圖像特征； 然后，通過計算其內部塊到達圖像邊界的最短路徑來得到最終顯著性值； 最后，在公開測試集MSRA-1000上與多種圖像顯著性檢測算法進行對比. 實驗結果顯示，方法在4種不同的評測標準上都優于對照算法，并且能夠快速、高效地產生令人滿意的顯著性圖.

顯著性檢測； JPEG圖像； DCT系數； 最短路徑

0 引言

人類對于判斷復雜場景中哪些區域或部分最具吸引力有一種天賦的直覺. 認知心理學的相關研究[1]指出，人類這一快速準確的判斷機制是建立在將人類視覺系統中有限的資源分配給場景中的某些區域或部分進行詳細地處理來實現的，而對于場景中的其他部分視覺系統則分配較少甚至不為其分配相關資源. 根據生物學的研究結論，Itti等[2]指出了人類視覺注意力應該分為兩個階段： 注意前期和注意期. 在注意前期，人類的視覺神經并行地處理外部視覺刺激，在這個階段視覺系統得到了場景圖像的低層次特征； 在注意期，視覺系統將使用這些低層次場景圖像特征進行一個復雜的分析過濾的處理過程，處理完成后就得到了人類視覺的注意力焦點FOA(focus of attention).

近年來，研究人類視覺系統的視覺顯著性檢測行為機制，并利用這一機制來實現對圖像顯著性信息的提取已成為計算機視覺領域中研究的熱點. 圖像顯著性檢測的目的是為了能夠檢測出圖像中的顯著對象，而這些顯著對象是由顯著圖來進行描述的. 顯著圖反映的是圖像中的不同部分對于人類視覺系統吸引力的差別. 通過使用顯著圖，視覺系統能快速定位從而迅速處理圖像中的這些顯著對象. 因此，圖像顯著性檢測技術適合作為各個計算機視覺研究領域的預處理方法. 當前顯著性檢測技術在計算機視覺領域已經得到了廣泛的應用，如對象識別[3]、視頻場景對象的快速分析[4]、圖像的網絡索引[5]、圖像和視頻壓縮[6]、動態目標跟蹤[7]和圖像修復[8]等領域都可以通過圖像的顯著性檢測技術來提升算法的效率.

當前，大部分顯著性檢測算法都是基于普通圖像的顏色、亮度、紋理、方向等特征得到圖像的顯著圖，對壓縮領域的圖像顯著性檢測的研究還很不足. 在圖像壓縮領域中，JPEG是當前得到最廣泛使用的一種基本圖像壓縮方式，使用JPEG方式進行壓縮的圖像，在獲得很高的壓縮比率的同時依然能基本保留圖像的信息，且由于體積小同時能基本保留圖像的信息，在網絡傳輸時可減少圖像的傳輸時間，因此JPEG圖像適用于互聯網傳輸. 如果能夠直接對JPEG圖像進行顯著性檢測，而不是先把這些壓縮圖像解壓之后再對非壓縮格式的圖像進行顯著性檢測，則能夠大大提升顯著性檢測的效率. 設計一個高效快速的JPEG圖像的顯著性算法對于提高圖像顯著性檢測計算的應用前景很有幫助.

1 相關研究

許多基于生物學模型的顯著性檢測方法取得了不錯的效果. 基于Koch與Ullman[9]提出的生物學模型，Itti等[2]提出了一個產生了深遠影響的圖像顯著性檢測算法-IT算法. IT算法使用了亮度、顏色以及朝向3個低層次圖像特征，通過使用DOG(diffrence of gaussians)濾波器將原圖像轉化為9層高斯圖像金字塔，再對每一層次的圖像低層次特征使用不同的濾波函數進行處理并計算其中央-周圍差異度. 然后，將9層圖像低層特征圖融合為一個顯著圖. 最后，IT算法對此3個特征顯著圖使用WTA(winner take all)方式得到最終顯著圖.

隨著研究的進一步深入，研究人員意識到，生物學上關于顯著性檢測的研究理論不夠成熟，利用不成熟的理論建立的模型無法取得可靠的結果. 于是，研究者突破嚴格的生物學模型，用更加簡單快捷的計算來實現模型的簡化. 研究者將生物學模型與數學計算模型相結合，不但簡化了復雜的生物學建模過程，降低了問題的復雜度，而且取得了更好的圖像顯著性檢測效果. Achata等[10]提出了一種多尺度的圖像顯著性檢測算法-AC算法，該算法使用了多尺度的感知單元來計算中央-周圍差異度，從而得到與原圖分辨率相同的顯著性圖. Goferman等[11]提出了一種使用局部特征進行全局考慮的圖像顯著性檢測算法-CA算法，該算法從全局對比度考慮，選擇出與當前區域最相似的k個單元進行對比度計算，并將其對比度累加和作為當前區域的顯著值. 最終，將得到的圖像顯著性值與高層先驗知識結合起來以提高其算法的檢測效果. Harel等[12]提出了一種基于圖論的圖像顯著性檢測算法-GB算法，該方法采用構造馬爾科夫鏈的方式對由IT算法中提取出的低層次特征圖進行規格化，然后將所有的特征顯著圖疊加得到最終顯著圖.

還有一些學者從圖像頻率域來對圖像顯著性檢測進行研究. Hou和Zhang[13]提出了一種基于圖像剩余頻譜的顯著性檢測算法-SR算法，該算法基于高頻抑制原理，即人的視覺系統對偏離普通狀態的圖像內容更為敏感，而對普通狀態的圖像內容則會進行注意力抑制. 因此，SR算法通過對圖像在頻率域的對數頻譜(log-spectrum)進行分析，從圖像中剔除代表普通狀態的圖像頻譜而只抽取出圖像的剩余頻譜(spectral residual)，得到圖像的最終顯著圖. Achanta等[14]提出一種基于頻率調諧的圖像顯著性檢測算法-FT算法，指出圖像頻率域的低頻部分描述了圖像的整體信息，而高頻部分則描述了圖像的細節信息. 越接近低頻部分其所包含的有效信息越多，而圖像的最高頻信息甚至只包含紋理甚至是噪聲. FT算法首先使用一個高斯平滑操作來去除圖像的最高頻部分，接著對圖像中的每一個像素計算其與所有像素的平均值的差值，從而得到圖像的最終顯著圖. 近來，Wei等[15]提出一種基于背景先驗的圖像顯著性檢測算法，指出圖像中各個區域到達其背景區域的最短顏色路徑能反映這個區域的顯著性值. 該算法從一個全新的角度對圖像的顯著性檢測進行研究，拓寬了這個領域的研究思路.

一些學者在壓縮圖像領域也進行了顯著性檢測研究的探索. Fang等[16]將圖像的顯著性檢索首次引入壓縮圖像領域，提出一種基于DCT(discrete cosine transform)塊特征的顯著性檢測算法. 該算法從JPEG圖像的DCT系數中提取出其RGB顏色特征、強度特征以及紋理特征并使用Hausdorff 距離[17]來得到最終的顯著性值.

在此，提出一種新穎的基于DCT塊特征與背景先驗的JPEG壓縮圖像顯著性檢測算法. 首先, 從JPEG比特流中得到其DCT塊，并從這些DCT塊中提取出CIELAB顏色特征、強度特征以及紋理特征，再分別通過背景先驗來計算出各個特征的顯著性值. 最后，將得到的特征圖使用規格化的方法計算出最終的顯著圖.

2 算法框架

2.1 JPEG圖像低層特征提取

JPEG壓縮算法是基于DCT系數來進行塊變換編碼，DCT系數中保留了大量圖像的低頻信息. 而對于HVS中人眼不敏感的大部分高頻信息，JPEG 壓縮算法在對DCT系數使用量化(quantization)操作之后，大大減少了多余的信息，在保留圖像質量的同時也節省了圖像的存儲空間.

圖1 一個8×8的DCT塊Fig.1 DCT coefficients in an 8×8 block

對于JPEG壓縮格式的圖像，首先從JPEG比特流中提取出圖像的DCT系數. DCT系數在圖像中是以8×8的塊為單位進行劃分的. 如圖1所示，1個DCT系塊中由1個DC系數與63個AC系數以zig-zag編碼方式構成. 其中，左上角的DC系數包含了1個DCT系數塊中的大部分圖像的低頻信息，其余的63個AC系數，離 DC系數的距離越遠其所包含的頻率越高，其包含的有效圖像信息越少，甚至于只含一些人眼不敏感的雜波. 得到圖像的DCT系數后，根據DCT系數獲得下一步顯著性檢測所需要的低層圖像特征. 使用強度、CIELAB顏色以及紋理3個特征進行之后的圖像顯著性值的計算.

JPEG圖像使用YCrCb顏色空間來描述圖像的顏色信息. 因此，在提取強度特征之前，要把DC系數由YCrCb顏色空間轉化為RGB顏色空間. 強度特征的計算方法如下式所示.

其中:R，G，B為由DC系數中得到的RGB顏色空間的顏色分量值.

CIELAB顏色模型是由國際照明委員會提出的可以用于描述人眼所見的所有與設備無關的顏色模型，它是基于人類對于顏色的感知均勻性設計的，它有效地彌補了RGB顏色模型的一些不足，如顏色視覺刺激非線性、色彩分布不均等. 將RGB顏色空間轉換為CIELAB顏色空間后，就得到了CIELAB顏色特征. 顏色特征的表示方法如下式所示.

其中:L，a*，b*為CIELAB顏色空間中的顏色分量值.

最后，從DCT系數中提取紋理特征. 文獻[16]指出AC系數可以用來描述圖像的紋理特征. 與文獻[16]方法一樣，根據DCT系數包含圖像紋理頻率信息的不同來描述紋理特征. 紋理特征的表示方法如下式所示.

如圖1所示，L、M、H分別表示在低頻信息Lc分組、中頻信息Mc分組以及高頻信息Hc分組的AC系數之和.

2.2 基于背景先驗的JPEG圖像顯著值計算

基于背景先驗的顯著性檢測模型是由Wei等[15]首先提出的，適用于非壓縮格式圖像的顯著性檢測方法，該算法指出圖像中各個區域到達其背景區域的最短顏色路徑能反映這個區域的顯著性值. 由于其以區域為單位進行圖像顯著性值的特點，與基于DCT系數塊的JPEG圖像壓縮格式有很好的兼容性. 因此，引入背景先驗的觀點來對JPEG壓縮圖像進行顯著性檢測.

在前一部分的JPEG低層圖像特征提取中，對每1個DCT系數塊，本文算法得到了強度、CIELAB顏色以及紋理3個JPEG圖像低層特征. 因此，JPEG圖像的每1個8×8塊都可以被下式所表示.

對于每一個這樣的JPEG圖像塊, 本文算法分別計算其與周圍8鄰居塊的對比度. 其強度、CIELAB顏色以及紋理3個JPEG圖像低層特征的對比度計算公式分別為:

其中:i={1, 2, 3, 4, 5, 6, 7, 8}. 圖2(a)為DCT塊與其8連通鄰居塊的示意圖，下標k表示當前JPEG圖像塊，i表示當前JPEG圖像塊的8個不同的鄰居塊的位置.

圖2 DCT塊與其鄰居塊Fig.2 DCT block and its neighbors used in iteration

由式(5)、(6)、(7)得到的每一類圖像特征的對比度后，還需要分別計算其中的每一個元素到達背景區域的最小代價來得到每一類特征的顯著性. 與文獻[15]一樣，算法假設圖像的最外層塊為背景區域. 因此，計算元素到達背景區域的最小代價問題就轉化為計算其到達圖像最外層塊的最短路徑問題.

Toivanen等[18]提出了一種快速高效的計算最短路徑的算法，其接近線性的算法復雜度能快速高效地計算出每個元素到達邊界的最短路徑. 采用該方法來計算JPEG圖像塊的顯著性值，使用2次迭代來進行所有元素的最短路徑的計算.

1) 第一次迭代. 首先，最小代價矩陣賦初值如下：

其中： BG為邊界區域的集合； MAXNUM為一個極大的常量，實驗中令MAXNUM=9 999.

以從上到下、從左到右的順序進行第一次迭代計算. 如圖2(b)所示，對第一次迭代，算法只比較1～4方位的鄰居塊的代價.

其中：S*表示迭代計算后得到的新值；S表示迭代前的代價； CF∈{Cintensity, Ccolor, Ctexture}.

2) 第二次迭代. 以從下到上、從右到左的順序執行第二次迭代計算. 如圖2(c)所示，算法只比較5～8方位的鄰居塊的代價.

最后，根據公式(11)來得到最終的圖像顯著性.

3 結果與分析

在MSRA-1000公開測試集[14]上測試所提出的算法，與GB算法[12]、FT算法[14]、LC算法[4]、SR算法[13]以及CA算法[11]進行比較. MSRA-1000是由Achanta等設計的一個產生了深遠影響的圖像顯著性檢測公開測試集，這個測試集包含了1 000張JPEG格式的圖像，Achanta等還為這1 000張測試圖像手工標注了像素精度的標準顯著性二值圖(ground truth)以更直觀、準確地測試算法的性能. 對于MSRA-1000數據庫中的所有JPEG格式圖片，GB算法、FT算法、LC算法、SR算法以及CA算法都給出了相應的顯著性圖. 因此，直接使用原作者提供的顯著性圖與本文算法生成的顯著性圖進行比較，同時也避免了解壓過程對實驗結果的影響. 圖3列出了本文算法與其余對照算法在MSRA-1000測試集上生成的部分顯著圖,可以看出本文算法產生更均勻、完整的顯著圖.

圖3 MSRA-1000上各個算法生成的顯著圖Fig.3 Comparison of saliency maps using different methods on the MSRA-1000

以下使用PR曲線(precision-recall curve)、自適應閾值分割度量(adaptive thresholding measure)、ROC曲線(receiver operator characteristic curve)以及AUC值(area under curve)這4個被廣泛使用的評價標準在MSRA-1000測試集上來測試本文算法性能.

1) PR曲線. PR曲線是一個被廣泛使用于信息檢索領域中評測算法性能的評測標準. 對于顯著性檢測算法產生的顯著圖，其圖像的每一個像素點的取值范圍在[0, 255]之間. 以1為步長使用此區間內的每一個整數值對顯著圖進行固定閾值分割，并計算其相應的準確率(precision)與召回率(recall). 當此閾值取遍其值域區間[0, 55]之后，就得到了PR曲線. 圖4列出了本文算法與GB算法、FT算法、LC算法、SR算法以及CA算法所產生的PR曲線. 顯然，本文算法在準確率與召回率上都優于其余對照算法.

2) 自適應閾值分割. 自適應閾值分割技術是由Hou等[13]提出并用來檢測圖像中的顯著原型對象(proto-objects). 與文獻[14]一樣，使用每一張顯著圖的平均顯著值的兩倍作為其本身的自適應分割閾值. 使用此閾值對顯著圖進行二值化分割之后，得到此顯著圖的平均準確率、平均召回率與Fbeta度量. 其中Fbeta度量的計算方法如式(12)所示.

參照文獻[14]令beta2=0.3. 如圖5所示，本文算法在平均準確率Precision*、平均召回率Recall*與Fbeta度量上都優于GB算法、FT算法、LC算法、SR算法以及CA算法.

圖4 MSRA-1000上各算法產生的PR曲線對照圖

圖5 MSRA-1000上各方法產生的自適應閾值分割度量對照圖

3) ROC曲線與AUC值. ROC曲線常常被應用于醫學、生物學、數據挖掘等領域中對算法的性能進行測試. ROC曲線是由一系列的閾值將算法的結果劃分為兩個類別，以FPR(false positive rate)為橫坐標，以TPR(true positive rate)為縱坐標繪制出的曲線. 首先將得到的顯著圖使用一個固定的閾值t進行二值分割，其中t的范圍由0以步長1均勻變化到255. 對于每一個固定的閾值t，計算數據集中所有顯著圖的TPR和FPR的平均值. 當t取遍其值域，就得到了一條由256個點對刻畫出的曲線，即用于測試顯著性檢測算法性能的ROC曲線. 如圖6所示，相對于其余對照算法，本文算法在MSRA-1000數據集上能產生更好的ROC曲線. AUC被定義為ROC曲線之下區域的面積. AUC值能在一定程度上反映出算法的性能，其值應在0～1之間，越接近1則算法的性能越好. 如圖7所示，本文算法在MSRA-1000公測集上的AUC值為0.961 51，相較于GB算法的AUC值0.914 61，FT算法的AUC值0.836 09，LC算法的AUC值0.775 33，SR算法的AUC值0.717 09以及CA算法的AUC值0.874 83，本文算法性能更好.

圖6 MSRA-1000上各算法產生的ROC曲線對照圖

圖7 MSRA-1000上各方法產生的 AUC值對照圖

4 結語

提出一種新穎的基于DCT塊特征與背景先驗的JPEG壓縮圖像顯著性檢測算法. 首先從JPEG比特流中得到其DCT塊，并從這些DCT塊中提取出CIELAB顏色特征、強度特征以及紋理特征，再分別通過背景先驗來計算出各個特征的顯著性值，最后，將得到的特征圖使用規格化的方法計算出最終的顯著圖. 在MSRA-1000公開測試集上將本文提出的算法與GB算法、FT算法、LC算法、SR算法以及CA算法進行比較，結果表明本算法在PR曲線、自動閾值分割度量、ROC曲線與AUC值上都優于這些方法.

[1] 梁寧建. 當代認知心理學[M]. 上海： 上海教育出版社, 2003: 85-106.

[2] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1998, 20(11): 1 254-1 259.

[3] DU Y, LIN B, LU J. The multi-orientation target recognition method based on visual attention[C]//Third International Conference on. Instrumentation, Measurement, Computer, Communication and Control (IMCCC). Shenyang: IEEE, 2013: 776-780.

[4] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th Annual ACM International Conference on Multimedia. New York： ACM, 2006: 815-824.

[5] WANG P, WANG J, ZENG G,etal. Salient object detection for searched web images via global saliency[C]//Computer Vision and Pattern Recognition (CVPR). Rhode Island： IEEE, 2012: 3 194-3 201.

[6] 王瑞, 余宗鑫, 杜林峰, 等. 結合圖像信號顯著性的自適應分塊壓縮采樣[J]. 中國圖象圖形學報, 2013,18(10): 1 255-1 260.

[7] 江曉蓮, 李翠華, 李雄宗. 基于視覺顯著性的兩階段采樣突變目標跟蹤算法[J]. 自動化學報, 2014, 40(6): 1 098-1 107.

[8] 王祎璠, 姜志國, 史駿, 等. 顯著性檢測指導的高光區域修復[J]. 中國圖象圖形學報, 2014, 19(3): 393-400.

[9] KOCH C, ULLMAN S. Shifts in selective visual attention: towards the underlying neural circuitry[M]. Berlin: Springer, 1987: 115-141.

[10] ACHANTA R, ESTRADA F, WILS P,etal. Salient region detection and segmentation[M]. Berlin: Springer, 2008: 66-75.

[11] SGOFERMAN S, ZELNIKMANOR L, TAL A. Context-aware saliency detection[J]. IEEE Transactions on, Pattern Analysis and Machine Intelligence, 2012, 34(10): 1 915-1 926.

[12] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//Advances in Neural Information Processing Systems. Vancouver: MIT Press，2006: 545-552.

[13] HOU X, ZHANG L. Saliency detection: a spectral residual approach[C]//Computer Vision and Pattern Recognition. Minneapolis: IEEE, 2007: 1-8.

[14] ACHANTA R, HEMAMI S, ESTRADA F,etal. Frequency-tuned salient region detection[C]//Computer Vision and Pattern Recognition. Anchorage: IEEE, 2009: 1 597-1 604.

[15] WEI Y, WEN F, ZHU W,etal. Geodesic saliency using background priors[C]//European Conference on Computer Vision-ECCV. Berlin: Springer-Verlag, 2012: 29-42.

[16] FANG Y, CHEN Z, LIN W,etal. Saliency detection in the compressed domain for adaptive image retargeting[J]. IEEE Transactions on, Image Processing, 2012, 21(9): 3 888-3 901.

[17] ROCKAFELLAR R T, WETS R J B. Variational analysis[M]. Berlin: Springer-Verlag, 1998: 108-148.

[18] TOIVANEN P J. New geodosic distance transforms for gray-scale images[J]. Pattern Recognition Letters, 1996, 17(5): 437-450.

(責任編輯： 洪江星)

DCT block feature based saliency detection in JPEG image with background prior

SUN Xiaolong1, LIU Zhanghui2, GUO Wenzhong1, 2

(1. College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116, China; 2. Fujian Province Key Laboratory of Network Computing and Intelligent Information Process, Fuzhou，Fujian 350116, China)

This paper proposes a novel image saliency detection method dealing with JPEG images, which directly extracts 3 image low-level features (intensity, texture and color) from JPEG DCT blocks and then evaluates image saliency by calculating the shortest path from each internal point to the background. We compare our method with some state-of-the-art methods on the publicly available datasets MSRA-1000. Experimental results show that our method exhibits better performance in terms of four evaluations than some state-of-the-art methods. The final saliency maps indicate that our method can also produce satisfied saliency maps directly in compressed domain.

saliency detection; JPEG image; DCT coefficients; shortest path

10.7631/issn.1000-2243.2017.01.0001

1000-2243(2017)01-0001-07

2014-10-15

郭文忠(1979- )，教授，博士生導師，主要從事計算智能及其在計算機網絡中的應用研究，fzugwz@163.com

國家自然科學基金資助項目( 61103175)； 教育部科學技術研究重點資助項目( 212086)； 福建省杰出青年科學基金資助項目( 2014J06017)； 福建省自然科學基金資助項目( 2014J01231)； 福建省高校杰出青年科學基金資助項目(JA12016)； 福建省高等學校新世紀優秀人才支持計劃資助(JA13021)

TP391

A