基于改進HFT模型的顯著性檢測

劉尚旺，李 銘，毛文濤，劉國奇

（河南師范大學 計算機與信息工程學院，河南 新鄉453007）

0 引 言

人類視覺系統 （human visual system，HVS）在面對復雜場景時，能迅速將注意力集中在顯著區域而忽視無關信息，這就是視覺注意［1－5］。顯著性檢測方法分為兩類：自下而上和自上而下的視覺注意模型。前者是根據輸入圖像的低層視覺特征的顯著性大小來構建視覺注意的過程［6－8］；而后者依賴于具體的任務，受人的意志支配，需要先驗知識的支持和指導［9，10］；還有一些模型同時利用了這兩種視覺注意模型機制［11］。

目前，大多數可計算視覺注意模型都屬于自下而上型，它們又可以分為：空間域和頻域視覺注意模型。其中，頻域視覺注意模型具有計算速度快、簡單、可調參數很少或沒有、顯著性檢測結果更加符合人類視覺等優點，成為了近年來的研究熱點。Hou等提出幅度譜殘差 （spectral residual，SR）［12］顯著性檢測方法，開創了在頻域內構建視覺注意模型的先河［13－16］。經文獻分析與實驗驗證，其中HFT模型［16］在模仿人類視覺系統 （HVS）方面，效果顯著，但HFT 模型同其它頻域視覺注意模型一樣，普遍缺乏生物視覺理論依據。針對此問題，本文從顏色空間的選擇、四元數虛部系數的選擇以及最終顯著圖的產生方法上對HFT 模型加以改進，提高其生物可信性，進而更好地進行顯著性檢測。

1 HFT模型及其性能比較分析

驗證實驗中，測試模型的數據集合采用領域內較為廣泛使用的Bruce數據集［19］和Judd數據集［20］。其中Bruce數據集是最早和最廣泛使用的數據集，包含120 幅圖像，圖像分辨率為681×511；Judd數據集是目前為止能夠得到的圖像規模和類別最大的數據集，包含1003幅圖像，圖像具有不同的分辨率和寬高比。性能分析時，文中從視覺注意模型的輸出結果——顯著圖和人類視覺的吻合程度以及最常用的受試者工作特征曲線 （receiver operating characteristics，ROC）下的面積 （area under curve，AUC）這兩方面來進行定性和定量的分析。其中，定量分析時，AUC的值等于0.5時，表示是隨機水平；小于0.5表示負相關；大于0.5表示正相關；AUC的值越接近于1，表明模型的性能越好。

空間域的視覺注意模型不僅結構復雜、計算量大，而且需要設置的參數也較多，如：Itti模型［21］、基于圖論的視覺顯著性模型（graph－based visual saliency model，GBVS）［22］、信息最大化模型 （visual attention model based on information maximization，AIM）［23］等。相比之下，頻域視覺注意模型結構簡單、計算量小，并且需要設置的參數少或根本不需要設定參數，如相位譜傅里葉變換模型 （phase spectrum of Fourier transform，PFT）、相位譜四元數傅里葉變換模型 （phase spectrum of quaternion Fourier transform，PQFT）［15］、基于離散余弦變換的圖像簽名模型（discrete cosine transform，DCT）［17］以及四元數離散余弦變換的顯著性檢測模型 （quaternion discrete cosine transform，QDCT）［18］。經典的空間域視覺注意模型：Itti、GBVS 和AIM 模型的顯著性檢測結果，如圖1所示。前述的幾個頻域視覺注意模型在相同的輸入圖像下，得到的實驗結果，如圖2所示。通過圖1和圖2比較，可以明顯看到空間域視覺注意模型取得的顯著圖分辨率較低 （參見圖1 和圖2的圖 （b）、圖 （e）和圖 （f）圖像的顯著圖），并且檢測到的顯著目標也不如頻域視覺注意模型的視覺效果好 （參見圖1和圖2的圖 （a）、圖 （c）、圖 （d）、圖 （e）和圖 （f）圖像的顯著圖）。

圖1 經典的空間域視覺注意模型輸出的顯著

另外，還可從AUC值指標的角度來評價空間域和頻域視覺注意模型。兩類視覺注意模型在上述兩個數據集上的平均AUC 值，分別見表1 和表2。通過對比表1 和表2，在Bruce數據集上，頻域視覺注意模型的綜合平均AUC 值為0.6900，空間域視覺注意模型的綜合平均AUC 值為0.6556，頻域視覺注意模型的AUC 值提高了5%；而在Judd數據集上，頻域視覺注意模型的綜合平均AUC 值為0.6939，空間域視覺注意模型的綜合平均AUC 值為0.6748，頻域視覺注意模型的AUC值提高了2.8%。

表1 空間域視覺注意模型的平均AUC值

表2 頻域視覺注意模型的平均AUC值

綜上所述，不難看出頻域視覺注意模型的性能要優于空間域視覺注意模型。盡管頻域視覺注意模型得到顯著圖的視覺效果比空間域視覺注意模型要好，但其本身仍然存在不完善的地方。對于自然圖像，從圖2可以看出，SR 和PFT 得到的顯著圖幾乎一樣，雖然SR 和PFT 方法的計算速度快，沒有參數的設定，但是它們只利用了圖像的灰度信息而忽視了圖像的顏色特征，故它們不能運用于彩色圖像的顯著性檢測。除此之外，SR 和PFT 方法只能檢測到目標物體的邊緣信息和圖像中的紋理特征 （見圖2第二行和第三行的圖 （e）、圖 （g）和圖 （h））；換句話說，當且僅當顯著目標較小時，它們才能很好地將顯著目標檢測出來 （見圖2第二和第三行的圖 （d）圖像）。于是，PQFT模型同時考慮了顏色，方向以及光強等靜態圖像的信息，可以用于彩色圖像的顯著性分析；而且該模型將3種特征通道通過四元數的方式進行并行處理，提高了計算速度。但是，從圖2第四行來看，PQFT 模型只能檢測到顯著目標的大致邊緣位置，而不能均勻光滑地突出整個顯著目標區域。簡言之，SR、PFT 以及PQFT 模型在一定程度上，相當于結合高斯后處理的一個梯度運算，對于自然圖像的幅度譜來說，其低頻部分包含重要的顯著信息，并且顯著信息量比高頻部分要多得多。因此，如果幅度譜被PFT、PQFT 中這樣的水平面替代，則所有的頻率都被同等對待。也就是說，高頻部分被抑制，低頻部分被提高，亦即所謂的梯度增強運算?？偠灾?，SR、PFT 以及PQFT 檢測的顯著目標之所以還不夠理想，其主要原因在于它們舍棄幅度譜的方式不合理。

圖2 自然圖像的顯著

SR、PFT 和PQFT 模型均基于傅里葉變換，而DCT圖像簽名和QDCT 模型基于離散余弦變換。從圖2的第五和第六行來看，DCT 和QDCT 模型檢測的顯著目標明顯要比SR、PFT 以及PQFT 要好，但是這兩個方法同樣存在檢測的顯著目標只突出邊緣信息的缺點 （如圖2第五和第六行的圖 （g）、圖 （h）所示）。從實驗的視覺效果圖上來看，相比DCT 和QDCT 模型，HFT 模型的顯著性檢測優勢好像有限；但是，從表2中AUC 指標值上來看，HFT 模型取得了最大的AUC值，這表明HFT 模型在性能上要優于DCT 和QDCT 方法。究其原因，HFT 模型采取了傅里葉變換后對幅度譜進行高斯平滑濾波這種合理的舍棄幅度譜冗余信息的方法。另外，相比離散余弦變換，傅里葉變換的物理意義更加明確，便于揭示頻域視覺注意模型的生物可信性。

通過上述實驗驗證與分析，HFT 視覺注意模型在顯著性檢測方面，不管是效果上還是效率上均取得了很好的效果。但是，同其它頻域視覺注意模型一樣，HFT 模型缺少生物視覺理論基礎，從而難以令人信服與認可。故，在綜合分析現有主要視覺注意模型的基礎上，本文從顏色空間的選擇、四元數圖像虛部系數的確定以及最終顯著圖的產生方法這3個方面對HFT 模型進行改進，以進一步增加其生物可信性和有效性，期望取得更好的顯著性檢測效果。

2 改進HFT模型

2.1 顏色空間的選擇

圖像表示中最常用的顏色空間是RGB 顏色空間，但RGB顏色空間設計的初衷是使輸出設備更好地顯示輸出圖像，沒有充分考慮人類視覺感知，正是由于這個固有限制，導致RGB 特征在顯著性計算中的作用受到限制。另外，RGB各個顏色通道的數值與其所表示的刺激強度并不成線性關系，在分析和計算時，難以準確計算顏色的差異。

相反，CIE Lab 顏色空間的色域較寬闊，不但包含RGB顏色空間的所有色域，而且能表現更多的色彩?；蛘哒f，人類眼睛能感知到的色彩，CIE Lab 都能表現出來。不同于RGB顏色空間，CIE Lab顏色空間的設計致力于感知的均勻性，更接近人類視覺系統 （HVS），能夠彌補RGB顏色空間色彩分布不均勻的缺陷。L 分量和人類對亮度的感知十分匹配，還可以通過修改a和b分量的輸出來對顏色進行精確的平衡，或者用L 分量調整亮度對比度，所以CIE Lab顏色空間更加符合人類視覺感知。因此，本文首先使用Lab顏色空間來改進HFT 模型。

2.2 圖像的超復數或四元數表示

2.2.1 超復數傅里葉變換

超復數傅里葉變換已廣泛地應用在彩色圖像處理中［24］。在實際應用時，超復數矩陣被具體化為一個四元數。一個超復數矩陣可以定義為

式 （1）的離散傅里葉變換形式，如式 （2）所示

式中：μ是一個單位純四元數，并且μ2＝－1。

超復數傅里葉變換的逆變換為

2.2.2 圖像的超復數或四元數表示

超復數或四元數可以用于聯合圖像的不同特征，將一個圖像表示成四元數形式。圖像的超復數或四元數矩陣表示，如式 （4）所示

式中：w1－w2是權重，f1－f4是特征圖，f1是運動特征，f2是亮度特征，f3和f4是顏色特征。對于靜態輸入圖像，f1＝1，f2－f4的計算公式如式 （5）～式 （7）所示

式中：r，g，b表示輸入彩色圖像的紅、綠和藍通道，R＝r－（g＋b）／2，G＝g－ （r＋b）／2，B＝b－ （r＋g）／2，Y＝（r＋g）／2－｜r－g｜／2－b。權重設為w1＝0，w2＝0.5，w3＝w4＝0.25。

2.2.3 四元數圖像虛部系數的確定

四元數圖像傅里葉變換的頻域處理框架很值得推薦和研究，然而該框架的顯著性檢測性能，很大程度上取決于四元數圖像虛部系數的確定［15，16，18］。因此，在四元數圖像的3個虛部特征系數的合理確定上，有必要對HFT 繼續進行改進。研究結果表明，人類視覺接受域中的神經節細胞的感受野是同心圓結構，具有獨特的中央－周圍拮抗性質。因此，本文選擇CIE Lab顏色間中去掉冗余低頻信息的L，a，b這3個通道來代替HFT 模型中四元數圖像的3個虛部特征系數，來進一步改進HFT 模型。即，改進HFT 模型中四元數圖像3個虛部特征系數分別為

式中：X1、X2和X3分別用來代替HFT 中I、RG 和BY，L、a和b 為Lab顏色空間3 個通道的值；L1、a1和b1為對應通道相應像素點八鄰域的均值。

式 （8）～式 （10）中四元數圖像3個虛部特征系數的計算方法類似于IG 或MSSS模型［25］中簡化的C－S運算，即可以簡單地模仿生物視覺神經元的中央興奮－周邊抑制機制。也就是說，該運算作為四元數圖像的虛部系數具有明確的生物學意義。

2.3 四元數圖像傅里葉變換的極坐標形式

四元數圖像傅里葉變換的極坐標形式為

從而，幅度譜A（u，v），相位譜P（u，v）和純四元數矩陣χ（u，v）的計算方法如式 （12）～式 （14）所示

2.4 幅度譜平滑濾波

HFT 模型的研究結果表明，幅度譜既包含顯著信息，也包含不顯著的信息。因此，HFT 模型采用不同的高斯核函數對幅度譜進行平滑濾波，以達到抑制高頻信息的同時增強低頻信息的目的；不同的幅度譜平滑濾波后構成了一個譜尺度空間。高斯核函數以及譜尺度空間的定義，如式（15）和式 （16）所示

2.5 不同尺度上顯著圖的計算

根據已經計算出的幅度譜和相位譜，就可以計算出不同尺度上的顯著圖，如式 （17）所示

式中：g——一個固定尺度的高斯核函數。

這樣，就得到一系列的顯著圖｛sk｝。接下來，需要根據一定的原則從該顯著圖序列｛sk｝中選出最終的顯著圖S。

2.6 最終顯著圖的確定

首先，依據設定的熵準則選擇出最合適的尺度kp，如式所示

式中：λk＝∑∑k（n，m）N（sk（n，m）），k是一個和S 同尺寸的2 D 中心高斯掩膜，∑∑k（n，m）＝1；H2D（x）是一個經過低通高斯核函數gn與二維信號x 卷積后計算出的熵，H2D（x）＝H｛gn＊x｝。

HFT 模型中，根據kp從 ｛sk｝序列中選擇出最終顯著圖，其它尺度上的顯著圖則被徹底舍棄；然而，這些被徹底舍棄的顯著圖中事實上也包含有一些重要的顯著信息，這些顯著信息的不合理舍棄造成HFT 模型的顯著性檢測效果有時不太準確。因此，有必要在熵最小尺度上顯著信息的基礎上，將所有尺度上的顯著信息合理融合起來。為此，本文以熵最小尺度上的顯著信息為基礎，以其它尺度上的對應熵為貢獻率來融合其它尺度上的顯著信息，從而提出一種多尺度最終顯著圖的確定方法。該方法步驟如下：

（1）按照HFT 模型中計算熵的方法，計算出每個尺度上顯著圖的熵H2D（sk）；

（2）計算出熵的最小值Hmin和平均值Haveg；

（3）在 ｛sk｝中找到熵最小尺度上的顯著圖smin；

（4）最終顯著圖的確定方法，如式 （19）所示

簡言之，改進HFT 模型中，選擇了比較符合人類視覺感知的CIE Lab顏色空間，并且確定的四元數圖像虛部系數有一定的生物視覺理論基礎，最終的顯著圖也融合了不同尺度的顯著信息，從而有利于顯著性檢測。

3 實驗結果與分析

為了全面評價相關模型，下面從自然圖像顯著性檢測、心理圖像顯著性檢測、ROC 曲線以及AUC 值等幾方面來進行對比實驗與分析。

3.1 自然圖像顯著性檢測

相關模型典型自然圖像的顯著性檢測視覺結果對比圖，如圖2所示。

從圖2的第七和第八行圖 （a）的檢測結果來看，改進HFT 模型能夠準確地檢測出兩個人，而HFT 模型只檢測出了一個人；對于圖 （b），改進HFT 均勻地檢測出了小孩整個顯著目標對象，而HFT 模型漏檢了小孩的右腿；圖（c），只有改進HFT 模型檢測到了兔子的位置并將其顯示出來；圖 （d），顯著目標應該是改進HFT 模型檢測到的長頸鹿，而不是其它模型檢測出的樹木；對于第五個圖像，SR 和PFT 只突出了顯著目標的邊緣，PQFT 只檢測到顯著目標的大概位置，HFT 只突出了中心部分，而DCT、QDCT 以及改進HFT 模型均勻平滑地突出了整個顯著區域；最后兩個圖像，只有改進HFT 模型檢測的結果能較均勻平滑地突出整個顯著目標對象。

3.2 心理圖像的顯著性檢測

心理圖像是不同于自然圖像的另一類型圖像數據，也是評價視覺注意模型性能的重要標準之一。相關模型的部分心理圖像的顯著性檢測視覺結果對比圖，如圖3所示。

圖3 心理圖像的顯著

從圖3可以看出，SR 和PFT 模型只檢測到了第一幅心理圖像的顯著目標；PQFT 模型給出了顯著目標的大致位置；DCT 和QDCT 模型很好地突出了第二個心理圖像的顯著目標，對于其余3個圖像均沒有正確地檢測到顯著目標；HFT 模型和改進HFT 模型的檢測的結果相當，但是對于第二幅圖像，HFT 檢測的結果并不令人滿意，而改進HFT 模型準確地突出了與其它對象方向相反的顯著目標。從顯著性檢測視覺結果圖來看，改進HFT 模型能夠很好地檢測到心理圖像的顯著目標。可見，改進HFT 模型的顯著性檢測視覺結果與人類視覺系統 （HVS）相當接近。

無論是自然圖像顯著性檢測結果還是心理圖像顯著性檢測結果，改進HFT 模型都要優于其它方法。究其原因，改進HFT模型之所以能檢測到其它模型所不能檢測到的顯著目標，最主要的原因在于其生物可信性的提高，即所選擇的四元數圖像的虛部系數屬于簡化的C－S運算，具有一定的生物視覺理論基礎；該C－S運算還充分利用了CIE Lab顏色空間的3個特征通道的差異，和人類視覺感知的特點非常吻合。

3.3 ROC曲線和AUC值分析

為了對模型進行公平比較，其ROC 曲線和AUC 值均在相同測試平臺上由同一測試程序計算得到。相關模型在Judd數據集上的ROC曲線，如圖4所示。

圖4 相關模型在Judd數據集上的ROC曲線

從圖4中可以看出，改進HFT 模型的ROC 曲線在其它模型的上方，其曲線下面積 （AUC 值）無疑最大，這意味著改進HFT 模型的性能最優。

兩個數據集上的平均AUC值，見表3。

從表3的實驗數據可見，改進HFT 模型在Bruce和Judd 兩個數據集上的平均AUC 值均取得了最大值，較HFT 模型分別增長了0.97%和6.33%，再一次表明改進HFT 模型顯著性檢測的有效性。

為什么改進HFT 模型能夠準確地檢測到自然圖像和心理圖像的顯著目標，并且在兩個數據集上都取得較高的AUC值呢？一個重要的原因是選擇的CIE Lab顏色空間更接近于人類視覺感知；另外一個原因是確定的四元數圖像的虛部系數屬于簡化的C－S運算，該運算是生物可信的，它有明確的生物視覺理論基礎，類似于人類視覺接收域的神經元的中央－周圍拮抗性質；最后一個至關重要的因素是最終顯著圖的計算中充分融合了不同尺度上的顯著信息。

表3 CIE Lab顏色空間下AUC值的比較

4 結束語

本文通過對HFT 視覺注意模型進行的三方面改進：①選擇了和人類視覺感知更接近的CIE Lab顏色空間；②確定的四元數圖像虛部系數屬于簡化C－S運算，一定程度上模擬了生物視覺神經元的中央興奮－周邊抑制機制；③融合不同尺度上的顯著信息來生成最終的顯著圖，大大提高了HFT 模型的生物可信性和有效性。實驗結果表明，改進HFT 模型的自然圖像、心理圖像的顯著性檢測結果，不管是視覺結果圖還是AUC 值都優于其它相關模型。其中，AUC值比HFT 模型在Bruce和Judd數據集上分別提高了0.97%和6.33%。當然，本文的改進模型只利用了自下而上的低層信息，沒有考慮自上而下的先驗信息，下一步將重點研究將自下而上和自上而下的信息綜合起來進行圖像顯著性的檢測。

［1］Zhang L B，Yang K N.Region－of－interest extraction based on frequency domain analysis and salient region detection for remote sensing image［J］.IEEE Geoscience and Remote Sensing Letters，2014，11 （5）：916－920.

［2］Tsotsos J K，Rothenstein A.Computational models of visual attention ［J］.Scholarpedia，2011，6 （1）：6201－6201.

［3］HAO Wenxin，GAO Lining.Object detection based visual attention and local descriptor［J］.Computer Engineering and Design，2012，33 （5）：1918－1922 （in Chinese）. ［郝文欣，高立寧.基于視覺注意機制與局部描述子的物體檢測 ［J］.計算機工程與設計，2012，33 （5）：1918－1922.］

［4］Wu Y T，Shih F Y，Shi J，et al.A top－down region dividing approach for image segmentation ［J］.Pattern Recognition，2008，41 （6）：1948－1960.

［5］Meger D，Forssen P E，LaiK，et al.Curious george：An attention semantic robot［J］.Robotics and Autonomous System，2008，56 （6）：503－511.

［6］Fang Y，Lin E，Lee B S，et al.Bottom－up saliency detection model based on human visual sensitivity and amplitude spectrum［J］.IEEE Transaction on Multimedia，2012，14 （1）：187－198.

［7］Cheng M M，Zhang G X，Mitra N J，et al.Global contrast based salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：409－416.

［8］Perazz F，Krahenbuhl P，Pritch Y，et al.Saliency filters：Contrast based filtering for salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2012：733－740.

［9］Yang J，Yang M H.Top－down visual saliency via joint CRF and dictionary learning ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2012：2296－2303.

［10］Zhu J，Qiu Y，Zhang R，et al.Top－down saliency detection via contextual pooling ［J］.Springer Link Signal Processing System，2014，74 （1）：33－46.

［11］ZHU Chenyang，HUO Hong，FANG Tao.Visual attention model based on Bayesian inference using multiple cues ［J］.Computer Engineering and Design，2013，34 （7）：2470－2475（in Chinese）.［朱辰陽，霍宏，方濤.基于貝葉斯推理的多線索視覺注意模型 ［J］.計算機工程與設計，2013，34 （7）：2470－2475.］

［12］Hou X，Zhang L.Saliency detection：A spectral residual approach ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2007：1－8.

［13］Peters R，Itti L.The role of Fourier phase information in predicting saliency ［J］.Journal of Vision，2008，8 （6）：879.

［14］Bian P，Zhang L.Biological plausibility of spectral domain approach for spatiotemporal visual saliency ［M］.Advances in Neuro－Information Processing，Springer Berlin Heidelberg，2009：251－258.

［15］Guo C，Zhang L.A novel multi－resolution spatiotemporal saliency detection model and its applications in image and video compression ［J］.IEEE Image Process，2010，19 （1）：185－198.

［16］Li J，Levine M D，An X，et al.Visual saliency based on scale space analysis in the frequency domain ［J］.IEEE Transactions Pattern Analysis and Machine Intelligence，2013，35（4）：996－1010.

［17］Hou X，Harel J，Koch C.Image signature：Highlight sparse salient regions ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （1）：194－201.

［18］Schauerte B，Stiefelhagen R.Predicting human gaze using quaternion DCT image signature saliency and face detection［C］／／IEEE Workshop on Applications of Computer Vision，2012：137－144.

［19］Bruce N D B，Tsotsos J K.Saliency，attention，and visual search：An information theoretic approach ［J］.Journal of Vision，2009，9 （3）：1－24.

［20］Judd T，Ehinger K，Durand F，et al.Learning to predict where humans look ［C］／／IEEE 12th International Conference on Computer Vision，2009：2106－2113.

［21］Borji A，Itti L.State－of－the－art in visual attention modeling［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35 （1）：185－207.

［22］Borji A，Sihite D N，Itti L.Quantitative analysis of humanmodel agreement in visual saliency modeling：A comparative study ［J］.IEEE Transaction on Image Processing，2013，22（1）：55－69.

［23］Bruce N，Tsotsos J K.Saliency，attention，and visual search：An information theoretic approach ［J］.Journal of Vision，2009，9 （3）：1－24.

［24］Zhou Y，Kamata S.Hypercomplex polar Fourier analysis for color image ［C］／／IEEE International Conference on Image Processing，2011：2117－2120.

［25］Achanta R，Ssstrunk S.Saliency detection using maximum symmetric surround ［C］／／IEEE International Conference on Image Processing，2010：2653－2656.