基于特征顯著值歸一化與位置加權(quán)的FT算法

黃應(yīng)清，梁新彬，謝志宏，文　軍

(裝甲兵工程學(xué)院 控制工程系，北京　100072)

?

基于特征顯著值歸一化與位置加權(quán)的FT算法

黃應(yīng)清，梁新彬，謝志宏，文軍

(裝甲兵工程學(xué)院 控制工程系，北京100072)

摘要：頻率調(diào)諧(FT)顯著區(qū)域檢測(cè)算法在背景復(fù)雜和圖像顯著區(qū)域比較大時(shí)檢測(cè)效果不理想。針對(duì)上述問(wèn)題，對(duì)FT算法進(jìn)行了改進(jìn)，提出了一種基于特征顯著值歸一化與位置加權(quán)的頻率調(diào)諧顯著區(qū)域檢測(cè)算法(FTFP)。該算法主要在FT算法的基礎(chǔ)上進(jìn)行了圖像分塊、Lab顏色特征顯著值的分別歸一化和位置加權(quán)處理。實(shí)驗(yàn)結(jié)果表明，F(xiàn)TFP算法在顯著性檢測(cè)視覺(jué)效果、準(zhǔn)確率與查全率、對(duì)噪聲圖像的檢測(cè)上都優(yōu)于FT算法，綜合性能突出。

關(guān)鍵詞：顯著性檢測(cè)；特征顯著性；位置加權(quán)；歸一化

本文引用格式：黃應(yīng)清，梁新彬，謝志宏，等.基于特征顯著值歸一化與位置加權(quán)的FT算法[J].兵器裝備工程學(xué)報(bào)，2016(6):124-128.

Citation format:HUANG Ying-qing, LIANG Xin-bin, XIE Zhi-hong, et al.Frequency-Tuned Salient Region Detection Algorithm Based on Feature Saliency Normalization and Position Weighting[J].Journal of Ordnance Equipment Engineering,2016(6):124-128.

顯著性檢測(cè)通過(guò)在一定區(qū)域內(nèi)突出某個(gè)事物或人員引起人們的注意[1]。研究人員從人類認(rèn)知的角度出發(fā)，將視覺(jué)注意機(jī)制分為數(shù)據(jù)驅(qū)動(dòng)的快速的自底向上的顯著性檢測(cè)和任務(wù)驅(qū)動(dòng)的慢速的自頂向下的顯著性檢測(cè)[2-3]。近年來(lái)，圖像顯著性檢測(cè)引起了人們廣泛的關(guān)注，研究人員提出了不同的顯著性檢測(cè)算法。Itti和Koch在1998年提出了經(jīng)典的基于生物學(xué)啟發(fā)和特征整合理論的IT算法[4]。該算法將圖像分解為3個(gè)視覺(jué)特征：亮度、顏色和方向，使用DoG算子分別對(duì)3個(gè)視覺(jué)特征進(jìn)行中心-周圍差異計(jì)算，經(jīng)過(guò)特征整合形成顯著性圖。在IT算法的基礎(chǔ)上，研究人員提出了很多不同的顯著性檢測(cè)算法，比較經(jīng)典的有Ma和Zhang于2003年提出利用圖像局部對(duì)比度生成顯著性圖的MZ算法[5]，Hou和Zhang于2007年提出通過(guò)殘余譜檢測(cè)圖像顯著性的SR算法[6]，J.Harel等提出通過(guò)提取圖像特征向量構(gòu)建動(dòng)標(biāo)圖(activation maps )的GB算法[7]，Achanta等提出基于頻率調(diào)諧(Frequency-tuned)實(shí)現(xiàn)全像素顯著性檢測(cè)的FT算法[1]，Cheng等人于2011年提出基于直方圖對(duì)比度進(jìn)行圖像顯著性檢測(cè)的HC算法和基于區(qū)域的全局對(duì)比度的RC算法[8]等。其中Achanta等人的FT算法從頻域的角度出發(fā)，通過(guò)對(duì)輸入圖像進(jìn)行高斯低通濾波，將在CIE Lab顏色空間計(jì)算圖像單個(gè)像素與整個(gè)圖像平均值的歐幾里得距離作為該像素的顯著值。FT方法簡(jiǎn)單，生成的顯著圖與原圖像分辨率相同，測(cè)試效果較好，該算法得到了廣泛的應(yīng)用。在以下兩種情形下，使用FT算法檢測(cè)，背景會(huì)具有更高的顯著值[9]：

1) 顯著區(qū)域面積超過(guò)圖像總面積一半時(shí)；

2) 背景比較復(fù)雜時(shí)。

在進(jìn)行顯著性檢測(cè)時(shí)，還發(fā)現(xiàn)FT算法生成的顯著區(qū)域與背景灰度差別不夠明顯，為后續(xù)處理帶來(lái)一定的困難。針對(duì)上述不足，本文對(duì)FT算法進(jìn)行了改進(jìn)，提出了一種基于特征顯著值歸一化與位置加權(quán)的FT算法(FTFP)。

1　FT算法

文獻(xiàn)[1]對(duì)圖像的顯著性檢測(cè)算法提出了5個(gè)方面的要求：

1) 突出區(qū)域中最大的顯著物體；

2) 點(diǎn)亮整個(gè)顯著區(qū)域；

3) 生成的顯著圖應(yīng)具有完整清晰的輪廓；

4) 具有較強(qiáng)的抗噪性；

5) 高效地產(chǎn)生全分辨率的顯著圖。

基于以上要求，Achanta等提出了FT算法[9]。

設(shè)大小為m×n的輸入圖像f，F(xiàn)T算法的實(shí)現(xiàn)過(guò)程如下：

首先，計(jì)算圖像f在CIE Lab顏色空間模型中3個(gè)特征分量的平均值Iμ=[Lμ,aμ,bμ]T：

(1)

然后，計(jì)算輸入圖像f高斯濾波后的圖像fG：

(2)

式(2)中，G為p×p的高斯濾波器，其尺寸一般選取為3×3或5×5。圖像fG在CIE Lab顏色空間模型中3個(gè)特征值為IG=[LG,aG,bG]T。

定義圖像f在像素點(diǎn)(x,y)處的顯著值S(x,y)：

(3)

式(3)中，‖·‖表示向量的空間距離。

2　FTFP算法

針對(duì)FT算法存在的不足，F(xiàn)TFP算法對(duì)FT算法進(jìn)行了改進(jìn)。

首先，計(jì)算輸入圖像 f 在CIELab顏色空間模型中3個(gè)特征分量的平均值Iμ=[Lμ,aμ,bμ]T和高斯濾波后圖像 fG(同F(xiàn)T算法)。

然后，將 fG分成k個(gè)3×3像素的小塊(若在邊緣處不能整分，則將剩余部分作為不顯著區(qū)域處理)。計(jì)算第r(r∈[1,k])塊圖像在CIELab顏色空間模型中3個(gè)特征分量的平均值Iμ(r)=[Lμ(r),aμ(r),bμ(r)]T

(4)

(5)

式(5)中SL(r),Sa(r)和Sb(r)分別表示圖像f第r塊的3個(gè)平均特征分量的顯著值。

由式(5)得到的顯著值S(r)一般都大于255，需要?dú)w一化處理后才能用來(lái)作為圖像顯示。由于在一幅圖像中，亮度特征L與顏色特征a、b的取值范圍不一致(L∈[0,100]，a,b∈[-128,127])，圖像的3個(gè)特征分量L與a、b的變化快慢也不同(一般亮度L變化更快，而a、b表示的色彩變化不會(huì)太過(guò)劇烈)，實(shí)驗(yàn)表明，很多情況下3個(gè)特征的顯著值SL,Sa和Sb不在同一個(gè)數(shù)量級(jí)上，導(dǎo)致由式(5)所得的顯著值往往僅突出某一個(gè)特征，忽略了另外的特征。

受于乃昭等[10]做法的啟發(fā)，本文對(duì)式(5)中圖像CIELab顏色空間模型中3個(gè)特征分量的顯著值分別作歸一化處理：

當(dāng)人們拍攝照片時(shí)，往往將所關(guān)注的區(qū)域放到整個(gè)視場(chǎng)的中央附近區(qū)域，該區(qū)域即為顯著性區(qū)域。基于上述觀察事實(shí)，本文提出這樣的假設(shè)：圖像中央附近區(qū)域的顯著值應(yīng)該高于邊緣區(qū)域。本文對(duì)位于圖像不同位置的顯著值進(jìn)行了加權(quán)處理，定義圖像 f 第r塊的顯著性系數(shù)ws(r)：

(9)

式中：Dr為第r塊圖像中心點(diǎn)到圖像 f 中心點(diǎn)的距離；σ2是一個(gè)與圖像大小有關(guān)的量，控制ws(r)的下降程度(本文測(cè)試中取σ2=0.5(m+n))。

重新定義第r塊圖像的顯著值S(r)：

(10)

式中，ωL,ωa和ωb分別表示圖像CIELab顏色空間L、a和b 3個(gè)特征分量顯著值的權(quán)重系數(shù)，該系數(shù)可以定義為確定值(如賦予亮度和顏色權(quán)重各為1，即上述3個(gè)系數(shù)分別取0.5，0.25，0.25)，又可以根據(jù)關(guān)注焦點(diǎn)的不同賦予不同的權(quán)重值(比如突出顏色變化對(duì)生成顯著性圖的影響，則賦予顏色系數(shù)較大權(quán)重值)，還可以根據(jù)圖像顏色直方圖信息，自動(dòng)地選擇權(quán)重值。

根據(jù)發(fā)生的時(shí)點(diǎn)和確定方法的不同，施工安全管理成本分為實(shí)際安全成本Ca、實(shí)際安全保障水平Sa、計(jì)劃安全成本Cp和計(jì)劃安全保障水平Sp。

最后將第r塊的顯著值S(r)賦予該3×3區(qū)域的每個(gè)像素，按順序拼接生成顯著性圖。其算法流程如圖1所示。

圖1　FTFP算法流程

經(jīng)過(guò)上述改進(jìn)，F(xiàn)TFP算法在理論上具有以下特點(diǎn)：

1) 圖像CIE Lab顏色空間的3個(gè)特征得以分離，可以根據(jù)不同的需求進(jìn)行圖像顯著性檢測(cè)。

2) 圖像經(jīng)過(guò)分塊平均處理后，有效抑制了局部噪聲點(diǎn)的影響。

3) 圖像內(nèi)部區(qū)域更容易作為顯著區(qū)域而被突出；

4) 處理時(shí)間不會(huì)明顯增加。

3　實(shí)驗(yàn)與分析

顯著性圖品質(zhì)優(yōu)劣的評(píng)價(jià)標(biāo)準(zhǔn)在于它的應(yīng)用[1]。參考Cheng的做法，我們將FTFP算法與其他5種性能先進(jìn)的顯著性檢測(cè)算法(MSSS算法、LC算法、HC算法、RC算法和FT算法)進(jìn)行了實(shí)驗(yàn)對(duì)比。為較全面說(shuō)明本文方法的檢測(cè)性能，本文從顯著性視覺(jué)效果、準(zhǔn)確率和查全率、處理時(shí)間和對(duì)噪聲圖像的檢測(cè)4個(gè)方面進(jìn)行全面對(duì)比。對(duì)于MSSS算法、FT算法、HC算法和RC算法，直接使用作者提供的源代碼，對(duì)于LC算法，使用Cheng提供的代碼[11]。

3.1顯著性視覺(jué)效果

圖2顯示了在公開(kāi)的MSRA基礎(chǔ)數(shù)據(jù)庫(kù)上進(jìn)行顯著性測(cè)試的部分結(jié)果。可以看出，本文對(duì)FT算法的改進(jìn)效果很明顯，較原FT算法，F(xiàn)TFP算法在視覺(jué)效果上有了較大提升，如同時(shí)檢測(cè)出了第三行圖像中的兩匹馬，點(diǎn)亮了第四行圖像中的4個(gè)物體。相比于LC算法和MSSS算法，本方法的視覺(jué)效果也要好一些，如第一行圖像對(duì)運(yùn)動(dòng)員的檢測(cè)及第六行對(duì)鴨梨的檢測(cè)。相比于RC算法，本方法生成的顯著性圖邊緣輪廓比較清晰，視覺(jué)效果較好。另外，在檢測(cè)小物體時(shí)[12]，具有其余5種算法不具備的優(yōu)勢(shì)，如對(duì)第三行和第四行物體的檢測(cè)，F(xiàn)TFP算法生成了視覺(jué)效果最好的顯著性圖。

3.2準(zhǔn)確率和查全率

得到顯著區(qū)域的最簡(jiǎn)單方法就是設(shè)定一個(gè)閾值T∈[0,255] 分割顯著圖像，顯著圖經(jīng)過(guò)閾值T分割后得到4類像素點(diǎn)：

TP(True Positive)：像素點(diǎn)位于輸入圖像的前景區(qū)域分割后位于顯著區(qū)域；

FP(False Positive)：像素點(diǎn)位于輸入圖像的背景區(qū)域分割后位于顯著區(qū)域；

TN(True Negative)：像素點(diǎn)位于輸入圖像的背景區(qū)域分割后位于背景區(qū)域；

FN(False Negative)：像素點(diǎn)位于輸入圖像的前景區(qū)域分割后位于背景區(qū)域；

準(zhǔn)確率(Precision)和查全率(Recall)：

(11)

(12)

為了評(píng)價(jià)不同算法的顯著性檢驗(yàn)效果，本文采用由Achanata等在MSRA數(shù)據(jù)庫(kù)基礎(chǔ)上構(gòu)建的基準(zhǔn)測(cè)試數(shù)據(jù)庫(kù)進(jìn)行測(cè)試，該基準(zhǔn)數(shù)據(jù)庫(kù)共有1 000幅圖像，每幅圖像都有與之對(duì)應(yīng)的帶有顯著物體清晰輪廓的二值基準(zhǔn)圖像。參照Achanta等人的方法，選用自適應(yīng)閾值Ta進(jìn)行圖像分割，Ta選為圖像平均顯著值的兩倍。

(13)

將所得顯著性圖分割后，計(jì)算式(11)和式(12)，得到每幅圖像的準(zhǔn)確率和查全率及綜合評(píng)估值F：

(14)

與Achanta等人一樣，取β2=0.3，使準(zhǔn)確率的權(quán)重高于查全率，這是因?yàn)樵陲@著區(qū)域檢測(cè)中，準(zhǔn)確率比查全率重要，比如將所有的區(qū)域都標(biāo)記為顯著性區(qū)域，就可以使查全率達(dá)到100%，而這毫無(wú)意義。將整個(gè)數(shù)據(jù)庫(kù)的準(zhǔn)確率、查全率和F分別取平均，得到圖3所示的結(jié)果。

圖2　不同算法的顯著性視覺(jué)效果對(duì)比

從圖3可以看出，F(xiàn)TFP算法的平均準(zhǔn)確率、平均查全率和F值都達(dá)到了較高的水平，不僅超過(guò)了FT算法，而且超過(guò)了MSSS算法，與HC算法效果相當(dāng)，僅次于Cheng的RC算法，但是RC算法耗時(shí)較多，比本算法高出一個(gè)數(shù)量級(jí)，如表1所示。

圖3　用不同方法生成顯著性圖結(jié)果比較

3.3處理時(shí)間

Achanta等提供的基準(zhǔn)數(shù)據(jù)庫(kù)中圖像的分辨率大多在400×300左右，在一臺(tái)擁Pentium(R)J2900 2.41GHz CPU，4GB內(nèi)存上運(yùn)行6種不同的算法，所用代碼類型為 C++，處理整個(gè)數(shù)據(jù)庫(kù)的平均運(yùn)行時(shí)間作為該算法的處理時(shí)間。所得結(jié)果如表1所示。不難發(fā)現(xiàn)，F(xiàn)TFP算法在運(yùn)行時(shí)間上除了稍慢于FT算法外，比其余的所有算法都高，比Cheng的RC算法快了一個(gè)數(shù)量級(jí)還多，對(duì)比Achanta等對(duì)FT算法改進(jìn)的MSSS算法，F(xiàn)TFP算法在運(yùn)行速度上也具有明顯的優(yōu)勢(shì)，約是后者運(yùn)行速度的5倍。

表1　不同算法在基準(zhǔn)數(shù)據(jù)庫(kù)上的平均處理時(shí)間

3.4對(duì)噪聲圖像的檢測(cè)

為檢測(cè)改進(jìn)算法的抗噪性能，加入了均值為0、方差為0.01的高斯隨機(jī)噪聲和噪聲密度為0.1的椒鹽噪聲污染圖像，部分圖像的檢測(cè)效果如圖4所示。可以看出LC算法的抗噪性能最差，RC算法檢測(cè)的顯著圖出現(xiàn)大片的模糊現(xiàn)象，如第五行圖像的花朵邊緣模糊；Cheng的HC算法和本文算法的抗噪性能較好，優(yōu)于其他算法。相比于FT算法，F(xiàn)TFP算法在抗噪性能上有了較大提高，顯著區(qū)域與背景區(qū)域的對(duì)比度明顯，檢測(cè)效果較好，如對(duì)第四行圖像楓葉的檢測(cè)和對(duì)第六行圖像花朵的檢測(cè)。

4　結(jié)論

本文針對(duì)FT算法存在的問(wèn)題進(jìn)行了改進(jìn)，提出了基于位置加權(quán)和特征歸一化的頻率調(diào)諧顯著性檢測(cè)算法(FTFP)，首先將圖像分塊并求特征平均值，然后將每個(gè)特征所得的顯著性圖做歸一化處理，最后進(jìn)行位置加權(quán)處理。測(cè)試結(jié)果表明，F(xiàn)TFP算法在顯著性檢測(cè)視覺(jué)效果、準(zhǔn)確率和查全率、對(duì)噪聲圖像的檢測(cè)上都優(yōu)于FT算法；與其他4種算法相比，在處理時(shí)間上具有明顯優(yōu)勢(shì)，綜合性能比較突出。

參考文獻(xiàn)：

[1]ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequency-tuned salient region detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]:[s.n.],2009:1597-1604.

[2]TRIESMAN A M，GELADE G.A feature-integration theory of attention[J].Cognitive Psychology，1980，12(1):97-136.

[3]KOCH C，ULLMAN S.Shifts in selective visual attention:towards the underlying neural circuitry[J].Human Neurbiology，1985(4):219-227.

[4]ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Recognition and Machine Intelligence (PAMI)，1998,20(11):1254-1259.

[5]MA Y F,ZHANG H J.Contrast-based image attention analysis by using fuzzy growing[C]//In ACM International Conference on Multimedia.[S.l.]:[s.n.],2003.

[6]HOU X，ZHANG L.Saliency detection:a spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]:[s.n.],2007:1-8.

[7]HAREL J,KOCH C,PERONA P.Graph-based visual saliency[J].Advances in Neural Information Processing Systems，2007,19:545-552.

[8]CHENG MING-MING，ZHANG GUO-XIN，NILOY J.MITRA，et al.Global Contrast based Salient Region Detection[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]:[s.n.],2011:409-416.

[9]ACHANTA R，SUSSTRUNK S.Saliency detection using maximum symmetric surround[C]//Proceedings of IEEE International Conference on Image Processing (ICIP).[S.l.]:[s.n.],2011:2653-2656.

[10]于乃昭，姚志均，楊波.一種改進(jìn)的頻率調(diào)諧顯著性檢測(cè)方法[J].船舶電子對(duì)抗，2013,36(1):57-61.

[11]程明明.圖像內(nèi)容的顯著性與相似性研究[D].北京：清華大學(xué)，2012.

[12]雷毅，謝靜.幾種濾波算法在聲納圖像處理中的比較分析[J].四川兵工學(xué)報(bào),2012,28(6)：95-97.

(責(zé)任編輯楊繼森)

doi:【信息科學(xué)與控制工程】10.11809/scbgxb2016.06.029

收稿日期：2016-01-06；修回日期：2016-02-09

作者簡(jiǎn)介：黃應(yīng)清(1966—)，男，教授，博士生導(dǎo)師，主要從事模式識(shí)別與智能系統(tǒng)研究。

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-2304(2016)06-0124-05

Frequency-Tuned Salient Region Detection Algorithm Based on Feature Saliency Normalization and Position Weighting

HUANG Ying-qing, LIANG Xin-bin, XIE Zhi-hong, WEN Jun

(Department of Control Engineering, Academy of Armored Force Engineering, Beijing 100072, China)

Abstract:Frequency-tuned (FT) detection algorithms are not ideal in complex backgrounds and various large salient regions of an image. In view of the above problems, the FT algorithm was improved, and a new frequency-tuned salient region detection algorithm based feature saliency normalization and position weighting was proposed (FTFP). The algorithm divided the image into blocks, and normalized the Lab color space characteristic saliency values, and was weighted by position based on the FT algorithm. The experimental results show that the visual effect, accuracy rate and recall, the detection of image noise of algorithm FTFP in saliency detection are better than that of the original FT algorithm, and have outstanding performance.

Key words:saliency detection; feature saliency; position weighting; normalization