一種生物啟發(fā)的視覺(jué)顯著模型

張珂, 趙歆波, 莫蓉

(1.西北工業(yè)大學(xué) 現(xiàn)代設(shè)計(jì)與集成制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 陜西 西安 710072;2.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院, 陜西 西安 710129)

顯著圖是表示視覺(jué)場(chǎng)景中每個(gè)像素位置吸引注意力程度的地形圖[1]。研究者已經(jīng)提出了多種用于計(jì)算顯著圖的視覺(jué)顯著模型,根據(jù)注意力類型的不同,可以分為自頂向下和自底向上2種:自頂向下注意力依賴于任務(wù),由生物的主觀認(rèn)知控制;相反自底向上注意力受圖像數(shù)據(jù)驅(qū)動(dòng),由圖像中的突出特征引導(dǎo)。自底向上顯著模型通常提取圖像中的低層特征并整合為顯著圖,而自頂向下顯著模型一般通過(guò)加入高層特征或從真實(shí)眼動(dòng)數(shù)據(jù)中學(xué)習(xí)特征權(quán)重的方式來(lái)加入自頂向下注意成分。

自底向上注意通常在初級(jí)視皮層V1中形成,而自頂向下注意則與高級(jí)腦皮層相關(guān),這2種顯著模型都直接或間接地受到生物視覺(jué)機(jī)制的啟發(fā)。最經(jīng)典的自底向上顯著模型[2],模擬了人類從視網(wǎng)膜到初級(jí)視皮層的早期視覺(jué)通路:首先根據(jù)視網(wǎng)膜中視錐細(xì)胞和視桿細(xì)胞的特點(diǎn)將輸入圖像分解為亮度和顏色成分,之后進(jìn)行的中央周邊差算子模擬側(cè)膝體中的on-off型神經(jīng)元,用于提取方向特征的Gabor濾波則是對(duì)V1簡(jiǎn)單細(xì)胞方向選擇特性的模擬。該框架在自底向上模型中被廣泛采用,但未考慮V1中更深層的end-stopping機(jī)制,無(wú)法檢測(cè)T型結(jié)點(diǎn)和線段端點(diǎn)等特征。

end-stopping機(jī)制是初級(jí)視皮層內(nèi)一部分簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞的特性,這類細(xì)胞被稱為end-stopped細(xì)胞,約占V1層神經(jīng)元的25%左右。end-stopped細(xì)胞對(duì)特定長(zhǎng)度和朝向的條狀刺激敏感,其組合可以用于檢測(cè)角點(diǎn)、直線和邊緣的交叉點(diǎn)、奇點(diǎn)和曲率較大點(diǎn)[3]。這些特征可以描述場(chǎng)景中物體的形狀和輪廓信息,因此被許多模型用于提取顯著區(qū)域或估計(jì)顯著度,如基于角點(diǎn)的方法[4]、基于興趣點(diǎn)的方法[5]和基于曲率特征的方法[6]等,但這些模型使用設(shè)計(jì)好的單一特征來(lái)描述顯著性,均未涉及end-stopping機(jī)制的建模,而end-stopped細(xì)胞能感知角點(diǎn)、線交叉點(diǎn)、曲率點(diǎn)等多種特征,其在自底向上顯著圖形成過(guò)程中的作用還未被充分研究。

不同于上述模型,本文將end-stopping機(jī)制引入自底向上顯著圖的計(jì)算框架,通過(guò)模擬初級(jí)視皮層V1中end-stopped神經(jīng)元的特性來(lái)提取角點(diǎn)、邊緣交叉點(diǎn)和曲率較大點(diǎn)等顯著特征,并與顏色、亮度、方向特征合并,共同形成自底向上顯著圖的表達(dá)。在公開(kāi)的眼動(dòng)數(shù)據(jù)集上,將模型輸出的顯著圖與人眼真實(shí)數(shù)據(jù)進(jìn)行了比較,結(jié)果顯示模型能夠較好地估計(jì)人眼注視位置;與其他模型的對(duì)比結(jié)果顯示,本文方法達(dá)到了當(dāng)前自底向上顯著模型的領(lǐng)先水平,部分指標(biāo)優(yōu)于早期的基于深度學(xué)習(xí)的自頂向下模型。

1 基于end-stopping機(jī)制的顯著模型

早期的視覺(jué)注意力模型認(rèn)為顯著圖在額頂葉等高級(jí)視皮層中形成,但最新研究表明,自底向上顯著圖在初級(jí)視皮層V1中就已生成[7]。在V1中,信號(hào)按照簡(jiǎn)單細(xì)胞→復(fù)雜細(xì)胞→end-stopped細(xì)胞(曾被稱為超復(fù)雜細(xì)胞),完成由低級(jí)到高級(jí)的整合過(guò)程。另外,心理學(xué)實(shí)驗(yàn)也證實(shí)end-stopping刺激物具有高顯著性[8],因此end-stopped細(xì)胞對(duì)于自底向上顯著圖的形成具有重要意義。

本文考慮將end-stopping機(jī)制引入自底向上顯著圖的計(jì)算框架,用于提取角點(diǎn)、邊緣交叉點(diǎn)和曲率較大點(diǎn)等顯著特征(本文中統(tǒng)稱為end-stopping特征),將其與方向特征一起作為V1顯著圖表達(dá),并融合代表側(cè)膝體輸出的亮度和顏色特征,合并得到自底向上顯著圖,整個(gè)流程如圖1所示。

圖1 基于end-stopping機(jī)制的顯著模型

在end-stopping機(jī)制的建模上,本文借鑒了[9]提出的一種理想模型,首先通過(guò)2D Gabor函數(shù)模擬簡(jiǎn)單細(xì)胞感受野,然后提取Gabor響應(yīng)振幅作為復(fù)雜細(xì)胞響應(yīng),最后將2個(gè)不同朝向的復(fù)雜細(xì)胞響應(yīng)乘積作為end-stopped細(xì)胞的響應(yīng)。該模型成功模擬了V1皮層中end-stopped細(xì)胞的大部分特性,計(jì)算較為簡(jiǎn)便,符合自底向上注意快速分析場(chǎng)景信息的特點(diǎn)。

1.1 圖像通道分解

視網(wǎng)膜中的視錐細(xì)胞對(duì)可見(jiàn)光譜中的不同波長(zhǎng)敏感,對(duì)應(yīng)于長(zhǎng)(L)、中(M)和短(S)波長(zhǎng),視桿細(xì)胞則對(duì)亮暗變化敏感。視網(wǎng)膜和側(cè)膝體中的神經(jīng)節(jié)細(xì)胞具有中心-周邊拮抗型感受野,將亮度和彩色信號(hào)作為一個(gè)對(duì)立成分來(lái)處理,從視錐細(xì)胞響應(yīng)分離出“紅-綠”(R-G)通道和“藍(lán)-黃”(B-Y)通道,從視桿細(xì)胞響應(yīng)分離出亮度通道(L),并沿側(cè)膝體(LGN)并進(jìn)入V1。

CIE Lab顏色空間常被用來(lái)描述上述過(guò)程,L,a和b通道可看作下式中定義的R-G、B-Y和L對(duì)立顏色表示

(1)

1.2 end-stopping特征提取

LGN輸出的對(duì)立顏色成分進(jìn)入V1層后,按照簡(jiǎn)單細(xì)胞→復(fù)雜細(xì)胞→end-stopped細(xì)胞(曾被稱為超復(fù)雜細(xì)胞),完成由低級(jí)到高級(jí)的逐層整合。簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞都具有方向和空間頻率選擇性,我們首先對(duì)L,a,b通道分別進(jìn)行2D Gabor濾波來(lái)提取簡(jiǎn)單細(xì)胞響應(yīng)

(2)

式中，σ為高斯濾波方差,控制感受野大小,θ是細(xì)胞朝向,波長(zhǎng)為λ,帶寬取σ/λ=0.56。2D Gabor濾波的實(shí)部和虛部分別對(duì)應(yīng)偶、奇對(duì)稱濾波器,通過(guò)卷積計(jì)算出響應(yīng)值,表示對(duì)當(dāng)前方向的響應(yīng)強(qiáng)度。

復(fù)雜細(xì)胞建模為Gabor 響應(yīng)振幅,即奇偶濾波器對(duì)圖像響應(yīng)的模值

(3)

式中，Re和Im分別是Gabor響應(yīng)的實(shí)部和虛部,尺度s對(duì)應(yīng)不同的波長(zhǎng)λ,θ=(i-1)π/N,N是選取的方向角度個(gè)數(shù)。

文獻(xiàn)[9]將end-stopped細(xì)胞建模為相鄰2個(gè)朝向的復(fù)雜細(xì)胞響應(yīng)乘積,當(dāng)細(xì)胞朝向角度差異大于20°、小于等于30°時(shí)效果最好,因此我們?nèi)=8使得角度差為22.5°,尺度因子s為6。每幅end-stopping特征圖的計(jì)算公式為

Ei(x,y)=Cθi(x,y)*Cθi+1(x,y)

(4)

式中，θi=(i-1π)/N,Cθ(x,y)表示最優(yōu)朝向?yàn)棣鹊膹?fù)雜細(xì)胞響應(yīng)之和,是對(duì)V1中方位功能柱的模擬

(5)

end-stopped細(xì)胞會(huì)受到其他相鄰神經(jīng)元的長(zhǎng)距離抑制,可以用高斯差分(difference of Gaussian)算子來(lái)模擬這種機(jī)制,以抑制鄰域中的近似響應(yīng)

(6)

實(shí)驗(yàn)中σ取輸入圖像寬度的0.02倍,?x」=max(x,0)。所有特征圖被抑制后加權(quán)相加得到end-stopping顯著圖

(7)

SE中像素值越高,表示該位置同時(shí)存在多個(gè)方向響應(yīng)的可能性越大,該像素是角點(diǎn)、線交叉點(diǎn)或曲率點(diǎn)的概率越大。

1.3 自底向上顯著圖

自底向上顯著圖主要在V1層形成,V1層中end-stopped細(xì)胞大約占25%,其余大部分為具有方向選擇性的簡(jiǎn)單和復(fù)雜細(xì)胞,另外側(cè)膝體輸出的對(duì)立顏色和亮度信息也有一定貢獻(xiàn),因此將end-stopping特征圖和文獻(xiàn)[2]中的亮度、顏色、方向特征合并,形成自底向上顯著圖的完整表達(dá)。

各通道特征圖具有不同的動(dòng)態(tài)范圍和提取機(jī)制,其重要性也各不相同,合并前需要進(jìn)行歸一化。文獻(xiàn)[2]提出的歸一化算子包括歸一化和加權(quán)2個(gè)步驟,模擬了皮層的側(cè)抑制機(jī)制。但該方法在只有一個(gè)強(qiáng)峰值時(shí)有效,存在多個(gè)同等峰值的特征圖會(huì)被忽略。本文采用了基于局部峰數(shù)量的歸一化加權(quán)方法

(8)

式中，F(xiàn)是各特征通道C上歸一化后的特征圖,m為全局峰值附近范圍內(nèi)的局部峰數(shù)量。通過(guò)除以局部峰值數(shù)量的平方根,局部峰較少的特征圖得到增強(qiáng)而整體存在大量局部峰的特征圖被抑制。加權(quán)后的各特征圖直接相加,形成最終顯著圖。

2 實(shí) 驗(yàn)

視覺(jué)顯著模型研究一般有2個(gè)目的:①根據(jù)模型生成的顯著圖來(lái)研究視覺(jué)注意力機(jī)制;②預(yù)測(cè)注視點(diǎn)位置并將其用于計(jì)算機(jī)視覺(jué)的其他領(lǐng)域。我們對(duì)模型的注視點(diǎn)預(yù)測(cè)性能進(jìn)行了評(píng)估,即以人眼眼動(dòng)數(shù)據(jù)生成的注視圖(fixation map)作為真實(shí)值(ground truth),將模型輸出顯著圖與之進(jìn)行對(duì)比。

2.1 評(píng)價(jià)指標(biāo)

本文使用sAUC、CC和NSS這3種最常見(jiàn)的評(píng)價(jià)指標(biāo),以提供最公平的對(duì)比評(píng)估結(jié)果。其中sAUC用于描述模型對(duì)顯著區(qū)域檢測(cè)的準(zhǔn)確性,CC和NSS用于描述模型輸出的顯著圖與人眼注視圖的一致性或相關(guān)性。

sAUC(AUC-shuffled)是對(duì)AUC的改進(jìn)。AUC曾是顯著模型中使用最廣泛的評(píng)價(jià)指標(biāo),它將顯著圖看作二值分類器,顯著值在閾值之上的點(diǎn)被視為正樣本(注視點(diǎn)),閾值之下的作為負(fù)樣本(非注視點(diǎn)),人眼注視點(diǎn)為真值,AUC值是以真陽(yáng)性率和假陽(yáng)性率為坐標(biāo)軸繪制成的ROC曲線下方區(qū)域面積。與AUC不同,sAUC將其他圖像上的注視點(diǎn)作為負(fù)樣本,從而將中心偏差也引入假陽(yáng)性率的計(jì)算,因而不易受到中心偏差效應(yīng)的影響。

歸一化掃描路徑顯著性(NSS)是歸一化后的顯著圖在注視點(diǎn)位置的平均值,用來(lái)衡量每一次掃視時(shí)顯著圖與人眼注視圖之間的關(guān)聯(lián)程度。NSS越大,眼動(dòng)位置預(yù)測(cè)越準(zhǔn)確,值為1表示眼動(dòng)位置落在預(yù)測(cè)區(qū)域的密度高于平均值一個(gè)標(biāo)準(zhǔn)差。

線性相關(guān)系數(shù)(CC)在顯著模型中常被用于衡量模型估計(jì)的顯著圖與人眼注視圖之間的相關(guān)性。CC值越接近1,2幅圖越相似。

2.2 數(shù)據(jù)集和模型

本文采用的數(shù)據(jù)集為Toronto和MIT1003[10-11]:Toronto數(shù)據(jù)集包含120幅分辨率為511*681的彩色圖像,其中大部分為不包含特定感興趣區(qū)域的場(chǎng)景圖像,收集了20位觀測(cè)者對(duì)每幅圖觀看3 s的眼動(dòng)數(shù)據(jù);MIT1003數(shù)據(jù)庫(kù)包含分辨率不一、橫向或豎向排列的1 003幅圖像,種類包括文本、人臉和室內(nèi)外場(chǎng)景,收集了15名受試者自由觀看3 s數(shù)據(jù),2幅圖像之間間隔1 s。

我們選擇了4種顯著模型(AWS[12],BMS[13],Cor[4],eDN[14])進(jìn)行對(duì)比,其中AWS、BMS和Cor是最新的、性能最優(yōu)的自底向上模型,eDN是首個(gè)基于深度學(xué)習(xí)的顯著模型,另外我們還將end-stopping顯著圖ES加入對(duì)比。

3 結(jié)果與討論

3.1 直觀對(duì)比

本文模型與其他對(duì)比模型在Toronto數(shù)據(jù)集上的部分顯著圖結(jié)果如圖2所示。可以看出本文模型的顯著圖與人眼真實(shí)眼動(dòng)數(shù)據(jù)較為接近,能夠準(zhǔn)確預(yù)測(cè)注視點(diǎn)位置。

圖2 各模型在Toronto數(shù)據(jù)集上的部分顯著圖

與其他模型相比,本文模型更關(guān)注物體邊界上的輪廓和邊緣信息。這是因?yàn)槲覀兺ㄟ^(guò)復(fù)雜細(xì)胞響應(yīng)相乘的方式建模end-stopped細(xì)胞,角點(diǎn)(遙控器、顯示器的四角)、線交叉點(diǎn)(自行車骨架聯(lián)結(jié)點(diǎn))和曲率點(diǎn)(手指彎曲處)等對(duì)多個(gè)方向存在響應(yīng)的特征被檢測(cè)出來(lái),同時(shí)方向響應(yīng)代表的物體邊緣也得到一定保留。end-stopping顯著圖主要感知物體輪廓信息,而對(duì)物體內(nèi)部或與物體無(wú)關(guān)的顯著區(qū)域關(guān)注不足,因此我們加入了顏色和亮暗特征,完善了自底向上顯著圖的表達(dá)。另外,模型對(duì)長(zhǎng)邊緣具有一定的抑制作用,與end-stopped細(xì)胞對(duì)長(zhǎng)邊緣不敏感的特性吻合。

3.2 性能對(duì)比

表1和表2分別給出了各模型在Toronto和MIT1003數(shù)據(jù)集上的性能對(duì)比結(jié)果。在Toronto數(shù)據(jù)集上,本文模型的各項(xiàng)指標(biāo)均略低于BMS而高于AWS和Cor;sAUC 值略高于Cor模型,而CC和NSS值有大幅提升;與eDN相比,本文方法CC和NSS較低,但在sAUC上具有明顯優(yōu)勢(shì)。MIT1003數(shù)據(jù)集上的對(duì)比結(jié)果大體相似,唯一不同的是本文模型的各項(xiàng)指標(biāo)低于AWS模型,但差距很小。end-stopping顯著圖各項(xiàng)指標(biāo)略低于最終顯著圖,其sAUC明顯高于eDN模型,CC和NSS較Cor模型具有優(yōu)勢(shì),表明本文中的end-stopping特征能夠有效提取顯著區(qū)域。

表1 Toronto數(shù)據(jù)集上各模型的性能評(píng)價(jià)指標(biāo)

表2 MIUT1003數(shù)據(jù)集上各模型的性能評(píng)價(jià)指標(biāo)

2個(gè)數(shù)據(jù)集上的對(duì)比結(jié)果顯示,本文模型性能與當(dāng)前最好的3種自底向上模型相當(dāng),部分指標(biāo)優(yōu)于基于深度學(xué)習(xí)的eDN模型。

3.3 中心偏差效應(yīng)

中心偏差效應(yīng)是指觀察者的眼動(dòng)數(shù)據(jù)通常會(huì)更加偏向圖像中心,部分顯著模型利用這一點(diǎn),對(duì)圖像中心進(jìn)行高斯模糊而獲得較高的分?jǐn)?shù),從而產(chǎn)生不公平的性能對(duì)比結(jié)果。除sAUC外的大部分評(píng)價(jià)指標(biāo)都容易受到中心偏差的影響,由于sAUC的特性,其對(duì)高斯模糊具有良好的抗干擾能力,我們通過(guò)繪制不同高斯模糊標(biāo)準(zhǔn)差std下的sAUC變化曲線,分析了模型對(duì)中心偏差效應(yīng)的魯棒性。

圖3和圖4給出了各模型在Toronto數(shù)據(jù)集上的sAUC-std曲線。本文模型的sAUC峰值略低于BMS模型而明顯高于其他模型,end-stopping顯著圖的sAUC峰值略低于BMS和AWS模型。與其他模型相比,本文模型的 sAUC曲線變化較為平緩,表示模型對(duì)高斯模糊std值不敏感,受中心偏差效應(yīng)的影響較小。

圖3 模型在Toronto數(shù)據(jù)集上的sAUC-std曲線

圖4 模型在MIT1003數(shù)據(jù)集上的sAUC-std曲線

4 結(jié) 論

本文提出了一種生物啟發(fā)的視覺(jué)顯著模型,引入初級(jí)視皮層V1中的end-stopping機(jī)制以提取角點(diǎn)、邊緣交叉點(diǎn)和線段端點(diǎn)等特征,end-stopped細(xì)胞響應(yīng)與V1中簡(jiǎn)單/復(fù)雜細(xì)胞的方向響應(yīng),以及LGN輸出的亮度、顏色特征一起形成自底向上顯著圖的完整表達(dá)。

在2個(gè)公開(kāi)數(shù)據(jù)集上,模型與3種自底向上模型及一種深度學(xué)習(xí)模型進(jìn)行了對(duì)比,結(jié)果表明本文模型達(dá)到了當(dāng)前自底向上顯著模型的先進(jìn)水平,且對(duì)中心偏差效應(yīng)具有較強(qiáng)的抗干擾能力。其原因是,本文提取的end-stopping特征表征潛在的物體形狀和輪廓信息,相對(duì)于顏色、亮度等低層特征,物體在場(chǎng)景中往往更易吸引人的注意。但由此帶來(lái)的問(wèn)題是,對(duì)于場(chǎng)景中較大的物體,end-stopping特征難以預(yù)測(cè)物體內(nèi)部的注視點(diǎn)位置;另外當(dāng)場(chǎng)景中不存在顯著物體時(shí),具有較高明暗、亮度對(duì)比度的區(qū)域最具顯著性,因此模型加入了亮度和顏色特征來(lái)計(jì)算最終顯著圖。

本文將end-stopping機(jī)制引入顯著模型計(jì)算框架,對(duì)視覺(jué)顯著性和注意力研究具有2點(diǎn)貢獻(xiàn):第一,驗(yàn)證了將end-stopping機(jī)制用于顯著圖計(jì)算的可行性;第二,通過(guò)建模end-stopped細(xì)胞,對(duì)包含視網(wǎng)膜、側(cè)膝體和V1輸出的自底向上顯著圖,形成了一個(gè)初步的完備表達(dá)。本文提出的顯著模型在注視點(diǎn)預(yù)測(cè)性能上未能超越其他方法,這可能是由于V1中end-stopped細(xì)胞的生理結(jié)構(gòu)和作用機(jī)制還不是十分明晰,所以本文采用了一種計(jì)算上較為簡(jiǎn)便的end-stopping理想模型,更準(zhǔn)確的建模方法有賴于視覺(jué)神經(jīng)生理機(jī)制的未來(lái)進(jìn)展,以建立更加完備、準(zhǔn)確的自底向上顯著模型,這對(duì)于自底向上注意機(jī)制的研究具有重要意義。