基于增量記憶視覺注意模型的復雜目標識別研究

崔麗娜，胡玉蘭，片兆宇

(沈陽理工大學 信息科學與工程學院，遼寧 沈陽 110159)

基于增量記憶視覺注意模型的復雜目標識別研究

崔麗娜，胡玉蘭，片兆宇

(沈陽理工大學 信息科學與工程學院，遼寧 沈陽 110159)

針對復雜背景下的目標識別問題，提出一種新的基于增量記憶的視覺注意模型。首先根據目標的顏色形狀，以及自底向上的原始視覺特征顏色、強度、方向、對稱性對目標進行粗定位。在此基礎上，利用粗選目標的顏色、形狀生成一組自頂向下的偏差信號，對初選目標進行及時指導修正。為了提高識別的準確率，算法設計了一種增量學習記憶的機制來指導偏差信號，所提出的增量注意機制不僅可以不斷學習和記憶各類目標的顏色和形狀特征，而且利用這種機制可生成一個自頂向下的偏差信號，對關注的候選區域的目標進行精確定位。此外，訓練后的增量記憶的顏色、形狀特征有助于推斷新的未知目標。最后的仿真實驗中，與五種典型算法對比，無論是主觀還是客觀實驗，都獲得了較優結果。因此，所提算法是一種高效的、切實可行的算法。

自底向上注意；自頂向下注意；增量記憶；視覺顯著性

0 引言

人類視覺系統[1]具有機器無法比擬的靈活、高效的適應能力，在自然或雜亂復雜的場景中，往往可以輕松地檢測到任意目標。因此，把人類視覺系統的特性融入到人工視覺系統中一直是計算機視覺領域的研究重點。而顯著目標檢測，由于其高效的處理性能、廣闊的應用前景，被認為是機器視覺研究的重中之重。

本文利用增量記憶將自底向上處理過程與自頂向下處理過程結合起來，提出一種新的注意模型。基于該模型的算法強調自頂向下的注意感知，實際上是一個自底向上和自頂向下有機融合和相互作用的過程，將目標對象生成的偏差信號定義為增量記憶，自頂向下模型生成的增量記憶不斷指導修正自底向上模型對目標對象的識別，達到即使在復雜背景下，也可以準確、高效地識別出目標對象。最后的仿真結果中，與6種典型自底向上注意模型對比，所提算法體現了更好的穩定性和有效性。

1 視覺注意機制

視覺注意機制是模擬人腦來處理信息的機制[2]。通過將不同的處理優先級賦予不同的圖像區域，可以降低處理過程的復雜度，提高處理速度和抗干擾能力，即在特征整合理論的基礎上，提取圖像的亮度等初級視覺特征，形成各個特征維的顯著圖；然后基于非均勻采樣的方式，采用多特征圖合并策略對這些不同特征維的顯著圖進行融合，形成一幅最終的顯著圖。根據顯著圖可以得到一系列的待注意的目標，各目標通過注意轉移的禁止返回(Iinhibition of retum)機制[3]和勝者為王(Winner-take-all)競爭機制[4]吸引注意焦點，并使得注意焦點在各個待注意的目標之間依一定的原則轉移。注意信息是由每一個對應于特定區域圖像特征的點組成的。

以基于視覺注意機制的注意快速識別目標為例，其識別效果如圖1所示。

圖1 識別效果圖

由圖可知，單純視覺注意模型檢測顯著目標的效果并不好，在目標對象和背景對比度不明顯的情況下識別效果很差，顯著區域的邊界不清晰，特征細節給模糊掉了，目標對象并不突出，尤其背景比較復雜的情況下，噪聲干擾也比較大。

2 基于增量記憶視覺注意模型的復雜目標

為了模擬人類的智能視覺系統，本文提出一種基于增量記憶的視覺注意的模型。本模型包括兩個處理過程：自底向上處理過程[5]，自頂向下處理[6]過程。自頂向下處理過程生成增量記憶，指導修正自底向上處理過程的識別目標對象工作，其中增量注意不僅可以不斷學習和記憶各類目標的顏色和形狀特征，而且利用增量記憶生成自頂向下的偏差信號，可以對目標對象進行精確定位。整體框圖如圖2所示。

圖2 該模型的概述

首先由原始的輸入圖像可獲取到圖像的基本特征，通過高斯金字塔提取粗尺度圖像，圖像通過中央標準差(CSD)獲取到顯著信息[7]；同時對圖像的基本顏色特征、形狀特征進行加權等處理生成基于原始圖像的顏色、形狀偏差信號，即增量記憶，在生成細識別目標對象的過程中，偏差信號對識別不斷指導修正，以實現復雜背景下目標對象的高效準確識別，生成顯著圖。通過增量記憶[8]不僅可以識別顯著區域，而且可以將其存儲下來。

2.1 自底向上處理

2.1.1 顏色特征提取

為了提高識別精度，并且實現彩色圖像的識別，識別過程中各個顏色通道需保持獨立。若想獲得最佳的圖像邊緣就需要采用IUV顏色空間[9]。把對彩色圖像(R，G，B)的識別問題轉換成(I，U，V)顏色空間的問題，識別過程中各個顏色通道保持獨立，這種方法識別精度高，并且實現了彩色圖像的識別。通過公式(1)計算：

(1)

根據RGB顏色空間模型[10]構建一個 IUV 顏色模型，轉化方法如公式(2)所示：

(2)

強度特征i通過公式(3)獲得：

i=(r+g+b)/3

(3)

2.1.2 基于中央周邊差的特征處理

在顯著圖模型中，以方向(O)和對稱性(S)特性作為高階特性，分別利用Gabor濾波器和Fukushima對稱性提取邊緣特性的方法，將I、O、S、U、V5個特征通過高斯金字塔，生成7個不同尺寸的特征圖，可以得到35幅特征圖。然后，利用中央周邊差，將I、O、S、U、V的顯著圖組合成4個顯著圖，如式(4)：

(4)

2.1.3 基于顯著圖的獨立成分分析

在該模塊中，采用獨立分量分析算法[11]來減少冗余，以視覺皮層的作用作為冗余減速器。將特征圖各個特征通道與濾波器寬度作卷積計算并求和來確定局部顯著區域。最合適的規模顯著區域集中在x，如式(5)所示：

(5)

HD(l,x)和WD(l,x)分別是熵和窗大小。在自底向上顯著圖模型中獲取局部區域，定義為IOR 區域[12]。自底向上凸起的局部地區獲得的地圖模型被定義為IOR地區。那么屏蔽掉這個IOR 區域也就是排除了先前認為的顯著對象，接著可以找到下一個顯著目標。

2.1.4 顯著圖的熵值選擇與目標對象中央加強

本文通過抑制幅度譜脈沖進行顯著目標檢測，對脈沖的抑制量不同檢測出的顯著圖結果也不同，所以建立了不同高斯函數平滑后幅度譜尺度空間[13]，它是由一系列高斯函數與幅度譜卷積[14]得到的，每個高斯函數具有一個不同的尺度參數，如式(6)所示：

(6)

其中k為可調節的尺度參數， k=1…K，K由圖像的尺寸決定，如式(7)所示：

K=[log2min{H,W}]+1

(7)

H,W為圖像的長和寬，t0=0.5。給定圖像的幅度譜為A(u,v)，則平滑幅度譜的尺度空間如式(8)所示：

Λ(u,v,k)=(g(u，k)*A(u,v))

(8)

對不同尺度的顯著圖求熵值，熵值最小的顯著圖[15]認為檢測結果是最好的，其計算公式如式(9)所示：

kp=argmin{H(Sk)}

(9)

其中熵值計算為傳統的計算公式如式(10)所示：

(10)

2.2 自頂向下處理

2.2.1 提取顏色和形狀特征

由R，G，B和Y色彩成分可以獲取到RG和BY特性，而由RG和BY可以獲取物體的顏色和形狀特性，通過此過程可以有效地通過顏色特征來提取圖像的細節信息。目標物體的RG和BY特征通過裁剪變成兩個16×16極對數特性，并且將每個極對數特性轉換為一維向量。

本文采用熵最大模型來分別模擬視覺注意機制簡單特性和復雜特性，即S1和C1特性。S1特性構造使用一個對象在一個局部區域的定位信息，并通過Gabor濾波器具有不同尺度的輸入圖像。通過濾波可以獲得2尺度和8個方向的濾波特性的S1特性。因此每個方向就有了兩個S1定位圖，通過S1定位圖對每個方向的操作取最大的操作可以得到C1特性。

2.2.2 自頂向下信號生成偏差矩陣

當成功訓練學習目標對象后還有一個額外的作用就是可以生成權重矩陣，矩陣可以生成自上而下的偏差信號，這樣便在輸入場景中可以找到目標對象區域。基于特定偏差注意的目標對象任務來考慮尺度不變特性，基于三種不同尺度的高斯金字塔，其三種不同的尺度可以用來訓練三種不同比例的顏色和形狀特性。所以這三種不同比例訓練的權重矩陣可以生成三種不同尺度的特性。在中央周邊差(CSD&N)過程中，三種不同比例的權重矩陣可以用于生成不同尺度的偏差信號。

(11)

其中c_We和f_We分別是顏色和形狀的加權矩陣，Ie，Oe，Se，Ce分別是強度、方向、對稱性和顏色特征。

2.3 增量記憶

首先將自頂向下處理工程生成的顏色、形狀偏差信號定義為增量記憶，結合考慮自頂向下的目標對象的形狀和顏色偏差信號，得出顯著圖，利用提出的模型可以成功地提取出目標物體區域，生成流程圖如圖3所示。

圖3 自頂向下注意的實驗結果

通過對一個特定尺度的目標對象的感知可以獲取到每個感知對象的權重矩陣。因此，通過使用不同尺度的自底向上特征并用自上向下的加權矩陣提出的自上向下偏差模型可以檢測出尺度不變的對象定位區域。基于同一特征圖生成過程由自頂向下的偏差強度特征、方向特征、對稱性特征、顏色特征可以創建偏差強度特征圖、偏差方向特征圖、偏差顏色特征圖、偏差對稱性特征圖這四種不同的偏差特征圖。

3 實驗結果

將本文提出的方法與FT，SR，AIM，Gbvs，Itti算法進行比較，實驗結果如圖4。

圖4 實驗結果：(a)原圖 (b)FT (c)SR(d)AIM (e)Gbvs (f)Itti (g)本文方法

從上圖的對比結果可以看出，本文方法具有最好的顯著性能評估。對于測試圖像，大多數方法都能夠檢測出顯著目標，但是都各有利弊，并不完善。FT算法可以識別目標對象但是精確度不高，沒有消除冗余信息；SR算法抗噪聲性能不好，識別效果也不是很理想；AIM算法在目標對象和背景對比度不明顯的情況下識別效果很差，顯著區域的邊界不清晰；Gbvs算法和Itti算法可以識別出目標對象的大體輪廓，但是對象的細節信息被復雜的背景給模糊掉了，所以最終識別效果不好。從本文算法最終識別效果可以看出，對于復雜背景下的目標對象識別效果還是很不錯的，冗余信息處理的也比較好，抗噪聲性能相比較也是比較強的，精確度、準確率等各方面的表現都不錯。

4 結束語

在正常的人類視覺中，自底向上和自頂向下處理過程的結合將會影響注意，并將注意吸引到顯著的相關場景部分。所以，強調模擬自頂向下的注意感知實際上是一個自下而上和自上而下的有機融合和相互作用的過程，在這個過程中自動運用視覺認知規律，通過一系列視知覺操作，使視覺處理過程在一定目的下，以盡可能小的代價獲得盡可能好的結果，也更加符合人類視覺感知的基本特征。

復雜背景下的目標識別是計算機視覺的研究熱點和難點問題。本文中提出了一種基于增量記憶將自底向上和自頂向下相結合的方式來定位復雜背景下目標對象的方法。在復雜的背景下，該模型有較強的噪聲抑制能力,可以把目標準確定位出來并且更好地解決目標識別的問題。

[1] 田媚.模擬自頂向下視覺注意機制的感知模型研究[D].北京：北京交通大學,2007.

[2] 暴林超．復雜目標視覺注意模型研究[D].武漢：華中科技大學，2011．

[3] 謝玉林.貝葉斯框架下圖像顯著性檢測[D]. 大連: 大連理工大學, 2011.

[4] 殷德奎,張保民,柏連發.一種熱圖像的多模板邊緣檢測方法[J].南京理工大學學報,1999,23(1): 16-20.

[5] TREISMAN A,GELADE G. A feature integration theory of attention [J]. Cognitive Psychology, 1980, 12(1): 97-136.

[6] 王岳環,張天序.基于視覺注意機制的實時紅外小目標預檢測[J].華中科技大學學報: 自然科學版,2001,29(6):7-9.

[7] 唐奇伶.基于初級視皮層感知機制的輪廓與邊界檢測[D].武漢：華中科技大學,2007.

[8] 張鵬,王潤生.基于視點轉移和視區追蹤的圖像顯著區域檢測[J].軟件學報,2004,15(6):891-899.

[9] 單列.視覺注意機制的若干關鍵技術及應用研究[D].合肥：中國科學技術大學,2008.

[10] PETER R J. Components of bottom-up gaze allocation in natural images[J]. Vision Research, 2005, 45(8): 2397-2416.

[11] ITTI KOCH. Feature combination strategies for saliency-based visual attention systems[J],Iournal of Electronic Imaging,2001,10(1):161-169.

[12] LIU T,SUN J, ZHENG.X. Learning to detect a salient object[C]. in: Proceedings of CVPR,1969:97-145.

[13] 謝玉林.貝葉斯框架下圖像顯著性檢測[D]. 大連: 大連理工大學, 2011.

[14] 田媚,羅四維,廖靈芝.基于what和where信息的目標檢測方法[J].電子學報,2007,35(11):2055-2061.

[15] DALAL N. Histograms of oriented gradients for human detection[C]. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition,2005: 886-893.

Target recognition of visual attention model based on the incremental memory

Cui Lina，Hu Yulan， Pian Zhaoyu

(School of Information Science and Engineering, Shenyang Ligong University，Shenyang 110159, China)

A new method to recognize target of visual attention model based on the incremental memory is proposed, it is about the target recognition problem under complex background. First of all, according to the shape and the color of the target, and the original visual characteristic of the bottom-up color, intensity, direction, symmetry, the target is located roughly. On this basis, a set of top-down bias signal is generated. In order to improve the accuracy of recognition, target recognition of visual attention model based on the incremental memory is proposed. The proposed incremental attention mechanism not only can keep on learning and memory of all kinds of color and shape features of target, and taking advantage of this mechanism, it can generate a top-down bias signal, to pay attention to the candidate regions of target for precise positioning. In addition, unknown object is located by the training characteristics of the color and shape of the increment of memory. In the final simulation experiment, the proposed method is compared with five kinds of typical algorithms, both subjective and objective experiment. The proposed method is the best one. Therefore, the proposed method is an efficient and practical method.

top-down attention; bottom-up attention; incremental memory; saliency map

TP391

A

1674-7720(2016)01-0045-04

崔麗娜，胡玉蘭，片兆宇．基于增量記憶視覺注意模型的復雜目標識別研究[J] .微型機與應用，2016，35(1)：45-48，52.

2015-09-08)

崔麗娜(1990-)，通信作者，女，碩士生，主要研究方向：自適應信號處理。E-mail：cuilina_krystal@163.com。

胡玉蘭(1961-)，女，碩士，教授，主要研究方向：多機器人系統、人工智能、多傳感器信息融合技術、系統檢測技術等。

片兆宇(1980-)，男，博士，教授，主要研究方向：自適應信號處理。