基于視覺注意的顯著物體檢測實驗設計

張 晴

(上海應用技術學院 計算機科學與信息工程學院, 上海 201418)

?

基于視覺注意的顯著物體檢測實驗設計

張 晴

(上海應用技術學院 計算機科學與信息工程學院, 上海 201418)

從圖像中快速準確定位出圖像主要內容的顯著物體檢測已經成為數字圖像處理的一個研究熱點。研究并設計了基于視覺注意的顯著物體檢測實驗，通過實驗操作增強學生對顯著物體檢測的理解以及激發學生進一步學習和研究的興趣。首先介紹了基于視覺注意的顯著性物體檢測原理和方法，然后利用視覺注意方法進行顯著性檢測，在此基礎上利用顯著物體密度最大化這一特征進行有效子窗口搜索以實現顯著物體檢測，最后介紹了查準率、查全率和F度量作為性能評價準則并對實驗結果進行了分析。提供可實現上述方法的Matlab程序代碼，學生可根據相關程序進行顯著物體檢測處理，得到符合人眼視覺感知的檢測結果。該實驗方案可以檢測不同內容、主題與背景環境的自然圖像，具有較強的魯棒性和較好的可操作性。

視覺注意； 物體檢測； 顯著性檢測； 有效子窗口搜索

0 引 言

圖像作為視覺信息的主要表達手段，是人類感知客觀世界的主要信息來源。面對現今龐大的圖像數據，如何快速且有效地定位出圖像中的主要信息內容已經成為了人們研究的熱點。顯著物體檢測技術是其中的一項關鍵技術，它能迅速定位圖像中的重要對象，賦予計算機分析處理過程一定的主動選擇能力，將有限的資源優先分配給圖像中最主要信息，從而在復雜環境中快速有效地加工和處理信息[1]。顯著物體檢測技術可以廣泛應用于許多計算機視覺領域，包括圖像/視頻壓縮[2]、目標跟蹤[3]、目標檢測與識別[4-5]等。顯著物體檢測技術的迅速發展，使得在圖像處理課程實驗中添加相應的內容成為了必要，所以本文提出顯著物體檢測的實驗設計。

目前顯著物體檢測方法主要有3種：① 用單一閾值表示顯著物體所占比重，采取遍歷搜索的方式尋找顯著區域[6]。該方法比較簡單，但由于顯著區域與全圖顯著性的比值與顯著物體的形狀、大小以及輸入圖像的背景復雜程度等均有關系，因此很難僅用一個預定義的閾值簡單表示，并且遍歷搜索會導致算法效率低下。② 引入分割算法獲取顯著物體[7-9]。該方法對背景單一圖像的檢測效果較好，但當圖像背景較復雜時，較難獲得理想的檢測效果。③ 設計目標函數表示顯著物體特征，并優化搜索算法以提高計算效率[10]。該方法檢測效果較好，但計算較為復雜。

物體檢測是圖像分析的一項關鍵內容，涉及到各方面的知識，要掌握顯著物體檢測技術，需要學生對多種圖像處理技術具有一定的綜合應用能力。為了讓學生更好地掌握物體檢測技術，針對自然圖像內容與背景的復雜性和多樣性，本文研究設計并實現了一個在圖像背景較復雜情況下仍能檢測獲取較理想顯著物體的實驗方案。該實驗方案受文獻[11]啟發，模擬人的視覺感知能力，基于視覺注意模型進行顯著物體檢測，充分利用顯著圖中顯著物體的顯著密度遠大于周圍背景的顯著密度這一特征，結合有效子窗口搜索算法(Efficient Sub-window Search, ESS)[12]設計實現，并介紹顯著物體檢測的評價標準，將實驗所得結果與微軟亞洲研究院給出的基準檢測結果進行比較，希望通過本實驗加深學生對物體檢測算法的理解以及激發學生進一步學習研究的興趣。

1 基于視覺注意的顯著物體檢測

在面對一個復雜場景時，人類的注意力會迅速集中在少數幾個顯著的對象上，并對這些對象進行優先處理，該過程被稱為視覺注意[13]。如圖1所示，人眼會迅速將注意力轉移到與周圍其他圖形不同的圖形上，并認為這些與眾不同的圖形是圖像的主要內容。

圖1 視覺注意機制圖例

顯著物體檢測的目的是將作為主要內容的物體從圖像中檢測提取出來。對于圖2所示的自然圖像的顯著物體檢測即是將人這個主要物體從圖像中提取出來，理想檢測結果如圖3所示，用紅色矩形框表示檢測提取結果。

傳統的圖像處理方法是對圖像中所有區域信息都賦予相同的處理優先等級，然而顯著物體檢測所關心的內容通常僅占圖像中很小的一部分，因此，這種全面的加工不但增加了分析過程的復雜性，而且帶來了許多不必要的計算浪費。將視覺注意引入到顯著物體檢測領域，能使計算機模擬人類的視覺感知系統，從而快速準確定位出圖像的重要信息并完成圖像分析任務。

圖3 顯著物體檢測結果

根據視覺注意模型處理獲取的圖像稱作顯著圖，這一處理過程稱為顯著性檢測。顯著圖是用來表征圖像每個像素顯著度的一幅灰度圖，用灰度值表示圖像中每個像素相對于人眼的顯著性，像素灰度值越大表示該像素越顯著。對圖2進行顯著性檢測的結果如圖4所示，檢測結果高亮了人這一主要物體，與人眼視覺主觀判斷一致。人們根據不同的圖像特征提出了不同的顯著性檢測算法，本實驗僅對其中一種經典的方法進行介紹，并利用該方法獲取顯著圖，在此基礎上再運用有效子窗口搜索算法進行顯著物體檢測。

圖4 顯著度檢測后的結果圖

2 實驗方案的設計

顯著物體檢測實驗作為數字圖像處理課程內容的補充與增強，應具有以數字圖像處理課程的先修學科和計算機處理能力。先修課程：高等數學、數字信號處理、數字圖像處理、Matlab程序設計。

2.1 實驗環境

(1) 操作系統。Windows XP或以上版本。

(2) 軟件。Matlab 6.0及以上版本(含圖像處理工具箱)。

(3) 圖像庫。微軟亞洲研究院公開的顯著物體檢測基準圖像庫。

2.2 實驗內容

實驗方案步驟主要有：① 利用高斯濾波對彩色圖像進行預處理;② 圖像顯著性檢測;③ 定位顯著物體所在的最小矩形區域。

2.2.1 基于高斯濾波的預處理

對圖像進行預處理的目的是去除噪聲等高頻成份對顯著性檢測結果的影響。高斯濾波器是根據高斯函數的形狀來選擇權值的線性平滑濾波器。高斯濾波器對去除服從正態分布的噪聲具有良好的效果。本實驗利用高斯濾波器實現圖像的去噪平滑。給定一幅彩色圖像I(見圖5(a))，利用下式實現高斯濾波：

(1)

其中：σ=0.5。

高斯濾波結果如圖5(b)所示，學生可以結合文獻[14]進一步了解不同濾波器的特性及其對于噪聲的抑制效果，結合Matlab圖像處理工具箱自帶的濾波去噪平滑函數，采用不同算法進行濾波預處理。

圖5 高斯濾波效果對比

2.2.2 圖像CIELab色彩空間變換

CIELab是用來描述人眼可見所有顏色的最完備的色彩模型，較RGB和CMYK色彩空間，CIELab更接近人類視覺，它致力于感知均勻性，因此本實驗在CIELab色彩空間中進行圖像顯著性檢測。CIELab的三個基本坐標分別為表示顏色的亮度L通道、顏色在紅色和綠色之間的位置a通道和在黃色和綠色之間的位置b通道。圖6給出了對彩色圖像進行CIELab色彩空間變換的結果。

圖6 CIELab色彩空間的三通道分解圖像

2.2.3 基于全局對比度的顯著性檢測

針對CIELab色彩空間的每個通道圖像采用文獻[15]的頻率調諧方法進行顯著性檢測，這是一種對圖像全局顏色對比度特征進行計算的檢測方法。其具體方法是：對于給定圖像I，像素p的顯著性可以用下面公式計算：

S(p)=‖Iμ-Iwhc(p)‖

(4)

其中:Iμ為圖像的平均顏色特征;Iwhc(p)為像素p在高斯濾波后的顏色特征;‖·‖為L2范式，也就是計算Iμ和Iwhc(p)在CIELab色彩空間的歐式距離。顯著性檢測的程序代碼段放在D:SalObj目錄中，程序名為frequency-tuned.m。實驗中，利用這段程序分別在CIELab色彩空間的三通道圖像上進行顯著性檢測，最后將檢測結果進行相加平均便可以實現顯著性檢測。圖7是利用上述程序獲得的檢測結果。由結果可知，花朵這一主體被高亮標識出來的同時，背景葉叢也被部分高亮，因此需要設計合理的顯著物體檢測方案使檢測結果不受背景影響。

2.2.4 顯著物體檢測

本實驗設計在顯著圖基礎上進行顯著物體檢測。針對顯著圖中大部分顯著度較大的像素都集中在顯著目標區域這一特性，本實驗采用文獻[11]的顯著密度最大化方法進行顯著物體檢測，其具體是運用有效子窗口搜索算法優化下列顯著密度最大化目標函數：

(6)

其中：W是顯著物體所在區域；I是圖像；S(x,y)是像素點(x,y)的顯著度值；C是可調和參數，取C=0.24×Height×Width，Height是圖像高度，Width是圖像寬度；A(W)是顯著區域面積。相應的程序代碼放在D:SalObj目錄中，程序名為MSD.m。該文件中定義了4個子函數，分別是Splitting_rectangles()函數、 FindingMaxMin()函數、RetrieveTopState()函數和UpperBound()函數，其中前3個函數實現有效子窗口搜索功能，從顯著圖中按照一定的方式進行最優目標函數的搜索，比一般的遍歷搜索大大提高計算效率。UpperBound()函數按照式(6)定義顯著物體的密度最大化函數，在讀懂程序內容的基礎上可以進行修改，實現算法的改進。圖8是顯著物體檢測處理結果。

圖7 顯著性檢測處理結果

圖8 顯著物體檢測結果圖

3 實驗結果分析

為驗證提出的顯著物體檢測實驗方案的可靠性，隨機選取微軟亞洲研究院公布的顯著物體檢測圖像數據庫作為實驗數據集。參照文獻的算法性能評價方法，使用查準率(見式(7))、查全率(見式(8))和F度量(見式(9))進行評價。

(7)

(8)

(9)

圖9(a)是實驗數據集中部分測試圖像的物體檢測結果，圖9(b)是微軟亞洲研究院給出的相應檢測基準。從圖9中對比可以看出，本文提出的實驗方法具有較好的普遍性，能夠對不同形狀、大小及背景復雜程度的物體均具有較好的檢測能力。

表1是使用上述評價標準對圖9所示檢測結果進行計算得到的評價結果值。由表1可知本文所設計的實驗方法的查全率、查準率和F度量值較高，接近人眼視覺感知的結果。

圖9 顯著物體檢測結果比較

表1 圖例檢測結果的評價標準

要求學生根據上述三個性能評價指標對檢測結果圖像進行計算，并據此就算法的適用性等方面給出一定的分析。鼓勵學生根據自己的理解修改顯著物體檢測步驟的UpperBound()函數，并進行性能評價指標計算，與本實驗方案進行比較，加深理解。

4 結 語

本文設計并實現了一種模擬人的視覺感知系統進行視覺注意計算的顯著物體檢測實驗方案，通過對基于視覺注意的顯著物體檢測原理和方法的介紹，利用程序及具體的實驗結果，進一步加深了學生對高斯濾波、CIELab色彩空間、顯著性檢測、物體檢測等相關知識的感性認識，同時使學生能夠通過自主動手實踐，培養他們的科研興趣，鍛煉實踐創新能力。利用預留的接口允許學生修改函數，以及利用評價標準對檢測結果進行比較，希望能激發學生對這一方向的研究興趣。

[1] 趙 倩, 曹家麟, 胡越黎. 結合高斯多尺度變換和顏色復雜度計算的顯著區域檢測[J]. 儀器儀表學報, 2012, 33(2): 405-412.

[2] Walther D, Koch C. Modeling attention to salient proto-objects[J]. Neural Networks, 2006, 19(9): 1395-1407.

[3] Itti L. Automatic foveation for video compression using a neurobiological model of visual attention[J]. IEEE Transactions on Image Processing, 2004, 13(10): 232-250.

[4] Fan J, Wu Y, Dai S. Discriminative spatial attention for robust tracking[C]//Proceedings of 11th European Conference on Computer Vision, 2010: 480-493.

[5] Gao D, Han S, Vasconcelos N. Descriminant saliency, the detection of suspicious coincidences, and applications to visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(6): 989-1005.

[6] Liu T, Yuan Z, Wang J, Sun J,etal. Learning to detect a salient object [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353-367.

[7] Xu L, Li H, Zeng L,etal. Saliency detection using joint spatial-color constraint and multi-scale segmentation[J]. Journal of Visual Communication and Image Representation, 2013, 24(4): 465-476.

[8] Rahtu E, Kannala J, Salo M,etal. Segmenting salient objects from images and videos [C]. //Proceedings of European Conference on Computer Vision, 2010: 366-379.

[9] Achanta R, Wils P, Susstrunk S. Salient region detection and segmentation [J]. Computer Vision Systems, 2008: 66-75.

[10] Shi R, Liu Z, Du H, Zhang X,etal. Region Diversity Maximization for Salient Object Detection[J]. IEEE Signal Processing Letters, 2012, 19(4): 215-218.

[11] Luo Y, Yuan J, Xue P, Tian Q. Saliency Density Maximization for Efficient Visual Objects Discovery [J]. IEEE Transactions on Circuits and Systems for video Technology. 2011, 21(12): 1822-1834.

[12] Lampert C H, Blaschko M B, Hofmann T. Efficient subwindow search: A branch and bound framework for object localization [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(12): 2129—2142.

[13] 張 鵬, 王潤生. 靜態圖像中的感興趣區域檢測技術[J]. 中國圖象圖形學報, 2005, 10(2): 142-148.

[14] 劉 剛, 王立香, 董 延. MATLAB數字圖像處理[M]. 北京: 機械工業出版社, 2010: 114-122.

[15] Achanta R, Hemami S, Estrada F. Frequency-tuned salient region detection [C]. //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2009: 1597-1604.

The Design of Salient Object Detection Experiment Based on Visual Attention

ZHANGQing

(School of Computer Science and Information Engineering, Shanghai Institute of Technology, Shanghai 201418, China)

It has become an active research focus in the field of image processing to quickly and precisely locate the main information of the image. This paper studied and designed a salient object detection experiment based on the visual attention, which is aimed to deepen students’ understanding and stimulate their interest in further study on salient object detection. Firstly, the basic principle and implementation of salient object detection based on visual attention are introduced. Moreover, saliency map is produced by visual attention models and then the salient object is carried out by efficient subwindow search algorithm on the basis of the maximization saliency density of saliency map. And finally, the performance is analyzed with the criterion of precision ratio, recall ratio and F-measure. This experiment also provides the Matlab code to help the students achieve results which are in accord with human visual perception. Experimental results show that the proposed method could achieve better performance without regard to image’s different content, subject and background, and has better robustness and maneuverability.

visual attention; object detection; saliency detection; efficient subwindow search

2015-03-09

國家自然科學基金項目(61401281); 上海市自然科學基金項目(14ZR1440700); 上海市高校青年教師培養基金資助項目(ZZyyy13022)

張 晴(1983-)，女，江蘇蘇州人，博士，講師，主要研究方向：顯著物體檢測、圖像修復。

Tel.：021-60873338; E-mail: zhangqing@sit.edu.cn

TP 391

A

1006-7167(2016)02-0155-04