基于空間卷積神經網絡模型的圖像顯著性檢測

高東東,張新生

(西安建筑科技大學 管理學院,西安 710055)

0 概述

顯著性檢測已成為計算機視覺領域的重要研究課題,它的目的就是捕捉吸引人類注意的像素或區域。隨著信息技術的快速發展,如何設計及利用計算機模型處理這些以爆炸式速度增長的圖像及視頻信息,對于彌補人與電腦在視覺理解中的差距具有重要的研究意義和應用價值。

快速且以數據驅動的自底向上的顯著性檢測方式成為目前研究的主流[1]。其中,Itti模型[2]最早提出利用圖像底層特征的“中心-周邊差”進行顯著性檢測。文獻[3]則在文獻[2]的基礎上提出基于圖模型的顯著性檢測算法(GBVS),通過計算不同特征圖的馬爾科夫鏈平衡分布獲取顯著圖。文獻[4]使用顏色與亮度低級特征計算圖像子區域像素與其鄰域的像素平均特征向量之間的距離獲得顯著值,該方法快速且易于實現。文獻[5]提出基于局部特征對比度的顯著性檢測,學習局部信息進行顯著性評估,該方法在顯著區域的邊緣處產生較高的顯著值。上述方法都是基于手工設計特征提取圖像特征信息,它不能有效地捕捉顯著目標的深層特征,也沒有均勻地突出顯著區域。

然而,深度學習方案的提出顯著地提高了系統的檢測性能。其中,文獻[6]提出利用雙層深度玻爾茲曼機(DBM)判別顯著性區域,增強了基于低級特征學習的能力,但此方法需要經過大量學習訓練,復雜度較高。卷積神經網絡(Convolutional Neural Network,CNN)被廣泛用于學習圖像數據中的豐富特征信息[7-9],在顯著區域檢測[10-11]與對象輪廓檢測[12-13]中都取得較為理想的檢測結果。另一方面,一些方法也引入或改進了新的網絡架構。文獻[14]設計了一個能同時預測人眼固定點及分割突出目標的CNN模型,并結合預先訓練的VGG網絡和SALICON數據集定位出顯著區域。文獻[15]提出基于超像素卷積神經網絡的顯著性檢測方法,從顏色唯一性和顏色分布2個超像素序列來計算顯著性與非顯著性區域。該方法突出了顯著物體的內部信息,但在顯著邊緣的聚焦點不清晰,尤其處理非均勻背景或較復雜場景的圖像檢測性能較差。

基于以上分析,為了能夠更準確地檢測出人眼感興趣的顯著點,本文采用完全數據驅動的方式,以CNN模型為基礎模型,添加空間變換思想,學習圖片中應該關注的區域并且通過仿放射變換放大該區域。再使用Adam優化器來訓練網絡,提高模型收斂速度和檢測的準確度。

1 CNN與STN算法

1.1 卷積神經網絡

CNN是首個真正成功訓練多層神經網絡的學習算法,它通過描述數據的后驗概率進而實現網絡結構的優化。其基本結構由輸入層(Input)、卷積層(Convolution)、池化層(Pooling)、全連接層(Fully Connected)及輸出層(Output)組成。

(1)

下采樣層的主要目的就是降維,即減少卷積層的特征維數,對池化層中每個大小為n×n的池進行 “最大值(max pooling)”或“均值(mean pooling)操作,進一步獲得抽樣特征,輸出過程可表示為:

(2)

1.2 空間變換神經網絡

為了更好地處理顯著性檢測任務,本文在CNN模型上插入空間變換網絡(Spatial Transformer Network,STN)[16]。它應用在深度卷積網絡之前,與深度網絡一起進行端對端訓練,增加模型特征提取的旋轉不變形。即以一種動態的方式對輸入圖像進行任意變形(扭曲、拉伸等),這種方式的組成步驟如下:

步驟1由預處理后的圖像集U,通過優化后的VGG網絡結構輸出變換參數θ,即2×3維的空間變換矩陣。

步驟2由上述參數θ,經過仿射變換實現逆向坐標映射,得到輸入與輸出圖像之間的采樣網格Tθ。

步驟3將采樣網格Tθ輸出的結果通過雙線性插值技術進行處理,得輸出變換圖像V。

(3)

(4)

經過以上理論推導,即實現了對輸入圖像的空間變換操作,增大了本文模型獲取具有高激活值的顯著區域的概率。

2 空間卷積網絡的顯著性檢測模型

顯著性檢測就是在圖像區域內找出特征最明顯的子區,即檢測的關鍵集中在特征學習上,基于CNN與STN具有的強大的特征提取能力,本文提出應用空間卷積特征學習的顯著性檢測模型。圖1給出了本文模型的整體框架圖,其中包括圖像預處理、全局與局部顯著性估計、顯著性融合及顯著訓練。

圖1 顯著性檢測模型框架圖

2.1 圖像預處理

給定待處理圖像數據集I={Itrain,Ival,Itest},圖像預處理過程包括以下步驟:

步驟1將I全部縮放到96×96大小,以適應本文模型的輸入。

步驟3將I中像素除以255,歸一化到[0,1]中,以加快模型收斂速度。

2.2 模型結構

檢測框架主體由全局(shallow model)與局部(STN model)塊組成。其中,全局模型包含3個卷積層和3個池化層,在每一個卷積層和全連接層的輸出過程當中,都經過ReLU非線性化處理。其連接模型使用:

Conv1→MaxPool1→Conv2→MaxPool2→Conv3→MaxPool3→FC

同時,局部塊也采用了相同的設計思路,每層的詳細參數說明如圖2所示。

圖2 優化后的VGG結構

結構設計遵循如下步驟:

步驟1使用式(1)和式(2),組合3個卷積層與池化層,以構建shallow model。

步驟2通過采用及優化VGG模型以學習出6個變換參數θ,用于下一步的空間變換。

步驟3依據步驟2的空間參數,經過式(3)與式(4),實現對輸入圖像的空間聚焦變換。

步驟4根據步驟3得到變換后的圖像,再嵌入到CNN,進一步組建STN model。

步驟5融合步驟1及步驟4中所得全局顯著圖與局部顯著圖,以檢測出圖像特征表示的最大值。

步驟6在最后一層全連接層前,增加一層maxout激活函數,以過濾出高顯著性特征表達,完成顯著性檢測。

在步驟2的輸出中,由于本實驗最終目的并不是分類,即對VGG-16結構進行優化以適應本文的顯著性檢測任務。具體做法為:去掉最后一層原本用于輸出類別的全連接層,將第1個FC設置為512,第2個FC大小為6。圖2顯示了優化后VGG結構的詳細參數設置。

2.3 模型訓練與優化策略選擇

本文采用Adam法代替傳統的梯度下降法來訓練模型,即每一次迭代學習率都隨前面的梯度值進行自適應的調整。相比傳統的梯度下降,Adam法計算速度更加高效,且更適用于大規模的數據集訓練。采用這種參數更新策略使得參數比較平穩,也加快了模型的收斂速度。同時,訓練過程中將iSUN數據集作為訓練數據,為了盡量利用有限數據進行訓練,使用數據預處理與數據提升技術來增加訓練樣本。具體做法是在數據預處理階段,通過一系列的隨機變換將訓練數據進行提升,使模型捕獲不到任何兩張完全相同的圖像,進而緩解過擬合現象,增強模型的泛化能力。最后,所有樣本均進行分批量的訓練,每一個批量為32個樣本,動量為0.9。鑒于硬件的內存限制,這是可以使用的最大的批量數。Adam中的參數設置:α=0.001,β1=0.9,β2=0.999,δ=10-8。

為了防止模型訓練過擬合,本文選擇了一些優化策略:1)L2正則化對網絡參數進行約束;2)網絡損失函數采用均方誤差(Mean Squared Error,MSE),以濾除輸出中的高空間頻率;3)在VGG網絡中的第一個全連接層后接入dropout層。其本質是在訓練過程中的權重調整時,在隱藏層以一定的概率丟棄一些神經元(丟失率設為0.5)。同時,為使VGG網絡更好地適應顯著性檢測任務,把預訓練好的權重值加載到優化后的VGG結構中。最后,對新加入網絡層的權重也進行初始化,并隨整個網絡結構一起訓練。

3 實驗結果與分析

實驗使用Python2.7、NumPy和深度學習庫Keras來實現,采用相對復雜的公開數據集進行性能的檢測。與現有顯著性檢測方法進行比較,并從不同的角度分析實驗結果。

3.1 數據集

本實驗選擇了在LSUN挑戰中提出的2個數據集,因為它們與通常使用的數據集相比具有一定的復雜性。 這些數據集是:1)SALICON[17]。它通過鼠標跟蹤點擊突出點進行構建,且所有圖像來自流行的MS COCO圖像數據庫,包含80個物體類別,共有10 000個訓練圖像、5 000個驗證圖像、5 000個測試圖像;同時,具有豐富的語境信息和分辨率為 640×480像素的圖像。2)iSUN。它通過使用網絡攝像頭并從亞馬遜土耳其機器人(Amazon Mechanical Turk)的眼動追蹤進行收集,且所有的圖像選擇于自然場景SUN[18]圖像數據庫,共有6 000個訓練圖像、926個驗證圖像、2 000個測試圖像。在選用的數據集中,有些圖片的背景特征特別復雜,這也增大了顯著性檢測的難度。

3.2 評價指標

為了定量評估本文模型的性能及有效性,選用相似性(Similarity)、AUC(Area Under Curve)及相關系數(Correlation Coefficient,CC)作為評價指標。其中,AUC值為ROC曲線與x軸之間距離的積分,能直觀地衡量檢測結果的優劣程度,取值范圍為0～1,且1為最佳狀態。CC表示模型預測的顯著性區域與人眼關注區域之間的線性關系,由2個映射對應的標準偏差之間的協方差計算得出,該取值范圍為0～1之間,且結果值越大說明兩者之間具有較好的線性關系,顯著性檢測準確率也就最高。

3.3 結果分析

在本實驗中,所有數據分為2個子集:一個用于訓練(75%);另一個用于測試(25%)。55%的數據(訓練集)用于訓練模型。20%的數據(驗證集)用于測試模型訓練結果。測試數據(25%)用于獲取本文所提出模型的顯著性值。圖3展示了訓練過程的數據分布情況。同時,將本文算法與其他參與者進行比較,包括LCYLab[19]、基線Itti[2]、改進Rare 2012[20]、基線GBVS[3]、Xidian[21]、基線BMS[22]、WHU IIP[19]。

圖3 實驗數據集分布

表1給出了本文算法在2個數據驗證集上的檢測結果。可以看出,各個指標值都較為理想,在2個數據集中呈現出非常有競爭力的結果,也體現了本文算法在數據集之間具有較好的魯棒性。表2、表3詳細列舉了本文算法與其他顯著性算法在2個數據集上所得的實驗值。對于所考慮的每個指標,本文算法的檢測值與真實顯著值的相似度是最高的,且在2個數據集上都取得較好的AUC值,表明了本文所提模型的優越性能。圖4直觀地比較了顯著性預測的平均AUC。與最先進的方法相比,本文算法的檢測精度在SALICON數據集上提高了約6.42%,在iSUN數據集上提高了7.32%。整個模型結構表現出較小的偏差,多角度證明了本文提出的算法具有更強的魯棒性。

表1 不同數據驗證集上的測試結果

表2 iSUN測試集上的檢測結果比較

表3 SALICON測試集上的檢測結果比較

圖4 7種顯著性檢測算法的平均AUC比較

可視化效果如圖5所示,在每組中,左邊第1列為原始圖像,第2列為Ground truth,第3列為本文算法預測的顯著圖。可以看到,本文算法提供更高的空間分辨率,顯著區域的聚焦點突顯,也與視覺注意點吻合,滿足人眼視覺的觀賞性。此外,無論是在復雜場景(草地),還是較大顯著目標區域(木屋)或較小顯著目標區域(足球場),本文算法都能取得不錯的效果,表明提出的模型具有良好的穩定性。然而,在效果圖中有一些塊狀片,影響了部分可視化的愉悅度,產生該現象的原因是對于顯著性與非顯著區域特征的提取不是很精確。總地來說,從定量化評價與整體視覺效果都一致證明本文算法的預測結果要優于其他算法。這也與本文任務相一致,將顯著性檢測轉換為回歸問題,利用深度學習方法設計端對端模型,進而提高檢測準確率的能力。

圖5 由本文算法在實驗數據集上生成的顯著圖

4 結束語

本文提出一種組合卷積神經網絡與空間變換神經網絡進行顯著性檢測的新型端對端算法。首先對源圖像進行預處理,接著對全局與局部特征采用不同的提取策略并進行融合。利用CNN深度捕捉上下文信息從而豐富圖像的全局特征,用于突出顯示顯著區域內部的優勢;將空間變換技術加入到CNN層以學習局部信息,有助于控制背景噪聲。融合全局顯著圖與局部顯著圖后獲得最終顯著結果。實驗結果表明,本文算法相較于其他基于圖像的顯著性檢測模型在相識度及AUC上均有一定的提高,算法在iSUN數據集上的平均AUC為0.893 9,相似度系數為0.702 5,相較于主流算法有一定優勢,說明了空間卷積神經網絡的重要性,以及融合局部與全局特征進行顯著性檢測的有效性。本文提出的空間卷積神經網絡模型能夠快速計算圖像的顯著值,實現了輕量級架構。但是模型參數有限,所以下一步工作是加深該模型的網絡深度,進一步挖掘圖像中的深層次信息。

[1] ZHANG Xilin,LI Zhaoping,ZHOU Tiangang,et al.Neural activities in v1 create a bottom-up saliency map[J].Neuron,2012,73(1):183-192.

[2] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[3] HAREL J,KOCH C,PERONAP.Graph-based visual saliency[C]//Proceedings of the 20th Annual Conference on Neural Information Processing Systems.Cambridge,USA:MIT Press,2007:545-552.

[4] ACHANTA R,ESTRADA F,WILS P,et al.Salient region detection and segmentation[C]//Proceedings of the 6th International Conference on Computer Vision Systems.Berlin,Germany:Springer,2008:66-75.

[5] RAHTU E,KANNALA J,SALO M,et al.Segmenting salient objects from images and videos[C]//Proceedings of European Conference on Computer Vision.New York,USA:ACM Press,2010:366-379.

[6] WEN Shifeng,HAN Junwei,ZHANG Dingwen,et al.Saliency detection based on feature learning using deep Boltzmann machines[C]//Proceedings of IEEE International Conference on Multimedia and Expo.Washington D.C.,USA:IEEE Press,2014:1-6.

[7] 易 生,梁華剛,茹 鋒.基于多列深度3D卷積神經網絡的手勢識別[J].計算機工程,2017,43(8):243-248.

[8] 王奎奎,玉振明.基于DCT零系數與局部結構張量的局部模糊檢測[J].計算機工程,2017,43(6):207-211.

[9] 江 帆,劉 輝,王 彬,等.基于CNN-GRNN模型的圖像識別[J].計算機工程,2017,43(4):257-262.

[10] LI Guangbin,YU Yizhou.Visual saliency detection based on multiscale deep CNN features[J].IEEE Transactions on Image Processing,2016,25(11):5012-5024.

[11] LI Hongyang,CHEN Jiang,LU Huchuan,et al.CNN for saliency detection with low-level feature integration[J].Neurocomputing,2017,226(3):212-220.

[12] QU Liangqiong,HE Shengfeng,ZHANG Jiawei,et al.RGBD salient object detection via deep fusion[J].IEEE Transactions on Image Processing,2017,26(5):2274-2285.

[13] 李岳云,許悅雷,馬時平,等.深度卷積神經網絡的顯著性檢測[J].中國圖象圖形學報,2016,21(1):53-59.

[14] KRUTHIVENTI S S,GUDISA V,DHOLAKIYA J H,et al.Saliency unified:a deep architecture for simultaneous eye fixation prediction and salient object segmentation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2016:5781-5790.

[15] He Shengfeng,LAU R W H,LIU Wenxi,et al.SuperCNN:a superpixelwise convolutional neural network for salient object detection[J].International Journal of Computer Vision,2015,115(3):330-344.

[16] JADERBERG M,SIMONYAN K,ZISSERMAN A,et al.Spatial transformer networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems.Cambridge,USA:MIT Press,2015:2017-2025.

[17] JIANG Ming,HUANG Shengsheng,DUAN Juanyong,et al.SALICON:saliency in context[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2015:1072-1080.

[18] XIAO Jianxiong,HAYS J,EHINGER K A,et al.SUN database:large-scale scene recognition from abbey to zoo[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2010:3485-3492.

[19] IBARZ J,SZEGEDY C,VANHOUCKE V,et al,Large-scale scene understanding(LSUN)[EB/OL].[2017-04-20].http://lsun.cs.princeton.edu/leaderboard/#saliencyisun.

[20] RICHE N,MANCAS M,DUVINAGE M,et al.Rare2012:A multi-scale rarity-based saliency detection with its comparative statistical analysis[J].Signal Processing:Image Communication,2013,28(6):642-658.

[21] XIA Chen,QI Fei,SHI Guangming.Bottom-up visual saliency estimation with deep autoencoder-based sparse reconstruction[J].IEEE Transactions on Neural Networks and Learning Systems,2016,27(6):1227-1240.

[22] ZHANG Jianming,SCLAROFF S.Saliency detection:a boolean map approach[C]//Proceedings of IEEE International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2013:153-160.