融合顯著性檢測的圖像檢索方法研究

田 楓,盧圓圓,劉 芳,劉宗堡

(1.東北石油大學 計算機與信息技術學院, 黑龍江 大慶 163318;2.東北石油大學 地球科學學院, 黑龍江 大慶 163318)

如今,由國防和民用衛星、軍事偵察、指紋和面部數據、生物醫學和家庭娛樂等產生的圖像數據正在呈幾何倍數增長,海量的多媒體資源在方便人們生活的同時也給人們帶來了一定的困擾。人們需要花費更多的時間和精力去篩選和過濾無價值圖像才能得到有用信息。隨著現代計算機科學的發展,人們有必要使用計算機獲得圖像信息,從而有效提高圖像處理性能[1]。

圖像檢索的發展自基于文本的檢索技術到基于圖像信息內容的其他語義,如圖像的主體色彩[2]、紋理[3]等用來進行圖像檢索已不能夠滿足當今用戶的復雜需求。基于深度學習方式的出現使得圖像的概念與高級語義之間的距離變小。通過模型得到圖像的特征向量[4],例如:AlexNet[5]模型使用非線性激活函數來提升特征的豐富性。人類的視覺系統具有極強的數據處理能力[6],計算機視覺是研究如何把計算機的視覺表達系統和人類所擁有的對外界的感知和分析的能力變得等同起來。顯著性檢測作為視覺研究的重要組成部分,關注從一個自然的圖像場景中選擇性地抽取出最重要的區域或物體[7]。因此,將顯著性檢測[8]算法融入到圖像檢索中會使檢測結果更加貼近人們所希望的結果。

1 相關工作

圖像檢索的方法早期是基于文本的,提出過顏色直方圖分塊加權提取算法,融合文本和圖像內容的混合相似度的檢索方法等。傳統的圖像檢索方法缺點是大量的圖片需要人工設計特征,工作量過大。為解決此問題出現了基于圖像內容的檢索方法。

Xia等[9]提出一種基于卷積神經網絡的哈希方法CNNH(convolutional neural network has-hing),該方法利用標簽信息構造圖像訓練集的相似性矩陣,并分解產生相應的哈希碼。Vaccaro等[10]利用基于NetVLAD的新型多尺度局部池化和基于樣本難度的三元組挖掘程序來獲得有效的圖像特征,提高了圖像檢索準確率。林城龍[11]使用一個輕量級的卷積神經網絡模型來檢索圖像,并利用多任務分類方法對圖像精細分類。綜上所述,基于深度學習的圖像檢索技術有著優秀的語義提取能力和更加關注高層信息的特點。研究者通常是使用多種技術相結合或者是使用特定的訓練集對檢索方法進行特化的方法來提高檢索精度。

顯著性檢測方面的研究起初是由生物感知學科入手的。最早是作用于圖像的顏色、強度和方向的模型[12],隨后顯著性模型大量涌現,2007年提出的頻譜殘差SR模型,2008年提出的PFT模型,2013年提出的基于多尺度頻域濾波的HFT模型等。隨著卷積神經網絡的引入,顯著性檢測迎來了第三次發展高潮。卷積神經網絡通常包含許多可調節的參數和感受野,可以更好地識別出圖像中的主要區域。 這些優點使得其逐漸成為顯著性物體檢測研究的主要方向。

因此針對如何將海量圖像進行有效組織并且迅速的檢索得到人們所希望看到的圖像即圖像檢索的準確率問題,本文將顯著性檢測的方法與圖像檢索方法相互融合,提出了基于顯著性檢測的兩階段圖像檢索模型NL-VG(NLDF-VGG16),首先搭建局部特征圖與全局特征圖相結合的非局部深度特征模型(NLDF)的顯著性檢測網絡,其中使用了Sobel算子[13]邊緣檢測算法,定位圖像中的顯著性區域,其次搭建VGG-16網絡,對定位到的顯著性區域使用VGG-16網絡進行特征提取,得到特征向量。最后構建圖像檢索系統,對于任意輸入的圖像,將得到的特征向量利用相似性度量方法和建立的圖像檢索庫相匹配并顯示與之相似的圖像[14],最終輸出輸入圖片最相似的檢索結果。

2 NL-VG兩階段圖像檢索模型構建

2.1 NL-VG整體網絡搭建

此兩階段的檢索模型(NL-VG)的第一部分使用圖像的顯著性檢測方法從而得到圖像中的主要部分,生成顯著圖。圖像的感興趣區域通常包含了圖像的重要內容信息[15]。第二部分利用第一部分的結果,使用神經網絡進行訓練得到檢索的特征向量。在第二部分,將處理后得到的顯著性圖像作為輸入。使用神經網絡進行特征抽取,使用池化操作,獲得一個用于檢索的特征向量。對數據庫中的所有圖像進行上述兩階段的操作,均可得到對應的檢索向量,生成檢索庫。對于任意的一幅圖像,計算得到的檢索庫中所有檢索向量與輸入圖像之間的余弦距離,相似程度即由余弦距離的數值大小來反映。限制檢索結果的輸出個數,方式為根據余弦距離的大小排序。此兩階段模型的整體結構如圖1所示。

圖1 NL-VG網絡模型結構

本文的兩階段圖像檢索模型NL-VG第一階段使用的是NLDF(non-localdeepfeatures)模型,其使用了大量的殘差結構來將網絡的各中間結果結合在一起,更好地獲得全局上下文信息和局部注意力信息。NLDF一共有16層。第1層到第5層的結構均使用的是卷積加池化的操作,得到的是一個帶有全局信息的特征圖。第5層到第9層只使用卷積操作,同時使用了殘差結構,1層至5層的輸出結果作為6層至10層的輸入。之后5層使用反卷積,同樣是用到了5層至10層的結果。將第10層與第15層的結果進行結合,生成帶有局部信息的特征圖,最后將全局與局部特征圖結合,進行主要區域的判斷,得到圖像的主體圖。第二階段模型是對得到的主體圖像進行特征提取。模型見圖1中的實線框內的部分,使用的是一個有5個模塊且每個模塊內均為2個卷積層加上一個最大池化層的結構,池化層用來對圖像降維,并在神經網絡訓練時使用預訓練權重,最終得到檢索向量用于圖像檢索。

2.2 NL-VG子網絡搭建

本文第一階段使用的是NLDF(non-localdeepfeatures)模型,此模型使用了大量的殘差結構來將網絡的各中間結果結合在一起,更好地獲得圖像信息。普通的神經網絡會隨著網絡深度的增加而存在梯度爆炸和梯度消失等問題,變得越來越難以訓練。本網絡中使用的殘差結構[16]使得訓練深度網絡變得更加容易。

傳統網絡通過訓練學習輸入x與輸出H(x)之間的關系,其中x為輸入數據,H(x)為輸出。殘差塊則使用有參網絡層,在某一層的線性模塊之后來學習輸入、輸出之間的殘差,如式(1)所示,其中殘差塊結構如圖2所示。

F(x,Wi)=W2σ(W1x)

(1)

式中:W1和W2表示有參卷積層的權值;σ表示ReLU函數;F表示殘差映射函數;Wi表示第i層卷積層的權值矩陣。

根據圖2,輸入與輸出的關系為x→F(x,Wi)+x。由于輸入與殘差之間的關系更易表示,因此該模型具有更強的圖像特征提取能力。

模型中殘差塊卷積層的卷積核數目如表1所示。

圖2 殘差塊結構圖

表1 各卷積層的卷積核數目

此檢索模型,第一階段不僅使用了圖像中的信息,更重要的是對圖像的主要信息即顯著性信息進行了特征提取,使用戶的檢索結果更加準確。

NLDF使用IoU計算預測值與實際值之間的差值大小,見式(2)。CEL使用了交叉熵損失,見式(3)。將上述2個公式采用線性組合的方式制作了新的損失函數,見式(4)。

(2)

(3)

Loss=∑jλjCEL(j)+∑jλj(1-IoULoss)

(4)

在NLDF網絡中運用了Sobel算子檢測算法。是一種利用局部差分尋找邊緣的方法。其由橫、縱2個方向的卷積核構成,圖像中的像素分別與其做卷積,經過閾值處理得到方向上的邊緣圖像,可以提供較為準確的信息。

Sobel平面卷積的原理如式(5)所示:

(i*1)+(h*2)+(g*3)+

(f*4)+(e*5)+(d*6)+

(c*7)+(b*8)+(a*9)

(5)

水平、豎直2個方向的亮度差分近似值如式(6)(7)所示:

(6)

(7)

其中:A是指原圖像;Gx及Gy是指對水平和豎直2個方向的計算。梯度值計算如式(8)所示。

(8)

原始圖像如圖3所示,Sobel算子的檢測的效果圖如圖4所示。

圖3 原始圖像

圖像檢索的第二階段是對第一階段得到的圖像進行特征提取。圖像數據隨著網絡的發展也快速地增長。對于大量的數據圖像,通常使用卷積神經網絡來處理。ImageNet數據集中包括數量巨大的網絡圖像,此模型對未知圖像的預測能力較好。本實驗的圖像檢索模型中,使用了預訓練的神經網絡權重來實現特征提取,本文中使用的模型是VGG-16。VGG-16的網絡層數深,更加適合于大數據集,此網絡既可以保證感受野,又能夠減少卷積層的參數,在此網絡中使用2個3*3來代替1個5*5的效果,3個3*3來代替1個7*7的效果,使得參數更少,對特征學習能力更強。VGG-16結構如圖5所示。

圖4 Sobel檢測效果圖

圖5 VGG-16結構

本文的特征提取模型結構如圖1中的實線框部分所示。把圖片放入一個可以使用預計算訓練權重的卷積模型的神經網絡,這里指的是一個有5個模塊的且每個模塊均為2個卷積層加上1個最大池化層的模型。在此模型中,所有卷積都使用了大小為3×3,步長為1的窗口,而池化操作都使用了大小為2×2,步長為2的窗口。3×3的卷積窗口,相較于5×5與7×7的窗口來說能夠有效減少網絡參數,加快模型訓練速度。

2.3 基于NL-VG的檢索模型的圖像檢索

在傳統的檢索任務中,對圖像進行分塊,然后根據每個分塊提取圖像特征,將2個差異較大的塊聚類成一個簇,簇中每個元素的距離取決于原始特征提取方法的質量。當圖像塊的特征提取方法不能有效濾除噪聲點時,會影響聚類效果,進而影響每個特征對應的聚類名稱,最終導致塊間距離的差距變大。

圖像檢索[17]主要分為圖像入庫和圖像檢索兩部分。圖像入庫即將上述兩階段訓練得到的特征向量作為圖像的數據庫。在進行檢索時,根據特征相似性可以進行不同度量的綜合算法分析計算得出被檢索的數據特征和分組數據,并將需要查詢的數據特征和檢索數據庫中系統相應的各個分組數據特征之間的相似度關系進行計算,把綜合檢索圖像所得的計算結果從大到小依次進行排序后,再將計算得到的一個用于匹配檢索圖像的發送到進行檢索的系統用戶。圖像檢索基本流程如圖6所示。

圖6 圖像檢索基本流程框圖

相似性度量是檢索系統中的主要部分,通過特征模塊檢索完成匹配,從而實現目標圖像的檢索[18]。一般的相似性度量可以通過計算特征的距離來實現。本文使用的相似性度量方法是余弦距離,又稱余弦相似度。計算方法見式(9)。

(9)

其中,分子運用的是點乘的計算方式,分母是向量的模相乘。結果越小相似度越高,越大相似度越低。余弦距離只與角度差值有關,與長度無關。余弦距離是圖像檢索中常用的距離度量方式。

3 實驗結果與分析

3.1 數據集構建

本文實驗中使用15個類別,共3 000張圖像作為此實驗的數據集。數據集的獲取使用的是爬蟲方法,自動獲取信息或數據。按照一定的規則從萬維網上抓取網頁信息的程序或者腳本[19]。 使用requests請求向目標地址發起請求,在返回的數據里面就有所需要的圖片的存放地址,將圖片地址和其他信息區分開來,提取圖片地址。最后將路徑中的文件下載到電腦中。

對下載的圖像進行數據預處理,對不符合要求的圖像進行刪減,刪減后對圖形進行數據增廣處理,增加樣本數量并構建數據集[20]。

3.2 網絡訓練

實驗部分的軟硬件環境如下所示:

系統:Windows 10 專業版

硬件:顯卡NVIDIA GeForce 920M,CPU為Intel(R) Core(TM) i5-7200U CPU

軟件:PyCharm 2020.1,Anaconda5.3.1

內存:16 G

采用基于TensorFlow框架的VGG-16進行圖像的特征提取,并在做特征提取前使用顯著性檢測算法對圖像進行處理得到顯著圖,從而使圖像檢索的準確度得到保證。采用網絡爬蟲技術獲取圖像,對獲取到的不符合要求的圖像進行刪減并進行數據增廣構建訓練的數據集。由于卷積神經網絡擁有大量的參數,訓練網絡時需要的訓練樣本較大。因此,在現有數據的基礎上增加訓練數據成為提升網絡性能的一個重要方式。它可以提高模型的泛化能力。在參數設置上,其參數由經過預訓練的參數權重進行初始化,方式為隨機初始化。網絡訓練時在原來基礎上進行數據的微調,將學習率設置為0.000 1,動量設置為常用數值0.9。每次選取小批量訓練樣本并計算預測的誤差累積來更新網絡參數。每次訓練樣本的數量batchsize設置為50,使用梯度下降的優化方法對網絡參數進行更新。

3.3 評價指標

對于兩段式圖像檢索模型采用查準率(precision)、查全率(recall)、平均精度(AP)、平均精度均值(mAP)作為模型的評價指標。

查準率代表模型正確預測的圖像數量(TP)占所有預測圖像的總數量(TP+FP)的比值,如式(10)所示:

(10)

查全率在本文中代表模型正確預測的圖像數量(TP)占所有圖像的總數(TP+FN)的比值,如式(11)所示:

(11)

平均精度(AP)用來計算單類別模型平均準確度。平均精度均值(mAP)就是對所有類別的AP值求平均值,N代表類別總數。如式(12)所示:

(12)

3.4 實驗及結果分析

此兩階段圖像檢索模型中,在第一階段利用顯著性檢測算法并沒有使用圖像中的全部信息,而是運用圖像的主要信息,即使用顯著性檢測模型得到顯著性區域,后續進行特征提取時就能夠提取到表征能力較強的特征,使得圖像檢索的正確率有所提高。圖7(a)是原始圖像,圖7 (b)是提取出的圖像的最重要的顯著性區域。

對原始主體圖像中點的像素值大小進行判斷。對于三通道的圖像,像素點范圍是在[0,255]區間內,選擇127作為閾值能在最大程度上獲取信息。

為了更加直觀地觀察出方法的效果,進行了視覺對比,其他方法比較結果如圖8所示。根據效果對比圖可知全局特征與局部特征相結合的方式可以更好地得到顯著圖。

圖7 原始圖像(a)和顯著圖(b)

圖8 對比效果圖

圖像檢索的階段采用了map方法作為科學評價的主要指標,測試本文實驗方法的科學有效性。數據集選擇背景簡單的5個類別的圖片各20張,分別為狗、貓、大象、花、樹。另外選擇包含這5個類別中至少2個類別的背景較為復雜的圖片20張,共挑選了120張圖片進行實驗,實驗結果如圖9所示。本模型與其他模型的數據對比結果如圖10所示。

圖9 圖像檢索模型實驗結果

圖10 模型結果

SpoC方法意在對特征圖中信息進行有效整合以獲得更好的效果。Crow方法提出交叉維度的加權求和方法,對特征圖的信息進行進一步處理。

在對圖片使用神經網絡進行特征提取之前,先利用顯著性檢測模型獲取一幅圖像中的顯著性區域,相較于之前直接進行特征提取的方式有效提高了圖像檢索時的正確率。模型中使用了全局特征圖與局部特征圖相結合的方式,對特征圖中各種信息進行有效整合,以獲得更好的效果。本文的準確率比傳統算法有所提高。通過觀察發現,圖像中大部分的顯著性區域是在圖像的中間位置,所以在實驗時應該更關注于圖像的中心位置,所以對于一個特征圖,越接近圖像中央的部分權重越大,這種方法可以在一定程度上更加準確地利用圖像的主體信息。

4 圖像檢索原型系統開發與驗證

為直觀地顯示圖像檢索的結果,利用交互式工具包PyQt5設計可視化界面,構建圖像檢索系統。本文所設計的系統共包含5個功能。系統功能模塊如圖11所示,系統總體流程如圖12所示。

圖11 系統功能模塊框圖

圖12 系統總體流程框圖

圖像檢索系統的登錄界面如圖13所示,進入登錄系統界面,需要輸入登錄用戶名和登錄密碼2種基本信息即可完成本次登錄,此界面包含登錄和退出2種功能。系統主界面如圖14所示。

圖13 系統登錄界面

圖14 系統主界面

系統圖像檢索界面如圖15所示,包含選擇圖片,轉到上一頁或下一頁3種功能。選擇圖片功能如圖16所示,點擊選擇圖片彈出文件夾,可以在其中選擇想要進行圖像檢索的圖片。確認圖片后,系統會出現檢索結果。對檢索結果的翻頁功能如圖17和圖18所示。對1張圖片進行檢測時,一頁不能夠完全顯示出來,此功能可以翻頁并在所在頁面是第一頁或最后一頁時進行提示。

圖15 系統檢索界面

圖16 選擇圖片界面

圖17 上一頁功能界面

圖18 下一頁功能界面

5 結論

針對在海量圖像數據下圖像檢索的準確度的問題,提出了一種改進的NL-VG(NLDF-VGG16)兩段式圖像檢索模型,該算法首先搭建局部特征圖與全局特征圖相結合的非局部深度特征模型(NLDF)的顯著性檢測模型,此模型使用了大量的殘差結構來將網絡的各中間結果結合在一起,更好地獲得全局上下文信息和局部信息。 在NLDF中使用了Sobel算子邊緣檢測算法,定位圖像中的顯著性區域,其次搭建VGG-16網絡,對定位到的顯著性區域使用VGG-16網絡進行特征提取得到特征向量。最后使用PyQt5構建圖像檢索原型系統,并在自制數據集上進行實驗。對于任意輸入的圖像,利用相似性度量方法進行特征匹配,最終輸出與輸入圖片最相似的檢索結果。證明在融入了顯著性機制后的圖像檢索方法能夠有效提高檢索的準確度。