分層多特征融合圖像檢索方法研究

潘紅艷

（浙江工商職業技術學院，浙江 寧波 315012）

1 圖像檢索發展背景

在互聯網飛速發展的今天，網上的各種資源以驚人的速度增長，從龐大的信息資源中檢索中出用戶需要的信息變得尤為重要。圖像數據是其中重要的一類數據，它可以將內容以最直觀的方式傳遞給人們。各類購物平臺的出現，也使得圖像數據量激增，用戶希望在浩瀚的圖像數據中快速找到自己需要的圖像。

圖像檢索是根據用戶的需求，在圖像數據庫中查找符合用戶需求的圖像。依據檢索機制的不同，圖像檢索分為基于文本的圖像檢索、基于內容的圖像檢索和基于語義的圖像檢索。由于文本表達能力的局限性和文本標注的歧義性，使得基于文本的圖像檢索的準確性不高。基于語義的圖像檢索，檢索過程中需要提取圖像的高層語義，而圖像的語義提取很困難，且準確性不高，這就限制了該檢索方法的準確性。基于內容的圖像檢索是以圖像的顏色、形狀、紋理來表達圖像特征，從而進行相似性判斷和檢索。基于內容的圖像檢索，由于計算簡單、檢索準確率高的特點，得到廣泛應用。一幅圖像的內容信息是非常豐富的，檢索過程中可以依靠一種特征，也可以聯合多個特征進行檢索。本文選取圖像的顏色特征和邊緣特征，采用分層多特征融合策略，以提高檢索結果的準確率和可靠性。

2 分層多特征融合的圖像檢索

在圖像檢索過程中，如果采用單一圖像特征而舍棄其他圖像特征，會導致對圖像信息的表達不夠全面，從而降低了檢索結果的準確率和可靠性。針對這一問題，本文提出了如圖1所示的融合顏色特征和紋理特征的分層圖像檢索框架。

從圖1可以看出，在提取圖像特征時，先將RGB圖像映射到顏色空間（Hue，Saturation，Value，HSV），再分別提取待檢索圖像和數據庫圖像的顏色特征和紋理特征。在提取顏色特征時，采用顏色矩特征。在提取圖像的紋理特征時，采用灰度共生矩陣的方法。在顏色特征層和紋理特征層，分層分別計算檢索圖像和數據庫圖像的相似度，對分層計算出的相似度進行融合，得到最終的相似度，依據相似度的大小，對檢索結果進行排序和輸出。

圖1 分層多特征融合的圖像檢索框架

2.1 顏色特征的提取

顏色特征是圖像內容特征中最豐富的一個視覺特征，具有大小不變性、方向不變性的特征。圖像顯示時，一般采用RGB模型。HSV模型是針對用戶觀感的一種顏色模型，H表示色調，用角度表示，范圍為0°～360°；S表示飽和度，表示顏色的鮮艷程度，取值范圍為0～1；V表示明度，取值范圍為0～1。色調、飽和度、明度與人眼對顏色的主觀認識相對比較符合，能更好地反映人類對顏色的感知。基于以上考慮，本文在提取圖像的顏色特征時，利用公式（1）～（3）將RGB模型轉換為HSV模型。

本文將H量化成16級，S量化成4級，V量化成4級，這樣得到256個不同的顏色值。顏色矩是一種簡單有效的顏色特征表示方法，向量的計算比較快，可以通過對像素顏色信息的統計計算得到。顏色信息集中在圖像顏色的低階矩中，在圖像轉化為HSV模型后，本文選擇三階顏色矩特征作為圖像的顏色特征。

一階顏色矩表示均值，反映圖像的明暗程度，計算公式如式（4）所示。

二階顏色矩表示標準差，反映圖像顏色的分布范圍，計算公式如式（5）所示。

三階顏色矩表示方差，反映圖像顏色分布的對稱性，計算公式如式（6）所示。

Pi,j：顏色通道i中灰度為j的像素出現的概率。N：圖像中像素的個數。

圖像的顏色矩一共需要9個分量，即圖像的顏色特征表示為：

2.2 紋理特征的提取

在圖像檢索中紋理特征也是被廣泛使用的圖像特征，紋理特征表現為圖像內容規則或部分規則的排列，它描述了圖像的表面和結構屬性。灰度共生矩陣通過灰度的空間相關特性來描述紋理，反映不同像素相對位置的空間信息，本文選用灰度共生矩陣的方法來提取圖像的紋理特征。

本文灰度級取16級，選取了角二階矩（能量）、熵、慣性矩（對比度）、相關度4個紋理特征。在0°，45°，90°，135°方向上分別計算4個紋理特征，然后求取4個方向上的平均值，作為該紋理特征的值，由此得到4維紋理特征向量。如表1所示。

表1 鮮花圖紋理特征向量

表2 建筑圖紋理特征向量

2.3 分層相似度計算

經過2.1和2.2的顏色特征提取和紋理特征提取后，得到9維顏色矩特征向量和5維紋理特征向量，本文對得到的顏色特征向量和紋理特征向量不進行融合，而是在顏色特征層和紋理特征層，分層分別計算檢索圖像和數據庫圖像的相似度，采用一定的融合策略融合得到最終的相似度。

相似度的計算方法很多，本文采用Euclidean距離進行相似度的計算。假設待檢索圖像和數據庫圖像的顏色特征相似度為Ci，紋理特征之間的相似度為Ti，則待檢索圖像和數據庫圖像之間的相似度如式（8）所示。

3 實驗結果與分析

為了驗證本文提出的分層融合的圖像檢索技術的有效性，在自建小型圖像數據庫中進行實驗驗證。實驗環境為Matlab2016b，Win7操作系統。圖像數據庫中有自然風光、昆蟲、魚、建筑、鮮花、汽車6類圖像，每類圖像200幅，共有圖像1 200幅。

以一幅花圖像為待檢索對象，執行本文提出的分層多特征融合的檢索方法，結果如圖2所示。

圖2 檢索結果

與采用單一圖像特征的方法相比，本文提出的圖像檢索方法在圖像查準率和查全率如圖3—4所示。

圖3 圖像檢索查準率

圖4 圖像檢索查全率

4 結語

針對單一圖像特征檢索方法存在的不足，本文提出了一種分層多特征融合的圖像檢索技術，先將圖像映射到HSV空間，再分別提取圖像的顏色特征和紋理特征，提取顏色特征時采用了顏色矩特征，提取紋理特征時采用了灰度共生矩陣的方法。圖像特征提取后，對不同的特征分別分層進行相似度計算，最后對相似度進行融合。在自建小型數據庫上的實驗結果表明，該方法是有效的，能一定程度上提高圖像的查準率和查全率。

[參考文獻]

[1]李冰.顏色紋理形狀特征分層融合圖像檢索方法研究[J].西南師范大學學報（自然科學版），2017（1）：54-59.

[2]沈新寧，王小龍，杜建洪.基于顏色自相關圖和互信息的圖像檢索方法[J].計算機工程，2014（2）：259-262.

[3]王春靜，許圣梅.基于內容的圖像檢索的相似度測量方法[J].數據采集與處理，2017（1）：104-110.

[4]公明，曹偉國，李華.形狀和顏色特征混合不變量在圖像檢索中的應用[J].中國圖象圖形學報，2013（8）：990-1003.

[5]孫延維，雷建軍，蘇丹.綜合顏色塊的直方圖圖像檢索方法[J].華中師范大學學報（自然科學版），2015（2）：201-205.

[6]謝莉，成運，曾接賢.基于顏色和梯度方向共生直方圖的圖像檢索[J].計算機工程與應用，2016（10）：181-186.