基于顏色特征和空間特征的圖像檢索

孫曉飛，潘文文，王 霞

(棗莊學院信息科學與工程學院，山東棗莊277160)

0 引言

隨著社會和科技的發展，各種圖像采集設備獲取到圖像數量巨大、種類繁多。圖像檢索是有效利用海量圖像數據的前提，也是當今研究的熱點。當前主要有基于文本的圖像檢索和基于內容的圖像檢索兩大類。基于文本的檢索方式反應迅速但效果不佳，這是由于該方式是檢索圖像對應的說明文字，而不是圖像本身?；趦热莸膱D像檢索方式將圖像本身的語義內容提取出來形成檢索特征[1－8]，可以更真實代表圖像本身，搜索結果也更精確，因而越來越受到重視。文獻[9]提出一種基于視覺一致性的圖像檢索技術，通過顏色量化簡化圖像，通過連通性進行分區融合，從而達到圖像分割的目的，通過分割后的的區域顏色特征、面積特征、連通性特征進行圖像檢索，對于顏色相似的圖像檢索效果較好。文獻[10]提出一種將顏色和形狀特征共同構建混合不變量的特征描述方法，并用于圖像檢索，這種方法對于顏色和形狀兩種特征的使用較為合理，不是簡單將兩種特征加權使用，從而可以獲得較好效果。文獻[11]提出一個改進的Itti視覺注意模型，綜合紋理特征和視覺感知關系構造粗糙度圖，通過該改進模型得到50個特征圖，然后采用局部二值模式傅立葉直方圖方法獲取高維特征，最后用局部保持投影方法降維以獲取低維特征用于檢索，該算法實現復雜，但效果較好。文獻[12]提出一種基于多特征點平均矩特征的圖像檢索方法，根據圖像的參照圓與形狀主方向將圖像劃分為多個同心圓，在同心圓內確定一些特征點，使用一種基于多特征點平均矩特征來描述圖像，該算法對商標等簡單圖像效果較好。文獻[13]提出一種基于加權特征空間信息視覺詞典的圖像檢索模型，考慮聚類過程中特征分布統計信息，提出一種均值加權方案，提高視覺詞典的描述能力，獲得了較好效果。這些方法計算量大，算法復雜，效果仍有很大的改進空間。

文中方法受Google感知哈希算法的啟發，感知哈希算法的思想是:首先縮小圖片的尺寸，以減少計算量，然后將圖片轉為64級灰度，將每個像素的灰度值與平均值比較，大于平均值則記為1，否則記為0。將上一步的比較結果組合在一起，就構成一個64位的圖片指紋。通過將不同圖片的指紋比對，判斷圖片的相似度。這種方法優點是簡單快速，缺點是圖片的內容不能變更，對圖片稍作修改則無法識別。這是由于感知哈希算法對圖像信息的保留太少，只保留大致的結構特征。文中采用一種分塊的思想，達到保留足夠結構信息的目的，從而獲得好的檢索結果。提出的圖像檢索算法首先將圖像劃分成10×10個子塊，計算子塊平均顏色值和空間位置作為檢索特征，在減少計算量的同時保留了圖像的顏色信息和空間位置信息，具有很好的檢索效果。

1 基于分塊的圖像檢索

將原圖像劃分為10×10個子塊，計算子塊平均灰度值gi和空間位置pi作為檢索特征fi，共100組特征值，即一幅圖像的特征集合 F = f1∪ f2∪ f3… ∪ f100，其中 fi= {gi，pi}，i=1，2，3…100，其中 pi=，即每個分區的空間位置特征為該分區質心與圖片中心的歐式距離。計算兩幅圖像的差異，用相應分區的平均灰度距離進行度量，并以空間位置作為權值。對應分區之間的差異為:

其中 Di(Im，In)為圖片 Im，In第 i個分區的差異值，dg(g(m，i)，g(n，i))為圖片 Im，In的第 i個分區平均灰度值g(m，i)，g(n，i)之間的差值。兩張圖片Im，In之間的總差異如公式(2)所示，其中N為分區個數100。

選擇公開的corel圖像庫，抽取其中5類，每類100張，共500張圖片。為使統計結果具有普遍性和準確性，對這5大類500張圖片均進行了處理，共500次檢索。通過對這500次檢索結果逐一計算各個查全率下的查準率，來獲取平均查準率。通過公式(2)計算圖片之間的差異，將檢索結果進行排序，越靠前則與待檢索圖片的相似度越高。圖1為大象和馬的檢索結果，可見排在前50位的檢索結果正確率較高，算法對于恐龍和花檢索效果更佳。檢索結果混雜了形狀相近的其他分類的圖像，這是由于該方法使用灰度圖進行檢索，雖然保留了圖像的結構特征，但顏色特征不足。

圖1 基于分塊的搜索結果

文中使用的查準率分為兩種情況:確定查全率的查準率和確定檢出結果數量的查準率，第一種情況的查準率為

其中nr為查全率為r時檢出的正確結果數量，Nr為此時檢出的結果總數。文中使用式(4)計算查全率，其中n為此次檢出的正確結果數量，C為每類圖片的總數量100。分別計算了查全率為10%、20%、30%、40%、50%時5大類圖片的查準率。

第二種情況使用式(5)計算檢出相應數量結果時的查準率，其中n為此次檢出的正確結果數，F為檢出的結果數量。分別計算了檢出圖片數量為10、20、30、40、50時5大類圖片的查準率。

通過大量實驗，統計5大類圖像在兩種情況下的查準率，如圖2所示。圖2(a)中恐龍的查準率保持在100%，方法對于背景比較簡單的圖像，識別率非常高。花朵的查準率沒有明顯下降趨勢，在圖片前景形狀較固定的情況下，該方法表現優秀。馬的平均查準率較高，對于前景大小適中，即使顏色變化較大的圖片，準確率也較高。公共汽車類前景占圖片總面積的比例很大，前景顏色的改變對本方法影響很大，故表現不佳。通過對比發現，方法對于形狀的辨認準確率優于顏色。

圖2 2種情況下的查準率

2 算法改進

使用灰度計算兩幅圖像的差異，雖然能夠有效保留圖像的明暗和結構信息，但對顏色不夠敏感，用相應分區的平均顏色距離進行度量，并以空間位置作為權值，以克服這種缺陷。對應分區之間差異的計算方法為:

其中 dc(c(m，i)，c(n，i))為圖片 Im，In的第 i個分區平均顏色c(m，i)，c(n，i)之間的差值。通過實驗發現，采用街區距離可以在精度不變的情況下簡化運算，提高效率。pi為第i個分區質心與圖片中心的街區距離:

改進后的算法加入了顏色特征，從而能帶來更好的準確性。如圖3所示，改進后絕大多數圖片均有較好的查準率。

圖4為改進后大象和馬的檢索實例，準確率比改進前有明顯提高。圖4(a)為大象類搜索結果，此類圖像前景目標較大，且與背景差異不夠明顯，但在算法改進后檢索效果也較理想。圖4(b)中馬顏色、相對位置、大小等有相似之處，算法改進后能捕捉這些相似特征，達到好的檢索效果。

圖3 corel圖像庫在查全率40%時的查準率

圖4 改進后的檢索結果

改進后5大類圖片的查準率如圖5所示，可見比之前都有很大提高。隨著查全率的提高，馬類查準率基本保持在80%以上?；ǘ漕惖牟闇事食尸F一條平展的直線，表明算法對于前景形狀、位置相近的圖片表現優秀且穩定。大象類的背景與前景相近且背景復雜，公共汽車類圖片前景所占圖片比例太大，前景的改變對圖片空間結構特征、顏色特征影響巨大，但查全率40%之前的查準率都比較好。從圖5(b)可以看出絕大部分圖片在檢出50個結果時都有較好的查準率，因而實用性較高。

圖5 改進后算法的查準率

3 算法復雜度對比

相對于其他研究成果，文中算法有更低的時間復雜度。文獻[3]的算法復雜度主要在預處理和計算圖像塊的差異兩個階段，對于給定寬W高H的圖像，分塊大小為n×n，其時間復雜度為O(L3)，其中L=(H/n)·(W/n)。文獻[4]需要進行較多復雜計算，通過離散傅立葉變換將信號映射到頻域時的復雜度K為O(K)，使用全部復系數對目標輪廓進行傅立葉重構時的復雜度為O(K)，使用部分系數對目標輪廓進行傅立葉重構時的復雜度為O(K)，其中K為輪廓像素數，同時還可以看到傅立葉變換本身就很復雜。文獻[9]在計算每種顏色的連通性系數時需要較大的計算量，其時間復雜度為O(n2)，其中n為顏色種數32;文獻[12]使用了7個Hu不變矩，而Hu不變矩的計算很復雜，比如文中所用的p+q階中心距時間復雜度為O(N2)，其中N為圖像像素個數。文獻[13]的算法復雜度主要在于計算所有簇中特征點到聚類中心的距離均值和均方差，兩者復雜度均為O(N2)，其中N為視覺詞典中視覺單詞的數量。文獻[14]使用了模糊C均值聚類算法，其目標函數的時間復雜度為O(N2)，其中N為矩陣的階。文獻[15]采用曲波變換的能量譜的香農熵對圖像預分類，其計算香農熵的時間復雜度為O(L)+O(J)，其中L是把2π等間隔劃分的角度數，J是尺度數，該算法在特征提取時也有類似復雜度的計算。文中算法復雜度最高的為公式(2)，時間復雜度為O(n)，其中n為分區個數100，故算法的時間復雜度更低，有更好的時間性能。

4 結束語

文中提出一種綜合明暗特征、結構特征的圖像檢索方法，首先將圖像分塊，這可以按比例獲取圖像的結構信息，再按塊計算平均灰度，結合空間位置信息作為該圖片的檢索信息。通過大量實驗發現算法對結構相似圖片檢索效果好，對顏色不夠敏感，于是提出一種改進方法，使用分塊平均RGB顏色結合空間位置描述圖像以提高查準率，使用街區距離代替歐式距離以簡化運算，提高效率。通過對5大類共500張圖片進行實驗，分別按查全率和檢出圖片數量計算10種情況下的查準率，共5000次統計，從而較準確驗證了算法的有效性，證明算法有較高的查準率和實用性。今后研究的重點是進一步提高復雜背景以及前景面積較大兩種情況下的檢索準確率，并將算法應用于其他領域。

致謝:感謝棗莊學院科研計劃青年項目(2011QN43)對本文的資助

[1] 黃祥林，沈蘭蓀.基于內容的圖像檢索技術研究[J].電子學報，2002，30(7):1065－1071.

[2] 鄧誠強，馮剛.基于內容的多特征綜合圖像檢索[J].計算機應用，2003，23(7):100－102.

[3] 韋偉，張功萱.基于HVS的多尺度顯著性檢測算法[J].計算機應用研究，2013，30(2):623－626.

[4] 師文，朱學芳.基于輪廓重構和特征點弦長的圖像檢索[J].軟件學報，2014，25(7):1557－1569.

[5] 莊凌，莊越挺，吳江琴，等.一種基于稀疏典型性相關分析的圖像檢索方法[J].軟件學報，2012，23(5):1295－1304.

[6] Kunttu I，Lepisto L，Rauhamaa J，et al.Multiscale Fourier descriptors for defect image retrieval[J].Pattern Recognition Letters，2006，27(2):123－132.

[7] Abbasi S，Mokhtarian F，Kittler J.Enhancing CSS-based shape retrieval for objects with shallow concavities[J].Image and Vision Computing，2000，18(3):199－211.

[8] Zhang DS，Lu GJ.Study and evaluation of different Fourier methods for image retrieval[J].Image and Vision Computing，2005，23(1):33－49.

[9] 賀廣南，楊育彬，阮佳彬，等.基于視覺一致性的圖像檢索[J].中國圖象圖形學報，2011，16(4):503－509.

[10] 公明，曹偉國，李華.形狀和顏色混合不變量在圖像檢索用的應用[J].中國圖象圖形學報，2013，18(8):990－1003.

[11] 黃傳波，金忠.應用視覺注意多分辨率分析的圖像檢索[J].中國圖象圖形學報，2011，16(9):1656－1663.

[12] 黃元元，劉寧鐘.利用特征點平均矩特征的商標圖像檢索[J].中國圖象圖形學報，2010，15(4):637－644.

[13] 董健.基于加權特征空間信息視覺詞典的圖像檢索模型[J].計算機應用，2014，34(4):1172－1176.

[14] 張靜，許高峰.基于優化分塊顏色直方圖及模糊C聚類的彩色圖像檢索方法[J].計算機工程與科學，2011，33(8):106－111.

[15] 李健，牛振山.基于曲波的紋理圖像檢索系統的設計與實現[J].計算機工程與科學，2011，33(3):106－111，62－66.