基于改進特征的圖像檢索方法研究

喬鴻海, 鄧正宏, 薛靜, 宋群

(西北工業大學 自動化學院, 陜西 西安 710072)

基于內容的圖像檢索系統(content based image retrieval)是智能圖像檢索系統中重要組成部分，旨在針對圖像內容進行相關信息的檢索，以彌補基于人工標注文字信息的圖像檢索技術的不足，并能夠廣泛應用于海量信息的檢索查詢。目前，針對圖像內容、顏色、輪廓以及紋理分布等特征信息，基于內容的圖像檢索方法主要采取特征信息的匹配、分類和搜索等[1]。Feng等[2]提出一個基于全局關聯性描述子特征提取方法，該類子特征描述是綜合圖像特征結構元素關聯性，通過統計直方圖來描述顏色的相關特征。Ashraf等[3]針對待檢索圖像，使用Bandele或其他算子變換來進行特征的提取，能夠反饋與待檢索圖像的主要內容或核心對象相關圖像以及數據。Alkhawlani等[4]提出一種基于快速自適應特征變換(SURF)和尺度不變特征變換(SIFT)的局部特征算子提取以及圖像檢索方法。SIFT算子能夠適應旋轉和尺度變化等實際情況。在光照發生變化的條件下，SURF算子具有較好的自適應性。通過圖像關鍵點SIFT和SURF特征的提取和匹配，實現圖像檢索。Chatbri等[5]提出將整體圖像分割成若干部分，并分為不同類別，通過目標形狀特征和信息搜索查詢方法完成圖像檢索。Badawi等[6]提出一種基于遺傳算法和局部搜索的反向標簽傳播的分類算法，通過分類標簽傳遞以及迭代聚類過程的方式應用于圖像檢索技術。

在特征匹配檢索方法中，根據Chathurika的研究[7],通過提取灰度圖像分塊均值特征，表達圖像主體內容信息，但其方法對特征要求過于簡單并忽略了顏色等重要相關信息，降低了檢索準確度。根據Kobayashi的研究[8]，通過對圖像進行局部二值模式(LBP)特征提取和離散余弦變換(DCT)后，獲取圖像紋理的特征向量，但離散余弦變換不能完全排除高頻噪聲的影響，同樣造成了圖像誤檢或漏檢的現象。

針對上述方法的一些不足和實際圖像檢索應用的需要，提出一種基于改進的顏色和紋理特征的圖像檢索方法。算法應用HSV顏色空間模型，并將其各分量劃分若干子區域后求其區域均值。根據改進關聯權值模型，獲取顏色區域均值特征向量。顏色特征向量的維度得以減少，同時能夠較好反映顏色內容以及區域分布狀態。通過Haar小波的二維非規格變換，提取圖像的低頻分量。根據低頻系數結構模型，獲得低頻特征向量。利用較少維度的低頻特征向量表征圖像的邊緣、紋理和細節等信息。通過Canberra距離的變式，計算出待檢索圖像和庫圖的相似度值，用于反饋檢索圖像，以求提高圖像檢索的準確率、檢索率和運算速度。

1 基于改進加權均值顏色特征

均值特征由于計算復雜度極低、能夠表達區域圖像內容等特點在圖像檢索、匹配以及模式識別等領域有著廣泛的應用。

算法將待檢索圖像轉換為HSV顏色空間。在通過簡單平滑濾波處理后，將3個顏色分量分別設置成N×N(N為偶數)大小。選取顏色模型中H分量,并求取其均值IA0,并作為特征值P(0),如圖1所示。

圖1 N×N區域示意圖

然后,算法再次將上述分量,劃分為N/2×N/2和N/4×N/4大小的子區域;同時,求取各個子區域均值,并作為特征參考值IA1到IA20,如圖2所示。

圖2 子區域示意圖

區域特征需要區域分布特征值與其均值之間具有一定關聯性。因此使用關聯權值模型(correlation weight model)來提取特征值。關聯權值系數d的引入,可以使顏色分量子區域的分布特征值與其均值之間建立關聯度,以提高特征數據在顏色空間分布中的表達程度。

算法只在N/2×N/2和N/4×N/4子區域進行分布特征值的計算。若第k個子區域矩陣Ak和均值IAk,則其特征值為P(k):

(1)

(2)

圖3 關聯權值系數求解示意圖

通過上述計算過程,并應用于顏色模型的S和V分量,獲取加權均值顏色特征向量序列P,如圖4所示。

圖4 顏色特征序列示意圖

通過N和n的選取和設置,可以提取維度不等的特征向量,考慮檢索效率等相關因素,選取63維。

2 基于改進低頻紋理特征

圖像可以通過頻域變換,分解為低頻和高頻分量。圖像的細節和紋理信息主要在低頻分量中得到了較好保留,而圖像噪聲主要集中在高頻分量。在圖像分解過程,忽略高頻分量,只針對低頻分量進行紋理特征向量的提取,并用于反映圖像細節等內容信息[9]。

Haar小波函數因其構造簡單,對應的濾波器具有線性相位性,并且計算復雜度較低等優點,在圖像分解和壓縮等領域存在廣泛的應用。非規格化的Haar小波變換相對于傳統的沃什變換或者離散傅立葉變換等而言,其計算效率較高。

Haar小波的一維非規格化變換的原理是設定一個x(n)整數列,并結合(3)式和(4)式定義的2個序列進行相應描述,主要包括近似系數h(n)和細節系數l(n),其定義如下:

h(n)=x(2n)-x(2n+1)

(3)

l(n)=x(2n)+x(2n+1)

(4)

Haar小波二維的非規格化分解可以將圖像分解為低頻(LL)、水平高頻(LH)、垂直高頻(HL)以及對角高頻(HH)四部分。根據公式(3)和(4)在圖像行和列上進行變換,即分別對圖像行和列的數據進行一維非規格化變換,并提取圖像的低頻分量。通過對低頻部分進行二維的規格化,并形成低頻多層金字塔結構模型,其中,圖5為Haar小波分解結構圖。

圖5 Haar小波分解結構圖

考慮計算復雜度和細節紋理信息反映程度等原因,算法只對圖像低頻分量的最大尺度LL1建立低頻特征結構模型(low-frequency feature structure model),并完成紋理特征向量提取。

先將圖像進行Haar小波分解變換,并獲取低頻分量LL1。再將低頻分量分為若干子區域,并對各個子區域進行相應調整,并形成左上部分為較為低頻部分和右下部分為較為高頻部分。這樣較為低頻部分更能突出反映細節信息,并減弱較為高頻部分的影響。

考慮分量尺度和特征維度等因素,將各個子區域劃分為16塊,求取各個塊均值,排序后形成特征模型的幾何結構,如圖6所示。

選取第一個子區域,A00為最低頻塊均值,作為參考離散系數和特征值a[0]。而A01,A10和A11塊均值和A00的偏差較小,同樣能夠表達低頻紋理信息,并作為特征值a[1],a[2]和a[3]。由于其余塊均值和A00的偏差較大,則通過加權方式反映低頻紋理信息,并作為特征值a[4],a[5]和a[6],如(5)式所示,其中,低頻特征權值ω1為0.4,ω2為0.35,ω3為0.25。根據相似性區分度需要,將低頻特征數值進行二值化處理。

圖6 低頻特征結構模型

(5)

通過上述計算過程,實現圖像紋理特征向量序列的提取。選取36個子區域,特征向量大小為252維,如圖7所示。

圖7 低頻紋理特征序列示意圖

3 圖像相似度求解

計算待檢索圖像和數據庫圖像之間的相似度值,并用于后續圖像檢索性能指標的測試。顏色特征和紋理頻域特征對圖像內容的反映程度存在一定差異,對檢索性能指標也有一定影響。在相似度求解的過程中,分別對顏色和紋理特征向量,按照Canberra距離相似度(6)式和(7)式進行顏色和紋理相似度s1和s2的求解。通過(8)式設置顏色和紋理特征的權值ξ1,并確定檢索圖像相似度s,使得檢索性能達到最優。

(6)

(7)

s=s1ξ1+s2(1-ξ)

(8)

式中,k和m為顏色和紋理特征向量維數。pi和qi向量表示待檢索圖像和數據庫圖像的顏色均值特征向量。fi和gi向量則表示待檢索圖像和數據庫圖像的低頻紋理細節特征向量。

4 實驗過程及結果分析

算法實驗環境:CPU為Intel-CoreI3-4160,內存8G,操作系統是Windows7 Professional 64位版本,程序編寫環境為Matlab2014b-64位。

1) 檢索時間測試。檢索時間反映算法在檢索過程中的處理速度性能。檢索時間的影響因素主要包括特征向量提取和高維匹配過程消耗。為了驗證本文算法的有效性,比較3種經典基于特征匹配方法,即顏色直方圖特征(TCHF)[7]、灰度均值特征(TGMF)[7]以及局部二值模式結合離散余弦變換(LBP+DCT)[8]。通過對比實驗,上述4種算法特征向量維數和檢索時間如表1所示。

表1 特征維數及檢索時間表

表中數據分析,本文方法的檢索時間要少于LBP+DCT,而略高于TCHF和TGMF,但能夠保證較為快速地檢索匹配。本文方法在特征向量維數上要多于TCHF和TGMF,對檢索圖像內容的反映程度相對較高。

2) 準確率和檢索率測試。檢索性能指標主要包括準確率(accuracy)和檢索率(recall)[10]。準確率A為返回與待檢圖像相關數Nreturn和設定檢索返回數值Nset的比例,如(9)式所示。檢索率R為返回與待檢圖像相關數Nreturn和數據庫中所有與待檢圖像相關數Ndata的比例,如(10)式所示。

(9)

(10)

顏色和紋理特征權值ξ1和ξ2的不同設置,表征2類特征對檢索性能的影響程度。從圖8中的曲線圖觀測,當ξ1和ξ2分別為0.7和0.3時,可以使檢索率和準確率指標達到最優。其中,圖8為Nreturn為20,分類數為10時,權值ξ對應的檢索率和準確率曲線圖。

觀察和繪制準確率對檢索率曲線、準確率對分類數曲線以及檢索率對分類數曲線來評價檢索性能的效果。上述4種方法在Corel-1000標準數據庫中進行準確率、檢索率和分類數之間的性能測試。分類數設置為2類到10類；檢索返回數值設置為20幅。其中，圖9為準確率對分類數曲線；圖10為檢索率對分類數曲線。

從圖9和圖10曲線分析，曲線隨著分類數的增加，即檢索圖庫數量的增加，其準確率和檢索率隨之減小。本文方法相對于LBP+DCT，準確率提高了4.5%；本文方法在分類數為10，返回值為20幅時，其準確率能達到65%。同時，檢索率相比上述方法比較，提高了3%。在分類數為10時，其檢索率也能達到15%。滿足在分類數(圖庫數據)不斷增加的過程中，圖像檢索的性能需求。

圖8 權值ξ對檢索率和準確率曲線圖 圖9 準確率對分類數曲線圖10 檢索率對分類數曲線

圖11 Corel-1000數據庫的準確率對檢索率曲線

圖12 Corel-5000數據庫的準確率對檢索率曲線

準確率對檢索率曲線反映了在檢索率固定前提下，準確率與之對應的關系。設置檢索返回數值為10到100幅，步長為10幅。其中，圖11為Corel-1000數據庫的準確率對檢索率曲線；圖12為Corel-5000數據庫的準確率對檢索率曲線。

從圖11和圖12的曲線中分析觀察，在Corel-1000庫的條件下，本文方法在檢索率為10%時，準確率達到了68%；檢索率為50%時，準確率達到50%。相對于LBP+DCT，準確率提高了4.7%。在Corel-5000庫的條件下，本文方法在檢索率為3%時，準確率達到了24%；檢索率為10%時，準確率達到了15%；同時，相對于LBP+DCT方法，準確率提高了1.7%。

上述性能曲線反映了本文方法在檢索過程中具有較好的性能；同時，通過對比實驗，本文方法的檢索效果要優于其他對比方法。

5 結 論

本文提出了一種改進顏色均值特征和低頻紋理特征的圖像檢索算法，并應用于標準數據庫。針對HSV顏色模型，根據改進關聯權值模型，增加顏色區域特征分布值與區域均值的關聯性。這樣能夠較好反映顏色區域分布狀態，降低特征維度。通過Haar小波二維的非規格化分解，提取其最大尺度低頻分量。根據低頻特征結構模型，求解圖像低頻特征向量序列，用于反映圖像細節紋理信息。通過權值參數設置和Canberra距離變式，計算待檢圖像與數據庫圖像相似度。通過在Corel-1000和Corel-5000標準庫的性能指標驗證，本文方法要優于對比檢索方法。

本文方法是基于內容圖像檢索技術的一種探索。在準確率、檢索率等性能指標上，較之其他同類方法有一定的提高。由于算法計算復雜度低、數據存儲量小也可以移植到嵌入式設備，并提高便攜式圖像檢索系統的智能化程度。