基于概率密度和ASIFT的彩色圖像檢索方法

孫晉

（遼寧師范大學 計算機與信息技術學院，遼寧 大連 116029）

隨著多媒體技術的發(fā)展及互聯(lián)網的不斷普及，數字圖像作為一種內容豐富、表現力強的信息儲存形式被大量應用，而海量的數字圖像也因此產生。如何快速準確地從數據庫中找到用戶所需要的圖像逐漸成為一個難題并被研究者重視。傳統(tǒng)的基于文本的圖像檢索技術主要依靠人工標記，在大量消耗人力資源的同時，還存在著用戶對圖像內容的理解不同，標記的信息不全面等問題。因此，基于內容的圖像檢索技術 （Content-Based Image Retrieval）隨之產生，該方法是利用圖像的視覺特征（如顏色、形狀、紋理以及空間分布等底層特征）進行檢索[1]。相對于人工標記，這種方法所提取的特征更具有通用性，從而有效地解決了基于文本的圖像檢索技術的不足。

在基于內容的圖像檢索中，傳統(tǒng)的方法一般使用全局特征進行檢索[2]，不但計算量大，而且在提取特征的過程當中摻雜了很多并不被用戶所關注的信息。因此，基于局部特征的圖像檢索方法被學者們提出，目前常見的方法大致分為基于圖像分割的方法和基于興趣點的方法兩類。其中，基于圖像分割的方法由于圖像分割技術本身尚未成熟，在受到光照影響、背景相對復雜等因素的干擾下，很難找到一種相對通用的方法將目標與背景完整地分離開。因此，更具穩(wěn)定性和通用性的基于興趣點的方法受到了更多的關注。WOL C等人[3]提出了一種通過提取特征點局部Gabor特征的方法，進行圖像的檢索。根據不同尺度不同方向的最大幅值，構造出不同直方圖描述圖像。Zheng Xia等人[4]首先將圖像分成不同區(qū)域，分別對每個區(qū)域檢測進行興趣點的檢測，然后利用興趣點的邊緣類型的直方圖進行檢索。Jian Mumei等人[5]利用密度聚類的算法實現圖像檢索。該算法首先對興趣點進行分類，然后利用顏色矩和Gabor特征對每類興趣點進行處理，通過構建出圖像的特征向量進行檢索。符祥等人[6]基于局部興趣點的灰度信息，利用Zernike矩相關理論計算Zernike矩值作為圖像特征，然后通過計算歐氏距離的方法對不同特征間的距離進行排序，從而濾除不匹配的興趣點，最后利用興趣點的空間離散度作為不同圖像間的相似度來實現圖像的檢索操作。

以上檢索方法充分考慮到了興趣點的分布信息，并且不同程度地提高了檢索精度，但終究不能達到理想的效果。為了進一步提高檢索的準確性，本文提出一種新的基于興趣點的圖像檢索方法，該方法在仿射-尺度不變特征轉換（ASIFT）[7]算法基礎上，利用亮度的概率密度梯度來完成對興趣點的檢測。該算法不僅能有效地繼承ASIFT算法的優(yōu)點，并且使興趣點更好地聚集在圖像的關鍵區(qū)域上，從而更加充分地表達出圖像的語義。最后通過計算興趣點顏色直方圖的相似度進行圖像的檢索。

1 圖像的興趣點檢測

圖像中的角點、邊緣點等具有很好的穩(wěn)定性，常被研究者們作為興趣點來描述圖像特征。Harris[8]基于Moravec的檢測算法中，利用亮度函數的自相關矩陣檢測興趣點，但是該算法存在對紋理很敏感，容易產生噪聲的不足。因此，本文用各點亮度的概率密度梯度代替亮度梯度，通過ASIFT算子進行興趣點的提取。

1.1 概率密度梯度估計

目前，主要的興趣點檢測算法都將研究重心集中在幾何不變性上，而對于圖像檢索技術，興趣點的數量、分布程度同樣也很重要。只有將興趣點集中在圖像的關鍵區(qū)域上，才能有效地表達出圖像內容的語義信息；只有在興趣點數量足夠多時，才能保證對圖像內容信息描述足夠詳細，從而得到理想的檢索結果。參考文獻[9]提出了一種基于概率密度的檢測算法，該算法在Harris角點檢測算法的基礎上，將亮度梯度替換為亮度的概率密度梯度，進而建立二階矩矩陣，最終實現對興趣點的提取。該算法可以有效地降低紋理中的“噪聲”興趣點，并且興趣點的分布比基于亮度算法更加均勻。在此基礎上，本文使用ASIFT算子代替原文獻使用的Harris算子，繼承了ASIFT算子提取的興趣點多的優(yōu)點，并且使興趣點更好地聚集在圖像邊緣等關鍵區(qū)域上，從而更加充分地表達出圖像的語義。

圖像中每個像素的概率密度都可以通過核函數估計得到。圖像中的任意一點 X（x，y）處的概率密度 P（X）的估計值為：

其中，pw是每一點概率密度的觀測窗口，Xj是以X為中心的窗口 pw的一點，cj是圖像中 Xj點的亮度，k1、k2是高斯核函數，hs是圖像空間中的帶寬，hr是亮度空間中的帶寬。通過式（1）可以推導出各像素概率密度梯度的估計公式為：

1.2 ASIFT算子介紹

興趣點的提取方法有很多，如SIFT算法、SURF算法、Harris算法等，這些方法雖然各有優(yōu)點，但都不具備完全的仿射不變性。而ASIFT算法實現了真正意義上的仿射不變。

圖1闡明了仿射變換的參數[10]，分別是：u0是一個平面圖像，角度θ和Φ分別表示攝像機光軸的經度，角度Φ表示攝像機光軸的緯度，角度Ψ代表攝像機的旋轉角度，λ是縮放參數。這些參數中，SIFT算法和SURF算法對所有參數都進行了歸一化，而ASIFT算子則歸一化了仿射變換中的平移、旋轉、傾斜3個參數，模擬了經度角、緯度角、尺度縮放3個參數。

圖1 攝像機仿射模型

由于相機光軸的變化帶來的圖像扭曲，可以使用仿射平面的改變進行局部的建模操作，其中，目標邊界必須光滑或者是分段光滑的。此時攝像機運動由于光軸變換所帶來的圖像的扭曲模型為：

u（x，y）→u（ax+by+e，cx+dy+f），將其改寫成矩陣的形式為：

ASIFT算法步驟如下：

（1）充分考慮所有相機可能拍攝到該圖片的角度，模擬出由相機光軸的經度和緯度變化所帶來的所有可能的仿射變換。

（2）仿射扭曲的變換由光軸的傾斜參數和旋轉角度決定，而旋轉和傾斜由經度角和緯度角表示，對這些參數進行間隔采樣，采樣間隔要確保模擬出盡可能多的由于相機光軸變化所導致的圖像扭曲。

（3）利用SIFT算子對所有模擬出的圖像進行處理，提取興趣點。

2 特征構造和相似度計算

顏色是彩色圖像最直觀的特征。在提取圖像顏色特征的眾多方法中，顏色直方圖由于具有對旋轉、平移和尺度變化不敏感的特點，并且計算簡單，已成為圖像檢索中應用最多的特征提取方法。

2.1 RGB顏色空間

RGB顏色空間是是最常見的顏色空間，廣泛用于手機、數碼相機和計算機等設備。它是由紅、綠、藍3種基色混合構成的直角坐標系中的一個單位正方體，坐標系中的原點即3種顏色的亮度都等于零為黑色，當3種顏色的亮度都達到1時表示白色，如圖2所示。

圖2 RGB顏色空間示意圖

2.2 顏色直方圖

圖像的顏色直方圖采用統(tǒng)計學的方法，分別計算各個顏色通道興趣點的顏色值的出現頻數。通常情況下，其定義為：

其中，R、G、B分別代表了紅、綠、藍 3個顏色通道，N代表了圖像中像素點的個數。本文算法分別統(tǒng)計了紅、綠、藍3個顏色通道中興趣點的顏色直方圖，構成一個三維特征向量，并將其作為圖像的特征進像檢索。

2.3 相似度計算

相似度計算采用歐氏距離計算，目標圖像和圖像庫中的圖像特征向量間的相似度計算公式為：

其中，Q和 I表示目標圖像和圖像庫中的圖像，SR、SG、SB分別表示R、G、B 3個顏色通道的歐式距離。

3 仿真實驗結果

興趣點的提取方法是否能夠滿足圖像檢索的要求，主要在于兩個方面：（1）必須有足夠多的興趣點，這樣才能盡可能充分表達出圖像的內容信息；（2）興趣點必須盡可能多地聚焦在圖像的主要語義信息上，從而準確表達圖像內容。為了驗證本文算法的有效性，進行了如下仿真實驗。實驗中所采用的軟硬件環(huán)境為：Intel Xeon E5-1603 2.8 GHz處理器，4 GB內存，Windows 7 64位操作系統(tǒng)和MATLAB 2011b。

圖3顯示了本文算法與全局顏色直方圖檢索算法[2]、參考文獻[11]算法的對比檢索結果，其中第一幅圖為待檢圖像。

圖3 3種方法對比結果

為進一步證明本文算法的有效性，將本文算法與全局顏色直方圖算法、參考文獻[11]算法的平均查準率、平均查全率進行對比。實驗選用了著名的Corel圖像庫，該圖像數據庫包括非洲人、馬、大象、恐龍、風景、沙灘、公交車、夕陽等各類圖片3 000張（包含30個種類，每個種類包含100幅相關圖片）。實驗中從圖像庫中任意挑選了10類圖像，每類圖像隨機抽取10幅作為待檢圖像，共構成100次查詢。每次查詢從檢索結果中截取前20幅相似程度最高的圖像作為檢索結果。對于每類圖像分別計算其查詢結果的查準率平均值、查全率平均值，其中：

表1和表2分別給出了3種方法的對比實驗結果。

表1 3種方法平均查全率

表2 3種方法平均查準率

基于內容的圖像檢索是一門飛速發(fā)展中的跨學科、綜合性的高新技術，該技術的研究與發(fā)展涉及多個學科和領域。本文以興趣點為基礎，提出了一種概率密度和ASIFT的彩色圖像檢索方法。該方法能夠充分提取圖像中的興趣點，并能有效地刻畫出圖像的特征，降低了圖像檢索的歧義性。仿真實驗表明，該方法能夠準確和高效地查找出用戶所需內容的彩色圖像，在圖像檢索領域有較廣闊的應用前景。

[1]REDDY P V N，SATYA PRASAD K.Color and texture features for content based image retrieval[J].International Journal of Computer Technology and Applications， 2011，2（4）：1016-1020.

[2]SWAIN M J， BALLARD D H.ColorIndexing[J].International Journal of Computer Vision， 1991，7（1）：11-32.

[3]WOL C， JOLION J， KROPATSCH W， et a.l Content based image retrievalusing interestpointsand texture features[C].Proceedings of 15th International Conference on Pattern Recognition， Barcelona， IAPR， 2000： 234-237.

[4]Zheng Xia， Zhou Mingquan， Wang Xingce.Interest point based medical image retrieval[C].Lecture Notes in Computer Science， Beijing：Springer Verlag， 2008：118-124.

[5]Jian Muwei，Chen Shi.Image retrieval based on clustering of salient points[C].Proceedings of 2008 2nd International Symposium on Intelligent Information Technology Application，Shanghai， 2008，1： 347-351.

[6]符祥，曾接賢.基于興趣點匹配和空間分布的圖像檢索方法[J].中國激光，2010，37（3）：774-778.

[7]MOREL J M，Yu Guoshen.A new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Science， 2009，2（2）：438-469.

[8]HARRIS C，STEPHENS M.A combined corner and edge detector[C].proceedings of 4th Alevy Vision Conference，1988：147-151.

[9]孫達，唐降龍，劉家鋒，等.基于概率密度的興趣點檢測算法[J].自動化學報，2008，34（8），854-860.

[10]Yu Guoshen，MOREL J M.A fully affine invariant image comparison method[C].IEEE International Conference on Acoustics Speech and SignalProcessing， Taipei，2009：1597-1600.

[11]YAP P T，PARAMESRAN R.Content-basedimage retrieval using Legendre chromaticity distribution moments[J].IEEE Proceedings of Vision Image and Signal Processing，2006，153（1）：17-24.