彩色描述子SIFT的研究新進展

韓 順,陶躍華,朱英南

(1.云南師范大學 信息學院,云南 昆明 650092;2.密蘇里大學 計算機科學系，美國 哥倫比亞 65201)

隨著多媒體技術、計算機技術迅速發展，Internet上呈現大量的圖像信息。圖像中包含了很多的物體特性，其中顏色是非常重要的特征之一，顏色包含了圖像中更多有價值的識別信息。SIFT算法提取圖像局部特征，成功應用于物體識別、圖像檢索等領域。該算法由DAVID G.L.于 1999年提出[1]，并于2004年進行了發展和完善[2]，MIKOLAJCZYK[3]對多種描述子進行實驗分析，結果證實了SIFT描述子具有最強的魯棒性。然而這些描述子僅利用圖像的灰度信息，忽略了圖像的彩色信息。為了提高光照不變性，獲得更高的識別率，研究者提出了基于顏色不變特性的SIFT彩色描述子。目前彩色描述子主要分為基于顏色直方圖、基于顏色矩、基于SIFT三類。本文對彩色SIFT描述子進行了深入的研究，闡述了彩色SIFT描述子，給出了每種彩色描述子的性能評價。

1 SIFT算法分析

SIFT描述子對圖像的局部特征進行描述，當圖像進行旋轉、平移、尺度縮放、仿射變換等，SIFT特征具有很好的穩定性。SIFT算法主要分為四個步驟：檢測尺度空間極值點、精確定位極值點、為每個關鍵點指定方向參數、關鍵點描述子的生成。

1.1 檢測尺度空間極值點

計算SIFT描述子的第一步是搜索所有尺度和圖像位置，它通過使用高斯差函數識別對尺度和方向不變的潛在興趣點來實現。關鍵點就是多尺度高斯差的極大值/極小值。

對輸入的圖像進行尺度變換，利用高斯核與二維圖像做卷積運算：

其中：L(x,y,σ)為圖像在尺度空間下不同尺度的表示，G(x,y,σ)為二維高斯核，I(x,y)是輸入的圖像，*是卷積操作。

高斯核定義如下：

在實際計算中通常用高斯差分算子檢測極值點。高斯差分算子（DOG）定義如下：

極值點檢測時，每一個采樣點要與它同尺度的8個采樣點和上下相鄰尺度18個點(共26個點)進行比較。Lowe在計算時，取關鍵點尺度k=，取多倍因子常數σ=1.6。

1.2 精確定位極值點

為了增強特征點的抗噪能力,增強匹配的準確性，需要去除低對比度、對比度的關鍵點和不穩定的邊緣響應點。通過計算DOG算子D(x,y,σ)的二階泰勒展開式：

即可得到極值點精確位置：

當|D(x?)|＜0.03 時，拋 棄x?（低對比度關鍵點）。

邊緣不穩定的點通過2×2的Hessian矩陣來判斷。

1.3 為每個關鍵點指定方向參數

為了使特征描述子具有更好的穩定性，通過計算鄰域像素梯度方向為關鍵點分配主方向，梯度模值m(x,y)和梯度方向θ(x,y)定義如下：

實際計算中，是在特征點的領域內采樣，創建梯度方向直方圖。直方圖每10度分為一柱，共36個柱。然后將領域內的每個采樣點按梯度方向θ歸入適當的柱，以梯度模m作為權重。選擇直方圖的主峰值作為梯度的主方向，能量值達到主峰值80%以上的局部峰值作為輔助方向。

1.4 關鍵點描述子的生成

以特征點為中心取8×8的采樣窗口，在4×4的小塊區域上計算其梯度方向直方圖。繪制好每個方向梯度累加值，形成了一個種子點。每個特征點由4個種子點構成。在實際計算過程中，通常使用4×4共16個種子點來描述特征點。這樣總共產生了4×4×8共128維的特征描述子向量。

2 基于彩色的SIFT研究進展

SIFT描述子對圖像的高斯梯度進行編碼，該描述子在空間模式下描述了灰度圖像16個種子點及每個種子點8個梯度方向。由于SIFT算法只是利用圖像的灰度信息，不能很好地區分形狀相似但顏色不同的物體。光照的變化很大程度上影響著彩色物體識別的效果。在物體描述與匹配中,顏色可以提供更加有用的信息，物體的顏色信息被忽略，致使一些物體會被錯誤地分類。在圖像處理中彩色圖像能夠表達更多的信息，彩色信息可以獲得更高的辨別率。針對這一問題，研究人員對基于彩色的SIFT特征點提取算法進行了深入的研究。

2.1 SIFT彩色描述子

彩色描述子主要分為基于直方圖、基于顏色矩和基于SIFT三類。這三類描述子的選取依據其具體的環境。彩色直方圖描述子丟失了顏色的空間分布，彩色矩包含了圖像局部的光度信息與顏色空間信息分布。SIFT描述子包含了顏色局部空間信息分布。為了提高光照不變性,獲得更高的識別率,基于SIFT的彩色描述子得到發展, 例如：HSV-SIFT、HueSIFT、opponent SIFT、WSIFT、rgSIFT和transformed Color SIFT。

彩色SIFT描述子基于顏色不變特性。在尺度空間中，對彩色圖像特征點進行檢測，確定特征點的位置，在顏色空間模型下計算特征點相關種子點的顏色梯度，對每個特征點用128×3維的特征描述子進行描述。該描述子融合了特征點的顏色信息與幾何信息。

HSV-SIFT HSV顏色空間中，H表示顏色的色調，S表示顏色的純度，即表示一種顏色中加入了多少白光，V表示顏色值的大小。該顏色空間的模型對應于圓柱坐標系中的一個圓錐形子集。BOSCH[5]計算HSV顏色空間三個通道為每個特征點生成彩色描述子。每個通道經過計算生成128維向量，這樣總共生成128×3維的向量。

HueSIFT在HSV顏色空間中，色調捕捉了顏色的主要波長，描述了圖像的彩色信息。VAN de Weijer[4]采用級聯色調直方圖的方法應用于SIFT描述子,計算三個通道為每一關鍵點生成128×3維HueSIFT描述子向量。

OpponentSIFT對立色理論認為人類視網膜上存在三種光化學物質－視素，每種視素都能發生同化和異化兩種變化，在同化過程中，視素產生合成，異化過程產生分解。同化異化的發生完全是由于不同光譜組成的色光刺激的結果。而同化異化的結果使人產生相應的對立顏色感覺。即紅-綠、黃-藍、黑-白等六種不同色覺。基于對立色理論，對立色空間模型如下：該彩色模型具有 O1、O2、O3三個通道分量。O3通道包含了大部分強度信息，O1與O2通道包含了彩色信息。生成特征點描述子時，對模型中每一分量計算SIFT特征描述子，這樣生成了128×3維的描述子向量，該描述子稱為OpponentSIFT。

W-SIFT在對立色空間模型中O1與O2通道分量仍然會包含一些強度信息，為使強度的變化不影響SIFT特征，GEUSEBROKE[6]提出了用于消除強度信息的方法。消除強度信息直觀表示為在對立色空間模型中定義3與，對O1、O2分量做除法，這樣去除了3強度信息變化的干擾，然后對每一分量計算生成特征描述子，該描述子稱為W-SIFT。

rgSIFT rgb空間模型是一種歸一化的RGB模型，定義如下：

r與g分量描述了圖像的顏色信息。由于歸一化的r與g分量具有尺度不變特征，因此不受其光照強度的變化、陰影與底紋的影響。計算rgSIFT特征描述子時結合了歸一化RGB彩色模型中r分量與g分量。

Transformed color SIFT在RGB空間模型中，光照的變化對RGB直方圖穩定性產生影響。光強度的變化引起顏色不規則分布，致使直方圖產生偏移。為了消除偏移，在RGB模型中對于每個通道顏色的分布減掉其顏色分布的均值μ，除以該通道下分布的標準差σ。定義后的空間模型如下：

在該模型下計算每個通道分量的SIFT描述子,對特征點進行描述，該描述子稱為Transformed color SIFT。

2.2 彩色SIFT描述子的性能評價

BURGHOUTS G J[7]在試驗中對比彩色SIFT描述子與灰度SIFT描述子，當光照顏色變化與光散射時彩色SIFT描述子具有更好的性能。然而彩色空間的選擇與光照的變化對彩色SIFT描述子的性能還是有一定的影響。為了得到各種彩色描述子的性能，Koea[8]在光強度變化、光強度偏移、光強度的變化與偏移、光色的變化、光色的變化與偏移等多種光照變化情況下對描述子進行實驗與分析，可以得到每種彩色描述子的性能如表1所示。

SIFT算法是多尺度空間理論提出后產生的，對圖像的局部特征進行提取，SIFT描述子對于旋轉、尺度縮放、仿射變換、視角的變換具有很好的穩定性。對大多數圖像尺度變換、旋轉、仿射變換等具有很強的不變性。基于顏色不變特性的彩色描述子不僅保留了SIFT原有特性，可以獲得更高的辨別率,而且對于光照的變化也保持了很好的不變性。

為了提高SIFT的一些能力和加快匹配速度，對標準的SIFT描述子改進的技能是：(1)在標準的SIFT上利用不同的直方圖、不同區域的形狀、HSV組件、使用RGB直方圖等等； (2)利用降維方法 (如主成分分析(PCA))，以減少SIFT的特征維數。

表1 各類彩色描述子性能比較

[1]DAVID G L.Object recognition from local scale-invarint features[C].International Conferenceon Computer Vision,1999：1150-1157.

[2]DAVID G L.Distinctive image features from scale-invariant key-points[J].International Journal of Computer Vision，2004,60(2)：91-110.

[3]MIKOLAJCZYK K,SCHMID C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10)：1615-1630.

[4]WEIJER J,GEVERS T,BAGDANOV A.Boosting color saliency in image feature detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(1)：150-156.

[5]BOSCH A,ZISSERMAN A,MUOZX.Scene classification using a hybrid generative/discriminative approach[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(04)：712-727.

[6]GEUSEBROEK J M,BOOMGAARD R,SMEULDERS A W M,et al.Color invariance[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(12)：1338-1350,

[7]BURGHOUTS G J,GEUSEBROEK J M.Performance evaluation of local color invariants[J].Computer Vision and Image Understanding.2009,133：48-62.

[8]SANDE K E A,GEVERS T,SNOEK C G M.Evaluation of color descriptors for object and scene recognition[C].IEEE Conference on Computer Vision and Pattern Recognition,Anchorage,Alaska,USA,June 2008.