基于全局顏色傳遞的SIFT匹配算法

劉 暢，唐加山

1.南京郵電大學 通信與信息工程學院，南京 210003 2.南京郵電大學 理學院，南京 210023

◎圖形圖像處理◎

基于全局顏色傳遞的SIFT匹配算法

劉 暢1，唐加山2

1.南京郵電大學 通信與信息工程學院，南京 210003 2.南京郵電大學 理學院，南京 210023

研究在不同光照條件下兩幅彩色圖像的匹配問題，提出了一種新的基于全局顏色傳遞的具有尺度不變性的特征變換（SIFT）匹配算法。新算法對不同光照下同一場景或目標的兩幅彩色圖像進行全局顏色傳遞，以減小匹配時由顏色差異帶來的誤差；利用SIFT算法提取處理后的圖像的特征信息完成初步匹配；采用隨機抽驗一致性（RANSAC）算法消除誤匹配點。實驗結果表明新算法具有良好的彩色圖像匹配性能。

顏色傳遞；尺度不變特征（SIFT）；特征匹配；消除誤匹配點

1 引言

眾所周知，彩色圖像匹配算法大多是將其轉化為灰度圖像，利用圖像的灰度信息尋找圖像中的幾何不變量，完成圖像之間的匹配。SIFT算法[1]是一種在不同尺度空間中尋找圖像局部特征點且對圖像縮放、旋轉甚至仿射變換依然保持尺度不變性的特征匹配算法。然而，經典SIFT算法只利用了圖像的灰度信息，忽略了圖像的顏色信息。為此，學者們提出了多種針對彩色圖像的SIFT算法，如：HSV-SIFT[2]算法：計算HSV顏色空間三個通道，并在三個通道中為每個特征點生成SIFT特征向量。Opponent-SIFT[3]算法：基于對立色理論，形成對立色空間模型，對模型中每一分量計算SIFT特征向量；RGB-SIFT[4]算法：計算RGB顏色空間三個通道，并在三個通道中為每個特征點生成SIFT特征向量；Trans-formed Color-SIFT[5]算法：對RGB空間模型進行改善，生成新的空間模型，并對模型中每一分量計算SIFT特征向量。雖然這些算法在一定程度上提高了SIFT算法對彩色圖像的匹配能力，但是當光照發生變化時，這些算法匹配的效率普遍不高。經過研究，發現如果用全局顏色傳遞算法對圖像進行預處理，則能夠很好地將源圖像的顏色信息傳遞給目標圖像，并且保持目標圖像的形狀不變。因此，本文提出了一種基于顏色傳遞的SIFT匹配算法，即先對目標圖像進行顏色傳遞的預處理，把源圖像的顏色信息傳遞給目標圖像，再用SIFT算法對源圖像和經過處理后的目標圖像進行特征點的提取和匹配，實現彩色目標的匹配，仿真實驗表明新算法在彩色圖像匹配方面具有良好的表現。

2 Transformed Color-SIFT算法

彩色目標的匹配在于特征點的提取和匹配，而基于SIFT的特征點提取和匹配算法在圖像匹配中得到了廣泛的應用。SIFT算法的目的是生成一個特征描述符，該描述符對于特征尺度具有不變性。該算法的核心思想是：首先構建尺度空間并找到興趣點，接下來在興趣點集合中尋找關鍵點，利用關鍵點及其周圍點的梯度方向，分配給關鍵點特定的方向，最后給每一個關鍵點設置一個矢量作為下一步匹配計算的依據，該矢量的維度為128[6-7]，具體步驟詳見文獻[8-9]。

Transformed Color-SIFT算法[10]是一種彩色SIFT算法，該算法在源圖像和目標圖像各自提取SIFT特征矢量（即128維特征向量）之前，在RGB空間模型中定義一個新的空間模型，即對于每個原通道顏色的分布減掉其顏色分布的均值u，并除以該通道下分布的標準差σ，即：

在該模型下提取每個通道分量的SIFT特征向量，即用128×3維向量對特征點進行描述，再對源圖像和目標圖像的128×3維向量進行特征向量的匹配。本文的核心思想是借鑒Transformed Color-SIFT算法中對圖像預處理的方法，把目標圖像在每個通道顏色的分布的均值和方差與源圖像在每個通道顏色的分布的均值和方差聯系起來，以達到全局顏色傳遞的目的。

3 全局顏色傳遞

全局顏色傳遞[11]適合在整體內容和顏色信息都相似的兩幅彩色圖像之間進行顏色傳遞，在顏色傳遞的過程中，合適的顏色空間的選擇對算法能否取得更佳的傳遞效果有著很大的影響。本文主要采用顏色傳遞算法中常用到的L,α,β顏色空間[12]，因為它的三個顏色分量近似正交，基本消除了各個顏色分量之間的相關性，能夠最大限度地減小一個分量的變化給另外兩個分量造成的影響；所以可以對三個通道圖像進行獨立運算，而且不需要修改另外兩個通道的信息，其中，L表示亮度信息，α,β分別表示紅綠和黃藍信息。算法主要通過對目標圖像每一像素點在L,α,β空間中的各通道值進行平移、縮放實現顏色傳遞，具體實現如下：

（1）將兩幅彩色圖像從RGB空間轉化為LMS空間，再轉化到L,α,β空間，轉化公式為：

由于上述的數值矩陣不均衡，所以要通過取對數來調整其均衡性：

L=lgL;M=lgM;S=lgS

最后轉換到L,α,β空間的公式如下：

在 L,α,β空間下計算各個通道的總體均值 μ和標準差σ：

其中，參數下標s和t分別代表源圖和目標圖。

（2）在目標圖像中，像素點的各個通道都減去該通道的總體均值：

對目標圖像中各個像素點進行縮放：

（3）目標圖像的每個像素點各個通道加上源圖像相應通道的均值：

目標圖像經過顏色傳遞處理后的圖像以及其顏色直方圖如圖1所示。

4 本文算法

本文采用基于全局顏色傳遞的SIFT匹配算法：首先如第3章所述對目標圖像進行顏色傳遞，然后如第2章所述對源圖像和處理后的目標圖像分別提取128維的SIFT特征向量，其次進行彩色圖像特征點匹配，特征點匹配分成初次匹配和二次匹配兩個步驟完成，最后消除誤匹配點完成匹配。

圖1 全局顏色傳遞的效果

當進行特征點初次匹配時，采用基于特征點最近鄰與次近鄰距離之比BBF（Best Bin First）[13]的搜索算法：取源圖像上的一個關鍵點，在經過顏色傳遞后的目標圖像中，尋找與它距離最近的前兩個特特征點，這里的最近距離理解為關鍵點的描述向量間的最小歐氏距離。為了排除由圖像遮擋和背景混亂而產生的無匹配關系的關鍵點，這里將最近距離與次近距離比設定為閾值參數ratio，設定好ratio后，若比值小于ratio，則源圖中的關鍵點與目標圖像中最近距離的那個特征點相匹配，否則匹配不成功。當降低或升高閾值時，匹配成功的點會相對地減少或增加，閾值越小，匹配結果越穩定。經過多次實驗可得，閾值取0.8時最佳。這些經過初次匹配的匹配點為實際匹配點。

完成初步匹配后，本文使用二次匹配剔除一些誤匹配對來改善匹配效果，進而得到正確的匹配點。具體步驟為：計算出所有匹配點之間距離的最大值maxdist（這里的距離指關鍵點的描述向量間的歐氏距離），在一對匹配點中，若匹配點之間的距離同maxdist的比值大于某個閾值differ，則刪除這一對匹配點。閾值過大或者過小，匹配成功的點會減少，只有當閾值大小適中時，匹配結果才會穩定。經過多次實驗可知，閾值取0.6時最佳。最后再采用隨機抽檢一致性（RANSAC）算法[14-15]來消除誤匹配點，即通過反復測試、迭代，找到一個變換矩陣，使得盡量多的特征點間都符合這個變換關系，剔除不滿足這個變換關系的匹配點。如此，便能在保留尺度不變性的基礎上，減少光照對匹配精度的影響算法流程圖如圖2所示。

圖2 基于全局顏色傳遞的SIFT匹配算法的流程圖

5 實驗結果與分析

為了驗證新算法的性能，本章對幾種彩色圖像匹配算法進行仿真實驗，實驗在Windows8的64位操作系統，CPU主頻2.7 GHz配置下運行Visual Studio 2010和Opencv 2.4.10來實現相關算法，選取了阿姆斯特丹（ALOI）圖像庫中的30組不同光照下的圖像，圖像大小為384×288。在實驗中對 HSV-SIFT、Opponent-SIFT、RGB-SIFT、Transformed Color-SIFT以及本文算法的性能進行了對比分析，為了保證結果的準確性，在本文中，每個算法的閾值ratio均取為0.8，differ均取為0.6。采用平均匹配準確率、平均匹配時間和平均誤匹配率來衡量五種算法的匹配能力。

仿真結果是30次獨立重復實驗的平均值，因此平均匹配準確率是指在30次實驗中正確的匹配點數與實際的匹配點數比值的平均值：

其中，N正確匹配表示正確匹配點的數量，N實際匹配表示實際匹配點的數量。

平均匹配時間指在30次實驗中匹配時間的平均值：

其中，T表示匹配時間。

平均誤匹配率是指在30次實驗中誤匹配的數量與匹配點數量比值的平均值：其中，N誤匹配表示誤匹配點的數量，N正確匹配表示正確的匹配點的數量。

由表1可以看出在光照變化的情況下，本文算法的平均匹配率、平均誤匹配率和平均匹配時間均比HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法均有較大優勢。本文算法具有較好性能的原因在于在進行SIFT匹配之前，對目標圖像進行了顏色傳遞的預處理，減小了由光照不同帶來的顏色差異，從而提高了彩色目標或者彩色圖像之間的匹配率。

表1 不同算法性能的比較

表2 不同算法不同階段時間的比較s

表2給出了五種算法在光照變化情況下各個階段所用時間的實驗結果，可以看出，雖然本文算法在預處理時花費的時間比HSV-SIFT、Opponent-SIFT、RGBSIFT和Transformed Color-SIFT等算法要長，但是由于HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法都是在三個不同通道上提取128維特征向量，生成了128×3維向量，而本文算法只需要在單通道生成128維向量，所以本文算法提取特征點的所用時間要比其他算法要少；同理，在進行特征點匹配時，本文算法依然占據優勢，所以本文算法總的匹配時間要比其他彩色SIFT匹配算法所用時間要少。本文算法在預處理時花費的時間比HSV-SIFT、Opponent-SIFT、RGBSIFT和Transformed Color-SIFT等算法要長，但是由于HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法都是在三個不同通道上提取128維特征向量，生成了128×3維向量，而本文算法只需要在單通道生成128維向量，所以本文算法提取特征點的所用時間要比其他算法要少；同理，在進行特征點匹配時，本文算法依然占據優勢，所以本文算法總的匹配時間要比其他彩色SIFT匹配算法所用時間要少。

本文進一步給出五種算法在光照變化情況下正確匹配點數量的實驗結果圖像。圖3～7的匹配方法分別是本文算法、Opponent-SIFT算法、HSV-SIFT算法、RGB-SIFT算法和Transformed Color-SIFT算法，每一種匹配方法都使用相同的玩偶圖像和洗衣粉圖像作為實驗對象。

圖3 本文算法在光照變化的環境下正確匹配點數量

圖4 Opponent-SIFT算法在光照變化的環境下正確匹配點數量

圖5 HSV-SIFT算法在光照變化的環境下正確匹配點數量

圖6 RGB-SIFT算法在光照變化的環境下正確匹配點數量

圖7 Transformed Color-SIFT算法在光照變化的環境下正確匹配點數量

6 小結

彩色圖像SIFT算法能夠解決光照變化、旋轉變化、尺度變化、仿射變化等環境下的彩色目標匹配問題。本文針對目前彩色圖像SIFT算法在光照條件下匹配效率不高的問題，在Transformed Color-SIFT算法的基礎上，提出了一種基于顏色傳遞的SIFT特征點提取與匹配算法，首先對目標圖像進行顏色傳遞的預處理，再對經過顏色傳遞的目標圖像與源圖像分別提取特征點，然后對特征點的128維特征向量進行初次匹配和二次匹配，并消除誤匹配點。仿真實驗表明，本文方法比現有的彩色圖像SIFT算法具有更短的匹配時間和更好的匹配能力，具有較廣闊的應用前景。

[1]Lowe D G.Distinctive image features from scale-in-variant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[2]Bosch A，Zisserman A，Munoz X.Scene classification using a hybrid generative/discriminative approach[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008：712-727.

[3]Tuytelaars T，Mikolajczyk K.Local invariant feature detectors：A survey[J].Foundations and Trends in Computer Graphics and Vision，2008：177-280.

[4]Gevers T，Smeulders A W M.Color-based object recognition[J].Pattern Recognition，1999：453-464.

[5]Burghouts G J，Geusebroek J M.Performance evaluation of local color invariants[J].Computer Vision and Image Understanding，2009：48-62.

[6]Lowe D G.Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision，1999：1150-1157.

[7]王明，劉偉光.基于改進SIFT特征的雙目圖像匹配算法[J].計算機工程與應用，2013，49（2）：203-206.

[8]Yuen P C.Wavelet-based PCA for human face recognition[C]//IEEE Southwest Symposium on Image Analysis and Interpretation，1998：223-228.

[9]汪松.基于SIFT算法的圖像匹配方法研究[D].西安：西安電子科技大學，2013.

[10]Koen E A，Snoek G M C，Gevers T.Evaluating color descriptors for object and scenerecognition[J].IEEE Transactions on pattern Analysis and Machine Intelligence，2010：1582-1596.

[11]陳小娥.兩種色彩傳遞算法適用情況研究[J].計算機應用與軟件，2011，9（2）：252-254.

[12]Chiao C C，Ruderman D L，Cronin T W.Statistics of cone responses to natural images：Implications for visual coding[J].Journal of Optical Society of America A，1998，15（15）：2036-2045 ．

[13]丁南南.基于特征點的圖像配準技術的研究[D].長春：中國科學院研究生院，2012.

[14]Fischler M A，Bolles R C.Random sample consensus：A paradigm for model fitting with applications to image analysis and automated cartography[J].ACM Graphics and Image Processing，1981，24（6）：381-395.

[15]趙燁，蔣建國，洪日昌.基于RANSAC的SIFT匹配優化[J].光電工程，2014，8（8）：58-65.

LIU Chang1,TANG Jiashan2

1.College of Telecommunications and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China 2.School of Science,Nanjing University of Posts and Telecommunications,Nanjing 210023,China

SIFT matching algorithm based on global color transfer.Computer Engineering and Applications,2017,53（21）：157-161.

This paper investigates the matching problem between two color images coming from the same scene under different illuminations,and proposes a new image matching algorithm with the Scale Invariant Feature Transform（SIFT）based on global color transfer.Firstly,the new algorithm implements the global color transfer between two color images which have different illumination under the same scene,resulting in reducing the error caused by color difference.Then,the SIFT algorithm is used to extract the features information from the processed images and the primary matching between the source image and the processed one is finished.Lastly,the false matched features are discarded by using the Random Sample Consensus（RANSAC）algorithm.Simulation results indicate that the new method has better performance of color images’matching than that in the literatures.

color transfer;Scale Invariant Feature Transform（SIFT）;feature matching;eliminate false matching points

A

TN911.72

10.3778/j.issn.1002-8331.1605-0013

劉暢（1993—），女，碩士研究生，主要研究領域為數字圖像處理，現代智能信號處理，E-mail：615914484@qq.com；唐加山（1968—），男，博士，教授，主要研究領域為概率論、隨機過程理論及其應用、現代通信中的智能信號處理技術、數字圖像處理、信道辨識與均衡等。

2016-05-04

2016-06-30

1002-8331（2017）21-0157-05

CNKI網絡優先出版：2016-09-29,http://www.cnki.net/kcms/detail/11.2127.TP.20160929.1650.028.html