基于混合特征的移動機器人圖像匹配算法

陳衛東　張興家　朱奇光　陳　穎

1.燕山大學，秦皇島，0660042.河北省特種光纖與光纖傳感重點實驗室，秦皇島，066004

基于混合特征的移動機器人圖像匹配算法

陳衛東1,2張興家1朱奇光1,2陳穎1

1.燕山大學，秦皇島，0660042.河北省特種光纖與光纖傳感重點實驗室，秦皇島，066004

針對移動機器人定位過程中視覺圖像處理速度慢以及特征點提取與匹配實時性、準確性差的問題，提出了基于顏色矩的改進SIFT分級圖像匹配算法。首先改進SIFT算法，擴大極值點檢測范圍；采用Sobel算子計算特征點的梯度方向和幅值；以向量夾角為準則度量SIFT特征相似性，提高SIFT特征提取與匹配的速度和精度。圖像匹配時先采用顏色矩對環境圖像序列進行相似性排序，改進SIFT特征，再與排序后圖像依次進行精確匹配，分級匹配提高了移動機器人的定位速度和精度。實驗結果表明：與原SIFT相比，改進SIFT提高了特征向量的顯著性，誤匹配率降低約9.2%，特征點數量減少約20%；分級匹配提高了圖像匹配速度和精度，SIFT特征計算量減小60%，總體耗時縮短40%。達到移動機器人定位實時性和魯棒性的目的。

移動機器人； 圖像匹配； 顏色矩； 改進SIFT

0　引言

移動機器人定位中視覺系統相對于其他傳感器而言，具有獲取信息量豐富、受磁場和傳感器相互干擾影響小、使用方便經濟等優勢，也具有最接近人類的環境感知方式[1]。科學研究和統計表明：人類從外界獲取的信息大約有75%來自于視覺系統[2]。基于圖像外觀特征的移動機器人定位以實現簡單、方法靈活、效果明顯等優點在基于視覺的移動機器人定位領域應用廣泛[3-5]。

自尺度不變特征變換(scale invariant feature transform,SIFT)算法由Lowe[6]于1999年提出并于2004年完善后[7]，它和各種改進的SIFT算法就成為最流行的圖像局部外觀特征提取算法[8-10]。陳鳳東等[11]利用SIFT和基于雙向BBF(double direction best bin first,DD-BBF)的特征匹配方法實現了當前圖像與目標圖像之間的匹配，提高了匹配精度，但DD-BBF增大了計算復雜度。Valgren等[12]利用加速穩健特征(speed up robust features,SURF)和基于極線約束的特征匹配算法實現了移動機器人定位，提高了移動機器人的定位精度。曾巒等[13]提出在圓形區域內基于扇形區域分割的SIFT特征匹配算法，降低了特征描述子維數，提高了匹配速度。以上研究均未考慮SIFT對圖像宏觀性描述較弱的不足，且SIFT是一種灰度特征，忽略了值得利用的顏色信息。Reza等[14]在標準顏色空間提取SIFT特征描述子且對SIFT特征進行了減法聚類，增強了SIFT特征對顏色變化的魯棒性，提高了匹配精度，但卻是以犧牲實時性為代價的。

本文針對移動機器人視覺定位時圖像匹配實時性和魯棒性問題，提出基于顏色矩的改進SIFT(ISIFT)移動機器人分級圖像匹配算法，將顏色矩和改進SIFT相結合，覆蓋圖像特征的全局與局部、顏色與形狀4個方面，從而達到優勢互補的目的。首先對SIFT算法進行改進，擴大極值點檢測范圍；采用Sobel算子計算特征點的梯度方向和幅值；以向量夾角為準則度量SIFT特征相似性；提高SIFT特征提取與匹配的速度和精度。圖像匹配時先用顏色矩以歐氏距離為準則對移動機器人獲取的圖像序列進行相似性排序，然后再用改進的SIFT特征與排序后圖像依次進行精確匹配，匹配點對為零則結束；分級圖像特征匹配改善了移動機器人定位精度和實時性。

1　圖像混合特征提取

1.1SIFT特征改進

SIFT特征描述子將一幅圖像映射為一個局部特征向量集，其特征向量具有平移、縮放、旋轉不變性，對光照變化、仿射及投影變換也有部分穩定性。SIFT算法本質就是在多尺度灰度圖像空間尋找極值點，提取位置、尺度、旋轉不變量。SIFT算法主要包括三個步驟：特征點檢測，特征點描述，特征向量匹配。

在特征點檢測階段，改進的SIFT算法擴大了極值點檢測范圍。在高斯差分金字塔空間，每個像素點和其同尺度相鄰點及上下相鄰尺度的5 pixel×5 pixel×5 pixel進行比較，如果某像素點是最大或最小值點，則將該點標記為局部極值點，認為該點是圖像在該尺度下的一個候選特征點。

在特征點的方向分配階段，改進的SIFT采用Sobel算子計算梯度幅值和方向。因為Sobel算子能平滑噪聲，為特征點提供更精確的主方向。Sobel算子的水平與垂直算子如下式所示：

(1)

(2)

矩陣中元素表示算式中相應像素點的加權因子。即得到像素點(x,y)的水平與垂直方向的Sobel梯度：

Gx=I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)-

I(x-1,y-1)-2I(x-1,y)-I(x-1,y+1)

(3)

Gy=I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)-

I(x-1,y+1)-2I(x,y+1)-I(x+1,y+1)

(4)

式中，I(σ)為在尺度空間σ的高斯平滑圖像。

平滑參數σ是Lowe[7]在SIFT算法中推薦的參數。

像素點(x,y)的梯度幅值和方向的表達式分別為

(5)

θ(x,y)=arctan(Gy,Gx)

(6)

各種局部特征描述子中SIFT特征描述子性能突出，但它對圖像宏觀性描述較弱，且SIFT是一種灰度特征，忽略了值得利用的顏色信息，因此，引入圖像全局特征——顏色矩[15]。

1.2圖像顏色特征提取

由于常用的RGB(red green blue)顏色空間各顏色維之間的相關性很強，數據冗余度高，因此，本文采用HSI(hue saturation intensity)顏色空間。HSI是更加符合顏色視覺特性的顏色空間之一，它采用色度(hue)、飽和度(saturation)和亮度(intensity)三個分量來表征顏色，各分量之間相互獨立，且與人感受彩色的方式緊密聯系。彩色圖像從RGB空間到HSI空間的轉換表示如下：

(7)

θ∈[0，2π]

(8)

(9)

式中，R、G、B分別為RGB顏色空間的三個基本色分量值；H、S、I分別為HSI顏色空間的三個基本屬性分量值。

在HSI顏色空間提取圖像顏色特征。顏色矩是一種簡單有效的顏色特征表示方法，該方法的數學基礎在于圖像中任何顏色分布均可以用它的矩來表示。由于顏色分布信息主要集中在低階矩，因此，僅采用顏色的一階矩(均值)、二階矩(方差)和三階矩(斜度)就足以表達圖像的顏色分布。該方法的優點在于：不需要顏色空間量化，特征向量維數低。低階矩的數學定義為

(10)

(11)

(12)

式中，pi,j為彩色圖像第i個顏色通道分量中灰度為 j 的像素出現的概率；N為圖像的像素個數。

圖像的前三階顏色矩組成一個9 維向量，即圖像的顏色特征表示為

Fcolor=(uH,σH,sH,uS,σS,sS,uI,σI,sI)

(13)

式中，uH、uS、uI分別為H、S、I三個顏色分量的均值；σH、σS、σI分別為H、S、I三個顏色分量的方差；sH、sS、sI分別為H、S、I三個顏色分量的斜度。

2　圖像特征匹配算法

2.1圖像顏色矩匹配

移動機器人獲取的圖像序列，以歐氏距離為準則度量其顏色特征向量之間的相似度；向量之間歐氏距離越小，相似度越大。令CA(k)和CB(k)分別為數據庫中圖像A和當前檢測圖像B的顏色矩向量，則兩幅圖像顏色矩的歐式距離可定義為

(14)

2.2改進的SIFT特征匹配

特征點的相似性度量以兩個特征點描述子之間的向量夾角為準則，向量夾角定義如下：

(15)

式中，Fp、Fq分別為特征點p和q的128維向量[7]。

使用線性掃描法尋找各特征點的最近鄰和次近鄰的特征點。如尋找與特征點p的向量夾角最小和次小的兩個特征點q和q′，然后計算p與q及p與q′兩組描述子之間向量夾角的比值，如果比值小于規定的某個閾值，則認為匹配成功，接受點對(p,q)為匹配點對；否則匹配失敗。本文取閾值為0.75。

2.3分級圖像特征匹配算法

采用分級匹配方法進行機器人視覺定位，顏色矩匹配速度遠大于SIFT匹配速度并且對圖像的宏觀性有著較強的表征力，因此，首先利用顏色矩以歐氏距離為準則與數據庫中圖像序列進行粗匹配，獲得與當前觀測圖像相似排序的圖像集合，其次利用改進的SIFT特征以向量夾角為準則與排序后圖像依次進行精確匹配，直到匹配點對為零，匹配過程結束。分級圖像匹配流程如圖1所示。

圖1　圖像特征匹配流程圖

3　實驗研究及分析

在移動機器人Pioneer3TM平臺上，室內環境下進行圖像特征提取與匹配實驗，Pioneer3TM視覺系統包括圖像采集卡和嵌入式計算機。單目攝像頭CanonVC-C50i安裝在移動機器人頂部，最大分辨率是704pixel×576pixel，水平方向旋轉范圍是±100°，垂直方向旋轉范圍是±30°。移動機器人和視覺攝像頭分別如圖2和圖3所示。

圖2　移動機器人平臺圖3　移動機器人視覺攝像頭

為使實驗結果具有可對比性，所有的仿真實驗都是在主頻為Intel(R)Core(TM)i3-2120CPU3.30GHZ、內存4GB的PC機上，以MATLAB7.8.0為平臺進行的。實驗使用Pioneer3TM獲取的課題室的環境圖像序列。

3.1改進的SIFT性能比較

為了全面反映改進SIFT性能，實驗結果從特征點檢測時間、算法運行總時間、特征點數量、匹配對數以及誤匹配率5個方面對改進的SIFT與SIFT進行比較。特征點檢測時間是指匹配的兩幅圖像特征點檢測時間之和，特征點數量指的是兩幅匹配圖像中特征點數量較少的那幅圖像的特征點數量，匹配對數是指精匹配之后，保留的匹配點對數，而誤匹配率是指精匹配之后，誤匹配點對占所有匹配對數的比例。由于篇幅關系，選取其中部分圖片，對其匹配效果和實驗數據進行分析，如圖4～圖6所示。其中，圖4的兩幅圖像是機器人移動0.5 m前后拍攝的；圖5的兩幅圖像是機器人轉動30°前后拍攝的；圖6的兩幅圖像是機器人移動1 m且旋轉30°前后拍攝的。

(a)SIFT(b)ISIFT圖4　圖像的尺度變化

(a)SIFT(b)ISIFT圖5　圖像的視角變化

(a)SIFT(b)ISIFT圖6　圖像的尺度和視角變化

實驗數據如表1所示，其中ISIFT代表改進的SIFT特征匹配算法。SIFT算法中各參數均為Lowe[7]推薦的參數。

分析匹配結果和實驗數據可以發現：無論是在幾何還是光學畸變的條件下，由于擴大了極值點的檢測范圍，所以改進算法比原算法的特征點檢測時間長了約2 ms，但特征點檢測和描述時間之和卻縮短了0.2 s左右，特征點數量減少約20%。改進算法相比于原算法的匹配點對數基本沒變，但匹配精度卻提高了9.2%。由此可見改進算法不但在實時性上高于原算法，而且在匹配精度上也優于原算法。

表1　改進的SIFT特征匹配算法與SIFT性能比較

由此可知改進算法的優點在于：在保持原算法尺度和旋轉不變性等優點的基礎上，提高了算法的實時性和匹配精度。實時性的提高主要源于擴大極值檢測范圍，減少特征點數量；匹配精度的提高是因為Sobel算子可平滑噪聲，提供更精確的主方向，使得SIFT特征更具顯著性。

3.2匹配算法的性能分析

實驗中使用10幅Pioneer 3TM獲取的課題室環境圖像，分別用a、b、c、d、e、f、g、h、i、j表示，當前檢測圖像為k；表2為僅使用改進SIFT特征實現當前檢測圖像與圖像序列匹配的實驗數據。顏色特征匹配以返回與當前檢測圖像的相似度排序的圖像序列作為匹配結果；表3為顏色特征提取和匹配所耗時間。按照上述的分級圖像匹配方法，當前檢測圖像僅與排序后的前四幅圖像(d、g、i、h，k與h的匹配點對為零)進行改進SIFT特征匹配即完成圖像匹配過程；所以時間消耗為顏色特征提取與匹配時間加上k與d、g、i、h進行SIFT特征提取與匹配時間，即8.905 s。

表2　改進SIFT特征圖像匹配實驗數據

表3　顏色矩提取與匹配所耗時間

由表2可知，改進SIFT特征與a、e、j三幅圖像出現誤匹配點對，如沒有顏色特征提前進行圖像的相似度排序，將導致機器人目前無法定位。由實驗結果可知該匹配算法的優點在于：SIFT特征計算量減少60%，總體時間消耗縮短40%；匹配精度再次提高。實時性的提高主要源于顏色矩是一個9維向量，SIFT特征描述子是一個128維向量，二者結合使SIFT計算復雜度明顯減小；精度的提高主要源于結合顏色特征彌補SIFT特征描述子對圖像顏色的盲點和對圖像缺乏整體輪廓描述的不足。顏色矩可加快匹配速度，但也有可能造成誤匹配，即內容不相關的圖像可能擁有相似的顏色特征。不過只要這幅圖像不是排序后圖像集的第一幅，大體上不會影響定位結果。如果這樣的圖像出現在排序后的第一幅，那么可以設置程序將SIFT與排序后的第二幅圖像匹配來解決這個問題。

4　結語

針對移動機器人定位過程中視覺圖像處理速度慢及特征點提取與匹配實時性和準確性差的問題，提出基于顏色矩的改進SIFT移動機器人分級圖像匹配算法。結合顏色矩和改進SIFT特征，覆蓋圖像特征的全局與局部、顏色與形狀4個方面，從而達到優勢互補的目的。再利用分級圖像匹配提高基于圖像外觀的移動機器人定位的實時性和魯棒性。實驗結果表明該方法有效。

[1]Davison A J, Murray D W. Simultaneous Localization and Map-building Using Active Vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 865-880.

[2]章毓晉．圖像處理和分析[M]．北京：清華大學出版社, 1999.

[3]王殿軍. 雙目視覺在移動機器人定位中的應用[J]. 中國機械工程, 2013, 24(9): 1155-1158.

Wang Dianjun.Application on Binocular Vision System of a Mobile Robot[J]. China Mechanical Engineering, 2013, 24(9): 1155-1158.

[4]張明路, 關柏青, 丁承君. 基于彩色視覺和模糊控制的移動機器人路徑跟蹤[J]. 中國機械工程, 2002, 13(8): 636-640.

Zhang Minglu, Guan Baiqing, Ding Chengjun. Mobile Robot’s Trajectory Following Based on Color Vision and Fuzzy Control[J]. China Mechanical Engineering, 2002, 13(8): 636-640.

[5]Aguilera G D, Gonzalvez R P, Lopez H D. A Robust and Hierarchical Approach for the Automatic Co-registration of Intensity and Visible Images[J]. Optics & Laser Technology, 2012, 44(6): 1915-1923.

[6]Lowe D G. Object Recognition from Local Scale-invariant Features[C]//Proceedings of the 7th IEEE International Conference on Computer Vision. Kerkyra, Greece, 1999: 1150-1157.

[7]Lowe D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[8]楊幸芳, 黃玉美, 韓旭, 等. 一種提高SIFT特征匹配效率的方法[J]. 中國機械工程, 2012, 23(11): 1297-1301.

Yang Xingfang, Huang Yumei, Han Xu, et al. A Method for Improving Matching Efficiency of SIFT Features[J]. China Mechanical Engineering, 2012, 23(11): 1297- 1301.[9]Zahedi M, Salehi M S. Licenseplate Recognition System Based on SIFT Features[J]. Procedia Computer Science, 2011, 3: 998-1002.

[10]Josip K, Jakob V, Frédéric J. Modeling Spatial Layout with Fisher Vectors for Image Categorization[C]//Proceedings of the 13th IEEE International Conference on Computer Vision. Barcelona, 2011: 1487-1494.[11]陳鳳東, 洪炳镕. 一種基于圖像的移動機器人泊位方法[J]. 機器人, 2010, 32(2): 166-170.

Chen Fengdong, Hong Bingrong. An Image-based Docking Method for Mobile Robot[J]. Robot, 2010, 32(2): 166-170.[12]Valgren C, Lilienthal J A. Appearance-based Longterm Localization in Outdoor Environments[J]. Robotics and Autonomous Systems, 2010, 58(2): 149-156.[13]曾巒, 顧大龍. 一種基于扇形區域分割的SIFT特征描述符[J]. 自動化學報, 2012, 38(9): 1513-1519.

Zeng Luan, Gu Dalong. A SIFT Feature Descriptor Based on Sector Area Partitioning[J]. Acta Automatica Sinica, 2012, 38(9): 1513-1519.

[14]Reza J A, Kossar J S, Fariborz M. A New Illumination Invariant Feature Based on SIFT Descriptor in Color Space[C]//Proceedings of the International Symposium on Robotics and Intelligent Sensors. Kuching, Sarawak, Malaysia, 2012: 305-311.

[15]Stricker M, Orengo M. Similarity of Color Images[J]. Proc. SPIE Storage and Retrieval for Image and Video Databases, 1995, 2420: 381-392.

(編輯王艷麗)

An Image Matching Algorithm for Mobile Robot Localization Based on Hybrid Features

Chen Weidong1,2Zhang Xingjia1Zhu Qiguang1,2Chen Ying1

1.Yanshan University,Qinhuangdao,Hebei,066004 2.The Key Laboratory for Special Fiber and Fiber Sensor of Hebei Province,Qinhuangdao,Hebei,066004

For the problems of slow image processing speed, poor real-time performance and accuracy of feature points extraction and matching in robot localization process, an improved SIFT hierarchical image matching algorithm was proposed based on color moment. Extreme point’s detective range was extended, and the gradient directions and magnitude of feature points were calculated by using Sobel operator to improve SIFT performance; besides, the vector angle was taken as a criterion to measure SIFT features’ similarity, thus the accuracy and speed of feature points extraction and matching were improved. In image matching process, image sequence was sorted by color moment, then the improved SIFT features were matched with these sorted images precisely.Experimental results show that the proposed algorithm is a real-time and robust method to mobile localization problem: compared with SIFT, the false matching rate of the proposed algorithm is lowered by 9.2%, and the number of feature points are reduced by 20%; hierarchical match improves the speed and accuracy of image matching, for the computation amount of SIFT features is reduced by 60% and the total time consume is reduced by 40%.

mobile robot; image matching; color moment; improved scale invariant feature transform(SIFT)

2014-01-15

國家自然科學基金資助項目(61201112,61172044)；河北省自然科學基金資助項目(F2013203250, F2012203169)；河北省普通高等學校青年拔尖人才計劃資助項目(BJ2014056)；燕山大學青年教師自主研究計劃資助項目(14LGA013)

TP391DOI：10.3969/j.issn.1004-132X.2015.09.001

陳衛東，男，1971年生。燕山大學信息科學與工程學院教授。主要研究方向為智能機器人檢測與控制。發表論文30余篇。張興家，女，1987年生。燕山大學信息科學與工程學院碩士研究生。朱奇光，男，1978年生。燕山大學信息科學與工程學院副教授。陳穎，女，1980年生。燕山大學電氣工程學院副教授。