多信息融合的目標辨識研究

王海軍，朱軍利，張 帆，雷 鵬

（上海電機學院 電子信息學院，上海 200240）

多信息融合的目標辨識研究

王海軍，朱軍利，張 帆，雷 鵬

（上海電機學院 電子信息學院，上海 200240）

針對智能移動機器人未知環境探測與地圖創建的研究與應用，在優化圖像匹配算法的基礎上，提出了一種基于圖像信息與激光測距信息融合的算法，用于機器人作業環境中進行目標有效辨識，以完成機器人的環境探測與地圖創建。實驗結果證明了該算法的可行性和有效性。

即時定位和地圖創建；尺度不變特征變換；圖像識別；數據融合

機器人的同步定位與地圖創建（Simultaneous Localization and Mapping，SLAM）是一個非常復雜的問題［1-3］，因為它必須估計機器人移動時的位姿概率，并與環境地圖保持一致性和有效性。為更好地解決定位與地圖估計之間的依賴性，需要在高維狀態空間求解，這使得研究SLAM問題的難度增大。在移動機器人的研究領域中，對于地點（或稱路標、場所）的識別，往往被稱為拓撲節點定位技術［4-5］。在這方面，很多研究都集中在利用圖像序列對周圍環境目標進行識別［6-8］，因為這些圖像序列有一定的自然連續性和次序性，使得移動機器人可以按照所給的具有一定連續性的圖像序列進行拓撲節點的識別，從而完成有效定位。

對于移動機器人而言，利用自身所攜帶的視覺傳感器對某一路標或地點進行識別［9-10］，是其一個非常重要的功能。機器人基于所獲取的外界視覺信息，對不同的環境路標進行匹配檢測，并進一步判斷其目前所處的位置，決定下一步該向哪個方向移動。

通常，對兩幅圖像的檢測匹配是通過提取圖像的“關鍵點”或“興趣點”來進行的，這種被稱為“關鍵點”或“興趣點”提取的圖像匹配算法是最為常見的［6-7，11-12］。該算法涉及對取自于同一場景 的多個不同的圖像進行可靠的特征點提取，只有有效地取得圖像的特征點，才能進行兩幅圖像的匹配。加拿大學者Lowe［6］提出了基于尺度不變特征變 換 （Scale Invariant Feature Transform，SIFT）算法。通過SIFT算法所得到的圖像描述符，對于圖像的轉換、平移、縮放和旋轉都具有不變性；對光照與3－D投影的變化也具有一定的恒定性。Mikolajczyk與Schmid［7］比較了其他圖像處理算法，得到SIFT算法在針對圖像縮放、旋轉和光照的變化等條件下性能最佳的結論。Lowe提出通過計算描述符的匹配來檢測圖像目標，從被檢測的場景中取得一個模板圖像，提取其描述符，再提取待測試圖像的描述符。通過一對一的模板和被測試圖像的對比，進一步確定環境中的目標（路標），實現了機器人的導航與定位。

本文介紹了SIFT特征算法，分析了原SIFT算法下的特征向量，通過對其特征向量的維度作裁剪，提出了一種優化的SIFT特征向量，以提高算法的實時計算速度；討論了激光測距數據處理算法并進行優化，將測距的處理數據與基于圖像處理的STFT特征向量結合，用于對環境目標的識別試驗。實驗結果驗證了算法的有效性。

1 SIFT算法

在不同尺度的高斯差圖像的對比中，關鍵點被確定為某一局部的極大值或極小值。在不同的相鄰尺度的高斯差圖像中，每一個像素點需要在一個3像素×3像素的子區域內（見圖1），與其相鄰的26個點的像素灰度值相對比。在這26個點中，有8個是來自于同一尺度的相鄰點，其余18個點位于相鄰尺度的圖像上，如果其值為最大或最小，則可作為一個預選的極值點。為增加匹配的穩定性和提高抗噪聲干擾能力，可以去除一個低對比度的點和邊緣效應點，最后得到一些關鍵點或興趣點。

圖1 相鄰尺度空間的極值檢測Fig.1 Detection of extreme values between adjacent scales

尺度空間的極值檢測方法如下：確定高斯卷積差函數［1］

式中，G（x，y，σ）為尺度可變高斯函數；（x，y）為空間坐標；σ為尺度因子。

利用式（1）對所有尺度空間的圖像進行計算，進一步確定潛在的關鍵點，而這些關鍵點對尺度和方向是不變的。

式中，L（x，y，σ）為圖像高斯卷積函數；I（x，y）為圖像函數。

式中，k為尺度比例因子。

由式（4）可計算出特征點的方向幅值。文獻［6］中詳細闡述了SIFT特征點計算方法，本文不再贅述。

同其他的圖像描述符相比較，由于SIFT特征向量是128維的，因此基于SIFT特征向量的計算成本高，尤其不利于實時在線的快速計算。如果降低特征向量的高維數，將節省計算時間和計算資源需求。同時，在SIFT特征點提取過程中也產生了大量冗余信息，即有很多的特征點被檢測出來，在大多數的圖像檢測應用中都會涉及到此類冗余問題。在機器人SLAM環境下，對同一場景所取得的圖像，都會產生大量的關鍵點，這其中大約有80%的特征點不能正確匹配，因此，若要在不影響正確的關鍵點匹配數量的情況下，減少所產生的關鍵點數量將提高計算能力。

圖2 SIFT關鍵點特征向量示意圖Fig.2 SIFT key point descriptor

圖2為SIFT關鍵點特征向量示意圖。圖2（a）和（b）中，箭頭方向為該像素的梯度方向，箭頭長度為梯度模值，其中黑點為關鍵點，在其2像素×2像素子區域內，每個子區域有8個梯度方向，原始的SIFT算法取關鍵點周圍4像素×4像素的子區域，而圖2中只畫出了2像素×2像素子區域，故對于標準的SIFT關鍵點而言，其特征向量的維度為4×4×8＝128。

比較兩幅圖像是否匹配，就是計算2個SIFT特征點的特征向量之間的距離，如果其距離小于預先設定的某一域值，則可認為這2個點是匹配的，一般而言，當兩幅圖像中有3～5個關鍵點匹配時，則可認為這兩幅圖像是匹配的［6-7］。

本文對SIFT特征向量的維度進行優化和改進，采取的方法是進一步減少SIFT特征向量的維數，維度降低了，向量計算的時間也會大幅減少。本文僅計算關鍵點周圍的2像素×2像素子區域內的梯度，并在每個子區域中取4個梯度向量，將原來的8個梯度向量合成為4個向量，且這4個向量的方向與坐標軸的上、下、左、右4個方向相對應。相比標準SIFT的128維向量而言，向量的維度就降低到只有2×2×4＝16，再將所獲得的向量經過旋轉和規范化操作，以增加其對圖像的明暗變化、旋轉產生魯棒性，取其中包含最大梯度在內的4個梯度方向進行圖像的匹配，該方法可以顯著降低關鍵點向量的維度。圖3為基于原128維SIFT特征向量與16維特征向量的圖像匹配檢測效果。由圖3可見，由于減少了SIFT特征點的數量，故兩幅圖像能夠對應匹配的特征點也減少了，但是，匹配效果未受影響。

圖3 標準SIFT與改進簡化后的匹配效果比較Fig.3 Comparison of original and improved SIFT algorithms

由于SIFT特征向量的維度減少了，特征點匹配的可靠性和準確性也有所降低，這會省略其他梯度的有效信息，而醫學圖像對比的是非常細微的地方，故在醫學圖像檢測中是不合適的。但在移動機器人探測環境中，對于目標圖像的檢測不像醫學圖像中要求具體到細微的地方，當省略某些梯度信息時，雖然犧牲了辨識的精度，但提高了辨識速度，在不影響對環境中目標辨識效果的基礎上，還是能提高機器人在線的實時運算速度。

2 激光測距數據處理算法

激光測距儀具有很高的測量速度和精度特性，它對噪音和環境的亮度是不敏感的，具有較強的穩定性，故基于其精度高和魯棒性的優點，在機器人定位和地圖創建的研究中，激光測距儀被廣泛采用［13-15］，成為機器人的主要攜帶傳感器之一。

在實驗室的移動機器人平臺上帶有一個測距范圍為30m的激光傳感測距儀，在每次掃描中都可得到180個測距數據，每個數據的掃描間隔角為1°。設N為激光測距獲得的數據，D為測量的數據點，有

每一個點的子集都代表一個線段，每一個線段有Ni個數據點，數據點集和線段都一一對應。

在圖4中，用以下算法判斷一個點是否屬于某一線段：假設Dj為數據點集中的任一點，rj為點Dj到線段Li的垂直距離，當其值小于預設的閾值時，就認為這個點屬于此條直線。在實驗中，可以把激光數據點到某一線段的垂直距離作為參考值，以確定它是否屬于該線段。激光傳感器一次掃描180°，相當于半個平面，這些數據點可能會分布在不同的線段上，利用上述算法，可以得到一組激光測距數據所對應的相應的線段，這些線段往往是墻或物體的邊緣所產生的。將一組激光數據所對應的線段按照其長度大小設定其對應的權值，長度越長，權值越大，并把這些權值組成一個權值向量，將線段權值向量與以前測量得到的模板線段進行對比，以確定機器人所處的場景或對某一目標進行邊緣檢測及匹配。

圖4 線段Li的示意圖Fig.4 Diagram of line Li

3 實驗結果分析

經過對SIFT算法的優化，基于SIFT特征點的兩幅圖像的匹配計算時間較以前減少了很多，這是非常關鍵的一個步驟。由于智能移動機器人在探測環境時，需要實時在線計算處理大量數據，SIEF算法的改進、優化對機器人實時完成任務提供了保障。利用改進后的方法，在不同觀測角度、明暗、變形和噪聲的情況下，實驗結果如圖5～7所示。圖5、6中，左側均為采集到的原始圖像，而右側分別是增加了曝光強度、噪聲后的圖像，及扭曲變形且視角發生一定變化后的圖像。由圖5、6可見，雖然圖像發生了明暗、加噪、變形等，但仍可檢測到正確的圖像匹配特征點。

圖7為基于多信息的特征匹配圖。由圖可見，隨著線段權值向量匹配率的提高，圖像的匹配率的正確度也同時增加，故在場景匹配過程中，可以完成線段權值向量匹配的計算（因為其計算時間較短），當匹配率達到一定值后，再對相應地點的圖像進行匹配計算，這樣可以大大提高對環境目標識別的速度。

圖7 基于多信息的特征匹配示意圖Fig.7 Feature matching based on multiple－data fusion

當移動機器人進入到一個新的局部環境時，該局部環境可以是一個房間，或屬于移動機器人傳感器測量范圍內的一個地方，將這樣的一個局部環境稱為一個拓撲節點。對于每一個節點，機器人利用自身攜帶的視覺傳感器，每45°就拍攝一幅圖像，同時每隔90°激光掃描一次，故在一個新的節點環境下，在360°內，共有4個激光掃描數據集和8個圖像與所在的節點相關聯。

機器人捕獲當前拓撲節點內的圖像信息和環境的距離信息后，利用前文所述算法，對傳感器信息進行優化處理，以多傳感器數據融合為基礎，將當前的處理數據與以前存儲的環境信息進行比較，最后得出環境目標匹配的結果。若匹配成功，則識別出原來的環境目標；若在數據庫內沒有匹配結果，則有可能目前節點是一個新的節點，也就是說機器人不能在存儲數據庫中找到匹配的數據，新節點將被添加到數據庫中。

4 結 語

作為一個自主移動的機器人，在已知或未知環境中作業時，具有視覺和測距的信息獲取能力是非常重要的，在機器人SLAM問題的研究中，能夠有效可靠地分析傳感器的信息，是機器人完成各種任務的前提和保障。

在圖像處理方面，由于具有清晰、獨特的關鍵特征和準確度高的數字圖像匹配方法，SIFT算法是一個辨識局部環境目標的有力工具。由于每個數字圖像都會產生大量SIFT特征點，與此同時每個特征點的向量具有多達128維的數據維度，故對于SIFT特征點的提取、基于特征向量的圖像匹配而言，這是一個非常耗時的計算任務，如何刪除多余的信息是非常重要的。本文提出減少原SIFT算法下的特征點的數量，簡化了特征向量的維度，極大地提高了機器人實時在線的計算速度及對環境中目標的識別效率；同時，提出了一個基于距離數據和圖像數據融合的目標辨識的算法，將一個局部環境節點與圖像信息和距離信息關聯起來，為進一步對局部環境進行準確辨識起到了有效作用，這些策略可有效降低內存要求和算法的復雜性，增強實時在線的計算能力。實驗證明了算法的有效性。

［1］ Blanco J L，Fernández－Madrigal J A.A new approach for large－scale localization and mapping：Hybrid metric－topological SLAM［C］／／2007IEEE International Conference on Robotics and Automation.Roma：IEEE，2007：2061－2067.

［2］ Ogawa Y，Shimada N，Shirai Y.Environmental mapping for mobile robot by tracking SIFT feature points using trinocular vision［C］／／SICE Annual Conference.Takamatsu：IEEE，2007：1996－2001.

［3］ Herath D C，Kodagoda S，Dissanayake G.New framework for simultaneous localization and mapping：Multi map SLAM［C］／／IEEE International Conference on Robotics and Automation.Pasadena，CA：IEEE，2008：1892－1897.

［4］ Ruan Xiaogang，Pang Tao，Wang Ershen.Mobile robot localization bsaed on particle filter in the environment topology map［C］／／2011International Conference on Electrical and Control Engineering（ICECE）.Yichang，China：IEEE，2011：3982－3985.

［5］ Wang Yuquan，Xia Guihua，Zhu Qidan，et al.Monte carlo localization of mobile robot with modified SIFT［C］／／2009International Conference on Measuring Technology and Mechatronics Automation.Zhangjiajie：IEEE，2009：400－403.

［6］ Lowe D G.Distinctive image features from scaleinvariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［7］ Mikolajczyk K，Schmid C.A performance evaluation of local descriptors［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615－1630.

［8］ Amlacher K，Luley P，Fritz G.Mobile object recognition using multi－sensor information fusion in urban environments［C］／／15th IEEE International Conference on Image Processing.San Diego，CA：IEEE，2008：2384－2387.

［9］ Davidson A J，Murrray D W.Simultaneous localization and map－building using active vision［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：865－880.

［10］ Vadakkepat P，Liu Jing.Improved particle filter in sensor fusion for tracking randomly moving object［J］.IEEE Transactions on Instrumentation and Measurement，2006，55（5）：1823－1832.

［11］ 袁 勃，王殿君，姜永成，等.SIFT算法在不同維數下的圖像匹配效率［J］.科技導報，2010，28（14）：85－89.

［12］ 劉 立，彭復員，趙 坤，等.采用簡化SIFT算法實現快速圖像匹配［J］.紅外與激光工程，2008，37（1）：181－184.

［13］ 司現軍，王志良.移動機器人多傳感器信息融合技術綜述［J］.機電工程，2004，21（2）：1－5.

［14］ 熊 蓉，褚 健，吳 俊.基于點線相合的機器人增量式地圖構建［J］.控制理論與應用，2007，24（2）：170－176.

［15］ Iocchi L，Pellegrini S，Tipaldi G D.Building multilevel planar maps integrating LRF，stereo vision and IMU sensors［C］／／2007IEEE International Workshop on Safety，Security and Rescue Robotics.Roma：IEEE，2007：1－6.

Object Recognition Based on Multiple－Data Fusion

WANG Haijun，ZHU Junli，ZHANG Fan，LEI Peng
（School of Electronics and Information，Shanghai Dianji University，Shanghai 200240，China）

Localization and mapping under unknown environments is an important issue in robotics research.This paper proposed an algorithm for fusing visual data and laser range data based on optimized image matching algorithm.The robot can effectively recognize landmarks and achieve environment exploring and mapping.Experimental results demonstrate effectiveness and feasibility of the proposed algorithm.

simultaneous localization and mapping；scale invariant feature transform（SIFT）；image recognition；data fusion

TP 391.41

A

2095－0020（2011）06－0381－05

2011－10－28

上海市大學生科創基金項目資助（10scx26）；上海電機學院重點學科資助（07XKJ01）；上海電機學院科研項啟動經費目資助（10C401）

王海軍（1970－），男，副教授，博士，專業方向為智能控制技術，E－mail：wanghj＠sdju.edu.cn