基于改進ORB特征的遙操作工程機器人雙目視覺定位

(廣東工業(yè)大學 機電工程學院，廣東 廣州 510006)

遙操作工程機器人是指能夠在人難以接近或對人有害的環(huán)境中，由操作者遠程遙控操作完成復雜作業(yè)任務的機器裝置[1]。為了提高作業(yè)效率，遙操作工程機器人采用視覺提示技術提高臨場感[2]，但視頻圖像傳輸過程中存在較大網(wǎng)絡時延，可能導致工程機器人無法正常作業(yè)[3]。采取雙目視覺定位技術傳輸數(shù)據(jù)量小，可有效克服時延問題[4]。但傳統(tǒng)的雙目視覺定位方法難以滿足遙操作工程機器人快速、準確的作業(yè)要求，開展遙操作工程機器人雙目視覺定位方法的研究具有重要的工程實際意義。

國內外許多學者對雙目立體視覺定位技術開展了研究，在實現(xiàn)雙目視覺定位的特征點提取及匹配方面提出多種算法[5-9]。David Lowe[10]提出了SIFT(Scale-Invariant Feature Transform)算法，該算法具有尺度不變性，但是目標特征點提取與匹配時間較長。Bay[11]提出了SURF(Speeded Up Robust Features)算法，該算法運行速度比SIFT有所加快，但是仍然無法滿足實時性的需求。針對 SIFT 和 SURF 在實時性上的缺陷，Ethan Rublee等人[12]提出ORB(Oriented FAST and Rotated BRIEF)檢測算子，使速度有極大提升，但ORB 粗匹配存在較多誤匹配。朱永豐[13]提出了基于ORB特征的單目視覺定位算法，該算法實時可行，但因其基于單目實現(xiàn)，無法得到尺度信息。白雪冰[14]提出了一種結合SURF和ORB的算法，該算法克服了ORB算法不具有尺度不變性的缺陷，但明顯降低了ORB算法的速度。龔朋朋[15]研究了基于神經(jīng)網(wǎng)絡的遙操作工程機器人雙目視覺定位方法，利用工程機器人特征點的二維圖像坐標和三維世界坐標構建神經(jīng)網(wǎng)絡模型，以此模型實現(xiàn)遙操作工程機器人的定位。該方法簡單有效，但神經(jīng)網(wǎng)絡的建立需要大量的樣本訓練，過程較為煩瑣。上述方法應用于遙操作工程機器人雙目視覺定位通常可滿足一般要求，但對于實時性要求較高的場合尚難以滿足要求。

為了提高遙操作工程機器人定位系統(tǒng)圖像處理的實時性，本文提出了一種基于改進ORB的雙目立體視覺定位方法。利用圖像二分法剔除掉圖像中的無效區(qū)域，只保留匹配區(qū)域，采用ORB算法完成有效區(qū)域的匹配，最后采用RANSAC(Random Sample Consensus)算法剔除偽匹配，得到較為精準的匹配點對，以提高匹配效率和算法的實時性。實驗證明了其有效性。

1 雙目視覺定位方法

雙目立體視覺定位的流程如圖1所示。先對相機進行標定，然后對圖像進行分塊并提取圖像的特征點，對特征點進行立體匹配，最后對特征點進行三維重建，實現(xiàn)目標物的定位。

圖1 雙目立體視覺定位流程

1.1 ORB特征匹配

ORB特征是將FAST(Features From Accelerated Segment Test)特征點檢測方法與BRIEF(Binary Robust Independent Elementary Features)特征描述子結合起來，并在它們原來的基礎上做了改進與優(yōu)化得到的。

ORB算法采用改進的FAST(oFAST)來檢測特征點的位置。首先假設在圖像中要提取N個特征點，降低FAST的閾值，使FAST算法檢測到的特征點大于N，然后在特征點位置處，計算特征點的Harris響應值R。

特征點的方向，計算過程如下。

定義區(qū)域S的矩為

(1)

式中，f(x，y)表示圖像的灰度值，則此區(qū)域質心位置為

(2)

則特征點主方向為θ=arctan(M0,1/M1,0)。

從所有角點中找到效果良好的點對來描述圖像特征。將這些角點對進行灰度二值化，即

(3)

式中，x，y表示角點坐標。

選擇n個角點位置(x，y)，對其進行特征運算

(4)

設有n對位置坐標(xi，yi)，構造2×n矩陣：

(5)

Mθ=RθM

(6)

得出BRIEF 描述子結果

gn=(Pθ,θ)=fn(P)|(xi,yi)?Mθ

(7)

根據(jù)匹配點與非匹配點Hamming距離不同設定閾值，實現(xiàn)匹配。

1.2 改進的ORB特征匹配

由于操作者需要及時地觀察到遠端機器人作業(yè)的實時情況，為避免發(fā)生誤操作甚至產(chǎn)生嚴重后果，遙操作工程機器人雙目視覺定位系統(tǒng)需具有更高的實時性，因此應進一步提高ORB算法的快速性。

在遙操作工程機器人雙目視覺系統(tǒng)采集圖片的圖像區(qū)域并不是全部有效的。如果除去在無效區(qū)域內提取特征點和生成描述子的時間，可節(jié)省特征點提取和描述子生成的總時間。因此，提出改進的ORB特征匹配算法，即先利用圖像分塊的思想，對圖片進行分塊，然后采用投票的思想，推選出最佳的子塊。再用ORB匹配算法對最佳的子塊進行匹配，最后用RANSAC算法剔除誤匹配，得到精確匹配點。

(8)

由式(8)可知，當m>1時，可以保證t

(9)

(10)

由式(10)可得，特征點檢測時間減少了25%。即采用雙圖像二分法，在圖像處理過程中，可提高效率25%。

在實際匹配過程中，為進一步提高算法的實時性，運用歐氏距離相似判別法，利用相鄰子塊之間的空間位置關系，運用投票機制的思想方法，推選出最佳子塊。

(11)

式中，Ii(x，y)為待匹配圖像；Iij(x，y) (j=1，2)為切割后得到的子塊。

對得到的最佳子塊,采用ORB算法提取特征點并生成ORB描述子，用Hamming距離進行粗匹配。

由于ORB算法局限性和外界干擾噪聲等因素的影響，在特征匹配時會存在偽匹配。偽匹配會對匹配結果造成誤差，嚴重影響了算法的匹配效果。為減少偽匹配，在進行粗匹配后利用RANSAC算法進行精匹配，通過多次迭代除去偽匹配點，最終得到較為精準的匹配點對。改進算法的流程如圖2所示。

圖2 改進ORB算法流程圖

2 目標物三維重建

為了實現(xiàn)對目標物的空間定位，需要對目標物進行三維重建。如圖3所示，對于空間中任意一點P，用C1、C2兩個攝像機同時觀察該點，O1和O2分別為左、右攝像機的光心，P1、P2分別為P點在左、右攝像機成像平面成像的像素點。

圖3 雙目立體視覺成像原理

點P在左、右圖像坐標系中有相同的縱坐標Y，根據(jù)幾何知識可以得到

(12)

式中,(xc，yc，zc)為點P的三維坐標；b為基線距；ax,ay,u0,v0為左右攝像機的內參數(shù)；(u1，v1)，(u2,v2)分別為P在左、右相機的圖像坐標。

由此，空間點P在左攝像機坐標系中的坐標可以通過計算得到，即

(13)

利用攝像機的內外參數(shù)和式(10)就可以計算出目標物體的三維坐標，從而確定出該點的空間位置。

3 實驗研究

為了驗證本文算法的實時性和有效性，建立了基于雙目視覺的遙操作工程機器人定位系統(tǒng)，采用不同算法，對不同的目標物進行了大量的對比實驗研究。

硬件系統(tǒng)如圖4所示，主要包括遙操作工程機器人(見圖4)，兩臺型號為DFK23G274的映美精工業(yè)相機，配備有Windows操作系統(tǒng)，CPU為Inter?CoreTMi5-5257U,主頻為2.7 GHz的圖像處理PC機。軟件采用基于Visual Studio 2015的集成開發(fā)環(huán)境，使用OpenCV進行圖像處理。由兩臺工業(yè)相機構成的雙目視覺系統(tǒng)將采集到的圖片傳送至圖像處理PC機進行深度恢復并實現(xiàn)目標物的三維建模，為遙操作工程機器人的作業(yè)提供指引。

在實驗過程中，通過與SIFT算法、SURF算法及傳統(tǒng)ORB算法進行比較，證明本文算法的性能。SITF算法、SURF算法、ORB算法、本文算法的匹配效果圖分別如圖5～圖8所示。

圖5 SIFT特征匹配圖

圖6 SURF特征匹配圖

圖7 ORB特征匹配圖

圖8 本文算法匹配圖

SIFT、SURF和傳統(tǒng)ORB算法進行比較實驗的結果如表2所示。從表中可以看出，本文算法不僅速度快，準確性也有明顯提高。

表1 不同算法性能比較

為了進一步驗證本文算法的準確性和實時性，分別對矩形磚塊、多邊形石塊及不規(guī)則石塊的圖片進行了特征匹配。矩形磚塊匹配的效果圖見圖8，圖9為使用多邊形石塊匹配的效果圖，圖10為不規(guī)則石塊匹配的效果圖，結果如表2所示。可以看出，本文算法對不同的目標物具有較高的匹配精度和較好的實時性。

圖9 多邊形石塊匹配圖

圖10 不規(guī)則石塊匹配圖

組別算法性能平均匹配時間/s正確匹配率/%10.4794.420.5192.230.4991.3平均值0.4992.6

在對矩形磚塊進行三維重建的過程中得到了矩形磚塊的三維信息，并對矩形磚塊進行人工測量，將人工測量的目標物三維尺寸和本文算法得到的目標物三維信息進行比較，結果如表3所示。

表3 矩形磚塊三維信息誤差分析

以上可看出，本文算法不論在實時性和匹配精度上都有明顯提高。

4 結束語

為了提高遙操作工程機器人定位系統(tǒng)圖像處理的實時性，提出了一種基于改進ORB算法的雙目視覺定位方法。建立了遙操作工程機器人雙目視覺定位系統(tǒng)，與傳統(tǒng)SIFT、SUFF和ORB算法及與不同目標物的對比實驗結果表明：該方法可以提高匹配效率，消除誤匹配，提高匹配精度，定位效率高，可滿足遙操作工程機器人作業(yè)較高的實時性要求，對遙操作工程機器人視覺提示系統(tǒng)設計具有參考作用。還可以為空間遙操作機器人及遠程醫(yī)療等的圖像處理技術提供參考。