基于ORB與光流法的增強現實注冊算法研究

閆興亞，薛紅紅，李 樂

（西安郵電大學 計算機學院，陜西 西安 710061）

基于ORB與光流法的增強現實注冊算法研究

閆興亞，薛紅紅，李 樂

（西安郵電大學 計算機學院，陜西 西安 710061）

針對增強現實現有注冊算法速度較慢和實時性較弱的問題，提出一種新的基于ORB與光流法相結合的增強現實局部跟蹤注冊方法。采用光流法對移動對象區域進行跟蹤，同時利用ORB對該區域進行特征點提取和匹配，改善了移動三維注冊算法中的實時性能。通過跟蹤點失效檢測，確保了跟蹤的準確度。最后利用相鄰幀之間特征點的匹配關系求得三維注冊矩陣，完成注冊。實驗結果表明該方法達到了實時跟蹤與準確注冊的效果，并且在環境變化時保持了較好的魯棒性。

增強現實；局部跟蹤；光流法；跟蹤失效檢測；實時注冊

增強現實（Augmented Reality，AR）技術[1]是虛擬現實技術的擴展，它將計算機產生的虛擬信息（如：三維物體、文字、圖像視頻等）與人們所看到的真實世界相疊加，給人以視覺增強的效果[2]。因此，增強現實是對真實世界的增強而非取代[3]。增強現實具有3大特點：虛實結合、實時交互和三維注冊，其中三維注冊是增強現實的核心技術，已成為當今研究的熱點之一。當前三維注冊技術一般可以分為：基于特殊標識的注冊和基于自然特征的注冊[4]。由于人工放置的標識圖像在一定程度上破壞了用戶對現實世界的感知體驗，從而限制了其在現實中的應用范圍[5]。近年來，隨著計算機圖形學和計算機視覺技術的發展，基于標識平面的自然特征注冊方法利用場景中的物體作為標識平面，不受場合的限制，已成為增強現實發展的趨勢。

我們熟悉的特征點檢測與匹配算法有Sift[6]、Surf[7]等。它們可以提取具有尺度不變的特征點，且匹配性能良好，但是它們的計算復雜度高，實時性弱。近些年來，雖然關于Sift、Surf改進的算法層出不窮[8-12]，但是它們在實時性方面的表現卻不盡人意。而ORB算法，在速度方面，比SIFT要快兩個數量級，比SURF快了一個數量級。光流法是通過跟蹤特征點坐標的方式來對移動區域進行跟蹤，運算簡單快速，但持續的跟蹤會積累一定的誤差[13]。

針對以上出現的問題，本文的解決方案為：在跟蹤方面采用光流法對移動對象（標識平面）進行跟蹤，這樣可以減小特征點提取與匹配的區域，再加上對跟蹤點的失效檢測來解決跟蹤容易失敗的問題；在特征點檢測和匹配方面采用ORB算法對光流法跟蹤出的移動對象區域尋找特征點，并進行匹配，最后利用相鄰幀之間的匹配關系求得三維注冊矩陣，最后完成三維注冊。

1 ORB算法特征點提取

1.1 特征點檢測

ORB是由ERublee[14]等人提出的一種局部不變特征檢測算法。它采用FAST作為特征點檢測算子，引入圖像尺度金字塔，在圖像尺度金字塔每層檢測FAST特征。FAST特征不具有主方向，通過獲取特征點鄰域的重心確定方向參數[15]。文獻[15]中定義通過矩計算來獲得主方向，圖像中任意一小塊區域圖像I（x，y）的（p+q）階矩定義為式（1）：

其中 x，y∈[-r，r]，R 為圓形鄰域半徑。

圓形鄰域重心計算式：

特征點的方向，如式（3）示：

由此，可為候選特征點確定主方向θ，有了θ就可以提取BRIEF描述子。此外，由于FAST邊緣響應嚴重的特點，ORB采用Harris角點檢測算法對其排序，然后根據特征點數目的需求篩取排名靠前的點作為特征點。

1.2 特征點描述

ORB算法利用的是rBRIEF，核心思想是利用少量的強度來表示圖像的鄰域。BRIEF算法獲得描述子的步驟如下：首先在一個S×S大小的圖像區域p上定義一個測試集合

其中 p（x）是經高斯平滑后在像素點 x=（u，v）T的灰度值。選定一個有確定位置關系的像素點對測試集 nd（x，y），生成的描述子如下：

nd可以取128或256或512。考慮到魯棒性本文設定nd為256。

隨機點對生成的描述子對噪聲比較敏感，為此ORB在FAST特征點31×31像素領域內隨機選取5×5的像素塊對，使用積分圖對若干對像素塊進行比較，得到二進制串這樣使用像素塊灰度總和比較的方法有效地降低了隨機噪聲的干擾。

另外，BRIEF本身是無向的，不具有旋轉不變性，ORB的解決方法是嘗試給BRIEF添加一個方向。在位置處（xi，yi），對于任意n個二進制準則特征集，定義一個2n矩陣如式（6）：

使用鄰域方向θ和對應的旋轉矩陣Rθ，構建S的一個校正版本 Sθ：Sθ=RθS 于是 Steered BRIEF 描述子就為式（7）：

得到Steered BRIEF后，接著執行一個貪婪搜索，從所有可能的像素塊對中找256個相關性最低的像素塊對，即得到最終的rBRIEF。

2 跟蹤與匹配

2.1 移動對象跟蹤

在進行特征匹配時，如果對匹配圖像全局提取特征點再與目標圖像特征點一一匹配，會比較耗時，因此不能保證注冊的實時性。若縮小圖像大小，匹配時間會相對減少，但是檢測到的特征點也會隨之減少，不利于后續跟蹤匹配。由于光流法對小幅度的移動有很好的跟蹤效果，故結合光流法（本文采用金字塔L-K光流法）來跟蹤移動對象區域，這樣既可以縮短匹配時間，又不會減少匹配點。

2.2 跟蹤點失效檢測

SSD錯誤檢測方法是最常用的跟蹤錯誤檢測方法之一，實現方法如下：在t時刻，用目標跟蹤點周圍的圖像塊R，描述目標跟蹤點。跟蹤目標點至t+1時刻，并得到它在t+1時刻的描述R′，錯誤檢測算法的跟蹤誤差則表示為（8）：

SSD值越高，表示兩個圖像塊之間越不相似。SSD值高于某個閾值時，則跟蹤錯誤。

由于SSD錯誤檢測方法無法排除被錯誤跟蹤的點，而Forward-Backward錯誤檢測方法的引入正好可以解決這個問題，具體實現方法如圖2所示：

Pt為其中一個被跟蹤點在t時刻的位置。首先追蹤器追蹤點Pt，經過正向追蹤k步后生成點Pt的軌跡。然后令，反向追蹤點，同樣生成追蹤k步后的軌跡。

圖1 Forward-Backward

最后，比較兩條軌跡，如果它們相差太遠，則跟蹤錯誤。反之，差距小于一定的閾值，則認為目標點已被正確地跟蹤到。

2.3 ORB特征匹配

對當前幀的跟蹤區域進行ORB特征點檢測，特征點選取以后，便可進行特征點匹配。由于生成的特征點描述子為二進制碼串形式，因此使用Hamming距離對特征點匹配較為簡單。

通過上述方法進行特征點匹配后，往往存在許多誤匹配的點對，因此，使用PERANSAC來剔除誤匹配點對。

3 基于單應性三維注冊矩陣計算

虛實注冊是利用計算機視覺技術實時地檢測出攝像頭在真實環境中的相對位置和角度，從而進行虛擬物體的疊加，世界坐標系的點 Xw=（xw，yw，zw，1）與其在像平面上的投影 Xi=（xi，yi，1）的關系可用下式表示：

其中，λ表示比例因子，矩陣K為攝像機的內部參數矩陣，矩陣M為模型視點矩陣，當Xw在標識平面上時Zw=0式（9）可以轉換為

由（10）、（11）可得：

4 實驗結果與分析

4.1 運算時間對比與分析

分別使用ORB全局跟蹤注冊方法，SIFT局部跟蹤注冊方法和本文的ORB局部跟蹤注冊方法對同一段大小為640×480的視頻進行基于特征點的跟蹤注冊，將跟蹤注冊耗時進行對比。視頻采用事先錄制的視頻，對象采用3.1節實驗中所使用的對象，測試平臺為個人PC，操作系統為Windows7，處理器為Intel（R） Celeron（R） 2957U@1.40 GHz，內存為2G。每隔50幀圖像進行一次平均計算，測試時間對比結果如表1所示。

表1 注冊跟蹤平均耗時/ms

從表1中可以看出，本文方法在系統處于穩定狀態時，注冊平均耗時維持在103.26 ms左右，較ORB全局跟蹤注冊方法運算時間119.08 ms縮短了近13%，較SIFT局部跟蹤注冊方法運算時間481.12 ms縮短了近3/4，因此更適合應用在實時增強現實系統中。

4.2 運行結果

圖 2（a）～（d）為本文方法實驗運行結果。從（a）到（d）圖像幀數逐漸增加，（a）、（b）分別為對象正面和旋轉180°后的注冊結果，（c）為系統在對象部分遮擋的情況下完成的注冊結果，（d）為在一定幅度視角變化情況下的注冊結果。

圖2 本文方法運行結果

實驗結果表明，文中方法在在一定幅度視角變化與標識部分遮擋的情況以及光照下都可以完成注冊。可以實時地對圖像進行跟蹤與注冊，同時較好地解決了注冊誤差累積的問題。

5 結束語

提出了一種準確、快速的增強現實跟蹤注冊方法，該方法采用ORB與光流法相結合的跟蹤注冊策略，利用光流法跟蹤移動對象區域并結合跟蹤點失效檢測保證了跟蹤的穩定性與精確性，采用ORB特征提取與匹配算法在對旋轉、尺度縮放、亮度、視角及仿射等保持不變性的同時，確保了運算速度，實驗結果表明，文中方法較好的滿足了增強現實跟蹤注冊方法對實時性和精確性的要求。

[1]羅斌，王涌天，沈浩，等.增強現實混合跟蹤技術綜述[J].自動化學報，2013，39（8）：1185-1201.

[2]劉莉.增強現實中基于輪廓深度恢復的虛實遮擋方法研究[J].計算機應用與軟件，2011，28（1）：220-222.

[3]陳靖.增強現實研究進展與核心技術（上）[J].信息技術與標準化，2012，6（6）：35-37.

[4]李揚，孫超，張明敏，等.跟蹤與匹配并行的增強現實注冊方法[J].中國圖象圖形學報，2011，16（4）：680-685.

[5]饒玲珊，林寅，楊旭波，等.增強現實游戲的場景重建和運動物體跟蹤技術 [J].計算機工程與應用，2012，48（9）：198-200.

[6]LOWE D G.Distinctive image features from scaleinvariantkeypoints [J].InternationalJournalof Computer Vision，2004，60（2）：91-110.

[7]BAY H，TUYTELAARS T，Van GOOLI L.Speededup robust features（SURF） [J].Computer Vision and Image Understanding，2008，110（3）：346-389.

[8]Dl N，L1 G J，CHEN CH N.Image matching technology research based on normalized DOG features[J].Journal of Electronic Measurement and Instrumentation，2014，28（6）：585-560.

[9]閆鈞華，杭誼青，許俊峰，等.基于CUDA的高分辨率數字視頻圖像配準快速實現[J].儀器儀表學報，2014，35（2）：380-386.

[10]衛星，樊紹勝，高山.基于BRISK的圖像快速匹配與變換算法田[J].電子測量技術，2015，38（3）：43-47.

[11]LU M M，ZHAO F J，LI N.Feature extraction of high-resolution SAR images based on bag-of-word model [J].Foreign Electronic Measurement Technology，2015，34（6）：62-69.

[12]劉松松，張輝，毛征，等.基于HRM特征提取和SVM的目標檢測方法 [J].國外電子測量技術，2014，33（10）：38-41.

[13]Samsudin W S，Sundaraj K，Ahmad A，et al.Initial assessment of facial nerve paralysis based on motion analysis using an optical flow method[J].Technology&Health Care Official Journal of the European Society for Engineering&Medicine，2015.

[14]Rublee E，Rabaudv，Konolige K，et al.ORB：an efficient alternative to SIFT or S-URF [C]//IEEE InternationalConference on Computer Vision 2011：2564-2571.

[15]Ren J，Zhou Y，Yu Y，et al.Real time augmented reality based on ORB[J].Application Research of Computers，2012，29（9）：3594-3596.

Research on augmented reality registration algorithm based on ORB and optical flow method

YAN Xing-ya，XUE Hong-hong，LI Le
（School of Computer Science and Technology，Xi’an University of Posts and Telecommunications，Xi’an 710061，China）

Aiming at the problem that existing registration algorithm is weak on speed and real-time，A tracking and registration method based on ORB and optical flow in the AR is proposed.Using optical flow method to track the moving object region，and using ORB to extract and match the feature points of the region，improve the real-time performance of the mobile 3D registration algorithm.By tracking point failure detection，to ensure the accuracy of the tracking.Finally，using the matching relationship between the characteristic points of adjacent frames to get the 3D registration matrix.Experimental results show that the proposed method can achieve the effect of real-time tracking and accurate registration，and the robustness of the proposed method is better when the environment changes.

Augmented Reality （AR）；region-based tracking；optical flow method；tracking failure detection；real-time registration

TN919.82

：A

：1674－6236（2017）13-0040-04

2016-05-05稿件編號：201605041

閆興亞（1974—），男，遼寧鞍山人，博士，教授。研究方向：數字媒體理論與應用和增強現實技術應用。