基于增強現實的自適應跟蹤注冊方法

閆興亞，馬 柯，崔曉云

(1.西安郵電大學 數字媒體藝術學院，陜西 西安 710121；2.西安郵電大學 計算機學院，陜西 西安 710121；3.陜西師范大學 教育學院，陜西 西安 710062)

0 引 言

三維跟蹤注冊技術是增強現實(augment reality，AR)[1,2]中的關鍵和難點，它是對真實環境中的運動目標進行跟蹤，從而將虛擬物體實時疊加在目標上[3]。目前，關于運動目標跟蹤的解決方法主要是依據特征點的匹配和跟蹤[4]，這種方法在遮擋、尺度變換等情況下，會使跟蹤不穩定；比如ORB(oriented fast and rotated briEF)算法[5]運行速度快，且能提取穩定的特征點，但不具有尺度不變性，存在大量的誤匹配。Maidi M等[6]針對增強現實技術中的遮擋問題，開發了一種用于對象識別和遮擋處理的多模態跟蹤框架，該框架主要由姿態估計和特征點跟蹤兩個模塊組成，分別用于目標注冊和遮擋處理。

Camshift(continuously adaptive mean-shift)[7]是一種連續自適應跟蹤算法，廣泛應用于目標跟蹤，但背景與運動目標的顏色相似時，會導致跟蹤失敗[8]。郭金朋等針對這種情況，結合SURF(speed up robust features)算法進行特征匹配，使Camshift算法能夠在復雜背景下正常跟蹤[9]。

根據以上研究，本文為了提高增強現實系統在跟蹤注冊過程中的準確率以及適應目標尺度變換，提出一種基于Camshift與ORB算法相結合的自適應三維跟蹤注冊方法。該方法利用高斯分布的背景建模法檢測運動目標，提高Camshift算法跟蹤的準確率[10]；當跟蹤目標失效，即前后兩幀目標區域顏色直方圖相差較大時[11]，使用ORB算法對目標區域進行匹配，找到丟失的目標；在ORB算法中利用尺度空間理論建立圖像金字塔，使提取出的特征點具有尺度不變性。實驗結果驗證了本文方法具有良好的實時性和魯棒性。

1 主要理論

1.1 Camshift算法

Camshift算法是在Meanshift算法基礎上改進的，其中，Meanshift算法[12]在跟蹤時主要是依據目標顏色概率直方圖，進行相似性度量計算以尋找最佳目標，從而達到實時跟蹤。Camshift算法與Meanshift算法相比[13]，能夠自動調節搜索窗口適應目標的大小，對視頻中尺寸變化的目標進行跟蹤，提高了算法的有效性。它是以視頻圖像中運動物體的顏色信息作為特征，對輸入圖像的每一幀做Meanshift運算，并將上一幀的目標中心和核函數帶寬作為下一幀Meanshift算法的中心和核函數帶寬的初始值，以此方式迭代計算，實現對目標的跟蹤。

1.2 ORB算法

ORB算法主要是對圖像中的特征進行檢測和提取，但檢測出的特征點不具備方向不變性，所以引入灰度質心來計算特征點的主方向。實現的主要步驟是：①特征點檢測：選擇一個像素點與周圍的點相比，不一致則為特征點；②特征點描述：將特征點附近的圖片放大，對放大后的像素點對進行灰度值比較，組成n位二進制串，所得的二進制串為特征點的描述子；③特征點匹配：提取目標模型與候選模型的特征點和描述子，求出兩點之間的最短及次短漢明距離，再進行異或運算得到相似程度，當相似度達到50%時，即特征點匹配成功。

2 自適應跟蹤注冊方法及過程

利用本文方法實現增強現實自適應跟蹤注冊的過程如下：首先，將獲取的視頻流采用高斯分布建模的方法檢測出運動的目標區域，作為Camshift算法的初始搜索窗進行跟蹤；然后，利用ORB算法對目標區域進行特征提取、匹配和誤匹配點對剔除；最后，計算與模板的映射矩陣，完成對虛擬物體的注冊。

2.1 目標檢測和跟蹤

為提高跟蹤的準確率，采用高斯分布對背景模型進行更新。通過統計每個像素點的均值和方差，利用式(1)建立背景模型

(1)

式中：f(x,y)為該點的灰度值，p[f(x,y)]為該點計算出來的概率值，如果p[f(x,y)]的值大于閾值，則判定該點為背景點，否則為前景點。μ和σ2分別為均值和方差，是背景模型的主要參數，主要是利用式(2)和式(3)進行更新

μt(x,y)=(1-m)μt-1(x,y)+mf(x,y,t)

(2)

(3)

依據上述建立的背景模型，利用式(4)與當前幀的像素值進行差分運算，選擇合適的閾值，計算出運動目標的二值掩模

(4)

式中：Et(x,y)是當前幀圖像的像素值，Ft(x,y)是當前幀背景圖像的像素值；T為分割閾值，It(x,y)為二值圖像,如果值為1，表示前景點，也是要跟蹤的運動目標區域；值為0，則為分割出來的背景點。將目標區域的特征參數提取，作為Camshift算法初始搜索窗口的位置。將當前視頻幀的RGB顏色模型轉換成HSV顏色模型，建立顏色直方圖。依據目標區域的中心、大小和運動方向，利用Camshift算法計算當前幀中目標的質心位置、零階矩和一階矩，并以此計算出搜索窗的大小。

2.2 特征匹配

傳統的ORB算法采用FAST(features from accelerated segment test)角點檢測算法進行特征點的提取，主要是通過比較采樣點與周圍像素點的強度，判斷該點是否為特征點。該算法運行速度快，但不具有尺度不變性的信息，會導致圖像經過縮放后無法匹配到相應的特征點。因此，在特征點提取時，首先利用尺度空間理論，建立圖像金字塔。將圖像的尺度定義為函數L(x,y,s)，利用式(5)建立Gauss函數，隨后采用式(6)與圖像進行卷積運算可得到

(5)

L(x,y,s)=G(x,y,σ)I(x,y)

(6)

式中：s為尺度因子。通過式(7)將相鄰兩個尺度圖像相減，得到穩定的尺度空間

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]I(x,y)=L(x,y,ks)-L(x,y,s)

(7)

在不同尺度的高斯差分空間中，以一個像素點p為中心，半徑為3的圓上，得到16個像素點，分別計算到中心點的像素差。如果像素差的絕對值有9個超過設定的閾值，則判斷點p為角點。對確定的角點利用非極大值抑制的方法，在以p點為中心的鄰域內進行最后的篩選，若p點的得分最高，則保留，否則舍棄。依次篩選所有空間的角點，確定最終的特征點。

將提取的特征點利用rBRIEF算法進行描述，該算法是一種二值特征描述子，將角點主方向信息融入其中，使特征描述子具有旋轉不變性。對得到的描述子利用暴力匹配的方式進行粗匹配，依據漢明距離的大小進行初步的篩選。最后針對誤匹配點對，采用隨機采樣一致性算法[14](random sample consensus)進行剔除。

2.3 三維注冊

通過上述方法對目標進行跟蹤和匹配后，計算和測量攝像機的內外參數矩陣，得到三維注冊矩陣，與虛擬物體融合，完成增強現實的三維注冊。利用式(8)將投影點由世界坐標系轉換為攝像機坐標系

(8)

式中：該矩陣是4*4規格，需要在最后添加“1”補足位進行矩陣運算[15]。其中Ec為點c在世界坐標系的位置，Fc為轉換后在攝像機坐標系的位置，Me為攝像機外部參數矩陣，采用式(9)計算

(9)

式中：R是旋轉分量，通過計算攝像機與世界坐標的旋轉角度獲得[15]；T為世界坐標系轉換到攝像機坐標系的位移分量，通過攝像機在世界坐標系中的位移得到。

將點c在攝像機坐標系的位置，利用式(10)進行投影計算

hc(u,v)T=MiFc(Xc,Yc,Zc)T

(10)

式中：hc(u,v)T為點c在屏幕上的投影位置，也是三維注冊的結果，Mi為攝像機內部參數矩陣，通過人工測量的方法得到。實現的過程如圖1所示。

圖1 增強現實的三維注冊流程

2.4 實現步驟

如圖2所示，本文方法實現的主要流程如下：

步驟1 初始化待跟蹤的目標和位置，載入視頻并利用高斯分布建立初始的背景模型。

步驟2 對背景模型進行更新，利用背景差分法，得到包含運動目標的區域。

步驟3 將目標區域作為搜索窗，并計算該搜索窗的顏色直方圖。

步驟4 采用Camshift算法對目標區域進行跟蹤。

步驟5 將目標區域的跟蹤結果，利用ORB算法將搜索框的跟蹤目標與當前幀圖像進行匹配，確定目標區域。

步驟6 在特征點匹配之后，判斷跟蹤區域是否失效；如果失效，返回步驟4，將ORB算法匹配的目標窗口，提供給Camshift算法對目標區域重新進行跟蹤；如果沒有失效，則計算出三維注冊矩陣，完成虛擬物體的三維注冊。

步驟7 虛擬物體注冊完成之后，判斷是否是最后一幀視頻，如果是，則方法結束，否則返回步驟2選取下一幀重新開始運行。

圖2 方法流程

3 實驗結果及分析

3.1 目標跟蹤結果及分析

本文方法的實驗硬件環境為Inter(R) Core(TM) i5-3230，2.6 GHz，12 G內存；仿真環境為Windows10操作系統，VS2013、Opencv 3.1.0和Opengl 3.1.2。

為了驗證本文方法跟蹤目標的有效性，分別利用Camshift算法、Meanshift算法、本文方法對相同的視頻序列進行跟蹤。跟蹤視頻序列是一段汽車運動，總幀數為252，具有背景復雜、尺度變化、遮擋等復雜環境因素。跟蹤結果如圖3所示。

圖3 Meanshift、Camshift、本文方法部分 視頻幀跟蹤結果對比

圖3所截取跟蹤結果分別為第29幀、第104幀、第166幀、第182幀、第222幀。從29幀和104幀可以看出，在目標的尺度較小時，Meanshift和Camshift算法的跟蹤窗口發散，不能正常跟蹤到目標；在第166幀具有遮擋的情況下，本文方法和Meanshift算法可以正常跟蹤；Camshift算法也可以跟蹤到目標，但跟蹤窗口很小，被方塊遮擋，導致顯示不清楚；在182和222幀時，都可以正常跟蹤，但Camshift算法跟蹤窗口發散，將背景區域也包括進來，Meanshift算法跟蹤窗口魯棒性較差，本文方法可以正常跟蹤。

3.2 特征匹配結果及分析

針對特征匹配，本文選取6組特征匹配數據，分別具有尺度變化、旋轉變化等特征。選擇SIFT(scale-invariant feature transform)、SURF、ORB與本文方法進行比較，部分結果如圖4所示。

圖4 具有尺度變化的圖像匹配

圖4是一組具有尺度變化的數據集，線條表示兩幅不同尺度圖像的特征匹配點對。由圖可以看出，SIFT與SURF算法存在少量的誤匹配，ORB算法的誤匹配點對較多，本文方法匹配點對多且準確率高。在匹配的運行效率上，本文將每種算法的全部運行時間進行對比。實驗結果表明(如圖5所示)，ORB算法的運行時間最短，本文方法次之，SIFT和SURF算法的運行時間要遠高于前面兩種算法。從匹配結果可以看出(如圖6所示)，本文方法特征點匹配準確率高于SIFT、SURF和傳統的ORB匹配算法。綜上，ORB算法的運行效率較高，但匹配準確率最低，本文方法的運行效率低于ORB算法，但高于SIFT和SURF算法，匹配準確率也高于其它算法。因此，本文方法在尺度、運行效率及匹配準確率上可以滿足增強現實三維注冊的要求。

圖5 算法匹配的運行時間對比

圖6 算法的匹配準確率對比

3.3 三維注冊結果及分析

選擇SURF算法與本文方法進行實時的三維跟蹤注冊測試。在實時跟蹤注冊時，分別截取4張注冊結果。第一張和第二張是對象正面和旋轉注冊的結果，第三張是目標對象發生視角變化的注冊結果，第四張目標發生大面積遮擋的注冊結果。結果如圖7、圖8所示。

圖7 SURF算法三維注冊結果

圖8 本文方法三維注冊結果

對比結果可以看出，SURF與本文方法在目標正面、旋轉、視角變化的情況下，都可以正常注冊，但在目標發生大面積遮擋時，SURF算法不能正常注冊；同時，在運行效率上，本文方法遠高于SURF算法，沒有出現卡頓效果。實驗結果表明，本文方法在目標發生旋轉、視角和遮擋的情況下，能準確跟蹤到目標并進行注冊。

4 結束語

本文提出了一種基于增強現實的自適應跟蹤注冊方法，該方法通過高斯分布的背景建模法提高Camshift算法對目標區域顏色的檢測，保證目標跟蹤的準確性；利用尺度空間理論，使ORB算法在尺度發生變化的情況下，仍能準確的進行特征點的提取和匹配；通過攝像機的內外參數，計算三維注冊矩陣完成虛擬物體與目標對象的注冊。實驗結果表明，本文方法基本滿足增強現實系統對準確性和穩定性的要求。