局部特征描述改進的LK跟蹤注冊方法

楊靖帆，何漢武，吳悅明+

(1.廣東工業大學 機電工程學院，廣東 廣州 510006;2.廣東工貿職業技術學院 機械工程系， 廣東 廣州 510510)

0 引 言

增強現實(augmented reality，AR)是一種將虛擬信息與現實世界結合起來以得到真實世界信息增強的技術[1]。其關鍵之處在于實時和精確地求解攝像機位姿并疊加虛擬信息的三維注冊算法。傳統的三維注冊算法是基于人工標志的，如ARToolkit[2]等，已漸漸無法滿足于越來越復雜的實際應用需求，因此基于無標志的三維注冊算法是現在研究的主流方向。

由于增強現實對實時性的要求，基于圖像特征尤其是特征點的方法得到了廣泛的應用。直接使用特征點進行跟蹤的增強現實系統[3]存在效率較低、精度較低導致模型抖動和部分情況無法跟蹤的問題。使用Lucas Kanade Tracker(KLT)對特征點進行跟蹤的方法[4]提高了精度，但是KLT易受噪聲和光照的影響，魯棒性較差。在特征點被遮擋的情況下，KLT還會逐步退化進而導致系統跟蹤失敗，降低了系統的遮擋魯棒性。另一方面，先使用目標跟蹤方法如TLD[5]和KCF[6]對目標進行跟蹤，后利用特征點進行位姿求解的方法，雖然在跟蹤階段有著很高的運行效率，但是在位姿求解的精度上受限于特征點的匹配精度。

針對上述問題，本文提出局部特征描述改進后的LK方法(DF-LK)。使用ORB特征點求解出初始位姿并在跟蹤目標上選擇正確注冊且盡量均勻分布的ORB特征點為控制點，以控制點整體作為跟蹤點集，用Descriptor Fields局部描述改進后的Lucas Kanade方法通過相鄰幀關系直接對目標的位姿進行跟蹤，完成三維注冊。

1 基本原理

1.1 Lucas Kanade跟蹤算法

對于模板圖像T與輸入圖像I， 如圖1所示，Lucas Kanade 算法[7]要求解的問題是如何最小化經過平面變換關系p變換后的圖像I與圖像T之間的誤差項平方和(sum of squared error)，目標方程如式(1)

(1)

其中，x=(x,y)T為圖像坐標系下二維像素點的x與y坐標值，I(x) 與T(x) 為輸入圖像和模板圖像在像素點x的灰度值，p為二維平面變換。對于投影變換，平面變化參數p=(p1,p2,p3,p4,p5,p6,p7,p8)T。W(x,p) 為像素點x經過變換p變換后的二維坐標。

圖1 圖像對齊問題

現在常用的等價并且更高效的求解方法是IC(inverse compositional)[8]方法。該方法將原先的目標方程轉變成式(2)

(2)

此時式(2)的泰勒展開式為式(3)

(3)

(4)

其中，H為Hessian矩陣，如式(5)，I(W(x,p)) 與T(x) 的差值為誤差圖像

(5)

1.2 ORB位姿求解

ORB特征點是由FAST特征點和BRIEF二進制描述子相結合，并通過計算質心和旋轉角使之擁有旋轉不變性的特征點提取和描述方法。ORB方法在擁有相對較好的特征點提取和匹配精度的同時有著較快的運算效率，適合于實時性要求較高的系統。使用ORB對攝像機位姿進行求解先要在模板目標上進行ORB特征點的提取與描述，得到模板目標上的三維ORB特征點信息，接著在當前幀圖像上進行ORB特征點的提取和描述后與模板目標的特征點進行匹配，得到2D-3D點對后將問題轉化為PnP問題(perspective-n-point)求解出攝像機位姿。

2 局部特征描述改進的LK方法

2.1 Descriptor Fields局部描述子

IC方法中的目標方程可以改寫成式(6)的形式

(6)

其中

D(T,W(x,Δp))=T(W(x,Δp))

(7)

D(I,W(x,p))=I(W(x,p))

(8)

上文提到的IC方法中，描述子D(I,x)=I(x)。 直接使用圖像灰度值雖然簡單高效，但是在實際環境中經常會出現光照變化的情況，這違背了LK方法的灰度值連續性假設使得目標方程難以收斂。其次，為了降低圖像噪聲的影響和適應較大范圍的移動，常常會使用高斯濾波去噪聲并且構造高斯金字塔，這會使得圖像變得平滑并丟失一部分圖像信息，反而導致LK算法的收斂性下降。這兩個缺點限制了LK方法的實際使用場景。

Distribution Fields[9]層級概率分布的描述方法可以降低高斯濾波帶來的影響。對于圖像灰度值而言，每一個像素點擁有0-255的概率分布。每一層級表示所有像素點在該灰度值的分布。Distribution Fields的基本定義如式(9)

(9)

其中，x為圖像I上的像素點的坐標，k為像素點可能的灰度值。每一個固定灰度值k的所有像素點分布的集合稱為一層。此時對第k層的高斯濾波只對某一灰度值起作用，因此在這個過程中只會改變各個灰度值在圖像上的位置，不會有圖像信息的丟失，從而解決了高斯濾波帶來的問題，但是Distribution Fields仍然在光照變化的情況下表現不佳。

在Distribution Fields的基礎上本文提出使用非線性多維描述子Descriptor Fields[10]對圖像進行描述后再通過LK方法跟蹤。Descriptor Fields的定義如式(10)

D(I,x)=[[f1*I(x)]+,[f1*I(x)]-,…,[fn*I(x)]+, [fn*I(x)]-]T

(10)

其中，f1,f2,…,fn為高斯導數核，+和-操作如式(11)和式(12)所示

(11)

[x]-=[-x]+

(12)

經過高斯導數處理后的圖像在一定光照的變化下仍然能保留圖像原本的特征信息。將處理后圖像分為正數空間域和負數空間域，再進行高斯濾波就不會出現正負值抵消導致高斯濾波后圖像快速退化的問題。因此Descriptor Fields讓LK方法擁有一定抵抗高斯濾波帶來的圖像退化的特性，對光照變化也擁有更好的抗性。

實際的實驗中，使用一階Descriptor Fields在精度和實時性上均有較好的效果。一階Descriptor Fields如式(13)

D(I,x)=[[Gx*I(x)]+,[Gx*I(x)]-,[Gy*I(x)]+, [Gy*I(x)]-]T

(13)

其中，Gx和Gy分別為圖像x和y方向上的高斯一階導數算子。圖2為一階Descriptor Fields。

圖2 一階Descriptor Fields描述子

2.2 亞像素插值與誤差圖像評估

圖像經過變換p變換后的坐標W(x,p) 在大部分情況下會落在非整數坐標上。在獲取該坐標值對應的圖像灰度值時，常見的做法是直接取其最近的像素點的灰度值。本文采用的方法是使用雙線性插值的方法，求得亞像素的灰度值。

假設坐標 (x,y) 在4個整數坐標 (x1,y1)、 (x2,y1)、 (x1,y2) 和 (x2,y2) 之間，其中x1≤x≤x2且y1≤y≤y2， 先沿x方向求得坐標 (x,y1) 和 (x,y2) 線性插值后的灰度值I(x,y1) 和I(x,y2)， 如式(14)和式(15)

(14)

(15)

接著再沿y方向進行插值，如式(16)，得到坐標 (x,y) 的插值后的灰度值I(x,y)

(16)

經過插值后得到的像素點灰度值可以使得式(4)在求解Δp時有更高的精度，縮短了迭代的搜索路徑，從而加快了目標方程的收斂速度。實際的實驗中，對于小范圍移動，使用了亞像素插值的LK方法一般只要小于5～10次迭代即可達到預設的迭代閾值要求，而未使用插值的LK方法一般需要10～20甚至更多次迭代才能達到要求。

對LK方法迭代過程中每一步計算出的誤差圖像中每個像素點，使用M-estimator中L1-L2方法對誤差進行評估，如式(17)，再求解Δp

(17)

其中，rk為誤差圖像中第k個像素點灰度值的誤差，ek為該點M-estimator評估后的誤差值。L1-L2方法使得在較小和較大誤差情況下的計算結果更加穩定，從而在一定程度上提升了整個LK方法的穩定性。

2.3 跟蹤初始化

LK跟蹤需要已知上一幀模板圖像上控制點的坐標位置，因此在跟蹤開始之前，需要在跟蹤目標上進行控制點的初始化。本文使用改進后的ORB特征點作為LK跟蹤的控制點。雖然在精度上不如SIFT和SURF，但是ORB特征點在速度上有著巨大的優勢[11]，更適用于實時性要求高的系統。同時，通過計算構造高斯金字塔和質心使得ORB擁有尺度不變形和旋轉不變性，能夠滿足在一般環境下初始化的要求。

在ORB提取特征點的過程中，不再直接根據提取的特征點數量和像素點的特征點響應值由大至小地選擇特征點，而是通過自適應非極大值抑制[12]的方法，對于那些屬于非極大值的特征點進行抑制，從而得到在圖像空間上更加均勻分布的特征點提取結果。分布均勻的特征點可以一定程度上降低其它環境中的特征點的影響，消除冗余的特征點信息，提高特征點的質量。

對于圖像I， 像素點xi=(xi,yi)T， 像素點xi的最小抑制半徑ri為式(18)

(18)

其中，f(xi) 和f(xj) 分別為xi和xj的特征點響應值，c是一個小于等于1的穩定值，用于確保鄰域內點xj的響應值f(xi)>f(xj)， 這里取c=0.9。ri最大的前k個點即篩選后的k個特征點結果。非極大值抑制前后的對比結果如圖3所示。

圖3 非極大值抑制前后的比較

當得到特征點之后，用ORB特征點描述方法對其進行描述，然后將提取的特征點與已經訓練好的模板特征點進行相互匹配，只有相互匹配都成功的特征點才認為是匹配成功的特征點。在匹配的過程中，用比值測試進行特征點的初篩選。得到匹配結果之后用PnP和RANSAC的方法求解出當前幀圖像的攝像機位姿R0和T0， 以正確求解出攝像機位姿的特征點作為LK跟蹤的控制集點。均勻分布的控制點會讓LK方法獲得更好的抗光照和抗遮擋性。

2.4 跟蹤錯誤檢測

LK跟蹤方法在迭代求解的過程中可能出現不收斂、迭代收斂于錯誤的局部極小值和跟蹤目標離開攝像機場景等跟蹤失敗的情況。基于相鄰幀關系的跟蹤算法也會存在累計誤差，最終會導致跟蹤失敗無法恢復。本文使用向前向后錯誤檢測[13]方法來對每一幀的跟蹤的結果進行錯誤檢測。

如圖4所示，當第k幀圖像Ik為跟蹤初始化幀，對于第k+t幀圖像Ik+t和第k+t+1幀圖像Ik+t+1， 通過LK方法求得Ik+t+1至Ik+t的單應性矩陣pk+t+1， 可以求得Ik+t+1上的控制點集Ck+t+1=W(Ck+t,pk+t+1)。 要評價pk+t+1的正確性，將控制點集Ck+t+1向后變換至圖像Ik上對應的控制點集C′k， 比較每個對應點之間的距離差dk， 如式(19)。其中控制點xk與x′k為控制點集Ck和C′k中對應的控制點

(19)

通過計算dk， 可以對每個控制點的跟蹤情況進行評估。對于正確跟蹤的控制點求得的距離dk一般會很小。因為被遮擋的控制點也會被認為是跟蹤失敗的點，因此認為只要整體有70%的控制點達到最小距離的閾值就通過了向前向后檢測。

圖4 向前向后錯誤檢測

為了更進一步增加錯誤檢測的可靠性，對于每個控制點對，在5×5的鄰域內計算歸一化互相關系數(normalization cross correlation)[14]，同樣，如果整體有70%的控制點達到最小閾值則認為通過NCC檢測。

向前向后和歸一化互相關測試相互獨立，只有同時通過才認為跟蹤成功。成功后不舍棄而是保留跟蹤失敗的控制點，用p求解當前幀所有的控制點的位置，并以該控制點集作為下一幀圖像LK跟蹤的控制點。若檢測到跟蹤失敗，則重新回到初始化過程。

3 算法流程

如圖5所示為本文的算法流程框架，跟蹤算法主要由初始化、跟蹤求解和錯誤檢測3部分組成，主要包括如下幾個步驟。

圖5 本文算法流程

(1)在當前幀圖像上提取和描述ORB特征點并與模板目標的特征點進行匹配，如果未檢測到跟蹤目標則重復步驟(1)。

(2)以當前幀作為跟蹤起始幀，生成控制點集，求解初始旋轉與位移矩陣R0和T0。取下一幀圖像。

(3)對當前幀圖像和上一幀圖像分別進行DF描述后構造高斯金字塔，通過LK迭代求解出單應性矩陣p。

(4)對p進行錯誤檢測，若檢測失敗回到步驟(1)。

(5)通過初始幀的R0、T0和p求解出當前幀的R和T。

(6)虛擬模型的渲染與疊加。

4 實驗結果與分析

為驗證本文算法對平面目標的跟蹤性能，在自然環境平面目標跟蹤數據集[15]中選擇部分視頻集，對本文方法(DF-LK)、ORB和ORB+KLT的方法在尺度變化、旋轉變化、透視變化、運動模糊、遮擋、目標離開視野等6種情況下的跟蹤情況進行對比實驗，接著在現實環境中進行增強現實的注冊實驗。實驗硬件平臺為：CPU Intel(R)Core(TM) i5-8300H @2.30 GHz和8 G RAM。實驗軟件平臺為：Visual Studio 2017、OpenCV 2.4.13和Eigen3.3.4。測試視頻均由移動設備錄制，分辨率為640×480。

4.1 跟蹤測試實驗結果

在數據集[15]中選擇Lottery、Snack、Melts、Map、Woman和Coke這6組視頻集，每個視頻集有6個視頻，每個視頻分別對應尺度變化、旋轉變化、透視變化、運動模糊、遮擋和目標離開視野6種情況，每個視頻為501幀，第一幀用于初始化。

6組視頻集的部分跟蹤結果如圖6所示。深色至淺色分別為DF-LK、ORB+KLT和ORB方法的跟蹤結果。

圖6 數據集跟蹤實驗結果

(1)尺度變化與透視變化

使用高斯金字塔實現的ORB方法雖然擁有了一定的尺度不變性，但是在實際的測試中使用跟蹤的方法在尺度變化上要遠遠優于ORB方法。DF-LK和KLT方法都可以在較大的尺度變化下跟蹤成功。

在透視變化方面，DF-LK與KLT方法在較大的透視變化的情況下相較于ORB方法有著更高的成功率，當超過一定的變化角度后ORB方法將會直接失效而其它兩種方法仍有一定的跟蹤成功率。值得一提的是對于跟蹤目標易受到光照影響的Woman和Snack兩個數據集，DF-LK的穩定性要遠高于KLT方法。

(2)旋轉變化與運動模糊

在旋轉變化方面，DF-LK和ORB方法有著接近的跟蹤成功率，稍微優于KLT方法。DF-LK在旋轉過程中發生輕微模糊的情況下仍然能跟蹤成功，而KLT方法則容易失敗。對于較大的運動模糊和較大位移的情況所有方法都無法正確跟蹤，只有ORB方法在少數幾幀中能跟蹤目標的大致位置，但是精度不佳。

(3)遮擋與離開視野

ORB方法因其稀疏特征點的特性擁有最好的抗遮擋性，在較大的遮擋面積(如目標50%被遮擋)有一定的跟蹤成功率。KLT方法會因跟蹤點被遮擋不斷減少導致跟蹤的穩定性下降，最終導致跟蹤失敗，而DF-LK在較小面積遮擋(15%-25%被遮擋)的情況下仍有較高的跟蹤成功率，當跟蹤點不被遮擋時也能恢復跟蹤，從而提高了遮擋時的魯棒性。

同時，本文通過對準誤差和單應性矩陣誤差兩方面來評估跟蹤算法的效果。

(1)對準誤差

對準誤差為跟蹤目標上4個角點的跟蹤結果與真實值之間的均方距離，如式(20)

(20)

(2)單應性矩陣誤差

單應性矩陣誤差為單應性矩陣的跟蹤結果和真實值之間的差值，如式(21)

(21)

取對準誤差閾值tp=5， 單應性矩陣誤差閾值ts=10， 3種方法的對準誤差與單應性矩陣誤差如圖7所示。總體而言，DF-LK在對準誤差與單應性矩陣誤差上都要優于ORB和ORB+KLT的方法。當注冊成功率都相同時，ORB方法由于每幀都通過不同的特征點進行計算，相較于其它兩者方法有著最大的誤差。

圖7 3種算法的誤差比較

從直觀的視覺角度來說，這會導致注冊模型每幀之間的較大抖動。KLT方法對成功注冊的特征點進行跟蹤，降低了ORB方法每幀的隨機誤差，提高了一定的精度。DF-LK 方法在此基礎上進一步降低了誤差，并提高了各種情況下跟蹤的穩定性。

4.2 實際注冊實驗的結果

實際的注冊結果如圖8所示，分別對應尺度變化、光照變化、遮擋、透視變化和運動模糊5種情況。實驗結果表明，在不同的情況下本文方法都能夠取得較好的注冊效果。虛擬模型有著更高的注冊穩定性和更小的抖動，因此有著更好的注冊顯示效果。系統平均幀率為26.4 幀/秒，滿足了實時性要求。

圖8 實際三維注冊效果

5 結束語

針對KLT跟蹤在部分場景穩定性較低、抗遮擋性較差以及直接使用特征點注冊精度較低等問題，本文提出用ORB方法初始化，以成功注冊并且盡可能均勻分布的特征點集作為LK方法跟蹤的控制點集，使用Descriptor Fields局部描述子改進后的LK方法對平面目標的位姿直接進行跟蹤，提高了光照變化、輕微運動模糊和較大透視變化等情況下的跟蹤穩定性和精度。實驗結果表明，本文方法有著更高的跟蹤成功率、更低的跟蹤誤差和更穩定的注冊顯示效果，較好地滿足了增強現實系統的注冊精度和實時性的要求。