一種基于速度預測的雙目視覺跟蹤混合算法

李　鑫，曾梓浩，朱凌寒

(合肥工業大學電氣與自動化工程學院，安徽 合肥 230009)

0　引言

視覺跟蹤技術是指對圖像序列或視頻流中的目標進行檢測、提取、識別和跟蹤的方法。其作為計算機視覺技術的一個重要發展方向，廣泛應用于視頻監控、人機交互、行星探測、工業生產等領域[1]。

根據目標表征方法的不同，視覺跟蹤技術可分為生成式方法和判別式方法兩類。生成式方法是將跟蹤視為一個目標匹配的過程，在跟蹤初始階段生成一個目標的模板，并在后續圖像中尋找匹配程度最高或重構誤差最小(即后驗概率最大)的預測目標位置。應用較廣的算法有高斯混合模型、卡爾曼濾波、粒子濾波和Mean-Shift等。判別式方法通過提取目標具有判別性的特征，采用機器學習中分類的方法找出與目標最為相似的區域。常見的方法有Struck、TLD和TCNN等[2]。由于判別式方法能夠顯著區分背景和前景的信息，隨著近幾年深度學習的快速發展，目前其研究在目標跟蹤領域占據主流地位。由于生成式方法在低計算資源的情況下有更好的實時性，其在工業應用領域應用更為廣泛[3]。

本文綜合考量多種生成式跟蹤方法和判別式跟蹤方法，結合雙目視覺系統能夠實現目標空間定位的特點，提出了一種基于速度預測的新型混合式跟蹤算法。該方法首先采用幀間差分法判斷視野中是否出現運動目標。發現運動目標后，采用雙目視覺系統預估運動目標在下一幀圖像中出現的位置，并對預估位置進行ORB特征點匹配。若匹配度低，采用對極約束或Mean-Shift算法對預估位置作出修正，并根據修正后的位置更新跟蹤目標的運動速度，用于下一幀的圖像預測。相較于傳統的Mean-Shift跟蹤算法，該方法具有較好的跟蹤效果，實時性較高，可以用于實際的工業生產。

1　雙目視覺定位原理及極線約束

雙目視覺系統一般由兩個硬件參數相同的相機構成，其成像原理如圖1所示。相機模仿人眼結構左右放置。假設左右相機中心分別為O1、O2，空間點P在左平面I1的投影點為P1，在右平面I2的投影點為P2。根據幾何關系可知，線段O1P1和線段O2P2在P方向延長線必然交于P點。此時，O1、O2、P三點構成一個平面，稱為極平面；線段O1O2與像平面交點e1、e2稱為極點，O1O2稱為基線；極平面與兩個像平面I1、I2的交線l1、l2稱為極線[4]。

圖1　雙目成像原理圖Fig.1　Binocular imaging principle

假設P點坐標為(X,Y,Z)、P1點坐標為(u1,v1)、P2點坐標為(u2,v2)，這三點滿足如下關系[5]：

(1)

(2)

式中:M1、M2為投影矩陣，其參數可由相機標定得到。根據物體在左右平面的的投影坐標，可以算出其在空間的位置。

根據圖1可知，物體在左右平面的投影遵循極線約束，即同一空間點P在左右平面的投影點必定在l1、l2兩條極線上。根據極線約束，可以依據左圖像I1(或右圖像I2)的投影點，迅速找到右圖像I2(或左圖像I1)的投影點[6]。

2　混合跟蹤算法

混合跟蹤算法首先使用幀間差分法判斷視野中是否存在運動物體：若發現視野中存在運動物體，則將該物體作為跟蹤目標，使用特征提取算法將物體從背景中提取出來，生成ORB特征描述模板和Mean-Shift跟蹤模板。然后，依據雙目圖像信息獲取目標運動速度，預測其在下一幀圖像中可能出現的位置，并對預測位置處圖像與模板進行ORB特征點匹配。若匹配度滿足要求，即不更新預測速度；否則，對預測位置進行修正，并更新預測速度。修正方法根據左右圖像匹配度差異程度，采用極線約束或Mean-Shift搜索。混合算法循環往復，直至目標運動出攝像機視野，停止跟蹤，刪除跟蹤目標信息。

為應對跟蹤過程中可能出現的遮擋情況，即在混合算法進行位置修正后，若匹配度仍然不滿足要求，則混合算法會保留跟蹤目標的信息，回到幀間差分等待，直至運動目標再次出現。

具體算法流程如下。

①讀入視頻流，提取第一幀圖像作為背景圖像予以存儲。

②使用幀間差分法判斷視野內是否存在運動物體。如存在則轉到步驟③，如不存在則停留在步驟②繼續偵測。

③將偵測到的運動物體圖像與背景圖像作比較，提取出運動物體。

④生成運動物體的ORB特征描述模板和Mean-Shift跟蹤模板。

⑤通過雙目視覺定位原理獲取運動目標的初始速度。

⑥預測運動目標在下一幀圖像出現的位置。若預測位置在左右圖像視野范圍內，則對該位置進行ORB特征提取，并與模板進行匹配；若預測位置超出左右圖像視野范圍，則刪除模板，停止此次跟蹤。

⑦若左右圖像匹配度均高于80%，則表示預測正確，直接跳轉到步驟⑥，繼續對下一幀圖像進行相同處理。若左右圖像的其中之一匹配度高于80%，另一邊低于80%，則采用雙目視覺極線約束，對匹配度低的預測位進行速度修正。若修正后匹配度仍低于80%，則表明該側視野中物體受到遮擋，不顯示該側跟蹤結果。若兩邊圖像匹配度均低于80%，則采用Mean-Shift在附近區域進行搜索。在預設迭代搜索次數內若找到目標，則根據搜索結果修正預測位置，同時進行速度修正；若沒有找到，則表明物體被遮擋，跳轉到幀間差分法進行等待。

⑧速度修正按照新預測速度占61.8%、舊預測速度占38.2%進行加權求和得到。完成修正后，算法跳回步驟⑥繼續進行跟蹤。

2.1　幀間差分法

幀間差分法是將相鄰連續兩幀或者三幀圖像進行差分來獲得運動目標輪廓，以判別是否存在運動物體的算法。差分公式如下[7]：

Pk(x,y)=fk(x,y)-fk-1(x,y)

(3)

(4)

式中：Pk(x,y)為幀間差分圖像；Rk(x,y)為二值圖像；Dk(x,y)為幀間差分圖像Pk(x,y)的灰度值；T為分割閾值。

根據式(4)可知，若幀間差分圖像中，某點的像素值小于閾值T，則認為該點是靜止的。該點被判為背景點。若大于閾值T，則認為該點是運動的。該點被判為目標點[8]。

另外，為保證運動目標ORB特征提取的完整性，將幀間差分的視野從攝像機視野的1 280×720像素縮小為1 240×580像素。幀間差分視野如圖2所示。

圖2　幀間差分視野示意圖Fig.2　Schematic diagram of inter-frame differential view

2.2　ORB特征

ORB特征由特征點和描述子兩部分組成[9-11]。其具體生成步驟分為FAST角點提取和BRIEF描述子生成。

①FAST角點提取。

FAST特征定義為：若某像素點與其周圍鄰域內足夠多的像素點處于不同的區域，則該像素點可能是角點。

常用的提取方法是：任取一像素點P(灰度值為IP)，以其為中心形成一個半徑為3的圓形區域，取圓周上16個像素點。如果存在n個像素點的灰度值都大于(Ip+T)或者小于(Ip-T)，則認定該點為特征點(n取值可為9、11、12)。FAST角點檢測原理及實際提取效果如圖3所示。

圖3　FAST角點檢測原理及實際提取效果示意圖Fig.3　Schematic diagram of FAST corner detection principle and actual extraction effect

由于傳統FAST角點不具備方向性和尺度，所以在提取ORB特征時，需先構建圖像金字塔，并在圖像金字塔進行FAST角點檢測。對提取角點使用灰度質心法，可保證特征的方向性。

②BRIEF描述子。

BRIEF描述子是一種二進制碼形式的描述子。提取描述子的過程為：在圖像某點的鄰域內隨機選取n個點對，并對每個點對作二值τ測試[11]。

(5)

式中：P(x)為x點的灰度值。

將BRIEF描述子定義為由N個τ測試組成的向量，如式(6)所示。其中,n一般取256，構成256 bit的二值特征描述子。

(6)

由于BRIEF描述子是二進制描述子，其特征匹配常用漢明距離作為度量，即兩個二進制串不同位數的個數。

2.3　Mean-Shift算法

Mean-Shift是基于核密度估計的非參數特征空間分析方法，它通過自適應步長的迭代尋找概率密度分布的局部極值點[12-14]。若在維特征空間中有n個樣本，則可以得到空間中任意位置的核概率密度估計[12]。

(7)

若采用H=h2I的形式，以及徑向對稱核K(x)=ck,dk(‖x‖2)，則對應的Mean-Shift向量為：

(8)

式中：g(x)=-k′(x)；m(x)總是指向概率密度增大最快的方向，通過若干次迭代可以收斂至概率密度的局部極值點，以實現目標跟蹤搜索。

3　試驗驗證

由于現有的公開視頻跟蹤資源均為單目攝像機所拍攝，所以此次試驗采用自攝影像作為跟蹤測試樣例，從定性和定量兩方面[15]對算法性能進行考核。視頻拍攝雙目攝像機部分參數如下：像元尺寸為30 μm×30 μm;分辨率為1 280×720；幀率為30 fps；鏡頭中心距為62 mm。

①定性分析。

首先進行無遮擋跟蹤試驗。采用自攝視頻1進行跟蹤，視頻背景為較復雜的寢室環境，四周光照不均勻，跟蹤目標在第150幀進入跟蹤視野。分別采用傳統的Mean-Shift算法和混合跟蹤算法進行跟蹤比對。圖4展示了Mean-Shift算法在第155幀、第202幀、第247幀和第257幀的跟蹤情況(由于Mean-Shift算法運算不需要雙目視覺信息，所以僅針對左側圖像進行跟蹤)。

圖4　Mean-Shift算法跟蹤示意圖Fig.4　Schematic diagram of Mean-Shift algorithm tracking

圖5為對應幀下混合跟蹤算法的跟蹤情況。從圖5所示結果可知，在無遮擋情況下，混合跟蹤算法同Mean-Shift算法一樣，能夠很好地跟蹤運動物體，保證跟蹤框始終圍繞跟蹤目標。

圖5　混合算法跟蹤示意圖Fig.5　Schematic diagram of hybrid algorithm tracking

下一步驗證算法在有遮擋情況下的跟蹤性能。采用自攝視頻2進行試驗。該視頻跟蹤目標在第51幀時進入視野，在第98幀時開始被遮擋，直至第147幀重新回到視野。跟蹤結果顯示：在物體被遮擋的情況下，由于物體預測位置沒有超出視野范圍，所以算法暫時保留ORB特征描述模板和Mean-Shift跟蹤模板，并進入幀間差分法等待，此時在畫面中不會框出目標位置；直至匹配暫存ORB模板的運動物體重新出現，算法恢復跟蹤。

②定量分析。

為了進一步從數據上衡量混合跟蹤算法的跟蹤性能，在定性分析試驗的基礎上，對比統計混合跟蹤算法和Mean-Shift算法成功跟蹤的視頻幀數，結果如表1所示。

表1　跟蹤算法成功跟蹤視頻幀數Tab.1　The number of video frames that tracking algorithm successfully tracks　幀

在沒有遮擋的情況下，Mean-Shift算法和混合算法都能夠成功跟蹤視頻中的運動物體；在有遮擋的情況下，Mean-Shift算法只能跟蹤至物體被完全遮擋前的第104幀，而混合算法則能成功跟蹤視頻294幀圖像，具有較好的魯棒性。

此外，本文還標出了自攝視頻2跟蹤目標的真實位置(被遮擋前第1幀到第104幀，重新回到視野第147幀到第300幀)，并與兩種跟蹤算法進行對比。相對誤差對比如圖6所示。跟蹤誤差的評價準則基于跟蹤結果中心和真實位置中心之間的相對位置誤差(單位：像素)。理想情況下，位置誤差應該為0。

圖6　相對誤差對比圖Fig.6　Comparison of relative errors

如圖6(a)所示，在遮擋前混合算法誤差基本優于Mean-Shfit，但由于其跟蹤依據為速度預測位置的ORB特征匹配，所以在跟蹤物體大部分被遮擋的情況下就停止跟蹤，不能同Mean-Shift一樣跟蹤到基本完全遮擋的第104幀。而如圖6(b)所示，混合算法在被遮擋后重新跟蹤的誤差遠小于Mean-Shift算法。

4　結束語

本文結合雙目視覺空間定位特點，提出一種新的混合型跟蹤算法。該算法融合了幀間差分法、雙目視覺極線約束、ORB特征匹配和Mean-Shift算法。通過定性和定量兩組試驗，驗證了混合算法擁有良好的跟蹤效果，即使物體被遮擋后重新出現，仍能進行準確的跟蹤，具有較好的魯棒性。其跟蹤相對誤差小于傳統Mean-Shift跟蹤算法，具有較好的精確性。同時，混合跟蹤算法是基于生成式算法的改進算法，所以具有較好的實時性，可以應用于實際的工業生產。

當然，混合跟蹤算法由于綜合了多種算法，在僅使用CPU運算情況下處理時間較長，對于速度大于5 m/s的運動物體難以實現實時跟蹤。因此，如何實現較低硬件條件下高速物體的實時運動跟蹤將是今后的研究重點。

參考文獻:

[1] 尹宏鵬,陳波,柴毅,等.基于視覺的目標檢測與跟蹤綜述[J].自動化學報,2016,42(10):1466-1489.

[2] 賈靜平,覃亦華.基于深度學習的視覺跟蹤算法研究綜述[J].計算機科學,2017,44(s1):19-23.

[3] 楊戈,劉宏.視覺跟蹤算法綜述[J].智能系統學報,2010,5(2):95-105.

[4] 胡影峰.基于SIFT特征匹配算子的三維重建方法研究[J].自動化儀表,2011,32(1):30-32.

[5] 黃椰,黃靖,肖長詩,等.基于雙目立體視覺的船舶軌跡跟蹤算法研究[J].計算機科學,2017,44(1):308-313.

[6] 任繼昌,楊曉東.極線約束條件下的雙目視覺點匹配策略研究[J].艦船科學技術,2016,38(3):121-124.

[7] 孫挺,齊迎春,耿國華.基于幀間差分和背景差分的運動目標檢測算法[J].吉林大學學報(工),2016,46(4):1325-1329.

[8] 徐敏,張紅英,吳亞東.基于場景深度的霧天圖像能見度檢測算法[J].自動化儀表,2017,38(9):89-94.

[9] MUR-ARTAL R,MNOTIEL J M M,TARDS J D.ORB-SLAM:A versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2017,31(5):1147-1163.

[10]KARAMI E,PRASAD S,SHEHATA M.Image matching using SIFT,SURF,BRIEF and ORB:performance comparison for distorted images[C]//Newfoundland Electrical and Computer Engineering Conference,2015.

[11]陳天華.基于特征提取和描述的圖像匹配算法研究[D].廣州：廣東工業大學,2016.

[12]顧幸方,茅耀斌,李秋潔.基于Mean Shift的視覺目標跟蹤算法綜述[J].計算機科學,2012,39(12):16-24.

[13]周帥,秦明偉,侯寶臨.結合局部差分的CamShift動目標跟蹤算法[J].自動化儀表,2017,38(2):1-4.

[14]KILIC V,BARNARD M,WANG W,et al.Mean-Shift and sparse sampling-based SMC-PHD filtering for audio informed visual speaker tracking[J].IEEE Transactions on Multimedia,2016,18(12):2417-2431.

[15]DEWAN M A ,GRANGER E,MARCIALIS G L,et al.Adaptive appearance model tracking for still-to-video face recognition[J].Pattern Recognition,2016,49(C):129-151.