低視角單目攝像機下3D空間的運動軌跡提取

趙倩倩，宋煥生,2，徐曉娟，彭玲玲

(1.長安大學 信息與工程學院，陜西 西安 710064；2.陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安 710064)

低視角單目攝像機下3D空間的運動軌跡提取

趙倩倩1，宋煥生1,2，徐曉娟1，彭玲玲1

(1.長安大學 信息與工程學院，陜西 西安 710064；2.陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安 710064)

由于攝像機安裝高度和角度的限制，采集到的視頻圖像有時存在車輛之間的遮擋和尺度變化等問題。提出一種低視角單目攝像機下3D空間的運動軌跡提取方法，利用垂足信息求得特征點的三維信息，再由高度區分穩定特征點和不穩定特征點。對穩定特征點進行跟蹤，根據三維信息形成空間軌跡。實驗結果表明，該方法可以較好地解決車輛之間存在遮擋和尺度變化等情況下的軌跡分析問題。

遮擋；特征點跟蹤；車輛跟蹤；3D軌跡提取

基于視頻的交通行為分析和安全預警由于安裝和維護方便，以及高效的檢測性能成為當前研究的熱點。其中，車輛的運動軌跡是交通行為分析和理解的基礎[1]。因此，如何獲得真實反映目標運動情況的軌跡是交通領域的研究重點。

在以往的研究中，獲取運動目標軌跡的方法有多種，主要有減背景法[2]、基于車輛3D模型的跟蹤方法[3]、基于輪廓的跟蹤方法[4]以及基于特征點的跟蹤方法[5]。當攝像機的安裝高度距離地面較高時(一般在15～100m之間)，車輛之間的遮擋和圖像尺度變化較小，車輛的高度信息可以忽略，用以上的這些跟蹤方法一般可以取得較好的跟蹤效果，跟蹤出的運動軌跡可以較真實地反映車輛的運動狀態。但是在實際應用中，由于工程上的限制，攝像機一般安裝在離地面較低的位置(一般在6～9 m之間)，且通常在道路的兩側，此時，車輛高度造成的車輛之間的遮擋和尺度變化顯得尤為嚴重，在圖像平面對運動車輛進行跟蹤得到的運動軌跡不能真實地反映車輛的運動狀態。鑒于此，在近幾年的研究中，空間軌跡由于可以較真實地反映車輛的運動狀態，應用于低視角攝像機情況下的交通行為分析中。Beymer[6]等假設車輛的高度為0，將圖像上對特征點跟蹤形成的軌跡投影到路平面上，由于攝像機距離地面較高，因此圖像到路平面之間單一的映射關系就可以很好地解決擁堵、光線變化及陰影等復雜環境下車輛的跟蹤問題，然而當攝像機距離地面較低時，僅靠這樣單一的映射關系是不夠的。為此，本文提出一種低視角單目攝像機下3D空間的運動軌跡提取方法，即首先建立圖像坐標系與世界坐標系之間的轉換關系，通過減背景法得到運動目標的二值化圖像，然后在二值化圖像中對提取到的特征點向下作垂直投影，根據投影點的世界坐標值求得特征點的世界坐標值，再由高度信息進行特征點的篩選。在圖像平面上對穩定特征點進行跟蹤，求得每一個跟蹤點對應的三維信息，并對跟蹤點的高度進行中值濾波。最后根據濾波后的高度信息對跟蹤點的三維信息進行修正形成空間軌跡。

1 穩定特征點的選取

由攝像機的成像模型可知，通過世界坐標系中的點Q可求得其在圖像坐標系中對應的點q的坐標，點Q與q之間的轉換關系可通過變換矩陣C得到，即

(1)

圖1 現實空間點與在圖像上的投影點之間的關系

本文采用改進的Moravec特征點提取算法，利用灰度方差提取特征點，并在圖像平面上通過跟蹤模板設計和模板匹配、更新等操作進行特征點的跟蹤[8]。

如圖2所示，圖2a為采集到的原始視頻圖像，點F與點B在同一條垂線上，圖2b中特征點f的垂足為點b，點b對應到現實空間中是車輛的底部，其高度為0，根據圖像平面與現實空間的對應關系求得點b對應的現實空間點為點B，由點b、f和B的坐標值即可求得特征點f對應的現實空間點F的坐標值。

圖2 由垂足信息求得特征點的三維坐標

當現實空間中的特征點與垂足原本就在一條垂線上時，得到的高度是正確的，但實際的情況是并不是所有的特征點都滿足這樣的條件，當特征點分布在車輛的其他地方時，例如車窗或者車頂，由于誤差的存在，得到的高度并不是完全正確的。

如圖3所示，點F，F1和F2為選取的車身上的特征點，這3個特征點并不在同一條垂線上。F，F1和F2投影到圖像平面上的點為f，f1和f2，得到的垂足均為點b。點b對應的現實空間上的點為B，由點B的高度值(為0)可求得B點的三維信息，結合平面圖像上點f，f1和f2的坐標值求得它們對應的現實空間上的點分別為F，eF1和eF2。由于F與B在一條垂線上，F1和F2與B不在一條垂線上，因此求得F的世界坐標信息是正確的，F1和F2的世界坐標信息是錯誤的。

圖3 空間特征點與在圖像上的投影點之間的關系

誤差產生的原因主要是假設條件下的特征點都與車輛的前部在同一個垂面上，觀察可知此條件下計算得到的高度都不低于特征點的真實高度，且特征點的真實高度越高，計算誤差越大[9]。鑒于此，本文選取高度較低的特征點作為穩定特征點，即穩定特征點所對應的高度信息誤差較小。穩定特征點的判斷條件為

(2)

式中：Hth為高度信息的判斷閾值，將滿足此條件的特征點作為穩定特征點進行跟蹤，一般選取Hth為0.4W，W為車道寬度。

如圖4所示，第1行圓圈表示的點為采用改進的Moravec特征點提取算法提取到的特征點，第2行圓圈表示的點為滿足穩定特征點的判斷條件篩選出的穩定特征點。

圖4 初始特征點與篩選出的穩定特征點

2 空間軌跡的形成

對提取到的穩定特征點在二維圖像平面上進行跟蹤得到的跟蹤軌跡即圖像軌跡，在現實空間中畫檢測線作為空間軌跡形成的時間基準，當有軌跡(此處為圖像軌跡在世界坐標系的表示即空間軌跡)通過檢測線時，對其高度信息進行中值濾波，并對其歷史跟蹤點的世界坐標信息進行修正。

具體判斷步驟為：

2)在現實空間中，當有空間軌跡經過檢測線時，對該軌跡上的所有跟蹤點的高度信息進行中值濾波求得該軌跡的高度zi；

4)重復步驟1)～3)對所有通過檢測線的空間軌跡的世界坐標進行修正，修正后的空間軌跡即為最后分析用的空間軌跡。

3 實驗結果

圖5所示為兩個攝像機高度較高場景下的跟蹤效果圖。當攝像機架設高度較高時，車輛的高度信息可以忽略，可以近似認為車輛是貼近路面行駛的，因此跟蹤得到的軌跡線可以較好地反映車輛的運動信息。每個運動車輛的跟蹤軌跡被限制在了它所行駛的車道內，不會出現由于車輛之間的相互遮擋而引起的軌跡誤判為相鄰車道的情況。

在本實驗過程中，攝像機的安裝采用相對于運動車輛遠離的方式，即運動車輛從進入視野開始是漸漸遠離攝像機的安裝位置行駛的。如圖6所示為攝像機低視角下的場景圖，攝像機的安裝高度為8m，且安裝在道路的右側約3m處，實際交通場景中的車輛相互遮擋現象較為嚴重，檢測結果如圖6所示，對本文提出的低視角單目攝像機下3D空間的運動軌跡提取算法進行驗證。由于攝像機架設的高度較低，車輛之間的相互遮擋和尺度變化較為嚴重，運動車輛的跟蹤軌跡有時會被誤判為相鄰的車道。因此僅僅利用在二維圖像中跟蹤出的軌跡對車輛的運動行為進行分析，很容易出現錯誤的結果。圖6a中屬于車道3的跟蹤軌跡T1被誤判為屬于車道2；圖6b中屬于車道4的跟蹤軌跡T2被誤判為屬于車道3；圖6c中屬于車道3的跟蹤軌跡T3被誤判為屬于車道2。

圖5 高攝像機架設條件下的跟蹤效果圖

圖6 低攝像機架設條件下的跟蹤效果圖

利用本文所提出的算法對穩定特征點進行跟蹤，并將圖像軌跡轉換為空間軌跡，空間軌跡可以較好地解決車輛之間的遮擋引起的軌跡誤判。

如圖7所示，第1行實線為穩定特征點跟蹤出的圖像軌跡，虛線為空間檢測線在二維圖像上的投影。第2行為利用本文算法得出的空間軌跡。

圖7 圖像軌跡與空間軌跡的對比圖

4 結論

由于攝像機安裝高度和角度的影響，本實驗所展現的實際場景中，高度信息造成的遮擋和尺度變化使得傳統的利用圖像軌跡對車輛運動行為進行分析的方法顯得力不從心，因此本文提出一種低視角單目攝像機下3D空間的運動軌跡提取方法。首先對穩定特征點進行跟蹤，在圖像平面上形成圖像軌跡，然后利用跟蹤點的高度信息，將二維圖像平面上跟蹤出的軌跡逆投影到三維世界坐標系中，得到現實空間的軌跡，在現實空間中利用空間軌跡對車輛的運動行為進行分析。實驗結果表明，該方法針對攝像機安裝高度較低且安裝在路側所造成的車輛之間的遮擋和粘連能取得較好的跟蹤軌跡。此方法得到的空間軌跡可用于后續的車輛計數、交通行為分析及交通安全預警等方面。

[1]MIN J, KASTURI R.Activity recognition based on multiple motion trajectories[C]//Proc.17th International Conference on Pattern Recognition.[S.l.]：IEEE Press, 2004: 199-202.

[2]MAGEE D R.Tracking multiple vehicles using foreground, background and motion models[J].Image and vision Computing, 2004, 22(2): 143-155.

[3]HU W, XIAO X, XIE D, et al.Traffic accident prediction using 3-D model-based vehicle tracking[J].IEEE Trans.Vehicular Technology, 2004, 53(3): 677-694.

[4]查宇飛,張育,畢篤彥.基于區域活動輪廓運動目標跟蹤方法研究[J].中國圖象圖形學報,2007, 11(12): 1844-1848.

[5]SAUNIER N, SAYED T.A feature-based tracking algorithm for vehicles in intersections[C]//Proc.The 3rd Canadian Conference on Computer and Robot Vision.[S.l.]：IEEE Press, 2006: 59.

[6]BEYMER D, MCLAUCHLAN P, COIFMAN B, et al.A real-time computer vision system for measuring traffic parameters[C]//Proc.1997IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE Press, 1997: 495-501.

[7]李華, 吳福朝.一種新的線性攝像機自標定方法[J].計算機學報, 2000, 23(11): 1121-1129.

[8]SONG H, LU S, MA X, et al.Vehicle behavior analysis using target motion trajectories[J].IEEE Trans.Vehicular Technology，2013，63(8):3580-3591.

[9]KANHERE N K, BIRCHFIELD S T.Real-time incremental segmentation and tracking of vehicles at low camera angles using stable features[J].IEEE Trans.Intelligent Transportation Systems, 2008, 9(1): 148-160.

趙倩倩(1990— )，女，碩士生，主研視頻檢測技術、圖像處理；

宋煥生(1964— )，教授，博士生導師，主研智能交通、圖像處理及計算機視覺；

徐曉娟(1988— )，女，碩士生，主研視頻檢測技術；

彭玲玲(1990— )，女，碩士生，主研圖像處理。

責任編輯：薛 京

Trajectory Extraction in 3D Space from Low Camera

ZHAO Qianqian1, SONG Huansheng1,2, XU Xiaojuan1, PENG Lingling1

(1.DepartmentofInformationEngineering,Chang’anUniversity,Xi’an710064,China；2.ShaanxiEngineeringandTechniqueResearchCenterforRoadandTrafficDetection,Xi’an710064,China)

Due to the limitation of camera’s height and angle, occlusion and perspective between vehicles can be seen in video images.A method for trajectory extraction in 3D space using a camera that is low to the ground is presented.The 3D information of feature point is obtained by utilizing pedal information.The stable feature point and unstable feature point can be distinguished using height information.Trajectories in 3D space are formed by 3D information when the stable feature points are tracked.Experimental results show that occlusion and perspective between vehicles can be settled successfully with this method.

occlusion; feature tracking; vehicle tracking; 3D trajectory extraction

【本文獻信息】趙倩倩，宋煥金，徐曉娟，等.低視角單目攝像機下3D空間的運動軌跡提取[J].電視技術,2015，39(3).

國家“863”計劃項目(2012AA112312)

TN911.73;TP317.4

A

10.16280/j.videoe.2015.03.029

2014-05-20