基于相機模型投影的多目標三維人體跟蹤算法

李柯江 黃 林 牛新征

1(電子科技大學信息與軟件工程學院 四川 成都 610054) 2(國網四川省電力公司信息通信公司 四川 成都 610041) 3(電子科技大學計算機科學與工程學院 四川 成都 611731)

0 引 言

在城市的高速數字化進程中，視頻監(jiān)控已經普及到了城市的各個角落，然而采集的海量視頻數據受有限人工的制約無法得到及時和快速的處理。作為一種計算機替代人工處理圖像的手段，計算機視覺在監(jiān)控視頻的處理上得到了廣泛的應用。多目標跟蹤是計算機視覺領域的一項中級任務，針對行人的多目標跟蹤在監(jiān)控安防和視頻偵察等領域有重要的應用價值。

目前多目標跟蹤算法可分為DBT(Detection-Based Tracking)和DFT(Detection-Free Tracking)兩種[1]。由于DFT算法難以處理目標的出現(xiàn)和丟失，領域內研究一般以DBT跟蹤算法為主，隨著近年以來深度學習目標檢測算法指標的快速提升，大量DBT跟蹤算法刷新了多目標跟蹤領域的benchmark。SORT(Simple online and realtime tracking)[2]結合了卡爾曼濾波[3]和匈牙利指派[4]算法，在算法的跟蹤指標達到當時最優(yōu)秀的同時有20倍的效率提升；DeepSORT[5]在SORT算法的基礎上引入一個行人Re-ID深度網絡提取行人外觀特征，結合外觀特征的最近鄰匹配減少ID Switch；DeepMOT[6]提出了一個可微分的深度匈牙利網絡(Deep Hungarian Network)，使得一般數據關聯(lián)中使用的匈牙利指派算法可以參與網絡訓練，直接優(yōu)化MOTA和MOTP性能指標。

SORT算法作為一個高效而簡單的算法被許多后續(xù)算法作為基礎，如文獻[7-9]。SORT算法使用卡爾曼濾波預測目標的狀態(tài)，由于卡爾曼濾波算法的更新特性，濾波參數隨機初始化造成的跟蹤誤差會逐步放大。在數據關聯(lián)部分，二維包圍框的朝向和尺度混淆使得SORT算法使用的匈牙利指派算法中的二部圖權重計算存在較大偏差，即使引入外觀特征，在目標頻繁遮擋或外觀相似的情況仍然存在大量的ID Switch。

針對上述存在的問題，本文在SORT算法的基礎上引入了相機模型投影和三維目標檢測，提出一種多任務深度卷積網絡MTRCNN，在標注數據集和MOT17[10]數據集上進行對比實驗來證明算法的有效性。

1 SORT多目標跟蹤

1.1 卡爾曼濾波

卡爾曼濾波是一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數據，對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法。卡爾曼濾波的核心思想如圖1所示，在已知目標的預測分布a和觀測分布b下，使用高斯概率密度函數乘積的形式計算出新的高斯分布c，該分布距離真實分布有最小均方誤差，以分布c作為目標狀態(tài)的最優(yōu)估計。

圖1 兩個高斯分布的融合示意圖

在SORT算法中，狀態(tài)初始分布隨機初始化，預測分布a由卡爾曼濾波預測階段計算，基于上一幀卡爾曼濾波預測目標和當前幀檢測目標間的數據關聯(lián)生成觀測分布b并融合預測分布a來更新目標的分布c。因此，目標狀態(tài)預測的準確度取決于兩幀間目標的數據關聯(lián)準確度，而數據關聯(lián)準確度又反過來依賴目標狀態(tài)預測的準確度。在狀態(tài)分布隨機初始化的情況下，數據關聯(lián)和目標狀態(tài)預測產生的誤差互相影響，使得算法初始跟蹤性能較差。如圖2所示，實線框為DeepSORT算法跟蹤同一ID的結果，虛線框為卡爾曼濾波預測的狀態(tài)，初始20幀內同一目標發(fā)生了兩次ID Switch，隨后跟蹤性能逐漸穩(wěn)定。此外，不同角度拍攝視頻下目標的運動速度分量Δ在二維平面的投影也具有不同的形式，需要濾波器逐漸適應不同拍攝角度的運動模型，降低了跟蹤算法的魯棒性。

圖2 隨機初始化對跟蹤性能的影響

1.2 數據關聯(lián)

SORT算法使用匈牙利指派算法進行數據關聯(lián)，由于兩幀間各目標的相似程度不同，計算時需要考慮不同目標間匹配的權重大小。為了保證相似度權值計算的相對準確性，需要綜合多個特征共同計算，如維包圍框IOU、外觀特征、運動特征、姿態(tài)特征等。通常同一行人在視頻兩幀間運動產生的尺度和坐標變化較小，二維包圍框IOU在相似度權重計算中占有較大比例。如圖3所示，二維圖像損失了深度信息，三維空間中不相交或不同向的行人間可能具有中心坐標相近，尺度相似的二維包圍框以及非0的IOU，這種混淆性會影響數據關聯(lián)的準確性。

圖3 二維目標檢測中的朝向和尺度混淆

2 基于相機模型投影的多目標跟蹤

2.1 算法流程

算法整體跟蹤流程如圖4所示，輸入的第一幀由MTRCNN檢測目標包圍框和頭部包圍框，預測目標朝向以及提取目標外觀特征；經過相機模型投影在世界坐標系重建三維包圍框；為檢測到的目標初始化跟蹤器以及卡爾曼濾波器參數。輸入的后續(xù)幀同樣經過MTRCNN預測和相機模型投影后，由卡爾曼濾波預測上一幀目標的當前狀態(tài)；計算當前幀的目標和上一幀中一定空間范圍內目標的相似度得到二部圖的權重；通過KM算法計算帶權二部圖的最優(yōu)匹配，對于無匹配超過一定幀數的目標作為目標丟失注銷ID，對于無合適匹配目標或相似度權重小于一定值域的目標作為新出現(xiàn)的目標分配ID；卡爾曼濾波更新目標狀態(tài)，等待下一幀輸入。

圖4 算法流程

2.2 MTRCNN 網絡

2.2.1網絡結構

本文提出的MTRCNN基于two-stage的Faster RCNN[11]框架。在該框架的基礎上進行特征復用和多任務分支構建以降低網絡計算成本和整體復雜性，網絡整體結構如圖5所示。

圖5 MTRCNN網絡結構

MTRCNN的輸入為原始視頻幀，輸出分為四個部分，包含外觀特征提取、人體頭部檢測、人體檢測和朝向預測。網絡共有兩個分支，一是刪除分類輸出的Faster RCNN檢測分支：二是新增的朝向預測分支。輸入視頻幀經過裁剪的ResNeXt-50[12]網絡提取特征圖后分別送入兩分支進行處理。在檢測分支，通過RPN生成目標包圍框建議，經過NMS后在特征圖上做ROI Pooling，ROI Pooling的結果經過一組卷積層，分別對目標包圍框進行精確化修正(圖5中③)和回歸目標頭部相對于目標包圍框的中心坐標以及尺度信息(圖5中②)。提取這一組卷積層中的一層，經過Flatten處理后作為該目標的外觀特征向量(圖5中①)。在朝向預測分支，根據Part Affinity Fields[13]和沙漏結構[14]的思想生成朝向特征圖，在該特征圖上做全局ROI Pooling預測目標朝向信息(圖5中④)。

2.2.2網絡參數

MTRCNN理論上支持任意尺度的輸入，為了直觀展示，后文網絡參數表中以固定輸入尺度448×448×3為例。表1中，主干網絡(圖5中ResNeXt模塊)使用ResNeXt-50網絡，該網絡中類Inception結構的多尺度卷積核融合使得主干網絡的特征提取性能在多分辨率輸入和拍攝視頻遠近不同時保持一定的魯棒性。原始輸入經過主干網絡的4次下采樣，輸出[W/16,H/16,1 024]大小的公共特征圖作為目標檢測分支和朝向預測分支的輸入。

表1 主干網絡參數

檢測分支(圖5中Detection Branch)使用和原生Faster RCNN一致的RPN結構和參數，經過ROI Pooling生成n個7×7×1 024的特征圖，n代表NMS處理后生成的建議框數量。Fc1輸出512維向量作為目標的外觀特征向量，最后由兩個全連接分支Fc2和Fc3分別輸出目標包圍框的修正參數(tx,ty,th,tw)和目標頭部相對于目標包圍框的中心坐標(x1,y1)以及尺度w，具體參數如表2所示。

表2 檢測分支網絡參數

朝向預測分支(圖5中Orientation Branch)使用了卷積加反卷積的沙漏結構來融合不同大小感受野中的局部信息和全局信息，目標的三維朝向信息被建模為一個與xz軸平面重合的方向向量(xp,0,zp)。Conv3階段輸出的28×28×2的特征圖存儲了原圖劃分為28個區(qū)域后每個區(qū)域的朝向信息，特征圖通道數為2，分別表示xp和zp。通過在該特征圖上做1×1的全局ROI Pooling來估計每個目標的方向向量，具體參數如表3所示。

表3 朝向預測分支網絡參數

2.3 相機模型投影

本文使用相機模型投影將二維像素坐標系中的坐標映射回三維的世界坐標系。在此基礎上根據二維包圍框信息和目標朝向信息重建目標在三維世界坐標系下拍攝角度無關的三維包圍框，消除拍攝角度對目標運動時中心坐標和包圍框尺度變化的影響，并且根據朝向信息輔助卡爾曼濾波的參數初始化。

2.3.1像素坐標與世界坐標映射

相機模型的坐標轉換公式定義如下：

zcPuv=KTPw

(1)

Pw=[xwywzw1]T

(2)

Puv=[uv1]T

(3)

式(1)中Puv是像素坐標系中的坐標，在計算機圖像中左上角定義為原點，Pw是世界坐標系中的坐標，由相機內參矩陣K和外參矩陣T來計算坐標點從世界坐標系到像素坐標系的轉換。

[xcyczc1]T=TPw

(4)

(5)

(6)

t=[txtytz]T

(7)

相機外參矩陣T由旋轉矩陣R和平移參數t組成，如式(6)-式(7)所示，R為分別圍繞三個坐標軸旋轉的旋轉矩陣的乘積，t包含三個坐標軸方向的位移。K為相機內參矩陣，由相機的焦距、像素大小等因素決定，該參數在攝像機出廠時已經固定，可以視為常量矩陣。

由于世界坐標系和相機坐標系位置關系的相對性，本文為簡化旋轉矩陣R和位移向量t的計算，設置世界坐標系的xz軸平面與路面重合，x軸平行于相機坐標系的x軸。如圖6所示，經過上述設置世界坐標系到相機坐標系的轉換矩陣T能夠憑高度參數h和圍繞x軸旋轉的角度ψ決定。與之對應，式(6)中僅保留第一個和ψ有關的圍繞x軸旋轉的矩陣，式(7)中ty等于h，其余為0。

圖6 相機坐標系與世界坐標系

計算機處理的是二維圖像，處于像素坐標系，而從世界坐標到像素坐標系損失了深度信息，無法直接通過矩陣K和T計算出像素坐標系下坐標點在世界坐標中的坐標。本文利用行人行走時腳部位置處于地平面的特性，實現(xiàn)像素坐標系坐標到世界坐標系坐標的映射。如圖6中，設該行人的腳部中心坐標為Pf(xw,0,zw)，頭部中心坐標為Ph(xw,yw,zw)，Pf中y軸坐標值為0，代表行人腳部位于地平面，Ph中yw代表行人的身高。通過式(1)易計算出世界坐標系和像素坐標系下行人腳部中心坐標滿足下列關系：

(8)

(9)

(10)

式(8)和式(9)中，yw等于0，像素坐標系下的坐標u和v已知，由式(10)可得兩個關于xw和zw的二元一次線性方程，可解出世界坐標系下行人的腳部位置Pf。同理，此時行人的頭部位置中xw和zw已求得，由式(10)可得兩個關于yw的一元一次線性方程，可解出行人高度yw。

上述求解Pf和Ph的公式存在幾種特殊情況：1)相機坐標系xz軸平面和世界坐標系xz軸平面以及地面完全重合，該情況下h=0，sinψ=0，式(9)中分子等于0，僅能得到一個二元一次方程，有無窮解，但由于實際場景中幾乎不會用攝相機貼著地面拍攝，本文忽略這種情況的影響；2)相機垂直拍攝，cosψ=0，式(8)-式(9)中分母等于零，等式無意義。該情況下將世界坐標系與相機坐標系重合，行人腳部坐標修改為Pf(xw,yw,h)，頭部坐標修改為Pf(xw,yw,h-zw)后套用式(1)。當行人處于攝像機光心上頭部與腳部重合時，無法計算zw，此時使用一個帶高斯噪聲的初始化身高來估計zw；3)真實場景下行人頭部的xz軸坐標與腳部的xz軸坐標不一定完全相同，會出現(xiàn)關于yw的無解矛盾方程組。該情況下通過式(11)-式(12)來估計yw的值，其中yw1和yw2為該矛盾方程組中的矛盾解，Pf1和Pf2為把yw1和yw2代入式(8)-式(10)求得的坐標(xw,0,zw)，D為歐氏距離。

yw=λyw1+(1-λ)yw2

(11)

(12)

2.3.2世界坐標系三維包圍框重建

行人在世界坐標系的三維包圍框數據結構由式(13)表示，x、y、z為包圍框的中心坐標，l、w、h為包圍框的長寬高，α為包圍框的水平朝向與x軸正半軸的夾角。

BOX3d(x,y,z,l,w,h,α)

(13)

在2.2節(jié)中已求得的坐標值x、y、z和高度h，還缺少朝向夾角α以及長l寬w。2.1節(jié)中網絡的朝向預測分支可預測得到平行于地面的方向向量(xp,0,zp)，由該方向向量計算夾角α。人的頭部可以近似認為是一個球體，在2.1節(jié)中已計算出人體頭部的尺度wh，本文假設人體的長和頭部相近，寬約頭部的兩倍，分別估計包圍框水平面的長寬為wh和2wh。如圖7所示，目標在世界坐標系下的三維包圍框可以確定唯一。

圖7 世界坐標系下的人體三維包圍框

2.3.3卡爾曼濾波參數初始化

區(qū)別于SORT等算法，本文使用目標三維信息指導的手動卡爾曼濾波初始化來代替隨機卡爾曼濾波初始化。本文構建的卡爾曼濾波的狀態(tài)向量數據格式如式(14)所示，x、z為人體在世界坐標系下的腳部中心坐標，w、h為三維包圍框的寬高。由于人體包圍框長寬比值固定，狀態(tài)向量中省略了包圍框長度l；x、z用三維包圍框的底面中心坐標初始化；w、h用人體包圍框寬和人體高度初始化；Δx初始化為v×cosα×Δt，Δz初始化為v×sinα×Δt，α為目標朝向方向向量與x軸正半軸的夾角，Δt為兩次輸入的間隔時間，v=0.45h即一般步態(tài)與身高比例參數下的步行速度。

(14)

2.4 相似性權重計算

不同于二維包圍框，三維包圍框在利用人腳部著地性消除圍繞x軸和z軸的旋轉自由度后，仍比二維包圍框多出沿著y軸旋轉的自由度和y軸方向高度的自由度。如圖8中③，box間存在夾角β且高度不一定相同。DeepSORT等算法使用的二維包圍框IOU在兩目標運動發(fā)生遮擋時無法有效辨別目標的差異性，易發(fā)生ID Switch，而三維包圍框具有目標朝向和位置等額外信息，可以在增加的數據維度上辨別不同目標。如圖8中①、②，兩幀檢測到的目標分別同向和反向運動，實際上朝向相同的目標間應該有更高的相似度分數，朝向不同的目標間應該有更低的相似度分數。

圖8 三維包圍框IOU示意圖

直接計算三維包圍框IOU較為復雜，本文使用式(15)-式(17)來近似計算，式(16)中(1+cosβ)/2的值域為[0,1]，在目標方向完全相反時為0，目標方向完全相同時為1；IOU2d為調整目標朝向一致時xz軸平面的二維包圍框IOU；Ah和Bh分別為目標在y軸方向的高度，計算時保證Ah≤Bh。最終相似性分數計算如式(15)所示，由目標外觀特征向量的余弦相似度和三維包圍框IOU加權計算，μ為權重分配值，本文取0.6。

(15)

(16)

(17)

3 實驗及結果分析

DeepSORT論文中，實驗結果基于MOT16數據集，并且使用了非標準的檢測器。本文使用MTRCNN的檢測分支結果作為DeepSORT跟蹤階段的輸入，使用MTRCNN提取的外觀特征作為DeepSORT外觀相似性計算的輸入。由于MOT17數據集未提供相機內參和外參，本文在MOT17數據集上進行MTRCNN網絡的對比實驗，在標注數據集上進行整體跟蹤算法的對比實驗。

3.1 數據關聯(lián)

MOT17數據集是一個公開的評估多目標行人跟蹤算法效果的數據集，并且提供了MOTA、MOTP、MT等多種評估指標。訓練MTRCNN網絡額外需要目標朝向信息和頭部包圍框，因此本文在MOT17數據集基礎上手動標注了行人的朝向信息和頭部包圍框。最終本文使用了數據集中4段訓練視頻共3 012幀和3段測試視頻共2 575幀，并且人工標注了朝向信息和人體頭部包圍框。標注數據集為自行拍攝的行人視頻共3 805幀，同MOT17數據集一樣，人工標注了行人包圍框、頭部包圍框以及朝向信息，并且采集了監(jiān)控攝像機的外參和內參。

訓練階段，輸入數據隨機鏡像反轉，使用右下角paddiing處理保證圖像長寬相等。本文對MTRCNN的兩個分支進行分段訓練，主干網絡的ResNeXt-50使用ImageNet分類數據集訓練的標準權重，裁剪Conv4以后的層，然后交替訓練檢測分支的RPN和RCNN，檢測分支訓練完畢后固定主干網絡的權重，訓練朝向預測分支，網絡收斂后訓練完畢。朝向預測分支的Conv3和檢測分支的FC2&FC3后使用Sigmoid激活函數，其余均使用ReLU激活函數。

(18)

CSLoss(Op,Og)=mean((1-cos(Op,Og))2)

(19)

檢測分支Loss函數使用SmoothL1，朝向預測分支Loss函數使用預測的朝向Op和標簽朝向Og的平均余弦相似度誤差CSLoss，兩分支的訓練優(yōu)化器均使用Adam。

實驗平臺：CPU Intel core i7 8700K、GPU Nvidia GTX1080Ti 11 GB、Ubuntu16.04、Tensorflow 1.11。

3.2 實驗結果

MTRCNN在標注數據集上的測試結果如表4所示，網絡檢測分支在多任務分支和特征共享的結構下取得了和Faster RCNN同樣優(yōu)秀的檢測性能。朝向預測準確性由三個值域評估，約72.3%的預測朝向與原標注朝向幾乎完全相同，91.2%的預測與原標注朝向吻合程度高，99.7%的預測朝向與原標注朝向相似。

表4 MTRCNN測試結果

在MOT17數據集上僅使用MTRCNN與SORT和DeepSORT算法進行跟蹤效果對比。圖9展示了MOT17數據集上，3種算法隨著多幀輸入出現(xiàn)ID Switch次數的平均累計。可以看出，SORT和DeepSORT算法初始ID Switch錯誤上升迅速，之后趨于穩(wěn)定。本文使用的MTRCNN初始跟蹤性能明顯優(yōu)于SORT和DeepSORT算法。圖10展示了DeepSORT和本文算法在MOT17數據機上預測的一個典型例子，實線框為跟蹤目標，虛線框為卡爾曼濾波預測。圖10(a)DeepSORT算法中卡爾曼濾波的隨機初始化使得預測的目標位置在原位置附近隨機分布，若剛好有一外觀類似的人在該范圍內，數據關聯(lián)算法可能誤把該人與跟蹤目標進行關聯(lián)。在下一幀圖10(b)的更新中，錯誤的數據關聯(lián)導致目標狀態(tài)中速度分量的更新錯誤，從而繼續(xù)發(fā)生ID Switch甚至丟失目標。而圖10(c)、(d)中MTRCNN使用目標朝向信息較為正確地對卡爾曼濾波進行初始化，預測位置與跟蹤目標的運動方向一致，數據關聯(lián)時匹配分數更高，初始跟蹤性能更加穩(wěn)定。

圖9 MOT17數據集初始跟蹤誤差

圖10 DeepSORT和MTRCNN初始狀態(tài)預測對比

本文在標注數據集上對提出的完整跟蹤算法進行對比測試。圖11為在標注數據集上對算法初始跟蹤誤差的測試，與圖9中不同，MTRCNN和DeepSORT的曲線差距較小，分析測試數據后發(fā)現(xiàn)，MOT17數據集與標注數據集相比人群較為密集，容易發(fā)生圖10情況下的ID Switch錯誤，而標注數據中人群較為稀疏，該情況發(fā)生較少。圖11中MTRCNN3D為本文提出的完整跟蹤算法，相比MTRCNN，引入的相機模型投影有效減少了另一種情況下的ID Switch錯誤。圖12中，兩人運動發(fā)生遮擋時，傳統(tǒng)二維包圍框IOU為0.65，無法有效分辨兩人的差異性，而本文引入的三維包圍框和世界坐標系下的投影，三維包圍框IOU為0，可以有效分辨二維投影中互相遮擋的目標，減少該錯誤的發(fā)生。

圖11 標注數據集初始跟蹤誤差

圖12 二維和三維IOU對比

表5展示了標注數據集上各算法的MOT評價指標。本文提出的算法有更高的MOTA，并且有效減少了ID Switch的發(fā)生。

表5 多目標跟蹤指標測試

4 結 語

本文提出了一種基于相機模型投影的多目標人體跟蹤算法，將二維平面的跟蹤算法遷移到三維空間，減少了ID Switch的發(fā)生，提升了跟蹤算法的初始穩(wěn)定性，并且提出了一個特征復用的MTRCNN網絡，減少算法計算開銷。本文算法在常規(guī)監(jiān)控攝像頭采集的數據上取得了優(yōu)秀的跟蹤性能，但是真實場景中魚眼攝像頭也較為常見，而魚眼攝像頭是球面成像，廣角、成像畸變和球面成像的特性與一般直筒型監(jiān)控攝像機不同，如何兼容魚眼攝像機是下一步的研究重點。