多攝像機跨區域目標跟蹤

石亞玲，劉正熙，熊運余

（四川大學計算機學院，成都 610065）

0　引言

在當今社會中，監控攝像頭日益增多，形成了龐大而又復雜的監控網絡。傳統的單目攝像機下的小場景監控已經不能滿足人們的需要，面對龐大的視頻監控系統，如何利用計算機代替人自動處理來自多個攝像頭的長時間監控視頻數據，判斷該目標所經過的所有攝像機形成的路徑，實現對感興趣目標的長時間持續穩定監控。由此跨攝像機目標跟蹤成為當下研究熱點，目前跨攝像頭目標跟蹤主要分為非重疊區域和重疊區域跟蹤。非重疊區域跟蹤即相鄰攝像頭之間的視域無重疊部分，可見部分有監控盲區，主要的技術難點在于攝像頭關聯模型。李志華[1]等提出當目標離開某攝像頭視域后，檢測其相鄰攝像頭中新出現的目標，利用新目標的SIFT特征與數據庫中需匹配目標的特征進行對比，若比對成功，則將原攝像頭中的目標編號賦予給新攝像頭中的目標。缺點是需提前知道攝像機的拓撲結構，需要網絡和服務器能夠承受較大的負荷。Xiaotang Chen[2]等人在Javed[3]等人工作的基礎上，提出用非監督方法構建攝像頭間轉移模型，利用攝像頭間的時空線索和目標的外觀線索實現跨攝像機跟蹤，采用顏色特征轉移算法（CTT）建立攝像頭間外觀轉換模型，缺點是不同的顏色轉移方向會極大的影響CCT的性能。重疊區域的跟蹤即同一個目標同時出現時多個攝像頭中，在這種情況下需要考慮的是圖像融合。Khan和Mubarak在文獻[4]中計算出重疊區域中每個攝像頭的視場分界線，根據各攝像頭視域間的單應關系建立目標在相鄰攝像頭之間的一致性。缺點是相鄰攝像頭的視域線必須互相可見，否則會降低置信度。

而本文提取圖像的SIFT特征，形成視場分界線。當一個新目標進入某攝像機的視野范圍內時，根據攝像機的視野分界線就能確定出該目標是否在其他攝像機的視野內,若該目標并未出現在其他攝像頭的視野內，給予新標志；否則匹配重疊區域內候選目標中聯合概率最高的目標標志。

1　基于SIFT特征匹配的視野分界線的形成

視野分界線即一個攝像機的視野邊界線在另一個攝像機中的表現位置，只要在相鄰攝像機的重疊區域內找到4對以上的對應點，利用投影不變量關系在重疊視域內做任意點的投影，即可生成視野分界線[5]。然而基于投影不變量的視野分界線生成算法的精度取決于對應點的精度，故本文運用SIFT[6]特征進行特征點的提取，使用RANSAC[7]算法去除誤匹配，選擇適合的對應點生成視野分界線。

因此如果我們需要拼接來自攝像機自Oi與Oj的兩幅圖像Ii與Ij，重疊區域即Oi與Oj的可見區域，其視野分界線的生成可通過以下步驟實現：

（1）分別提取Ii與Ij的SIFT特征獲取關鍵特征點集 Fi與Fj,可以表示為 {(xt,yt)|(xt,yt)∈Ft,(xt,yt)∈It,t=i,j}。

（2）利用最近鄰搜索算法[8]針對圖像中的某個特征點找到與之匹配的鄰近點。獲取初匹配點集 M={xi,yi)?(xj,yj)}|(xi,yi)∈Fi,(xj,yj)∈Fj}。

（3）采用特征的歐氏距離作為相似性度量來判定特征點對是否匹配，計算匹配結果中距離的最大值dmax，用于篩選合適的匹配點集M'，規則如下：

其中d{(xi,yi),(xj,yj)}代表歐氏距離，α為篩選的閾值，α越少，匹配數量越少，匹配精度越高。

（4）對匹配點集M'采用RANSAC去除野點，獲得較準確的匹配點對K''，同時獲得RANSAC得到的基礎矩陣H。

（5）圖像Ii在Ij中相應的視野分界線可通過變換獲得，即Oi在Oj的視野分界線通過Ii的邊界線s的H變換進行逼近，即=Hs。

圖1　相機的視野分界線示意圖

2　基于視野分界線的目標交接

跨相機跟蹤的主要難點為目標交接，即當一個目標從一個相機走出或者進入另一個相機是，給多攝像機中觀測的同一個目標分配相同的標識。常用的目標交接算法有基于模型的算法，基于特征匹配的算法與基于視場分界線的算法等[9]。而基于視場分界線的算法不需要進行標定，簡單高效，故本文以此方法進行跨攝像機的目標交接與跟蹤研究。

通過上文的步驟確定了相機的視野分界線后，可以根據視野分界線將場景分為重疊區域與非重疊區域。再根據目標的位置信息與視野分界線的距離判斷目標的所在區域。對相機中新進入的目標進行身份判斷，并給予正確的標志。

2.1　目標的可見攝像機集合

生成相機的視野分界線之后，通過目標中心位置到視野分界線（可表示為Ax+By+C=0）的位置判斷目標是否在其他攝像機視野內。如圖3-1所示，對于圖像坐標而言，當目標的位置位于視野分界線上方，則可以表示為Ax+By+C＞0,當目標位置位于視野分界線下方，則可表示為Ax+By+C＜0。

圖2　目標位置與視野分界線的關系

當相機O1檢測到運動目標P時，記錄下其坐標位置（x1,y1）。假設相機O2在相機O1中的視野分界線為Ax+By+C=0，又假設重疊視野區域位于視野分界線下方，那么目標的可見攝像機集合可由以下式子判斷：

每個圖像Ii都有相應的可見區域，其中Vij(x,y)=1表示（x,y）在攝像機Oj中可見，那么可計算在Oi中出現的第n個目標Tin所有可見的攝像機的集合Oi(n)：

其中On表示所有攝像機的集合。

2.2　基于聯合概率匹配的重疊區域跟蹤算法

（1）獲取 Oi中目標的位置信息，并對于?Oj∈Oi(n)，查找候選目標，候選目標需要滿足其中心位置離視野分界線的歐式距離小于閾值td，同時滿足候選目標從攝像機Oj向Oi的邊s移動。

（2）若滿足以上條件的候選目標不只一個，則采用聯合概率匹配法，找出聯合概率最高的目標，若已經被關聯標簽blob_id,則給加上相同的標簽blob_id,否則，給和附上新的標簽。若候選目標集為空，則給附上新標簽。

聯合概率匹配法的目的是提高目標匹配的準確度。其具體的思想如下：

時間距離匹配度為：

其中σt用來控制時間段的范圍。

空間距離匹配度：

其中σa用來控制候選目標的區域半徑范圍，d（x,y）表示向量x和y的歐氏距離。

顏色直方圖的相似匹配概率：

其中h1,h2分別表示，的顏色直方圖，而d(h1,h2)表示兩顏色直方圖的歐氏距離。

因此，對于待匹配目標Tin，候選目標與的匹配概率為 Pd，Pt，Pa，Ph的乘積，即：

2.3　基于常速度模型的非重疊區域跟蹤

假設攝像機Oi與Oj為非重疊的攝像機，當從攝像機Oj消失進入Oi的“盲區”時，利用最小二乘法估算目標在“盲區”的平均速度。通過攝像機Oj中的已知腳點位置和常速度模型估算盲區中的位置。當目標進入攝像機Oi視野之后，其跟蹤方法同2.2。

3　實驗結果及對比

圖3為真實場景中重疊場景的跨區域跟蹤結果，其中紅色線段代表攝像機的FOV線。

圖4為真實的非重疊場景的跨區域跟蹤結果，對圖 4（a）中紅框目標=1持續跟蹤一段時間后，目標進入攝像機的非重疊區域，利用常速度模型對目標位置進行預測。目標消失一段時間之后出現在攝像機O2中，檢測結果為=5，如圖 4（b）所示，然后根據 2.2 的匹配方法持續跟蹤，最后匹配結果為=1，見圖 4（c）。

圖3　重疊區域真實場景跟蹤

4　結語

本文的創新點在于基于SIFT特征的視野分界線生成算法，提出基于聯合概率的多攝像機跨區域跟蹤算法，實現了重疊區域跟蹤和非重疊區域的有效跟蹤。為了驗證算法的準確性，搭建了一個室外的包含重疊區域和非重疊區域的多攝像機跟蹤系統。根據實驗結果表明，運用此算法的跟蹤系統能夠實時、穩定的跟蹤目標。但是本算法仍需繼續改進，相信今后會出現更加魯棒，更具擴展性，更加智能化的跨攝像頭目標跟蹤算法。

參考文獻：

[1]李志華,陳耀武.基于多攝像頭的目標連續跟蹤[J].電子測量與儀器學報,2009,23（2）:46-51.

[2]Chen X,Huang K,Tan T.Obeject Tracking Across Non-Overlapping Views by Learning Inter-Camera Transfer Model[J].Pattern Recognition,2014,47（3）:1126-1137.

[3]Javed O,Rasheed Z,Shafique K,et al.Tracking Across Multiple Cameras with Disjoint Views[C].IEEE International Conference on Computer Vision,2003.Proceedings.2003:952-957 vol.2.

[4]Khan S,Shah M.Consistent Labeling of Tracked Objects in Multipe Cameras with Overlapping Fields of View[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2003,25（10）:1355-1360.

[5]紀慧泉,黎寧.一種基于投影不變量的目標交接改進方法[J].計算機與數字工程,2012,40（4）:78-80.

[6]Lowe D G,Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60（2）:91-110.

[7]Fischler M A,Bolles R C.Random Sample Consensus:a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].in Comn.of the ACM,1981,24（6）:726-740.

[8]肇瑩,劉紅星,王仲宇,等.最近鄰搜索用于分類問題的一種改進[J].南京大學學報（自然科學）,2009,45（4）:455-462.

[9]衡林.多攝像機視域中的運動目標檢測與跟蹤研究[D].南京郵電大學,2013.