多目標跟蹤中特征融合算子的選擇技術研究

李白燕，禹定臣

(黃淮學院信息工程學院，河南 駐馬店 463000)

責任編輯:時 雯

在圖像序列中，自動跟蹤指定的目標廣泛應用于視頻監控、人機接口、醫療診斷、運動捕獲等諸多領域。當視頻中圖像變化和目標運動時，目標的跟蹤變得異常困難，如多個目標在運動過程中互相遮擋或監控場景復雜，解決上述難題一直是一個挑戰。因此，對視頻中多目標跟蹤技術研究仍然是近年來的熱門研究課題。

信息融合是由多種信息源，如傳感器、數據庫、知識庫和人類本身來獲取有關信息，并進行濾波、相關和集成，從而形成一個表示構架，這種構架適合于獲得有關決策、對信息的解釋、達到系統目標(如識別或跟蹤運動目標)、傳感器管理和系統控制等［1］。

目前，常用的視覺特征主要包括顏色特征、邊緣特征、形狀特征等，以此類特征構建目標模型進行目標識別和糾正遮擋。但目標在擁擠的人群、城市空間移動并有遮擋時，依靠某個單一特征往往不充分、不穩定，難以取得良好的跟蹤性能。針對這一局限性，近年來許多學者提出了利用多視覺信息融合跟蹤目標的算法，包括:將目標的位置信息與顏色信息進行融合，建立起多信息合并的運動目標跟蹤模型［2］;將灰度特征和梯度特征結合起來，在粒子濾波框架內進行概率融合以跟蹤目標，融合目標特征和目標空間位置信息的粒子濾波跟蹤算法，可以有效地提高目標跟蹤的速度［3］。但這些算法普遍忽略了獲得最佳識別和跟蹤的特征集或證據也在變化，因此，為了解決上述問題，提出了一種動態選擇融合算子的方法，用來識別哪些特征或證據是最有用的，即新型領域的組合融合分析(CFA)。

使用結合多個得分系統的框架、組合融合分析(CFA)和等級評分函數［4－5］作為衡量得分系統之間的多樣性。該方法自下而上，沒有強制一個模型進行測量。多個得分系統代表不同的傳感信息，特征或者信號、特征的組合。

1 組合融合分析(CFA)

1.1 等級函數和得分函數

將單個傳感器測量的每個特征(可能多個特征)或多個傳感器系統報告每一個證據作為一個評分系統，假設跟蹤和識別模塊A上的一組n個可能的軌跡為:D={d1，d2，…，dn}。設sA(x)是得分函數，該函數給D的每個di分配一個實數。將函數sA(x)看成關于得分系統A(特征/證據)從D到R(實數集合)的評分函數。當sA(x)作為一個實數的數組，sA(x)數組為降序排列并分配一個等級(一個正自然數)給D每個di，這將引出一個等級函數rA(x)。由此產生的等級函數rA(x)它是一個函數從D到N={1，2，…，N}(|D|=N)取值。為了正確地比較和適當地結合從多個得分系統(多個特征為單一傳感器，或多個項目的證據來自多個傳感器)得來的得分函數，必須進行歸一化處理。采用如下函數

式中:smax=max sA(x)|x∈D ，smin=minsA(x)|x∈D。

根據得分函數sAi(x)和等級函數rAi(x)給定m個評分系統Ai(i=1，2，…，m)，存在幾種不同得分系統輸出相結合的方式，包括得分組合、等級組合、投票、平均組合和加權組合。下面首先使用平均等級(或分數)組合方式。m個評分系統Ai設有sAi(x)和rAi(x)，分別定義等級組合(RC)和得分組合(SC)的得分函數sR(x)和sS(x)，即

sR(x)和sS(x)按照升序和降序排列以便分別獲得等級組合rR(x)的等級函數和得分組合rS(x)的等級函數。當m個評分系統(特征或證據)Ai，結合使用得分函數)和等級函數)，用等級或者是評分函數，有個可能的組合，復雜性的次數是指數，當m較大時將變得尤為高。大型數據集D的多個得分系統涉及復雜的數學、統計、計算方法和技術［6］。例如，每個評分系統Ai的等級函數，在D中(|D|=N)可以被映射到n維空間(稱為等級空間)的一個點上。n維空間Qn也是一個Cayley圖，作為頂點組和頂點之間連接的對稱群Sn被定義為一組生成器(一個排列的子集)，作為它的頂點。

1.2 組合融合分析原理

CFA在紅外、公關、VS和PSP已經證明［4］:1)組合多個得分系統(特征或證據)將提高預測或分類的準確率，只有①每個計分系統有一個相對較好的業績，②得分系統是獨特的(或多樣化)。2)等級組合表現優于得分組合在①和②條件下以及其他限制下。本文方法考慮兩個得分系統組合，該組合從個可能的兩個組合中選擇，是使用得分系統A和B之間的一個多樣性測度d(A，B)。

1.3 評分系統模塊之間的多樣性

使用得分函數d(sA，sB)和等級函數d(rA，rB)對得分系統A和B之間的多樣性d(A，B)進行研究，分別作為相關性和等級相關。現有的融合方法也是使用等級/分數函數這個概念來測量A和B之間的多樣性，除了d(sA，sB)和d(rA，rB)外，還有 d(fA，fB)。fA和 fB分別是 A和 B 的等級/評分函數。

當在同一坐標平面繪制評分系統A和B的等級/分數函數的圖形(因此它被稱為等級/分數圖)，多樣性措施可以很容易地可視化。

設sA(x)和rA(x)是得分系統A的評分函數和等級函數，那些等級/評分函數fA(x):N→［0，1］的定義為

值得注意的是，集合N不同于集合D，D是n個可能的跟蹤集合或n個跟蹤假設的集合。集合N作為等級函數值的索引集。等級/評分函數如此定義意味著得分(或等級)行為的評分系統，獨立于跟蹤或追蹤假設。再者，多樣性測度d(A，B)=d(fA，fB)可以被定義為幾個不同的形式，即

2 實驗

2.1 實驗方法

實驗的目的是判斷一個特征差異性測量和一個相對性能測量的組合是否是一個很好的候選指標，從而預測一個特征子集的融合是否將產生更精確的跟蹤結果。實驗對3個特征進行測量:顏色特征、形狀特征和位置特性。實驗計算和評估所有特征的組合，并與人工所得的真實數據進行比較。

3種特性、得分和等級操作有11個可能的組合:基本的3個特性(3個組合)，任何2個得分組合(3個組合)，任何2個等級組合(3個組合)，三者等級和分數的結合(2個組合)。

在本文中，對前9個進行評估，忽略了3個特性的結合，造成沒有特性的選擇。評估包括:比較每個目標的前q=30追蹤假設的每一點與視頻序列實況。實況通過一個人工觀察員在每個視頻幀標記目標中心而得到。每個跟蹤與實況比較，通過評估一個平均平方之和方差(MSSD)。組合A的性能測量寫成P(A)，與前跟蹤的平均MSSD成反比，即

其中，tracki是組合A的第i個跟蹤假設。

6個兩兩組合可以分為積極的組合和消極的組合。如果C的性能比A的性能和B的性能好，那么使用特征A和B的組合C是積極的，如P(C)≥max(P(A)，P(B))。對每個組合的兩個性能指標進行評估。特性A和B組合的等級評分的多樣性計算如式(5)所示。性能比標準PR(A，B)計算為

在每個步驟中，對每個組合，d(fA，fB)的值、PR(A，B)以及組合是積極或消極都被記錄到一個日志文件。

用于實驗的4個視頻序列參見圖1。圖1a沒有遮擋的單個目標從左到右移動;圖1b兩個橫向移動目標;圖1c兩個垂直移動目標;圖1d一群目標水平移動，作為一個松散的人群，主要從左到右。這些顯示各種目標遮擋情況，從沒有遮擋(從圖1a到多次重復遮擋，即圖1d)。

圖1 實驗用視頻序列

2.2 RAF(等級和融合)跟蹤實驗

在跟蹤器中，每一幀圖像序列的前景對象使用非參數背景估計技術進行提取［5］。這個區域被傳遞到RAF(等級和融合)系統的3個跟蹤器。通過應用專用的跟蹤裝置測量幀中每個區域cj，收集顏色、位置和形狀信息。

1)顏色跟蹤:mcol(cj)，平均歸一化cj的RGB顏色。

2)位置跟蹤:mloc(cj)和cj的圖像質心位置。

3)形狀追蹤:msha(cj)、被cj覆蓋的圖像區域，以像素為單位。

2.3 實驗結果

結果顯示如圖2所示，展示了積極和消極的組合平面圖，分別為跟蹤圖1a～圖1d的視頻序列。從而可以看出消極的組合集聚在左下角，即該組合的性能比組合特征中至少一個性能差，也就是說，消極的組合集聚在相對性能和多樣性較低的區域。積極的組合更均勻地分散在空間，集聚在相對性能和多樣性更高的區域。

圖2 組合融合分析標準的分布圖

3 結論

本文采用基于組合融合分析、調查所有測量特征組合的空間的方法，解決了相互遮擋的多目標跟蹤這個問題。當一個有遮擋的目標移動，跟蹤目標采用不同的特征組合是必要的［6］。具體問題是選擇哪些特性的組合才能產生最好的跟蹤性能。本文建議并評價了結合的指標:等級/分數多樣性和相對性能，并預測了最好的組合。

本文進行了1組4個不同的視頻序列跟蹤實驗，從1個單一的目標場景到多個目標同時移動并有重復相互遮擋。使用RAF跟蹤系統，該系統被改進用來評估所有組合選擇，通過比較合成跟蹤的質量與實況跟蹤測量，在等級和分數組合上融合顏色、形狀和位置等3個特征中的2個。如果組合性能優于任何一個特性，組合是正值，否則組合被認為是消極的。對在各種情況下的等級/分數的多樣性和性能比率指標進行了測量。

4個不同的視頻序列的結果表明，消極的組合傾向于集聚在低等級/分數多樣性和低的相對性能的區域。特別地，只有A和B具備相對高的性能，且A和B是多樣化的，1對特征A和B的組合才能提高精度。這說明上述兩個條件可以成為一個有用的標準，提高選擇特征組合多目標且相互遮擋的跟蹤性能。

［1］孔慶杰.信息融合理論及其在交通監控信息處理中的應用［D］.上海:上海交通大學，2010.

［2］周元璞，婁和利.一種基于信息融合的粒子濾波跟蹤算法［J］.計算機應用研究，2012(5):1001－3695

［3］胡閩，劉純平.融合目標特征和空間信息的粒子濾波跟蹤［J］.計算機工程與應用，2011(4):191－194.

［4］HSU D F，CHUNG Y S，KRISTEL B S.Combinatorial fusion analysis:Methods and practice of combining multiple scoring systems［EB/OL］.［2012－10－22］.http://www.igi－global.com/chapter/combinatorial－fusion－analysis/7692.

［5］HSU D F，LYONS D M，AI J.Combinatorial fusion criteria for real－time tracking［C］//Proc.AINA 2006.［S.l.］:IEEE Press，2006:831－838.

［6］蔡榮太，吳元昊，王明佳，等.視頻目標跟蹤算法綜述［J］.電視技術，2010，34(12):135－138.