融合時空多特征表示的運動人體目標跟蹤算法

李曉峰，邢金明

1.黑龍江外國語學院 信息工程系，黑龍江 哈爾濱 150025

2.東北師范大學 體育學院，吉林 長春 130024

運動人體目標跟蹤技術不僅可以獲取到運動人體目標的個數[1]，還可以獲取到運動人體目標的實時位置[2]。利用運動人體目標跟蹤技術追蹤目標的具體位置，為圖像捕捉、反恐偵察等方面提供了重要支撐，運動人體目標跟蹤技術具有較高的實用價值[3]，提升目標跟蹤效果也成為近幾年來相關領域的重點研究課題，目前已有國內外學者研究該課題并取得了一定成果。

文獻[4]提出基于高斯混合模型的目標跟蹤算法。采用自適應高斯混合模型實現目標定位，引入加權似然值調整圖像的尺度及角度，實現目標精準定位。文獻[5]提出基于圖像序列的人體運動目標成像跟蹤方法，引入粒子濾波算法，通過增加采樣粒子改進算法，提高人體運動目標采樣的種類，提高人體運動跟蹤性能。文獻[6]提出基于多層卷積特征的目標跟蹤算法，提取運動圖像的多層卷積特征，保證信息全面性，采用多層特征計算運動圖像相關性，將響應中的目標位置與定位目標融合，提升算法的跟蹤精度。文獻[7]提出目標數目與角度聯合跟蹤算法。將主成分序列估計的思想引入改進非對稱聯合對角化(asymmetric joint diagonalization,AJD)算法中，得到迭代評估特征值。使用改進的信息理論完成目標跟蹤。文獻[8]提出基于相干處理間隔(coherent processing interval,CPI）的圖像目標跟蹤算法。為機動目標的逆合成孔徑雷達(inverse synthetic aperture radar，ISAR）成像選擇最佳CPI，使用擴展的卡爾曼濾波器(extended Kalman filter,EKF)估算目標的方向，采用最小二乘法找到不同時間間隔內運動的最佳擬合線，并在成像間隔內測量3 個旋轉角的線性度，實現目標跟蹤。文獻[9]提出基于動態監控視頻的運動目標實時跟蹤算法，根據運動目標對光流的影響來篩選特征點，采用光流法估計運動目標的整體運動。最后，根據全局運動估計結果修改粒子濾波器的運動方程，同時選擇顏色直方圖作為目標的特征模型，從而對運動目標進行跟蹤。

上述方法具有一定的有效性，但在跟蹤準確度及耗時方面還有待提升，為此提出融合時空多特征表示的運動人體目標跟蹤算法。根據運動人體目標位置提取跟蹤的需求，借鑒目標跟蹤算法，利用迭代思想在運動人體目標搜索區域提取目標位置，從而減少運動人體目標圖像的形狀和大小變化對目標位置提取的影響，提升目標跟蹤準確性；融合待檢測像素點、像素點矢量及最大似然估計值3 大特征，利用運動人體目標檢測門限檢測運動人體目標像素點，然后設計運動人體目標檢測方法確定運動人體目標存在區域，最后通過運動人體目標跟蹤算法的流程，實現運動人體目標的跟蹤。本文的主要研究工作：1）通過迭代在運動人體目標搜索區域提取目標位置，完成運動人體目標位置的提取；2）采用融合時空多特征表示方法提取運動人體目標特征，融合待檢測像素點、像素點矢量及最大似然估計值3 大特征；3）利用運動目標權值確定目標跟蹤的位置坐標，增強運動人體目標的跟蹤效果。

1 運動人體目標跟蹤算法設計

1.1 運動人體目標位置提取

在運動人體目標跟蹤之前，需要先提取運動人體目標位置，以增強運動人體目標的跟蹤效果[10?11]。利用2 個運動人體目標位置的時間關系[12?13]，確定運動人體目標的初始運動速度，通過運動人體目標區域的質心位置，計算了運動人體目標的搜索窗大小，完成運動人體目標位置的提取。

對前2 幀運動人體目標進行反向投影，得到一張顏色概率分布圖，然后在第1 幀運動人體目標圖像中標注目標位置，并在位置區域內建立顏色概率分布圖，再以運動人體目標位置為搜索中心，搜索第2 幀運動人體目標位置[14?15]，利用2 個位置的獲取時間關系，確定運動人體目標初始運動速度為

式中：vx、vy分別為水平方向和豎直方向上的初始運動速度；x1、x2分別為水平方向上的運動起始點及終點；y1、y2分別為豎直方向上的運動起始點及終點；T表示獲取2 幀運動人體目標的時間間隔。

確定運動人體目標的初始運動速度之后，從第3 幀運動人體目標開始，在波門范圍內，將波門中心作為搜索中心，利用人體目標的一階矩來確定質心位置。考慮到對運動人體目標不敏感的突出優點，目標的一階矩用來確定運動人體目標的位置，運動人體目標在x軸和y軸的一階矩定義為

式中：M10、M01表示運動人體目標不同位置處像素概率值；xi、yi分別表示人體運動的水平方向位移和豎直方向位移；i表示位移位置點序號；n表示最大位移位置點；pI(x,y)表示運動人體目標在(x,y)處的像素概率值。

根據式(1)可以得到運動人體目標區域的質心位置為

式中：M00為運動人體目標起始點的像素概率值。每完成一次迭代計算，就確定了一個運動人體目標質心位置，然后將搜索中心移至質心位置，并利用式(2)重新計算運動人體目標的搜索窗s的大小：

式中 γ表示運動人體目標搜索窗的控制參數。通過式(2)計算人體目標的搜索窗，提取運動人體目標位置。

1.2 融合時空多特征表示的運動人體目標檢測

完成運動人體目標位置的提取后，檢測提取的目標位置信息以增強跟蹤效果。融合時空多特征表示即融合待檢測像素點、像素點矢量及最大似然估計值3 大運動人體目標特征[16?17]，將多特征表示引入運動人體目標的聯合概率密度函數，監測目標圖像像素點，確定運動人體目標存在區域，提升跟蹤準確性，并設計融合時空多特征表示的運動人體目標的檢測步驟。

假設輸入運動人體目標中，待檢測像素點的概率密度函數p(xi)為

式中 β2表示運動人體目標圖像的噪聲功率。假設每一個運動人體目標圖像像素點之間的干擾是相互獨立的，采用N個樣本數據來估計，像素點矢量表示為，那么矢量概率密度函數為

引入最大似然函數求解噪聲功率 β2的最大似然估計值為

式中 α為運動人體目標檢測門限乘積因子。

基于運動人體目標的聯合概率密度函數[18]，設計融合時空多特征表示的運動人體目標的檢測步驟為：

1)在待檢測運動人體目標圖像像素點的周圍設置保護單元的大小，計算出運動人體目標圖像像素點的個數N，同時設置運動人體目標期望的虛警概率；

2)計算運動人體目標檢測門限乘積因子

3)對所有輸入的運動人體目標圖像數據進行平方律檢波[19]；

4)對于某一個待檢測的運動人體目標圖像像素點xi，根據周圍參考運動人體目標圖像像素點的像素值，得到運動人體目標干擾功率的估計[20]；

5)利用式(3)計算出待檢測運動人體目標圖像像素點的門限值；

6)利用門限值檢測運動人體目標圖像像素點；

7)待檢測運動人體目標圖像像素點移動到下一個，返回步驟4)，直到達到門限值，從而確定運動人體目標存在區域。

以上在待檢測像素點的概率密度函數的基礎上，引入了運動人體目標的聯合概率密度函數，通過運動人體目標檢測門限，得到了融合時空多特征表示的運動人體目標的檢測步驟，完成了運動人體目標的檢測[21]；接下來通過運動人體目標圖像跟蹤算法設計，來實現運動人體目標圖像的跟蹤。

1.3 運動人體目標跟蹤算法實現

設計運動人體目標跟蹤算法，可以實現運動人體目標圖像的跟蹤，從而增強運動人體目標的跟蹤效果。算法描述如下。

輸入運動人體目標位置、像素以及運動速度等相關信息。

輸出運動圖像跟蹤結果。

運動人體目標跟蹤算法步驟如下：

1)初始化

運動人體目標i在圖像跟蹤的初始幀中，提取出運動人體目標灰度模板f(a,b)，及運動人體目標的初始運動參數。

取目標數N，每一個目標代表一種運動人體目標的運動狀態，運動人體目標的初始權值 ωi取1，那么具有N個運動狀態的圖像參數，i∈1,2,···,N。

2)重采樣

初始權值大的運動人體目標會衍生出更多的目標，然而初始權值小的運動人體目標對應的目標較少，將后代運動人體目標的權值設置為1。

3)狀態轉移

利用運動人體目標的檢測結果來實現狀態轉移，對運動人體目標Ni有：

式中：A1、A2分別為水平方向的目標檢測初始像素值和終止像素值；B1、B2分別為豎直方向的目標檢測初始像素值和終止像素值；w表示狀態轉移次數。

4)系統觀測

對每一個運動人體目標狀態轉移后，用對應的新坐標來計算中位數絕對偏差(median absolute deviation,MAD)，定義運動人體目標的概率密度函數為

式中：σ表示概率密度值；MAD 表示運動人體目標位置數據集中位數絕對偏差。每一個運動人體目標的權值為

運動人體目標圖像跟蹤位置坐標可以表示為

5)令t=t+1，返回步驟2)。

根據運動人體目標跟蹤算法的步驟，得到了運動人體目標跟蹤算法流程，如圖1 所示。

圖1 運動人體目標跟蹤算法流程

綜上所述，利用2 個運動人體目標位置的獲取時間關系，確定運動人體目標的初始運動速度，通過運動人體目標區域的質心位置，計算了運動人體目標的搜索窗大小，完成運動人體目標位置的提取；通過運動人體目標檢測門限，得到了融合時空多特征表示的運動人體目標的檢測步驟，完成了運動人體目標的檢測；最后通過運動人體目標跟蹤算法設計，實現了運動人體目標圖像跟蹤。

2 實驗結果與分析

設置仿真實驗驗證所提算法的有效性，為確保運動人體目標跟蹤效果實驗的真實性和準確性，采用文獻[4?6]的方法做為實驗對比。

2.1 實驗環境及實驗數據集

選用Matlab 仿真軟件作為實驗平臺，在Pascal Voc 數據集中選擇運動人體目標圖像作為實驗對象。在實驗前設置相應的實驗參數，如表1 所示。

表1 實驗參數設置

2.2 實驗方法及步驟

1)利用中值濾波法濾除提取到的運動人體目標圖像的噪聲，基于融合時空多特征表示檢測運動人體目標圖像，確定運動人體目標圖像中不同的連通域；

2)利用圖像質心法對運動人體目標圖像每一個連通域進行凝聚處理，輸出每一幀運動人體目標圖像的位置信息；

3)記錄開始提取運動人體目標的時刻，直到完成運動人體目標圖像的跟蹤；

4)分別采用文獻[4?6]跟蹤算法以及所提跟蹤算法進行運動人體目標圖像的跟蹤實驗，得到目標跟蹤效果對比圖，記錄運動人體目標圖像跟蹤結束時的時刻，計算整個跟蹤過程的耗時，以及4 種跟蹤算法的耗時對比情況。

2.3 評價指標

1)目標跟蹤準確率：即對運動人體目標位置的檢測準確性，檢測位置越接近運動人體目標自身位置，表明該方法的目標跟蹤準確率較高。

2)目標跟蹤效率：統一跟蹤目標的個數，在此情況下，目標跟蹤耗時越短，表明該方法的跟蹤效率較好。

3)目標跟蹤查全率：在相同的目標個數下展開多次跟蹤測試，每次跟蹤到的目標個數越多，表明所提方法的跟蹤查全率越好。

2.4 實驗結果

利用上述的實驗方法和步驟，在數據庫中選擇一張馬拉松運動圖像，得到不同跟蹤算法的目標跟蹤效果對比結果，如圖2 所示。

圖2 不同跟蹤算法的目標跟蹤效果對比

分析圖2 可知，文獻[4]方法能夠準確跟蹤較大的運動目標，但對較小的運動目標的跟蹤結果不準確；文獻[5]檢測到了馬拉松圖像中包含的摩托車騎行者，檢測準確率較差；文獻[6]能檢測到較為明顯的運動目標，但存在一些錯誤的檢測結果；而所提方法對馬拉松運動目標的識別率較高，準確跟蹤到大部分運動目標，目標跟蹤準確率較高。

以圖2 中目標跟蹤效果為依據，繪制目標跟蹤準確率對比圖，如圖3 所示。

圖3 目標跟蹤準確率對比

分析圖3 可以看出，隨著測試時間的增加，不同算法的跟蹤準確率均出現一定的上升，本文算法的目標跟蹤準確率最高達到92%左右，其次是文獻[6]算法，最高準確率達到75%左右，文獻[4?5]的跟蹤準確率相對較低，最高不超過55%。通過數據分析可看出，本文算法能夠以高準確率完成目標跟蹤，具有明顯的優勢。

設置跟蹤目標為100 個，采用不同跟蹤算法得到跟蹤耗時情況如表2 所示。

表2 跟蹤耗時對比統計 s

從表2 結果可以看出，隨著運動人體目標數量的增加，跟蹤耗時也越來越長，采用文獻[4]跟蹤算法跟蹤運動人體目標的平均跟蹤耗時為0.66 s；采用文獻[5]跟蹤算法跟蹤運動人體目標的平均跟蹤耗時為0.67 s；采用文獻[6]跟蹤算法跟蹤運動人體目標的平均跟蹤耗時為0.70 s；而采用所提的運動人體目標跟蹤算法在跟蹤運動人體目標圖像時，隨著運動人體目標數量的增加，跟蹤耗時雖然也有增長的趨勢，但是整體增長幅度較小，平均跟蹤耗時為0.40 s。因此可以得出所提出運動人體目標跟蹤算法的跟蹤耗時較短，目標跟蹤效率較高。

在上述設置下，采用不同跟蹤算法得到目標跟蹤查全率情況如圖4 所示。

圖4 不同跟蹤算法的目標跟蹤查全率對比

由圖4 可知，在7 次人體運動目標跟蹤檢測實驗中，文獻[4]算法對目標跟蹤的查全率平均值為55%，文獻[5]算法對目標跟蹤的查全率平均值為71%，文獻[6]算法對目標跟蹤的查全率平均值為66%，而所提算法對目標跟蹤的查全率平均值為93%。所提算法融合了待檢測像素點、像素點矢量及最大似然估計值3 大特征，將多特征表示引入運動人體目標的聯合概率密度函數，因而能夠全面確定運動人體目標的存在區域，提供目標跟蹤查全率。

3 結論

1)首先提出融合時空多特征表示的運動人體目標跟蹤算法。利用運動人體目標位置的獲取時間關系確定運動人體目標的初始運動速度，通過運動人體目標區域的質心位置，計算了運動人體目標的搜索窗大小，完成運動人體目標位置的提取。

2)其次通過運動人體目標檢測門限，得到了融合待檢測像素點、像素點矢量及最大似然估計值3 大特征的運動人體目標的檢測步驟，完成了運動人體目標的檢測。

3)最后通過運動人體目標跟蹤算法設計，實現了運動人體目標的跟蹤。實驗結果顯示，提出的運動人體目標跟蹤算法可以縮短跟蹤耗時，對運動目標的跟蹤準確率較好，跟蹤查全率較高，跟蹤效果得到了很大的提升。

4)未來的研究中，將以提升模糊運動人體目標圖像跟蹤準確性為研究目標，進一步改進融合時空多特征表示的運動人體目標跟蹤算法。