基于超像素的單目標跟蹤算法研究

沈嘉良 邱曉榮 龔宇杰 陳昊 成曉佳

摘要：運動目標跟蹤是目前人工智能領域計算機視覺中的熱門研究方向之一，被廣泛應用于視頻監控、無人駕駛、人機交互等各個場景。但傳統的運動目標跟蹤算法，通常會因為跟蹤目標大面積遮擋、明暗變化、快速運動、尺度變化等干擾因素而缺乏準確性和穩定性。為此針對原有的運動目標跟蹤算法做了優化，通過改變SLIC超像素分割算法 中超像素分割塊數、模型庫更新頻率以及粒子濾波算法中拋灑的粒子個數等參數，確定了一種在復雜環境中最具普適性的參數組。

關鍵詞：運動目標跟蹤；超像素；粒子濾波

中圖分類號：TP18 ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）29-0027-04

1 引言

視覺是人類感知外部世界的重要方式之一，人類通過視覺感知物體的顏色、大小、距離和形狀等重要的信息。但在物體數量龐大、周圍環境復雜等情況下，人的視覺系統無法足夠準確地處理相關信息。因此，人類建立了計算機視覺學科。計算機視覺模擬人的視覺系統，可以代替人眼在不同復雜的環境中進行物體的準確識別和精確跟蹤，已經被廣泛應用在農業生產[1]、智能建造[2]、公安監控[3]、智慧醫療[4]等各個領域。

計算機視覺技術正在飛速發展，在各個領域都有著非常重要的應用。但在實際應用中，由于光照變化、快速運動、長時間遮擋等因素的影響，計算機視覺技術的實現效果會受到一定程度的影響。因此，如何提升計算機視覺技術在實際應用中的準確性和魯棒性是一項非常重要的研究內容。

2 SLIC超像素分割算法

SLIC算法是一種利用圖像各像素點的顏色信息和位置信息對像素點進行分組的超像素分割方法。彩色圖像的像素點通過SLIC算法轉換為CIELab顏色空間和XY坐標系下的五維特征向量，然后為特征向量建立距離度量指標，最后根據該指標對圖像進行局部聚類。

2.1 SLIC算法步驟

（1）初始化聚類中心：對于一張含有[N]個像素的圖像，預設分割為[K]個像素區域，然后在圖像中均勻分配[K]個聚類中心，初始的每個超像素大小為[N/K]，相鄰聚類中心的距離近似為[S=NK]。

（2）重新選取聚類中心：將初始聚類中心移動到n×n（n=3時的分割效果最好）鄰域內的最低梯度位置，以避免最終超像素定位在圖像邊界上。

（3）聚類：由于算法預期得到的單個超像素大小為[S×S]，于是在每個聚類中心[2S×2S]鄰域范圍內進行搜索，圖像中的每個像素點將會同時被多個聚類中心的搜索范圍覆蓋，再計算每個像素與這些聚類中心的距離尋找最佳匹配點。每個像素坐標都可以通過向量[[l，a，b，x，y]]表示，計算過程如下：

[dc=（lj-li）2+（aj-ai）2+（bj-bi）2]

[ds=（xj-xi）2+（yj-yi）2]

[D'=dcNc2+dsNs2]

上式中[l]，[a]，[b]像素在CIELAN顏色空間中的位置，其中[l]表示像素亮度值，[a]和[b]表示像素顏色，[x]和[y]表示圖像中像素的橫坐標和縱坐標。通過最大空間距離[Nc]和最大顏色距離[Ns]將像素的空間距離和顏色距離歸一化，可以避免因為像素塊的大小導致的空間相似度和顏色位置相似度的權重發生變化，最終得到度量距離[D']。

（4）迭代優化：取聚類區域中全部像素點的五維向量均值作為新的聚類中心坐標來代替原來的聚類中心，新舊聚類中心的替換便是一次迭代，并依據L2準則得到新舊聚類中心距離的殘差。多次重復此迭代過程，當新舊聚類中心距離的殘差趨于收斂時，可得到較優的結果。

2.2 SLIC算法優缺點分析

經過多年的實驗和應用發現，SLIC算法在多數情況下能夠生成相對均勻規則的超像素，在運用過程中只需設置一個參數K控制分割的超像素數量。與其他超像素算法相比，SLIC算法在運行速度和邊界維護方面都比較優秀。然而，在分類過程中，如果一個像素被錯誤分類，當迭代次數不斷增加，聚類區域可能會向錯誤的方向偏移，形成誤差擴散，最終生成錯誤的超像素。

3 粒子濾波算法

3.1基本思想

粒子濾波的基本思想是用一組粒子大概評估系統的后驗概率分布，然后使用它演算推測非線性系統的狀態，這些粒子被稱為“粒子過濾器”。在粒子狀態相對穩定且不隨時間變化的前提條件下，可以假設系統在[k-1]時的后驗概率密度為[p（xk-1）|zk-1]。依照確定好的規則，從觀測之中隨機選取n個采樣點。在獲得時間k的測量值后，更新系統的狀態和時間，這n個粒子的后驗概率密度可以近似表示為[p（xk|zk）]。

從粒子實際分布狀態的統計數據中可以得出結論，在一定范圍內，隨著初始投放的粒子數量增加，粒子的概率密度函數圖像逐漸接近狀態概率密度函數圖像，逐漸達到概率分布的最優效果。

3.2具體做法

首先，任意狀態下的狀態方程如下：

[x（t）=f[x（t-1），u（t），w（t）]]

[y（t）=h[x（t），e（t）]]

該方程中，[x（t）]表示時間t時刻粒子的狀態，[u（t）]為控制量，[y（t）]表示實際的觀測方程。[w（t）]和[e（t）]分別是環境狀態噪聲和實際觀測噪聲。

（1）初始狀態：由于開始時[x（0）]的分布并不知道，于是可以假設[x（0）]是隨機均勻地分布在整個給定的狀態空間中。

（2）預測階段：把樣本里所有的粒子初始分布狀態依次輸入狀態轉移方程中，之后根據狀態轉移方程和控制量由計算機演算并記錄下預測粒子的狀態。

（3）校正階段：在經歷上一步記錄推測粒子狀態后，使用觀測方程重新對獲取的粒子進行演算和記錄。即當第n個粒子達到時獲得的觀測值[y（t）]與上一步記錄下來的推測值對比，相除獲得的比值作為這個粒子的權重。通過這種方式，如果繼續計算所有粒子，則獲得觀察到的y粒子的可能性越大，當然權重越高。

（4）重采樣：復制大部分重量較高的粒子，僅保留少數較輕的粒子，以此來模擬粒子運動的真實狀態[x（n）]。用這些保留下來的粒子表示實際情況下粒子的分布，在下一次循環中，將這些保留下來的粒子作為粒子初始狀態輸入[y（n）]中，從而獲得下一步新預測粒子的狀態。

3.3 粒子濾波優缺點?分析

該算法在某種程度上解決了非線性濾波問題在高斯分數上隨機數的限制，同時也解決了樣本粒子數不足的問題，在許多領域上有著研究的價值。但是，粒子數目越多，計算結果越精準，計算機需要處理的數據量也會陡增。隨著迭代，一些粒子的重量變得非常小，也會造成導致粒子耗盡。

4 實驗測試

4.1 實驗方式

在本次實驗中，筆者使用特定五組參數配置對上文提及的四個序列進行跟蹤測試，參數組中的參數類別分別為超像素分割塊數、首次訓練幀數、拋灑粒子數及更新頻率，分別為：（100，4，800，30）（200，4，700，25）（300，4，600，20）（400，4，500，15）（500，4，400，10），定義為配置1-配置5。因為絕大多數圖像幀序列在第四幀過后會出現明顯的位置、形態、速度變化，故首次訓練幀數固定為4幀，而更新頻率由每隔n幀更新一次特征像素庫來體現。

4.2 數據分析

定量分析中，本文采用兩種評價標準[5]：一種是中心距離誤差標準，它定義為目標實際位置與手動標注位置之間的均方根。表1給出了不同參數配置下算法在每段圖像幀序列中中心位置誤差的平均值，最小值已用黑色加粗字體標出。由表1可知，算法在（300，4，600，20）參數配置下表現最佳。

表1 ? 算法在不同參數配置下中心距離誤差

[序列 配置1 配置2 配置3 配置4 配置5 Bird2 85.334 10.453 11.387 11.205 12.291 Bolt 61.495 9.634 8.279 8.012 259.130 Lemming 154.588 77.392 86.801 89.113 8.775 Woman 12.158 12.707 13.066 13.253 15.577 ]

另一種準則是重疊成功率[S=|rt?ra||rt?ra|]，其中[?]和[?]分別表示兩個區域的交集和并集，[|·|]指其區域內的像素點個數。當S>0.5時，認為算法成功跟蹤到了目標。表2給出了不同參數配置下算法在每段圖像幀序列中重疊成功率的平均值，最大值已用黑色加粗字體標出。可以看出在不同類型的序列中，不同的參數配置對跟蹤效果具有較大影響。

4.3 結果應用

根據以上5組參數配置在不同圖像幀序列中的跟蹤效果，進一步調整參數配置并進行運行跟蹤，最終確定了（300，4，600，10）為最具普適性的參數配置（后文中將其命名為OURS），在具有復雜影響因素的圖像幀序列的單目標跟蹤中能實現較小的中心距離誤差和較高的重疊成功率，具有一定的魯棒性。

5 算法對比

筆者使用具有最高普適性參數配置的算法（OURS）與傳統的CSK算法[6]、KCF算法[7]及MOSSE算法也進行了定量和定性兩方面的比較。

5.1 定量分析

（1）中心距離誤差。如圖3所示，各子圖顯示了4種算法在指定圖像幀序列中實時跟蹤到的目標中心點與初始標定的目標中心點之間的像素距離。

（2）重疊成功率。表3顯示了4種算法分別對應4個標準圖像幀序列的重疊成功率，并用黑色加粗字體標識了各視頻圖像幀序列的最優算法。

5.2定性分析

實驗1：Bird2圖像幀序列幀數少，但其中的運動目標在快速運動的同時，受到重度遮擋、平面外旋轉等內外部因素的影響。例如：在第20幀處目標遭受重度遮擋后，MOSSE算法發生了極大的偏移，其余3種算法能夠實現較好的跟蹤效果，其中KCF算法的跟蹤精度最高。第60幀處目標更改移動方向，整體平面外旋轉180度，OURS算法和KCF算法能夠迅速地由一定的漂移狀態重新較為精確地定位到目標。第80幀處目標大幅度變換姿態，OURS算法的跟蹤精度最高。

實驗2：Bolt圖像幀序列目標在快速運動中主要受到光照變化、形態改變、平面外旋轉等干擾因素的影響。例如，第40幀目標突然進入明亮環境，CSK算法和MOSSE算法均完全跟丟了目標，只有OURS算法和KCF算法能較為精確地跟蹤到目標。第200幀目標出現了運動模糊和形態變化，OURS算法和KCF都能精確定位到目標，OURS算法在應對尺度變化方面略有欠缺。第300幀目標發生平面外旋轉，僅有OURS算法和KCF算法能精確跟蹤到目標。

實驗3：Lemming圖像幀序列幀數大且極為復雜，運動目標出現重度遮擋、尺度變化、快速移動、平面外旋轉、超出視野等干擾因素的影響。例如，在400幀目標剛剛走出遮擋后進行快速運動，KCF算法和MOSSE算法均已出現嚴重偏移跟丟目標，只有OURS算法和CSK算法能準確跟蹤到目標。在700幀目標在快速運動的同時發生尺度變化，此時僅有OURS算法可準確跟蹤到目標。在1143幀目標發生平面外旋轉，此時只有KCF算法跟蹤到了目標，但總體來看，OURS算法在此復雜序列中具有最好的跟蹤效果。

實驗4：Woman圖像幀序列的運動目標受到了遮擋、光照變化、尺度變化等干擾因素的影響。例如，在150幀左右目標受到長時間遮擋，此時只有OURS算法和KCF算法能夠準確跟蹤到目標。在240幀，目標所處環境光照突然變量，此時MOSSE算法已經完全跟丟目標，其余3算法均能實現較為精確的跟蹤。在450幀，目標尺度突然變大，4種算法均能較為精確地定位到目標，OURS算法的精確度最高。

6 結束語

雖然改變一種目標跟蹤算法中的參數配置會對跟蹤效果起到一定的效果，但是不能從本質上改變其跟蹤能力和魯棒性。目前各種算法的差距比較大，都有著自己一定的適用環境，接下來筆者也會改變研究方向，結合深度神經網絡、機器學習等先進技術進行進一步的研究。

參考文獻：

[1] 黃筑斌，吳雋.計算機視覺在我國水稻生產中的應用研究概述[J].農技服務，2021，38（12）：44-48.

[2] 房霆宸，楊佳林，賀洪煜.基于計算機視覺的智能化建造技術研究與應用[J].建筑施工，2021，43（12）：2596-2597，2603.

[3] 于大勇.人工智能在公安視頻監控領域的應用研究[J].現代信息科技，2019，3（13）：91-92，97.

[4] 曲曉，吳乃蓬.計算機視覺在醫療領域的應用效果觀察[J].中國衛生產業，2020，17（13）：168-170.

[5] 邱曉榮，彭力，劉全勝.基于超像素和判別稀疏的運動目標跟蹤算法[J].計算機工程與應用，2018，54（15）：1-5.

[6] Sun K，Li X W，Shi W W.The fusion of adaptive color attributes for robust compressive tracking[J].Wireless Personal Communications，2018，102（2）：879-894.

[7] Henriques J F，Caseiro R，Martins P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：583-596.

【通聯編輯：唐一東】