基于遮擋檢測的尺度自適應相關濾波跟蹤①

劉 磊, 蔡堅勇,2,3,4,5, 馬正文, 歐陽樂峰, 李 楠

1(福建師范大學 光電與信息工程學院, 福州 350007)

2(福建師范大學 醫學光電科學與技術教育部重點實驗室, 福州 350007)

3(福建師范大學 福建省光子技術重點實驗室, 福州 350007)

4(福建師范大學 福建省光電傳感應用工程技術研究中心, 福州 350007)

5(福建師范大學 智能光電系統工程研究中心, 福州 350007)

引言

在計算機視覺領域,目標跟蹤是一個有趣且有意義的課題. 其在社會中廣泛應用于金融, 交通, 人機交互等領域. 從目標跟蹤問題提出到現在已經有一段時間了, 大量科研工作者對這一方向進行了不懈的努力研究, 提出了許多優秀的算法. 視頻目標跟蹤面臨的挑戰主要有光照變化、尺度變化、目標遮擋等.

近年來, 相關濾波運用到目標跟蹤領域取得了相當不錯的效果. 2010年Bolme等人在文獻[1]中首次將相關濾波方法引入到目標跟蹤領域, 提出了最小誤差輸出平方和(Minimum Output Summer of Squared Error, MOSSE). 作者借助于快速離散傅里葉變換, 運用相關濾波將時域上的卷積轉換為頻域上的點積, 大大的減少了運算量. 同時論文所提方法跟蹤效果也有669幀每秒的出色表現. 由于其在跟蹤上面展現出的優秀結果, 此后基于此算法改進算法相繼提出, 最具有代表性的是循環結構跟蹤(Circulant Structure Kernel,CSK)[2]方法. 該方法首次在跟蹤中提出了密集抽樣, 使得訓練出來的濾波器更加的魯棒和精確. 2014年Henriques等人在文獻[3]提出核相關濾波跟蹤算法(Kernelized Correlation Filter, KCF), 該方法在CSK的基礎上用方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征代替了原算法中僅僅使用的像素灰度值特征, 從而提高了跟蹤的準確性. Danelljan在論文[4]中在CSK的基礎上引入了顏色特征(CN), 增強了視頻跟蹤的魯棒性, 在速度方面也取得了不錯的效果. 對于相關濾波在目標尺度變化不敏感的問題上,Danelljan在DSST[5]中增加了一個專門用于尺度評估的相關濾波器, 該方法對目標跟蹤中尺度變化有較好的處理效果.

本文在核相關濾波(KCF)的基礎上提出一種基于遮擋檢測的自適應尺度變換相關濾波(OSCF)算法. 本算法在特征提取算法上使用方向梯度直方圖(HOG)和原有圖像的灰度信息. 針對遮擋問題提出一種基于相關濾波的檢測機制. 首先我們將當前幀的目標分為四個小塊, 并由此對每一塊訓練新的分類器. 然后分別計算每一塊響應圖的PSR值. 然后根據PSR值判斷目標的遮擋情況并取得PSR值最大值那一塊的峰值響應位置. 最后根據所處中心位置, 提出一種尺度計算策略, 實現尺度自適應更新.

1 核相關濾波(KCF)

本文是以核相關濾波(KCF)為基礎架構的.KCF跟蹤器以目標為中心, 選取目標及其周圍一定范圍內矩形圖像塊x來訓練線性分類器, 假設選取補丁圖像的尺度大小為M×N. 令M×N等價于βw×βh, 其中w×h為 跟蹤目標的尺寸, β是目標窗口系數. KCF跟蹤考慮所有的循環移位xm,n, (m,n)∈{0,···M-1}×{0,···N-1},用來作為分類器的訓練樣本, 每個樣本對應的標簽數據y(m,n)服從二維高斯分布.

訓練分類器的目標是尋找一個函數f(x)=〈w,φ(x)〉使得所有的xm,n和其對應的標簽函數平方誤差最小, 分類器訓練即為:

式中, 〈 · ,·〉表示內積;w為分類器的系數;?為核κ 的映射希爾伯特空間, 引入核技巧后,x和x′的內積可以寫成〈φ(x),φ(x′)〉= κ(x,x′);λ是一個大于零的常量, 為正則化參數, 其作用是防止函數過擬合.

采用核函數將線性輸入問題映射到非線性特征空間φ (x), 目標函數被最小化為:

其中, 系數α 可以定義為:

在式(3)中F表示傅里葉變換(Discrete Fourier Transform, DFT);Y=F(y);Kx=F(kx);kx(m,n)=κ(xm,n,x)為核 κ 的輸出.

跟蹤過程就是在下一幀中用 βw×βh的窗口來搜索一個圖像補丁z, 計算響應值:其中,F-1表示傅里葉變換求逆;表示所學得的外觀模型系數;⊙表示哈達瑪積;x?表示學習得到的目標外觀模板.

在找到當前幀t的位置后, 整個模型可以一幀一幀的進行更新:

2 遮擋檢測

KCF跟蹤目標的原理是把當前幀與濾波模板相互作用后得到的響應最大的地方作為目標位置. 其在響應圖的響應峰值強度一般使(Peak-to-Sidelobe Ratio,PSR)[6]來衡量. PSR的定義為式(6)

式中,gmax表示濾波響應的峰值, μ表示響應值旁瓣的平均值, σ表示響應值旁瓣的標準差, 濾波響應值即為式(4)中所得的響應矩陣的元素值.

在跟蹤中, 我們令第t–1幀的目標中心位置為pt-1(第一幀一般由手動設定). 其中假設目標的尺度為wt-1×ht-1像素. 由上文所述, 在第t–1幀中以目標中心點選取尺度大小為βwt-1×βht-1像素的圖像補丁zt-1. 不同于文獻[3],我們建議對于所有的補丁圖進行調整, 然后再使用式(5)對目標的外觀x? 和分類系數A?進行學習更新. 我們令目標中心點pt-1坐標為(0, 0), 然后以pt-1為中心將zt-1平分為四塊小的矩形補丁, 同時令它們的中心位置坐標分別為 (w1(t-1),h1(t-1))～(w4(t-1),h4(t-1)). 將每一塊圖像塊運用式(1)進行新分類器的訓練, 所以總共就有4種不同的分類器, 它們的外觀模型以及模型系數通過式(5)進行更新.

在第t幀中, 我們在pt-1目標的位置選取一個尺度為βwt-1×βht-1的候選圖像塊zt0, 然后通過式(4)計算出最優輸出. 在第t幀跟蹤目標所在位置pt即為響應值最高處. 接著我們在pt周圍選取一個尺度為wt-1×ht-1像素的圖像塊zt1, 同時pt為中心以建立坐標系統將矩形圖像塊分為四塊. 通過式(4)可以可以求出每一個圖像塊的置信圖yi,i∈ [1,4], 并通過最高響應點的位置判斷圖像塊的中心位置, 即 (w1(t),h1(t))～(w4(t),h4(t)). 通過式(6)分別可以算出每個圖像塊的峰值響應強度PSRi.

本文使用PSR的值作為衡量跟蹤目標塊和候選圖像塊的相似程度的一個標準, 同時定義了一個更新權重δi:

τ為臨界閾值, 在圖1中可以看到當PSR值低于7.3時, 目標塊被嚴重遮擋, 此時其位置確定是不可靠的.

圖1 遮擋檢測與尺度變換流程圖

3 尺度計算

在得到4個分塊響應圖的最大響應位置后, 計算每個分塊的PSR值. 尺度變化率γt可以表示為:

其中, (wi(t),hi(t))表示第t幀四塊響應圖中最大PSR值所在塊的最大響應位置 (wj(t-1),hj(t-1))這里表示第t–1幀中四塊響應圖中最大PSR值所在塊最大響應位置, 其中對于初始幀用每塊的中心位置表示最大響應位置.

第t幀的目標wt×ht可以表示為:

最終, 在第t幀在以pt為中心提取的圖像塊zt的尺度為 βwt× βht. 通過學習得到的外觀模型t和學習到的分類系數t可以通過如下式子進行更

4 算法實現

本節對算法實現步驟進行展示, 主要分為參數初始化、目標定位、遮擋檢測、尺度計算、模板更新五部分. 算法流程如圖2所示.

圖2 OSCF算法流程

5 實驗結果分析

5.1 評判標準

為了評估本文算法在跟蹤目標方面的性能, 本文選取了8段公開的視頻, 視頻包含了光照變化, 目標遮擋, 尺度變化, 目標旋轉等問題. 使用文獻[7]中評估標準, 即距離精度(Distance Precision, DP)、成功率(Success Rate, SR)和中心位置誤差(Centre Location Error, CLE). 精確度是指跟蹤目標的中心坐標與人工標定的準確值間的歐式距離小于某個閾值的幀數占全部視頻幀數的百分比, 閾值越低時精確度越高, 則跟蹤效果就越好. 成功率是指包圍跟蹤目標的邊框區域與人工標定的準確值間的重疊率大于某個閾值的幀數占全部視頻幀數的百分比. 當閾值越高時成功率越高, 則跟蹤效果越好.

5.2 參數設定

在PC機上(Windows 10系統, Inter Core i7-6700,3.40 GHz, 4 G內存)上基于Matlab 2013b完成實驗. 對于每一幀圖像, 在選取圖像塊z時擴展系數 β =2, 圖像塊z均放縮到128×128像素,目標大小即為64×64像素, 每個子塊的大小為32×32像素;在分類器訓練過程中:正則化參數 λ =10-2, 核函數選擇高斯核函數, σ =0.2;模板更 新過程中學習 率η=0.065;移動的平均參數T=2;目標圖像標簽函數參數θ=0.185, 子塊圖像標簽函數參數θ′=0.25.

5.3 算法對比

為了評估算法的有效性以及對比算法性能, 本文選取了近年來出現的幾種高效的跟蹤方法DSST,KCF, TLD, CSK. 表1列出了本文所提算法OSCF與其他幾種算法的性能對比, 性能指標為中心位置誤差,距離精度, 成功率精度和跟蹤的平均速度四個方面. 由表1可以看出, OSCF算法的成功率和距離精度相比其它四中算法都有所提高. 在成功率方面OSCF算法分別提升了1.9%, 30%, 6.7%, 70.1%;在距離精度方面分別提升了0.4%, 10.8%, 21.5%,71.1%. 所達到的跟蹤平均速度為76.8幀/每秒,可以達到實時性的要求.

表1 OSCF算法和其他算法性能對比

圖3和圖4分別表示本文算法的距離精度曲線和成功率精度曲線, 圖中紅色實線表示本文所提算法, 從兩圖中可以看出本文算法OSCF在目標跟蹤方面相較其他算法都要優秀.

圖3 距離精度曲線

圖4 成功率曲線

圖5列舉了OSCF, DSST和KCF三種算法在其中八段視頻中目標跟蹤效果圖, 每段視頻抽取具有代表性的兩幀. 其中視頻的共性在于他們都具有尺度變化問題, 另外在視頻2和視頻8中還含有目標遮擋問題, 視頻4中視頻還有光照變化問題, 視頻5中含有目標旋轉問題, 視頻6中含有目標快速移動等問題. 圖中紅色實線表示的是本文所提算法OSCF, 藍色虛線和綠色虛線分別表示的是DSST算法和KCF算法. 從視頻圖片幀可以看出, 本文算法OSCF在處理光照變化, 目標旋轉,目標快速運動等問題有效處理的同時, 對目標遮擋和目標尺度變化等問題也達到了較好的跟蹤效果,特別是尺度變換方面算法做到了較好的處理.

圖5 不同方法跟蹤效果圖

6 結語

本文在KCF的基礎上引入分塊的思想, 提出一種遮擋檢測機制, 對分塊PSR值的研究分析, 得出目標的遮擋程度, 在此基礎上提出一種自適應的尺度處理方法, 在一定程度上解決了相關濾波對于尺度不敏感的問題. 實驗仿真結果表明OSCF算法跟蹤性能要優于其他算法, 能夠實現實時跟蹤, 在處理尺度變換的同時,對于日常跟蹤中遇到的遮擋、光照、形變等問題也具有一定的魯棒性. 同時發現本算法存在的一定的缺陷:(1)當遇到目標快速運動, 大幅度的形變時會出現漂移甚至丟失的問題;(2)當目標漂移或丟失時跟蹤無法重新偵測直至視頻結束. 下一步研究的方向是, 在研究處理目標尺度的同時也要考慮跟蹤的魯棒性, 做到長時跟蹤.