基于殘差神經網絡的目標運動邊界視覺快速跟蹤算法

張 博

(長沙師范學院信息科學與工程學院,湖南 長沙 410100)

0 引言

視覺目標跟蹤從本質上來說,是一種為計算機視覺工作提供一定幫助的技術。在計算機視覺中,目標運動邊界視覺快速跟蹤算法在智能交通、自動監控、精確制導、醫學診斷等多個領域得到了廣泛的應用[1-2]。跟蹤算法在現實領域應用中主要目的是在連續的視頻序列中,對人們感興趣的運動目標進行識別和跟蹤,從而獲取目標在運動過程中所形成的運動軌跡、自身形態特征和運動速度等信息狀態,在實際的應用中能夠根據視頻的不同幀數實現目標特征的對應跟蹤匹配[3-4]。

近年來,有關于運動目標的邊界視覺跟蹤算法的研究很多,該項技術取得了長足的發展。文獻[5]中提出了一種多特征聯合時空正則化的相關濾波目標跟蹤算法。該算法主要針對跟蹤目標快速運動狀態下模型學習,算法在第一幀提取過程中得到快速方向梯度直方圖等視頻相關特征,并降低以上特征維度,緩解邊界跟蹤效應退化問題。文獻中跟蹤算法有效解決了目標發生尺度變化過程中的跟蹤不穩定問題,取得了一定的結果。文獻[6]設計了一種基于自適應空間正則化的視覺目標跟蹤算法。該方法借助空間中的正則化項目,構建權重與相鄰幀間的關系,調整正則權重,降低邊界效應對移動目標的影響,并借助顏色直方圖構建新的方法,實現了目標跟蹤。文獻[7]提出一種增強現實中視覺圖像抗遮擋運動目標跟蹤算法。該方法將圖像中的噪聲進行去除,并提取圖像中的特征數據,在圖像前景的處理中根據分類器結構完成視覺圖像的前景預處理,在此基礎上,設計跟蹤算法,實現遮擋目標的實時跟蹤。該方法操作過程簡單,易于使用。文獻[8]提出一種基于STC目標跟蹤的機器視覺測速算法。通過該算法計算目標圖像中角度,并將角度進行調整,并通過STC跟蹤算法跟蹤相鄰圖像,并確定目標移動的速度,實現目標跟蹤。文獻[9]提出一種自適應空間異常的目標跟蹤方法。通過將目標函數加入到自適應空間正則項,提高背景區域的分辨能力,然后根據目標圖像的每一幀響應值確定跟蹤的結果可信度,實現目標的追蹤。文獻[10]提出一種基于尺度自適應的背景感知目標跟蹤方法。將尺度與跟蹤器特征融合,得到目標背景信息,然后根據特征分配權重計算融合后的目標圖像的變化,并根據直方圖判斷跟蹤特征,設計濾波器模型降低跟蹤圖像中的噪聲。文獻[11]提出一種融合顯著性與運動信息的相關濾波跟蹤算法。設定目標觀測模型,通過計算目標背景距離模型,并在復雜的情況下辨識目標圖像的像素級別,借助相機運動的連續性計算背景的運動模式,通過運動目標估計的觀測模型,完成目標追蹤。文獻[12]提出一種多特征聯合時空正則化相關濾波目標跟蹤魯棒算法。該方法在目標區域中提取關鍵幀,通過顏色特征和卷積特征并降低目標移動圖像的維度,在濾波模型中引入正則化項,避免模型退化,最后根據尺度池完成目標的自適應估計。文獻[13]提出一種融合TLD框架的DSST實時目標跟蹤改進算法。該方法首先改進DSST算法的位置濾波器,然后在正則化方法中引入權重系數矩陣,通過此過程對運動的目標進行粗定位,然后借助貝葉斯分類器提升目標背景區分能力,將DSST目標響應位置進行更新,完成目標的追蹤。文獻[14]提出一種基于目標感知特征篩選的孿生網絡跟蹤算法。該方法經過裁剪處理后的模板幀和檢測幀送入到ResNet50的特征提取網絡中,得到不同層次中的不同特征,設計的感知模塊中感知追蹤目標的敏感特征,并借助卷積核計算其變化的梯度值。將篩選到的目標放置到追蹤的模型中,完成方法的跟蹤。綜合分析可知,上述方法采用了自適應空間正則化算法、STC跟蹤算法、尺度自適應算法和融合TLD框架等,這些方法均可以跟蹤目標,但是均存在不足之處,例如跟蹤方法的跟蹤精度低、跟蹤耗時長、跟蹤覆蓋率低、跟蹤效果不理想等問題。

為了解決上述問題,結合殘差神經網絡算法,提出一種基于殘差神經網絡的目標運動邊界視覺快速跟蹤算法。

1 殘差神經網絡

殘差神經網絡針對退化現象發明了 “快捷連接(shortcut connection)”,消除了深度過大的神經網絡訓練困難問題。神經網絡的“深度”首次突破了100層,最大的神經網絡甚至超過了1 000層。殘差神經網絡的特點是容易優化,并且能夠通過增加相當的深度,提高準確率,其內部的殘差塊使用了跳躍連接,緩解了在深度神經網絡中增加深度帶來的梯度消失問題。

以殘差神經網絡為基礎,以短視頻中的RGB圖像等不同類型的圖像作為輸入值,利用視頻分割的方法從原始的視頻提取RGB圖像,RGB圖像能夠區分視頻中運動目標和視頻背景[15]。視頻圖像的連續多幀堆疊后,進行數據采集的殘差神經網絡的輸入如圖1所示。

圖1 基于殘差神經網絡的視頻圖像的運動軌跡堆疊方法處理輸入Fig.1 Processing input of motion track stacking method of video image based on residual neural network

圖1中,對于視屏圖像中的任意幀的圖像τ和殘差神經網絡的第τ幀圖像來說,圖像的輸入量的構造結構如下所示：

(1)

根據圖1中的結構,設置一個殘差塊,將其定義為

A(x)=W(x,qi)+h,

(2)

式(2)中,x代表該神經網絡中的首層變量,A(x)代表殘差塊的輸出值,h代表學習殘差的映射值。

其中,存在

W(x)=f(x)?(qix),

(3)

式(3)中,f(x)代表激活函數,?代表兩層的不同連接權重值。

連接殘差塊的過程中目標運動圖像中存在一定陰影,需要將其去除,此時目標運行邊界數據以對數的形式表示為

logbi=logsn+logbzi,

(4)

式(4)中,logsn代表目標運動邊界無陰影的區域,logbzi代表存在陰影的區域。

設定目標運動邊界無陰影的區域與存在陰影區域的關系表示為

sn=R(ei,ν),

(5)

式(5)中,R代表模型的學習參數。

在此基礎上,將存在陰影區域進行去除,得到的目標運動邊界圖像為

(6)

目標運動邊界陰影去除后,完成其整體數據的采集,得到

(7)

式(7)中,d代表目標邊界采樣索引,p0(i)和pn(i)代表邊界圖像起點和終點,vi代表目標邊界的更新點。

收集數據后,實現視覺跟蹤目標運動邊界,需要從運動目標跟蹤算法中獲取待跟蹤目標,在圖形中獲取運動相關的重要信號[16-17]。殘差學習特征提取的一般形式,如圖2所示。

根據圖2可知,F(x)表示網絡中負責學習特征的部分,將H(x)看作整個殘差結構,F(x)=H(x)-x表示負責學習的部分,整個結構學習的是輸出結果與輸入的差值。

圖2 殘差學習特征提取的形式Fig.2 Form of residual learning feature extraction

在提取過程,將運動目標邊界圖像視為一種動態數據,該動態數據包含運動目標運動時的加速度和角速度。目標運動過程中,假設目標運動以不同的加速度運動,此時獲取目標加速度矢量為

(8)

式(8)中,Gi代表目標在x、y、z方向上的加速度變化量。

融合運動特征為一個多維向量。假設u代表目標運行的方向點,根據該點構建多維矩陣,獲取運動目標邊界信息特征,得到

(9)

式(9)中,ηi代表運動目標邊界信息特征值,ui代表目標運動的方向。

2 基于殘差神經網絡的目標運動邊界視覺快速跟蹤

為了更好地實現跟蹤算法,需要聚合提取的特征,并且為令聚合后的特征充分獲取低層視頻跟蹤目標的圖像空間細節特征。因此,需要融合提取多種特征,提高算法在實際的應用中的跟蹤性能。特征聚合的過程如圖3所示。

在多特征聚合過程中,聚合研究殘差神經網絡中的多個特征。經過改動后的殘差神經網絡所得到的特征分辨率相同,兩個特征向量中的匹配的像素點需要完成相加運算,需要保證向量維度不變。至此完成深度殘差特征的提取與融合。

圖3 多特征聚合流程Fig.3 Multi feature aggregation process

對于運動的目標來說,邊界分界線包圍的區域表示目標體積。在視頻中背景發生變化時,其對于運動目標造成的影響較小[18]。在跟蹤過程中,能夠提高邊界線內部區域與實際運動目標之間的重合率。目標運動邊界線生成示意圖如圖4所示。

圖4 目標運動邊界線生成示意圖Fig.4 Schematic diagram of target motion boundary line generation

針對不同視覺技術產生的視野重疊,能夠獲取靜態的背景圖像,此時利用SIFT計算匹配點,獲取投影矩陣[19-20],從而生成目標運動邊界線。對于圖4中的兩個獨立的目標而言,邊界線所囊括的范圍不變量可以定義為

(10)

(11)

構建一個目標運動邊界視覺模型,反映目標運動邊界的相關數據,在目標邊界線生成基礎上,設置該模型為一個數據結構的序列集合,表示為

(12)

式(12)中,l+,l-分別代表目標運動邊界線圖像的不同方向的背景。

計算目標運動邊界線之間的相似程度,確定目標運動邊界的最終目標,得到

sim(li,lj)=γ[ψ(li,lj)+1],

(13)

式(13)中,γ代表歸一化系數,ψ代表目標運動邊界線干擾噪聲。

構建目標運動邊界視覺的快速跟蹤模型,得到

(14)

式(14)中,ζi為追蹤的輸出結果,D為當前追蹤的目標邊界線閾值,Lr為目標運動的邊界線。

至此完成基于殘差神經網絡的目標運動邊界視覺快速跟蹤算法的研究。

3 算法性能測試與驗證

3.1 測試環境與評價指標設計

為了驗證本文設計的算法在實際應用中的有效性,設計實驗來驗證。在算法測試環境設計中,通過LabVIEW實驗平臺實現目標運動邊界視覺快速跟蹤算法,統一測試過程中使用的PC機的CPU型號,確定其頻率為2.4 GHz,內存為1 T。編寫跟蹤算法的相關程序,使用不同的算法實現目標運動邊界視覺快速跟蹤。在實驗中選擇公共標準圖像序列進行測試,該公共標準圖像序列與其他數據集相比,其優勢在于內部帶有真實目標運動邊界檢測結果。在該圖像序列中隨機選擇50段常用的公開標準視頻作為實驗對象,這些視頻中主要包括光線變化、目標物體移動、目標遮擋以及不同形式的翻轉與旋轉等,分別使用本文設計的跟蹤算法和傳統的基于卷積神經網絡的跟蹤算法進行測試。

為了準確描述不同算法跟蹤結果的好壞程度,在實驗中選擇的性能評價指標為重疊率與中心點的跟蹤誤差。重疊率的計算公式為

(15)

式(15)中,重疊率r的取值范圍在0～1之間,RT表示目標的真實位置,RG表示算法跟蹤到的目標窗口區域,符號∩與∪表示運動目標與障礙物之間兩個區域的交與并操作,A表示所指代的區域中像素的總數量。使用重疊率這個指標進行判定時,當算法的重疊率大于0.5時,則認為算法跟蹤成功。中心點的跟蹤誤差的計算公式為

(16)

3.2 算法測試結果對比

在以上實驗條件下,分別得到本文算法和傳統算法的目標運動邊界跟蹤結果如圖5所示。

圖5 兩種跟蹤算法跟蹤結果對比Fig.5 Comparison of tracking results of two tracking algorithms

圖5(a)和圖5(c)是本文算法的跟蹤結果,圖5(b)和圖5(d)是基于卷積神經網絡的跟蹤算法的跟蹤結果。從圖中的邊界跟蹤結果來看,本文算法所得到的跟蹤結果與實際情況更加吻合,基于卷積神經網絡的跟蹤算法在邊界識別結果中,容易將目標物體的影子部分以及背景中的物體誤識別為運動目標的一部分。

為了更加清晰地對比出兩種算法之間的跟蹤差異,在以上跟蹤識別結果的基礎上,對兩種方法的跟蹤性能進行定量分析。根據選擇的兩個性能評價指標計算公式,得到兩種算法下的中心距離誤差情況如圖6所示。

圖6 兩種算法中心距離誤差量化結果Fig.6 Quantization results of center distance error of two algorithms

圖6將兩種算法在某段視頻中的目標跟蹤結果所產生的中心距離誤差進行了量化。從圖中的結果可以看出,傳統的基于卷積神經網絡的跟蹤算法在實際應用中,針對嚴重的相似背景干擾以及連續的非剛性尺度變化的情況下,dt指標惡化嚴重,說明傳統算法與本文算法相比,擬合運動目標邊界的性能較差。另一種評估指標覆蓋率的量化結果如圖7所示。

圖7 兩種算法跟蹤覆蓋率量化結果Fig.7 Quantization results of tracking coverage of the two algorithms

從圖7結果可以看出,在整個跟蹤過程中,本文算法的覆蓋率都能夠達到0.9以上,但傳統方法的跟蹤結果的覆蓋率變化比較大,變化范圍在0.45～0.9之間,說明本文算法與傳統算法相比,去除相似背景干擾的性能更強。

為驗證本文方法的有效性,實驗分別采用本文方法、文獻[6—10]方法對樣本運動目標進行追蹤,分析六種方法的追蹤精度,得到的結果如圖8 所示。

圖8 不同方法目標追蹤的精度對比Fig.8 Comparison of target tracking accuracy of different methods

分析圖8中曲線走勢可以看出,采用本文方法、文獻[6—10]方法對樣本運動目標進行追蹤的精度存在一定差異。其中,采用本文方法追蹤的精度曲線波動較小,且始終保持在90%以上,而其他傳統方法的跟蹤精度曲線波動較大,文獻[9]方法波動最大,其次為文獻[6]方法。通過六種追蹤方法的對比,可以看出本文方法追蹤精度最高,驗證了本文方法可以提升追蹤精度。

在樣本運動目標追蹤精度分析基礎上,實驗進一步分析了本文方法、文獻[6—10]方法對樣本運動目標進行追蹤的耗時,得到的結果如圖9 所示。

圖9 不同方法目標追蹤耗時對比Fig.9 Comparison of target tracking time of different methods

分析圖9實驗結果可以看出,本文方法、文獻[6—10]方法對樣本運動目標進行追蹤的耗時存在一定不同。其中,采用的六種方法進行追蹤的耗時均在合理范圍之內,但相比之下本文方法的追蹤所有耗時最短,驗證了所提方法的有效性。

4 結論

目標運動視覺快速跟蹤問題不僅具有廣闊的應用前景,還能夠給高層級的計算機視覺應用提供基礎支撐。針對背景環境的復雜性,應用場景的多變性,本文提出基于殘差神經網絡的目標運動視覺快速跟蹤算法。利用殘差神經網絡提取目標特征并進行整合,計算邊界線的函數坐標等步驟,實現目標的視覺快速跟蹤,經過實驗驗證了算法的有效性。