基于特征融合與抗遮擋的衛星視頻目標跟蹤方法

劉耀勝, 廖育榮, 林存寶,*, 李兆銘, 楊新巖

(1. 航天工程大學 研究生院, 北京 101416; 2. 航天工程大學 電子與光學工程系, 北京 101416)

近年來,隨著科技的發展,目標跟蹤技術已經成為計算機視覺的重要研究課題,在人工智能、無人駕駛、人機交互及軍事監控等方面應用十分廣泛[1],其主要作用是在已獲得的視頻圖像中尋找感興趣的目標,并且在下一幀中對其進行精確地跟蹤。 目前,隨著遙感技術的日趨成熟,各國遙感衛星的數量也越來越多,并且遙感衛星拍攝的高分辨率視頻能夠觀測和測量地球表面上的移動物體,提供豐富的信息進行分析決策,如石油儲量、自然災害的監測[2],交通狀況及生態系統干擾的監測[3]等。 高分辨率視頻衛星作為一種新型的對地觀測衛星,與傳統的觀測衛星相比較,其最大的優勢是采用“凝視”[4]的成像模式對某個區域進行連續觀察,并且以視頻成像的方式獲得豐富的信息,實現對衛星視頻中目標持續跟蹤的能力,從而將目標跟蹤技術應用到遙感衛星領域。

目前,各國已經陸續發射多顆高分辨率視頻衛星。 例如,2007 年印度尼西亞將“印度尼西亞國家航空航天研究所-柏林技術大學衛星”送入太空,2013 年美國的Skybox 公司成功發射2 顆視頻衛星,而中國在2014 年成功將自主研制的“天拓二號”衛星發射升空,在2015 年中國長光衛星技術股份有限公司將研制的“吉林一號”視頻衛星順利升空。 由于視頻衛星拍攝的圖像幅寬較大,空中環境復雜,并且容易受到相似目標的干擾,以及存在目標被遮擋等問題,對衛星視頻中的目標進行跟蹤存在較大的挑戰,以往的目標跟蹤算法幾乎都是對地面上的目標進行跟蹤,對衛星視頻中的目標進行跟蹤將會成為一個新的熱點問題。

針對衛星視頻中的目標跟蹤,一般通過目標檢測獲得初始幀目標的位置信息,或在初始幀手動獲得目標的相關信息,再在每一幀估計所跟蹤目標的位置。 近年來,在目標跟蹤領域產生了多種性能優異的算法。 Bolme 等[5]首次將相關濾波的思想應用到目標跟蹤領域,提出了一種基于最小誤差輸出平方和(minimum output sum of squared error, MOSSE)的濾波跟蹤器。 之后,Henriques等[6]基于相關濾波的思想,發展設計了循環核結構(circulant structure kernel, CSK)的跟蹤器和核相關濾波(kernelized correlation filters, KCF)跟蹤器[7],提高了目標跟蹤的速度和準確率。 杜博等[8]通過將三幀差法和KCF 算法相結合,提出了一種新的衛星目標跟蹤方法。 軒詩宇等[9]將運動估計的方法和KCF 算法相融合,以解決衛星視頻中目標無法進行快速跟蹤的問題。 而隨著深度學習的興起,尤其是卷積神經網絡(convolutional neural network, CNN)在視覺跟蹤中的廣泛應用,研究人員開始探索使用CNN 提取衛星視頻中目標的特征,增強對目標的表示能力,提高目標跟蹤的準確度。 胡兆鵬等[10]提出將簡單的回歸模型與卷積層和梯度下降算法相結合,利用豐富的背景知識構建強大的目標跟蹤器。 邵佳等[11]提出一種用于衛星視頻跟蹤的預測注意啟發式Siamese 網絡(PASiam), 該網絡提取目標的淺層特征,采用高斯混合模型檢測目標的運動狀態,并且使用卡爾曼濾波預測和校正目標的位置。 馬成洋等[12]通過對顏色特征和方向梯度直方圖(histogram of oriented gradient, HOG)特征進行融合,彌補了目標在光照變化和形變情況下的特征表示缺陷,可以在目標輕微遮擋時對目標進行跟蹤。Heimbach 等[13]通過特征響應調整卡爾曼濾波器中的協方差參數,從而提高在目標遮擋情況下跟蹤的準確性。 楊劍鋒等[14]通過引入塊均值漂移算法跟蹤部分遮擋的目標,提高算法抵抗目標遮擋的能力。

然而,以上方法通常提取目標有限的特征進行表述,當目標發生光照變化或進入復雜環境中時,跟蹤模型通常會產生較大的誤差,從而影響跟蹤器的魯棒性。 而基于深度學習的算法雖然對目標跟蹤的效果較好,但在利用CNN 等網絡提取目標特征時,一般需要較大的計算量,對跟蹤算法整體的實時性上受到了不利的影響。 上述目標跟蹤算法在傳統的圖像上具有不錯的跟蹤精度和魯棒性,但是在應用于衛星視頻中的目標跟蹤時仍存在較大問題,尤其是當目標出現遮擋、復雜背景及發生光照變化等情況時,將會發生目標跟蹤丟失的問題,最終導致跟蹤失敗。

為確保目標跟蹤具有較高的穩健性和準確性,同時也考慮到目標跟蹤的精度和速度,本文采用KCF 算法作為基礎目標跟蹤框架,同時考慮到單一的目標特征無法較為準確地對目標進行描述,設計了一種特征自適應融合和模型自適應更新的方法。 根據響應區域的最大值和平均峰值相關能量獲得權重,進行自適應特征融合,提高對單一目標特征的描述能力;采用自適應更新的方法對相關濾波模型進行更新,使相關濾波模型能夠克服目標因光照變化等影響而產生的微小變化;借助卡爾曼濾波的方法預測遮擋目標在下一幀的位置,從而解決由于目標被遮擋而造成的目標跟蹤失敗的問題。

1 本文算法

1.1 KCF 算法

KCF 算法[7]屬于判別式目標跟蹤算法,將目標及周圍的矩形區域作為訓練樣本,通過循環矩陣構造大量的正負樣本,以此增強分類器的訓練效果。 同時利用循環矩陣對角化的性質,將訓練樣本進行對角化,以此減少計算量,使用嶺回歸函數對樣本進行分類,并對其進行約束優化獲得最終的分類器。 具體步驟如下:

假設目標的訓練樣本為xi,用yi表示目標的高斯函數響應,采用嶺回歸函數并引入高斯核函數對大量樣本進行訓練,尋找一個合適的w,使得函數f(xi) =wTxi和高斯函數響應yi之間的平方誤差和最小,即

式中:λ為正則化參數,目的是防止過度擬合。

將式(1)轉換成矩陣形式并求導,可得分類器權重系數w的最優解,即

假設目標樣本x為n×1 的基本向量,可以表示為x=[x1,x2,…,xn],將其通過循環矩陣進行移位,從而獲得大量的訓練樣本。 循環矩陣如下所示:

式中:第1 行為目標樣本,其他行都由第1 行循環移位而來,因此可得到樣本循環具有周期性。 利用循環矩陣對角化的性質,將訓練樣本X進行離散傅里葉變換可得

式中:“⊙”表示矩陣與矩陣之間點積。

由于樣本在低維空間通常難以進行線性分類,需要將樣本轉化到高維空間,本文結合核函數k(x,z′)= 〈φT(x),φ(z′)〉, 目標樣本的線性函數可以表示為

因此可得

式中:k(xi,zi)為核函數;αi為濾波系數。

本文選擇高斯核函數,該函數可以表示為

式中:z′表示待檢測的圖像塊;F(-1)表示離散傅里葉逆變換;σ1為高斯核函數的帶寬。

因此,式(4)可以轉換為

式中:^y表示高斯函數y的傅里葉變換;^α表示濾波器模型。

在下一幀圖像中,獲取與前一幀目標大小相同的矩形區域z,可得下一幀目標的響應區域為

本文目標跟蹤算法主要是對KCF 算法的改進,具體表現在特征提取、自適應特征融合、自適應模型更新及解決目標遮擋的問題。

1.2 提取的目標梯度紋理特征

在目標跟蹤算法中,提取的目標特征是否有效直接決定跟蹤效果的好壞。 為提高目標跟蹤的效果,本文提出一種自適應融合目標特征表示方法,通過提取目標的HOG 特征[15]、灰度特征及基于高斯曲率和平均曲率的特征[16],并分析比較各種特征對目標的描述能力,從而選擇合適的方法對目標進行特征融合。 因HOG 特征和灰度特征已在相關文獻中有所闡述,本文不再贅述。 重點對基于高斯曲率和平均曲率的特征[16]提取方法進行介紹。

在進行目標特征描述時,由于梯度可有效描述圖像像素的方向信息,被廣泛用于描述目標的特征,如HOG 特征、Sobel 特征等。 然而,由于梯度信息一般僅能夠反映目標邊緣變化劇烈的程度,而對圖像中曲率等非線性特征的描述存在一定難度,本文提出采用高斯函數來計算目標的高斯曲率特征和平均曲率特征,從而獲得包括梯度紋理特征在內的更為充分的特征描述。

通過高斯函數對圖像進行卷積運算通常可以獲得更加突出的紋理和強度信息,因此高斯導數濾波器通常被用來作為提取紋理特征的基本模型。 高斯函數可以表示為

式中:x、y分別為圖像像素的橫、縱坐標;σ2為高斯函數的帶寬。

本文使用高斯函數的一階和二階偏導數與圖像I進行卷積,從而獲得圖像的部分特征信息。公式如下:

式中:Gx、Gy、Gxx、Gyy、Gxy分別為高斯函數對x的一階偏導數、對y的一階偏導數、對x的二階偏導數、對y的二階偏導數、對xy的二階偏導數;“*”表示對圖像進行卷積操作。

將圖像所有像素由二維空間轉到三維空間,通?？梢缘玫揭粋€三維曲面。 為體現圖像的局部性質,可以通過計算圖像三維曲面的平均曲率,從而獲得圖像的局部特征。 但是,當圖像中的邊緣發生距離變化時,通過平均曲率提取目標的局部特征就會存在較大誤差,此時可以使用具有旋轉不變性的高斯曲率特征獲得圖像中邊緣變化劇烈的信息,從而提取目標更加詳細的紋理特征。 圖像的高斯曲率公式可以表示為

平均曲率公式為

因此,圖像的梯度紋理特征E可以由式(14)計算:

式中:ρ為權重,設置為0.5。

通過對圖像的梯度紋理特征分析,可以檢測到圖像中相鄰像素的顯著特征。

1.3 自適應特征融合

為了提高目標跟蹤的準確率,將目標的梯度紋理特征和灰度特征進行并聯融合得到特征MIX,再將HOG 特征和MIX 特征分別訓練KCF濾波器,從而獲得最終的目標響應圖,即

最終響應圖f(z)可由2 個特征的響應圖進行加權得到,即

式中:ηHOG、ηMIX為融合權重。

本文將基于響應圖的最大值和平均峰值相關能量(APCE)計算融合權重。 其中,APCE 定義為

式中:fmax和fmin分別為響應圖中的最大值和最小值;f(i,j)為響應圖中的值;M和N分別為響應圖的寬和高。

取響應圖的最大值fmax和APCE 值,則結果fMA由式(18)可得

將其進行歸一化,即通過將之前所有幀的fMA之和求均值,可得到最終的權重計算公式為

最終,HOG 特征和MIX 特征的權重ζHOG和ζMIX可以定義為

通過自適應特征融合構建穩健性的目標外觀,并且特征互補可以提高目標跟蹤的準確度。

1.4 自適應模型更新

在目標跟蹤的過程中,由于目標和背景隨時都會發生變化,濾波器的模型和目標的特征要及時進行更新,才能適應這種變化[17]。 本文提出一種新的方法對目標的模型進行自適應更新,當前幀的融合響應圖中最大值與之前所有幀融合后響應圖中最大值之和的均值之比定義為θ,θ可以表示為

式中:t為幀的索引;f(t)max為響應最大值。

由于相關濾波器的模型是由線性插值而得的,可以將其做出如下改進,具體如下:

式中:α′t-1和αt分別表示第t-1 幀的濾波器模型和第t幀的濾波器模型;α′t表示經過線性插值后的濾波器模型;?！鋞-1和Γt分別表示第t-1 幀的目標特征和第t幀的目標特征;?！鋞表示經過線性插值后的目標特征;γ為初始的學習率,設為0.012。

1.5 目標遮擋的解決方法

目標遮擋處理一直是目標跟蹤的難點問題。當目標被遮擋時,目標的外觀模型會發生變化,而跟蹤器由于無法進行判斷,通常會將錯誤的模型進行學習,從而丟失真正的目標,最終導致目標跟蹤失敗。 卡爾曼濾波[18]通過輸入觀測數據,經過最優估計方法最終獲得相對準確的結果。 通過對衛星視頻目標跟蹤問題的分析,本文提出引入卡爾曼濾波算法解決目標遮擋問題,通過響應圖的APCE 值判斷目標是否被遮擋,從而決定是否使用卡爾曼濾波算法對遮擋目標進行位置預測。

衛星視頻中典型的運動目標是車輛、艦船和飛機,當目標處于轉彎、緊急停止時[9],可以假設目標在短時間內均勻的運動。 卡爾曼濾波算法的時間更新方程為

式中:xk-1為k-1 時刻的狀態估計值;C為控制矩陣;uk-1為控制增益,可以設置為0;A為狀態轉移矩陣;xk為k時刻的狀態估計值,所選擇的狀態量xk= [Lx,Ly,Vx,Vy],(Lx,Ly) 表示第k時刻目標中心位置點的橫、縱坐標,(Vx,Vy)表示第k時刻目標在水平方向和豎直方向的速度大小;Pk-1為第k-1 時刻的狀態估計協方差;Q為過程噪聲的協方差。

卡爾曼濾波狀態更新方程可以表示為

式中:Kk為卡爾曼增益;zk表示前一時刻的目標測量結果;H為測量矩陣;R為測量噪聲矩陣;U為單位矩陣。

在本文中,設zk= [Px,Py],Px、Py分別表示目標中心位置的橫、縱坐標,測量噪聲R值很小,可以設為R=10-6I2×2。 而過程噪聲Q值較大,可設為0.1I4×4。 其他參數可以定義為

通過引入卡爾曼濾波算法可以預測遮擋目標的位置,能夠進行實時地跟蹤,從而解決目標被遮擋的問題。 經過多次實驗證明,該方法極大地提高了目標跟蹤的成功率。 算法流程如圖1所示。

圖1 基于改進的相關濾波衛星視頻目標跟蹤算法流程Fig.1 Flowchart of target tracking algorithm in satellite videos based on improved correlation filter

2 仿真實驗結果與分析

2.1 仿真實驗環境及參數

本文實驗環境如下:Win10 系統,處理器Intel Xeon CPU E3-1240(3.50 GHz),16 GB 內存,仿真環境為Python 3.7。 為體現算法的一致性,設置的參數與原始KCF 算法的參數基本相同。 HOG特征的胞元大小為4 像素×4 像素,直方圖方向設置為9 個,搜索區域為原始矩形框區域的1.5 倍,正則化參數為0.000 1。 衛星視頻為“吉林一號”衛星數據,選取4 個具有代表性的衛星視頻,包含空中飛機、地面車輛和海面艦船目標。每個視頻約為300 幀,采用手動標記確定目標真實邊界框。

2.2 評價方法

為定量分析本文改進算法對衛星視頻中目標跟蹤的性能,選取中心位置誤差(center location error, CLE)、距離精度(distance precision, DP)、重疊率(overlap precision, OP)[19]作為算法性能評價指標。 中心位置誤差定義為

式中:(xi,yi)為由跟蹤器計算所得的目標中心位置;(xi-gt,yi-gt)為目標的實際中心位置。 CLE 值越小,說明目標跟蹤的精度就越高。

距離精度定義為

式中:frames(a)表示滿足條件a的幀數;N為圖像的總幀數。 由于衛星視頻中目標比較小,閾值d=3。

重疊率定義為

式中:Si和Si-gt分別表示第i幀的圖像邊界框和手工標記的邊界框;“∪”和“∩”分別表示并集和交集。 重疊率表示重疊面積占2 個邊界框面積之和的百分比小于或等于閾值τ的幀數占總幀數的百分比,閾值τ設為0.75,重疊率越大,說明目標跟蹤的成功率就越高。

2.3 實驗過程分析

選用幾種經典的算法進行對比,分別為原始的KCF 算法[7]、CSK 算法[6]、MOSSE 算法[5]、MIL算法[20]、TLD 算法[21]和MEDIANFLOW 算法[22]。MOSSE 算法首次將相關濾波的思想應用到目標跟蹤領域的算法;CSK 算法通過循環矩陣構建大量樣本,并且將核函數應用到目標跟蹤領域;KCF算法提取目標的多通道特征,即HOG 特征,同時使用不同的核函數;TLD 算法和MEDIANFLOW算法都基于光流法對目標進行跟蹤,且TLD 算法通過對目標進行重新檢測,防止目標丟失或者發生漂移,從而提高目標的成功率。

由于遙感圖像的幅寬較大,本文通過截取目標跟蹤的局部區域進行算法驗證。 圖2 ～圖5 為目標跟蹤的精度和成功率曲線,圖6 為實驗的4組衛星視頻圖像,圖7 為目標跟蹤結果的部分可視化圖像。 圖7 中:左上角數字表示視頻圖像的幀數,藍色框表示目標的運動區域,其他矩形框表示目標跟蹤算法的跟蹤結果。

圖2 空中目標跟蹤結果的精度和成功率曲線Fig.2 Precision and success curves of target tracking results in Plane sequences

圖3 遮擋目標跟蹤結果的精度和成功率曲線Fig.3 Precision and success curves of occluded target tracking results in Car1 sequences

圖4 運動目標跟蹤結果的精度和成功率曲線Fig.4 Precision and success curves of target tracking results in Car2 sequences

圖5 海面目標跟蹤結果的精度和成功率曲線Fig.5 Precision and success curves of target tracking results in Ship sequences

圖6 衛星視頻的運動目標及運動區域Fig.6 Moving target and moving area of satellite videos

圖7 目標的可視化跟蹤結果Fig.7 Visualization tracking results of targets

對空中目標(Plane)進行跟蹤,從跟蹤結果分析可得,圖5 的精度曲線和成功率曲線及表1 表明,本文算法與其他幾種算法相比,成功率和精度都有較大提高,與原始KCF 算法比較,提高了30%和21%。 曲線下面積(AUC)也作為一個跟蹤算法性能的評價指標。 說明本文算法具有良好的魯棒性,取得不錯的跟蹤效果。 從圖7 中Plane 視頻序列圖像也可以看出,不同算法對目標跟蹤的結果不同,對目標進行跟蹤時,原始KCF 算法和CSK 算法的跟蹤結果與改進KCF算法跟蹤結果相差不大,但隨著目標的運動,導致各種算法的誤差累積越來越大。 從最終結果可以看出,本文算法對空中目標進行跟蹤具有不錯的效果。

表1 Plane 視頻序列中目標跟蹤結果Table 1 Target tracking results in Plane video sequences

對遮擋目標(Car1)進行跟蹤,從跟蹤結果分析得出,通過對圖3 和表2 中跟蹤結果的分析可得,本文算法由于引入了卡爾曼濾波,能夠對遮擋目標進行較為準確的跟蹤,與原始KCF 算法相比,成功率和精度提高了約80%和70%。 從圖7中Car1 視頻序列中可以得到,當目標在運動過程中,由于目標的尺寸較小,且被大橋遮擋造成目標丟失,最終導致目標跟蹤失敗。 在第48 幀時,原始KCF 算法和CSK 算法可以對未遮擋的目標進行跟蹤,取得了不錯的結果。 而在第225 幀時,由于前期誤差的存在,部分算法跟蹤的結果出現目標丟失或者漂移,而當目標被遮擋時,由于其他算法沒有解決目標遮擋的能力,導致目標重新出現時,無法對目標進行重新跟蹤,從而造成目標跟蹤失敗。 本文算法通過引入卡爾曼濾波算法,可以對遮擋的目標進行位置預測,并且設置遮擋閾值,對目標是否遮擋進行判斷,如圖8 所示,紅色曲線表示閾值,經過多次實驗,選取閾值為18,藍色曲線表示每一幀的APCE 值,當APCE 值小于該閾值時,可以認為目標被遮擋,此時對目標進行位置預測,同時目標不進行模板更新;當APCE 值大于該閾值時,表示目標并沒有被遮擋,此時對目標進行正常跟蹤。 因此,可以表明本文算法對遮擋目標的跟蹤也有不錯的效果,從而解決目標遮擋的問題。

圖8 APCE 值和視頻幀數的關系Fig.8 Relationship between APCE values and number of video frames

表2 Car1 視頻序列中遮擋目標跟蹤結果Table 2 Occluded target tracking results in Car1 video sequences

對運動目標(Car2)進行跟蹤,從跟蹤結果分析得到,圖4 和表3 表明,改進KCF 算法可以適用于地面的目標跟蹤,并且精度和成功率也有較大提高,圖7 中Car2 視頻序列說明了部分算法在第61 幀時對目標跟蹤的結果就出現了偏差,而在第112 幀及后續出現的幀中都出現了很大的跟蹤誤差。 因此,這幾種典型的目標跟蹤算法對衛星視頻中的小目標進行跟蹤存在一定的困難,需要對其進行改進,可能會達到較好的跟蹤效果。 而本文算法由于對原始KCF 算法進行改進,提高對目標外觀的描述能力,從而提高目標的跟蹤結果。

表3 Car2 視頻序列中目標跟蹤結果Table 3 Target tracking results in Car2 video sequences

對海面艦船(Ship)目標進行跟蹤,并對跟蹤結果分析可得,從圖5 和表4 可以得出,本文算法比原始KCF 算法在成功率方面提高了約20%,而在精度方面并沒有提高,但這并不能表示本文算法沒有效果,而恰恰說明原始KCF 算法可以對船只進行跟蹤也達到了較好的跟蹤效果,但從成功率和AUC 來說,本文算法比原始KCF 算法效果相比,具有較好的跟蹤效果。 從圖7 中Ship 視頻序列中可以看出,船只在運動過程中,由于產生很多的波浪,對目標跟蹤存在一定的干擾,有可能造成跟蹤器對目標誤判。 而KCF 算法由于提取的是目標的HOG 多通道特征,可以對目標進行描述,而本文通過將灰度特征和高斯平均曲率特征融合在一起,進行自適應特征融合,從而對目標的外觀進行較為詳細的描述,提高目標跟蹤的成功率。

表4 Ship 視頻序列中目標跟蹤結果Table 4 Target tracking results in Ship video sequences

綜上,本文算法通過對衛星視頻中目標進行跟蹤,所獲得的精度和成功率都得到極大的提高。

3 結 論

本文提出一種基于改進相關濾波的衛星視頻目標跟蹤算法,可以對目標進行較為準確的跟蹤。

1) 通過提取目標的高斯曲率特征,作為補充特征,提高對目標外觀的描述能力,經過實驗表明,通過提取目標的多種特征,可有效提高目標跟蹤的成功率,從而達到穩健的跟蹤效果。

2) 本文算法通過設計一種自適應特征融合和自適應模型更新的方法,獲得魯棒性的特征和模型,從而提高目標跟蹤的精度。

3) 本文算法通過引入卡爾曼濾波算法解決目標在運動過程中存在的遮擋問題,通過預測遮擋目標在下一幀中的位置,當遮擋結束目標重新出現時,可以對目標進行較為準確的跟蹤,經過在多種衛星視頻數據上進行實驗驗證,可以有效解決目標遮擋的問題。

實驗結果表明,在相似目標干擾、目標遮擋及復雜環境下,本文算法均能夠對衛星視頻中的目標進行跟蹤,并且具有良好的魯棒性。 但由于本文實驗只考慮了剛性目標,而未對非剛性目標進行處理,當目標發生尺度變化時,本文算法可能會跟丟目標。 因此,目標的尺度變化問題將是下一步研究的重點。