基于時間信息加權的ViSAR目標陰影跟蹤算法

黃艷堃, 鄧玉輝, 孫光才, 邢孟道

(西安電子科技大學雷達信號處理全國重點實驗室, 陜西 西安 710071)

0 引 言

視頻合成孔徑雷達(video synthetic aperture radar, ViSAR)這一概念由美國桑迪亞國家實驗室(Sandia National Laboratories, SNL)在2003年提出,旨在彌補傳統合成孔徑雷達(synthetic aperture radar, SAR)靜態圖像在動目標檢測上的缺陷[1]。在該實驗室的試驗中,ViSAR以高幀率連續顯示SAR圖像,使得觀測場景內目標的狀態得到實時且直觀的顯示。之后,多家單位對ViSAR成像展開了相關研究,主要包括反向投影[2]、快速反向投影[3]、實時調頻連續波合成孔徑雷達(frequency modulated continuous wave-synthetic aperture radar, FMCW-SAR)處理[4]、基于子孔徑循環移位的反向投影[5]、低秩張量恢復成像[6]等技術。近些年來,國內單位也展開了包括天基ViSAR系統設計[7]、圓周和曲線ViSAR成像[8]、基于GPU加速的ViSAR成像[9]等技術的研究。由于ViSAR一般工作在毫米波直至太赫茲低頻段,導致運動目標在成像時很容易產生多普勒偏移和散焦,因此基于運動目標強信號的跟蹤過程很難進行。另一方面,由于遮擋效應,被目標遮擋的地物無法反射雷達信號,從而在運動目標真實位置處的周圍形成陰影。每幀圖像中的陰影不僅能反映運動目標在觀測場景內的瞬時位置,而且能部分反映運動目標的幾何特征,這為目標跟蹤帶來另外一種途徑[10-17]。

目前,基于陰影的研究是ViSAR目標跟蹤研究的熱點。Zhang等[12]和Liang等[13]分別基于卷積神經網絡(convolutional neural network,CNN)和SiamMask網絡結構對ViSAR數據中的單個目標陰影進行跟蹤,驗證了深度學習在ViSAR目標陰影跟蹤中應用的可能性,但這兩種網絡結構均是針對光學圖像序列設計的,且仍然存在離線訓練樣本不足、在線跟蹤速度較慢等問題。Zhao等[17]通過將時空上下文的信息嵌入到背景感知相關濾波(background-aware correlation filter,BACF)算法中,增強了跟蹤算法對ViSAR背景干擾的魯棒性,但該算法實時性較弱。

考慮到ViSAR目標跟蹤對實時性的需求,本文將尺度自適應均值(adaptive scale mean shift,ASMS)算法引入ViSAR目標跟蹤中。ASMS算法是建立在顏色直方圖特征基礎上的目標跟蹤算法,且被多家機構改進用于解決各類跟蹤問題[18-20]。然而,當前各類改進的ASMS算法僅使用初始幀的目標信息和背景信息進行搜索,且沒有針對SAR圖像中的相干斑噪聲進行處理的模塊,而ViSAR數據中目標陰影的特征會隨時間發生不規則的變化,且其中存在大量相干斑噪聲,使得ASMS算法在對目標陰影跟蹤時的跟蹤框容易出現位置漂移和尺度擴大的問題。

針對上述問題,本文提出了一種結合時間信息加權和局部預處理的ViSAR目標陰影跟蹤算法。該算法在計算每一幀目標模型、背景模型和候選模型的概率密度函數之前,利用局部去噪的方法進行改進的中值濾波操作。從第3幀開始,分別計算初始幀和臨近兩個歷史幀的目標區域直方圖和背景區域直方圖,并在時間維度對3個直方圖進行加權求和,得到兩個新的直方圖。然后,利用求得的兩個直方圖進行背景比例加權操作,得到新的權值,并更新目標的位置和尺度因子。最后,對尺度正則化項進行時間信息加權操作,同時更新尺度,并進行反向尺度一致性檢驗,得到最終的跟蹤結果。

1 基于ViSAR陰影的目標跟蹤算法

目前,直接在ViSAR目標陰影跟蹤中應用ASMS算法存在一系列的問題。首先,受環境變化等干擾的影響,SAR圖像序列中的目標特征和背景特征在不斷變化,而傳統的ASMS算法只利用了初始幀的相關特征對當前幀進行搜索。其次,SAR圖像中存在相干斑噪聲,需要利用濾波的方法進行平滑,且在濾波的過程中要考慮平滑的程度,而ASMS算法中沒有針對去噪的處理。最后,傳統的ASMS算法在利用正則項更新尺度因子時,沒有考慮臨近幀的信息,導致在跟蹤時跟蹤框的尺寸容易擴大或縮小。針對上述問題,本文提出一種基于時間信息加權和局部預處理的ASMS目標陰影跟蹤算法,具體流程圖如圖1所示。

圖1 結合局部預處理和時間信息加權的ViSAR目標陰影跟蹤算法流程圖Fig.1 Flow chart of target shadow tracking algorithm in ViSAR combined with local preprocessing and time information weighting

根據圖1,該算法首先對前兩幀相應的計算區域進行局部預處理,隨后運用傳統的ASMS算法進行跟蹤,得到位置和尺度。從第3幀開始,進入本文所提的跟蹤算法部分。其中標號1指向的為本文所增加的局部中值濾波步驟,該步驟只對需要計算的區域進行中值濾波處理,在不增加計算量的同時減少了相干斑噪聲。然后,建立目標模型和候選模型,該步驟與傳統的ASMS算法保持一致。標號2指向的為本文所改進的背景比例加權和尺度估計操作,通過分別在背景比例加權和尺度估計中加入歷史幀信息,得到所估計的位置和尺度因子。最后,進行反向尺度一致性檢驗,得到目標最終的尺度。經過上述流程,可以獲得更精確的目標位置和更穩定的目標框的尺度大小。

1.1 局部中值濾波

相干斑噪聲是SAR成像過程產生的一種噪聲,具體表現為圖像中像素灰度值的隨機起伏[21]。相干斑噪聲的存在降低了SAR圖像的質量,增加了SAR圖像解譯的難度。為了減少跟蹤過程中相干斑噪聲對目標陰影的干擾,以及保證不損失實時性,可以采用中值濾波的方法對SAR圖像進行平滑。傳統的中值濾波容易將圖像過度平滑,使得在跟蹤的過程中目標和背景的區分度降低,因此需要保留一定的目標和背景的邊緣信息。本文提出一種輕度中值濾波的方法,如圖2所示,對圖像中的像素按一定的比例進行中值濾波,具體為在原始圖像和中值濾波后的圖像的基礎上,對兩個圖像進行權值分別為γ和1-γ的加權求和,這樣在保證對部分相干斑噪聲進行平滑的同時,緩和了背景像素平滑的程度。

圖2 輕度中值濾波示意圖Fig.2 Illustration of mild median filtering

圖3分別展示了原始圖像、中值濾波處理后、輕度中值濾波處理后的二值化示意圖。其中,亮藍色框內為目標區域像素,亮藍色框與紅色框之間為背景區域像素。通過比較圖3(a)～圖3(c)可以看出,輕度中值濾波在平滑了部分相干斑噪聲的同時,保留了目標的邊緣信息。

圖3 圖像預處理前后二值化對比圖Fig.3 Binarization comparison before and after image pre-processing

為了減少計算量,將本文所提出的預處理方法應用在每幀所提取的目標區域、背景區域和候選區域上,而不是應用在整幅圖像中。

1.2 原始目標位置和尺度因子

傳統的ASMS算法使用Bhattacharyya系數作為相似性函數,其表達式為

(1)

對Bhattacharyya系數求關于位置和尺度因子的偏導數,不斷迭代得到滿足條件的位置y1與尺度因子h1。則可以得到如下的權值和偏移向量[18]:

(2)

(3)

式中:G為常量系數;g(·)=-k′(·)。

(4)

(5)

h1=h0+

(6)

1.3 結合時間信息的背景比例加權

原始ASMS算法中的背景比例加權即為將優化目標定義為一個比例R的形式,分子為候選模型直方圖和目標模型直方圖的Bhattacharyya系數,分母為候選模型直方圖和背景直方圖的Bhattacharyya系數。則R可表示為

(7)

式中:bg表示背景直方圖,其由第一幀中目標模型的周圍像素計算得到。

但原始的ASMS算法在計算兩個Bhattacharyya系數時,只利用了初始幀的目標信息和背景信息來對當前幀的候選區域進行搜索,如果在跟蹤的過程中目標特征發生了如圖4所示的變化,則容易導致跟蹤失敗。

圖4 目標陰影在不同幀下的特征表示Fig.4 Feature representation of target shadow in different frames

因此,本文在考慮了初始幀信息的基礎上,對歷史幀的信息也進行了加權求和,這樣能更好地適應跟蹤過程中目標陰影特征的變化。因此定義新的R′如下:

(8)

(9)

式中:max函數的作用是保持權重為非負值,有利于算法的收斂,且

(10)

(11)

1.4 時間信息加權尺度估計

為了能更好地控制跟蹤過程中的尺度變化,ASMS算法在尺度更新的過程中加入了兩個正則項rs和rb。一般在相鄰幀中目標尺度不會發生劇烈變化,則引入正則項rs來控制尺度的改變:

(12)

式中:h為尺度因子;b2為常量。

由于搜索窗口包含一定的背景信息,在跟蹤的過程中容易導致尺度模糊,則引入正則項rb來控制搜索窗口中的背景像素:

(13)

式中:Q為搜索窗口中背景像素所占的比例;b1為常量;B(y,h)表示如下:

(14)

由于目標陰影的特征隨時間會發生變化,如果只使用初始幀的目標信息,在統計目標區域的像素時會產生更多的誤差。因此在B(y,h)中加入時間信息,且為了保持與背景比例加權操作的同步,對此時的時間信息加權項賦予相同的權值。該操作避免了跟蹤框相對于真實框尺度的較大偏移。加入時間信息后的B′(y,h)可表示如下:

(15)

1.5 反向尺度一致性檢驗

以上方法對目標的尺度變化具有很好的魯棒性,但對于目標尺度沒有發生變化的情況,加入以上正則項后容易累積尺度誤差,導致跟蹤失敗。這里采用反向尺度一致性檢驗的方法,即通過對t-1時刻和t時刻的尺度因子之間的往返檢測,來判斷如何利用估算出的尺度因子h進行尺度更新,并最終得到目標尺度。具體操作如下。

當t時刻的|ln(h)|>θs時,說明目標尺度發生了明顯變化,此時計算出t-1時刻的尺度因子hback。如果|ln(h·hback)|>θc,則說明尺度變化不一致,此時目標尺度st的表達式為

st=(1-α-β)st-1+αsdefault+βhst-1

(16)

式中:α=c1(sdefault/st-1);sdefault為初始尺度;β為一正常數,用來對估計出的尺度進行加權。

當|ln(h)|<θs時,說明目標尺度沒有發生明顯變化,此時目標尺度st的表達式為

st=(1-?)st-1+?hst-1

(17)

2 實驗結果及分析

本節將在兩個ViSAR數據集上進行對比實驗,來驗證所提算法在精度和速度上的優異性。所有實驗均在Matlab 2018b上進行。電腦處理器信息為Intel(R) Core(TM) i7-6500U CPU @ 2.50 GHz(4 CPUs), ～2.6 GHz,RAM為8 G,有單個NVIDIA GeForce 940MX顯卡。

實驗采用的評價指標為精確度圖、成功率圖、每秒幀數(frame per second, FPS)、平均中心位置誤差(central location error ,CLE)等。其中,精確度圖的橫坐標為位置誤差閾值,該閾值為由真實目標框的中心點和算法估計得到的目標框中心點之間間隔的像素數;縱坐標為精度,即在滿足小于給定閾值情況下的視頻幀數占總幀數的百分比。對所有幀的兩框之間間隔的像素數求平均,即為平均CLE。成功率圖的橫坐標是重疊閾值,該閾值為兩框重疊部分占兩框總面積的百分比;縱坐標為成功率,即滿足大于該閾值情況下的視頻幀數占總幀數的百分比。FPS可衡量算法的實時性。

為了衡量所提算法的魯棒性,實驗加入了一次性評估(one-pass evaluation, OPE)、空間魯棒性評估(spatial robustness evaluation, SRE)和時間魯棒性評估(temporal robustness evaluation, TRE)這3類曲線[22]。其中,OPE為一次性評估,即根據第一幀標注的目標進行跟蹤而得到的結果;SRE為空間魯棒性評估,即對第一幀標注的目標進行位置偏移(目標尺寸的10%)和尺度縮放(目標尺寸的90%～110%),然后進行跟蹤,得到結果;TRE為時間魯棒性評估,即對視頻序列每隔10幀開始跟蹤,最終對得到的結果取平均。

2.1 在SNL數據集上的跟蹤結果

SNL數據集是ViSAR的經典數據集,該數據集是美國Kirtland空軍基地的成像結果,其中成像平臺工作在Ku波段。這里取其中一個目標陰影進行跟蹤,該目標在視頻中從出現到消失共有30幀。下面給出所提算法在SNL數據集上的跟蹤結果可視化圖,如圖5所示。其中,γ取0.3,ξ取0.7,ζ取0.2。圖5中綠色框為目標陰影的真實位置,紅色框為跟蹤結果。從圖5可以看出,兩個框重疊度較高,驗證了所提算法的有效性。

圖5 SNL數據集目標陰影的跟蹤結果Fig.5 Tracking results of target shadow on SNL dataset

對所提算法與其他目標跟蹤算法進行對比實驗,如圖6所示。這里比較了本文算法、傳統的ASMS算法與其他7個SOTA的算法,即顏色名(color names, CN)算法[23]、判別式尺度空間跟蹤(discriminative scale space tracker, DSST)算法[24]、協同相關跟蹤(collaborative correlation tracking, CCT)算法[25]、核相關濾波(kernelized correlation filter, KCF)算法[26]、多特征尺度自適應(scale adaptive with multiple features, SAMF)算法[27]、BACF算法[28]、核互相關濾波(kernel cross-correlator, KCC)算法[29]。

圖6 SNL數據集目標陰影跟蹤對比實驗圖Fig.6 Diagram of contrast experiment for object shadow tracking on SNL dataset

從圖6可以看出,本文所提算法的精度遠高于其他算法。原因為該數據集中目標陰影和背景較為相似,利用顏色特征之外的特征進行跟蹤,容易將背景和目標陰影混雜一起,使得跟蹤失敗。通過本文算法與傳統的ASMS算法對比,可以看出本文所添加方法的有效性。

不同跟蹤算法的跟蹤速度和平均CLE如表1所示。從表1可以看出,本文算法的平均CLE最低,且跟蹤速度僅次于CN算法與傳統的ASMS算法,滿足實時性的要求。

表1 SNL數據集對比實驗結果Table 1 Results of contrast experiment on SNL dataset

2.2 在圓周ViSAR數據集上的跟蹤結果

為進一步驗證所提算法在ViSAR數據集上的有效性,下面對圓周ViSAR數據集進行目標陰影跟蹤。該數據集利用基于面向對象的ViSAR成像方法對城市十字路口取得成像結果[30],其中平臺工作在毫米波波段。這里選用數據集中的3個目標進行跟蹤,其中目標1從出現到消失共有156幀,該目標為尺寸較大的目標,且由于路口紅綠燈的指示,該目標在停留數十幀后開始移動。目標2從出現到消失共有64幀,該目標為尺寸較小的目標,且在第33幀時出現陰影干擾。目標3從出現到消失共有45幀,該目標為尺寸較小的目標,且在路口運動時經歷了轉彎。

2.2.1 目標1跟蹤結果

與第2.1節類似,下面給出目標1跟蹤結果的可視化圖,如圖7所示。

圖7 目標1的陰影跟蹤結果Fig.7 Result of shadow tracking for Target 1

從圖7可以看出,在第3幀、第6幀、第9幀、第12幀時,由于路口紅綠燈的指示,目標1呈停留狀態,此時本文算法跟蹤框也呈停留狀態,且在后續目標1開始運動時能較好地跟住目標,驗證了算法在此情形下的有效性。

與第2.1節類似,現在給出在目標1上的對比實驗,如圖8所示。

圖8 目標1的陰影跟蹤對比實驗圖Fig.8 Comparative experimental diagram of shadow of tracking Target 1

從圖8可以看出,本文所提算法的精度最高。但在這種情況下,其他算法的精度比第2.1節的要高,原因是本節數據集中目標1尺寸較大,導致其他算法不只是單純地提取顏色特征,因此提取的有用特征增加,精度也隨之提高。與傳統的ASMS算法相比,本文算法的精度提升較為明顯,驗證了所提方法的有效性。

與第2.1節類似,在目標1上進行不同跟蹤算法的跟蹤速度和平均CLE如表2所示。從表2可以看出,本文算法在目標1上的平均CLE最低,且在實時性上同樣具有優越性。由此可知,本文所提的局部預處理方法沒有明顯增加特征計算的負擔。

表2 目標1的對比實驗結果Table 2 Results of contrast experiment on Target 1

2.2.2 目標2跟蹤結果

在對目標2進行跟蹤時,第33幀圖像在目標附近出現了陰影的干擾,如圖9所示。其中,紅色方框內為要跟蹤的目標陰影,金色橢圓框內為周圍的陰影干擾。這里給出目標2跟蹤結果的可視化圖,如圖10所示。從圖10可以看出,目標2的跟蹤結果圖中的兩個框重疊度較高,且對陰影的干擾具有魯棒性,驗證了所提算法的有效性。對目標2進行跟蹤的對比實驗,如圖11所示。

圖9 第33幀圖像中目標2周圍的陰影干擾Fig.9 Shadow interference around Target 2 in Frame 33

圖10 目標2的陰影跟蹤結果Fig.10 Result of shadow tracking for Target 2

圖11 目標2的陰影跟蹤對比實驗圖Fig.11 Comparative experimental diagram of shadow tracking of Target 2

從圖11可以看出,本文所提算法的精度相對于傳統的ASMS算法有一定的提升,且遠高于其他算法。原因為目標2尺寸較小,以至于此時提取的有用特征減少。同時,其他算法計算時將陰影的干擾考慮到計算區域中,使得目標在受到干擾時跟蹤失敗。

在目標2上進行不同跟蹤算法的跟蹤速度和平均CLE如表3所示。從表3可以看出,本文算法在目標2上的平均CLE最低,在實時性上同樣具有優越性。

表3 目標2的對比實驗結果Table 3 Results of contrast experiment on Target 2

2.2.3 目標3跟蹤結果

目標3跟蹤結果的可視化圖如下。從圖12可以看出,所提算法在目標出現轉彎情況時,仍能捕捉到目標的當前位置,驗證了所提算法的有效性。

圖12 目標3的陰影跟蹤結果Fig.12 Result of shadow tracking for Target 3

對目標3進行跟蹤的對比實驗結果,如圖13所示。從圖13可以看出,本文所提算法的精度遠高于其他算法。原因為目標3尺寸較小,以至于此時提取的有用特征減少。通過與傳統ASMS算法結果的對比可以發現,本文算法極大地提升了傳統ASMS算法的精度。

圖13 目標3的陰影跟蹤對比實驗圖Fig.13 Comparative experimental diagram of shadow tracking of Target 3

目標3上進行不同跟蹤算法的跟蹤速度和平均CLE如表4所示。從表4可以看出,本文算法在目標3上的平均CLE最低,在實時性上同樣具有優異性。本文算法在精度和實時性上均取得了較好的效果。

表4 目標3的對比實驗結果Table 4 Results of contrast experiment on Target 3

3 結 論

本文提出了一種適用于ViSAR數據的魯棒的目標陰影跟蹤算法,該算法在跟蹤時融入了時間信息,并加入了改進的中值濾波作為預處理步驟。在對當前幀的目標陰影進行跟蹤時,在預處理時僅對所截取的圖像塊進行處理,減少了計算量。然后,在背景比例加權操作中加入了對時間信息的加權處理,得到目標陰影的位置坐標。最后,利用時間信息加權修正尺度因子,增強了跟蹤算法對目標陰影尺度變化的魯棒性。實驗結果表明,該算法具有較高的跟蹤精度和速度,在受到背景噪聲干擾的情況下,對不同尺寸和運動狀態下的ViSAR目標陰影均具有良好的跟蹤性能。與現有的高性能算法相比,所提算法在保證了實時性的同時,得到了更高的精度。