一種穩健的視頻SAR動目標陰影檢測與跟蹤處理方法

何志華 陳 興* 于春銳 栗子涵 余安喜 董 臻

①(國防科技大學電子科學學院 長沙 410073)②(北京跟蹤與通信技術研究所 北京 100094)

1 引言

視頻合成孔徑雷達(Video Synthetic Aperture Radar, VideoSAR)技術是現有SAR系統在工作模式上的一種擴展，該技術有機綜合了高分辨成像和視頻成像的優點，可利用視頻SAR時序影像中動目標形成陰影與靜止背景的幾何與輻射特征差異獲取運動目標高精度位置、速度等運動狀態信息，具有定位精度高、檢測概率高、最小可檢測速度低等優勢，能夠實現全天時、全天候的動態目標觀測，是雷達地面動目標指示(Ground Moving Target Indicator, GMTI)的一種新手段[1–3]。

加拿大國防研究與發展中心(Defense Research and Development Canada, DRDC)基于X波段寬帶試驗機載雷達系統(X-band Wideband Experimental Airborne Radar , XWEAR)，進行了視頻SAR試驗，能夠通過對區域的持續觀測改善目標檢測和靜態特征的提取能力[4]。美國桑迪亞國家實驗室(Sandia National Laboratories, SNL)開發了Ku波段重疊孔徑視頻SAR成像算法，展示了視頻SAR對地面運動目標視頻成像能力[5]。美國國防高級研究計劃局(Defense Advanced Research Projects Agency,DARPA)發布了THz頻段視頻SAR項目，系統實驗結果表明相比微波波段可實現較高的獨立視頻幀率[6]。芬蘭冰眼公司(ICEYE)首次驗證了天基視頻SAR動態目標監視能力[7]。國內各相關單位也相繼開展了視頻SAR系統與信號處理方面的研究并取得了很好的進展。

視頻SAR動目標陰影檢測與跟蹤處理是視頻SAR應用的關鍵技術之一，由于缺乏廣泛的有效數據源，該研究還處于起步階段，基本的思路是在借鑒已有的光學視頻目標檢測與跟蹤成果基礎上，充分考慮視頻SAR序列圖像及動目標特點，研究針對性的處理方法。文獻[8]研究了基于陰影特征的運動目標檢測方法，給出了基于圖像序列的檢測流程、性能預估結果及實測數據處理結果。文獻[9]研究了道路上運動目標由于偏離真實位置而留下“陰影區”的檢測問題，揭示了陰影區檢測性能與道路電磁散射特性、雜波環境、噪聲強度等的關系，分析了運動目標的特征參數(速度和位置)與道路之間的對應關系，結合陰影檢測和道路輔助信息實現運動目標的檢測和參數估計。文獻[10]研究了基于圖像序列的視頻SAR動目標檢測方法，利用單高斯模型對圖像序列進行背景建模，將背景與當前圖像差分后并二值化得到前景的二值圖，對二值圖進行形態學處理提取出目標陰影。文獻[11]研究了一種VideoSAR動目標陰影檢測方法，包括視頻SAR圖像配準、圖像降噪、最大化閾值分割、結合背景差分和三幀間差分法的動目標提取等處理環節。文獻[12,13]將快速區域卷積神經網絡等深度學習技術應用于視頻SAR動目標檢測中，取得了較好的虛警抑制效果，但這類算法對訓練數據有較高的要求，算法泛化能力有待進一步提高。文獻[14]針對陰影易受環境雜波干擾的問題，充分利用空時信息和顯著性檢測機制抑制背景雜波，并使用交替方向乘子法(Alternating Direction Method of Multipliers, ADMM)的優化方法實現了動目標陰影檢測與跟蹤。

本文針對視頻SAR動目標陰影變化劇烈、信雜噪比低、多普勒模糊干擾等特有的圖像特征，充分利用視頻SAR幀圖像空間域和時間域信息，經過數據配準和相干斑濾波預處理、采用基于改進差分的動目標陰影檢測處理和多目標跟蹤處理技術，在保證檢測率的前提下盡量降低虛警率，實現了視頻SAR動目標檢測與跟蹤。

2 視頻SAR數據預處理

視頻SAR是現有SAR系統在工作模式上的一種擴展，一般工作在星載/機載聚束模式或機載圓周模式下。其通過調整波束指向持續照射場景，采用子孔徑成像處理形成同一場景序列圖像，每秒鐘形成的幀圖像數量即為視頻幀率(frames per second,fps)，在微波頻段典型系統參數下，需要重疊孔徑才能形成方位分辨率優于0.5 m、幀率優于5 Hz的典型連續視頻影像[3]。

動目標在視頻SAR幀圖像中表現出明顯的陰影特征，圖1(a)為美國SNL公開發布的Kirtland空軍基地視頻SAR某幀圖像，當車輛停止時，距離向可以觀察到明顯的投影陰影；當車輛運動時，目標在方位向散焦且偏離其真實位置，但由于車輛所在位置未受到電磁波照射而形成目標陰影，投影陰影和目標陰影一起形成動目標陰影，如圖1(b)所示，運動車輛形成的動目標陰影位置與運動車輛一致，相比GMTI等SAR動目標檢測方法，基于動目標陰影的動目標檢測方法具有定位精度高、最小可檢測速度低等優點。但由于形成視頻SAR幀圖像需要一定的合成空間時間，如圖1(c)所示，幀率為fr，子孔徑合成孔徑時間為1/fr，在此期間動目標陰影邊緣區域也會受到天線波束照射，一定程度上也會在陰影區域引入雜波。

圖1 動目標陰影特征及形成機理分析

因此可通過動目標陰影特征實現動目標狀態感知，利用視頻SAR幀圖像陰影區域與背景區域的差異實現動目標檢測，為了更好地進行動目標陰影檢測與跟蹤處理，首先需要進行視頻SAR數據預處理，包括圖像序列配準和圖像序列去噪。圖像序列配準是實現變化檢測的前提，通過配準處理，可以消除SAR平臺與場景相對運動引入的角度變化，幀圖像之間的平移、旋轉和縮放等幾何畸變，可采用基于幀間迭代的加速魯棒特征(Sped-Up Robust Features, SURF)配準算法得到同一坐標系下的圖像序列，具體可參見文獻[15]。

圖像序列去噪可抑制SAR圖像相干斑和抑制熱噪聲，本文采用改進的視頻3維塊匹配(Video Block Matching 3 Dimension, V-BM3D)濾波算法實現視頻SAR動目標陰影特征增強。V-BM3D算法是在圖像去噪算法3維塊匹配(Block Matching 3 Dimension, BM3D)的基礎上針對視頻處理的改進算法[16]，其中的兩個主要技術分別是塊匹配搜索和協同濾波。塊匹配搜索是指給定參考圖像塊，在當前幀的前后幾幀搜索與參考塊最相似的若干圖像塊，將它們堆疊成一個3維矩陣；協同濾波是指對3維矩陣中每個2維矩陣執行2維變換，再在第3個維度上執行1維變換，對系數進行硬閾值收縮實現去噪。V-BM3D算法最初是針對光學視頻去噪設計的，用于濾除加性噪聲，因此在視頻SAR去噪應用中，首先需要進行圖像對數變換，將乘性相干斑轉化為加性噪聲。

將V-BM3D算法直接應用到視頻SAR數據預處理中面臨兩個難題：第一，動目標陰影圖像特征與背景圖像特征差異較光學視頻要小得多，給“目標”與“噪聲”的區分帶來難題；第二，視頻SAR幀圖像所用合成孔徑時間較短，背景圖像信噪比較低，是一個典型的強噪聲環境，V-BM3D算法去噪性能也急劇降低。本文充分挖掘視頻SAR時序信息，通過時序平均處理提升幀圖像信噪比，同時動目標陰影在相鄰幀之間變化較小，通過平均處理也可以進一步抑制噪聲。改進的V-BM3D算法的處理流程為：輸入配準處理后視頻SAR圖像序列，每幀圖像與它前面k幀圖像序列平均，通過改善幀圖像信噪比提升V-BM3D算法塊匹配過程的準確度，從而提高相干斑抑制性能。

圖2給出了SNL視頻SAR某幀圖像去噪及檢測結果，由圖2(a)和圖2(d)可以發現如果不進行去噪處理，視頻SAR圖像序列的檢測性能較差，很難檢測到移動目標，出現3個漏警(未檢測出的真實目標)，6個虛警(檢測出的虛假目標，紅框所示)；V-BM3D的去噪及檢測結果分別顯示在圖2(b)和圖2(e)中，由于視頻SAR圖像序列的噪聲水平較高，因此對運動目標的檢測性能仍然不佳，出現3個漏警和1個虛警；改進V-BM3D算法的去噪及檢測結果分別顯示在圖2(c)和圖2(f)中，可以看到所有運動目標都被成功檢測出，沒有產生任何漏警或虛警，檢測性能相比之前有較大改善。

圖2 SNL視頻SAR去噪及檢測結果

3 基于改進差分的動目標陰影檢測方法

經過配準和去噪等預處理后，得到目標運動清晰、背景平滑配準的幀圖像序列，檢測處理的目的是將動目標陰影和背景準確分離，本文采用改進差分的動目標陰影檢測處理方法，融合經典的背景差分和對稱差分結果，利用形態學濾波和虛警抑制等手段實現視頻SAR幀圖像序列中動目標陰影的準確提取，處理過程如圖3所示。

3.1 背景差分法

背景差分法是視頻動目標檢測的傳統方法，它通過對當前幀與背景模板之間的差值做閾值化處理提取運動區域。該方法較為簡單，在背景靜止、噪聲平滑、目標清晰且尺寸較大時，動目標提取效果較好。背景差分法的具體實現步驟如下：

提取當前幀Ik之 前的M幀圖像，用中值法進行快速背景建模，得到背景模板Iback

其中， m edmodeling(·)表示中值濾波處理，將當前幀Ik與背景模板Iback相減得到運動目標圖像Isub

對差分結果Isub進行最大化閾值分割，將不同灰度級的目標和背景區分開，得到二值化圖像Iseg

其中， T hreseg(·)表示最大化閾值分割處理，對二值圖Iseg做中值濾波，濾除尺寸較小的虛警，得到背景差分法的結果Ibgd。觀察圖3(b)可得，圖像中運動的區域被提取出來，定義為感興趣區域(Region Of Interest, ROI)用綠色虛線框標記。其中中間2個白色矩形表示2輛車的陰影，周圍的白色多邊形表示虛警。由于背景建模使用當前幀之前的數幀實現，因此和當前幀相比陰影位置滯后，故背景差分結果得到的檢測框也會出現滯后現象，該現象不影響對目標運動狀態的估計，但在幀圖像標注時需要補償由目標運動引入的檢測框位置移動。

3.2 對稱差分法

對稱差分是指當前幀與其前后兩幀分別進行幀間差分，對得到的差分結果求交集，得到動目標輪廓信息。相鄰兩幀差分法會造成檢測到的動目標比實際多，且只是對比并提取兩幀間的差別，忽略了自身重疊部分的信息，可采用相鄰3幀圖像Ik?1,Ik和Ik+1做對稱差分，具體實現步驟如下：當前幀Ik分別與其前后幀Ik?1和Ik+1做差分，獲取差分結果Ix和Iy

分別對Ix和Iy進行中值濾波，濾除尺寸較小的虛警。計算Ix和Iy的交集，獲取對稱差分結果Iifd

在圖3(c)中，可以看到每個運動區域都被2個檢測框包圍，這是由前后2幀的幀間差分實現的。由于幀間差分提取出的區域通常會比實際的多，所以式(5)取交集操作可以去除部分虛警。

圖3 基于改進差分的動目標陰影檢測處理示意圖

3.3 差分結果融合處理

背景差分法能夠提取出場景中的運動目標，但其對靜止目標微動、觀測視角變化和背景噪聲閃爍等影響較為敏感，此時背景差分法會檢測出大量虛警。對稱差分法對慢速目標不敏感，對環境噪聲也比較敏感，容易出現檢測空洞、目標漏檢等問題。將兩種算法的檢測結果進行融合，求取背景差分法提取結果Ibgd和 對稱差分法提取結果Iifd的并集，即

其中，符號∪表示邏輯或操作，由于兩種差分方法得到的結果會在大部分區域重合，但又存在一些差別，本步驟的差分結果融合處理可以在一定程度上增大真實目標ROI的檢測面積，進而增大與虛警的差別，如圖3(d)所示。

3.4 虛警抑制方法

基于差分融合處理的改進差分方法具有較高的檢測率，但也存在較高的虛警率，利用幀圖像空間域信息可以進一步抑制虛警。

一方面，利用動目標陰影區域尺寸特征，采用形態學濾波處理抑制較小ROI區域虛警。形態學濾波采用預設的結構元對圖像進行開(先腐蝕后膨脹)、閉(先膨脹后腐蝕)運算，這一操作可以去除面積較小的虛警，使動目標ROI更加清晰，同時降低檢測虛警，如圖3(e)所示。

另一方面，利用動目標陰影幅度特征，進一步以抑制移動目標亮斑產生的虛警。亮斑是目標的散射信息，當強散射目標靜止時，亮斑靜止出現在目標的真實位置并掩蓋陰影；而當目標開始運動時，由于多普勒頻移的影響，亮斑會偏離目標真實位置發生移動。由于亮斑在灰度較低的背景上運動可以等效為背景自身的運動，視頻SAR動目標提取過程無法區分移動亮斑和移動陰影，不斷運動的亮斑會產生大量虛警，嚴重降低檢測性能。因此，借助ROI平均灰度進行虛警抑制，對于一個ROI，計算其內部所有像元的平均灰度m ean(ROI)， 接著用mean(ROI)和設定的灰度閾值Tgray進 行比較，Tgray的設定與視頻SAR的信雜噪比等因素相關。只有滿足平均灰度條件的ROI被保留下來，不滿足的ROI將被作為虛警并去除。如圖3(f)所示。

4 視頻SAR多目標跟蹤方法

基于動目標陰影檢測結果，利用視頻SAR時序信息，通過多目標跟蹤處理可以進一步抑制虛警。同光學視頻不同，視頻SAR分辨率相對較低，一般采用點狀序列信息實現跟蹤處理。本文采用卡爾曼濾波和改進的交互式多模型(Interacting Multiple Model, IMM)算法，具體包括多目標數據關聯、跟蹤濾波和航跡管理等處理步驟。

4.1 多目標數據關聯

準確建立新一幀SAR圖像的各目標檢測點與多目標航跡之間的配對關系，是視頻SAR多目標跟蹤濾波的前提。數據關聯算法的目標是在考慮各種約束條件的前提下利用最有效的方法，使錯誤關聯減至最小。常用的數據關聯算法有最近鄰法、極大似然類多目標數據關聯方法、貝葉斯類多目標數據關聯方法等。本文采用一種全局最近鄰的多目標數據關聯算法，通過選取所有配對的距離度量，然后計算各種多目標全局組合配對下的距離和，并按距離和最小的原則確定多目標關聯的組合配對，具體步驟如下：

(3) 選取距陣R中的最小值Rijmin，若小于某一基準門限，則第k+1次目標檢測的第j個目標位置與航跡庫中第i條航跡相關，同時令矩陣的第i行和第j列元素等于基準門限值；

(4) 重復第(3)步，直到矩陣所有元素達到基準門限值；

(5) 若某目標檢測點與某航跡相關，則啟動航跡更新；若某航跡沒有關聯上新一幀圖像的檢測結果，則記目標航跡失跟一次，并啟動航跡終結策略；若有新的目標檢測結果沒有關聯上航跡，則啟動航跡起始模塊，具體參見4.3節。

4.2 動目標自適應跟蹤濾波

基于卡爾曼濾波器的交互式多模型(Interacting Multiple Model, IMM)算法可進一步提高視頻SAR動目標陰影狀態機動自適應能力。處理步驟分為：特征值計算，根據提取后的結果，計算出運動目標的特征值、質心和跟蹤窗口；建立運動模型，利用卡爾曼濾波器建立系統的運動模型，定義狀態向量，預測下一幀中運動目標可能出現的位置；特征匹配，定義目標的相似函數，利用相對幀間目標的變化，利用特征值計算相似函數值，判斷是否為同一跟蹤目標；模型更新，更新運動模型，作為下一運動模型的卡爾曼濾波的輸入。

IMM算法是一種次優的混合狀態估計濾波器，其主要特點是能夠對具有數個“行為模式”的動態系統的狀態加以估計，自適應調整濾波器帶寬，主要用于跟蹤機動目標。該技術在性能與復雜性上取得較好的平衡，其計算復雜性與模式(或模型)數量呈線性關系，其性能與平方算法的濾波器相當。與其他多模技術相比，IMM具有一個重要的特征，即多個模式的目標狀態和方差的估計根據一個馬爾可夫鏈合并起來，馬爾可夫模型用以產生各種目標狀態模式間的轉移特性[17,18]。IMM算法的實現流程主要包括交互/混合、卡爾曼濾波、似然比計算和模式概率更新以及狀態模式合并等，如圖4所示。

圖4 IMM算法處理流程圖

4.3 目標航跡管理方法

航跡管理是視頻SAR動目標跟蹤的重要組成部分，對動目標航跡的起始、確認、維持和刪除全過程進行準確判決，可以及時地起始航跡以建立新運動目標的運動信息檔案，也可以準確地刪除航跡以消除沒有跟蹤價值目標的檔案，一方面充分發掘現有量測中的信息，另一方面又可以降低干擾因素的影響，提高航跡質量。采用的航跡管理方法如圖5所示。

圖5 航跡管理方法

建立航跡數據結構為

其中，x表示目標運動狀態，fil表示目標跟蹤的相關參數，tage表示該航跡從初始化開始后經過的總幀數，tvis表示該航跡與量測點跡成功關聯的幀數(航跡可能會短暫丟幀，但不會立刻刪除)，tinv表示該航跡沒有關聯上量測點跡的總幀數。

采用4.1節多目標數據關聯方法，若量測值與航跡關聯成功關聯，則可以利用新的量測點跡信息對目標位置速度進行更新，獲得更準確的目標運動狀態，同時將tage+ 1,tvis+ 1,tinv置0；否則，用該量測點跡初始化一條新航跡，同時對沒有關聯上新量測的航跡進行tage+1，tvis不 變，tinv+1。若某條航跡長時間沒有關聯到新的量測點跡，或航跡維持時間太短，可認為該目標已經停止運動或是由雜波引入的虛假目標，需要從航跡列表中刪除，穩健的航跡終結有助于合理維護有效航跡數量，并減小數據處理的計算量和存儲量。考慮到動目標暫停運動時可能檢測不到顯著陰影，為區別于固定地面目標的陰影檢測虛警，需要設計一個合理的目標暫停判決策略，短時間持續低速的目標航跡可標識為暫停目標航跡，其狀態無需經過跟蹤濾波器，從而提高數據處理效率；長時間狀態維持的暫停目標航跡可進行航跡終止操作。將4.2節動目標自適應跟蹤濾波處理嵌入到航跡管理的模塊內，在航跡起始、維持等步驟完成跟蹤預測和狀態更新，即可實現穩健的視頻SAR多目標跟蹤處理。

綜上所述，本文采用的視頻SAR動目標陰影檢測與跟蹤處理流程圖如圖6所示：首先通過配準和濾波處理得到高匹配度、高質量的視頻SAR序列幀圖像，然后綜合采用背景差分法和對稱差分法得到每幀圖像低漏警、高虛警檢測結果，接著充分利用視頻SAR空間域信息和時序信息，通過基于灰度差異和邊緣信息輔助的空間域虛警抑制方法，采用穩健的視頻SAR多目標跟蹤方法，將跟蹤結果標注在原圖像序列上，最終可得到動目標陰影檢測跟蹤結果。

圖6 視頻SAR動目標陰影檢測與跟蹤處理流程圖

5 數據處理結果與分析

采用SNL公開發布的Kirtland空軍基地視頻SAR實測數據驗證本文方法有效性。該視頻總長900幀，幀圖像為1280像素×720像素，幀率為29.97 Hz，總時長約30 s，道路上有許多來往的車輛，涵蓋車輛停止、快速運動、慢速運動等運動狀態。

為了定量評估運動車輛陰影檢測跟蹤性能，首先對900幀視頻進行逐幀人工標注，一共標注了50輛大小不一的運動車輛目標，其中在不同時間出現的相同車輛按照不同目標計數，左側道路共計33輛，右側道路共計17輛，形成有效陰影的運動車輛統計結果如圖7所示，圖7(a)表示每幀圖像中的運動車輛數量，圖7(b)表示運動車輛出現/離開在幀圖像的狀態。第24幀、第336幀和第385幀運動車輛標注結果如圖8所示。

圖7 SNL視頻SAR運動車輛統計結果

綜合考慮幀圖像間隔和目標尺寸大小，經過實驗優選的數據處理相關參數設置如下：背景建模使用當前幀前后的3幀進行，形態學處理中開運算采用 2×2 的 圓形結構元，閉運算采用5 ×5的圓形結構元，視頻片段中有一輛較大的卡車，其余車輛為小型轎車，考慮到不同車輛在成像場景中所占的尺寸，ROI面積限制在[80, 550](橫向，縱向)個像元。

SNL視頻SAR第336幀動目標陰影檢測結果如圖9所示，從各個步驟的結果來看，運動車輛目標在高幀率的SAR視頻中表現為灰度較小的陰影，其真實能量由于多普勒頻移而發生偏移，當車速較高時，多普勒頻移也較大，亮斑拖尾形成亮線，當車輛停下時，亮斑回到其真實位置并掩蓋陰影。且隨著觀測平臺視角的變化，亮斑的移動方向也發生變化(沿方位向運動)。圖9(a)為經過圖像序列配準、去噪等預處理后的幀圖像，原始圖像序列隨時間發生旋轉，特征差別較大，且受噪聲影響較為嚴重，經過視頻SAR預處理后，得到了背景一致對齊，目標陰影清晰的結果；圖9(b)為背景差分和對稱差分融合后的檢測結果，運動目標均被提取出來，在二值圖中表現為較大的白塊，背景信息基本被消除，剩余由噪聲及靜止目標陰影偏轉帶來的虛警所占面積較小，可通過3.4節虛警抑制方法進行處理，結果如圖9(c)所示；圖9(d)給出最終檢測結果，最終視頻中左側道路5輛、右側道路1輛共計6輛運動車輛陰影均被正確檢測出來，與標注結果圖8(b)一致。部分幀圖像不可避免地產生虛警目標，但一般持續幀數有限，不能形成有效航跡，通過視頻SAR多目標跟蹤處理，可以得到更加穩健的運動目標陰影檢測跟蹤結果。

圖8 SNL視頻SAR運動車輛標注結果

圖9 SNL視頻SAR第336幀動目標陰影檢測結果

為了驗證虛警抑制處理方法的有效性，選取實測數據的第266幀，觀察圖10(a)可以得到，若不進行虛警抑制處理，則左下角會產生5個由散焦亮斑移動引入的虛警，在圖像序列中，散焦亮斑移動可以等效為背景暗區移動，因此在散焦亮斑經過的區域會產生較多虛警，但亮斑和陰影的ROI在灰度上存在較大差異，通過設置合適的灰度閾值進行判別，可以剔除大部分虛警，結果如圖10(b)所示，移動亮斑產生的絕大部分虛警被剔除，而移動陰影產生的真實目標被保留。

圖10 視頻SAR預警抑制處理對比

在空間域虛警抑制處理基礎上，進一步采用視頻SAR多目標跟蹤，利用序列時間域信息可以進一步抑制虛警，提高運目標陰影跟蹤成功率。圖11為SNL視頻SAR第24幀和第385幀運動目標跟蹤結果，其中，線條表示動目標跟蹤形成的航跡，可見第24幀中的7個動目標和第385幀中的8個動目標均被正確地檢測和跟蹤。

圖11 SNL視頻SAR運動目標跟蹤結果

對SNL視頻SAR整個數據進行跟蹤性能評估，定義動目標跟蹤成功率為視頻幀可成功形成跟蹤航跡的目標數/視頻幀實際動目標數，設A代表跟蹤結果區域，B代表運動目標標注區域，如果(A∩B)/(A∪B)>0.5則衡量為跟蹤成功，SNL視頻SAR逐幀跟蹤成功率如圖12所示，其平均跟蹤成功率為85%，實現了較好的檢測跟蹤處理結果。

圖12 SNL視頻SAR跟蹤成功率統計結果

6 結束語

本文研究了一種穩健的視頻SAR動目標陰影檢測與跟蹤處理方法，針對視頻SAR幀圖像陰影特性不穩定的特點，采用改進的差分處理方法實現動目標快速檢測處理，進一步針對虛警較高的問題，綜合采用空間域虛警抑制方法和時間域多目標跟蹤方法實現動目標檢測跟蹤處理，SNL視頻SAR實測數據處理評估結果表明運動車輛目標跟蹤成功率可達到85%，驗證了本文所提方法的有效性。