丁金閃
(西安電子科技大學雷達信號處理重點實驗室 西安 710071)
視頻合成孔徑雷達(Synthetic Aperture Radar,SAR)連續記錄目標區域的變化,并通過信號處理將信息在時間維度上以有利于人眼直觀解讀的視覺活動圖像方式呈現出來,可實時獲取車輛和船只等高價值目標的地理位置、移動方向、移動路線和速度等重要信息,并進行持續性跟蹤監視。視頻SAR作為一種新的雷達成像模式成為近年的研究熱點[1,2]。
美國最早于1999年提出視頻SAR概念,以類似光電傳感器的方式再現場景信息并實現對地面目標的感知[1]。2010年美國桑迪亞實驗室首次在Ku波段完成對視頻SAR的技術驗證。綜合考慮成像分辨率、幀率指標及大氣衰減特性,視頻SAR系統一般設計工作于毫米波直至太赫茲低頻段,系統體積小,有利于載荷靈活配置。美國國防高級研究計劃局(DARPA)將視頻SAR工作頻率設計在230 GHz附近,并在2016年將其集成在多光譜瞄準系統中,實現了在235 GHz頻段的視頻成像[3]。德國高頻物理與雷達技術研究所(Fraunhofer-FHR)在W波段成功實現了對城區的視頻成像試驗[4]。2020年芬蘭ICEYE公司發布了雷達衛星通過凝視成像模式獲得的SAR視頻[5],實現對港口和城市等高價值區域動態成像監測。國內各相關單位也相繼對視頻SAR系統和關鍵技術開展了研究并取得很好進展。
由于視頻SAR主要任務是監視和跟蹤場景內的動目標或動態變化,要求高的成像幀率,而平臺運動速度受制于諸多因素只能在合理的范圍內選擇,因此在保證雷達作用距離以及方位分辨率的前提下提高幀率的較好途徑是提高雷達載頻。德國宇航中心 (DLR)開發的視頻SAR系統工作在94 GHz[4],而雷聲公司研制的視頻SAR系統[3]工作在235 GHz。考慮到雷達探測威力和電磁波大氣衰減因素,機載視頻SAR系統也可工作在Ku或Ka頻段,這時往往以重疊子孔徑成像處理技術來達到圖像幀率,即“偽幀”。不重疊孔徑處理得到的成像幀率和通過重疊孔徑處理得到的幀率,即所謂的“真幀”和“偽幀”,并不是評估視頻SAR系統優劣的唯一技術指標,即“真幀”肯定優于“偽幀”。幀率指標應根據任務場景目標運動特性來決定,即動目標慢時間采樣率要求。當然,設計高的幀率指標可保證系統可用于更廣泛場合,但也造成系統資源冗余。桑迪亞實驗室在2016年公開的視頻證明了用Ku波段SAR系統同樣可實現車輛目標的監視和跟蹤[6,7],該系統實際幀率小于1 Hz,通過重疊孔徑成像處理所得到的圖像刷新率約為3 Hz。本文主要針對機載K波段研究視頻SAR技術。
視頻SAR不僅僅是SAR,其本質是一種高幀率成像方式下動目標和變化檢測技術。動目標探測技術是視頻SAR的關鍵技術,陰影作為視頻SAR重要特征,能夠反映運動目標真實位置及狀態信息,因此有必要分析陰影形成機理并研究相應的陰影檢測算法。
本文對視頻SAR成像處理算法進行了探討,研究視頻SAR動目標陰影檢測問題,除采用經典圖像處理方法外,利用機器學習技術在視頻SAR陰影檢測方面取得了顯著效果,實現了對動目標陰影的檢測、預測及虛警和漏警抑制。
由于視頻SAR系統載頻較高,使得其成像處理對平臺定位誤差特別敏感,對運動補償提出挑戰,而基于回波數據的自聚焦技術往往不可或缺。總體來講,視頻SAR高幀率成像處理需要從算法軟件和硬件技術兩方面同時優化,成像算法要較好兼容運動補償,時域反投影類算法成為好的選擇。另一方面成像處理機性能及慣導等實時位置姿態感知器件需要保證足夠的精度。
文獻[8]分析了機載平臺振動對220 GHz視頻SAR成像的影響,并指出通過平臺隔振技術與自聚焦算法可有效降低影響。文獻[9]提出了一種針對直升機載視頻SAR的振動補償方法。文獻[10]針對視頻SAR的特性提出了一種能夠適應圖像旋轉的相位梯度自聚焦(Phase Gradient Autofocus,PGA)算法。此外,高幀率成像對系統實時處理能力是巨大挑戰,因此提高成像及自聚焦算法的計算也是關鍵。
視頻SAR系統適合于監測有限區域內的目標,往往工作在聚束模式,此時雷達載體平臺運動軌跡多為曲線。極坐標格式算法(Polar Format Algorithm,PFA)作為一種常見聚束SAR 算法,能夠兼顧成像效率和精度,適合視頻SAR成像處理。對于能夠滿足“真幀”處理條件的系統,可將雷達回波數據在慢時間域按照圖1(a)的方式排列分組。每一組為一個相干處理單元,對相干處理單元內的數據使用PFA算法成像即得到一幀圖像。若雷達系統僅能以“偽幀”的方式實現期望的高幀率成像,則數據排列分組需采取圖1(b)的方式。此時相鄰幀部分數據是復用的,每幀相干處理時間長度均大于所生成視頻序列中每幀對應的時長。而每個相干處理單元內的數據依然可以使用PFA算法成像聚焦。由于無論“真幀”還是“偽幀”處理,成像算法的核心均是PFA,所以近年來國內外學者針對PFA算法的計算效率進行了改進[11,12]。

圖1 視頻SAR成像處理中孔徑劃分示意圖Fig.1 Schematic diagram of aperture segment
雖然工作于較低載頻的視頻SAR系統可通過重疊孔徑處理技術來達到期望的圖像刷新率,但若使用PFA算法來生成圖像序列,孔徑重疊部分的大量數據重復參與成像計算,增加了計算負荷。一種直接解決方法是將回波在慢時間劃分為不重疊的子孔徑如圖1(b)所示,對子孔徑以不同的加權方式分別成像,最后選取不同的子孔徑圖像進行融合得到每幀圖像[13]。若使用以PFA算法為代表的頻域算法對子孔徑回波成像,則每幅子孔徑圖像都位于各自的坐標系下,融合前需要圖像配準操作從而降低了成像效率及精度。而使用快速后向投影算法(Fast BackProjection,FBP)等時域算法對子孔徑成像則所有圖像均位于同一坐標系下,能夠避免融合前的配準。
相比于非重疊子孔徑圖像融合的方式,迭代后向投影(Auto-Regressive Back Projection,ARBP)算法[14]更巧妙地解決了這個問題,該算法將圖像的迭代更新融合進了后向投影的過程中,每次后向投影僅使用最新得到的回波數據對圖像進行更新,并通過迭代更新將以往的信息遺忘。其后向投影過程與傳統的BP算法一致,均通過計算雷達到圖像像素坐標點的斜距并對每個脈沖的回波進行插值以尋找對應像素點的幅相信息。不同于傳統BP算法,ARBP將所有數據投影在一幅圖像中并通過類似于IIR濾波器的方式提取出只和當前幀有關的信息。ARBP算法圖像迭代更新的公式為

式中,Ik為第k次迭代更新得到的圖像,M為迭代的階數,αm為迭代系數,Rk為第k個脈沖回波在圖像域的后向投影值。此時,圖像聚焦點擴展函數在方位向的形狀即為式(1)所表示的IIR濾波器的沖激響應。通過經典的IIR濾波器設計手段從而合理的選擇迭代的階數和系數,能夠等效實現非迭代處理算法中的方位加窗效果。ARBP算法保留了傳統后向投影算法的優勢,每次后向投影可根據實時位置傳感器所提供的信息來補償瞬時斜距,適用于任意飛行軌跡。并且,整幅圖像迭代更新可分解為多個子圖像或像素點的并行迭代更新,可使用GPU并行加速計算技術來滿足實時成像需求。
本文對ARBP算法進行了成像仿真,采用正側視條帶模式成像,仿真參數如表1所示。使用去斜方式仿真回波數據,表示為

其中M×N為波束覆蓋范圍內仿真圖像橫向和縱向的像素點數,相鄰像素點的間距設為0.2 m,t是快時間,τ是慢時間,Ri是時τ刻第i個像素點到雷達的距離。

表1 仿真參數Tab.1 Simulation parameters
為最大程度地抑制方位向旁瓣,本文使用了文獻[14]中給出的經驗公式設計一個3階迭代函數用于方位聚焦處理,使用該函數等效于非迭代處理中的方位向加漢明窗的處理效果。成像場景大小為500 m2,場景內存在兩個運動目標分別位于坐標(1160,600)和(1160,380)處,運動方向分別為垂直方向和水平方向,從第2~4 s做勻加速運動,加速度為0.01 m/s2。第10幀和局部放大圖如圖2所示,此時目標處于靜止狀態,該幀圖像對兩個目標實現聚焦。
第20幀及局部放大圖如圖3所示,此時目標運動速度為0.01 m/s,該幀圖像中目標發生了輕微散焦,但主要能量未發生偏移。
第30幀及局部放大圖如圖4所示,此時目標速度為0.02 m/s,在該幀圖像中目標能量發生偏移,可觀察到目標留下的陰影。
傳統SAR中動目標也可能留下陰影,但因為雷達圖像一般有大量弱后向散射區域和物體遮擋,此時通過陰影檢測來發現動目標的效果很差,而高幀率成像提供了動目標陰影的連續動態信息,使該方法成為可能。
在視頻SAR中,極高的工作頻率使運動目標回波的多普勒調制對目標運動極為敏感,很小的運動也會導致目標像發生很大偏移和散焦,從而在圖像序列中留下能夠反映真實位置及狀態信息的陰影。一方面,動目標產生的陰影與其背景區域的對比度及陰影強度沿運動方向的梯度信息與目標速度有密切關系。另一方面,由于單幀圖像的合成孔徑時間較短,動態陰影亦反映了運動目標在場景中的瞬時位置。利用視頻SAR中的動態陰影進行動目標檢測是SAR運動目標檢測的新途徑。該技術與傳統基于多普勒處理的技術聯合應用,可較大程度擴展動目標可檢測速度范圍并提高穩健性。

圖2 第10幀SAR圖像及其局部放大圖Fig.2 Image of frame 10 and its zoom-in

圖3 第20幀SAR圖像及其局部放大圖Fig.3 Image of frame 20 and its zoom-in
視頻SAR中的動目標陰影產生受到多種因素的影響。一方面,陰影的檢測基于一定背景雜波和噪聲條件下,如果背景雜波較弱或陰影區域噪聲較強,則很難從背景雜波區域提取出陰影。需要指出,如果目標的雷達散射截面(Radar Cross Section,RCS)弱于噪聲等效后向散射系數時,動目標難以產生陰影。因此,視頻SAR系統一般要求較高的系統靈敏度。另一方面,當運動目標速度較慢時目標像可能被有效積累起來,因而不能形成陰影,又或者當運動目標速度過快時,目標可能迅速駛過一片區域,導致大部分地物雜波被相干積累,導致產生的陰影不夠明顯,這些情況均會導致最終檢測失效。此外,運動目標的像也可能發生散焦和混疊并使彌散的能量覆蓋在陰影區域從而影響檢測性能。

圖5 運動目標陰影產生模型俯視圖Fig.5 Top view geometry for the shadow formation of a moving target
在SAR圖像中,弱散射的靜止區域目標以及物體的高度遮擋會在相應位置產生陰影,在這里本文關注的是由運動目標產生的陰影[15,16]。運動目標的陰影產生原理的俯視圖如圖5所示,其中平臺速度為v,單幀圖像的相干積累時間為Ta,運動目標尺寸為W×Lm并用藍色矩形代替,目標速度為vt。由于高頻段雷達發射機的有限功率限制,視頻SAR往往工作于大擦地角條件以緩解有限作用距離問題,因此運動目標在圖像中的陰影基本保持其俯視輪廓。在這里,本文對陰影的分析基于目標像發生偏移和散焦,且不對陰影區域產生影響的假設。在單幀視頻 SAR 圖像積累時間Ta的始末時刻平臺和運動目標分別如狀態①,②所示(實際中單幀積累時間內平臺僅跨越很小的角度),假設目標在積累時間Ta內以勻速vt沿某方向運動,在此期間內目標位移長度為Tavt,因此在積累時間內運動目標將在原本位置留下長度為Lm+Tavt的陰影區域。
為對陰影區域的點散布函數(Point Spread Function,PSF)進行求解,我們首先對動目標對地物的遮擋建模如圖6所示,其中橫軸l表示目標運動軌跡方向,縱軸t表示時間。綠色區域表示了在某位置處地物被運動目標遮擋的時空范圍,沿t軸綠色區域的長度表示了該處的遮擋時間長度。根據的運動速度大小可分為兩種情況,當目標速度vt >Lm/Ta時,遮擋時間在遮擋區域兩端附近呈線性變化,中間區域遮擋時間T?=Lm/vt。當vt 圖6 動目標遮擋模型Fig.6 Illustrations of occlusion time caused by a moving target 圖7(a)給出了不同運動速度(5 m/s,10 m/s,20 m/s,30 m/s,40 m/s)的目標在均勻背景下產生的陰影,其中單幀圖像的合成孔徑時間為0.2 s,目標像因其徑向速度而偏移出場景。圖7(b)為各目標陰影沿運動方向的歸一化圖像強度,由圖7可見慢速目標的陰影更為明顯,在陰影的兩側圖像強度線性變化。 運動目標的遮擋導致地面散射點在合成孔徑時間內產生了相干積累損失,從而形成了較周圍區域圖像強度較弱的陰影。當運動目標像偏移出其真實位置時,遮擋區域內部的某一點目標的方位向回波可表示為 其中,Ka為該處靜止目標的多普勒調頻率,T?的范圍為[ta,tb]且。該回波經過方位匹配濾波器 回波的匹配結果(即點散布函數)可表示為 其中,?為卷積操作,f0=Kat0。類似地,未被動目標遮蓋的完整回波的匹配結果為 本文定義方位向積累損失因子ILF為 表示該散射點相對于未被遮擋區域散射點的響應峰值的比值。圖8給出了遮擋時間分別占相干積累時間0%,20%,40%,60%的歸一化脈沖響應結果,由圖8可見峰值強度隨遮擋時間的增大線性減小,并伴隨有主瓣展寬。 SAR圖像中主要包括加性噪聲和乘性噪聲影響,加性噪聲主要為接收機的熱噪聲,而乘性噪聲主要取決于積分旁瓣水平以及場景的平均散射強度,因此噪聲之和可用等效后向散射系數(EBC)表示為[17,18] 圖7 視頻SAR動目標陰影仿真結果Fig.7 Simulation of moving target shadows in video SAR image 相同地,若運動目標陰影區域的EBC可用σsh表示,由對脈沖響應的分析可得,目標的遮擋改變了該處散射的EBC,此時陰影區域的總EBC可以表示為 圖8 陰影區域點目標歸一化脈沖響應Fig.8 Normalized impulse response of a ground point scatterer 其中ILF由式(8)給出。定義陰影背景比為 SHBR表示了動目標陰影區域與其所在背景區域在統計意義上的強度對比值,區別于傳統的高電平目標檢測,視頻SAR的陰影檢測是在強雜波背景下檢測低電平目標,因此陰影作為待檢測目標,SHBR越低越有利于動目標陰影的檢測。本文以動目標軌跡的中心位置為例進行仿真實驗,假定σn=?48.7 dB,MNR=?18.2 dB,動目標的長度為Lm=5 m。 圖9(a)描述了SHBR隨背景散射強度和運動目標速度的變化關系,圖9(b)描述了σb==?16.5 dB(均勻干燥土地,94 GHz)條件下SHBR隨目標運動速度和合成孔徑時間的變化關系,其中標記給出了當前情況下的最優SHBR,此時該位置在合成孔徑時間內被全時遮擋,該值決定了動目標陰影的檢測性能上限。結果表明,強的背景散射,短的積累時間和低速目標產生更有利于檢測的陰影。 圖9 SHBR變化特性曲線Fig.9 SHBR curves 基于相干斑的產生原理,SAR圖像強度服從參數為散射體EBC的負指數分布[19],則對于背景區域和陰影區域分別有I ~Exp(1/σB)和I ~Exp(1/σSH)。基于動目標陰影的動目標檢測是從高電平的背景區域檢測低電平,因此給定一個檢測門限,虛警率PFA和檢測概率PD可分別表示為 其中,fIB(x),fISH(x)分別表示背景區域和陰影區域的負指數概率密度函數。結合式(13)和式(14),可得陰影的檢測性能曲線為 圖10 陰影檢測性能曲線Fig.10 Detection performance curve of shadow detection 假設σn=?48.7 dB,MNR=?18.2 dB,且目標長度Lm=5 m,圖10給出了陰影的檢測性能曲線。圖10(a)描述了檢測概率Pd在不同虛警概率條件下隨SHBR的變化結果。圖10(b)描述了不同目標速度下陰影中心區域的觀測者操作特性曲線(Receiver Operating Characteristic curve,ROC),其中目標速度為5,10,20 m/s對應的ROC曲線重合,這是因為當速度較慢時陰影中心區域在合成孔徑時間內總是被目標遮蓋的,因此形成了更易于檢測的低電平區域,當速度繼續增加時,中心區域的遮蓋時間為Lm/vt,因此目標速度越大檢測性能越差。 上述分析針對陰影中心區域的點散射體展開,對于連通陰影區域的檢測,往往需要可靠的SHBR,以達到對運動目標的有效檢測。假定在滿足一定虛警概率和檢測概率的條件下,存在SHBR0使得在視頻SAR圖像中可以完成可靠的陰影檢測(文獻[20]中指出分布式目標的可靠檢測對比度參考值可取-1.5 dB),即 對于給定距離橫向分辨率ρ,則該條件下的動目標可檢測速度范圍為 其中,c表示光速,v表示雷達速度,f表示雷達工作頻率,R表示雷達作用距離。 閾值分割作為一種常見的圖像目標提取手段,基于此,我們討論了的運動目標陰影在視頻SAR中單幀圖像檢測性能,其主要目的是為說明并導出動目標陰影檢測對環境、系統參數及目標速度的依賴性。當對序列圖像進行聯合處理時能夠有效提高目標的檢測性能,為此本文也將通過不同方法將幀間信息進行聯合,以達到提高運動目標檢測性能的目的。 圖11 基于背景差分的陰影檢測流程圖Fig.11 Flowchart of shadow detection based on background difference 文獻[21-23]中利用視頻SAR圖像序列進行處理并可有效檢測出動目標陰影。文獻[24]利用陰影輔助信息來提高SAR-GMTI的系統性能。本文結合上述對動目標陰影的分析,給出了基于背景提取差分動目標陰影檢測方法和桑迪亞實驗室實際數據處理結果。 背景差分處理主要面臨幀間配準精度與處理時間矛盾問題和背景提取準確度問題。圖11給出了基于背景差分的陰影檢測流程圖。桑迪亞實驗室實測數據由Ku波段雷達錄取,視頻包含295幀圖像,本文對其中連續的90幀進行檢測,共包含730個真實動目標陰影。 該方法的基本思想是通過多幀SAR圖像序列的聯合,提取出干凈的背景圖像,再通過差分最終得到陰影檢測結果。首先采用SIFT+RANSAC算法對多幀圖像進行配準,之后采取中值濾波的方式[25]在保持分辨率的條件下減小相干斑噪聲的影響,并對感興趣電平區域進行線性增強,降噪增強后的結果如圖12(a)所示。之后采用多幀均值的方法進行背景的提取,當場景內存在多目標(特別是呈隊列運動)時,均值法將使背景提取不夠準確,為此本文計算每個像素的變異系數(方差/均值),并設置閾值對變異系數過大的像素進行電平補償,圖12(b)給出了經補償后的背景。此后本文對背景已經配準后的圖像序列進行閾值分割并進行差分處理,后續再進行形態學處理和連通域篩選,處理結果分別如圖12(c),12(d)和12(e)所示。 圖12 基于背景差分的陰影檢測結果Fig.12 Results of shadow detection based on background difference 表2 基于背景差分的陰影檢測性能統計Tab.2 Statistical results of shadow detection based on background difference 表2給出了基于背景差分的陰影檢測性能統計。結果表明基于背景差分的陰影檢測方法可有效提取視頻SAR圖像中的運動目標陰影。 傳統的陰影檢測技術通常使用經典圖像處理算法,其中往往會包含一些預處理步驟,例如圖像降噪、配準、背景分割與提取。SAR圖像的低對比度與相干斑噪聲給這些預處理步驟帶來困難,惡化了傳統陰影檢測技術的性能。為了成像的高效性,聚束或者圓跡的視頻SAR數據經常由PFA類算法聚焦,導致視頻SAR圖像是旋轉的。同時,波數域插值誤差使得相鄰SAR圖像之間存在像素起伏,特別是在遠離成像中心的區域。圖像的旋轉可以由配準校正,但是無法充分補償這種插值誤差,因此SAR圖像噪聲增加,阻礙了經典方法的背景提取。此外,在連通域檢測中,抑制虛警往往需要一個目標尺寸的先驗門限,抑制具有與真實陰影目標像素尺寸相近的虛警是比較困難的,這些因素均會導致經典陰影檢測技術的虛警概率增大。另一方面,慢速移動目標的陰影在相鄰幀之間差異較小,導致無法準確提取陰影處的背景。在一些視頻SAR圖像中,動目標的陰影可能被它的像部分或者完全遮擋,這些均增加了對慢速目標檢測的漏警概率。 本文討論基于深度神經網絡的視頻SAR陰影目標檢測技術,流程圖如圖13所示。 首先,利用基于區域卷積神經網絡(Faster Region-based Convolutional Neural Network,Faster-RCNN)在每幀視頻SAR圖像上進行陰影檢測。在初步的檢測結果中包含大量的虛警目標與漏警目標,滑窗密度聚類算法被用于抑制虛警,并采用雙向長短時記憶 (Bidirectional Long-Short-Term Memory,Bi-LSTM)網絡對漏警目標位置進行預測。 3.3.1 基于Faster-RCNN的動目標陰影檢測 RCNN作為一種特殊的CNN被廣泛應用于圖像目標檢測領域,它使用選擇性搜索算法確定候選區域,結合CNN與支持向量機對候選區域進行特征提取與識別,并對邊界框進行回歸修正[26]。RCNN開創性地在圖像目標檢測中引入深度神經網絡。Faster-RCNN作為它的改進,將候選區域的產生、識別,邊界框的回歸統一到一個端到端的深度網絡中,極大地提高了計算效率[27]。 特征提取可由常見的AlexNet,VGGNet和ZFNet模型實現。候選區域由區域建議網絡確定,并且它的特征可由感興趣區域池化層獲得。 3.3.2 基于滑窗密度聚類的虛警抑制 圖13 基于深度網絡的視頻SAR動目標檢測流程圖Fig.13 Flowchart of the moving target detection approach using deep neural network in video SAR Faster-RCNN可以實現端到端的陰影檢測,但是作為一種單幀檢測方法,它的性能不夠穩健,特別是直接應用于SAR圖像[28]。SAR圖像的分辨率通常較低,不能反映如光學圖像中豐富的目標特征,因此很難區分動目標陰影與弱反射區域。動目標陰影的特征單一,灰度較低,一些常見的弱反射區域,例如,道路、河流、固定目標陰影等,很容易被誤判為動目標陰影。同時,相干斑噪聲使得平坦區域也產生一定的梯度變化,增加了動目標陰影檢測的難度[29]。此外,由于動目標運動狀態的變化,其陰影區域的形狀與梯度是時變的[16]。這些因素均導致Faster-RCNN直接應用于SAR圖像陰影檢測時虛警率的增大。 動目標陰影的軌跡在視頻SAR圖像序列中具有較好連續性,在相鄰幀之間有較強的相關性。如果在某一幀中檢測到一個陰影目標,那么在其相鄰幀的對應位置附近有較大的概率會檢測到該目標。相反,虛警目標通常隨機地產生于弱反射區域,在相鄰幀之間位置的相關性較弱。因此,利用動目標陰影在序列圖像中的運動相關性,可以采用聚類的方法抑制虛警。 在視頻SAR序列圖像中檢測到的陰影目標軌跡可以是任意形狀的,并且混合大量的虛警目標,利用一種密度聚類(Density-Based Spatial Clustering of Application with Noise,DBSCAN)算法可以實現任意形狀樣本點的聚類[30]。DBSCAN算法通過設定的聚類半徑和鄰域密度閾值,利用樣本點分布的相關性無監督地對樣本點進行聚類,同時起到剔除異常點的作用。但是,DBSCAN算法將所有樣本點作為輸入,并且以距離作為聚類依據,因此無法對軌跡交叉的兩類樣本點進行聚類。本文提出一種改進的密度聚類方法。 在利用Faster-RCNN算法完成單幀檢測后,可得到每幀圖像中所有檢測到的目標位置q(x,y),x∈[1,M],y∈[1,N],其中,M和N是SAR圖像的像素尺寸。完成所有幀的檢測后,將圖像序列中的陰影目標軌跡p(x,y,z),z∈[1,T]作為聚類的樣本集,其中,T是總幀數。在距離-方位-時間三維數據空間中,設聚類窗長度為L幀,步長S為幀(S 對于一個聚類窗中的所有聚類結果,需要遍歷每一類并判斷其與之前窗聚類結果的關系。這樣,隨著聚類窗的滑動,具有較強相關性的動目標陰影檢測點被逐漸關聯,而虛警目標往往被分類為異常點。通過這種改進密度聚類處理,可以實現對虛警目標的有效抑制。 3.3.3 基于Bi-LSTM網絡的目標預測 如果運動目標的速度變化較劇烈,其多普勒頻移超過雷達系統的最大不模糊多普勒頻率,那么目標像將呈現出周期性的混疊。在某些視頻SAR圖像中,動目標陰影可能被其混疊的目標像部分或者全部遮擋,導致出現漏警。同時,由于目標運動狀態及雷達視角的變化,陰影區域的形狀及灰度是時變的,增大了產生漏警的概率。 本文采用一種聯合多幀的預測模型來降低漏警,結合檢測結果信息實現對漏警目標位置的預測。循環神經網絡(RNN)是一種適用于處理時序問題的記憶型神經網絡。Bi-LSTM網絡是一類特殊的RNN,其克服了傳統RNN不能解決長距離依賴的問題[31]。本文利用Bi-LSTM網絡實現對漏警目標的預測,其網絡結構如圖14所示,包含輸入層,一個雙向循環層(前、后向傳播鏈)以及兩個全連接層。 虛警抑制后的動目標陰影坐標序列被用于作為Bi-LSTM網絡的輸入。假設該網絡用于預測第m幀中的漏警目標,那么輸入向量由前窗l中的K個向量(Xl,Yl,?Fl)、后窗r中的K個向量(Xr,Yr,?Fr)以及缺失向量(0,0,0)組成。前后窗中的 2K個向量可以表示為 圖14 用于漏警目標預測的Bi-LSTM網絡結構Fig.14 Structure of the designed Bi-LSTM for suppressing the missing alarm 其中,i=1,2,···,K,(xαi,yαi)是第αi幀中動目標陰影的坐標并且αi∈[m ??,m ?1],βi∈[m+1,m+?]。表示距離預測幀的最大幀間距,?fαi表示第αi幀與第m幀的幀間距。此外,幀間距滿足關系為 所設計的Bi-LSTM網絡僅包含一個雙向循環層,其由2K+1個單元組成。每個單元包含128個神經元,分別用于構成前向和后向傳播鏈。對應于第m幀的第K+1個單元的輸出經過兩個堆疊的全連接層后產生預測坐標,實現了對第m幀中缺失目標的預測。 在網絡訓練過程中,本文采用該歐式距離的平方構建損失函數,即由預測坐標與真實坐標的歐式距離的平方表示 3.3.4 基于視頻SAR實測數據的檢測結果 利用Sandia實驗室公布的實測視頻SAR數據可以驗證所提的基于深度神經網絡的陰影輔助視頻SAR動目標檢測方法。由于共提取到300幀SAR圖像,因此將210幀作為訓練集的原始圖像,其余連續90幀圖像作為測試集。利用常用的數據增強方式如旋轉、平移等可以有效擴充訓練集。每個原始圖像分別被中心旋轉 0?,45?,90?,135?,180?,225?,270?以及315?,隨后每個旋轉后的圖像被隨機裁剪多次,再次擴充數據集以確保陰影目標位于圖像中的不同位置。通過這種方式總共可以獲得35400張圖像用于訓練Faster-RCNN網絡。此外,提取原始圖像上每個陰影目標的坐標序列,采用平移與旋轉的方式擴充后作為Bi-LSTM網絡的訓練集。得到訓練好的模型后,在90幀測試視頻SAR圖像上的初步檢測結果如圖15所示。 圖15 基于Faster-RCNN的初步檢測結果Fig.15 Preliminary detection results simply by using Faster-RCNN 首先利用Faster-RCNN在單幀圖像上完成初步檢測,圖15(a)—圖15(d)分別給出了第9,20,45,75幀的初步檢測檢測結果。從圖中可以看出,由于動目標陰影的特征簡單、與SAR圖像中低灰度區域特征相似,嚴重惡化了檢測性能,初步檢測結果中包含大量的虛警與漏警目標。正確檢測的陰影目標為紅色矩形框,虛警為青色矩形框,漏警發生在白色圓形區域。此外,也給出了陰影區域的分類得分,真實陰影目標通常具有較高的分類得分,這表明Faster-RCNN能夠以較高的置信度檢測動目標陰影。但是,由于特征惡化,某些真實陰影的得分較低,相反,一些虛警由于其特征與真實陰影相似,也具有較高的分類得分。 利用動目標陰影在序列視頻SAR圖像中的運動相關性,采用滑窗密度聚類方法來抑制虛警。隨著滑窗進行,動目標陰影坐標被逐漸關聯,虛警最終被分類為一些孤立的異常點。保留包含真實動目標陰影的類,其他類作為虛警目標剔除。通過這種改進的密度聚類方法,可以實現具有交叉軌跡的坐標點分類,并實現對弱相關虛警的抑制。 圖16 基于深度神經網絡的動目標最終檢測結果Fig.16 Detection results of moving targets by using the DNN-based approach 基于深度神經網絡的視頻SAR陰影輔助的動目標最終檢測結果如圖16所示。圖16(a)—圖16(d)分別為第9,20,45,75幀,正確檢測的陰影目標為紅色矩形框,預測目標為白色矩形框,虛警為青色矩形框。對比圖15可以看出,利用改進的滑窗密度聚類算法以及Bi-LSTM網絡提高了檢測性能,降低了虛警率與漏警率。但是在圖16(d)中,由于虛警與上一幀真實陰影的距離小于聚類半徑,該虛警未能抑制。為了更好的分析該方法的檢測性能,表3中統計了在全部90幀測試數據上的虛警數與漏警數。同時,給出了每一步的具體結果,可以看出每個步驟對檢測性能的提高程度。在90幀中共有730個真實動目標陰影,初步檢測結果中包含73個虛警與123個漏警。經過后續兩步處理后,最終檢測結果中只有9個虛警與7個漏警。 表3 基于實測視頻SAR數據的檢測性能對比(目標總數:730)Tab.3 Comparisons of detection performance on the real video sar data (Target number:730) 本文對視頻SAR成像處理算法進行了探討,對視頻SAR中動目標陰影形成機理及檢測性能進行了定量分析,將機器學習技術應用于視頻SAR陰影檢測并取得了顯著效果,實現了對動目標陰影的檢測、預測及虛警漏警抑制,并在實測數據上與經典處理方法進行對比驗證。 本文分析了動目標陰影產生及制約條件,過慢或過快的動目標均難以形成可靠陰影,工程應用可考慮陰影檢測和傳統多普勒檢測的聯合技術,以實現與目標速度無關的雷達動目標檢測能力。盡管基于有監督深度學習方法的陰影檢測算法相對經典圖像處理算法計算量小,性能優異,但算法泛化能力明顯不足,這也是深度學習類算法應用到雷達領域面臨的普遍性問題,亟待研究突破。為實現視頻SAR實時信號處理,需研究高效率信號處理軟硬件技術,并將其工程化。



















3.2 基于背景差分的陰影檢測技術


3.3 機器學習動目標檢測技術








4 總結與展望