雷達與視頻融合的落物檢測研究

梁 影 黃嘉智 朱思悅 王磊磊

（1.上海無線電設備研究所，上海 200090；2.上海市目標識別與環(huán)境感知工程技術研究中心，上海 200090）

毫米波雷達具有體積小、質(zhì)量輕和空間分辨率高的特點，其與激光、紅外雷達相比，具有全天候且抗雨、抗雪、抗霧干擾的優(yōu)點，目前在無人駕駛、手勢識別、治安監(jiān)測等領域都有著廣泛的應用。智能視頻監(jiān)控已廣泛應用于周界安全防范等領域，如人群密度估計、治安卡口、鐵路異物入侵檢測等，由于視頻易受光照、能見度、天氣狀況的影響，漏報及誤報率較高，導致其無法單獨用于落物檢測，因此本文將雷達與視頻融合，提出了一種雷達、視頻融合的危險落物檢測方法。

1 系統(tǒng)組成

雷達與視頻融合落物檢測系統(tǒng)主要由雷達系統(tǒng)、視頻系統(tǒng)及數(shù)據(jù)融合系統(tǒng)組成，雷達系統(tǒng)主要對監(jiān)測區(qū)域的運動目標進行檢測，對目標的距離、速度、角度等信息進行測量，根據(jù)目標運動軌跡篩選出潛在下落目標，若為潛在落物，則觸發(fā)視頻獲取目標的多幀運動圖像，并將目標數(shù)據(jù)傳輸給數(shù)據(jù)融合系統(tǒng)進行進一步數(shù)據(jù)處理；視頻系統(tǒng)對獲取的連續(xù)多幀視頻圖像進行目標提取、濾波等圖像處理操作，提取出圖像中運動目標的相關信息，并將數(shù)據(jù)實時傳輸給數(shù)據(jù)融合系統(tǒng)，進行進一步目標篩選及與雷達探測數(shù)據(jù)的融合處理。

2 雷達系統(tǒng)

采用2發(fā)4收的毫米波雷達，發(fā)射正交FMCW波，對探測區(qū)域的目標進行距離、速度、角度探測，并進行跟蹤濾波，根據(jù)目標運動趨勢確定是否為潛在落物。

雷達天線發(fā)射寬波束信號，覆蓋整個照射區(qū)域，4路間距為d的接收陣元并行接收回波信號，天線陣型如圖1所示。有兩個發(fā)射天線TX1、TX2，其中TX1發(fā)射信號形成的接收相位序列為[0 w 2w 3w]（以第一個天線陣元作為參考陣元），因為發(fā)射天線TX2與TX1之間的距離為4d，TX2的發(fā)射信號與TX1相比額外增加了4dsinθ的路徑長度,每個接收天線上的信號都有一個額外的4w相移(與接收到的TX1的信號相比)。TX2的發(fā)射信號在4個接收天線形成的相位序列為為[4w 5w 6w 7w]。由于從TX1和TX2獲得的接收信號序列為[0 w 2w 3w 4w 5w 6w 7w]，相當于8個接收陣元的接收，該陣型形成4個虛擬陣元，增加了接收陣元數(shù)量，從而提高了信號角度分辨能力。

圖1 2發(fā)4收雷達天線陣型

接收信號采用數(shù)字波束合成技術，對監(jiān)控區(qū)域進行空域濾波，通過二維FFT處理對目標的距離、速度進行估計。

二維FFT方法進行距離—速度解算的實現(xiàn)步驟如圖2所示，將單個調(diào)頻周期的采樣數(shù)據(jù)[ab c…]，進行FFT變換，得到頻譜[A B C…]，該頻譜包含了目標的一維距離信息，積累M個周期數(shù)據(jù)后得到矩陣。

圖2 回波信號采樣圖

通過多個周期間的包絡變化可以得到目標的速度信息，即對M個周期每個距離單元數(shù)據(jù)進行FFT變換，頻譜包含了目標的速度信息。

信號處理硬件平臺采用高速AD、FPGA、ARM處理架構(gòu)，F(xiàn)PGA中進行實時信息解算，如數(shù)字波束形成、二維FFT距離速度解算，并將數(shù)據(jù)傳輸給ARM，ARM對目標數(shù)據(jù)進行目標檢測及融合，該處理架構(gòu)具有較高的數(shù)據(jù)刷新速率。

3 視頻系統(tǒng)

視頻系統(tǒng)目標檢測通過目標提取、濾波、目標融合等圖像處理措施，從連續(xù)多幀圖像中獲得運動目標的位置、輪廓等信息，同時將數(shù)據(jù)傳輸給雷達視頻數(shù)據(jù)融合系統(tǒng)。

3.1 視頻目標提取

視頻目標提取將背景差分法與三幀差分法相結(jié)合，即將背景差分后二值化的圖像，再用三幀差分法進行處理，該方法能夠較為完整地提取出運動目標，并且不受運動目標速度限制。背景圖像對光照、天氣等外部動態(tài)場景變化極其敏感，若要取得較好的差分結(jié)果，必須實時對背景進行更新。

3.1.1 背景建模

中值法背景建模是取圖像序列相同位置像素值的中值作為背景。設連續(xù)fnum幀圖像序列為{I1，I2，…，Ifnum}，均值法和中值法的背景建模分別如式（1）和式（2）所示。

式中，i、j分別為圖像像素的行標和列標。第k幀圖像背景差分結(jié)果Dk(i,j)為：

3.1.2 二值化

背景差分后圖像需再進行二值化操作，將運動目標與背景進行分割，設二值化閾值為T，第k幀圖像二值化結(jié)果為：

閾值的選取直接影響目標提取結(jié)果，閾值取值太小，則噪聲及干擾殘留較多；取值太大，則前景提取不夠明顯，可對多次試驗獲得的樣本圖像進行處理，選取合適的二值化閾值。

3.2 形態(tài)學濾波

視頻監(jiān)控環(huán)境往往比較復雜，圖像易受噪聲等干擾的影響，導致背景差分后的二值圖中仍混有噪聲點，需對圖像進行濾波。

形態(tài)學濾波是對圖像先進行開運算，再進行閉運算。在形態(tài)學濾波中，開、閉運算能夠在濾除噪聲斑點、填補空洞的同時，很好地保存圖像局部特征。需要注意的是，形態(tài)學濾波中結(jié)構(gòu)元素的形狀及大小對濾波的結(jié)果有直接影響，可根據(jù)不同需要進行相應設定。

采用結(jié)構(gòu)元素為4×4的正方形對包含目標與噪聲的圖像進行形態(tài)學濾波，濾波前后的圖像如圖3所示，圖3(a)為濾波前圖像，圖右側(cè)最大的圓形亮點為真實目標，圖中左上角、右上角、右下角有很多噪聲點，圖3(b)為濾波后圖像，可以看出圖3(a)中的噪聲點被濾除，且目標的特征被很好地保存下來。

圖3 形態(tài)學濾波

采用形態(tài)學濾波方法可將圖像內(nèi)小的干擾濾除，降低噪聲及其他干擾（如昆蟲、落葉等）對目標檢測的影響。

3.3 目標融合算法

為了防止將一個目標識別為多個目標，需進行目標融合，目標融合、分類采用近鄰原則，即將距離間隔小于一定閾值的目標合并為一個目標，采用八連通進行連通分量標記，計算相鄰兩個連通分量間距離，分類后對目標重心進行提取。

目標融合操作將距離間隔小于閾值R的目標合并為一個目標，具體操作如下：

首先，進行連通分量標記（八連通），并計算相鄰兩連通分量間距離。設A1，A2為兩相鄰連通分量，如圖4所示，A1邊界的行坐標為r11，r12(r11＜r12)，列坐標為c11，c12(c11＜c12)，A2邊界的行坐標為r21，r22(r21＜r22)，列坐標為c21，c22(c21＜c22)，每個連通分量的邊界線都構(gòu)成一個矩形區(qū)域，用該矩形作為連通分量的代表。若A1為已有分類，A2為待分類，A1、A2之間的距離d12的計算分為以下4種情況：

（1）兩矩形區(qū)域相交。若r21或r22在（r11，r12）之間（包含等于），并且c21或c22在（c11，c12）之間（包含等于），則d12=0。

（2）兩矩形為上下結(jié)構(gòu)。若c21或c22在（c11，c12）之間（包含等于），但r21或r22不在（r11，r12）之間（包含等于），則d12=min(|r22-r11|，|r12-r21|)。

（3）兩矩形為左右結(jié)構(gòu)。若c21或c22不在（c11，c12）之間（包含等于），但r21或r22在（r11，r12）之間（包含等于），則d12=min(|c22-c11|，|c12-c21|)。

（4）兩矩形為對角結(jié)構(gòu)。若c21或c22不在（c11，c12）之間（包含等于），且r21或r22不在（r11，r12）之間（包含等于），設連通分量A1的矩形區(qū)域4個頂點分別為a11、a12、a13、a14，A2的矩形區(qū)域頂點分別為a21、a22、a23、a24， 則d12=min(d(a11,a24)，d(a14,a21)，d(a12,a23)，d(a13,a22))。

圖4 相鄰聯(lián)通區(qū)域

其次，進行分類合并，將連通分量間距離小于閾值T1的分量合并，T1取最小可檢測目標的大小。若不滿足合并條件，則建立新類別；若滿足合并關系，則將滿足合并關系的類別與待分類的分量合并到標號最小的類中（可能與多個類別滿足合并關系）。

對濾波后的二值圖進行目標融合和不進行目標融合的目標分類結(jié)果如圖5所示，藍色框內(nèi)圖像為目標區(qū)域的局部放大，目標分類用紅色矩形框標出。圖5 (a)為沒有進行目標融合的分類結(jié)果，可以看出一個目標被分割成4個，圖5(b)為目標融合算法作用后的目標分類，目標碎片得到了融合，確認為一個目標，目標融合算法降低了同一目標的分離概率。

圖5 目標融合

4 數(shù)據(jù)融合系統(tǒng)

數(shù)據(jù)融合系統(tǒng)對雷達探測的目標數(shù)據(jù)進行處理，通過運動目標軌跡擬合及運動速度等信息進一步判斷是否為落物；根據(jù)視頻系統(tǒng)提供的各幀圖像中目標的位置，采用Hough變換法進行多目標運動軌跡提取，根據(jù)運動參數(shù)提取下落目標；將雷達落物數(shù)據(jù)與視頻處理結(jié)果進行融合，進一步剔除干擾。雷達視頻數(shù)據(jù)融合系統(tǒng)簡要處理流程如圖6所示。

圖6 數(shù)據(jù)融合系統(tǒng)簡要處理流程

首先將雷達探測目標位置轉(zhuǎn)化為視覺系統(tǒng)坐標，雷達探測目標與視頻系統(tǒng)檢測的運動目標進行匹配，對能夠匹配的目標進行危險目標判斷，判定為危險目標則報警；無法匹配的目標與預存的虛警信息庫進行匹配，若不屬于預存的虛警情況，則需人工查看視頻圖像數(shù)據(jù)來判斷是否為危險目標，若為危險落物則報警，否則更新虛警信息庫。

雷達與視頻中匹配成功的目標，仍可能存在干擾目標，會影響危險目標的判定。為了去除漂浮物、飛鳥、突發(fā)干擾及危險區(qū)域外落物產(chǎn)生的虛警次數(shù)，列出以下3種簡單的危險目標判定方法：（1）通過圖像中目標輪廓來區(qū)分危險目標與干擾目標； （2）計算目標下落高度，若下落高度小于一定閾值(傾斜飛過監(jiān)控區(qū)域的鳥等），則不報警；（3）根據(jù)目標軌跡對目標落地位置進行預測，若目標下落位置不在危險區(qū)域，則認為目標超界，否則輸出報警信號。

5 結(jié)束語

雷達具有全天候的工作能力，且抗雨、抗雪、抗霧干擾能力強，但無法識別目標種類；視頻易受環(huán)境干擾，但可以實現(xiàn)探測場景的可視，所以可將兩者結(jié)合起來進行檢測。雷達與視頻融合的目標檢測方法將是未來重要的發(fā)展方向，本文對落物檢測的探索開啟了一個新的應用領域。