復雜環境下雷達-視覺目標融合技術

李小柳,姜 敏,蘇皎陽,尹潔珺,席光榮

(1.上海無線電設備研究所,上海 201109;2.上海目標識別與環境感知工程技術研究中心,上海 201109;3.中國航天科技集團有限公司交通感知雷達技術研發中心,上海 201109)

0 引言

作為現代軍民用技術發展的重要部分,目標探測感知系統可對場景態勢作出實時評估,提升系統決策應對效能,對于交通監控、周界防護等場景應用具有重要意義。但由于應用環境復雜且不可預測,如何有效利用各類傳感器來實現環境感知和目標跟蹤成為目標探測領域的難點[1-2]。

作為目標探測感知系統中十分重要的兩類傳感器,毫米波雷達和視覺傳感器各有優劣勢,而雷達-視覺融合技術可以充分發揮各傳感器的優勢,實現信息互補,突破單個傳感器的性能限制,獲取更有效可靠的環境兼容信息。雷達-視覺融合技術已有大量研究成果。CHADWICK 等[3]提出一種毫米波雷達與視覺融合方法,采用不同焦距的相機進行聯合標定。該方法可以在一定程度上提升系統的遠距目標檢測能力。靳延偉[4]分別進行了基于圖像和雷達的障礙物檢測,通過坐標變換和決策判別對二者的檢測結果進行融合,實現對前方環境的連續實時監測。JIANG等[5]根據反射強度對雷達目標的類型進行估計,并映射到圖像上生成感興趣區域(ROI),采用圖像去霧算法處理后,通過YOLOv2 網絡進行目標識別。該方法對霧天目標的識別準確率有顯著提升作用。

但現有雷達-視覺融合技術研究仍存在一些不足。雷達與視覺融合多采用單幀加權方法,融合信息利用率低,雷達多散射點問題無法解決。另外,單傳感器的工作狀態將直接影響監測效果。而采取以視覺為主、雷達為輔的策略,則會導致環境條件惡劣時系統無法正常工作,且無法充分發揮雷達傳感器的優勢。

針對目前目標探測感知系統對傳感器檢測跟蹤能力的迫切需求,以及現有傳感器融合技術的不足,本文提出基于目標運動特征的雷達-視覺融合技術。利用視覺邊界框進行雷達多散射點聚類,并以數據交疊時間、平均歐氏距離、關聯唯一性等指標為判據,篩選得到目標關聯匹配關系。面向復雜多變環境進行適應性目標檢測跟蹤,充分發揮雷達和視覺兩類傳感器的優勢,以提高單傳感器信息利用率,并在復雜交通場景下驗證融合系統的有效性和可行性。

1 雷達-視覺融合系統

雷達-視覺融合系統如圖1所示。雷達數據處理模塊采用目標聚類等航跡跟蹤算法處理輸出目標航跡數據,包括目標編號(ID)和位置等。視覺數據處理模塊利用人工智能(AI)網絡識別技術生成目標連續幀航跡及豐富的目標語義化描述。對雷達和視覺目標數據在航跡級別上進行邊界框聚類、基于修正k-最近鄰(modifiedknearest neighbor,MK-NN)法和多級約束的航跡關聯、基于定位精度的航跡融合及卡爾曼濾波等處理,最后輸出完整平滑的融合航跡。對融合航跡與AI圖像識別網絡輸出的視覺語義信息進行融合,即可實現對目標的穩定準確跟蹤。

圖1 雷達-視覺融合系統

2 雷達-視覺目標融合處理算法

2.1 目標數據預處理

(1) 傳感器航跡生成

針對視覺傳感器,系統采用卷積神經網絡(CNN)圖像深度學習識別技術[6],通過深度學習和視頻結構化技術,綜合利用YOLOv5 網絡與DeepSORT 跟蹤算法,有效提取目標的顏色、類型、邊界框等多維微特征信息,實現目標識別,并為目標賦予指定ID,進而生成視覺目標航跡。

針對雷達傳感器,目標回波信號經過雷達信號處理后生成目標點跡,并基于聯合概率數據關聯算法(JPDA)和卡爾曼濾波算法實現雷達目標跟蹤與預測,得到雷達目標航跡。

(2) 邊界框聚類

在時空同步[7]的基礎上,針對雷達視場下大目標或橫向運動目標易出現的多散射點問題,利用視覺傳感器輸出的目標邊界框進行聚類。根據空間同步關系解算出雷達目標散射點的像素坐標(pr,x,pr,y),該坐標與視覺目標邊界框坐標比較,應滿足條件

式中:pc,x,pc,y為目標邊界框左上角點像素坐標;Δρ為邊界框向外放大常量;w,h分別為目標邊界框像素寬度和像素高度。對滿足條件的雷達目標散射點信息進行加權,避免分布在目標主體附近的多散射點無法聚類。按1∶1∶1面積比例將邊界框區域劃分為3部分,如圖2所示。雷達目標散射點所屬區域S1,S2,S3對應不同權重進行加權,以此實現雷達目標多散射點濾除。

圖2 邊界框內雷達目標散射點加權區域劃分

對邊界框聚類后的雷達目標散射點作點跡到航跡的關聯性判斷,以保證雷達航跡的跟蹤準確性和穩定性。

2.2 目標航跡關聯融合算法

針對應用場景存在的遮擋、擁堵等復雜情況,考慮到傳統航跡關聯算法[8-9]計算復雜、不利于工程實現的問題,本文基于MK-NN 算法,將航跡關聯狀態分為關聯期、檢查期兩個階段。提出三級關聯約束,以數據交疊時間、平均歐氏距離、關聯唯一性等指標為判據,篩選關聯質量矩陣,得到最優關聯關系,同時顯著降低運算量。

(1) 航跡關聯算法

設雷達-視覺融合系統在當前時刻接收到的雷達A 航跡i和視覺傳感器B 航跡j的航跡狀態為

式中:tA,i(k)表示雷達A 航跡i第k個數據點對應的系統時間;xA,i(k),(k)表示雷達A 航跡i第k個數據點目標橫向位置及橫向位置估計值;yA,i(k),(k)表示雷達A 航跡i第k個數據點目標縱向位置及縱向位置估計值;tB,j(k)表示視覺傳感器B航跡j第k個數據點對應的系統時間;xB,j(k)(k)表示視覺傳感器B航跡j第k個數據點目標橫向位置及橫向位置估計值;yB,j(k),(k)表示視覺傳感器B 航跡j第k個數據點目標縱向位置及縱向位置估計值。

若時間窗[t-nΔt,t]內航跡i與航跡j的交疊時間小于MΔt,則排除該組關聯關系,其中t為當前時刻,Δt為時間同步后最小時間單元,n為時間窗間隔單元數,M為交疊時間單元數閾值。

計算雷達A 的航跡i和視覺傳感器B 的航跡j在當前時間窗內對應的平均歐氏距離

式中:Ncro為航跡交疊時間單元數;k0為交疊序列起始點序號。

記航跡i,j的關聯質量Lij=1/φij(i=1,2,…,N1;j=1,2,…,N2),N1,N2分別為傳感器A、B當前時刻的檢測目標個數,則航跡關聯矩陣ψ可表示為

若目標粗關聯門限為ηL,當Lij≤ηL時,航跡集合中航跡i與航跡j預判為不關聯。利用剩余關聯航跡進行最優關聯篩選,對于雷達航跡i,可能存在多個滿足粗關聯條件的視覺航跡j。尤其當目標密集或處于遠距離區域時,需根據關聯角度和關聯時長聯合取最優,確認關聯的航跡不參與其他航跡的關聯篩選,以此保證關聯關系的唯一性。最終得到全局最優關聯矩陣

系統設定持續時間ΔT內,t時刻的航跡關聯矩陣ψt將保持關聯關系。新出現的雷達航跡l將與視覺傳感器B 的全部航跡進行關聯匹配,并將初篩后t時刻的關聯矩陣ψ＇t與ψt比較,篩選全局最優的關聯對集合。

當持續時間達到ΔT時,對雷達A 和視覺傳感器B的航跡遍歷生成全關聯矩陣,篩選尋優得到最佳關聯對集合,并將其輸入航跡融合模塊,即可維持系統感知穩定性并極大降低融合系統運算量。

(2) 航跡關聯算法仿真對比

利用k-最近鄰(k-nearest neighbor,K-NN)關聯、MK-NN 關聯及本文關聯算法分別對場景數據進行關聯處理,以平均關聯正確率和平均計算時間綜合評估算法性能。各關聯算法平均關聯正確率如圖3所示。不同目標密集場景下,各關聯算法的性能如表1所示。可以看出,本文關聯算法關聯結果更加準確,在目標密集場景下表現更加穩定,計算時間相對更短,可用性更強。

表1 航跡關聯算法性能

圖3 各關聯算法平均關聯正確率

(3) 航跡融合

在判定航跡關聯對后,航跡融合處理的重要步驟是加權融合[10]。本文算法以各傳感器的定位能力為依據,引入定位幾何精度衰減因子(geometric dilution of precision,GDOP)作為融合系數。融合前首先對傳感器進行誤差配準,設第m個傳感器測量得到的目標位置坐標為(xm,ym),測量精度分別為σm,x,σm,y。

GDOP為傳感器在工作區域內各點處的定位精度。則第m個傳感器的定位幾何精度衰減因子

以測量值X為例,計算單傳感器GDOP 值后,可計算M個傳感器加權融合后X的估計值

式中:Xm為第m個傳感器的測量值。

加權融合后,對航跡對應的單傳感器信息進行目標級融合,最終得到完備準確的目標信息。目標級融合內容包括:a)視覺結構化輸出的目標語義化描述,如類型、顏色、型號、款式等信息;b)雷達檢測輸出的精確速度、雷達散射截面積(RCS)等信息。

2.3 航跡連接

由于單傳感器工作狀態不穩定、目標跟蹤性能不高等因素,系統航跡易出現中斷、目標ID跳變情況,因此需進行航跡連接處理,保證航跡連續性和唯一性。航跡存在中斷時的融合過程如圖4所示。

圖4 航跡存在中斷時的融合過程示意圖

通過卡爾曼濾波將系統航跡1、2進行正向/反向遞推,在設定的時間段內通過航跡關聯方法判斷兩系統航跡是否存在關聯關系,對兩航跡中間段進行加權平均并繼承航跡編號,得到目標完整航跡,保證目標跟蹤的穩定性。最后利用卡爾曼跟蹤濾波對輸出航跡進行處理,使系統航跡更加平滑。

3 試驗結果與分析

各類目標探測環境與交通環境下,目標行為特性具備一定的共通性,如目標運動狀態復雜、系統實時性和準確性要求高等。為了驗證算法的有效性與可行性,本文借助復雜交通多目標場景進行測試試驗,為算法在各類目標探測環境下的應用提供參考。

試驗驗證的雷達-視覺融合系統組成如圖5所示。毫米波雷達及雷達信號處理模塊用于生成雷達目標航跡;網絡攝像機生成的視覺圖像經深度學習視頻處理模塊處理后,實現圖像目標檢測與重識別,并生成視覺目標航跡;嵌入式處理平臺用于多源異構數據融合處理;通信模塊包括5G模塊和路由模塊,用于實現各模塊間數據通信;可視化平臺用于實時展示融合系統目標感知信息,觀測融合情況。

圖5 雷達-視覺融合系統組成

得到雷達和視覺傳感器的目標航跡后,參照視覺真實情況,對邊界框聚類處理情況進行分析。測試場景為:10 min內,出現大目標(卡車、客車等)60個,對應雷達多散射點航跡166個。邊界框聚類后得到航跡60個,大量多散射點被濾除,但仍存在少量時刻多散射點未能滿足聚類條件,可在后續關聯階段做進一步濾除。影響聚類效果的主要因素有:a)聚類后雷達航跡無法與歷史航跡連接而無法重新獲得航跡編號;b)雷達多散射點分布不滿足聚類條件,距離目標主散射點太遠,導致多散射點無法濾除。

選取典型場景作為示意,航跡關聯處理和融合結果如圖6所示。可以看出,雷達、視覺航跡能夠及時有效關聯,并根據關聯對進行融合,與單個傳感器航跡相比,融合航跡更加穩定,獲取的目標信息更加完整豐富。

圖6 航跡關聯及融合結果

平均關聯正確率βcorr和平均關聯錯誤率βerr的計算公式為

式中:Ntr為真實目標數;NP為正確關聯目標數;Nre為真實關聯目標數;Nlos為關聯漏檢目標數;Ne為關聯錯誤目標數。

在測試時段內以500 ms為間隔進行采樣,統計航跡關聯情況,如表2所示。可知,平均關聯正確率為98.3%,平均關聯錯誤率為1.7%。在目標密集場景下存在的關聯匹配瞬時錯誤的情況,將在檢查期被修正。

表2 航跡關聯情況

針對特殊場景下系統航跡中斷并重新起批的問題,進行航跡連接處理,獲取最優系統航跡連接對,再通過卡爾曼濾波算法進行濾波平滑處理,即可得到最終系統航跡。

利用目標ID 跳變率SID和航跡符合率Ptr表征目標跟蹤的準確性和穩定性,其表達式分別為

式中:MS為目標ID 跳變次數;Tobj為單個目標航跡符合時間;Ttr為單個航跡總時間。當真實位置與融合位置角度歐氏距離小于1°時,認為目標航跡符合。

利用雷達-視覺融合系統進行路段實時測試。設測試時長為10 min,縱向距離350 m 內為傳感器感興趣區域。統計目標跟蹤情況,路段實時測試結果如表3所示,車輛檢測效果如圖7所示。

表3 路段實時測試結果

圖7 車輛檢測效果

由表3可知,相較于雷達、視覺傳感器獨立工作的情況,本文所提融合系統目標跟蹤ID 跳變率為3.45%,分別降低了7.24%、3.46%;航跡符合率達97.6%,分別提升了1.9%、4.4%。測試結果表明,相比于以往的雷達-視覺單幀融合系統,本文所提融合系統在視覺交通場景下工作狀態良好,目標跟蹤的準確率和穩定性均得到極大提升,同時目標語義信息更加豐富,充分發揮了雷達、視覺傳感器的工作優勢,互相彌補劣勢,大幅提升了傳感系統對環境的感知能力。

4 結論

本文在以往雷達-視覺單幀融合算法的基礎上進行融合技術優化,基于深度學習、視頻結構化技術,采用航跡跟蹤算法分別生成視覺、雷達目標航跡,并結合兩類傳感器的工作特性制定航跡關聯融合策略,提高傳感器信息的利用率,實現復雜場景下目標的有效感知和穩定跟蹤。利用交通場景對該融合系統進行測試驗證,結果表明,該融合系統能夠實時穩定輸出,目標跟蹤ID 跳變率和融合系統航跡符合率均得到大幅提升,目標語義信息豐富穩定,目標探測系統的環境感知能力得到有效提升。該系統可應用于交通監控、周界防護等場景,有效支撐多目標環境感知的相關應用。研究成果也可為反無人機群等軍事場景應用提供參考。