基于異步事件流的空間點目標跟蹤方法

王瑞琳, 王 立, 賀盈波, 李 林

北京控制工程研究所, 北京 100094

0 引 言

隨著人類太空活動的不斷增加,圍繞地球的人造空間物體數量急劇上升.這些人造空間物體雖然給人類提供了極大的便利,但同時也對地球附近的空間活動產生了顯著影響[1-3].因此,對地球周圍空間環境的感知與探測,即空間態勢感知,變得尤為重要[4].然而,這些目標由于距離較遠、尺寸較小,在單幀圖像中通常表現為點狀或者條狀[5],覆蓋的像素數量極為有限.這使得在復雜的背景中準確檢測和跟蹤這些空間點目標變得極具挑戰性[6].目前,在空間態勢感知任務中,常用的是基于幀的視覺傳感器,例如CCD[7]、CMOS[8]等.這類視覺傳感器在采集圖像數據時,往往會產生大量的數據和較高的傳輸功耗.因此,針對快速移動的空間點目標,傳統的視覺傳感器在檢測和跟蹤方面面臨著顯著的挑戰.

為了解決運動目標觀測的問題,研究人員開發了一種基于神經形態學的新型視覺傳感器,即事件相機[9-10].這種傳感器的設計靈感來源于生物學原理,與傳統視覺傳感器的固定速率輸出圖像數據的方式不同,事件相機根據單個像素上相對亮度的變化來異步輸出信息,這些信息被稱為“事件”.當相對亮度的變化超過預設的閾值時,事件相機會以微秒級時間分辨率記錄事件的時間戳,并輸出異步事件流[11].這種視覺傳感器的優勢在于,它能夠連續地捕捉空間點目標的運動,有效地克服了傳統視覺傳感器在復雜背景中難以準確檢測和跟蹤空間點目標的問題[12].

由于事件相機輸出的是事件流數據,這種數據格式與傳統的圖像數據有本質的不同,導致無法直接應用現有的圖像處理算法.因此,開發專門針對事件流數據的處理算法變得迫在眉睫.GOMEZ等[13]提出了一個用于跟蹤目標的分層神經形態系統,該系統使用兩個地址事件表示(address event representation,AER)處理層以級聯方式工作,用于檢測不同的目標并跟蹤它們的交叉軌跡.ZONG等[14]使用移動最小二乘(moving least squares,MLS)表面擬合方法和局部平面擬合方法來處理事件流數據,以便跟蹤其中的目標.SANER等[15]通過結合事件相機和傳統相機進行目標跟蹤,其中傳統相機用于在圖像幀中跟蹤目標,事件相機用于捕捉連續幀之間的變化信息.LINARES等[16]提出了一個適用于事件流數據的FPGA框架,可以濾除不相關的噪聲并跟蹤具有不同運動狀態和尺寸的多個目標.LAGORCE等[17]利用多個不同視覺特征跟蹤目標,并使用多個不同的核函數組合來跟蹤傳入的事件數據的特征.

憑借其卓越的性能,基于事件的方法在空間目標跟蹤和檢測任務中逐漸受到重視.CHEUNG等[18]使用地面望遠鏡和事件相機獲取空間目標的數據,并提出了一種概率多假設跟蹤器的方法來獲取空間目標的運動軌跡.盡管提出的方法可以有效跟蹤空間點目標,但它需要頻繁地更新估計,這可能導致錯誤的軌跡.CHIN等[19]使用事件相機進行恒星跟蹤,提出了新的旋轉平均和光束法平差公式,并使用貝葉斯濾波進行后處理,實現了小于1°的均方根誤差.然而該方法依賴于點云配準,無法應用于資源受限的平臺.COHEN等[20]提出了一種新的空間目標成像方法,使用兩個不同的事件相機實現空間態勢感知.空間目標數據是由地面上的多個事件相機和傳統CCD傳感器收集的,可以成功地檢測和識別低地球軌道和地球同步軌道上的空間目標.BAGCHI等[21]提出一種基于事件的恒星跟蹤方法,使用多分辨率霍夫變換按照時間順序整合事件數據,并生成準確的相對旋轉,以獲取整個星場的事件數據.AFSHAR等[22]使用一系列事件相機構建了一個光學空間目標成像數據集,包括有標簽和無標簽的數據,并提出了一種基于事件特征的檢測和跟蹤方法.該方法由級聯事件濾波器組成,可以高速處理事件數據.SALVATORE等[23]提出了一個混合幀圖像和事件數據的檢測框架,使用Darknet圖像特征提取器與PointNet點云特征提取器結合提取事件數據特征,利用動態視覺技術來檢測地球同步軌道上的空間目標,提高背景中暗弱目標的檢測性能.RALPH等[24]提出了一種基于異步跟蹤的空間目標的快速迭代提取算法,作為事件驅動的空間態勢感知任務的跟蹤方法,有效解決了事件相機的異步和高時間分辨率問題.然而,在復雜背景下,該方法無法保證長期跟蹤的性能.此外,目前大多數處理事件流數據的方法傾向于將事件數據轉換成圖像幀格式,進而應用傳統的圖像處理技術[25].這類方法沒有直接處理異步事件流數據,從而未能充分發揮事件相機的獨特優勢.

針對上述提到的問題,本文提出了一種基于異步事件流的空間點目標跟蹤算法.利用單層脈沖神經元的時空近鄰特性濾除原始事件流數據中的噪聲事件,并得到候選目標.采用最近鄰軌跡關聯方法對所有候選目標進行跟蹤,得到其運動軌跡.根據空間目標和虛警目標的特征,構建了特征權重濾除方法,通過特征權重濾除虛警目標,得到空間目標的運動軌跡.

1 空間點目標跟蹤方法

基于異步事件流的空間點目標跟蹤方法,主要由單層脈沖神經元、最近鄰軌跡關聯和特征權重虛警濾除3個部分組成.空間點目標的原始事件流數據經過本文方法的處理后,可以直接獲得其運動軌跡,具體如圖1所示.

圖1 基于異步事件流的空間點目標跟蹤方法示意圖Fig.1 Schematic diagram of a space point object tracking method based on asynchronous event stream

1.1 時空相關性單層脈沖神經元去噪方法

與傳統的基于幀的視覺傳感器相比,事件相機在觀測目標和獲取數據的過程中,實際上模擬了生物視網膜的工作機制.事件相機輸出的事件流數據與生物神經元產生的脈沖信號極為相似.因此,基于模擬生物神經元的脈沖神經元模型非常適合于處理這種事件流數據.

目前,常用的脈沖神經元模型包括H-H模型[26]、積分點火模型[27]、脈沖響應模型[28]以及Izhikevich模型[29].在這些脈沖神經元模型中,積分點火模型因其適用于數學分析的特點以及較低的計算復雜度而受到青睞,尤其適用于涉及多脈沖神經元的計算任務.因此,相比于其他脈沖神經元模型,積分點火模型更適合處理事件流數據.

在使用事件相機檢測和跟蹤空間點目標時,每個時刻產生的空間點目標事件流數據通常僅包括單個或少數幾個像素,在特征上與事件流數據中的背景活動噪聲和熱噪聲極為相似[30],從而大大的增加了準確檢測空間點目標的難度.為了解決這一問題,本文提出了一種具有時空相關性的單層脈沖神經元去噪方法,能夠有效地濾除原始事件流數據中的噪聲,并能夠準確地檢測出空間點目標.

本文提出的時空相關性單層脈沖神經元去噪方法具體流程如圖2所示.首先,將事件相機獲取的原始事件流數據作為輸入.該事件流數據ei可以用數學形式表示為

圖2 時空相關性單層脈沖神經元去噪方法示意圖Fig.2 Schematic diagram of a single-layer spiking neuron

ei={xi,yi,ti}

(1)

式中,i為事件索引,xi和yi為事件相機上像素的空間位置,ti為事件的時間戳.

接著,為最新輸入的事件數據構建一個時空鄰域D,并將該事件數據輸入到一個脈沖神經元中

(2)

式中:L為每個輸入事件的空間鄰域的大小,為7×7像素大小的正方形區域;Δt為輸入事件之間的時間閾值,為10 ms.

如果后續輸入的事件數據出現在該時空鄰域內,則認為是由同一目標生成的事件數據,并將事件數據輸入到相應的脈沖神經元中.如果后續輸入的事件數據沒有出現在任何時空鄰域內,則認為該事件與之前的事件沒有時空相關性,將其輸入到一個新的脈沖神經元中,并構建一個新的時空鄰域:

(3)

最后,相應的脈沖神經元的膜電位會隨著事件數據的輸入而逐漸增加,直到達到激活閾值.為了更貼近真實生物神經元的特性,為每個神經元添加了一個漏電流項,使得脈沖神經元的膜電位能夠隨著時間逐漸下降,從而減少噪聲事件的影響.當某個脈沖神經元的膜電位達到激活閾值時,則認為檢測到了一個運動目標,將該神經元中積累的所有事件數據輸出,并將膜電位重置為靜息電位.反之,如果某個脈沖神經元膜電位降至0,則認為其中的事件數據全部為噪聲,進而將這些事件數據移除.以上過程可以用數學形式表示為

(4)

(5)

其中,Pth是脈沖神經元的激活閾值,具體為10.

1.2 最近鄰軌跡關聯方法

在從事件流數據中成功檢測出候選目標后,接下來的步驟是對這些目標進行持續的跟蹤.為此,本文采用了最近鄰運動軌跡關聯方法來跟蹤這些檢測到的候選目標.相較于其他的關聯方法,該方法進行運動軌跡關聯時,不僅快速高效,而且具有較低的計算復雜度[31].

對已經檢測到的候選目標進行運動軌跡估計,從而確定一個預測鄰域,也就是所謂的跟蹤門.將原始事件流數據與這個預測鄰域進行對比.如果事件數據出現在預測鄰域內,那么將這些事件數據視為該候選目標的后續事件.

第一步,估計和預測候選目標的運動軌跡,得到候選目標Oi的下一個事件出現的預測像素空間位置xp和yp.

候選對象的預測鄰域Dp定義為

Dp={x,y|x∈[xp,xp+Δx],y∈[yp,yp+Δy]}

(6)

其中,Δx和Δy表示候選目標中最后兩個事件數據的像素空間位置變化.

第二步,將后續輸入的事件數據與候選目標Oi的預測鄰域Dp進行比較.如果預測鄰域中只有一個事件出現,則該事件為候選目標的后續事件;如果預測鄰域中有多個事件出現,則選擇與預測事件最接近的事件作為候選目標的后續事件

(7)

其中,ej表示新輸入的事件.

第三步,如果只通過最近鄰方法將后續的事件數據進行關聯,一些噪聲可能被誤認為是目標并被錯誤關聯.針對這種情況,本文認為在短時間內,目標像素的空間位置的變化不會發生突變.因此,通過將預測鄰域中事件的像素空間位置的變化與候選目標平均像素空間位置變化進行比較,判斷預測鄰域中的事件是否屬于候選目標

(8)

1.3 特征權重虛警濾除

根據空間點目標的特點,本文設計了一種特征權重虛警濾除的方法.通過特征權重區分具有不同特征的目標,并保留空間點目標.

根據所有目標中空間點目標的特征,提出了運動特征和事件數據量特征.運動特征反映了目標是否是連續運動的目標,以及目標的運動方向和速度是否有突變,而事件數據量特征反映了目標運動軌跡中包含的事件數據的數量.

首先,計算每一個目標的運動變化信息

ΔX={Δx1,Δx2,…,Δxn-1}

(9)

ΔY={Δy1,Δy2,…,Δyn-1}

(10)

式中,ΔX和ΔY分別表示所有x方向運動變化和y方向運動變化的集合,Δx1=x2-x1,Δy1=y2-y1等,n表示運軌跡中事件的數量.

計算目標的運動特征

(11)

式中,F1表示目標的運動特征.F1的值越大,表示目標在某個方向上進行連續移動,并且移動的距離較長.相反,如果F1的值越小,表示目標在某個位置上幾乎沒有移動.

計算目標的事件數據量特征

F2=n

(12)

式中,F2表示物體事件數據量特征.F2的值越大,表示目標運動軌跡中包含的事件數據越多;相反,如果F2的值越小,表示目標運動軌跡中包含的事件數據越少.

下一步,將這兩個特征根據權重相加并進行歸一化

(13)

其中,m1、w1、m2和w2分別是運動特征和事件數據量特征的歸一化系數和權重,具體分別為1 000(經過實驗統計得到運動特征的值主要集中在1 000左右)、0.5、2 000(經過實驗統計事件數據量特征的值主要集中在2 000左右)和0.5.在本文中,兩個特征的權重均取值0.5,這是基于兩個特征具有相同的重要性.在最終的判斷過程中,這兩個特征平等地決定每個候選目標是否是空間點目標.

最后,判斷每個候選目標的特征是否符合空間點目標的特征,濾除其中的虛警目標:

(14)

其中,Fth是特征權重閾值.

2 實驗結果與分析

為了驗證所提出的方法的有效性和合理性,分別使用CeleX-V事件相機測量數據和公共空間目標事件數據集(EBSSA數據集)[22]進行驗證.

2.1 實驗數據

所使用的事件相機為CeleX-V視覺傳感器,該傳感器的空間分辨率達到了1 280 pixel×800 pixel,時域的最大輸出采樣頻率為160MHz,動態范圍為120 dB.該事件相機使用串行MIPI接口作為讀出接口,支持最高達2.4 Gb/s的傳輸速率[32].本文將該事件相機對著星模擬器進行拍攝,獲取了一個2等星亮度的運動目標的事件流數據,用于實驗驗證.

EBSSA數據集是西悉尼大學通過望遠鏡和事件相機結合獲取的空間目標的數據,其中包含具有單個空間目標以及多個空間目標的事件流數據.選取其中2個單目標事件流數據和2個多目標事件流數據,用于實驗驗證.

2.2 CeleX-V事件相機測量數據的結果

在使用事件相機獲取的空間點目標事件流數據中,存在大量的噪聲,主要包括隨機噪聲和熱噪聲.這些噪聲可能導致實際目標被淹沒,從而影響空間點目標的準確檢測和跟蹤.本文使用時間相關單層脈沖神經元去噪方法濾除事件數據中的噪聲,并從中提取出候選目標.在識別出候選目標后,通過最近鄰運動軌跡關聯來確定每個候選目標的運動軌跡.此外,本文還使用特征權重虛警濾除方法,以確保僅保留實際的空間點目標及其運動軌跡.

CeleX-V事件相機獲取的空間點目標原始事件流數據和最終跟蹤結果分別如圖3和圖4所示.從圖3中能夠看出原始事件流數據中包含著大量的噪聲,這些噪聲極大的影響了空間點目標的檢測和跟蹤.從圖4中可以直觀地看出,經過基于異步事件流的空間點目標跟蹤方法的處理,原始事件流數據中的噪聲已經基本上被全部濾除,保留下來了空間點目標的運動軌跡,有利于后續對空間點目標的識別和監視.

圖3 空間點目標原始事件流數據三維示意圖Fig.3 Three-dimensional illustration of raw event stream data for space point object

圖4 空間點目標三維運動軌跡Fig.4 Three-dimensional motion trajectory of space point object

表1為經過基于異步事件流的空間點目標跟蹤方法處理后,空間點目標事件流數據的總事件數據量、目標事件數據量和其他事件數據量的對比.從表1中可以看出,通過基于異步事件流的空間點目標跟蹤方法的處理,原始事件流數據中的大部分噪聲和虛警目標已經被過濾掉.具體數據為其他事件數量從8 430 712減少到717,減少了99.99%.然而,其中的空間點目標事件數量從1 540減少到1 430,只減少了7.14%,但在總事件數據量中的比例卻從0.02%增加到了66.60%,這說明經過基于異步事件流的空間點目標跟蹤方法的處理之后有效地保留了原始事件流數據中的空間點目標的事件.然而,最終結果中仍存在著少量的噪聲在目標的運動軌跡周圍,但幾乎不影響空間點目標的檢測和跟蹤,能夠從圖4中明顯地看出空間點目標的運動軌跡.

表1 事件數據數量及變化對比Tab.1 Comparison of event data quantity and changes

2.3 EBSSA事件數據集中數據的結果

AFSHAR等[22]提出了一種基于事件流相對密度的測量方法,包括靈敏度、特異度和信息量

(15)

(16)

信息量=靈敏度+特異度-1

(17)

具體的過程為:對于任意累積的幀,如果局部事件密度高于全局事件密度,則將該累積的幀視為正例,否則視為負例;在每個累積幀中,出現在標記目標周圍10 pixel半徑范圍內的事件被視為真,否則被視為假;將所有得到的真正例、真負例、假正例和假負例求取平均.

本文通過靈敏度、特異度和信息量這3個關鍵評價指標,對基于異步事件流的空間點目標跟蹤方法進行了評估,與文獻[22]中提出的幾種方法進行了比較,結果如表2所示.在表2中,與其他方法相比,基于異步事件流的空間點目標跟蹤方法在靈敏度、特異度和信息量這3個指標上均展現出一定的優勢,靈敏度為0.892,特異度為0.926,信息量為0.818.特別值得注意的是,靈敏度和信息量在所有對比的方法中最高.這一結果表明,基于異步事件流的空間點目標跟蹤方法能夠有效地從原始事件流數據中提取出目標生成的事件,并有效地濾除噪聲和虛警目標,從而實現準確的目標檢測和跟蹤.

表2 不同空間目標跟蹤方法的結果對比Tab.2 Comparison of results for different space object tracking methods

圖5～8展示了基于異步事件流的空間點目標跟蹤方法在EBSSA數據集中部分空間目標事件流數據上的運動軌跡檢測結果(在該事件數據集中,實際空間目標運動軌跡周圍10像素內的事件均被認為是由目標生成的事件,因此并不是真正的點目標).通過與該數據集中標記的實際空間目標的運動軌跡進行比較,本文提出的方法可以有效地檢測到單個對象或多個對象的運動軌跡.同時,由于原始事件流數據中存在大量噪聲且信噪比較低,還可以有效地過濾掉事件流數據中的噪聲,并保留由實際目標生成的事件.

圖5 空間目標SL-16R/B運動軌跡的人工標記與最終結果Fig.5 Artificial annotation and final result of the motion trajectory of space object SL-16R/B

圖6 空間目標SL-8R/B運動軌跡人工標記與最終結果Fig.6 Artificial annotation and final result of the motion trajectory of space object SL-8R/B

圖7 空間目標COSMOS運動軌跡人工標記與最終結果Fig.7 Artificial annotation and final result of the motion trajectory of space object COSMOS

圖8 空間目標ABS-6運動軌跡人工標記與最終結果Fig.8 Artificial annotation and final result of the motion trajectory of space object ABS-6

3 討論及分析

在天基空間目標光學觀測系統中,絕大多數被觀測的目標是移動的空間點目標,因此,快速有效地檢測出這些空間點目標顯得尤為關鍵.事件相機憑借其輸出的事件流數據具有異步稀疏的特性,特別適合于觀測快速移動的目標.然而,空間點目標與其他移動的目標不同,它們在圖像平面上僅占據極少數像素,幾乎不具備可辨識的特征信息.因此,在基于事件的空間點目標檢測中,主要挑戰在于如何從大量噪聲中準確識別出移動的空間點目標.

為解決這一問題,本文利用了移動空間點目標的時空特征和脈沖神經元的生物特性.與噪聲相比,連續移動的空間點目標產生的事件更加有序和集中.這些目標會在一段時間內持續出現,其運動軌跡規律且穩定,不會發生突變,而噪聲則恰恰相反.基于這些特點,可以有效地區分空間點目標和噪聲.

此外,與其他基于事件的空間點目標檢測方法不同,本文提出的基于異步事件流的空間點目標跟蹤方法不是將事件累積成幀,而是直接處理獲取的事件流數據.這樣充分利用了事件數據的異步稀疏特性,使得能夠在目標出現時迅速做出響應.同時,直接處理異步事件數據能夠有效節省存儲空間和計算資源,能夠滿足未來天基的應用需求.

與傳統的基于幀的視覺傳感器不同,事件相機獲取的事件流數據能夠高效地表征移動目標.在未來的空間態勢感知任務中,事件相機可以為空間目標的檢測和跟蹤提供重要支持,能夠對視野內移動的空間目標進行及時且準確的識別和判斷,從而為空間安全和活動提供強有力的支持.

4 結 論

本文提出了一種新穎的基于異步事件流的空間點目標跟蹤方法,并通過實際應用事件相機采集的空間點目標事件流數據和EBSSA數據集中的部分事件流數據進行了驗證.結果表明,該方法能夠有效地從原始空間點目標事件流數據中探測和跟蹤空間點目標,同時具有較強的抗噪聲能力.為了全面評估和驗證跟蹤結果的有效性,本文采用了靈敏度、特異度和信息量3個關鍵評價指標.在EBSSA數據集上,這3個指標分別達到了0.892、0.926和0.818.特別是靈敏度和信息量這兩個指標均超過了文中提到的幾種方法.這一結果表明,基于異步事件流的空間點目標跟蹤方法在探測和跟蹤運動的空間點目標方面具有更高的準確性.