基于事件相機的可視化及降噪算法

閆昌達，王霞，*，左一凡，李磊磊，陳家斌

（1.北京理工大學 光電學院，北京100081； 2.北京理工大學 自動化學院，北京100081）

事件相機（Event Camera）是一種新興的生物視覺傳感器，傳統幀相機（Frame-based Camera）通過固定的曝光時間以一定幀率采集圖像，事件相機則通過檢測每一像素點的事件——亮度變化，在亮度變化超過設定閾值時異步輸出像素地址事件流數據。傳統幀相機受限于軟硬件條件，幀率一般為15～200 fps（fps為幀/s），在高速運動的場景中會產生運動模糊。與此同時，在高動態的工作場景下會產生過曝與欠曝的現象，丟失場景部分細節信息。事件相機則具有高時間分辨率、高動態范圍的特點［1］，由于每一像素的異步輸出特性，沒有幀率的概念其響應時間可達到微秒級別，由于其檢測光強對數的變化，其動態范圍可達140 dB［2］。

事件相機的特性使其吸引了很多領域研究人員的關注，比如在圖像信息處理方面，關注的是圖像中的“邊”“角”等紋理邊緣信息，傳統幀相機得到的圖像存在很多冗余信息，增加了計算量和對硬件水平的要求，事件相機可以直接輸出稀疏的運動邊緣信息，簡化計算。此外，事件相機在視覺導航定位方向有應用潛力，在實際應用場景中，由于劇烈運動、光照條件變化、平臺功耗限制等影響，傳統幀相機存在運動模糊、過曝欠曝等限制［2］，運動劇烈時檢測的有效特征點減少，造成視覺信息不可靠［3］，事件相機則可以彌補這些不足。事件相機可應用于無人車、無人機、自主機器人以及增強現實（Augmented Reality，AR）和同時定位及地圖構建［4-5］（Simultaneous Localization and Mapping，SLAM）技術，相比于傳統幀相機具有低延時、高動態、抗運動模糊、低運算量的特點，可以提高導航系統的魯棒性［6］。

事件相機在實際應用上還存在問題。一方面事件相機由于其本身結構對環境亮度變化十分敏感，在輸出的異步事件流中包含大量噪聲干擾。噪聲可能來源于數字信號傳輸時的脈沖噪聲以及光電二極管所引起的高斯噪聲等，對于進一步的應用以及事件流可視化質量造成很大影響［7］。提高事件相機檢測亮度變化的閾值有助于降低噪聲，但是降低了對于物體運動引起的亮度變化檢測的靈敏度，造成信息丟失。所以，對于事件流進行降噪處理是非常重要的預處理環節。

蘇黎世聯邦理工學院的Delbruck教授團隊，提出了一種根據臨近事件發生時間的噪聲過濾方法［8］，通過在所發生事件的空間鄰域內記錄事件時間，并與鄰域內發生的下一事件的時間進行比較，若二者的時間差大于所設定的時間閾值，則將其作為噪聲過濾并刷新當前事件時間。該算法體現了事件流的時間和空間連續性，對于背景的噪聲具有較好的處理效果，但是其判斷相鄰事件時間間隔的方法可能在物體運動剛發生時造成有效事件被過濾的情況。中國科學院長春光學精密機械與物理研究所的呂恒毅等提出了一種基于事件密度的噪聲處理方法［9］。首先，利用基于當前事件的一個時空鄰域建立事件密度矩陣，通過計算矩陣的L1范數并與設定的閾值進行比較進行粗濾波。然后，利用粗濾波后的事件再次建立事件密度矩陣進行精濾波，并判斷除事件像素位置外其余元素是否全部為0，若全部為0則判斷為噪聲進行濾除。該算法可以對同一像素點連續出現的噪聲進行處理，但是一方面其時空鄰域的選取以及兩步濾波的方式，可能造成在運動起始或緩慢時大量有效事件被過濾。另一方面，異步事件流信息形式難以處理，且單一事件包含的信息過少，處理時需要集合事件進行處理，同時事件流信息不直觀，不利于人眼觀察，所以需要進行可視化處理以推進下一步工作?；谑录鄼C可視化的相關工作可以簡要分為2類：①針對事件流本身，通過固定時間窗口等方式獲得事件“幀”，便于進行進一步觀測和應用處理；②對事件流信息進行圖像重建，得到估計的強度圖像達到可視化的效果。

南洋理工大學陳守順等提出了一種事件流可視化方案，實現高低幀率調節，并在FPGA平臺驗證其有效性［10］。但該方法在高幀率時降低了事件“幀”包含的信息量，在平緩運動時得到的信息過少不利于進一步處理。西安電子科技大學的謝雪梅教授團隊進行了改進，利用重疊累積的方式，可以在保證高速的情況下也保證事件“幀”信息的豐富［7］。但是，兩“幀”之間包含的重復事件在進一步處理時可能會造成信息冗余。集合事件得到事件“幀”的方法，可以作為輸入，如特征檢測、位姿估計、神經網絡等。

格拉茨科技大學的Reinbacher等提出了一個由事件流進行實時灰度強度圖像重建，并且在重建過程中考慮相機噪聲對于亮度的影響的變分模型［11］。帝國理工學院的Davison教授團隊提出一種從事件流估計強度圖像和光流的滑動窗口變分優化算法，在快速運動和高動態范圍場景取得了較好的重建結果，在傳統幀相機發生運動模糊的情況下依然可以獲得運動物體邊緣輪廓［12］。澳大利亞國立大學的Mahony教授團隊提出了一種異步濾波器將事件流和強度圖像融合為高時間分辨率高動態范圍的圖像［13］。由事件流估計恢復強度圖像的方式主要為人眼觀察服務，或者以重建運動模糊、高動態范圍的圖像為目標，并不是為進一步的實際任務處理服務。

本文研究針對事件流信息的降噪處理以及前一種事件流可視化的方法，通過形成事件“幀”的形式可進行進一步基于事件相機的相關研究。利用物體邊緣運動引起的事件流所具有的時間和空間連續性，對事件流進行噪聲處理，本文選取的時空鄰域在運動起始和平緩時保留更多有效事件信息。對于處理后的有效事件利用事件數量以及時間閾值雙限制的方式累積事件形成事件“幀”，在運動平緩時可以保證幀率，體現事件相機低延時特性，運動劇烈時可以平均事件“幀”包含的事件數量，達到可視化及利于進一步應用目的。

1 事件相機原理及數據結構

事件相機的最早形式為動態視覺傳感器［13］（Dynamic Vision Sensor，DVS），其 像 素 結 構 如圖1（a）所示［14］。圖中：I為光電流；Vp為感光器輸出電壓；A=C1/C2為差分電路增益；V0為差分電路輸出電壓。每個像素獨立通過檢測光強對數的變化，如果變化的量超過設定的閾值，則根據其變化的情況輸出“變亮”或“變暗”事件同時記錄新的光強對數。DVS相機僅輸出單純的異步事件流信息，在一定程度上可以滿足計算的需求但是不直觀，不利于人眼觀察。

出于對DVS相機的改進，出現了結合事件和強度圖像的基于異步時間的圖像傳感器［14］（Asynchronous Time based Image Sensor，ATIS），以及可以輸出事件流也可以輸出強度圖像的動態與主動式像素視覺傳感器［15］（Dynamic and Active pixel Vision Sensor，DAVIS），其二者的像素結構如圖1（b）和圖1（c）所示。圖1（b）［15］中：Iph為光電流；Vdiff為差分電路輸出電壓。圖1（c）［16］中：Vpd為光電二極管PD電壓；Vpr為感光器輸出電壓；Ipr為偏置電流；Vdr為MN1下方電壓節點；Vaps為APS電壓。ATIS相機通過結合2個子像素的方法，ATIS相機的像素中1個子像素為DVS的像素結構，在其受到光強變化產生事件信號時激發另一子像素進行曝光成像，可以得到亮度變化超過閾值部分像素的強度圖像。

圖1 三種事件相機的像素結構Fig.1 Pixel structure of three event cameras

圖2 傳統幀相機和事件相機輸出對比Fig.2 Comparison of frame-based camera and event camera output

DAVIS相機則將DVS像素和傳統幀相機像素電路結合，利用同一個光電二極管作為APS像素和DVS像素的輸入，可以同時輸出異步的事件流信息以及同步的全局快門圖像。ATIS相機和DAVIS相機一定程度上解決了事件相機觀察不直觀的問題，但是對于輸出的事件流依然存在無法觀察的問題。事件流數據包含事件發生的像素位置、發生時間及事件極性，伴隨亮度變化產生，亮度不變則無數據，各像素間具有異步特性。而像素感受的亮度變化，一般由場景中運動物體邊緣與背景的差異造成，如圖2所示，具有空間稀疏性，所以事件流反映了場景的運動狀態，在劇烈運動時會產生密集的大量事件，在平緩運動時產生較少的事件輸出。所以利用固定時間窗口的方式，進行事件累積得到的事件“幀”如圖3（a）和圖3（b）所示，可以通過改變幀率的方式整體調整每一幀的事件量，但是不能改善運動狀態差異導致的幀間信息量差異。本文為保證事件流可視化的事件“幀”既包含足夠信息進行進一步處理，又盡量保證高時間分辨率特性，利用事件信息數量及時間閾值雙限制的方式累積事件得到事件“幀”，如圖3（d）所示。在形成事件“幀”時，發現事件流包含大量噪聲事件，在進一步處理過程中噪聲事件會造成干擾，所以在保證有效事件信息數量的情況下需進行噪聲處理，以得到適合進一步處理任務的事件“幀”。

圖3 事件流可視化方法對比Fig.3 Comparison of event stream visualization methods

本文假設事件相機零延時，所得到的事件流即邊緣運動信息，環境中的運動具有時間和空間連續性，所以其引發的事件流也具有時間和空間的連續性，而噪聲則具有隨機性，利用這種差異對事件流進行噪聲處理，并對得到的有效事件進行可視化，可為進一步的處理提供包含足夠數量的有效事件信息同時也盡量保持事件相機低延時的特點，實驗結果證明了本文可視化及降噪算法的有效性。

2 事件流的可視化及降噪算法

事件相機輸出的異步事件流代表像素點亮度變化超出閾值，單個事件可以表示為eventi=（xi，yi，ti，pi），i為序號，（x，y）為事件發生的像素位置坐標，t為事件發生時間，p∈｛0，1｝表示事件極性（0代表亮度變暗，1代表亮度變亮）。假設事件相機零延時且無噪聲干擾，則t時刻物體邊緣運動所引起的事件集合可以表示為

式中：N為物體邊緣在事件相機成像區域中所占的像素點數。假設噪聲noise表示為式（2），j為序號，Nnoise為噪聲事件點像素數，則實際事件流集合event′表示為式（3）。

實際處理中，事件相機也具有一定延時且不同邊緣位置與背景亮度變化差異不一定一致，同時運動的物體邊緣并非反應在事件流的絕對同一時刻。所以，一般需要一定的時間窗口進行事件累積。

2.1 基于時間空間連續性的噪聲處理

根據假設物體邊緣運動所引起的事件流具有時間和空間連續性，而噪聲具有隨機性，所以通過對某時刻的所有事件進行判斷其前后時刻的相鄰空間是否有相關事件發生即可判斷此事件是否為噪聲?？紤]實際事件相機存在低延時將前后時刻擴展為時間窗口長度為Δt的（t-Δt，t+Δt）時間窗口，將事件eventi需要計算的去心鄰域表示為式（4），設L為空間窗口長度，則事件eventi是否為噪聲可以通過式（5）判斷。

通過噪聲處理將得到的噪聲事件eventno去除，得到有效事件eventef進行下一步累積事件的可視化處理。

2.2 事件數量和時間閾值雙限制的累積事件“幀”

將噪聲處理后得到的有效事件在一定時間窗口內進行事件累積，形成事件“幀”是最簡單的可視化方法之一，但是場景環境運動狀態會導致單位時間得到的事件信息量不均勻，進而導致運動平緩時所形成的事件“幀”包含事件信息過少，運動劇烈時所形成的事件“幀”包含事件信息過多，均不利于進一步應用處理。通過重疊累積事件的方式可以提高平緩運動時的信息量且保證高幀率，但是劇烈運動時依然會造成事件過多，且重復累積的事件在進一步處理中產生冗余。

若為保證事件“幀”包含信息量一致采用累積等量事件的方式，可以保證在運動平緩和劇烈時均得到包含更利于進一步處理的事件信息量的事件“幀”。但是，在運動平緩時累積一幀所需時間較長，導致事件“幀”包含大量“過時”信息。

噪聲處理及可視化算法如下：

1.初始化起始時間t0，累計事件數量n=0。

2.輸入事件eventi，確定其去心鄰域U·（eventi，L，Δt）。

3.根據式（5）判斷事件點為噪聲點還是有效事件點，若為噪聲點返回步驟2，若為有效點記錄eventefn，n+1。

4.判斷ti-t0＞Tth，若成立執行步驟6。

5.判斷n＜Nth，若成立返回步驟2。

圖4 本文算法結構示意圖Fig.4 Structure of proposed algorithm

3 實驗與分析

為驗證和分析事件流可視化及降噪效果，本文在真實事件數據集上進行實驗和測試。數據集由ETH Zurich的傳感器實驗室利用DAVIS 240C型號的事件相機獲取，采用其中城市部分環境采集數據［17］。DAVIS 240C分辨率為240×180，動態范圍為120 dB，最小敏感度為11%，最小延時為12μs。

實驗分別比較固定時間窗口、重疊累積、固定事件數量、時間和事件雙限制4種事件“幀”形成方法，并且進行事件流降噪前后對比。如圖5～圖10所示。選取的場景1為運動較平緩時刻，場景2為運動較劇烈時刻。

由圖5（b）～圖5（d）、圖7（b）～圖7（d）可以看出，利用運動邊緣引起的事件流的時間和空間的連續性，可以對背景處的噪聲進行較好的處理，但是在物體邊緣的噪聲依然存在。圖5（c）中對于噪聲處理較好，但是由于場景1的運動較為平緩，大量有效事件也被濾除，丟失大量場景物體邊緣信息。由表1、表2可以看出，運動越平緩事件去除率越高，其中文獻［9］事件去除率最高，導致檢測事件數量嚴重降低，尤其在平緩運動時損失過多物體邊緣信息，本文噪聲處理方法相比于文獻［9］的方法，在運動起始或緩慢時可以保存更多細節邊緣事件信息，相比于文獻［8］的方法，噪聲處理中改變的時空鄰域可以獲得更多的事件點，在運動越平緩時效果越明顯。圖6、圖8展示了降噪處理后進行角點檢測［18］的效果，可以看出，噪聲處理可以有效降低噪聲事件對角點檢測的干擾，當運動平緩時本文降噪方法保留更多的事件信息，可以提升有效角點檢測數量。

圖9、圖10中，圖（a）、（b）為固定時間窗口處理方式；圖（c）、（d）為文獻［7］的重疊累積處理方式；圖（e）、（f）為固定事件數量處理方式；圖（g）、（h）為雙重限制方法，XX/YY意義同上。由圖9、圖10對比可以看出，在平緩運動狀態和劇烈運動狀態下事件隨時間分布不均勻，圖9（a）、（b）和圖10（a）、（b）按照固定時間窗口的方式累積事件會造成事件“幀”包含信息量產生差異，運動平緩時可能導致信息不足，運動劇烈時可能造成物體邊緣模糊。利用重疊累積的方式，可以在保證與固定時間窗口相同事件信息量的情況下提高幀率，但是依然無法解決事件隨時間分布不均，導致事件“幀”包含信息過多或過少的問題。圖9（e）、（f）和圖10（e）、（f）按照事件數量進行事件“幀”累積，可以保證均勻的信息量。但是，在運動十分平緩時會造成一幀輸出時間過長同時包含大量“過時”事件，丟失了事件相機的低延時優勢。本文方法如圖9（g）、（f）和圖10（g）、（h）所示，可以在運動劇烈時保證事件“幀”信息相對均勻分布，在運動平緩時按照時間輸出事件“幀”，保持了事件信息的低延時特性。

圖5 噪聲處理效果圖（場景1）Fig.5 Noise processing（Scene 1）

圖6 角點檢測效果圖（場景1）Fig.6 Corner detection（Scene 1）

圖7 噪聲處理效果圖（場景2）Fig.7 Noise processing（Scene 2）

圖8 角點檢測效果圖（場景2）Fig.8 Corner detection（Scene 2）

圖9 不同參數3種可視化方法對比（場景1）Fig.9 Comparison of three visualization methods with different parameters（Scene 1）

在進行噪聲處理后，不同可視化方法處理得到的事件“幀”幀率以及平均包含事件數量，在噪聲處理后，平均包含事件數量以及事件數量方差可以一定程度反應不論運動劇烈或平緩，事件“幀”包含信息的均勻性，如表3和表4所示?？梢钥闯?，重疊累積的方式可以有效提高幀率，但是無法改善事件隨時間分布不均的問題，按照事件數量累積可以使事件“幀”的事件信息平均，但是在平緩運動的情況下幀率過低，本文方法可以有效降低事件數量方差，提高事件“幀”信息的均勻性。

圖10 不同參數3種可視化方法對比（場景2）Fig.10 Comparison of three visualization methods with different parameters（Scene 2）

表1 噪聲處理后事件數量統計（場景1）Table 1 Counts of the number of events after noise processing（Scene 1）

表2 噪聲處理后事件數量統計（場景2）Table 2 Counts of the number of events after noise processing（Scene 2）

表4 事件“幀”幀率及事件方差統計（場景2）Table 4 Frame rate and variance of events number（Scene 2）

4 結 論

本文利用運動邊緣引起的事件流具有時間和空間的連續性進行噪聲處理，并利用事件數量和時間閾值雙重限制的方法進行事件流可視化。本文通過對真實數據集進行實驗表明：

1）基于事件流時空連續性的噪聲處理方法可以降低事件噪聲，時空鄰域的選取在運動起始和平緩時也可以保留更多事件信息。

2）事件數量和時間閾值雙限制的可視化方法可以為進一步任務提供事件“幀”，在運動平緩時可以保證事件“幀”輸出的低延時特性，運動劇烈時可以平均事件“幀”包含的事件信息量。

后續工作將會針對物體邊緣依然存在噪聲殘余的問題以及算法結構進行優化，降低運行時間。未來將進一步進行基于事件相機的檢測、跟蹤、定位等視覺導航任務研究。