AER時域視覺傳感器總線仲裁建模與仿真分析

楊 帥，胡燕翔，徐江濤

（1.天津工業大學計算機科學與軟件學院，天津 300387；2.天津師范大學計算機與信息工程學院，天津 300387；3.天津大學電子信息工程學院，天津 300072）

AER時域視覺傳感器總線仲裁建模與仿真分析

楊 帥1，胡燕翔2，徐江濤3

（1.天津工業大學計算機科學與軟件學院，天津 300387；2.天津師范大學計算機與信息工程學院，天津 300387；3.天津大學電子信息工程學院，天津 300072）

以視覺傳感器設計為背景，對AER時域視覺傳感器的總線仲裁進行建模，并對事件取樣、AER仲裁和目標跟蹤進行仿真分析.實驗結果表明：AE事件數量僅占全部像素數目的5%～10%，事件集中優先仲裁方式比特定區域優先仲裁方式和輪權仲裁方式在高速目標跟蹤應用上準確率高10%～20%.因此可知：基于AE數據的目標跟蹤更加高效，并且事件集中優先仲裁方式更適合于高速目標跟蹤應用.

地址-事件表示（AER）；視覺傳感器；模擬器；仲裁；目標跟蹤

圖像是人類獲取信息的最主要來源，機器視覺技術已在各類智能分析、識別和控制系統獲得廣泛應用[1].隨著圖像空間與時間分辨率的提高，目前“幀采樣”成像和處理方式不但對圖像傳輸、存儲帶來巨大壓力，也給高實時性視覺應用帶來巨大的處理速度要求[2].

根據神經形態工程學的研究成果，生物視覺系統的感知和傳導具有大規模并行、超稀疏表示、事件驅動、異步傳輸的特點[3-4].基于地址-事件表示的時域視覺傳感器（address-event representation vision sensor，AER VS）[5]模仿生物視覺系統原理，每個像素自主監測所感知的光強變化，光強變化達到設定閾值的像素主動產生事件輸出[6-7].這些異步變化事件通過具有仲裁功能的AER控制器串行輸出.變化采樣與輸出相對于傳統“幀采樣”圖像傳感器的全部采樣與輸出，從源頭上消除了冗余數據，同時具有實時動態響應等特點，適合于高速目標跟蹤、工業自動化和機器人視覺等應用[8-10].

1992年Mahowald[11]首次提出仿生視覺傳感器的概念.2005年以后AER VS成為研究熱點，在電路與芯片設計、信號處理方面取得了諸多成果.美國約翰霍普金斯大學Mallik等[12]提出幀差探測電路結構，首次使用CMOS有源像素來檢測入射光強度的絕對變化.第一個AER VS由Kramer[13]提出，組合了Delbuck等[14]的自適應光電探測器和校正/閾值保持差分單元.Lichsteiner等[15]實現了128×128像素陣列的異步AER VS，動態范圍達到120 dB，延遲響應15 μs.Posch等[16]采用時間自適應ON/OFF電路，像素采集和復位自動完成. Juan等[17]在像素中加入前置放大器，使延時減小到3.6μs.Olsson等[18]和Berner等[19]提出在像素不同結深處集成感知紅光和藍光的雙結，通過2個PFM讀出電路實現雙色AER VS.在AER視覺信息處理方面，Litzenberger等[8-9]研究了AER實時多車道車輛跟蹤技術，Drazen等[10]研究了AER粒子跟蹤速度計，Kogler等[20]開展了AER立體視覺研究.

雖然近年來AER VS研究在國際上獲得了大量的關注，但國內尚處于起步階段[21]，同時國際上關于AER VS的系統建模和仿真研究尚未見發表.本文以設計AER VS芯片為目標，通過AER VS行為建模為電路和AER事件處理算法設計提供理論分析和測試基礎.

1 AER傳輸方式原理

AER傳輸方式以仿生神經工程學為理論原型，將生物由刺激產生神經激勵并通過神經突觸并行輸出的傳導方式，模擬為通過電子系統的串行總線輸出變化事件的位置、時間及屬性[22].在AER VS中，感知到光強變化的像素主動向仲裁器發出申請，經仲裁許可后以串行脈沖方式輸出，內容包括事件地址、時間以及屬性.AER原理如圖1所示，一維單一事件以脈沖形式異步串行輸出，觸發其所在行的地址編碼器實時輸出行地址.接收電路根據接收到的行地址和接收編碼的時間還原事件的屬性和行地址信息.

圖1 一維事件AER方式原理Fig.1 One-dimensional event AER theory

AER VS中所有像素共用AER串行總線，同時發生的傳輸請求將產生沖突，因此需要進行仲裁.在事件量較小的情況下，AER可以實現實時輸出；但在像素陣列較大、運動目標或噪聲較多的情況下，同時發生的事件會存在較大的輸出時差，會對后端的目標形狀識別準確率造成較大影響.因此片上仲裁電路設計對于AER VS的性能具有關鍵作用.

2 AER視覺傳感器模擬器

2.1 AER視覺傳感器系統總體結構

AER視覺傳感器的總體結構如圖2所示.像素電路包括光強變化檢測、測量比較以及傳輸控制電路三部分：光強變化探測電路連續監測該位置光電流的變化，在光電流發生變化的情況下，啟動測量比較電路；測量比較電路將設定時間內的變化光電壓ΔV與設定閾值電壓VH、VL進行比較，當ΔV大于VH或小于VL時則啟動輸出控制電路；輸出控制電路向仲裁模塊提出輸出請求，獲得許可后將地址及事件屬性寫入AER總線；I/O控制電路同時將當前時間戳添加入該事件，并發出事件輸出信號.

圖2 AER視覺傳感器總體結構圖Fig.2 AER vision sensor overall structure

仲裁模塊分為行仲裁和片上仲裁兩級，各行中的申請信號進行“或”運算后送往片上仲裁；片上仲裁按照優先規則確定獲得AER使用權的行；獲得允許的行仲裁器按照優先規則確定行內像素的輸出順序；此外行仲裁器向被允許輸出像素發出復位信號，使其開始下一輪探測與采樣.

控制與時間標記單元負責芯片內部時序與控制、接受外部控制參數寫入相應寄存器等；當有事件輸出時，負責將當前時間戳寫入事件，因此事件攜帶的時間戳與其事件發生時間之間存在誤差.

2.2 行為級模擬器結構

本文實現的行為級模擬器結構如圖3所示.使用高速相機或高速視頻作為數據源，將每個像素的光強變化擬合為一維連續時間函數，在添加模擬噪聲后異步產生指定時間精度的AER事件.當前時間所有發生事件的像素向仲裁模塊提出輸出申請，獲得輸出許可的像素向輸出事件隊列的當前時刻添加本事件，然后該像素復位開始下一次的變化檢測.

圖3 AER VS模擬器結構圖Fig.3 AER VS simulator structure

仲裁器接受來自像素陣列的輸出申請，根據仲裁規則對同一時刻產生的多個變化事件進行判斷選擇.仲裁器性能對于后端跟蹤識別算法的實時性和準確率具有很大影響.本文實現輪權仲裁、特定區域優先、事件集中優先3種仲裁方式.

圖4給出3種仲裁模式的比較性示意圖，圖中深色單元表示同一時刻發生變化事件并發出AER輸出申請的像素.圖4（a）、（b）、（c）分別給出輪權仲裁、特定區域優先及事件集中優先3種仲裁方式的示意圖，左側所標數字為該行的優先級.行內按中間最高、兩邊最低的優先級仲裁.

圖4 3種仲裁方式的比較Fig.4 Comparison of three arbitration modes

（1）進輪權仲裁：按照行序輪轉分配優先權（無AE產生的行優先級最低），如圖4（a）所示.這種仲裁方式使每行的優先權相對平均，整體上各行的AER輸出優先級相同.該方式輪流輸出全部變化信息，但當電路存在較多噪聲或干擾事件時，主要目標的事件輸出時間間隔會較長，不利于主要目標的跟蹤識別.

（2）特定區域優先：將優先輸出指定的N行，其他行按照由內及外的次序設定.該區域通過SPI總線寫入控制寄存器設定.優先輸出指定區域的事件，會使得主要目標的所有事件輸出間隔縮短.但由于外圍系統接收、統計事件的集中區域可能需要較長時間，因此實時性差.如圖4（b）指定3～7行具有較高優先級，能夠更快輸出.但如果關注目標較快移動到4～8行而特定區域坐標未被重寫，則關鍵事件輸出被延后.該方式的優點是電路設計較為簡單.

（3）事件集中優先：由片上控制電路周期統計并確定事件高發區域的優先權，如圖4（c）所示.根據上一周期的統計，事件較多的行將具有較高的優先權.此方式能夠自適應提高獲取場景關鍵信息的速度，當關注目標在視場中的位置發生移動時，能夠快速改變優先輸出區域的位置，實時輸出主要關注目標的AE數據.缺點是電路實現代價較高，增加芯片面積.

經仲裁處理后的AE事件按照時間順序將形成如圖5所示的事件隊列，此事件流由后端處理系統接收處理.

事件所含時間戳并非事件發生的準確時間，而是該事件的AER輸出時間.因此事件集中優先仲裁可使主要目標的識別更為準確.

圖5 AER模擬器輸出事件隊列Fig.5 Event queue for AER simulator output

3 實驗結果及分析

為比較不同仲裁方式對于目標跟蹤算法的影響，使用一段高速公路監控視頻作為輸入進行測試，該視頻來自于www.youku.com，視頻分辨率為320×240，幀頻30幀/s，幀數1 329，其間共72輛車駛過.該視頻中目標運動的速度較快（約100km/h），且視頻中有明顯的光照變化和干擾信息，比較適合作為測試數據.該視頻中車輛是主要的運動目標，因此選擇其作為跟蹤目標進行實驗.3種仲裁方式下的輸出事件如圖6所示.

圖6 3種仲裁模式下的輸出事件Fig.6 Output events in three arbitration modes

圖6（a）為截取的相鄰兩幀，圖6（b）—圖6（d）為3種仲裁方式下（a）與其前一幀和（b）與（a）間的變化事件，背景設為灰度值128，白色表示“光強增加”事件，黑色表色表示“光強減小”事件.圖中變化事件主要由右側運動車輛尾部產生，在中部和右上存在燈光干擾.

3.1 輸出事件量比較

圖6（b）為在輪權仲裁方式下獲得的“事件圖像”，完整包含了全部變化，輸出的事件量分別是4 854和4 645，占到全部像素數目的6.32%和6.05%.

圖6（c）為特定區域優先方式下獲得的“事件圖像”，優先輸出上200行的事件.同時為了減少干擾事件，忽略優先級最低的10行事件，實際輸出事件量為4 013和3 902，占到全部像素數目的4.65%和4.52%.

圖6（d）為事件集中優先方式獲得的“事件圖像”，忽略優先級最低的10行事件，優先輸出以大型卡車為中心的事件（優先下200行），實際輸出事件量為4 087和3 965，占到全部像素數目的4.73%和4.59%.表1為上述AE數據量的對比.

表1 不同仲裁方式下AE事件量比較Tab.1 Comparison of events number under different arbitrations

由表1可見，該例中變化事件量不足全部像素的7%，說明圖像中存在很大冗余，背景重復采樣并不必要.按照‘幀采樣’模式估計，等效幀頻可以提升至600幀以上（不考慮光強限制）.此外由于丟棄了10行最低優先級事件，因此不同仲裁模式輸出事件量略有差異.

3.2 使用全部事件的跟蹤準確率比較

為評價不同仲裁方式對基于事件的目標跟蹤算法的影響，使用文獻[23]提出的目標跟蹤算法對上述3種輸出事件流進行處理.算法原理是將AE事件按位置分簇后形成簇列表，根據AE事件動態更新簇中心、半徑等屬性，根據中心位移估算速度、方向等信息.

將3種事件流的全部事件作為事件源進行跟蹤準確率測試，結果如表2所示（1 329幀，72個經過目標；雙核2.2 G CPU，3.6 G內存）.

分析表2中不同仲裁方式對跟蹤準確率的影響可見：由于包括全部存在干擾事件，輪權仲裁方式的跟蹤時間最長，跟蹤準確率最低；由于濾除部分干擾事件，特定區域優先方式的跟蹤時間小于輪權仲裁，與事件集中優先近似；由于特定區域未包含主要目標，因此跟蹤準確率較低；事件集中優先方式耗時與特定區域優先近似，準確率最高.

表2 不同仲裁方式下跟蹤準確率比較Tab.2 Comparison of tracking accuracy under different arbitrations

3.3 使用部分事件的跟蹤準確率比較

由于變化事件中包含了噪聲以及光照等影響因素，并且這些噪聲事件以隨機順序輸出，而且跟蹤算法使用“事件簇”的方式來記錄分析目標的運動屬性，因此在多目標、高速的情況下并不需要使用全部事件來進行處理.表3給出3種仲裁方式下使用部分事件的跟蹤準確率.

表3 不同仲裁方式下部分事件跟蹤準確率比較Tab.3 Comparison of tracking accuracy using partial events under different arbitrations %

由表3可見：3種仲裁方式跟蹤準確率隨事件量的變化關系一致，跟蹤準確率隨使用事件量增加而上升，約在70%時達到最大，然后逐漸下降，原因是隨事件量增加，位于主要‘事件區’之外的干擾事件被輸出，導致跟蹤準確率下降；與表2的結論相同，3種仲裁方式中事件集中優先在相同事件量下具有最高的跟蹤準確率；基于‘事件簇’的跟蹤算法通過事件聚集的特點進行目標跟蹤，并不考慮事件的位置分布，因此可以使用較少的事件量提高準確率.

4 結束語

本文以仿生AER VS設計研究為基礎，進行了AER VS總線仲裁建模和仿真.通過對高速運動場景進行測試，為芯片及后端處理系統設計提供了理論數據和指導.大量實驗表明，通常情況下變化事件數量僅占全部像素數目的5%～10%，因此AER VS從源頭上消除冗余信息，顯著提高采樣以及跟蹤處理速度.在使用的3種總線仲裁方式中，事件集中優先較其他方式具有更高的跟蹤準確率，并且跟蹤效率更高.因此事件集中優先的仲裁方式更適宜于目標跟蹤應用.本文進一步的工作包括有效的時間戳誤差標定方法以及高性能AER事件跟蹤算法.

[1]SUZUKI T.Challenges of image-sensor development[C]//Solid-State Circuits Conference Digest of Technical Papers.2010：27-30.

[2]YANG H X，SHAO L，ZHENG F.Recent advances and trends invisualtracking：Areview[J].Neurocomputing，2011，74（6）：3823-383.

[3]VOGELSTEIN R J，MALLIK U，CAUWENBERGHS G.Beyond address-event communication：Dynamically reconfigurable spiking neural systems[J].The Neuromorphic Engineering，2004，1（1）：1-12.

[4]LIU S D，DELBRUCK T.Neuromorphic sensory systems[J]. Current Opinion in Neurobiology，2010，20（3）：288-295.

[5]DELBRUCK T，LINARES-BARRANCO B，CULURCIELLO E，et al.Activity-driven，event-based vision sensors[C]//Proceedings-IEEE International Symposium on Circuits and Systems.2010：2426-2429.

[6]POSCH C，MATOLIN D.Sensitivity and uniformity of a 0.18 m CMOStemporalcontrastpixelarray[C]//IEEEInternationalSymposium on Circuits&Systems.2011：1572-1575.

[7]LENERO-BARDALLO J A，SERRANO-GOTARREDONA T，LINARES-BARRANCO B.A 3.6 μs latency asynchronous frame-free event-driven dynamic-vision-sensor[J].IEEE Journal of Solid-State Circuits，2011，46（6）：1443-1455.

[8]LITZENBERGER M，BELBACHIR A N，DONATH N，et al. Estimation of vehicle speed based on asynchronous data from a silicon retina optical sensor[C]//Intelligent Transportation Systems Conference.2006：653-658.

[9]LITZENBERGER M，KOHN B，GRITSCH G，et al.Vehicle counting with an embedded traffic data system using an optical transient sensor[C]//Intelligent Transportation Systems Conference.2007：36-40.

[10]DRAZEN D，LICHTSTEINER P，FLIGER P，et al.Toward real-time particle tracking using an event-based dynamic vision sensor[J].Experiments in Fluids，2011，51（5）：1465-1469.

[11]MAHOWALD M.VLSI snalogs of neuronal visual processing：A synthesis of form and function[D].California：California Institute of Technology，1992.

[12]YU C M，MALLIK U，CLAPP M A，et al.CMOS camera with in-pixel temporal change detection and ADC[J].IEEE Journal of Solid-State Circuits，2007，42（10）：2187-2196.

[13]KRAMER J.An integrated optical transient sensor[J].IEEE Transactions on Circuits and Systems II，2002，49（9）：612-628.

[14]DELBRUCK T，MEAD C A.Adaptive photoreceptor with wide dynamic range[C]//IEEE International Symposium on Circuits and Systems.1994：339-342.

[15]LICHTSTEINER P，POSCH C，DELBRUCK T.A 128×128 120 dB 30 mW asynchronous vision sensor that responds to relativeintensitychange[C]//Solid-StateCircuitsConference.2006：2060-2069.

[16]POSCH C，MATOLIN D，WOHLGENANNT R.An asynchronous time-based image sensor[C]//IEEE International Symposium on Circuits and Systems.2008：2130-2133.

[17]JUAN Antonic L B，TERASA S G，BERNABE L B.A 3.6 μs latency asynchronous frame-free event-driven dynamic-vision-senser[J].IEEE Journal of Solid-State Circuits，2011，46（6）：1443-1445.

[18]OLSSON J A M，HAFLIGER P.Two color asynchronous event photo pixel[C]//IEEE International Symposium on Circuits and Systems.2008：2146-2149.

[19]BERNER R，DELBRUCK T.Event-based color change pixel in standard CMOS[C]//IEEE International Symposium on Circuits and Systems.IEEE，2010：349-352.

[20]KOGLER J，SULZBACHNER C.Bio-inspired stereo vision system with silicon retina imagers[C]//International Conference on Computer Vision System.2009：174-183.

[21]于璐，姚素英，徐江濤.一種基于地址－事件表達的實時視覺傳感器實現方法[J].光學學報，2013，33（1）：251-257. YU L，YAO S Y，XU J T.An implementation method of realtime vision sensor based on address event representation[J]. Acta Optica Sinica，2013，33（1）：251-257（in Chinese）.

[22]BOAHEN K A.Point-Point connectivity between neuromorphic chips using address events[J]．IEEE Transactions on Circuits and Systems，2000，47（5）：416-434.

[23]LITZENBERGER M，POSCH C，BAUER D，et al.Embedded vision system for real-time object tracking using an asynchronous transient vision sensor[C]//Digital Signal Processing Workshop.2006：173-178.

Modeling and emulation of address-event representation vision sensor bus arbitration

YANG Shuai1，HU Yan-xiang2，XU Jiang-tao3
（1.School of Computer Science&Software Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.College of Computer and Information Engineering，Tianjin Normal University，Tianjin 300387，China；3.School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China）

An emulator of AER vision sensor bus arbitration is implemented and is used to emulate the process of event sampling，AER artribution and object tracking.Experimental result indicates that the visual information generated by AER vision sensor is only 5%-10%of the total number of image sensor pixels，and the object tracking accuracy of event-aggregation arbitration is higher than that of specific region arbitration and round-robin arbitration in high-speed object tracking applications by 10%-20%.So object tracking based on AE data is more efficient，and event-aggregation artribution has more efficiency for the applications of high speed object tracking.

address-event representation（AER）；vision sensor；emulator；arbitration；object tracking

TP212

A

1671-024X（2016）06-0084-05

10.3969/j.issn.1671-024x.2016.06.015

2016-03-14

國家自然科學基金資助項目（61274021）；天津市科技重大專項與工程計劃資助項目（15ZXHLGX00300）

楊 帥（1988—），男，碩士，助教，主要研究方向為數字信息處理，E-mail：yangshuaimail@139.com