一種高效的復雜事件處理引擎Esper

喻學軍 肖蓓

(福建師范大學數(shù)學與信息學院,福建福州 350007)

0 引言

復雜事件處理(Complex Event Process)是一組已定義的工具和技術,用于分析和控制驅(qū)動現(xiàn)代分布式信息系統(tǒng)的一系列相互關聯(lián)的復雜事件[1]。決策支持系統(tǒng)有很多種形式,其中一種就包括復雜事件處理,從簡單事件流中推導出復雜決策是CEP提供的基本能力。簡單事件可能觸發(fā)系統(tǒng)中的狀態(tài)轉(zhuǎn)換,通過與預定義的事件模式進行對比,可以了解復雜事件的關系。復雜事件處理引擎將外部收集到的事件流作為輸入,并對其進行連續(xù)和及時的處理,以關注更高層次的事件中發(fā)生了什么。例如:網(wǎng)絡入侵檢測系統(tǒng)實時分析網(wǎng)絡流量,以確定可能的攻擊;環(huán)境檢測應用處理來自傳感器網(wǎng)絡的原始數(shù)據(jù),以確定污染的程度[2]。復雜事件處理技術可以作為一種解決方法廣泛應用在決策支持,大數(shù)據(jù)分析等領域。

1 Esper介紹

Esper是一種用于復雜事件處理(CEP)和流分析的引擎[3],具有可擴展性強,內(nèi)存效率高,內(nèi)存計算,低延遲,高吞吐,實時流處理的特點,用于在線和離線數(shù)據(jù)的事件分析。Esper提供了一種事件處理語言(EPL),它是一種用于處理基于時間的高頻事件數(shù)據(jù)的聲明性語言,實現(xiàn)和擴展sql標準,并支持針對事件和時間的豐富表達式。同時,Esper可以在單機和分布式環(huán)境中運行,不依賴外部環(huán)境。Esper能夠應用在業(yè)務過程管理和自動化、金融、網(wǎng)絡和應用程序監(jiān)控以及傳感器網(wǎng)絡等領域。

1.1 EPL

事件是已經(jīng)發(fā)生的事實,新的事件只能夠添加到事件流中,而不能從事件流中移除。在Esper中,流(Stream)是CEP的主要構建模塊。Esper引擎中的計算執(zhí)行是以事件流作為基礎,并使用標準表達式描述關注的事件模式,在Esper中,標準表達式稱為事件處理語言(Event Processing Language)。EPL語句允許指定關注的事件模式,并將其部署到Esper復雜事件處理引擎上,Esper將流定義為按時間排序的事件序列。首先,將簡單事件流輸入到Esper引擎中;隨后,Esper引擎執(zhí)行一系列轉(zhuǎn)換,以確定是否滿足感興趣的事件模式(例如:用于檢測違反某條規(guī)則)。EPL是一種用于處理基于時間的高頻事件數(shù)據(jù)的聲明性語言,實現(xiàn)和擴展sql標準,并支持針對事件和時間的表達式,EPL的構造器允許構建復雜且相互關聯(lián)的查詢語句,這些查詢語句將展示系統(tǒng)中隱式發(fā)生的復雜事件。EPL的基本語法如下所示:

在EPL中的select語句指定要在目標表達式中檢索的事件屬性或事件;From語句指定要使用的事件流定義和事件名稱;where子句指定搜索條件,這些條件指定要搜索的事件或事件組合;可選的window語句指定事件時間和事件數(shù)量。除了以上這些,EPL還提供了內(nèi)連接、外連接等操作。

1.2 Esper的特點

在Esper引擎中,事件輸入的類型可以是java對象、Map接口的實現(xiàn)、JSON格式的文檔、Object數(shù)組、Avro或者XML文檔,Esper支持所有事件類型的繼承和多態(tài),事件可以包含簡單類型的屬性、索引類型的屬性、映射類型的屬性、嵌套類型的屬性以及動態(tài)類型的屬性。

Esper提供一種數(shù)據(jù)窗口,包括滑動窗口,滾動窗口以及組合窗口。數(shù)據(jù)窗口用于管理事件保留在引擎中的時間,通知引擎對關注的事件需要保留多長時間,或者滿足特定條件,引擎將丟棄事件。比如:引擎使用時間窗口對所有事件保留10s。在Esper中,命名窗口是全局可見的窗口,允許在查詢時有效地共享事件集,使得用戶不需要重復保存同一個事件。表在Esper中是一種全局的數(shù)據(jù)結(jié)構,用來保存事件的聚合狀態(tài),同時可以直接對事件進行更新。Esper通過對事件一系列的操作(如聚合、排序、過濾等) 分析流事件以及歷史事件。同時,Esper面對大量連續(xù)查詢具有良好的伸縮性(比如從同一個輸入流中有10000個查詢,檢查某個事件的特定屬性(年齡)位于某個區(qū)間,此時,Esper會創(chuàng)建一棵決策樹,因此事件的評估時間只有l(wèi)og N,最壞的情況也是O(N))。除了以上特點,Esper還具有并行化處理查詢、支持外部傳入的時間以及系統(tǒng)的時間,并在運行時添加和刪除查詢等特點。

2 Esper性能的評估驗證

使用不同規(guī)模事件日志評估Esper的時間性能和內(nèi)存消耗。實驗的環(huán)境為:Esper(5.0.0),eclipse IDE(2018-12),visualvm(2.0.2)內(nèi)存監(jiān)控工具。運行環(huán)境為:64位Win10操作系統(tǒng)、8G內(nèi)存、i7-8750H的筆記本。

2.1 評價指標

2.1.1 執(zhí)行時間

執(zhí)行時間是指觸發(fā)事件集中第一個事件發(fā)送到Esper引擎中到最后一個事件計算完畢,檢測復雜事件所花費的時間。在本文設置中是以毫秒(ms)為時間單位,在匹配語句時,Esper將調(diào)用updateListener接口中的update方法。

2.1.2 內(nèi)存消耗

內(nèi)存消耗是指第一個事件發(fā)送到Esper引擎到最后一個事件計算完畢過程中,所使用的最大的內(nèi)存,使用visualvm內(nèi)存監(jiān)控工具進行測量,重復進行五次,取平均內(nèi)存消耗。

2.1.3 吞吐量

吞吐量是指Esper引擎能夠在不丟失數(shù)據(jù)的情況下處理的每秒最大事件數(shù)。本文計算所有日志事件數(shù)量總和與執(zhí)行時間總和的商結(jié)果作為吞吐量。

表1 實驗數(shù)據(jù)信息

圖1 實驗過程框架

2.2 事件日志說明

本文實驗所用事件日志是流計算框架Storm運行時產(chǎn)生的日志,一共包含7種事件類型。事件日志的規(guī)模為10萬、20萬、30萬、50萬、80萬、100萬、150萬、200萬。事件日志包含的trace長度和數(shù)量如表1所示,在10萬的日志中,trace的長度為10到22,trace總數(shù)量為6454。

實驗過程如圖1所示,Storm在運行中打出事件,以離線的方式發(fā)送給Esper引擎中,Esper根據(jù)所寫EPL語句生成觸發(fā)器,并對實驗結(jié)果進行分析。

由圖2可知,Esper的執(zhí)行時間隨事件日志規(guī)模呈線性增長趨勢,在時間性能方面,Esper分析和處理200萬條事件日志大概需要10.5秒,在內(nèi)存消耗方面,Esper處理200萬條事件大概需要1050MB。在吞吐量方面,Esper的平均吞吐量約為每秒16.36萬。因此Esper具有良好的性能。

圖1 不同事件日志規(guī)模下性能比較

3 結(jié)語

在本文中,介紹了Esper的特點及EPL語言,并通過實驗驗證了Esper在復雜處理事件方面具有較好的性能。